LLaMA系列一直在假装开源...

news2024/11/22 11:46:25

伙伴们,很奇怪~ 关于LLM的开源与闭源模型的竞争又开始愈发激烈。

众所周知,开源模型以其开放性和社区驱动的特点受到一部分用户的青睐,而闭源模型则因其专业性和性能优化被广泛应用于商业领域。由于大模型最近2年的突然兴起,开源社区对“开源”有了重新定义。终于开放源代码倡议(OSI)于10月2日首次发布了开源 AI 定义的暂行版本 1.0,其中Meta 和 Google等作为其重要参与者,为LLaMA等披上了“开源”的外衣,为什么这么说呢。于是这次专门写个文章主要想通过技术、商业等层面的比较,一起探讨下开源、假装开源和闭源这件事。

(: 主要是网上吵的太厉害。。谈谈鄙人浅薄的看法吧。。

到底啥是开源、假装开源和闭源?

在讨论开源与闭源模型的优劣之前,我们首先要明确两者的定义。开源模型指的是那些源代码、数据集、训练过程等对公众开放,允许自由使用、修改和分发的模型。假装开源就比如LLaMA等大部分目前所谓的开源模型,因为它们只开源了模型参数而已。而闭源模型则是这些要素不公开,通常由单一实体控制,使用受限的模型。开源模型因其透明性和社区参与度高而受到一部分开发者的喜爱;假装开源模型则可以让我们感觉到自我认为我们能掌控该模型的所有;但闭源模型在性能优化、安全性和专业性服务方面可能更具优势。

开源模型的最大特点是其开放性,这使得全球的开发者都可以参与到模型的改进和创新中来。然而,这种开放性也带来了一定的风险,比如安全漏洞和隐私泄露。相比之下,闭源模型由于其源代码和数据集的不公开,能够提供更好的安全性和隐私保护,同时,专业的团队也能够对模型进行更深入的优化。大家可能会搞混淆的另一个概念是软件开源,这俩的区分是:软件开源主要针对应用程序和工具,开源的资源需求较低,而大语言模型的开源则涉及大量计算资源、训练细节、高质量数据和最终的模型参数,并且可能有更多使用限制。

技术层面的比较

性能与优化方面,闭源模型通常由专业团队进行优化,能够针对特定的应用场景进行定制和调整,因此在性能上可能更优。假装开源模型因为不开源优化细节trick等非常核心的部分,导致大家无法复现其完全公布的性能,只能接近;而开源模型能够快速集成社区的创新,但其优化速度和效果往往受限于社区的活跃度和技术能力。数据集与训练过程也是衡量模型优劣的重要指标。闭源模型可能使用更高质量或更大规模的数据集进行训练(默认闭源都是公司级别主导的);假装开源模型则不公开数据集和具体训练过程,只能让你用训好的模型,但无法改进,在不这样的情况下train或者sft模型直接会影响了模型的准确性和鲁棒性的…;而开源模型的数据集和训练过程可能不够完善。

是的。。真正完全开源的基本都是你没听说过得。。

安全性与隐私方面,闭源模型由于其不公开的特性,能够更好地控制数据的使用和流动,从而提供更好的安全性和隐私保护(意思就是你看不到我数据,无法直接发现我的漏洞)。假装开源模型可以直接让大家通过各种后门攻击来直接测试漏洞是否存在,很危险。而开源模型必然也可能存在安全漏洞和隐私泄露的风险,尤其是在数据集和训练过程中,但是能够和黑客进行攻防战,在不涉及难以挽回的场景下,可以不断优化安全领域的研究工作~

易用性与支持也是用户选择模型时考虑的重要因素。闭源模型通常提供专业的技术支持和客户服务,易用性较高。而假装开源和开源模型一样了,虽然社区活跃,但支持可能不及时或不专业,这对于需要快速解决问题的用户来说可能是一个缺点。

实际案例分析

以Meta的LLaMA模型为例,尽管LLaMA模型开源,但其使用条款中存在一定的限制,比如对于拥有超过7亿用户的应用程序的商业用途限制,以及不提供对训练数据的访问,这导致其不符合开放源代码促进会(OSI)的开源标准。这表明即使是开源模型,也可能存在使用上的限制,并不总是能够满足用户的需求。

另一方面,OpenAI的ChatGPT(o1-mini/o1-preview/GPT-4o等)以及国内百度的ERNIE模型作为闭源模型,虽然也被诟病不开源啥的,在实际应用当中表现出了更高的性能和易用性(难以想象吧~)。通过对少量数据的精调和后预训练,ERNIE模型在AI续写等场景中的表现优于同等参数规模的开源模型,这证明了闭源模型在特定业务场景下的优势。

商业与市场角度

从商业模式的角度来看,开源模型可能依赖于社区和广告收入,其商业模式可能不如闭源模型明确。闭源模型通过订阅服务和专业技术支持创造收入,商业模式更为成熟和稳定~

哎,还是钱钱钱~ 没办法~

在市场竞争力方面,闭源模型因其专业性和性能优化,在专业领域和高端市场中更具竞争力。而开源模型则在教育和非盈利领域更受欢迎,因其开放性和低成本的特点。

结论

综上所述,开源模型并不一定比闭源模型好。现在突然想到了某度老板曾说过:开源模型会越来越落后。当初不以为然,现在深层考虑下,好吧,或许说得也有些道理。

选择模型时应考虑具体的业务需求、技术条件以及市场环境。开源模型的开放性和社区驱动的特点在某些场景下具有优势,而闭源模型在性能优化、安全性和专业性服务方面可能更胜一筹。因此,用户在选择模型时,应根据自身的需求和条件,做出最合适的选择。

但是对于咱们普通人来说,随便玩玩模型,当时我必站队开源啊,否则我咋发论文?科学咋进步?嘿嘿~

公司那种高端服务,对于准确率和成本还要求特别严格的,还是踏踏实实选择闭源的服务吧。开源你玩不起,成本你都hold不住,谁让它们假装开源!给你400+B的我看你finetune到啥时候才能商用~

说到这吧,下课~

在这里插入图片描述

大模型&AI产品经理如何学习

求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2230481.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C语言 核心语法2

时间:2024.11.1 一、学习内容 1、计算机的存储规则 1.1存储规则 视频是图片和声音的结合体。 在计算机中,任意数据都是以二进制的形式进行存储的。 在计算机中,二进制可以表示万事万物。 1.2十进制 1.3二进制的运算过程 1.4文本存储 …

客户端与微服务之间的桥梁---网关

当我们创建好了N多个微服务或者微服务的实例之后,每个服务暴露出不同的端口地址,一般对于客户端请求,只需要请求一个端口,要隔离客户端和微服务的直接关系,保证微服务的安全性和灵活性,避免敏感信息的泄露。…

萤石设备视频接入平台EasyCVR私有化部署视频平台高速公路视频上云的高效解决方案

经济的迅猛发展带来了高速公路使用频率的激增,其封闭、立交和高速的特性变得更加显著。然而,传统的人工巡查方式已不足以应对当前高速公路的监控挑战,监控盲点和响应速度慢成为突出问题。比如,非法占用紧急车道的情况屡见不鲜&…

【论文速读】| APILOT:通过避开过时API陷阱,引导大语言模型生成安全代码

基本信息 原文标题:APILOT: Navigating Large Language Models to Generate Secure Code by Sidestepping Outdated API Pitfalls 原文作者:Weiheng Bai, Keyang Xuan, Pengxiang Huang, Qiushi Wu, Jianing Wen, Jingjing Wu, Kangjie Lu 作者单位&a…

泡泡玛特行至巅峰,又顷刻“瓦解”?

今年,在海外“一呼百应”的LABUBU与“老妈”泡泡玛特一同步入了潮玩时代的全新阶段。 先是LABUBU获授“神奇泰国体验官”,首个LABUBU主题店也落地曼谷。随后泡泡玛特也在发布三季度财报后迎来股价新高(10月24日收盘价75.85元/股,…

如何看待长周期项目?

有一个客户,想找你做一个软件项目。你大体评估了一下,项目成本300万,项目收入400万,有大概100万左右的毛利。但项目的周期,会比较长,大概是3年。 你会做吗? 我从自己的经验和直觉来看&#x…

Flutter仿微信,高度还原,开源

Flutter仿微信开源项目,持续更新中 Flutter仿微信项目,已开源🚀🚀🚀说明效果预览开发进度说明未来计划项目结构说明组件封装示例最后持续更新中... Flutter仿微信项目,已开源🚀🚀&am…

HBA:基于分层激光雷达集束调整的一致性建图

文章目录 前言一、介绍二、相关工作三、方法A. 概述B. 自底向上的分层BA(Bundle Adjustment)C. 自顶向下位姿图优化 四. 实验A. 精度分析 前言 代码:github 原文:原文 摘要——重建准确且一致的大规模LiDAR点云地图对机器人应用至…

Docker — 跨平台和环境部署

Docker 是一个开源的容器化平台,通过将应用程序和其依赖打包在一个轻量级、独立的容器中,能够跨平台和环境部署。 1. Docker 基本概念 镜像 (Image):Docker 镜像是一个只读模板,包含运行应用程序所需的代码、库、依赖和环境配置。…

消息队列-Rabbitmq(消息发送,消息接收)

将来我们开发业务功能的时候,肯定不会在控制台收发消息,而是应该基于编程的方式。由于RabbitMQ采用了AMQP协议,因此它具备跨语言的特性。任何语言只要遵循AMQP协议收发消息,都可以与RabbitMQ交互。并且RabbitMQ官方也提供了各种不…

一机多控无人机集群飞行控制技术详解

一机多控无人机集群飞行控制技术是指通过单一控制端或多个协同工作的控制端,对多架无人机进行集群管理和控制的技术。这种技术结合了通信技术、路径规划、碰撞避免、分布式与集中式控制等多个方面,以实现无人机集群的协同作战或完成其他特定任务。以下是…

DEVOPS: 认证与调度

概述 不知道大家有没有意识到一个现实,就是大部分时候,我们已经不像以前一样通过命令行,或者可视窗口来使用一个系统了现在我们上微博、或者网购,操作的其实不是眼前这台设备,而是一个又一个集群 通常,这样…

【鸢尾花书籍】编程不难

📝本文介绍 本文为作者拜读鸢尾花书籍《编程不难》后所做的笔记,整理成文章,以供回顾 👋作者简介:一个正在积极探索的本科生 📱联系方式:943641266(QQ) 🚪Github地址:htt…

HTML 文档规范与解析模式:DOCTYPE、<html> 标签以及结构化页面

文章目录 `<!DOCTYPE html>` 文档类型声明标准模式与怪异模式HTML5 的简化声明`<html>` 标签`<head>` 标签`<body>` 标签小结<!DOCTYPE html> 文档类型声明 在 HTML 文档中,<!DOCTYPE html> 是一个重要的文档类型声明,主要用于告知浏览…

CFA全球投资分析大赛专访:与投资人胡建平共话投资智慧

在复杂多变的金融市场中&#xff0c;每一个精准的投资决策背后&#xff0c;都隐藏着无数次的策略考量与深入分析。CFA全球投资分析大赛&#xff0c;作为业界公认的检验投资能力的舞台&#xff0c;每年都会吸引来自世界各地的顶尖投资者一展身手。今年&#xff0c;我们有幸在比赛…

Halcon 一维卡尺测量找点之模糊集测量法

模糊测量是对标准测量的一种扩展&#xff0c;并不意味着测量是“模糊的”&#xff0c;而是用模糊隶属函数来控制边缘的选择。所谓的模糊隶属函数&#xff0c;就是将边缘的特征值转换为隶属度值&#xff0c;基于这些隶属值做出是否选择边缘的决定&#xff0c;即当隶属值大于你设…

快速SEO致胜:提升网站成效的8个步骤

搜索引擎优化&#xff08;SEO&#xff09;决定您网站的可见性和整体成效。 如今&#xff0c;仅仅拥有一个网站是不够的 – 您的网站需要在搜索引擎结果中排名靠前才能吸引流量并产生参与度。 幸运的是&#xff0c;改善您的 SEO 并不总是需要技术专长或复杂的策略。 在这篇文…

Java ==> String类(字符串)

文章目录 一、认识String类1、创建String对象2、不可变的String3、字符串常量池 二、字符串常用操作1、字符串比较1.1 用“”比较1.2 用equals()方法比较1.3用compareTo()方法进行比较 2、获取字符串长度3、字符串查找4、字符串转换4.1valueOf()数值转换为字符串4.2字母大小写转…

使用Github下载YOLO v5项目教程

目录 1、首先打开Github 2、在搜索框搜索yolov5 3、找到合适的yolov5版本 4、选择版本 5、下载 1、首先打开Github 2、在搜索框搜索yolov5 3、找到合适的yolov5版本 这里以第一个为例 4、选择版本 版本的选择要根据自己python的版本以及安装的库的版本&#xff0c;在requi…

leetcode 2710 移除字符串中的尾随零

1.题目要求: 2.题目代码: class Solution { public:string removeTrailingZeros(string num) {while(num[num.size() - 1] 0){num.pop_back();}return num;} };