开源模型的力量

news2024/11/13 3:50:08

 2 月,Meta 发布了其大型语言模型:LLaMA。与 OpenAI 及其 ChatGPT 不同,Meta 不仅仅为世界提供了一个可以玩的聊天窗口。

相反,它将代码发布到开源社区,此后不久模型本身就被泄露了。研究人员和程序员立即开始修改、改进它,让它做一些其他人没有预料到的事情。

他们的结果是立竿见影的、创新的,并预示着这项技术的未来将如何发展。训练速度大大提高,模型本身的大小已经缩小到可以在笔记本电脑上创建和运行的程度。人工智能研究的世界已经发生了巨大的变化。

这一发展并没有像其他公司公告那样引起轰动,但其影响会大得多。它将从大型科技公司手中夺取权力,从而带来更多的创新和更具挑战性的监管环境。

控制这些模型的大公司警告说,这种混战将导致潜在的危险发展,并且已经记录了开放技术的问题使用。但那些致力于开放模型的人反驳说,一个更民主的研究环境比让这种强大的技术由少数公司控制要好。

权力转移来自简化。由 OpenAI 和谷歌构建的 LLM 依赖于以数百亿字节为单位的海量数据集,这些数据集由数万个强大的专用处理器计算得出,这些处理器生成具有数十亿个参数的模型。

人们普遍认为,构建更好的模型需要更大的数据、更大的处理能力和更大的参数集。生产这样的模型需要一家公司的资源,以及谷歌、微软或 Meta 的资金和计算能力。

但是,在 Meta 的 LLaMa 等公共模型的基础上,开源社区进行了创新,其结果几乎与大型模型一样好,但在具有通用数据集的家用机器上运行。

曾经是资源丰富的保护区,现在已成为任何有好奇心、编码技能和一台好笔记本电脑的人的游乐场。越大越好,但开源社区表明,通常越小越好。这为更高效、可访问和资源友好的开源模型打开了大门。

更重要的是,这些更小、更快的 LLM 更容易获得,也更容易进行实验。无需数万台机器和数百万美元来训练新模型,现在可以在几小时内在中等价位的笔记本电脑上定制现有模型,这促进了快速创新。

它还从谷歌和 OpenAI 等大公司手中夺走了控制权。通过提供对底层代码的访问并鼓励协作,开源计划使各种开发人员、研究人员和组织能够塑造技术。

这种控制的多样化有助于防止不当影响,并确保人工智能技术的开发和部署符合更广泛的价值观和优先事项。现代互联网的大部分内容都是基于 LAMP(Linux、Apache、mySQL 和 PHP/PERL/Python)堆栈的开源技术构建的,这是一组经常用于 Web 开发的应用程序。

这使得复杂的网站可以轻松构建,所有这些都使用由爱好者而不是寻求利润的公司构建的开源工具。Facebook 本身最初是使用开源 PHP 构建的。

但开源也意味着没有人为滥用该技术负责。当在对互联网功能至关重要的开源技术的模糊部分中发现漏洞时,通常没有实体负责修复漏洞。开源社区跨越国家和文化,因此很难确保任何国家的法律都会得到社区的尊重。

将技术开源意味着那些希望将其用于意外、非法或邪恶目的的人与其他人一样可以使用该技术。

这反过来又对那些希望监管这项强大的新技术的人产生重大影响。现在开源社区正在重新混合 LLM,不再可能通过规定可以进行哪些研究和开发来规范技术;太多的研究人员在太多不同的国家做着太多不同的事情。

政府现在唯一可用的治理机制是规范使用(并且只针对那些关注法律的人),或者为那些现在是创新驱动力的人(包括初创公司、个人和小公司)提供激励。竞技场。对这些社区的激励可以采取奖励特定技术用途的形式,或举办编程马拉松来开发特别有用的应用程序。

重要的是要记住,开源社区并不总是以利润为动机。这个社区的成员通常被好奇心、实验欲望或简单的构建乐趣所驱使。虽然有些公司从支持开源项目(如 Linux、Python 或 Apache Web 服务器)生产的软件中获利,但这些社区并不是以利润为导向的。

并且有很多开源模型可供选择。Alpaca、Cerebras-GPT、Dolly、HuggingChat 和 StableLM 都在过去几个月发布了。它们中的大多数都建立在 LLaMA 之上,但有些具有其他血统,更多的正在路上。

一直在开发和实施 LLM 的大型技术垄断企业,谷歌、微软和 Meta 还没有为此做好准备。几周前,一名谷歌员工泄露了一份备忘录,其中一名工程师试图向上级解释开源 LLM 对他们自己的专有技术意味着什么。备忘录的结论是,开源社区已经超越了大公司,并以压倒性优势领先于它们。

这不是公司第一次忽视开源社区的力量。Sun 从不了解 Linux。Netscape 从不理解 Apache Web 服务器。

开源在原始创新方面不是很擅长,但一旦发现并采纳了一项创新,社区就会变得势不可挡。大公司可能会通过尝试从开源社区中缩减和撤回他们的模型来做出回应。

但为时已晚。我们已经进入了 LLM 民主化的时代。通过展示更小的模型可以非常有效,使实验变得容易,控制多样化,并提供非利润驱动的激励措施,开源计划正在将我们带入一个更具活力和包容性的人工智能领域。

这并不意味着其中一些模型不会有偏见或错误,或不会被用来产生虚假信息或滥用职权。但这确实意味着控制这项技术将采取与监管大型参与者完全不同的方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/635634.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Protobuf实战:通讯录

网络版通讯录 需求 Protobuf常⽤于通讯协议、服务端数据交换场景。接下来将实现⼀个⽹络版本的通讯录,模拟实现客⼾端与服务端的交互,通过Protobuf来实现各端之间的协议序列化。 需求如下: 客⼾端可以选择对通讯录进⾏以下操作:…

电子科技大学编译原理复习笔记(七):自下而上语法分析

目录 前言 重点一览 引言 自下而上分析 分析方法 规范规约(最左规约,对应最右推导) 算符优先分析法 算符优先文法 最左素短语 举个例子 优先关系表的构造 规范规约与算符优先分析 LR分析法 概述 LR(0&#xff09…

系统架构设计师 2:计算机基础

一、计算机硬件 1 处理器(CPU) 处理器是计算机系统运算和控制的核心部件。 1.1 指令集 处理器的指令集按照其复杂程度可分为复杂指令集(CISC)与精简指令集(RISC)。 随着研究的深入,RISC已经…

基于深度学习的高精度安全背心检测识别系统(PyTorch+Pyside6+YOLOv5模型)

摘要:基于深度学习的高精度安全背心检测识别系统可用于日常生活中或野外来检测与定位安全背心目标,利用深度学习算法可实现图片、视频、摄像头等方式的安全背心目标检测识别,另外支持结果可视化与图片或视频检测结果的导出。本系统采用YOLOv5…

2.25 sigprocmask函数使用 2.26sigaction信号捕捉函数 2.27SIGCHILD信号

2.25 sigprocmask函数使用 阻塞信号集有时称作信号掩码。 联想&#xff1a;fcntl函数可以修改fd属性。 ./sigprocmask & //将程序设置为后台运行&#xff0c;输入ls可以同步有输出 fg //将程序恢复到前台运行#include <stdio.h> #include <signal.…

动态规划dp —— 21.乘积最大子数组

1.状态表示 是什么&#xff1f;dp表中里的值所表示的含义就是状态表示 因为要考虑负数情况&#xff0c;负数乘以最大数就等于最小数了&#xff0c;负数乘以最小数就是最大数了 f[i]表示&#xff1a;以i位置为结尾的所以子数组中最大乘积 g[i]表会&#xff1a;以i位置为结尾…

Java 实现删除顺序表中第一次出现的某个元素

一、思路 1.顺序表不能是空的&#xff0c;如果顺序表是空的就肯定无法删除第一次出现的 key 元素. 2.定义一个key变量来传入要删除的元素&#xff0c;这个元素要求是第一次出现的. 3.删除之前要先找到第一次出现的key的下标. 4.找到位置之后就开始删除. 5.删除过程是从key下标位…

Linux - struct file与缓冲区

​​​​​​​ ​​​​​​​ 感谢各位 点赞 收藏 评论 三连支持 本文章收录于专栏【Linux系统编程】 ❀希望能对大家有所帮助❀ 本文章由 风君子吖 原创 ​​​​​​​ ​​​​​​​ ​​​​​​​ 前言 对于文件&#x…

DTS迁移Oracle至DM与MySQL至DM

目录 DTS迁移Oracle至DM... 3 一、前期准备... 3 二、DTS迁移... 4 1、新建工程... 5 2、新建迁移... 6 3、填写源库信息&#xff0c;使用指定驱动并自定义URL连接... 7 4、填写目标库信息... 8 5、填写迁移选项... 8 6、指定迁移模式及模式对象... 9 7、执行迁移...…

http长连接与会话保持

"我们半推半就的人生&#xff0c;没有和你一样被眷顾的未来!" 一、Http长连接 (1) 为什么需要长连接 如上展示的是一个常规得并不能再常规的http服务&#xff0c;从本地拉取远端linux上的本地文件上传至浏览器上&#xff0c;经过浏览器的渲染展示成如今的样子。唔&a…

【实战】体验训练Geneface

一.环境 conda activate geneface export PYTHONPATH./ CUDA_VISIBLE_DEVICES0 python tasks/run.py --configegs/datasets/lrs3/lm3d_syncnet.yaml --exp_namelrs3/syncnet 训练这篇出过的一些奇奇怪怪的问题基本上都记录在【环境搭建】40系一些奇奇怪怪的环境问题_weixin_50…

aigc - 文化衫设计

团队要用aigc设计个文化衫&#xff0c;就是给些提示词&#xff0c;然后让ai自动生成能够包含这些提示词的文化衫出来 二、第二版 思路&#xff1a;收集了30多张文化衫&#xff0c;然后用两种方式生成提升词&#xff1a;一个是自然语言描述这件t-short&#xff0c;一个是全名词…

IDEA常用插件Top18

前言&#xff1a;精心推荐给大家的一些日常开发中最常用的IDEA效率插件。 1、Alibaba Java Coding Guidelines代码规范检查工具 Alibaba Java Coding Guidelines ,阿里的一款强大的代码规范检查工具&#xff0c;可以让自己写出易读性更高的代码&#xff0c;可以让团队代码风格…

Keepalived+LVS

这里写目录标题 一、Keepalived及其工作原理1.1Keepalived体系主要模块及其作用1.3VRRP &#xff08;虚拟路由冗余协议&#xff09; 二、keepalived实验部署主服务器&#xff1a;备用服务器配置节点 一配置节点二 三、测试 一、Keepalived及其工作原理 Keepalived 是一个基于V…

Linux编译器 gcc、g++

绪论 你热爱生命吗&#xff1f;那幺别浪费时间&#xff0c;由于时间是组成生命的材料。——富兰克林 。 本篇文章写了主要写了Linux下编译器&#xff0c;以及编译器是如何实现编译的过程。 话不多说安全带系好&#xff0c;发车啦&#xff08;建议电脑观看&#xff09;。 附&…

2.30 守护进程(1) 2.31 守护进程(2)

2.30 守护进程&#xff08;1&#xff09; 终端 echo $$//查看当前终端的的pid tty//查看当前终端设备控制终端可以操作某一个进程。 进程组 会话 进程组、会话、控制终端之间的关系 find/2 查看2重定向到dev/null设备上&#xff0c;|管道&#xff08;创建子进程&#xff09…

RK3588平台开发系列讲解(USB篇)USB Device端口组合配置过程

文章目录 一、configfs二、configfs 配置过程2.1、使能相关的宏2.2、挂载configfs2.3、创建名为g1的usb复合设备2.4、配置PID和VID2.5、创建并配置strings子目录2.6、创建configuration和字符串2.7、创建functions2.8、将functions和configuration关联起来2.9、绑定到UDC,使能…

数据的存储练习题 -- (解题思路+代码)

目录 前言 知识补充 有符号和无符号的区别 练习一 练习二 练习三 练习四 练习五 练习六 练习七 前言 书接上回&#xff0c;我们学习了整形数据在内存中是怎么存储的。本篇我们就利用这些知识来做一些练习题目&#xff0c;把这些知识很好的消化掉。 知识补充 对…

简单的TCP网络程序·单进程

目录 文件1&#xff1a;tcpServer.cc 文件2&#xff1a;tcpServer.hpp 1.提出日志概念 -- 在后续完善 日志格式 -- 暂定简单的打印功能 2.创建套接字 SOCK_STREAM -- socket参数 3.bind自己的套接字 4.设置socket 为监听状态 * 新接口1&#xff1a;listen 函数1&…

IIC协议总结

IIC&#xff08;Inter-Integrated Circuit) &#xff0c;简单说就是IC&#xff08;芯片&#xff09;之间通信的总线。所谓总线&#xff0c;就是各个器件都并联到一组公共的线路上&#xff0c;然后共用这条线路来传输数据。总线的英文名为BUS&#xff0c;这是个形象的名字&#…