开源 AI 面临的挑战

news2024/11/9 10:10:41

译者:明明如月

人工智能的代价

尽管我坚信开源人工智能将继续蓬勃发展,但我也认为未来几年企业和政府将越来越有动机限制对新型神经网络架构和技术的应用。本文旨在预测并概述可能在本十年发生的潜在颠覆性变革,并提出一些想法和解决方案,以帮助开源社区适应这种对未来假设带来的挑战。预测未来非常困难,我所做的许多预测可能不会实现,或者可能和我设想的方式完全不同。然而,这并不意味着思考未来毫无用处。相反,思考可能的未来可以帮助我们积极适应不断变化的世界。随着世界以惊人的速度继续演化,具备设想并为可能的新世界做准备的能力将变得越来越重要。在这里插入图片描述

在不久的未来,我们将见证与人交往方式、劳动交换方式甚至社会组织方式的根本性变革。个性化的人工智能实体(称为 “Ghosts”)有望成为每个人潜在的个性化存在,并将我们连接到全球其他 AI 系统的网络中。这些 AI 系统将为我们提供多种服务,我们可以将它们看作是扩展我们认知的工具,而不仅仅是助手。企业和组织很可能也会拥有自己的 “Ghosts”,以提高成员之间的协作效率。除了社交方面,具有循环连接的关联记忆网络可能使 AI 系统具备记忆能力。这些独立的 “Ghosts” 甚至可能形成独特身份。此外,可能会出现利用共识算法的 AI 系统,促使去中心化的自主 AI 的发展。尽管这还尚未实现,但我们已经可以设想一些即将出现的经济变化和趋势。

AI 生成服务的交换价值将取决于提供服务所需的能量(即运行相关模型的成本),再加上市场内 AI 的信息不对称性。那些容易被 AI 简单复制的服务将具有较低的交换价值,从而导致 AI 所有者的剩余价值减少。这种趋势将对基于服务的经济体产生较大影响,可以预期到大部分服务的剩余价值会大幅减少。因此,我们可以预计,在一段时间内,许多西方国家的人口和政府将像 19 世纪纺织工人反对机器生产一样,以类似的方式作出反应。由于各行业的回报减少,世界上许多地区将采取垄断许可策略和专制规则来限制 AI 的访问。

在那些更积极推进 AI 的地区,开源 AI 很可能在具有低交换价值但高使用价值的服务(如容易被 AI 取代的服务)中蓬勃发展。然而,对于那些稍加改进就能大幅提升使用价值的服务,经济激励将会有所不同。在这类服务中,我们可以预期“强者愈强”的趋势。更先进的AI系统将能够创造更多的剩余价值。因此,分享技术和模型架构的创新动机可能会减少。但需要注意的是,只有当系统参与者之间存在不对称性时,才能在系统中获得剩余价值。在 AI 的背景下,这种不对称性可能以信息不对称的形式表现,涉及控制和限制他人访问信息和知识。

一些参与者之间的信息不对称可能会导致政府采取强制限制的措施,例如实施知识产权保护、许可制度或访问控制措施;这种信息不对称需要政治行动来解决,不能仅仅依靠技术手段。然而,技术可以解决由资源不对称导致的信息不对称。具体来说,当前的人工神经网络通常以密集方式进行训练,即一旦提供输入,网络内的所有单元都会被激活。对于像 Transformer 这样的架构(被应用于像 ChatGPT 这样的服务中),信息传播的计算成本显著增加,原因是其"自注意力机制" 的存在。高计算复杂性导致高能耗。

考虑到大规模语言模型(LLM)的训练需要大量资源,我们可以预见在“强者愈强”的情况下,AI 系统的开发和管理将集中在少数几个闭源实体。这些实体将被鼓励将其模型权重和架构视为专有,因为更多的保密性将带来更高的利润。不幸的是,资源限制也意味着对于研究人员、非营利组织或创业公司等较小实体来说,从头开始训练大语言模型通常是不可行的,因为涉及的能源成本过高。因此,大多数开源 LLM 的努力都依赖于微调预先存在的模型,这样做更经济且节省能源。基于这些趋势,我相信我们应该优先降低集体训练和运行大规模深度学习模型的成本,以维持开源 AI 的竞争力和质量。

稀疏激活张量 && 密码学 Ghost 证明

这部分包含大量公式,CSDN 显示效果不好,参见 CSDN 公众号:
https://mp.weixin.qq.com/s/oeKsd-gLyD2_prsmwzOT-g

在这里插入图片描述

反思

除了开放性(openness)和免信任性(trustlessness)外,整合 CGPs 还有可能将人工智能和去中心化账本技术的领域融合在一起,为自治人工智能系统 (Autonomous AI system)的出现铺平道路。自治人工智能系统是一个利用共识算法的无需许可性质的点对点人工智能协议。这些协议不是改变账本中的条目,而是传播思想。为了确保有效运行并防止服务拒绝(DoS)攻击,这些协议可能依赖于相互信贷或货币。这些自治系统的技术细节以及经济和社会影响将在未来的研究中探讨。

在这里插入图片描述

作为工程师和人工智能研究人员,我们必须认识到技术固有的政治性质。看似微小的工程决策可能导致深远的社会转变。例如,密集激活的深度学习模型可能导致集中化的社会组织形式,而稀疏激活的深度学习模型可能导致去中心化的社会组织形式。现在比以往任何时候都更需要跨学科思考。例如,值得考虑去中心化人工智能对治理的影响。人工智能系统将如何影响国家?它们会赋予威权主义国家权力,还是有助于发展更强大的民主制度?公司组织结构和最小可行规模又如何?想象一下通过将每个公民的个性化 AI 实体(Ghost)连接到一个共享网络来创建可扩展的直接民主制度的可能性,这是非常有趣的。这些想法值得在未来进一步探索。

我希望这篇文章能引起你对探索人工智能和点对点技术之间的协同效应的兴趣。我坚信,在人工智能和数据库系统的交叉领域,特别是在稀疏激活张量领域,未来几年将会出现重大的进展。此外,人工智能和点对点系统的融合,以及稀疏激活关联记忆网络的发展,无疑将有显著的进步。我鼓励你探索这些迷人的主题,并为开源人工智能做出贡献。请记住,自由/开源软件(FLOSS)运动不仅仅是代码共享,它还是赋予全球社区权力的体现。

原文:https://blog.opncbr.com/post/open_source_ai/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/624137.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

玩转css逐帧动画,努力成为更优质的Ikun~

🎉 一、前言 css3的animation想必大家都知道吧,那 steps 逐帧动画你知道吗?对于我来说,实际工作及练习中也很少用到这种跳跃式变化的动画,而它start和end的解释又比较“不说人话”,以前用到steps动画的时候…

FL Studio21水果软件各个版本功能区别对比

作为音乐人,在电脑上进行编曲,混音,合成是家常便饭,而市面上大家常用的音乐编曲制作软件很多,小编在这里就给大家做一个推荐。 大家常听到的音乐编曲制作软件大多是Cubase、Nuendo、Pro Tools、 SONAR等等&#xff0c…

Qt中QFile类读取ansi编码格式txt文件,在QTextEdit控件中显示乱码

系列文章目录 文章目录 系列文章目录前言一、依然无法解决乱码问题二、解决办法1.方法一:使用QString的fromLocal8Bit()函数2.读取utf-8编码格式的文件 总结 前言 使用Qt中的QFile类读取ANSI编码格式的文本文件,并在QTextEdit控件中显示乱码&#xff0c…

适配器模式的运用

文章目录 一、适配器模式的运用1.1 介绍1.2 适配器模式结构1.3 类适配器模式1.3.1 类适配器模式类图1.3.2 代码 1.4 对象适配器模式1.4.1 对象适配器模式类图1.4.2 代码 1.5 应用场景1.6 JDK源码解析1.6.1 字节流到字符流的转换类图1.6.2 部分源码分析1.6.3 总结 一、适配器模式…

MyBatis的使用、Spring AOP、Spring事务

一、MyBatis 的使用 1、环境配置 1.1、建库建表 -- 创建数据库 drop database if exists mycnblog; create database mycnblog DEFAULT CHARACTER SET utf8mb4;-- 使⽤数据数据 use mycnblog;-- 创建表[⽤户表] drop table if exists userinfo; create table userinfo(id in…

智能算法终极大比拼,以CEC2017测试函数为例,十种智能算法直接打包带走,不含任何套路!

包含人工蜂群(ABC)、灰狼(GWO)、差分进化(DE)、粒子群(PSO)、麻雀优化(SSA)、蜣螂优化(DBO)、白鲸优化(BWO)、遗传算法(GA)、粒子群算法(PSO),基于反向动态学习的差分进化算法,共十种算法,直接一文全部搞定! 还是老规矩&#xff…

Android MaterialComponents主题下Button设置background无效

问题描述 使用的主题代码如下图&#xff1a; <!-- Base application theme. --><style name"Base.Theme.MyApplication" parent"Theme.Material3.DayNight.NoActionBar"><!-- Customize your light theme here. --><!-- <item na…

JAVA面向对象(二)

第二章 方法与方法重载 目录 第二章 方法与方法重载 带参方法的使用 构造方法 构造方法重载 成员变量和局部变量 总结 内容仅供学习交流&#xff0c;如有问题请留言或私信&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; 有空您就点点赞 带参方法的使用…

Java代码的运行过程

我们来聊一聊java代码是如何运行的。大家都知道java是运行在JVM上的&#xff0c;那它是怎么结合操作系统去控制那些硬件设备的呢&#xff1f; 其实想要知道这个问题我们可以跟踪一行代码的整个生命周期来解释&#xff0c;我把它抽象为这么五个步骤。 首先这行代码会被编译成字节…

最强攻略 | 1分钟带你了解内测,成为BUG小能手!

「百度产品内测」招募内测体验官啦&#xff01;&#xff01; 参与百度内测&#xff0c;不仅可以直接接触百度运营官&#xff0c;还能拿礼物拿京东卡拿百度大礼包&#xff01; 什么你说你没接触过内测&#xff1f;贴心如我&#xff0c;给大家带来一份史上最全的新手入门指南&am…

​DMBOK知识梳理for CDGA/CDGP——第五章 数据模型与设计(附常考知识点)

关 注gzh“大数据食铁兽”&#xff0c;回复“知识点”获取《DMBOK知识梳理for CDGA/CDGP》常考知识点&#xff08;第五章 数据模型与设计&#xff09; 第五章 数据模型与设计 第五章是CDGA|CDGP考试的重点考核章节之一&#xff0c;分值占比高&#xff0c;知识点比较密集…

【大数据之路4】分布式计算模型 MapReduce

4. 分布式计算模型 MapReduce 1. MapReduce 概述1. 概念2. 程序演示1. 计算 WordCount2. 计算圆周率 π 3. 核心架构组件4. 编程流程与规范1. 编程流程2. 编程规范3. 程序主要配置参数4. 相关问题1. 为什么不能在 Mapper 中进行 “聚合”&#xff08;加法&#xff09;&#xff…

MATLAB入门教程||MATLAB决策制定||MATLAB if...end 语句

MATLAB决策制定 本节内容&#xff1a;了解MATLAB提供的决策类型&#xff0c;及使用它们进行决策制定。 决策结构用来做什么&#xff1f;决策结构要求程序员能够使用一个或者多个的条件来对程序进行评估或者测试&#xff0c;沿着一条或多条语句执行&#xff0c;如果该条件被确定…

docker启动rabbitmq无法访问15672端口

1.问题说明 使用rabbitmq:3.8.14版本启动了rabbitmq容器&#xff0c;5672、25672端口都可以连接&#xff0c;唯独15672仅在服务器本地可被连接。 2.问题原因 rabbitmq:3.8版本开始&#xff0c;管理插件包含在RabbitMQ发行版中。与其他任何插件一样&#xff0c;必须先启用它&am…

SpringCloud_微服务基础day2(Eureka简介与依赖导入,服务注册与发现)

p6:Eureka简介与依赖导入 前面我们了解了如何对单体应用进行拆分&#xff0c;并且也学习了如何进行服务之间的相互调用&#xff0c;但是存在一个问题&#xff0c;就是虽然服务拆分完成&#xff0c;但是没有一个比较合理的管理机制&#xff0c;如果单纯只是这样编写&#xff0c;…

实战:Spring Cloud Stream集成兼容多消息中间件kafka、rabbitmq

文章目录 前言实战要点技术积累Spring Cloud Stream简介集成kafka要点集成rabbitmq要点 实战演示Maven依赖版本号选择Spring及MQ主要配置基础信道绑定信道消息发送集成兼容多mq演示Rabbitmq演示Kafka演示 写在最后 前言 前面的博文我们介绍并实战演示了Spring Cloud Stream整合…

Java 使用 VisualVM 排查内存泄露

文章目录 1. 问题发生2. 排查过程2.1 初步排查2.2 Visual VM 内存分析2.3 代码分析 1. 问题发生 线上突发告警&#xff0c;笔者负责的一个服务老年代内存使用率到达 75% 阈值&#xff0c;于是立即登录监控系统查看数据。拉长时间周期&#xff0c;查看最近 7 天的 GC 和老年代内…

Transformer【ViT】

参考 导师&#xff01;博主的复现太细了。做个记录。 层神经网络学习小记录67——Pytorch版 Vision Transformer&#xff08;VIT&#xff09;模型的复现详解 计算机视觉中的transformer模型创新思路总结_Tom Hardy的博客-CSDN博 Vision Transformer详解 ViT 前处理 网络结…

2核4G轻量应用服务器性能测评(腾讯云PK阿里云)

阿里云轻量应用服务器2核4G4M带宽297.98元12个月&#xff0c;腾讯云轻量2核4G5M服务器168元一年&#xff0c;628元3年&#xff0c;2核4G轻量应用服务器阿里云和腾讯云怎么选择&#xff1f;哪个性能比较好&#xff1f;阿腾云分享轻量应用服务器2核4G配置阿里云和腾讯云CPU、带宽…

三种编码方式(费诺曼编码,霍夫曼编码,哈夫曼树编码)的简单解释和介绍

一. 费诺曼(Fano)编码是一种前缀编码&#xff0c;其基本原理是将出现频率较高的符号用短的编码表示&#xff0c;而出现频率较低的符号则用长的编码表示。通过这种方式进行编码&#xff0c;可以达到更好的压缩效果。 费诺曼编码的具体过程如下&#xff1a; 将要编码的符号按照…