信仰是人们内心深处的信念,是推动人类前进的驱动力。AI从几十年前的缓慢探索,到如今的飞速发展,是什么信仰在驱动这一切呢?
摩尔定律
聊起信仰,我就会想起信息时代的摩尔定律。摩尔定律是由英特尔联合创始人戈登·摩尔在1965年提出的一个观察性定律。
摩尔定律指出,在大规模集成电路中,可容纳的晶体管数量大约每两年会增加一倍,而计算能力也会随之大幅提升。这一定律贯穿于整个芯片的发展历程。
如果说是真理、公理、定理,那毫无疑问具有很大的说服力。
但是,摩尔定律是一个基于观察和经验的预测规律,为什么全世界都相信它呢?它为什么能引起英特尔、AMD、高通等巨头纷纷投入大量资金、人才去发展芯片呢?
我认为这可能就是信仰的力量吧。这些芯片界的领袖,因为相信所以看见,才愿意重仓投入,才会持续推动芯片行业的发展。
一旦基于这样的信仰产生了持续的发展,那就会演变成一种默认的确定性。确定性就会持续吸引更多的资金和人才,会产生持续的变革。
规模效应
在回到AI的发展上看,AI的飞速发展源于神经网络的发展,神经网络借鉴了人脑的神经元机制。
人脑的是由百万亿的神经元连接组成的庞大网络,每个神经元都接受输入,然后经过简单计算,最后输出给下一个神经元。但是简单的神经元,被放大到了万亿级别的规模,则会产生更多的智能。
这一点,我们从生物的演化史也能看出来。
早起的地球只有单细胞,然后演化出了多细胞、低等生物、高等生物,再到人类。这个过程中,生物的神经系统也是越来越发达,智能程度也越来越高。
这就是规模效应。
AI时代的信仰
现在流行的大语言模型,是基于神经网络训练而来。早期的神经网络规模不够大,所以还没产生智能。
随着神经网络的参数被放大到一个阈值,模型会产生质的飞越,突然变得聪明,拥有智能,这就是量变引起质量。
这一切的发现都要归功于OpenAI,随后OpenAI还提出了类似摩尔定律这种信仰级别的理念,即规模越大越好。重点是3个:
- 神经网络的模型参数越多越好
- 训练数据集的越大越好
- 算力越强越好
OpenAI自己也是吹起了冲锋号,OpenAI的CEO山姆·奥特曼正在寻求巨额投资,准备建立更多的AI基础设施和超大算力平台。
这就是AI时代的信仰吧,这种信仰推动这一个个AI巨头持续重仓在算力领域、大模型领域。
这一信仰将来应该也会与摩尔定律一样,持续推动科技的高速发展。
总结
每个时代和行业,总得有一些领袖存在信仰,正是这种信仰推动着一个又一个高科技的发展!
AI时代的信仰就是规模效应,无限去追求 模型参数、训练数据集、算力。
本篇完结!欢迎 关注、加V交流、全网可搜(程序员半支烟)
原文链接:https://mp.weixin.qq.com/s/AEn0VNXigqwCupKZZHfhzg