一、语言模型的经济影响
关于语言模型的经济影响,我想先谈谈市场的影响。我们看到一些服务领域的变化速度比预期的要慢,比如 CHEG 和其他相关服务的表现。对此,您是否认为学术界应该获得人工智能补贴?还是说,他们应该与大公司合作?
我个人非常努力地推动为大学争取数据中心。如果我是计算机科学系的教员,我会非常沮丧,因为无法和我的研究生一起构建能够进行那种博士研究的算法,这让我不得不与公司合作。然而,我认为公司在这方面并不够慷慨。
很多我交谈过的教员,您们中的许多人可能也认识,他们花了大量时间等待谷歌云的信用额度。这种情况太糟糕了。我们希望美国能够在这一领域胜出,也希望美国的大学能在其中发挥作用。有很多理由认为,将资源提供给学术界是正确的做法。
二、劳动力市场的影响
关于劳动力市场的影响,我将借助真正的专家来解答。作为一名由埃里克指导的业余经济学家,我基本上相信,大学教育所培养的高技能任务是安全的,因为人们会与这些系统共事。我认为,这些系统与任何其他技术浪潮没有太大区别。危险的工作和那些需要很少人类判断的工作将会被取代。
三、计算机科学教育的未来
关于计算机科学教育,我认为在本科阶段,计算机科学家们总会有一个程序员伙伴。当学生们学习第一个 for 循环时,他们会有一个工具作为他们的自然伙伴。教授会讲解概念,而学生则会通过这种方式参与其中。未来的教学方式可能会变得更加互动和智能化。
四、非 Transformer 架构的兴起
最近,您提到了一些让您感到兴奋的非 Transformer 架构。我认为其中之一是状态模型,这类模型可以处理更长的上下文。我对这些模型的工作原理不是很了解,但它们似乎是通过更快、更有效的梯度下降和矩阵乘法来实现的。虽然它们的数学复杂性较高,但基本上,它们是在进行类似 Transformer 的操作,只是采用了不同的数学方法。
五、国家安全与人工智能
您提到国家安全,尤其是中美之间的竞争。我认为未来十年内,中美之间的竞争将更加激烈,而其他国家则可能通过美国的盟友关系加入其中。印度是一个非常有趣的国家,许多顶尖的人工智能人才都从印度来到美国。我们应该鼓励印度保留一些顶尖人才,尽管他们的培训设施和项目还不如美国丰富。中国已经失去了机会,无法回到以前的位置,而日本和韩国显然站在我们这边。至于其他国家,目前还没有看到其他好的选择。
六、编程教育的必要性
关于编程教育,我强烈认为,即使在未来,学习编程仍然是必要的。尽管有些人认为随着技术的发展,学习编程的必要性会减少,但我认为了解系统的工作原理仍然非常重要。
七、分布式计算的局限性
至于分布式计算,我们已经非常仔细地研究过了。算法的工作方式是处理一个非常大的矩阵,基本上是一个乘法函数。这个过程受到内存到 CPU 或 GPU 速度的限制。虽然有很多小型计算机,如 MacBooks,但它们并不适合大规模的语言模型训练。未来可能会出现超级计算机和更快的内存互连来主宰这一领域,但目前分布式计算还无法达到这样的效果。
八、版权和数据处理的未来
在数据处理和版权方面,我认为未来可能会发生类似音乐版权的变化。就像在 60 年代的一系列诉讼后形成的协议一样,未来可能会有规定的协议来处理数据使用的版税问题。虽然这将需要一些时间,但我相信类似的解决方案最终会出现。
九、人工智能领域的垄断与反垄断
关于人工智能领域的垄断问题,目前似乎有几个参与者在主导人工智能市场,并且他们与反垄断法规关注的大公司有重叠。在我的职业生涯中,我帮助微软避免了被拆分,也帮助谷歌避免了类似的命运。因此,我认为只要这些公司避免成为像约翰·D·洛克菲勒那样的巨头,政府可能不会采取行动。
最后,关于 Inflection 将部分业务拆分给微软的决定,您提到的这个数字还未公开,或许可以让里德告诉您更多详细信息。
参考
https://github.com/ociubotaru/transcripts/blob/main/Stanford_ECON295%E2%A7%B8CS323_I_2024_I_The_Age_of_AI%2C_Eric_Schmidt.txt