AI的三大支柱
- 计算:主要由大公司如NVIDIA推动。
- 算法:顶尖实验室如OpenAI主导。
- 数据:Scale致力于推动数据进展。
前沿数据的重要性
- 与人类智能相比较,前沿数据是AI发展的关键。
- 互联网数据是机器与人类合作的结果。
语言模型的发展
- 第一阶段:原始的Transformer论文和GPT的小规模实验。
- 第二阶段:GPT-3的出现和模型的大规模扩展。
- 新阶段:研究将变得更加重要,研究方向开始出现分歧。
数据壁垒
- 公开数据已被充分利用,需要新方法生成数据。
数据生产的重要性
- 提高数据复杂性和丰度。
- 需要数据铸造厂来生成大量数据。
科技巨头在AI上的投资
- 投资AI是为了避免被颠覆&#