链接:https://arxiv.org/pdf/2304.06035.pdf
作者:Julian Togelius and Georgios N. Yannakakis
随着大模型 和 大数据的出现, AI研究者 都会感到焦虑。 没有计算资源 ,没有标注的人力,很难做出突破性的研究。即使很多领域还没有出现大模型,但这个过程始终是在加速实现的。所以本文作者提出了一些想法。如作者最后所说的,(1) 分享一些想法给community,(2)提供一些guidelines ,讨论 学术届 与 工业界的AI赛道差异 (3)引发一些公开的讨论。
- Introduction
与公司比拼,对于研究人员(小作坊)来说 是不公平的。
- Engineering的问题。很多工程问题也不是一个phd或者postdoc能解决的。
- Scale的问题。 作者也提到了 Sutton 关于Bitter Lesson的例子,可能越简单的方法,scale大了,自然就好了,不需要很多ad-hoc的东西。
- 类似,你开小镇杂货铺,对门来了沃尔玛。
基于这种情况下,我们要继续推动AI的发展,继续做出有意义的研究。我们该采用什么策略呢?
(读者按:确实,数据 和 算力是核心问题。)
2. 放弃
一种策略是保证先活下去,即使投一些mid-tier 期刊和会议,保证 Funding的来源。没有必要大幅度改变轨道。
3. 我也做大
尝试用一些GPU 和 CPU 去做更大的事情。但和大公司相比肯定还是少很多的。 而且还有调试成本。
同时对于PhD学生他们科研训练,要求独立的paper,而不是一个多作者的工程技术论文。也不符合Phd的需求。
(读者按:要和学生的interest匹配,而且要考虑学生的能力。)
4. Toy Data万岁
做一些toy data上的实验,来探寻机制。
这一种方法的缺点是:虽然往往会很惊艳,但是实际没啥人care。
(读者按:我会想到一个我很喜欢Uber的 paper, coord conv 当时在reddit上有很多讨论。这个paper 的video还是很不错的。)
5. 拿来主义
拿来主义,打不过就加入。
但大模型是否足够general, finetune或者其他post-hoc分析往往不足以达到惊艳的效果。
(读者按:(1)可能大模型连inference都做不了,一张卡也放不下。(2)prompt learning 等也应算在其中,作者好像没提到。 )
6. 分析大模型
其实目前我们也不了解大模型。可以从不同角度分析大模型,找到特别的点 或者机制。
(读者按:这方面我不了解,目前可能 也就 probe? 和CAM?应该还有空间?)
7. RL不需要标注数据
RL 可能相对不需要标注数据,但RL的训练时间 仍旧比较长,而且有很多tricks。可能是个难点。
(读者按:我知道早期2017,2018确实是,需要一点技术,但近期我也不确定有没有好一些。早期也有人喷openai的demo不稳定,但后续也解决了?)
8. 小模型减少计算
考虑到部署, edge AI 是最直接的想法,减少碳排放。 知识蒸馏等。
(读者按:还有联邦学习等。 最近我们也有两个工作,一个是有针对地训练难样本,加速训练的。郑哲东:TIP2022|领域迁移Adaboost,让模型“选择”学哪些数据! , 一个是用2.4M参数训练了一个小型reid网络 郑哲东:TNNLS22|在3D空间,用点云数据学行人重识别特征)
9. 特定领域
不是工业界直接关注(直接挣钱)的领域,提前布局。但结果是你的paper很难中。
maybe 可以考虑自己办个会(就像deep learning在cvpr以前也不待见)。
(读者按:老lecun人了)
10. 很少人关注的问题
类似上一点,找不紧急也不sexy的问题。可以和身边不做AI的人讨论一下。
(读者按:就像mu神说的,impact可能就很小。)
11. 尝试一些不work的事情
工业界大家都会尝试一些work的东西,不会尝试 不稳的方法。很多AI的发现和idea也是来自于试错。
(读者按:嗯就像coordconv的motivation。find what CNN can not do)
12.做一些“有坏印象”的事情
公司还是有会限制,在意reputation (比较圣母一些)。这也是为什么大公司会让startup做一些实验性的尝试,而不是自己下场。相比之下,研究者更自由,只要不违法乱纪,可以探索更多东西。
(读者按:我们近期也开了一个ACM MM2023 Workshop关于无人机多媒体的讨论,欢迎大家投稿4页短文 郑哲东:ACM MM23 Workshop|多媒体+无人机 )
13. 产学结合
把实验室的想法 通过 公司落地。有很多好处,你可以知道实际的问题,获得实际的数据。
但这也不是完美的。需要考虑(1)很多科研方向不适合start up ,或者做一个产品出来;(2) 需要的转化时间比较长,需要一些功能性产品展示;(3) 投资依旧有限,仍旧不能做大公司的实验; (4)不是所有人都爱冒险
14. 和大公司合作
把实验室开到大公司里(或者派phd去实习)。 缺点是 IP专利 。 另外可能也没人想去你的组,如果整组人都在,有点变味儿了。
15. 工业界大佬 能做啥?
公司关注收益。学术界不是他们的interest。
最基础的开源代码/模型,仍会对研究者有益。
培养实习生,建立联系。
16. 大学能做啥?
大学应该鼓励创新。目前有影响力的paper仍旧多数与大学合作。大学应该鼓励faculty 来take more risks.
每年发顶会 paper 可能是不合理,相比之下 工业界的lab 更容易。
目前的 grants 也是喜欢 safe and incremental research on popular topics,但这也限制了 很难与工业界的lab 竞争。如果大学想改变,应该更鼓励失败,提升high-risk研究的比例 。