问:你的人工智能之路是如何开始的?
答:虽然你们知道我的工作可能是从 2022 年开始的,但我从 2017 年就开始从事人工智能工作了。在达特茅斯大学读本科时,我原本想成为华尔街的一名银行家,这是我父母那一代人的美国梦(也是我家乡大多数朋友的梦想)。但我在大一(2017 年)时很难找到一份金融实习工作,所以最后我通过妈妈的一个朋友联系上了一家人工智能初创公司。
那个暑假,我与人工智能的第一次接触是迈克尔-尼尔森(Michael Neilson)的《神经网络与深度学习》(Neural Networks and Deep Learning)。我在书中读到了反向学习(backprop),从任何类型的输入和输出数据中学习任意映射的想法吸引了我。我仍然记得,我对这本书的热情比我在学校里学的其他科目要高出一个数量级。
在 2010 年代末,最酷的事情就是发表人工智能研究成果,因此我在大学里也尝试着这样做。我走了一条普通的路,选修了一门机器学习课程,并要求与授课教授一起做研究。我在医学影像分析的深度学习方面工作了两年。我的工作还算不错,但并不惊艳。达特茅斯没有一个充满活力的人工智能环境,也很难找到一个社区。因此,我非常感谢那里少数几个真正对人工智能感兴趣的人--Sam Greydanus 是我仰慕的人。
问:我应该从事哪个研究方向的工作?
这显然没有唯一正确的答案。我个人的观点是,从事自己喜欢的研究非常重要,因为从长远来看,你会做得更好。如果你不知道自己喜欢什么研究,那就广泛阅读几周,或询问其他人他们对哪些方向感到兴奋,然后选择一些方向开始研究。
有时,您必须在您想从事的研究与其他因素之间做出权衡。例如,你可能有机会与一位了不起的教授合作,但这并不是你的首选课题。我认为,如果你能从中学到很多东西,或者它能帮助你达到你想要的目标,那么做这样的事情是没有问题的。但重要的是,要记住自己做事的原因,并对自己的想法保持透明。
我建议大家考虑的一个研究方向是对齐。我认为对齐是一个好方向的几个很好的理由:
- 让智能人工智能与人类价值观保持一致肯定会非常重要。
- 对齐是一个相对新兴的领域,因此较早从事这项工作的人将有更大的机会产生影响。
- 对齐可以是跨学科的;它涉及许多其他主题,如伦理(有些人可能会喜欢)。
- 对齐研究人员供不应求,因此更容易找到工作。
问:您从哪里/如何学到开展有效研究所需的大部分知识?是花更多时间学习好,还是有了有趣的想法就直接投入研究好?
在研究中,有三种学习来源,您要最大限度地利用这三种来源:
你阅读的东西:其他研究论文、博客文章、微博。
别人告诉你的东西:你的导师给你的反馈,审稿人对你的论文进行的评审。
你要尝试:做实验,成功或失败,你都要深入探究原因。
一开始,读东西是件好事,因为做后两项的成本要高得多(其他人的时间;你做实验的时间)。不过,你会希望尽快开始第二种和第三种学习。原因是,当你处于能力的边缘时,学习会发生得最快,而由于(2)和(3)是为你量身定做的,它们会让你的学习速度更快。
问:您认为研究工作最需要的特质是什么?
我认为,研究和其他大多数技能一样,可以通过实践来学习(参见本博文)。是的,也许陶哲轩有天赋异禀的才能,我们中很少有人能达到这种水平。但我相信,大多数人都有能力成为一名高水平的研究人员。因此,我对这个问题的简短回答可能是 "勇气",因为有了勇气,才会有实践。
研究中一项被严重低估的技能就是从反馈中学习。你会惊讶于人们对反馈意见的忽视程度--我发现大多数向我寻求建议的人都不会听取反馈意见。我试着做的一件事就是非常认真地对待他人的反馈,尤其是当他们是顶尖高手时。反馈就像一个梯度,它会告诉你应该朝哪个方向发展,才能成为更好的研究人员。当我有导师时,我会每周问他们我可以做得更好的地方,然后努力去做。我们很幸运,在研究领域拥有快速反馈的文化;并非每个领域都是如此。
需要注意的是,知道何时忽略反馈也是件好事。你的指导老师或老板可能并不总是处于给出反馈的正确精神状态,而且他们也没有像你一样深入思考过你的问题。但无论如何,你还是应该仔细考虑他们说的话。
另一项被低估的技能是愿意做苦差事,尤其是看数据。2019 年,我训练了第一个用于肺癌分类的神经网络。
研究中最后一项被低估的技能是善于沟通。善于沟通会让你更值得信赖。例如,我有三个最讨厌的问题,我知道至少其他人也有:
很多人喜欢说 "我明天就把这个做好 "之类的话,然后几个星期后才完成。我尽量避免说这样的话,除非它真的很重要,而且我真的能在明天之前完成它(而不仅仅是工作)。我希望人们在需要完成一项重要任务时,能够相信我的话。
在最初的项目会议上,人们喜欢表达出参与其中的浓厚兴趣,但随后却不愿意投入与他们所表达的兴趣相称的时间。同样,我也希望自己的兴趣能为他人提供信号,所以我试着说:"我不会承诺参与这个项目,但 这个想法对我来说真的很有趣。
人们经常会说"行不通 "之类的话,但却没有正确的具体内容。相反,我尝试说 "当我使用数据集 D 在模型 M 上使用配方 F 进行尝试时, 没有奏效 "这样的话,这样可以减轻对方的心理负担,让他们猜测我说的是哪种具体程度。
问:[来自达特茅斯大学的本科生]在整个研究过程中,自学(例如,选修您提到的近期课程等)的作用有多大?您是否希望自己就读的学校能提供更多的学术和课程?如果是,您是否希望有更多的选择,或者课程更加严谨?
我想我理解你的感受。一开始,我对达特茅斯的人工智能机会感到非常遗憾。大二秋天,我想申请转学到斯坦福大学,但考虑到转学录取率很低,不值得花这么大力气,所以决定放弃。
作为一名大学生,我非常在意课程,而我发现达特茅斯的人工智能课程非常单薄。现在回过头来看,很明显,虽然课业对激发兴趣很有帮助,但并不足以让你为从事全职人工智能工作做好准备。因此,要取得成功,并不需要去那些课业很好的地方。
我认为我从研究中学到的最多的就是做研究,而达特茅斯的一个好处就是教授们会尽量抽出时间来指导你或对你的工作给予反馈,即使他们并不是你想研究的领域的专家。在达特茅斯学习期间,几乎所有从事深度学习相关工作的教授都与我共事过或一起上过课:
我与 Saeed Hassanpour 合作撰写了多篇论文。
我和 Soroush Vosoughi 一起写过多篇论文。
我和洛伦佐-托雷萨尼(Lorenzo Torresani)一起完成了毕业论文。
我和心理学家 Thalia Wheatley 一起写了一篇 NLP 论文。
我和尤金-桑托斯(Eugene Santos)一起上了一门阅读课,最后发表了一篇关于社会科学中的NLP的论文,我甚至还让我的中东研究教授给了我反馈。
(数论文并不重要,我这么说只是想说明我寻找机会的程度)。
在达特茅斯学习人工智能的另一个困难是,社会压力会促使你去尝试其他事情。我的大多数朋友都进入了软件工程、咨询或投资银行领域。因此,我很难找到能理解我所经历的挣扎的人。我在大四结识的几个博士生朋友身上找到了慰藉。
问:OpenAI是否提供实习机会?
答:目前没有,但我们提供全职岗位和实习机会!
问:我对以工程方式而非研究方式使用 ML 特别感兴趣(使用已有的研究成果而非研究新事物),那么 OpenAI 是否提供无需研究生学位的全职软件工程职位?
当然有!OpenAI的大多数职位(可能是全部职位)都不需要研究生学位。
问:有效的想法(至少在您所研究的领域)倾向于更深入的数学,还是更广泛的创造性?如果数学深度很重要,那么在本科阶段达到这种理解水平的最佳途径是什么?是培养良好的数学直觉更重要,还是值得花时间正式深入研究这些数学课题?
很难说多学数学不好,但我是这么认为的(这只是我的观点):在深度学习的历史上,有两件简单的事情经受住了时间的考验,而且几乎总是有效:更大的模型和更多的数据。这两件事在数学上都不深奥,甚至没有特别的创造性。
因此,出于几个原因,我不建议深入研究数学:
现在,数学领域还有很多机会和未开发的想法,这意味着时间的机会成本很高。因此,在数学上投入时间的比较价值要小得多。
即使你想把时间花在更长远的技能上,我认为有一些技能的杠杆作用要比精通数学高得多。这里有几种:
当今人工智能领域的大部分工作都与精通工程和发展良好的软件工程技能有关。
如今的瓶颈在于 GPU,学习硬件知识以及如何高效使用 GPU 可能比学习数学更有价值。
投资于成为一名优秀的沟通者将使你更容易与人共事,帮助你更清晰地思考,更有条理。
鉴于大多数想法并非来自数学动机(尽管有些是),精通数学可能会让你在寻找工程解决方案时走错方向(就像精通语言学并不能帮助你建立大型语言模型一样)。
问:博士学位有多重要?
如果你想成为一名教授,博士学位很有帮助。
拥有博士学位可以帮助你在公司找到一份人工智能工作。但是,如果你没有博士学位,获得博士学位并不是在公司找到一份人工智能工作的最快途径。
不过,如果您要在攻读人工智能博士学位和从事其他工作(如量化金融)之间做出选择,我还是建议您攻读博士学位。
问:如何在人工智能研究领域找到工作?
答:这是一个相当复杂的问题,建议在很大程度上取决于你的背景。但无论如何,我在这里尝试给出一个 "从零到英雄 "的答案。
0. 如果你不知道如何编码,先学会用 python 编程。
1. 学习一门深度学习课程,了解深度学习的基础知识(backprop、深度神经网络、变换器等)。我认为吴恩达(Andrew Ng)的深度学习专业是一个很好的开始。
2. 选修一门较新的课程,了解该领域的现状。语言模型是最近的一个热门方向,我建议大家研究一下。这个领域的发展速度超快,这些课程是一种结构化的学习方式,可以让你弄清楚人们使用的行话到底是什么意思。
3. 在你对这个领域有所了解之后,有两个大问题:与谁合作和做什么。