OpenAI科学家Jason Wei关于人工智能的回复

news2024/11/29 10:40:31

问:你的人工智能之路是如何开始的?

答:虽然你们知道我的工作可能是从 2022 年开始的,但我从 2017 年就开始从事人工智能工作了。在达特茅斯大学读本科时,我原本想成为华尔街的一名银行家,这是我父母那一代人的美国梦(也是我家乡大多数朋友的梦想)。但我在大一(2017 年)时很难找到一份金融实习工作,所以最后我通过妈妈的一个朋友联系上了一家人工智能初创公司。

那个暑假,我与人工智能的第一次接触是迈克尔-尼尔森(Michael Neilson)的《神经网络与深度学习》(Neural Networks and Deep Learning)。我在书中读到了反向学习(backprop),从任何类型的输入和输出数据中学习任意映射的想法吸引了我。我仍然记得,我对这本书的热情比我在学校里学的其他科目要高出一个数量级。

在 2010 年代末,最酷的事情就是发表人工智能研究成果,因此我在大学里也尝试着这样做。我走了一条普通的路,选修了一门机器学习课程,并要求与授课教授一起做研究。我在医学影像分析的深度学习方面工作了两年。我的工作还算不错,但并不惊艳。达特茅斯没有一个充满活力的人工智能环境,也很难找到一个社区。因此,我非常感谢那里少数几个真正对人工智能感兴趣的人--Sam Greydanus 是我仰慕的人。

问:我应该从事哪个研究方向的工作?

这显然没有唯一正确的答案。我个人的观点是,从事自己喜欢的研究非常重要,因为从长远来看,你会做得更好。如果你不知道自己喜欢什么研究,那就广泛阅读几周,或询问其他人他们对哪些方向感到兴奋,然后选择一些方向开始研究。

有时,您必须在您想从事的研究与其他因素之间做出权衡。例如,你可能有机会与一位了不起的教授合作,但这并不是你的首选课题。我认为,如果你能从中学到很多东西,或者它能帮助你达到你想要的目标,那么做这样的事情是没有问题的。但重要的是,要记住自己做事的原因,并对自己的想法保持透明。

我建议大家考虑的一个研究方向是对齐。我认为对齐是一个好方向的几个很好的理由:

  • 让智能人工智能与人类价值观保持一致肯定会非常重要。
  • 对齐是一个相对新兴的领域,因此较早从事这项工作的人将有更大的机会产生影响。
  • 对齐可以是跨学科的;它涉及许多其他主题,如伦理(有些人可能会喜欢)。
  • 对齐研究人员供不应求,因此更容易找到工作。

问:您从哪里/如何学到开展有效研究所需的大部分知识?是花更多时间学习好,还是有了有趣的想法就直接投入研究好?

在研究中,有三种学习来源,您要最大限度地利用这三种来源:
你阅读的东西:其他研究论文、博客文章、微博。
别人告诉你的东西:你的导师给你的反馈,审稿人对你的论文进行的评审。
你要尝试:做实验,成功或失败,你都要深入探究原因。

一开始,读东西是件好事,因为做后两项的成本要高得多(其他人的时间;你做实验的时间)。不过,你会希望尽快开始第二种和第三种学习。原因是,当你处于能力的边缘时,学习会发生得最快,而由于(2)和(3)是为你量身定做的,它们会让你的学习速度更快。

问:您认为研究工作最需要的特质是什么?

我认为,研究和其他大多数技能一样,可以通过实践来学习(参见本博文)。是的,也许陶哲轩有天赋异禀的才能,我们中很少有人能达到这种水平。但我相信,大多数人都有能力成为一名高水平的研究人员。因此,我对这个问题的简短回答可能是 "勇气",因为有了勇气,才会有实践。

研究中一项被严重低估的技能就是从反馈中学习。你会惊讶于人们对反馈意见的忽视程度--我发现大多数向我寻求建议的人都不会听取反馈意见。我试着做的一件事就是非常认真地对待他人的反馈,尤其是当他们是顶尖高手时。反馈就像一个梯度,它会告诉你应该朝哪个方向发展,才能成为更好的研究人员。当我有导师时,我会每周问他们我可以做得更好的地方,然后努力去做。我们很幸运,在研究领域拥有快速反馈的文化;并非每个领域都是如此。

需要注意的是,知道何时忽略反馈也是件好事。你的指导老师或老板可能并不总是处于给出反馈的正确精神状态,而且他们也没有像你一样深入思考过你的问题。但无论如何,你还是应该仔细考虑他们说的话。

另一项被低估的技能是愿意做苦差事,尤其是看数据。2019 年,我训练了第一个用于肺癌分类的神经网络。

研究中最后一项被低估的技能是善于沟通。善于沟通会让你更值得信赖。例如,我有三个最讨厌的问题,我知道至少其他人也有:

很多人喜欢说 "我明天就把这个做好 "之类的话,然后几个星期后才完成。我尽量避免说这样的话,除非它真的很重要,而且我真的能在明天之前完成它(而不仅仅是工作)。我希望人们在需要完成一项重要任务时,能够相信我的话。

在最初的项目会议上,人们喜欢表达出参与其中的浓厚兴趣,但随后却不愿意投入与他们所表达的兴趣相称的时间。同样,我也希望自己的兴趣能为他人提供信号,所以我试着说:"我不会承诺参与这个项目,但 这个想法对我来说真的很有趣。

人们经常会说"行不通 "之类的话,但却没有正确的具体内容。相反,我尝试说 "当我使用数据集 D 在模型 M 上使用配方 F 进行尝试时, 没有奏效 "这样的话,这样可以减轻对方的心理负担,让他们猜测我说的是哪种具体程度。

问:[来自达特茅斯大学的本科生]在整个研究过程中,自学(例如,选修您提到的近期课程等)的作用有多大?您是否希望自己就读的学校能提供更多的学术和课程?如果是,您是否希望有更多的选择,或者课程更加严谨?

我想我理解你的感受。一开始,我对达特茅斯的人工智能机会感到非常遗憾。大二秋天,我想申请转学到斯坦福大学,但考虑到转学录取率很低,不值得花这么大力气,所以决定放弃。

作为一名大学生,我非常在意课程,而我发现达特茅斯的人工智能课程非常单薄。现在回过头来看,很明显,虽然课业对激发兴趣很有帮助,但并不足以让你为从事全职人工智能工作做好准备。因此,要取得成功,并不需要去那些课业很好的地方。

我认为我从研究中学到的最多的就是做研究,而达特茅斯的一个好处就是教授们会尽量抽出时间来指导你或对你的工作给予反馈,即使他们并不是你想研究的领域的专家。在达特茅斯学习期间,几乎所有从事深度学习相关工作的教授都与我共事过或一起上过课:

我与 Saeed Hassanpour 合作撰写了多篇论文。
我和 Soroush Vosoughi 一起写过多篇论文。
我和洛伦佐-托雷萨尼(Lorenzo Torresani)一起完成了毕业论文。
我和心理学家 Thalia Wheatley 一起写了一篇 NLP 论文。
我和尤金-桑托斯(Eugene Santos)一起上了一门阅读课,最后发表了一篇关于社会科学中的NLP的论文,我甚至还让我的中东研究教授给了我反馈。

(数论文并不重要,我这么说只是想说明我寻找机会的程度)。

在达特茅斯学习人工智能的另一个困难是,社会压力会促使你去尝试其他事情。我的大多数朋友都进入了软件工程、咨询或投资银行领域。因此,我很难找到能理解我所经历的挣扎的人。我在大四结识的几个博士生朋友身上找到了慰藉。

问:OpenAI是否提供实习机会?

答:目前没有,但我们提供全职岗位和实习机会!

问:我对以工程方式而非研究方式使用 ML 特别感兴趣(使用已有的研究成果而非研究新事物),那么 OpenAI 是否提供无需研究生学位的全职软件工程职位?

当然有!OpenAI的大多数职位(可能是全部职位)都不需要研究生学位。

问:有效的想法(至少在您所研究的领域)倾向于更深入的数学,还是更广泛的创造性?如果数学深度很重要,那么在本科阶段达到这种理解水平的最佳途径是什么?是培养良好的数学直觉更重要,还是值得花时间正式深入研究这些数学课题?

很难说多学数学不好,但我是这么认为的(这只是我的观点):在深度学习的历史上,有两件简单的事情经受住了时间的考验,而且几乎总是有效:更大的模型和更多的数据。这两件事在数学上都不深奥,甚至没有特别的创造性。

因此,出于几个原因,我不建议深入研究数学:

现在,数学领域还有很多机会和未开发的想法,这意味着时间的机会成本很高。因此,在数学上投入时间的比较价值要小得多。

即使你想把时间花在更长远的技能上,我认为有一些技能的杠杆作用要比精通数学高得多。这里有几种: 
当今人工智能领域的大部分工作都与精通工程和发展良好的软件工程技能有关。

如今的瓶颈在于 GPU,学习硬件知识以及如何高效使用 GPU 可能比学习数学更有价值。

投资于成为一名优秀的沟通者将使你更容易与人共事,帮助你更清晰地思考,更有条理。

鉴于大多数想法并非来自数学动机(尽管有些是),精通数学可能会让你在寻找工程解决方案时走错方向(就像精通语言学并不能帮助你建立大型语言模型一样)。

问:博士学位有多重要?

如果你想成为一名教授,博士学位很有帮助。
拥有博士学位可以帮助你在公司找到一份人工智能工作。但是,如果你没有博士学位,获得博士学位并不是在公司找到一份人工智能工作的最快途径。
不过,如果您要在攻读人工智能博士学位和从事其他工作(如量化金融)之间做出选择,我还是建议您攻读博士学位。

问:如何在人工智能研究领域找到工作?

答:这是一个相当复杂的问题,建议在很大程度上取决于你的背景。但无论如何,我在这里尝试给出一个 "从零到英雄 "的答案。

0. 如果你不知道如何编码,先学会用 python 编程。
1. 学习一门深度学习课程,了解深度学习的基础知识(backprop、深度神经网络、变换器等)。我认为吴恩达(Andrew Ng)的深度学习专业是一个很好的开始。
2. 选修一门较新的课程,了解该领域的现状。语言模型是最近的一个热门方向,我建议大家研究一下。这个领域的发展速度超快,这些课程是一种结构化的学习方式,可以让你弄清楚人们使用的行话到底是什么意思。
3. 在你对这个领域有所了解之后,有两个大问题:与谁合作和做什么。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/769010.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ORAN上行帧和下行帧的定时关系

在UE天线端口处,相同帧号的UL无线帧,相对于DL无线帧有定时提前偏移。N_TA offset是应用于UE的默认定时偏移参数,除非根据3GPP 36.211或38.211中规定,在小区中配置了另一个值。n-ta-offset是M平面参数,用于控制在O-RU天…

软件设置开机自启

文章目录 一、使用系统自带工具设置开机启动1.winR键打开运行窗口2.输入"shell:startup"→点击确定3.将要开机自启的软件快捷方式放到启动目录下就行 一、使用系统自带工具设置开机启动 1.winR键打开运行窗口 2.输入"shell:startup"→点击确定 3.将要开机…

FastEdit ⚡:在10秒内编辑大型语言模型

概述: 这个仓库旨在通过一个单一的命令,有效地将新鲜且定制化的知识注入到大型语言模型中,以辅助开发人员的工作。 支持的模型:○ GPT-J (6B)○ LLaMA (7B/13B)○ BLOOM (7.1B)○ Falcon (7B)○ Baichuan (7B/13B)○ InternLM (7…

【es】部署后打不开访问页面

具体报错: [2023-07-18T00:55:28,203][WARN ][o.e.x.s.t.n.SecurityNetty4HttpServerTransport] [demo] received plaintext http traffic on an https channel, closing connection Netty4HttpChannel{localAddress/127.0.0.1:9200, remoteAddress/127.0.0.1:5529…

企业应如何面对数字化时代?

企业要想有效面对数字时代,就需要适应和拥抱数字技术带来的机遇和挑战。以下是企业需要考虑的一些关键策略: 拥抱数字化转型:数字化转型涉及重新思考和重新构想业务流程、产品和服务以利用数字技术。这可能包括自动化流程、采用云计算、实施数…

如何学习Java集合框架? - 易智编译EaseEditing

要学习Java集合框架相关的技术和知识,可以按照以下步骤进行: 掌握Java基础知识: 在学习集合框架之前,确保你已经具备良好的Java编程基础,包括语法、面向对象编程(OOP)原理和常用的核心类库等。…

HIVE SQL几种不同的分组排序函数比较

--数据建表 drop table if exists db.tb_name; create table if not exists db.tb_name ( name string,class string,score string ) ; insert overwrite table db.tb_name values ("a","1","100") ,("b","1","99"…

pdf怎么转换成TXT格式?分享这3个方法!

当我们需要从PDF文件中提取文本时,尤其是在收集资料撰写文章或其他文件时,PDF文件的特性可能会造成一些麻烦。PDF文件的版面内容不会受浏览设备的影响,保持着统一的版式,但同时也不易于编辑和修改。因此,常见的解决方案…

基于SSM+Vue的汉服文化平台网站设计与实现

博主介绍: 大家好,我是一名在Java圈混迹十余年的程序员,精通Java编程语言,同时也熟练掌握微信小程序、Python和Android等技术,能够为大家提供全方位的技术支持和交流。 我擅长在JavaWeb、SSH、SSM、SpringBoot等框架…

CleanMyMac X2023中文版升级下载及功能讲解

CleanMyMac X是一款功能强大的Mac系统优化和清理工具。它提供了一系列功能来帮助您优化和保护您的Mac电脑。coco玛奇朵要来分享的是Mac下一款强大、实用的系统清理软件——CleanMyMac,它可以帮助您快速清理系统垃圾,清理Photos重复照片,卸载软…

仿大众点评项目 —— 各阶段详细笔记总结

❤ 作者主页:欢迎来到我的技术博客😎 ❀ 个人介绍:大家好,本人热衷于Java后端开发,欢迎来交流学习哦!( ̄▽ ̄)~* 🍊 如果文章对您有帮助,记得关注、点赞、收藏、…

【MySQL】MySQL8.1.0版本正式发布带来哪些新特性?

文章目录 前言一、畅谈新版本二、8.1.0版本部署2.1、环境准备2.2、配置yum安装依赖2.3、用户及目录创建2.4、创建用户及组2.5、解压缩包2.6、环境变量配置2.7、创建参数文件2.8、数据库初始化2.9、启动Mysql2.10、登陆MySQL 8.1 三、新特性3.1、密码参数3.2、错误日志加强3.3、…

第三章:内存

一、内存的基础知识二、内存管理的概念2.1 **内存空间的扩充技术**2.2 内存空间的分配与回收2.2.1 连续分配管理方式2.2.2 动态分区分配算法2.2.3 非连续分配管理方式2.2.3.1 **基本分页存储管理**2.2.3.2 基本地址变换结构2.2.3.3 具有快表的地址变换机构2.2.3.4 俩级页表2.2.…

使用更少数据训练更好的alpaca

概述 该论文的研究背景是指令微调在大型语言模型中取得了重要的成果,但现有的训练数据质量问题导致模型性能下降。 过去的方法主要是使用低质量的数据进行指令微调,这些数据中存在错误或无关的回答,导致结果误导和训练成本增加。该论文的方…

赫达转债,明电转02上市价格预测

赫达转债 基本信息 转债名称:赫达转债,评级:AA-,发行规模:6.0亿元。 正股名称:山东赫达,今日收盘价:18.72元,转股价格:17.4元。 当前转股价值 转债面值 / 转…

代码测试工具Fortify最新版本介绍及实操

代码测试工具是安全测试、代码审计中经常会用到的一款软件测试工具,支持超过27种语言,超过911,000个组件级API,覆盖810多个SAST漏洞分类。通过Fortify的安全编码规则库,可以定位漏洞根本原因,参考漏洞修复指南。Fortif…

社媒营销:如何使用多开浏览器管理多个Facebook账号?

社交媒体营销已成为企业推广产品和服务的重要渠道,目前很多人转战海外。截至目前为止,Facebook仍是全球最受欢迎社交媒体平台的第一名,是产品推广的好平台。 多个Facebook账号的优势: 备用账号 无论你是日常生活分享还是从事fb…

【JS】设置滚动属性默认自动滚动到底部(overflow:scroll;)

文章目录 核心代码应用场景 核心代码 设置滚动属性默认自动滚动到底部: // 获取设置了滚动属性的div标签 const div document.getElementById(conversationalDiv); // 设置滚动的顶点坐标为滚动的总高度 div.scrollTop div.scrollHeight;应用场景 场景&#xff…

生命在于折腾——Obsidian笔记软件折腾记录(一)

一、开端 我使用过很多笔记软件,OneNote-语雀-Notability-GoodNotes-印象笔记-有道云笔记。 不得不说,我一直想拥有一款满足以下条件的笔记软件: 买断制。(符合以下所有条件我考虑订阅)ipad可手写。icloud可同步。Ma…

OA系统增加会议

目录 一.前期准备工作 A.建立数据库会议信息类 B.建立增加会议的jsp界面 1.注意事项 2.存储路径图片展示 C.构建JS 1.构建addmetting.js 2.导入Layui的formSelects(为了下拉框选择值做准备) 二.实现绑定多功能下拉框dao方法 A.查询所有用户 绑…