刚刚过去的3月,GPT-4刷屏了。吃瓜群众一边津津乐道,一边瑟瑟发抖。随后国产大模型紧随其后,百度的“文心一言”、阿里的“通义千问”、复旦大学的“MOSS”、商汤的“商量”竞赛般的亮家伙,有点全民练模型,人人GPT的味道了。
暂且不论我们是否需要那么多大模型,客户场景是否足够,到底程序员会不会是第一批会被GPT干掉的职业,但是AIGC浪潮之下,HPC高性能计算,这一计算科学上的明珠却实实在在出圈了。现如今人工智能方向算法岗逐渐见顶、如何找到一条有前景且有钱景、且不被GPT替代的路子,相信是很多开发同学关注的重点。今天就和大家介绍一个人工智能方向就业的新路子——AI+HPC。
在大多数人的印象中,HPC(高性能计算)是一个专业度极高又相对冷寂的领域。大家平时做做超级计算机打打Top 500榜单,然后把这些庞然大物打包卖给高校和研究机构。
在很长一段时间内,“超算无用论”不绝于耳,而情况确实如此。
但随着大数据的发展,数据量的几何式增长让HPC的应用空间得到了极大的扩展,HPC市场的流动性也开始逐渐增强。HPC相关的岗位数量和待遇也水涨船高。
2019年五月底,惠普发起一桩有名的“超算收购案”。其以 13 亿美元买下了世界前五之一的超级计算机制造商 Cray(目前世界前五的超级计算机供应商就是联想、浪潮、曙光、Cray和HPE),折合每股价格27美金,比Cray股票一个月内的平均价格高出了27%的溢价。
惠普不做亏本生意,很显然他是通过在商用HPC市场的长期蛰伏,率先感知到了在五重奏(AI-HPC-IOT-大数据-5G的组合)影响下,企业层客户对更高效HPC的需求,因而发动了这次收购。
随着AI技术与IoT应用之间的互相驱动,数据量和计算方面的需求只会不断暴涨,而5G将数据传输管道大大拓宽之后,同样给了数据囤积量进一步拓展的空间。总之长远来看,工业、商业领域对于计算量的需求是长期看涨的,这也意味着,目前那些应用于基础科学研究、地震模拟等等领域的HPC能力,都将走出象牙塔进入商业市场。
在五重奏中,目前应用最为广泛的AI技术,起到了绝对的撬动力量。AI对计算的需求成就了英伟达,而AI对计算的需求很可能是无上限的。目前很多身处于HPC行业的企业已经感知到了这种变化,纷纷进行了相关的布局甚至转型。例如联想提出了“智慧超算”的概念,浪潮则在新产品i48中也强调了对AI场景应用的支持,就连Cray都成立了专门的AI部门。在近年的ASC、ISC等等HPC相关会议中,AI也成了常客。
在目前阶段,亚马逊云科技已经可以提供高度可定制的 HPC 计算平台,为用户带来多样化的异构计算资源以及定制化的计算实例。尤其值得注意的是,以软件生态丰富著称的亚马逊云科技在HPC领域同样提供了大量可用、低成本的软件,帮助用户解决管理与调度等领域的问题。
我们不得不认识到一个事实。超算的算力是AI的智力,AI训练对计算能力的需求每3.5个月增长一倍。从AlexNet(卷积神经网络)到AlphaGoZero,计算量上增长了30万倍。
AI训练越来越离不开大规模HPC计算的支撑。另一方面,AI计算在材料科学、生命科学和大气海洋等HPC应用领域发挥越来越重要的作用,推动HPC计算领域的科学发现,帮助人们进一步理解科学问题。例如,AlphaFold在蛋白质结构预测上取得了巨大的进步,以高精度预测蛋白质的立体结构,这项成果也入选Science的2020年度十大科学突破之一。AI和HPC的相爱相生使得HPC和AI的融合需求越来越强烈。
那么现如今,对于AI从业者、人工智能学习及从业者来说,HPC就是现如今最优的结构性机会。
我们看一组2022年11月份的数据,每一位求职Java开发的本科生,平均需要投递200个公司,才会收到3个面试邀约,不一定能收到offer,投录比为200:1甚至更低
然而投递HPC相关岗位,每投递20个公司,就会收到5个面试邀约,拿到2个offer,投录比为20:2
到了2023年,AIGC风潮来袭,相比于其他类型研发的裁员和降薪,HPC研发迎来了久违的春天。截止2022年底,国内新注册芯片类企业达14W+,大都需要HPC研发工程师,其他类型企业如字节、华为、小米、阿里、百度等纷纷开招HPC相关岗位,一时间也出现了很多新岗位:推理引擎优化工程师、AI平台优化工程师、人工智能解决方案架构师、高性能计算研究员等。
所以从这个角度看,同样是做研发,做HPC的成功率是其他方向的几倍甚至十几倍,而且做HPC研发因为更底层、更看重经验,因而更不易被年轻人替代
因此,对于人工智能专业或从事人工智能研发的同学来说,AI+HPC,可以说在一定程度上拓宽了在职程序员、甚至人工智能学习者和从业者的职业选择道路。
一起来看看AI+HPC可以去哪一类企业,有哪一类岗位,薪资又是多少呢?
首先可以选择的企业类型有五种,分别是芯片企业(如飞腾、景嘉微等)、互联网企业(我们熟知的BATH)、AI企业(商汤、旷视等)、应用型行业(生物医药、量化金融等)、研究机构和科研院所等(各类超算中心、智算中心、科研院所等)。
其实除了上面列举的这些大厂、中厂,也有不少创新创业型公司,比如研究做并行的、专门做异构计算的等,也会有很多机会。
岗位的话,我们从IT行业产业链的角度来看。是时候祭出这张图了,这张图适合IT行业的所有技术方向赛道,岗位类型越丰富、说明岗位越细分,证明行业发展越成熟。
很显然,HPC商用的征途才刚刚开始,一切皆有可能。目前HPC类型企业依然是以研发为主,其次销售、售前居多,也有超算运维岗位。但AI+HPC基本上是研发为主。
互联网大厂
阿里巴巴-产品与解决方案架构师-AI/HPC基础设施25-40K/16薪
职位描述:
1.配合一线开展售前的技术支持工作,与客户进行技术交流和前期需求沟通,引导客户需求,为客户提供AI、HPC基础设施解决方案,负责方案规划、方案编写、方案讲解、招投标工作等,支持项目落地。
2.熟悉AI、HPC行业和第三方公司产品,总结行业客户需求、收集分析竞争对手技术资料,为产品研发提供输入;
3.配合一线的市场开拓工作,输出行业解决方案并定期为一线进行培训和赋能。
职位要求:
1. 对AI、HPC在金融、教育、科研、工业等行业的应用场景有深入理解优先;
2. 熟悉服务器、网络、存储等基础设施产品和解决方案,有集群类产品工作经验者优先
3. 具备售前、市场或售后等工作经验,能够通过语言、文字、材料等形式和客户很好的交流并介绍产品优势。
4. 能综合多业务的不同场景,抽象总结基础设施产品核心的价值,具备整体规划能力,形成长短期的一体化产品方案;
5. 熟悉市场及产品研究方法,具备实践经验。
6. 能够在项目面临困难时主动解决问题。出色的推动能力和执行力
互联网大厂/AI名企
百度-AI/HPC研发
职责描述:
1. 协助完成AI for science交叉学科领域在国产芯片的应用场景落地
2. 负责AI+HPC应用软件在深度学习框架paddlepaddle的开发与性能调优
任职要求:
1. 代码能力强,计算机专业优先,硕士在校研究生或特别优秀的本科生
2. 熟练掌握深度学习框架tensorflow, paddlepaddle
3. 熟练掌握C++, python等编程语言
4. 对于材料科学、物理学等自然科学有兴趣者加分,对于AI for science有认知者加分
5. 熟悉DeePMD-kit工具者优先
6. 对承担的工作内容认真负责是最基本的要求,希望应聘者对于人生有美好而简单的追求,有较好的逻辑思维和团队合作意识
运营商
天翼云-研发专家(HPC方向)
职责描述:
1.负责研究HPC行业软件以及性能优化,包括计算流体力学,空气力学,分子动力学,蛋白质合成等;
2.负责开发维护HPC集群管理监控系统;
3.负责研究追踪HPC领域最新技术动态和进展。
任职要求:
1.全日制统招本科及以上学历,计算机类专业优先;
2.八年及以上相关工作经验,熟悉HPC并行计算原理和相关并行框架(MPI、OpenMP等),包括但不限于流体力学,空气动力学,分子动力学,蛋白质合成等,有HPC并行计算程序优化及调试经验者优先;
3.熟悉HPC调度器及计算机集群监控软件,有大规模部署及维护经验者优先;熟悉Linux/Unix操作系统;
4.具备计算机硬件、网络和存储系统知识,有大型网络及存储设备的配置、管理、维护经验者优先;有HPC相关论文及专利优先;
5.诚实守信、作风踏实严谨、责任心强,具备良好团队协作能力精神,学习能力强,善于解决复杂问题。
超算厂商
曙光-HPC产品经理
1、熟悉从业务调研、需求分析、实现到产品发布的整个流程;
2、负责HPC、AI产品的创新和预研,完成产品的用户需求定义、产品功能/UI/交互的设计;
3、负责制定项目开发计划并跟踪进度,确保项目如期完成;
4、收集市场反馈、用户需求,进而提升用户体验;
5、撰写详细的产品需求文档及原型设计文档,跟踪产品研发进度;
6、负责把控产品进度、协调突发问题与项目目标达成。
任职要求:
1、正规高校本科及以上学历,2年以上产品经理类工作经验;
2、对新业务快速上手,熟悉B端平台软件产品,至少负责过1个以上B端软件产品的设计和管理;
3、熟练使用Axrue,MS Office、Visio、MindManger等办公软件;
4、较强的逻辑思维、换位思考能力能准确把握需求,规划产品;
5、具有较强的书面表达能力和口头沟通能力,能够与客户、开发人员顺畅交流,并独立完成各种文档的编写;
6、良好的学习能力、团队合作精神、分析判断能力、沟通协调能力,对工作压力有较强的适应性。
通信企业
华为-HPC应用算法架构师
追踪研究领域和应用中的HPC和AI相结合跨领域应用,以及HPC+AI计算相关技术,理解和转化论文及开源代码中所采用的思路/方法;
负责HPC+AI领域的架构设计,包括科学计算的算法和应用关键技术和解决方案,以及新深度学习模型解决传统科学计算问题,科学计算库在AI加速卡支持等关键问题;
驱动HPC和AI结合领域解决方案概念和原型验证,并保障研发团队顺利按设计执行;
配合商务团队分析并理解HPC应用需求,并以此指导软件框架架构和关键特征设计;
擅长沟通,理解研发依赖和技术限制,能够跨团队协调完成调研或研发任务;
对于项目开展过程中的关键技术问题,能深入研发一线,并动手实际解决问题。
研究生以上学历,或至少3年从事相关工作经验,涉及传统HPC、深度学习或芯片性能优化等领域之一;
能熟练地使用HPC/AI/芯片领域的科技语言和技术进行交流;
熟悉传统HPC应用需求和关键技术,熟练掌握相关领域应用开发或科学计算库的使用;
熟悉云计算、大数据处理等技术领域,熟练掌握相关领域库或应用开发框架是一个加分项,诸如但不限于HBase/Hadoop/Stream/Spark等;
具有在国内外知名超算中心开发工作经验者;
熟悉诸如TensorFlow/PyTorch/ONNX等深度学习框架和协议,Ansys/Fluent/Matlab等科学计算框架和工具,是一个加分项;
具有分子/力学/基因/生物/医药/气象/材料等高性能计算应用领域实际经验是一个加分项;
具有在GPU / TPU 或 传统异构架构超算上加速应用计算的经验是一个加分项;
在HPC/AI/大数据领域拥有核心会议期刊上高质量论文或软硬件专利是一个加分项;
在微积分,线性代数,随机理论和技术方面具有扎实的数学基础是一个加分项。
创新创业企业
北京清醒异构科技有限公司 HPC+AI研发工程师
职责描述:
1. 参与面向HPC+AI的全套系统软件和效能优化解决方案研发和测试。
岗位要求:
1. 熟悉操作系统原理和计算机体系架构;
2. 精通C/C++语言,且有较强的编程能力;
3. 熟悉一种脚本语言,如Python/Shell等;
4. 熟悉OpenCL/CUDA编程;
5. 有Linux Kernel和Driver相关开发经验;
6. 熟悉深度学习,了解TensorFlow或者PyTorch的原理和机制;
冬天终究会过去,但如何以更好的姿态过好冬天,需要的是智慧和眼光、以及运气。HPC无疑是当下这种“前后端已死”、“互联网已死”、“软件测试已死”等悲观灰暗氛围下的一抹光亮。
且由于HPC足够专业、足够垂直、足够底层,也许我们可以说,HPC是当下,帮助程序员或准程序员们重新打造了职业护城河的最好选择。