AI正深刻地变革着各行各业,而在这场技术革命中,首先受到影响的或许正是那些与AI紧密相连的专业人士——产品经理。
我们本篇中的对话始于Vanessa对「面试了100位AI产品经理」的心得总结。
👩🏻 Vanessa:
字节跳动AI产品领域负责人
Vanessa凭借其资深的产品管理经验,为我们揭示了AI产品经理”这一角色的真谛,进而深入探讨了AI产品经理的工作现实与面临的挑战,包括那些至暗时刻。
Vanessa分享了
1.她在AI产品经理岗位上的宝贵经验
2.面试中遇到的优秀求职者故事。
3.作为面试官,她认为的简历撰写和面试准备实用建议。
4.Vanessa自己的转型经历
除了这些经验总结和故事,我们也希望能把 Vanessa 谈到的一些个人哲学和理念传递给更多的人:
跟随自己的兴趣,先热爱生活,再做产品。
无论你是否是产品经理,保持对新事物的敏锐洞察和积极开放的心态,都是职业发展的底层动力。希望这一期的内容能够为大家带来启发和收获。
1.
面试了超过 100 位 AI 产品经理的感受
1.1 典型的人选画像
Koji
你在字节已经面试了超 100 位 AI 产品经理。
我们很想知道,在面试大量 AI 产品经理时的感受和观察,相比传统产品经理而言,你觉得有什么不同吗?
👩🏻 Vanessa:
我也是从用户产品转型过来的,之前通常会考察你的数据是否敏感、设计用户交互体验的能力、与其他团队的合作沟通和推进力等等。而AI 产品经理的面试会有另一道门槛——在用户端产品经理的技能基础上,你需要对 AI 技术有更深入的了解,才能进入这个行业。
典型的 AI 产品经理有几种来源:
一种是传统产品经理转型,这类很常见;一种是原本做机器学习的算法工程师转产品经理,不过这类人数不算特别多;还有一种情况是,他们本身就是计算机或人机交互专业的学生,对 AI 领域很感兴趣,积累了一定的经验后就直接入行做 AI 产品经理。
Koji
听起来,AI 产品经理最大的不同在于有没有掌握了生成式 AI 的一些技术理解。
除此之外,在寻找用户需求、理解市场竞争的层面,你认为如今的 AI 产品经理有什么不同吗?
考虑到 AI 并不是一个既定技术,过去的产品经理也需要懂一些技术,如今最大的不同就是如今的技术边界也是流动的,从而带来了不同的素质要求。
在考察 AI 产品经理的简历时,有留意到这些不同吗?
👩🏻 Vanessa:
嗯,我先说说什么样的简历能通过 AI 产品经理的招聘关吧。
有一种是候选人过往经历与 AI 完全无关,简历本身也是以前申请一些大厂的通用版本,没有针对 AI 进行修改。如果看到这样的简历,大概率认为候选人在行业和过去经验上不够匹配,不太有机会。
还有一类简历是,候选人有一些 AI 经历,且有一些通用能力可以迁移到 AI 领域。比如说做行业分析或战略出身的人,原来看的是非 AI 的产品,但他能够深入分析产品思路、市场定位、商业模式等;迁移到 AI 产品之后,这些认知,其实完全是可以迁移过来的**,中间的壁垒并没有那么高**。
因此,如果我现在在招的产品经理,只是想让他针对 AI 行业或战略提供 insights 的话,是否具备深入的 AI 知识或 AI 领域技能就没有那么重要。如果招聘需求比较急,又很需要对方快速上手的话,有一些沾边的经历是加分项。
Koji
是不是可以理解为,在过去做得好的产品经理,都有机会转行成为一个好的 AI 产品经理?他只需要学一些知识,这些知识是 fact ,而不是更复杂的东西。
👩🏻 Vanessa:
是的,我觉得现在偏向于 fact 的原因是整个行业的变动还太快了,对所有人来说都是新的。因此,没有人能够从更深层次、更哲学的层面去理解这些东西,大多数人都还停留在在吸收整个行业中新产生的偏向 fact 的知识。
这也是现在入局 AI 的优势——门槛并没有想象中那么高,只要你掌握了更多的知识,就已经有一些优势了。并不需要像以前那样在洞察用户心理、设计用户交互等领域达到明显区别于他人的水平。现在出现的大牛毕竟是少数,所以刚入行的人仍然有很大的机会。
1.2 看论文不一定是唯一路径
Koji
之前,有另一位 AI 产品经理 hidecloud 也来上过我们播客。他鼓励所有 AI 产品经理每天看论文,来保持对最新 AI 变化的了解。但其实很多人听完他的分享后感到压力很大。
👩🏻 Vanessa:
哈哈,就觉得很劝退~
Koji
所以你怎么看,在2024年的当下,像 hidecloud 一样每天阅读论文,是否是成为一个优秀的 AI 产品经理的唯一路径呢?
👩🏻 Vanessa:
每天看论文是一种非常硬核的方式,但这取决于所处的阶段。比如,如果你是一个在校生,尤其是 CS 专业的,每天看论文是非常有益的。
之前的提纲有一个问题是「最近让你印象深刻的 AI 产品」,其实我一时没有想到特别惊艳的产品,反而有很多论文的思路让我感到惊为天人。因此,如果你是一个 CS 专业的学生,看论文绝对是一个非常大的加分项。它可以扩展你的思路,并让你对 AI 有更深层的理解,而不是流于表面,只是看看别人做出来的产品是什么样子。
AI 从技术层到产品层经历了多个阶段,AI 产品已经是一个最终的成品。就像做面包一样,只品尝好吃的面包,是它不理解是怎么从面粉一步一步成为面包的。因此,了解 AI 的技术原理尤为重要。
但如果你已经掌握了一些视觉算法的基础知识或经验,也不是只能硬啃论文。一个不看论文的产品经理,也可以做一个更懂用户、更懂市场、更懂应用场景的产品经理。在强调分工的大公司中,有专业的算法工程师能更早接触并掌握到这些前沿 paper,不非得要求产品经理比算法还懂算法。
对产品经理来说,看 paper 不是一个 must have,是一个 nice to have。不必过分焦虑。
2.
后 AI 时代的产品经理指南
2.1 四类 AI 产品经理
Koji
当我们提到产品经理时,实际上会分为 to B 和 to C ,图文、影像、效率等不同应用场景的类型。
那么,对于 AI 产品经理而言,有哪些分类呢?
👩🏻 Vanessa:
自生成式 AI (包括视觉大模型和语言大模型,此处只是想区别于传统 AI,不是严谨概念)出现以来,AI 产品经理会根据在 AI 上下游中扮演的角色来划分。
◾ 一类是专门从事数据生产的产品经理。大模型的本质是算法、算力和数据,海外有一个叫 Scale AI 的产品,他们团队非常擅长数据的清洗和分类,把非结构化数据转换为算法可用的数据。这类产品经理是整个大模型的基底。
◾ 第二类是从事大模型策略和评估的产品经理。一个大模型可能会有不同的版本,基于不同数据也可能训练出不同的结果。策略产品经理的角色在于评估大模型的训练效果和制定优化策略。比如,一个语言大模型在多次迭代后,会有一个文字测试集,通过各种问题来对模型能力进行评估。其中甚至有些稀奇古怪的问题,来测试模型的上下限,比如弱智吧里的言论「生鱼片为什么是死鱼片」、「三个半小时是一个半小时」。
剩下两类则更贴近我们对「AI 产品经理」的第一印象。
◾ 第三类是像我这样在 AI native 产品中担任 PM 角色的产品经理,特别是偏向效果的 PM。这类产品经理现在并不多,因为投入纯 AI 产品的公司也不多,他们需要考虑在生成式 AI 时代下,新的产品经理要如何工作、有怎样的工作流。
◾ 最后一类是负责产品中 AI 功能设计的产品经理,也是相对最容易转的产品经理。例如有的朋友在 Google 工作,负责 Google Calendar、Gmail。这些产品中会有 AI 小助手,日历会像小秘书一样帮你总结一下今天要见的人,会议后如果有视频记录,也可以帮你把待跟进的事项记下来等等。
这类产品经理其实是在以往产品的基础上添加一些 AI 元素,从而慢慢向 AI 赛道贴近。
Koji
当你提到第四类产品经理时,更多是讲的 to C,我觉得 to B 也同理。最近我们在关注 Y Combinator 近一年投资的 260 家 AI 公司中发现,其七八成在美国都是做 to B 的。
过去任意一个有 SaaS 的 to B 领域,在当下就可以转换成 AI SaaS。比如,在兽医、牙医等领域,过去有一些公司做 CRM 做的不错,现在也有一些用 AI 把 CRM 再做一遍的。
我认为这也是一类产品经理画像,即用 AI 来提高工作效率,在已有的产品上赋能。
Rong
这些来面试的人,他们有特别清楚自己在申请哪一类产品经理吗?
👩🏻 Vanessa:
可能并没有。因为 AI 行业非常新,而且在招聘时可能出于保密因素,大家会把 JD 写得很模糊,不会明确描述日常的具体工作内容。因此,来求职的人很多自我定位也不清晰。
我在面试中遇到一些候选人,他们在说「想做 AI 产品经理」时,其实并没有真正了解其将面临的挑战。他们的了解局限于日常使用过 ChatGPT、妙鸭等应用、或者看过相关新闻,认为这些东西特别牛。
正如之前很多人教导怎么转行产品经理,现在的趋势是教导怎么转行 AI 产品经理。AI 产品经理的 title 变得越来越高大上,就会有很多人想要涌入这个领域。
我觉得他们讲的不够现实,或是故意隐瞒了很多东西。
2.2 产品经理的至暗时刻与价值感
Koji
现实是什么呢?
👩🏻 Vanessa:
在教人转行的时候,有时候这些老师只讲优点,赚到了流量和钱,却没有任何的售后。
还有就是「只讲道不讲术」——只讲 AI 有多重要,却不讲你到底怎么去做一个 AI 产品经理,具体每天的day to day是什么样的。
还有些人觉得所有人的起点都差不多;其实在校生或零经验的人、有一些 AI 产品经验的人、还有非 AI 产品但产品经验丰富的人,他们进入 AI 产品经理这个行业的路径,应当是相当不同的。
那么,AI 产品经理在光鲜的 title 背后,究竟在做些什么呢?这里有几个 AI 产品经理的「至暗时刻」——
一个是,AI 产品经理常常会被追问一个问题:「 自己的价值到底在哪里?」
在外界看来,AI 行业的技术能力已经很强了,AI 产品经理在此之上可能做不了太多的东西;其实恰恰相反,大家都以为现在的技术能力很强,但实际用起来却漏洞百出。
Koji
这是外界的假设,对吗?
👩🏻 Vanessa:
我觉得这是一个误解。AI 还有很大的能力局限,而且这个局限更多来自模型本身而不是产品策略。AI 整个行业都是靠技术驱动的。比如之前 Kimi 大模型解锁了非常长的上下文限制,使应用的长场景大大增加,你可以丢一本法律书或医学书给他,就能立刻解锁更多的应用场景。
因此,一个 AI 产品能做什么,非常依赖于上层模型的能力。
有时人们会质疑,「作为 AI 产品经理,我只是做一些雕花的事情吗?」 这是常常困扰 AI 产品经理的一个自我价值的问题。
我认为产品经理的价值还是很高的。
模型在日新月异,我们期望它变得越来越强大,但在期望实现之前还有很长的路要走。我们需要叠加大量的策略,也就是所谓的雕花工作,但这不完全是弥补技术上的不足,更是去深入理解用户到底想要什么、用户场景是什么、用户交互是否顺畅。模型越成熟,叠加策略其实越简单。然而,现在的模型还远远没有达到成熟的阶段,仍然需要大量的产品经理去堆策略。
另外,一个很大的挑战是如何找到 Product Market Fit。
我看过一个例子是,一个海外做 AI 生成漫画的产品。像 Midjourney 这样的产品,已经能生成各种令人惊艳的图像,但应用到漫画、绘本领域,它还缺少很多东西,比如人物一致性保持、场景固定、比如帮助创作者从一个想法发散成一个完整的故事大纲甚至细致的脚本等,这些仍需要大量的人工处理。那个产品就是针对漫画的创作场景,做了很多好用的功能。
AI 产品经理要深入了解用户的 user flow,即用户在做这件事的过程中会经历哪些步骤、有哪些需求,并将所有 AI 能力串联起来。
还有一个至暗时刻是,AI 产品经理每天早上醒来都会被源源不断的市场消息刷屏,甚至你睡得晚的时候大洋彼岸又又又开发布会了,又又又有新东西了。
我们每天都处在一个随时被颠覆的状态。
你今天雕的这一堆花,明天模型增强可能就不能用了。
还有一点,大部分人以为 AI 产品经理的工作很高级,每天调调模型,而不了解这份工作有多 dirty work。我曾经发过一条朋友圈,引用了一个网络梗:
「在 city walk 和 dirty talk 之间选择了 dirty work」。
产品经理也会干很多很基础的东西,也就是所谓的脏活累活。
Koji
可以举一些例子吗?
👩🏻 Vanessa:
我是做视觉模型的,现在做视觉模型有两种不同的 UI 界面可供选择,一种叫 Web UI,另一种叫 Comfy UI,这两种界面都可以和 Stable Diffusion 做交互,引导它发挥自己的模型能力,输出图像。
但是,UI 界面中模型的选项很多,每个模型的参数也很多,比如每个参数可以从 0.1 调到 0.99……这些调参的工作非常繁复。即使有自动化工具辅助,仍然要耗费大量人力。
Koji
我也很好奇,只有一张图片好不能说明我的参数调得对,可能还需要很多不同风格和特点的图片来证明这一点。可供选择的模型、插件、参数又有这么多,要做好这件事听起来就像是天方夜谭。
👩🏻 Vanessa:
有人说过,大模型调参像炼丹,有一定的玄学成分。例如,你有两个参数,它们之间可能会相互作用。当你调高一个参数、调低另一个参数,它对整体画面的影响可能很细微。除了对模型和参数作用的理解之外,你也需要不断摸索,形成一种感觉,比如,当你发现画面有点油腻,你应该调整哪个参数或者增加什么节点呢?这些都是经验上需要积累的事情。
还有一些 dirty work,比如刚才提到一张图跑好了不算什么,你得在有成百上千大批量的图上得到比较稳定的结果。批量跑图是一个很基础的活,没有特别强的技术门槛,但它就是 AI 产品经理每天需要去做的。
Koji
现在的自动化工具也不是很好用,对吧?
👩🏻 Vanessa:
我们有在自研,不过市面上目前还没有一个普适性的自动化工具,但我相信未来会出现。就像最初没有 Airtable 或多维表格等来帮产品经理梳理需求和想法,这些工具后来也陆续出现了。我们需要给这些工具一些生产的时间。
还有一个至暗时刻是,大部分用户并不理解 AI,他们仍然用以前与非 AI 产品交互的思路,来推理在与 AI 产品交互的时候应该遇到什么。然而,之前的产品并不是一个概率模型,而是一个由程序设定好的一步步执行的。
例如,当你用一台咖啡机时,如果你点了拿铁,它必定会给你拿铁。但生成式 AI 是一个概率模型,有一定的概率不出拿铁,哪怕概率已经低到千分之一。用户无法理解这一点,他们认为 AI 应该百分百地理解和响应他们的需求,实际上 AI 并不能做到这一点。
用户也不理解 AI 本身会有能力的上限。即使是最先进的 Midjourney 或 Stable Diffusion XL/3 版本,也可能会出现肢体不自然、手画不准、模糊等问题。有一个 prompt 叫「瑜伽女孩」,如果将其输入所有的生图工具中,出现坏图的概率会很高,因为瑜伽的姿势特别多,瑜伽这个 prompt 对于大模型来说挑战特别大。用户无法理解这一点**,只要他们发现多了一个手指或者眼神不太对,就会觉得这个产品不行**。实际上这始终是一个概率模型,我们可以争取达到 99.99% 的准确率,但不可能 100% 准确。
Koji
你们有什么办法来解决这个问题呢?比如图片生成之前有一个预览或 double check 环节,如果有问题可以及时补救。这样是否可行呢
👩🏻 Vanessa:
这也是一种雕花。但场景是列举不全的,如果所有生图都加入一个 check 环节,生图过程就不会显得那么流畅和简单。这也是要面临的 trade off。
Koji
所以,你们可能每天会收到很多用户反馈对生成的图不满意,但有时也无能为力,因为这就是大模型的幻觉或局限性。
👩🏻 Vanessa:
我们可以通过各种方式努力接近模型的上限,但突破上限意味着模型本身需要迭代,或是使用更好的模型来替代现模型。
然而,即使是市面上最先进的模型(SOTA),也必定存在一些缺陷。
Koji
我很理解这样的至暗时刻,即使收到一个 bug,也没有什么解决办法。
👩🏻 Vanessa:
这和 bot 交互方式也有关。
以前使用的是 GUI(传统图形界面),给到用户四个按钮,他就明确只能干这四件事儿。
现在给用户的是一个对话框,用户不知道能做什么,甚至可能会提出一些奇怪的对话,比如「帮我洗衣服」这类完全无法实现的 prompt。这个现象的原因是 AI 还太新了,整个市场对 AI 的理解和教育还不够。
Koji
还有更多至暗时刻吗?
👩🏻 Vanessa:
对 AI 产品经理而言没有了,但对 AI 而言,我认为现在我们对 AI 过于苛责。假设把 AI 当作一个人来看待,“他”的至暗时刻是什么呢?我们对他的评价并不公平。
以自动驾驶为例,即便是通过驾校考试的人也会出现驾驶失误。人的驾驶技能有好坏之分,AI 的安全性可能比某些人还高,但我们对 AI 的标准非常苛刻,不允许它出现任何问题。还有像医生诊断还是以 Copilot 为主,AI 可以辅助医生但不能完全替代医生,即使 AI 误诊率比医生低,我们仍觉得不能把其交给 AI。
我认为这可能是源自人类的责任心——我们把生死攸关的事情交给机器,就必须对它苛责;也有可能是源自人类的优越感——认为机器和人类不能混为一谈。
这就是 AI 的至暗时刻。这些事情有一整块科技伦理的学科来讨论,也可以说得非常严肃和学术,我这边就只是浅浅提一下。
2.3 产品经理的成就感:入局不亏
Rong
我想问一个问题,是关于成就感。
你提到有这么多人来申请 AI 产品经理的工作,说明很多人都看好这个领域。这种感觉让我想起了当年 Facebook COO 桑德伯格说过的一句话:
「当你看到了一艘火箭,你什么都不要想,只要跳上去就行了。」
👩🏻 Vanessa:
是的,从我自身的判断来看,现在入局 AI 产品经理仍然是值得的。之前也有过一些大家争先恐后涌入的新鲜技术出来,这些技术现在看来略有泡沫。
Koji
在这次浪潮中,你认为是什么不同之处让你觉得值得一试?
👩🏻 Vanessa:
首先,技术已不再是一个江湖传说或纸上谈兵。你可以通过使用 ChatGPT 等一系列产品,切实感受到这项技术是真实的,并且能够改变你的日常生活。此外,价格也在逐步降低,越来越多的人将能受益于 AI 带来的影响,距离 AI 最终走进千家万户已不会太远。
我一直相信一句话:
未来已经来了,只是现在还不太均匀。
对于那些经常与 AI 接触的人,尤其是互联网相关公司或专业的人,他们对 AI 有更早了解和应用的渠道。因此他们知道 AI 不再是泡沫,也更有跳上 AI 这艘火箭的机会,那为什么不去试一试呢**?**
3.
面试 100 位 Al 产品经理中的精彩故事
3.1 眼前一亮与大跌眼镜的故事
Koji
在你之前面试的 100 多位 AI 产品经理中,有没有遇见过让你特别惊艳、想要立刻发 offer 的候选人?
👩🏻 Vanessa:
我认为这样的人是有的,但要看和招聘职位是否匹配。有些曾让我眼前一亮的候选人,学校背景非常好,人也很聪明,但需要一定 landing 成本,不是特别匹配当下的空缺机会,因而只能遗憾错过。
在招聘预期上,我们希望候选人对 AI 技术和知识有充分的了解,甚至积累了相关工作经验,才能更快上手;他们对 AI 要有自己的认知和理解,对 AI 应用于哪些场景有独到的想法。这样的人是我们觉得特别好的。
Koji
有没有一些在面试中让你印象深刻的故事呢?尤其是优秀面试者的故事。
👩🏻 Vanessa:
我想起有这样一位面试者。他在一家互联网大厂,本职工作与 AI 关系不大;业余生活中,他是一个摄影师,对美学、摄影和图像有很高的追求。当看到 AI 之后,他开始萌生出一些想法:是不是可以不用实景外拍?AI 是否可以改变摄影师的工作流?因此,他从一个真实问题出发,集结了一些人做了一个 side project。
我觉得这很好地体现了他的自学能力和对 AI 的热情。在大厂紧张的工作节奏下,还能在热情的驱使下用闲暇时间完成一个 AI 产品项目,这样的人值得我们留心和给予更多的机会。
大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓