一、AI通识
1.1 AI产业结构
AI发展至今大致按照在产业结构上的分工不同产生了三种类型的公司,我们在转型时最好要先明确自己的优势及兴趣,来判断自己适合着眼于哪个层面的工作,从而进行针对性的学习和提升。
(1)行业+AI
这类公司重在“行业”,本身有着一定的行业积累,给用户提供AI赋能后的产品或服务。例如:智能家居、智能车载等。这类公司对产品经理的要求重点在对行业的理解上,以及需要对行业趋势有一定的insight。
目前此类公司的战略趋势是会越来越细分到具体的垂直场景上,所以这也对产品经理的场景分析能力有较高要求。
(2)AI+行业
这类公司重在“AI”,是由AI催生出来的行业,客户可以通过使用这类公司提供的服务或解决方案来完善自己的产品,从而快速提升自身产品的价值,例如:智能客服、智能外呼等。
此类公司商业模式主要以to B为主,所以需要产品经理具有较强的沟通能力,能快速挖掘理解客户的真实需求,并对项目具有一定的把控管理能力。
(3)基础平台
这类公司旨在提供基础AI技术平台,包括一些计算平台、算法平台,或者提供各场景的一手数据,从而帮助企业快速对接AI技术,大幅缩短客户在人工智能研发上的投入成本和周期。此类公司对产品经理的要求更侧重于对底层技术框架的理解。如果你曾经从事过研发工作,那么在该类公司工作会比较有优势。
1.2 AI产品经理的分类
AI产品经理,是直接应用或间接涉及了AI技术,进而完成相关AI产品的设计、研发、推广、产品生命周期管理等工作的产品经理。
引用@hanniman的观点,AI产品经理可以从狭义和广义来分类:
(1)狭义AI产品经理
1)定义
直接应用了语义、语音、计算机视觉和机器学习这4个领域的AI技术,进而完成相关AI产品的设计、研发、推广、产品生命周期管理等工作的产品经理。因为语义、语音、计算机视觉和机器学习这四个领域近几年的落地情况具有如下4个特点:
- 直到近些年才逐渐“可商用”(这4项AI技术,其实很多年前就有了,但一直不够完善);
- 可以应用到新产品形态/品类,比如:实体服务机器人、智能音箱、虚拟机器人等;
- 很可能应用了新的交互方式,比如:对话/语音/多模态等;
- 慢慢形成新职位,比如:TTS产品经理。
2)分类:
- 语义类AI产品经理:对话PM(可再细分为聊天、垂类等)、知识图谱PM、机器翻译PM、搜索PM等
- 语音类AI产品经理:ASR PM、TTS PM
- 视觉类AI产品经理:人脸识别PM、车辆识别PM、智能视频分析PM(涵盖了人脸、车辆、多目标等等)、图像检索PM
- 机器学习类AI产品经理:在出行、推荐、大数据等各种领域应用了机器学习技术的PM
- 终端应用类AI产品经理:还有一些PM,通过各种终端载体形式,也直接应用了以上4种AI技术中的1种或多种,比如:实体机器人PM、虚拟机器人PM、智能车载PM、智能家居PM(含智能音箱PM)、穿戴式设备PM(含VR、AR、MR、手表、手环、耳机等)、其他互联网产品形态的PM(公众号、QQ群、web页面、App等)
(2)广义AI产品经理
1)定义
间接涉及了语义、语音、计算机视觉和机器学习这4个领域的AI技术、或直接应用了其他还不够成熟的细分领域AI技术(比如:脑机接口、量子计算等),进而完成相关AI产品的设计、研发、推广、产品生命周期管理等工作的产品经理。
广义AI产品经理具有如下特点:
- “间接涉及”的意思是,不直接掌握这4种AI技术,也能做当前的本质工作;特别的,这类职位,很可能在2015年前已经存在了。
- 至于“直接应用了其他还不够成熟的细分领域AI技术”,这类领域由于过于超前,AI技术还需要重大突破、市场还没有成熟,产品经理的产品设计职责不像互联网产品经理这么“重”。所以很可能由技术人员或公司创始人兼任,并会承担较多的项目经理工作职责——相应的,这类产品经理的数量,目前还非常少。
- 当然,未来,广义AI产品经理也会慢慢向狭义AI产品经理演变、融合。
2)分类
- 终端应用类产品经理(非狭义AI):在前文提及的实体机器人、虚拟机器人、智能车载、智能家居、穿戴式设备、其他互联网产品形态等各种终端载体上,没有直接应用(但间接涉及了)语义、语音、计算机视觉和机器学习这4种AI技术的PM。
- 策略类产品经理(非狭义AI):在出行、推荐、大数据等领域,没有直接应用(但间接涉及了)机器学习技术的PM
- 非成熟AI技术类:脑机接口、量子计算等。
1.3 AI产品经理的能力模型
每个行业的发展都要经过重技术、重产品、重运营这3个阶段,现如今AI行业已经步入第二个阶段即产品的优先性要高于技术和运营。在这种背景下,除了要具备通用产品思维外,行业还对AI产品经理在如下方面提出了更高的要求:
(1)找准商业变现模式和闭环
资本寒冬里,整个市场都在重新洗牌,这种情况下找准自己产品的商业模式就显得格外重要。陆奇曾说过,人工智能落地最关键的是找到场景和商业模式,做出极致体验,并快速迭代。
目前AI市场实现商业变现主要有两种方式:
- 一种是AI直接产出价值,通过AI来取代部分人力,提高生产效率并节省人力成本,例如智能客服系统等;
- 另一种则是AI赋能人类,为人类决策提供支持,例如AI在医疗领域的应用,辅助医生诊疗,AI都是作为助手的角色来帮助人类。
不管是哪种变现方式,要想把AI技术跟垂直行业结合,都要求AI产品经理真实地参与到业务的整个过程中,对行业有足够纵深的理解。从而从当前行业痛点入手,寻找具有商业价值并足够细分的垂直场景分析透彻,提炼出场景中可以帮助产品建立优势的关键点,评估投入产出比,调研用户若使用我们的产品解决当前问题愿意支付的价格,之后制定合适的商业推广策略和产品定价包装策略,最终实现产品变现。
目前商业化程度做的较好的行业有安防、金融、互联网服务、企业服务:
- 安防领域,在“雪亮工程”的政策推动下,针对人像数据、车辆数据的智能摄像机、后台分析系统等产品落地速度快。
- 在民用市场,人脸闸机成为民用市场的明星产品。
- 金融领域,智能风控和量化投资的技术应用商业化程度较高,作为“离钱最近”的行业,金融业原本积累的海量数据,使得人工智能在金融领域快速落地。
- 互联网服务领域,以翻译、P图、智能推荐、语音转写等服务为主,这些服务以智能手机为主要入口,与公众工作和生活的关系较紧密。
- 企业服务领域,智能营销和智能客服是两大主要落地的应用,前者重点基于人群大数据、通过数据挖掘技术实现精准营销,后者基于知识图谱和语音交互技术而正在被广泛应用于各行业。
(2)把控产品需求
找准产品的商业变现模式之后,就要深挖产品需求。首先要对公司整体产品架构有比较清晰的认识,在这个框架体系里评估当前需求是否符合公司整体战略规划,之后在这个战略方向上做MVP,验证成功则可以继续打磨细节持续优化,验证失败则再探索下一个方向。
业内通常认为人工智能的发展离不开三大要素:数据、算法、计算力,但人工智能落地的应用场景同样是一款产品能否取得成功的关键。
AI产品经理最核心的技能也在于此,即通过人工智能技术去重新定义场景和需求,提供一套可行的人工智能解决方案。在明确了具体的需求场景后,需要考虑清楚我们产品的客户会在当前流程里的哪个环节使用它,以及现有的方案是什么,我们的产品解决方案比现有方案好在哪里。AI
产品经理对产品的需求把控能力比传统互联网经理要求高不少,而且需要快速验证,在瞬息万变的AI领域迅速落地能解决痛点问题的产品。
现阶段的行业通识是选准一个足够细分的垂直领域去构建商业和技术壁垒,而不是与谷歌或百度竞争通用AI技术。目前to B的场景主要从提升人工效率、降低人力成本、帮助决策的方向考虑,to C的场景则更侧重于提高便利性。
(3)与技术互相推动,互相成就
作为AI产品经理,首先要认识到用户只在乎购买的产品帮他解决了什么问题,以及为此支付的价格是否值得,并不在乎产品使用了多复杂多前沿的技术。产品设计应当从商业盈利以及切实解决用户痛点的角度出发而非技术出发,所以AI产品经理在这个意义上可以根据商业及产品需要倒逼技术优化。
在实际的产品设计的过程中,AI产品经理必须理解技术实现过程,找到用户需求和AI技术的交叉点,设计的产品要和团队现有数据、算法、计算能力匹配。做到准确传达产品需求,帮助研发工程师快速实现产品目标,缩短研发工程师找到最佳技术方案的时间。并能使用非技术语言,将研发过程中的技术原理及出现的问题及时与leader和客户沟通,来获得支持和认可。
此外,AI产品经理还需要拓宽自己的认知极限,了解技术边界,多跟团队里的AI工程师交流,平时也要随时关注AI行业最新动态和变革,阅读前沿paper。
(4)获取用户信任
随着AI技术的发展,AI涉及到的伦理和道德及法律风险也越来越引起大众的关注。美国很多人工智能公司已经成立了伦理审查委员会来检查人工智能产品的设计方案是否符合道德,并确保用户的安全和权益收到保护。
作为AI产品经理,设计的产品可能会承担着更高的法律和道德风险。目前很多公司已经意识到AI对人类在道德伦理上的影响并做出举措,在今年的谷歌开发者大会上谷歌就为Google Assistant加入了针对儿童的Pretty please功能,鼓励小孩对进行礼貌提问。
在技术发展的过程中,不可避免会引发一些问题造成用户的不信任。2016年3月,Twitter上线了一款聊天机器人Tay,但是仅在一天的时间里,Tay就在与网民互动过程中学习成为了一个集性别歧视、种族歧视等于一身的“不良少女”。
类似的,虽然淘宝基于大数据的个性化推荐十分精准,但是因为可解释性较差导致很多用户对如此精准的推荐感到十分不安,并认为这种个性化推荐可能侵犯了他们的隐私权。
AI 未来的发展方向可能更应该将更多的决策过程展示出来,让用户理解和明白为什么要做这样的决策,而不应该仅仅是一个黑盒。
二、AI应用领域
AI目前主要的应用领域有3个方向,包括:计算机视觉、语音交互、自然语言处理。
2.1 计算机视觉(CV)
计算机视觉是一门研究如何使机器“看”的科学,就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉的应用,是使用计算机及相关设备对生物视觉的一种模拟,对采集的图片或视频进行处理从而获得相应场景的三维信息,让计算机具有对周围世界的空间物体进行传感、抽象、判断的能力。
计算机视觉在现实场景中应用价值主要体现在可以利用计算机对图像和视频的识别能力,替代部分人力工作,节省人力成本并提升工作效率。传统的计算机视觉基本遵循图像预处理、提取特征、建模、输出的流程,不过利用深度学习,很多问题可以直接采用端到端,从输入到输出一气呵成。
(1)研究内容
- 实际应用中采集到的图像的质量通常都没有实验室数据那么理想,光照条件不理想,采集图像模糊等都是实际应用中常见的问题。所以首先需要校正成像过程中,系统引进的光度学和几何学的畸变,抑制和去除成像过程中引进的噪声,这些统称为图像的恢复。
- 对输入的原始图像进行预处理,这一过程利用了大量的图像处理技术和算法,如:图像滤波、图像增强、边缘检测等,以便从图像中抽取诸如角点、边缘、线条、边界以及色彩等关于场景的基本特征;这一过程还包含了各种图像变换(如:校正)、图像纹理检测、图像运动检测等。
- 根据抽取的特征信息把反映三维客体的各个图象基元,如:轮廓、线条、纹理、边缘、边界、物体的各个面等从图象中分离出来,并且建立起各个基元之间的拓朴学上的和几何学上的关系——称之基元的分割和关系的确定。
- 计算机根据事先存贮在数据库中的预知识模型,识别出各个基元或某些基元组合所代表的客观世界中的某些实体——称之为模型匹配,以及根据图象中各基元之间的关系,在预知识的指导下得出图象所代表的实际景物的含义,得出图象的解释或描述。
(2)应用场景
计算机视觉的应用场景非常广,例如:无人驾驶、无人安防、人脸识别、光学字符识别、物体追踪、车辆车牌识别、以图搜图、医学图像分析等。最近B站新上线的弹幕防挡脸功能,即在播放视频时弹幕经过人脸则自动隐藏,也是应用了CV,这个小功能对B站核心价值之一的弹幕进行了进一步优化,大大提升了用户体验。
(3)瓶颈
- 目前在实际应用中采集到的数据还是不够理想,光照条件、物体表面光泽、摄像机和空间位置变化都会影响数据质量,虽然可以利用算法弥补,但是很多情况下信息缺失无法利用算法来解决。
- 在一幅或多幅平面图像中提取深度信息或表面倾斜信息并不是件容易的事,尤其是在灰度失真、几何失真还有干扰的情况下求取多幅图像之间的对应特征更是一个难点。除了得到物体的三维信息外,在现实世界里,物体间相互遮挡,自身各部位间的遮挡使得图像分拆更加复杂。
- 预知识设置的不同也使得同样的图像也会产生不同的识别结果,预知识在视觉系统中起着相当重要的作用。在预知识库中存放着各种实际可能遇到的物体的知识模型,和实际景物中各种物体之间的约束关系。计算机的作用是根据被分析的图象中的各基元及其关系,利用预知识作为指导,通过匹配、搜索和推理等手段,最终得到对图象的描述。在整个过程中预知识时刻提供处理的样板和证据,每一步的处理结果随时同预知识进行对比,所以预知识设置会对图像识别结果产生极大影响。
(4)提供相关方案的企业
- 旷视face++人工智能开放平台(提供人脸识别、人体识别、文字识别等技术方案) :https://www.faceplusplus.com.cn/
- 商汤科技(提供人脸和人体分析、通用与专业图像分析、视频处理等技术以及提供智慧安防、智能终端、智能金融等解决方案):https://www.sensetime.com/core
- 腾讯优图AI开放平台(提供人脸及人体识别、图像识别、文字识别等技术及天眼安防、天眼交通等解决方案):https://open.youtu.qq.com/#/open
- 百度AI开放平台(提供人脸及人体识别、图像识别、文字识别、图像审核等):http://ai.baidu.com/tech/imagerecognition
- 阿里云(提供人脸识别、图像识别、图像搜索、视频识别等):https://ai.aliyun.com/?spm=a2c4g.11174283.1146454.294.167d1039G3kvVD
- 图普科技(提供图像内容审核、人脸和人体识别、文字识别、图像场景识别等技术方案):https://www.tuputech.com/
- 格灵深瞳(人眼摄像机、视图大数据分析平台、人脸识别系统等):http://www.deepglint.com/
2.2 语音交互
语音交互也是非常热门的方向之一,其实语音交互整个流程里包含语音识别、自然语言处理和语音合成。自然语言处理很多时候是作为单独的一个领域来研究的,本文也将单独介绍自然语言处理,所以此处只介绍语音识别和语音合成。
语音交互的最佳应用场景便是眼睛不方便看,或者手不方便操作的时候。“不方便看”比较典型的场景便是智能车载,“不方便操作”比较典型的场景便是智能音箱,这也是目前比较火的两个细分方向。
一个完整的语音交互基本遵循下图的流程:
(1)语音识别(ASR)
1)研究内容
语音识别的输入是声音,属于计算机无法直接处理的模拟信号,所以需要将声音转化成计算机能处理的文字信息。传统的识别方式需要通过编码将其转变为数字信号,并提取其中的特征进行处理。
传统方式的声学模型一般采用隐马尔可夫模型(HMM),处理流程是语音输入——编码(特征提取)——解码——输出。
还有一种“端到端”的识别方式,一般采用深度神经网络(DNN),这种方式的声学模型的输入通常可以使用更原始的信号特征(减少了编码阶段的工作),输出也不再必须经过音素等底层元素,可以直接是字母或者汉字。
在计算资源与模型的训练数据充足的情况下,“端到端”方式往往能达到更好的效果。目前的语音识别技术主要是通过DNN实现的。语音识别的效果一般用“识别率”,即识别文字与标准文字相匹配的字数与标准文字总字数的比例来衡量。目前中文通用语音连续识别的识别率最高可以达到97%。
2)衍生研究内容
- 麦克风阵列:在家庭、会议室、户外、商场等各种环境下,语音识别会有噪音、混响、人声干扰、回声等各种问题。在这种需求背景下可以采用麦克风阵列来解决。麦克风阵列由一定数目的声学传感器(一般是麦克风)组成,用来对声场的空间特性进行采样并处理的系统,可以实现语音增强、声源定位、去混响、声源信号提取/分离。麦克风阵列又分为:2麦克风阵列、4麦克风阵列、6麦克风阵列、6+1麦克风阵列。随着麦克风数量的增多,拾音的距离,噪声抑制,声源定位的角度,以及价格都会不同,所以要贴合实际应用场景来找到最佳方案。
- 远场语音识别:解决远场语音识别需要结合前后端共同完成。前端使用麦克风阵列硬件,解决噪声、混响、回声等带来的问题,后端则利用近场远场的声学规律不同构建适合远场环境的声学模型,前后端共同解决远场识别的问题。
- 语音唤醒:通过关键词唤醒语音设备,通常都是3个音节以上的关键词。例如:嘿Siri、和亚马逊echo的Alexa。语音唤醒基本是在本地进行的,必须在设备终端运行,不能切入云平台。因为一个7×24小时监听的设备要保护用户隐私,只能做本地处理,而不能将音频流联网进行云端处理。语音唤醒对唤醒响应时间、功耗、唤醒效果都有要求。
- 语音激活检测:判断外界是否有有效语音,在低信噪比的远场尤为重要。
(2)语音合成(TTS)
1)研究内容
是将文字转化为语音(朗读出来)的过程,目前有两种实现方法,分别是:拼接法和参数法。
- 拼接法是把事先录制的大量语音切碎成基本单元存储起来,再根据需要选取拼接而成。这种方法输出语音质量较高,但是数据库要求过大。
- 参数法是通过语音提取参数再转化为波形,从而输出语音。这种方法的数据库要求小,但是声音不可避免会有机械感。
DeepMind早前发布了一个机器学习语音生成模型WaveNet,直接生成原始音频波形,可以对任意声音建模,不依赖任何发音理论模型,能够在文本转语音和常规的音频生成上得到出色的结果。
2)瓶颈
个性化TTS数据需求量大,在用户预期比较高的时候难满足。需要AI产品经理选择用户预期不苛刻的场景,或者在设计时管理好用户预期。
(3)提供相关方案的企业
- 讯飞开放平台(提供语音识别、语音合成、语音扩展等技术方案及智能硬件以及多种行业解决方案):https://www.xfyun.cn/
- 图灵机器人(提供多场景的聊天机器人解决方案):http://www.tuling123.com/
- 腾讯AI开放平台(提供语音识别、语音合成等技术):https://ai.qq.com/
- 百度AI开放平台(提供语音识别、语音合成等技术):http://ai.baidu.com/tech/speech
- 阿里云(提供语音识别、语音合成、录音文件识别等):https://ai.aliyun.com/?spm=a2c4g.11174283.1146454.294.167d1039G3kvVD
- 追一科技(提供智能外呼、及智能机器人在多行业的解决方案):https://zhuiyi.ai/
2.3 自然语言理解(NLP)
(1)研究内容
自然语言处理是一门让计算机理解、分析以及生成自然语言的学科,是理解和处理文字的过程,相当于人类的大脑。NLP是目前AI发展的核心瓶颈。
NLP大概的研究过程是:研制出可以表示语言能力的模型——提出各种方法来不断提高语言模型的能力——根据语言模型来设计各种应用系统——不断地完善语言模型。自然语言理解和自然语言生成都属于自然语言理解的概念范畴。
自然语言理解(NLU)模块,着重解决的问题是单句的语义理解,对用户的问题在句子级别进行分类,明确意图识别(Intent Classification);同时在词级别找出用户问题中的关键实体,进行实体槽填充(Slot Filling)。
一个简单的例子,用户问“我想吃冰激凌”,NLU模块就可以识别出用户的意图是“寻找甜品店或超市”,而关键实体是“冰激淋”。有了意图和关键实体,就方便了后面对话管理模块进行后端数据库的查询或是有缺失信息而来继续多轮对话补全其它缺失的实体槽。
自然语言生成(NLG)模块是机器与用户交互的最后一公里路,目前自然语言生成大部分使用的方法仍然是基于规则的模板填充,有点像实体槽提取的反向操作,将最终查询的结果嵌入到模板中生成回复。手动生成模板之余,也有用深度学习的生成模型通过数据自主学习生成带有实体槽的模板。
(2)应用场景
自然语言处理作为CUI(Conversational User Interface,对话式交互)中非常重要的一部分,只要是CUI的应用场景都需要自然语言处理发挥作用。除此之外,机器翻译、文本分类也都是自然语言处理的重要应用领域。
(3)瓶颈
1)词语实体边界界定
自然语言是多轮的,一个句子不能孤立的看,要么有上下文,要么有前后轮对话,而正确划分、界定不同词语实体是正确理解语言的基础。目前的深度学习技术,在建模多轮和上下文的时候,难度远远超过了如语音识别、图像识别的一输入一输出的问题。所以语音识别或图像识别做的好的企业,不一定能做好自然语言处理。
2)词义消歧
词义消歧包括多义词消歧和指代消歧。多义词是自然语言中非常普遍的现象,指代消歧是指正确理解代词所代表的⼈或事物。例如:在复杂交谈环境中,“他”到底指代谁。词义消歧还需要对文本上下文、交谈环境和背景信息等有正确的理解,目前还无法对此进行清晰的建模。
3)个性化识别
自然语言处理要面对个性化问题,自然语言常常会出现模凌两可的句子,而且同样一句话,不同的人使用时可能会有不同的说法和不同的表达。这种个性化、多样化的问题非常难以解决。
三、AI技术
业内通常将人工智能分类为机器学习、计算机视觉、语音交互和自然语言处理四大领域,机器学习可以理解为是其他三大领域的底层基础,大致可以分为监督学习、非监督学习、强化学习、迁移学习。
本文在此基本不涉及公式,尽量以平直易懂的语言讲述这几种机器学习方法及相关算法。个人认为在实战过程中根据工作需要再深入学习这些算法,会更有针对性而且效率会更高,事半功倍。
3.1 机器学习
概念:投喂给机器训练数据,机器从这些数据中找出一个能够良好拟合已有数据的函数,新数据来了后,就可以通过这个函数预测对应结果。
适合解决的问题:有规律可以学习、编程很难做到、有能够学习到规律的数据。
工作方式:
- 根据任务目标确定算法;
- 在预处理阶段把数据分成三组:训练数据(用来训练模型)、验证数据(开发过程中用于调参)、 测试数据(测试用);
- 用训练数据来构建使用相关特征的模型;
- 把验证数据接入模型调参;
- 用测试数据检查被验证的模型的表现;
- 用完全训练好的模型在新数据上做预测;
- 用更多数据或选取不同特征以及利用调整过的参数来提升优化算法的性能表现。
分类:按学习方式可以分为监督学习(包括半监督学习)、无监督学习、强化学习、迁移学习。
3.2 监督学习
概念:机器学习的一种,通过学习许多有标签的样本,得到特征值和标记值之间的对应规律,然后对新的数据做出预测。
分类:根据输入数据x预测出输出数据y,如果y是整数的类别编号,则称为分类问题,算法包括:决策树、随机森林、贝叶斯、KNN、SVM、逻辑回归。如果y是实数值,则为回归问题,算法包括决策树、随机森林、KNN、SVM、线性回归。
主流算法:
1)决策树算法
**基本原理:**决策树是一个树结构,每个非叶节点表示一个特征属性,每个分支代表这个特征属性在某值域上的输出,每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达某个叶节点,该叶节点存放的类别即为决策结果。
决策树是一种判别模型,既支持分类问题,也支持回归问题,是一种非线性模型(分段线性函数不是线性的),它天然的支持多分类问题。决策树的构建由机器训练得到,而不是人工制定。
决策树的关键步骤是分裂属性,即在某个节点处按照某一特征属性的不同划分构造不同的分支,尽量让一个分裂子集中待分类项属于同一类别。而根据判断方法的不同所以产生了ID3算法,C4.5算法以及CART算法。
下图以银行判断是否给客户贷款为例大致说明决策树的原理:
主要用途:基于规则的信用评估、赛马结果预测。
优劣势:擅长对人、地点、事物的一系列不同特征、品质、特性进行评估,非常容易解释,但容易趋于过拟合。
2)随机森林
基本原理:由决策树与集成学习算法相结合生成,由多棵决策树组成。用多棵决策树联合预测可以提高模型的精度,这些决策树用对训练样本集随机抽样构造出的样本集训练得到。由于训练样本集由随机抽样构造,因此称为随机森林。
随机森林不仅对训练样本进行抽样,还对特征向量的分量随机抽样,在训练决策树时,每次分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。随机森林是一种判别模型,既支持分类问题,也支持回归问题,并且支持多分类问题,这是一种非线性模型。
主要用途:用户流失分析、风险评估。
优劣势:随机森林对大规模数据集和存在大量且有时不相关特征的项来说很有用,且有很好的解释性。它比使用单个模型预测出来的结果要精确的多,但同时也需要大量的维护工作。
3)朴素贝叶斯
基本原理:是在已知样本的特征向量为x的条件下反推样本所属的类别y,即对于给出的待分类项,求解在此待分类项出现的条件下各个类别出现的概率,哪个概率最大,就认为此待分类项属于哪个类别。
简单的举个例子:我们看到一个人高鼻深目金发碧眼,便可以推断他属于白种人,因为在这种外貌特征下他是白种人的概率最高。贝叶斯可以处理多分类问题,是一种非线性模型。
主要用途:文本处理里的垃圾邮件过滤、情感分析、消费者分类、拼写纠正、文字广告过滤、识别恶性评论等领域。
优劣势:对于在小数据集上有显著特征的相关对象,朴素贝叶斯方法可对其进行快速分类,且很统一被解释。所需估计的参数不大,对缺失数据不太敏感,而且无需复杂的迭代求解框架,适用于规模巨大的数据集。但是对输入数据的形式比较敏感、计算先验概率时分类决策可能存在错误。如果输入变量是相关的,则会出现问题。
4)k近邻(KNN)
基本原理:把标注好类别的训练样本映射到选取的特征数维度的坐标系里,然后再把测试样本映射到这个坐标系里,选取距离该测试样本最近的k个训练样本,其中哪个训练样本类别占比最大,就可以认为该类别就是这个测试样本的类别。
kNN算法是一种判别模型,即支持分类问题,也支持回归问题,是一种非线性模型。它天然的支持多分类问题。kNN算法没有训练过程,是一种基于实例的算法。
主要用途:适用 kNN可以处理数值型(从无限的数值集合中取值,如:0.100,42.001等)和标称型(只在有限目标集中取值,如:真与假)数据。一种特征对应一个维度,一种特征下的数据可以数值型的也可以是标称型的。
优劣势:这种算法思想简单,理论成熟,准确度高。但是会占用大量内存,因为需要存储所有的训练样本点,而且每个新测试样本需要通过kNN算法分类,都要计算这个测试样本与所有训练样本点的距离。
5)线性回归
基本原理:主要用于拟合数据趋势。简而言之,就是尽量用一条线或平面或超平面来拟合已有的一组数据。确定自变量和因变量间的相互依赖的定量关系。简单的线性回归一般使用“最小二乘法”来求解,最小二乘的思想就是使得求解的这条线或平面或超平面使所有误差的平方和最小。
主要用途:适用于数值型和标称型数据。
优劣势:结果易于理解,计算不复杂,但是只能用于拟合线性数据,非线性数据拟合效果很差。
6)逻辑回归
基本原理:逻辑回归只是对线性回归的计算结果加了Sigmoid函数进行处理,将数值结果转化为了0到1之间的概率,根据这个概率可以做预测。logistic回归是一种判别模型,它是一种线性模型,用于二分类问题。
主要用途:路面交通流量分析、邮件过滤,
优劣势:实现简单,分类时计算量非常小,速度很快,存储资源低,但是容易欠拟合。
7)支持向量机(SVM)
基本原理:支持向量机的目标是寻找一个分类超平面,它不仅能正确的分类每一个样本,并且要使得每一类样本中距离超平面最近的样本到超平面的距离尽可能远。SVM是一种判别模型,它既可以用于分类问题,也可以用于回归问题。标准的SVM只能支持二分类问题,使用多个分类器的组合,可以解决多分类问题。
主要用途:新闻分类、手写识别。
优劣势:擅长在变量x和其他变量之间进行二元分类操作,无论其关系是否为线性的。可以捕获数据之间更复杂的关系,而无需人为地进行困难的数据转换。但同时它的训练时间长得多,因为计算量更大,而且可解释性也比较差。
3.3 非监督学习
概念:机器学习的一种,训练样本中所有样本数据都不含标记值的学习方式,目的是将样本集划分成多个类,保证同一类的样本之间尽量相似,不同类的样本之间尽量不同。没有训练过程,直接对样本进行划分。
分类:聚类和降维。
主流算法:
1)k均值(k-means)
基本原理:将观测值分为 k 个聚类,随机初始化每个类的类中心,然后计算样本与每个类的中心的距离,将其分配到最近的那个类,然后根据这种分配方案重新计算每个类的中心。这也是一种分阶段优化的策略。
2)主成分分析(PCA)
基本原理:PCA是一种数据降维和去除相关性的方法,它通过线性变换将向量投影到低维空间,对向量进行投影就是让向量左乘一个矩阵得到结果向量。降维要确保的是在低维空间中的投影能很好的近似表达原始向量,即重构误差最小化。PCA是一种无监督的学习算法,它是线性模型,不能直接用于分类和回归问题。
2.4 半监督学习
训练样本中只有部分样本数据包含标记值的学习方式,当没有足够人力标记所有的样本数据,并且稍稍降低对模型预测精度的要求时,便可以使用半监督学习。相比无监督学习会有较高的精度,相比有监督学习可以大幅降低人工标记成本。
例如:在拥有上百万篇文章资讯类的网站中进行文章分类标记,便可以采用半监督学习,只需要对训练样本进行少量的人工标注处理,便可以得到较高精度的分类结果。
2.5 强化学习
强化学习是一种特殊的机器学习,根据输入环境参数确定要执行的动作,通过与环境交互来优化目标函数。在训练时,对于正确的动作做出奖励,对错误的动作做出惩罚,训练完成之后就用得到的模型进行预测。简要来说,强化学习算法是一种根据当前的状态确定要执行的动作的学习方式。
2.6 迁移学习
迁移学习简要来说,就是把已经学到训练好的模型参数迁移到新的模型来帮助并加快新模型训练数据集,这种学习方式可以大幅缩短新模型的学习时间。
2.7 深度学习
深度学习是机器学习的子集,这个概念来源于对人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
深度机器学习方法也有监督学习与无监督学习之分,不同的学习框架下建立的学习模型很是不同。例如:卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
深度学习相较其他机器学习最厉害的一点:可以对数据特征进行预处理(省去数据人工标注的麻烦,同时可以对更多维和复杂的特征进行向量提取和空间向量的转换,方便后续处理),这也是它为什么很多层的原因,因为其中多出来的层数都是要用来进行数据特征提取预处理的。端到端的训练,是深度学习的核心技术。目前深度学习框架有tensorflow、keras、caffe、theano、torch等。
1)卷积神经网络(CNN)
基本原理:CNN是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。
卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成。卷积层的作用是指对图片的矩阵进行卷积运算,得到一些数值,作为图片的某些特征。因为采用了卷积来处理图像,所以需要使用激活函数来加入非线性因素,来增加表达力。
池化层的作用是对上层的数据进行采样和压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征。全连接层连接所有的特征,将输出值分类。
前面卷积层和池化层进行处理后,得到了很多的特征,全连接层使用这些特征进行分类。比如:识别数字,那就是对0~9的十个类别进行分类。卷积神经网络是一个判别模型,它既可以用于分类问题,也可以用于回归问题,并且支持多分类问题。
主要用途:图像处理,计算机视觉和图像分类的主要算法。
2)递归神经网络(RNN)
基本原理:又叫循环神经网络,在任意神经网络中,每个神经元都通过 1 个或多个隐藏层来将很多输入转换成单个输出。递归神经网络会将值进一步逐层传递,让逐层学习成为可能。换句话说,RNN 存在某种形式的记忆,允许先前的输出去影响后面的输入。当输入数据具有依赖性且是序列模式时,RNN 对之前发生在数据序列中的事是有一定记忆的,这有助于系统获取上下文。
基于RNN还衍生出了LSTM(Long-Short-Term-Memerory)和GRU(Gated Recurrent Unit)等一系列算法,这些算法拥有记住过去的能力,所以可以用来处理一些有时间序列属性的数据,在处理语言、文字等方面有独到的优势。
LSTM和GRU的优点是具备与其它递归神经网络一样的优点,但因为它们有更好的记忆能力,所以更常被使用。
递归神经网络是一个判别模型,既支持分类问题,也支持回归问题,并且支持多分类问题。
如何转行/入门AI产品经理?
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,转行/入门AI产品经理,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI产品经理入门手册、AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。
大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓