机器学习工程师学习路线图

我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情

机器学习工程（MLE）是一个快速发展的领域，对熟练专业人员的需求很高。如果您对 MLE 职业感兴趣，路线图可以帮助您培养必要的技能和知识。

什么是机器学习工程？

机器学习工程是一个专注于机器学习（ML）技术解决现实世界问题的实际应用的领域。它涉及机器学习系统的开发、部署和维护。机器学习工程结合了计算机科学、统计学和特定领域知识的原理，构建可以从数据中学习并做出预测或决策的智能系统。

以下是机器学习工程的一些关键方面：

1. 数据准备：这涉及收集、清理和预处理数据，使其适合训练机器学习模型。高质量的数据对于机器学习系统的成功至关重要。

2.特征工程：从数据中选择和转换相关特征以提高机器学习模型的性能。特征工程在从原始数据中提取有意义的信息方面发挥着至关重要的作用。

3. 模型选择：根据问题的性质、可用数据的类型和所需的输出选择适当的机器学习算法或模型架构。

4. 训练模型：使用标记数据训练机器学习模型，该过程涉及调整模型参数以最小化其预测与训练数据中的实际结果之间的差异。

5. 评估：使用准确度、精确度、召回率、F1 分数等指标评估机器学习模型的性能。此步骤有助于确定模型对新的、未见过的数据的泛化程度。

6. 部署：将经过训练的模型集成到生产环境中，使其可用于实时预测或决策。部署通常涉及可扩展性、效率和可靠性的考虑。

7. 监控和维护：持续监控已部署的模型，以确保它们随着时间的推移表现良好。这包括检测和解决概念漂移（数据分布的变化）、模型退化和其他性能相关问题等问题。

8.迭代开发：机器学习工程是一个迭代过程。随着新数据的出现或系统需求的变化，模型可能需要重新训练，整个系统可能需要更新。

9. 道德考虑：解决与机器学习系统中的偏见、公平、透明度和问责制相关的道德问题。

机器学习工程师经常与数据科学家、软件工程师和领域专家密切合作，创建端到端解决方案，有效地将机器学习用于实际应用。该领域是动态的，算法、工具和最佳实践不断发展和进步。

以下是指导您成为 ML 工程师的路线图：

第一阶段：基础

数学和统计：
线性代数
结石
概率与统计
优化
编程：
Python（熊猫、NumPy）
SQL
R（可选）
机器学习基础知识：
监督学习
无监督学习
深度学习
数据分析：
数据清洗和预处理
探索性数据分析 (EDA)
特征工程

深入研究第一阶段：机器学习工程的基础

数学和统计：

线性代数：理解向量、矩阵以及乘法、转置和求逆等运算对于操作数据和实现机器学习算法至关重要。
微积分：微分和积分的知识使您能够优化模型参数并了解梯度下降在训练模型中的工作原理。
概率与统计：熟悉概率分布、假设检验和统计推断等概念，使您能够有效地分析数据、评估模型性能并得出有意义的结论。
优化：掌握梯度下降、Adam 和 RMSprop 等优化算法，使您能够有效地训练模型并找到实现所需结果的最佳参数。

编程：

Python（Pandas、NumPy）：Python 是数据科学和机器学习的通用语言。Pandas 和 NumPy 都是数据操作、分析和数值计算的重要库。
SQL：这种结构化查询语言可帮助您与关系数据库交互并检索数据，这些数据库通常用于存储机器学习模型的大型数据集。
R（可选）：虽然在 MLE 中不像 Python 那样广泛使用，但 R 仍然是统计分析和数据可视化的强大工具。

机器学习基础知识：

监督学习：这涉及从标记数据中学习来预测新的、未见过的数据的结果。它包括线性回归、逻辑回归和支持向量机 (SVM) 等算法。
无监督学习：重点是发现未标记数据中的模式和关系，没有任何预定义的结果。它包括聚类、降维和异常检测等技术。
深度学习：机器学习的这个子领域使用多层人工神经网络来学习复杂的数据表示并解决具有挑战性的问题。

数据分析：

数据清理和预处理：这涉及识别和纠正数据中的错误、缺失值和不一致之处，为机器学习算法做好准备。
探索性数据分析 (EDA)：这涉及总结、可视化和探索数据，以了解其特征并识别潜在的模式和关系。
特征工程：这涉及从现有数据创建新特征以提高机器学习模型的性能。

资源：

线性代数：

可汗学院： https: //www.khanacademy.org/math/linear-algebra
麻省理工学院开放课件： https: //web.mit.edu/18.06/www/

结石：

可汗学院：https ://www.khanacademy.org/math/ Differential-calculus
麻省理工学院开放课程：https://ocw.mit.edu/courses/18-01sc-single-variable-calculus-fall-2010/

概率与统计：

可汗学院：https ://www.khanacademy.org/math/statistics-probability/probability-library
麻省理工学院开放课程：https://ocw.mit.edu/courses/18-05-introduction-to-probability-and-statistics-spring-2014/

优化：

斯坦福大学课程：https ://see.stanford.edu/Course/EE364A
Andrew Ng 的深度学习专业化（涵盖深度学习的优化）：https ://www.coursera.org/specializations/deep-learning

编程：

Python 教程：https://www.w3schools.com/python/
NumPy 教程： https: //numpy.org/doc/stable/user/
熊猫教程：https://pandas.pydata.org/docs/getting_started/intro_tutorials/
SQL 教程：https://www.w3schools.com/sql/
R 教程：https://towardsdatascience.com/r-basics-getting-started-with-r-and-rstudio-b47664eb5baf

机器学习基础知识：

谷歌速成课程：https://developers.google.com/machine-learning/crash-course
Fast.ai课程： https: //www.fast.ai/
Coursera 专业化：https://www.coursera.org/specializations/deep-learning

数据分析：

Dataquest 课程：https://www.dataquest.io/data-science-courses/
Kaggle 学习：https://www.kaggle.com/code/dansbecker/learn-machine-learning
Udemy 课程：https://www.udemy.com/topic/machine-learning/

通过勤奋学习这些主题并使用真实数据集进行练习，您将为机器学习工程师的旅程奠定坚实的基础。

第二阶段：培养技能

机器学习库：
TensorFlow
火炬
scikit学习
云计算平台：
亚马逊网络服务 (AWS)
谷歌云平台（GCP）
微软Azure
版本控制系统：
git
MLOps 工具：
ML流
库贝流
元流
软技能：
沟通
团队合作
解决问题
批判性思维

深入研究第二阶段：培养机器学习工程技能

机器学习库：

TensorFlow：一个用于数值计算和大规模机器学习的开源库。它擅长构建复杂的深度学习模型，并为研究和生产提供多种功能。
资源： https: //www.tensorflow.org/、https : //www.tensorflow.org/tutorials
PyTorch：另一个流行的开源库，用于构建和训练深度学习模型。它以其灵活性、易用性和动态计算图而闻名。
资源： https: //pytorch.org/、https : //pytorch.org/tutorials/
scikit-learn：一个强大的库，用于各种机器学习任务，包括监督学习、无监督学习和模型选择。它专注于传统的机器学习算法，为数据预处理、特征工程和模型评估提供高效的工具。
资源：https ://scikit-learn.org/，http : //scikit-learn.org/stable/tutorial/index.html

云计算平台：

Amazon Web Services (AWS)：一个综合云平台，提供用于开发、部署和管理机器学习模型的各种服务，包括 Amazon SageMaker、Amazon EC2 和 Amazon S3。
资源：https://aws.amazon.com/machine-learning/、https : //aws.amazon.com/sagemaker/
Google Cloud Platform (GCP)：另一个领先的云平台，提供机器学习开发和部署工具，包括 Google Cloud AI Platform、Google Cloud Vertex AI 和 Google Kubernetes Engine (GKE)。
资源： https: //cloud.google.com/products/ai、https : //cloud.google.com/vertex-ai/docs
Microsoft Azure：一个不断发展的云平台，提供机器学习服务，包括 Azure 机器学习、Azure Databricks 和 Azure Kubernetes Service (AKS)。
资源： https: //azure.microsoft.com/en-us/products/machine-learning、https : //learn.microsoft.com/en-us/azure/databricks/introduction/

版本控制系统：

Git：一种分布式版本控制系统，用于跟踪代码和其他文件的更改。这对于机器学习项目的协作和管理模型的不同版本至关重要。
资源： https: //git-scm.com/、https : //git-scm.com/docs/gittutorial

MLOps 工具：

MLflow：一个用于管理机器学习生命周期的开源平台，包括模型跟踪、实验管理和部署。
资源：https://mlflow.org/、https : //mlflow.org/docs/latest/tutorials-and-examples/index.html
Kubeflow：一个用于在 Kubernetes 上部署和管理机器学习模型的开源平台。
资源：https://www.kubeflow.org/、https : //www.kubeflow.org/docs/
Metaflow：用于构建和管理机器学习工作流程的开源平台。
资源：https://metaflow.org/、https : //github.com/outerbounds/terraform-aws-metaflow

软技能：

沟通：向技术和非技术受众清晰、简洁地解释技术概念的能力对于有效协作和展示您的工作至关重要。
团队合作：机器学习项目通常涉及与其他工程师、数据科学家和利益相关者的协作。强大的团队合作技能使您能够有效地为团队努力做出贡献并实现共同目标。
解决问题：机器学习项目经常遇到挑战和意想不到的问题。拥有强大的解决问题的能力可以让您分析情况、找出根本原因并制定有效的解决方案。
批判性思维：客观分析信息、评估不同选项并做出明智决策的能力对于机器学习的成功至关重要。

通过掌握这些技能和工具，您将获得在现实场景中构建、部署和操作机器学习模型所需的专业知识。

第三阶段：专业化

深度学习专业：
自然语言处理（NLP）
计算机视觉
强化学习
领域专业化：
卫生保健
金融
零售
网络安全

深入研究第三阶段：机器学习工程专业化

深度学习专业：

自然语言处理 (NLP)：人工智能的这个子领域专注于处理和理解人类语言。专门从事 NLP 的 ML 工程师为文本分类、机器翻译、情感分析和聊天机器人等任务开发模型。
重要技能：语言建模、文本分析、LSTM 和 Transformer 等深度学习架构
应用：聊天机器人、虚拟助理、情感分析、机器翻译、语言建模
计算机视觉：人工智能的这个子领域专注于处理和理解视觉信息。专门从事计算机视觉的 ML 工程师开发用于图像识别、对象检测、图像分割和视频分析等任务的模型。
重要技能：图像处理、卷积神经网络 (CNN)、计算机图形学
应用：自动驾驶汽车、医学图像分析、面部识别、图像字幕、物体检测
强化学习：人工智能的这个子领域专注于训练智能体在环境中做出决策并采取行动以最大化奖励。专门从事强化学习的 ML 工程师为机器人、游戏和自动驾驶汽车等任务开发模型。
重要技能：强化学习算法（Q-学习、策略梯度）、马尔可夫决策过程、博弈论
应用：机器人、游戏、自动驾驶汽车、资源分配、推荐系统

领域专业化：

医疗保健：医疗保健领域的机器学习工程师使用机器学习来分析医疗数据、预测患者结果、开发个性化医疗并提高医疗保健效率。
重要技能：医学知识、数据分析、医疗保健数据的深度学习架构
应用：药物发现、医学诊断、机器人手术、个性化医疗、患者监护
金融：金融领域的机器学习工程师使用机器学习来分析金融数据、预测市场趋势、开发交易算法和管理金融风险。
重要技能：金融知识、时间序列分析、风险管理
应用：欺诈检测、信用评分、算法交易、投资管理、风险评估
零售业：零售业的机器学习工程师使用机器学习来个性化客户体验、优化营销活动、预测需求和管理库存。
重要技能：零售数据分析、推荐系统、营销自动化
应用：个性化产品推荐、定向营销、需求预测、库存管理、客户流失预测
网络安全：网络安全领域的机器学习工程师使用机器学习来检测和防止网络攻击、识别恶意软件并保护计算机系统。
重要技能：网络安全知识、异常检测、威胁情报
应用：入侵检测、恶意软件分析、安全事件响应、威胁搜寻、漏洞评估

选择正确的专业：

考虑您的兴趣和技能：您对什么充满热情？你擅长什么？
研究领域：了解机器学习在您所选领域的不同应用。
与专业人士建立联系：与该领域的工作人员交谈以获取见解和建议。
从一般基础开始：在专业化之前建立对机器学习的深刻理解。
不断学习并保持最新状态：机器学习领域在不断发展，因此保持您的技能处于最新状态非常重要。

通过专注于特定领域，您可以获得更深入的专业知识，并成为该领域的企业和组织更有价值的资产。

第四阶段：持续学习

及时了解 MLE 的最新研究和趋势。
参加会议和研讨会。
为开源项目做出贡献。
建立您的个人投资组合。

深入研究第 4 阶段：MLE 中的持续学习

机器学习工程师路线图的第四阶段侧重于持续学习并在这个快速发展的领域保持领先地位。以下是对每个关键方面的详细了解：

1. 保持最新状态：

阅读研究论文：订阅研究邮件列表，关注相关博客和出版物，并积极寻找您所选子领域的前沿研究。
参加网络研讨会和在线课程：Coursera、edX 和 Udemy 等平台提供了大量有关各种 ML 主题的免费和付费课程。
关注专家和影响者：在社交媒体上与著名研究人员、从业者和思想领袖联系并订阅他们的时事通讯。
收听播客和有声读物：利用通勤或休息时间了解 ML 专家的新发展和见解。

2. 参加会议和研讨会：

参加行业会议：NeurIPS、ICLR 和 CVPR 等活动提供了向专家学习、与同行交流和发现新技术的机会。
参加当地的聚会和研讨会：当地的机器学习团体经常举办由领先从业者主持的研讨会和讲座，提供更加非正式和易于访问的学习环境。
参加在线会议和研讨会：许多会议和研讨会现在都提供虚拟访问，无需支付差旅费即可参加。

3. 为开源项目做出贡献：

确定相关项目：选择与您的兴趣和技能相符的项目，并考虑根据您当前的知识水平做出贡献。
从小的贡献开始：从修复错误、编写文档或向现有代码添加新功能开始。
与其他开发人员协作：参与讨论、提供反馈并向经验丰富的贡献者学习。
展示您的贡献：将您的贡献添加到您的投资组合中，并突出您对开源项目的参与。

4. 建立你的个人投资组合：

从事个人项目：开发您自己的 ML 应用程序或工具来尝试新技术并展示您的技能。
参加在线竞赛：Kaggle 等平台提供各种 ML 任务的竞赛，提供现实世界的问题来解决和衡量您的技能。
为开源库做出贡献：向 TensorFlow 或 PyTorch 等已建立的库贡献代码，以获得宝贵的经验和认可。
发布博客文章或文章：通过撰写有关技术主题的文章或分享您在个人项目上的经验来分享您的知识和见解。

持续学习的好处：

增强技能和知识：保持更新可以让您学习新技术、提高解决问题的能力并扩展您的专业知识。
增加职业机会：通过你的作品集展示你对学习的承诺和展示你的技能，使你成为对雇主更有吸引力的候选人。
更大的影响力：通过保持领先地位，您可以为前沿研究做出贡献，开发创新解决方案，并对该领域产生积极影响。

使持续学习可持续：

设定切合实际的目标：从小事做起，逐渐增加学习的时间和精力。
找到适合您的学习方式：尝试不同的学习方法，例如阅读、听力或实践，以找到适合您偏好的学习方式。
建立学习社区：与其他 ML 爱好者在一起，参与线上或线下社区，以保持积极性并分享您的进步。
让学习成为一种习惯：每周安排专门的学习时间，并将其视为职业发展的重要组成部分。

通过持续学习，您可以确保在令人兴奋的机器学习工程世界中取得长期成功。

资源：

卡格尔：https://www.kaggle.com/getting-started/268879
GitHub： https: //github.com/enkaranfiles/Machine-Learning-Engineer-Roadmap
媒体：https://medium.com/theleanprogrammer/roadmap-for-machine-learning-869b7d34d9ad
领英：https://github.com/xettrisomeman/Machine-Leaarning-Engineer-Roadmap
Reddit：https://www.reddit.com/r/learnmachinelearning/comments/wdbkqs/roadmap_for_getting_an_ml_engineering_job_in_2022/

时间线

成为机器学习工程师所需的时间根据您现有的技能和经验而有所不同。然而，您预计将花费至少 1-2 年的时间来学习必要的技能并建立您的作品集。

尖端

从小事做起：不要试图立即学习所有内容。首先关注基础知识，然后逐渐添加更高级的主题。

定期练习：最好的学习方法就是实践。从事个人项目并参加在线比赛。

与其他机器学习工程师建立联系：这是向经验丰富的专业人士学习并获得工作反馈的好方法。

不要放弃：机器学习工程是一个充满挑战但回报丰厚的领域。如果您对此充满热情，请不要放弃您的目标。

结论

成为一名机器学习工程师是一个旅程，而不是目的地。最重要的是要热衷于学习并不断扩展自己的技能。通过努力工作和奉献精神，您可以实现您的目标并成为一名成功的机器学习工程师。

其他资源