全栈人工智能工程师：现代博学者

任何在团队环境中工作过的人都知道，每个成功的团队都有一个得力助手——无论你的问题性质如何，他都能帮助你。在传统的软件开发团队中，这个人是一个专业的程序员，也是另一种技术的专家，可以是像Snowflake这样的数据库技术，也可以是像Springboot这样的重要框架。然而，这个人的特别之处在于，他们对组织基础设施和开发环境中的许多其他技术有相当多的了解。例如，他们熟悉 Kubernetes，了解网络，精通架构设计模式，甚至可能编写了一些用户界面。虽然他们可能不是这些其他技术的专家，但他们有足够的知识来解决难题，如果有必要，他们可以成为专家。

多学科的好处不仅仅是解决问题的能力。他们享受着许多其他好处，他们的团队也从中受益：

他们赚更多的钱，雇主喜欢把这些人留在身边。它们还使技术水平较低的工人提高生产力，自己做更多的工作。
他们能更好地适应变化。如果他们想改变职业生涯的重点，他们可以很快做到。如今，许多AI/ML工程师并没有在大学接受过正式培训，而是自学。
他们领导。当他们的团队需要改变重点或解决难题时，他们可以带头，因为他们对团队需要去哪里有扎实的工作知识。
他们往往更具创新性。这并非巧合。了解解决方案的整个堆栈可以让您了解一个好主意，而这些好主意是狭隘关注的人所无法理解的。
它们通过弥合专业团队之间的差距来促进协作。

这篇文章提出了与 AI/ML 相关的主题，一旦学习，可以指导您成为一名全栈 AI 工程师。但在介绍这些主题之前，让我们先从历史的角度了解多学科技能的影响。事实证明，我上面描述的配置文件并非软件行业所独有。在科学、艺术和哲学中，这样的人被称为博学者。只是为了好玩，让我们回顾一下古往今来的一些波尔马斯。

历代博学

列奥纳多·达·芬奇（1452-1519）是最著名的博学家。他是一个家喻户晓的名字，他的毕生作品是众所周知的。他画了《蒙娜丽莎》和《最后的晚餐》，通过解剖身体加深了我们对解剖学的理解，并设计了飞行器和机器人。

Ada Lovelace （1815 - 1852）是英国数学家、作家和世界上第一位计算机程序员。在很小的时候，她就擅长数学，这为她赢得了与另一位英国数学家查尔斯·巴贝奇合作的机会。她主要以查尔斯·巴贝奇（Charles Babbage）的分析引擎（Analytical Engine）的工作而闻名，该引擎基本上是一台机械计算机。在翻译分析引擎的文档时，她添加了一些自己的“注释”，其中一个注释，注释G（有时称为第7个注释），被认为是有史以来编写的第一个程序。她也是第一个认识到机器的应用超越了纯粹的计算——她的“诗意科学”导致了对如何将技术用作协作工具的思考。

乔治·华盛顿·卡佛（1864 - 1943） - 是一位农业科学家、植物学家、发明家和教育家。卡佛对农业和环境科学领域的贡献永远改变了美国农业的面貌，并为现代可持续实践奠定了基础。在农民苦苦挣扎的时候，他率先提出了轮作和土壤保持的概念。他的工作促进了土壤的恢复，使农民能够提高生产力。作为一名发明家，他想出了如何通过发明花生酱来充分利用花生。（顺便说一句，花生不是坚果。它是一种豆科植物。

现在我们了解了多学科技能的影响，并拥有了来自艺术和科学的博学的历史例子，让我们将这些想法应用于现代，看看成为一名全栈人工智能工程师需要什么。

AI 数据基础设施

AI 是关于数据的，因此要成为一名全栈 AI 工程师，您需要了解 AI 数据基础设施。

现代数据湖 — 如果您的雇主对 AI/ML 非常重视，他们会向您寻求有关如何实现现有基础架构现代化的建议。现代数据湖是一种存储解决方案，能够保存 AI/ML 所需的所有数据，包括结构化和非结构化数据。因此，现代数据湖是非结构化数据的一部分数据湖和结构化数据的数据仓库的一部分。现代数据湖的强大之处在于，它对所有数据类型（非结构化和结构化）使用高速、可扩展的对象存储。

由于 Apache Iceberg、Apache Hudi 和 Delta Lake 等开放表格式（OTF）的兴起，使 Data Lake 和 Data Warehouse 的对象存储的使用成为可能，这些规范一旦实现，就可以无缝地将对象存储用作数据仓库的底层存储解决方案。这些规范还提供了传统数据仓库中可能不存在的功能，例如快照（也称为时间旅行）、架构演变、分区、分区演变和零拷贝分支。

可以在此处找到现代 Datalake 参考体系结构。此处提供了介绍此架构如何支持所有 AI/ML 工作负载的配套文件。

机器学习操作（MLOps） - MLOps 之于 AI/ML，就像 DevOps 之于应用程序开发一样。为了更好地理解 MLOps 的重要性，将模型创建与传统应用程序开发进行比较会很有帮助。

传统的应用程序开发，例如实现向应用程序添加新功能的新微服务，从查看规范开始。首先设计任何新的数据结构或对现有数据结构的任何更改。编码开始后，数据的设计不应更改。然后实现服务，编码是此过程中的主要活动。单元测试和端到端测试也进行了编码。这些测试证明代码没有错误，并且正确地实现了规范。在部署整个应用程序之前，它们可以由 CI/CD 管道自动运行。

创建模型和训练它是不同的。了解原始数据和所需的预测是第一步。机器学习工程师确实需要编写一些代码来实现他们的神经网络或设置算法，但编码并不是主要活动。重复实验是主要活动。在实验过程中，数据的设计、模型的设计和使用的参数都会发生变化。每次试验后，都会创建指标，以显示模型在训练时的表现。此外，还会针对验证集和测试集生成模型性能指标。这些指标用于证明模型的质量。您可以在每次实验后保存模型本身。一旦模型准备好合并到应用程序中，就需要对其进行打包和部署。

MLOps 工具可以处理上述核心功能。许多人可以做得更多。项目应考虑的三个值得注意的 MLOps 工具是：

Kubeflow - 来自 Google
MLflow - 来自 Databricks
MLRun - 来自麦肯锡公司

分布式训练 - 分布式模型训练是指同时在多个计算设备或节点上训练机器学习模型的过程。这种方法加快了训练过程，特别是对于需要大量计算资源的大型数据集和复杂模型。

分布式训练的两个值得注意的框架是：

Ray - Ray 是一个开源框架，适用于所有分布式事物.它在虚拟机和 Kubernetes 上运行。你也可以在本地开发机器上使用它进行原型设计，只要你不使用太多的工人，并且你没有做任何太复杂的事情。它支持 TensorFlow 和 PyTorch。有关 Ray 的托管实例，请查看 Anyscale。

TorchDistributor 是一个库，用于在 Apache Spark 上分发基于 PyTorch 的机器学习工作负载。spark-tensorflow-distributor 可用于基于 TensorFlow 的机器学习。两者都可以在 Databricks 上的主机环境中运行。

**向量数据库 - **所有模型都需要数字作为输入，并生成数字作为输出。如果您对生成式 AI 感兴趣，这个简单的事实对您的 AI 数据基础设施提出了一些额外的要求，其中单词必须转换为数字或向量。矢量数据库为文档及其矢量嵌入（文档的数值表示）编制索引、存储并提供对文档的访问。向量数据库有助于语义搜索，这是检索增强生成（RAG）所必需的，RAG 是生成式 AI 利用的一种技术，用于将自定义语料库中的信息与经过训练的LLMs参数存储器相结合。

值得研究的三个向量数据库是：

Pinecone
Milvus
Weaviate

AI/ML工程

掌握了 AI 数据基础设施的工作知识后，您接下来需要了解有关模型构建的工具。这就是我所说的 AI/ML 工程。在过去，在生成式人工智能出现之前，有监督学习、无监督学习、强化学习和自然语言处理（NLP）。然而，随着 ChatGPT 的兴起，创建了一个称为生成式 AI 的新类别，其他所有类别现在都被称为“传统 AI”。

在进入 AI 工程工具之前，让我们先看看这两类 AI。

传统人工智能

传统 AI 包括与生成式 AI 一样对您的业务有价值的模型类型。这包括通过无监督学习创建的模型，您可以在其中查找未标记数据中的模式。强化学习是另一种类型的人工智能，用于创建与环境交互的模型。最后，传统的人工智能包括监督学习，其中输入数据和输出标签之间的关系在训练期间是已知的。通过监督学习，您将拥有一个测试集来测试您的模型，以得出精确的准确性测量。

生成式 AI

顾名思义，生成式 AI 就是生成新数据。用作聊天机器人的模型属于这一类，被称为大型语言模型（LLMs）。使用生成式 AI，您将没有正式的训练集、验证集和测试集。相反，您将拥有一个自定义语料库，可用于微调您的LLM.Retrieval Augmented Generation 最初由 Meta 提出，是另一种使用自定义语料库和带有 LLM.

机器学习框架

PyTorch 和 TensorFlow 是当今用于构建神经网络的两大机器学习框架。PyTorch 比 TensorFlow 更受欢迎。这些框架既可用于传统 AI ，也可用于生成式 AI。但是，您选择学习的框架应基于您的雇主使用的框架。它们的共同点多于差异。由于构建模型比编码技术需要更多的训练技术知识，因此您会发现如果需要，很容易在框架之间切换。

如果您需要快速将某些东西投入生产，请考虑 scikit-learn。Scikit-learn 使用算法来创建模型。您不需要设计和编写神经网络。因此，使用 Scikit-learn，您可以快速构建一个性能良好的模型，该模型可用作 AI 解决方案中的第一个版本模型。从那里，您可以使用 PyTorch 或 TensorFlow 构建性能更好的神经网络，这通常需要更多时间。

开源社区和工具

开源LLMs已经使生成式人工智能民主化。此外，使用 HuggingFace 等平台，您可以访问为各种任务（例如摘要、问答、翻译和实体识别）设计和训练的大量模型。HuggingFace 还提供了一个库，可让您轻松使用 LLMs.

为了简化应用程序内部的LLMs集成，您需要学习像LangChain这样的框架。LangChain简化了检索数据、创建代理、检索增强生成和创建提示等任务。

结论

全栈 AI 工程师拥有包括软件开发、机器学习和数据基础设施在内的技能。他们精通 MLOps 和分布式训练，可以使用 TensorFlow、PyTorch 或 Scikit-learn 等框架来设计和训练传统 AI 和生成式 AI 的模型。最后，全栈 AI 工程师应该具有持续学习的心态，以跟上 AI 数据基础设施和 AI/ML 工程的不断发展的技术。