什么是预训练模型?

预训练 AI 模型是一种深度学习模型，在大型数据集上进行训练以完成特定任务，它可以按原样使用或定制以满足多个行业的应用需求。

想象一下，试图教一个蹒跚学步的孩子什么是独角兽。 一个好的起点可能是展示该生物的子图像并描述其独特的特征。

现在想象一下，试图教人工智能机器什么是独角兽。 从哪里开始呢？

预训练的 AI 模型提供了一个解决方案。

预训练 AI 模型是一种深度学习模型——一种类脑神经算法的表达，它可以根据数据发现模式或做出预测——在大型数据集上进行训练以完成特定任务。 它可以按原样使用，也可以进一步微调以满足应用程序的特定需求。

为什么使用预训练的 AI 模型？

开发人员可以使用预训练模型并自定义它们以满足他们的要求，而不是从头开始构建 AI 模型。

要构建 AI 应用程序，开发人员首先需要一个可以完成特定任务的 AI 模型，无论是识别神马、检测自动驾驶汽车的安全隐患，还是根据医学成像诊断癌症。 该模型需要大量有代表性的数据来学习。

这个学习过程需要遍历几层输入数据，并在每一层强调与目标相关的特征。

例如，要创建一个可以识别独角兽的模型，可以先给它输入独角兽、马、猫、老虎和其他动物的图像。 这是传入的数据。

预先计算的概率表示（称为权重）可以节省时间、金钱和精力。 已经使用这些权重构建并训练了一个预训练模型。

使用具有大量准确代表性权重的高质量预训练模型可以提高 AI 部署的成功机会。 可以修改权重，并且可以将更多数据添加到模型中以进一步自定义或微调它。

基于预训练模型的开发人员可以更快地创建 AI 应用程序，而不必担心处理大量输入数据或计算密集层的概率。

换句话说，使用预训练的 AI 模型就像得到一件裙子或衬衫，然后根据您的需要对其进行剪裁，而不是从布料、线和针开始。

预训练的 AI 模型通常用于迁移学习，并且可以基于多种模型架构类型。 一种流行的架构类型是 transformer 模型，这是一种通过跟踪顺序数据中的关系来学习上下文和意义的神经网络。

据人工智能公司 Clarifai 平台高级副总裁 Alfredo Ramos 称，Clarifai 是 NVIDIA Inception 项目的主要合作伙伴，预训练模型可以将 AI 应用程序开发时间缩短一年，并节省数十万美元的成本 .

预训练模型如何推动 AI 发展？

由于预训练模型简化并加快了 AI 开发，许多开发人员和公司使用它们来加速各种 AI 用例。

预训练模型推动人工智能发展的主要领域包括：

• 自然语言处理。 预训练模型用于翻译、聊天机器人和其他自然语言处理应用程序。 大型语言模型，通常基于 transformer 模型架构，是预训练模型的扩展。 预训练 LLM 的一个例子是 NVIDIA NeMo Megatron，它是世界上最大的人工智能模型之一。
• 语音人工智能。 预训练模型可以帮助语音 AI 应用程序在不同语言中即插即用。 用例包括呼叫中心自动化、人工智能助手和语音识别技术。
• 计算机视觉。 就像上面的独角兽例子一样，预训练模型可以帮助人工智能快速识别生物——或者物体、地方和人。 通过这种方式，预训练模型可以加速计算机视觉，为体育、智慧城市等领域的应用程序提供类似人类的视觉能力。
• 卫生保健。 对于医疗保健应用程序，预训练的 AI 模型（如 NVIDIA BioNeMo 服务和框架的一部分）MegaMolBART 可以理解化学语言并了解现实世界分子中原子之间的关系，从而为科学界提供了一个强大的工具来更快地发现药物。
• 网络安全。 预训练模型为实施基于人工智能的网络安全解决方案提供了一个起点，并扩展了人类安全分析师更快检测威胁的能力。 示例包括人和机器的数字指纹识别，以及异常、敏感信息和网络钓鱼的检测。
• 艺术和创意工作流程。 为了支持最近的人工智能艺术浪潮，预训练模型可以通过 GauGAN 和 NVIDIA Canvas 等工具帮助加速创意工作流程。

预训练的 AI 模型可以跨行业应用，因为它们的定制和微调可以为用例带来无限的可能性。

在哪里可以找到预训练的 AI 模型

谷歌、Meta、微软和 NVIDIA 等公司正在发明尖端的模型架构和框架来构建 AI 模型。

这些有时会在模型中心或作为开源发布，使开发人员能够微调预训练的 AI 模型，提高其准确性并扩展模型存储库。

NVIDIA NGC——GPU 优化的人工智能软件、模型和 Jupyter Notebook 示例的中心——包括预训练模型以及人工智能基准测试和训练方法，这些都是为与 NVIDIA 人工智能平台一起使用而优化的。

NVIDIA AI Enterprise 是一套完全托管、安全、云原生的 AI 和数据分析软件套件，包括未经加密的预训练模型。 这使得希望将 NVIDIA 预训练模型集成到他们的自定义 AI 应用程序中的开发人员和企业能够查看模型权重和偏差，提高可解释性并轻松调试。

GitHub、Hugging Face 等中心也提供了数以千计的开源模型。

重要的是，预训练模型使用透明、可解释、符合隐私、征得同意且不带偏见的道德数据进行训练。

NVIDIA 预训练人工智能模型

为了帮助更多开发人员将 AI 从原型转移到生产，NVIDIA 提供了几种可以开箱即用的预训练模型，包括：

• NVIDIA SegFormer，一种用于简单、高效、强大的语义分割的转换器模型——可在 GitHub 上获得。
• NVIDIA 专门构建的计算机视觉模型，为智能城市、停车管理和其他应用程序训练了数百万张图像。
• NVIDIA NeMo Megatron 是世界上最大的可定制语言模型，是 NVIDIA NeMo 的一部分，NVIDIA NeMo 是一个开源框架，用于为对话式 AI、语音 AI 和生物学构建高性能和灵活的应用程序。
• NVIDIA StyleGAN，一种基于样式的生成器架构，用于生成对抗网络或 GAN。 它使用迁移学习来生成各种风格的无限绘画。

此外，用于构建和部署语音 AI 应用程序的 GPU 加速软件开发套件 NVIDIA Riva 包括十种语言的预训练模型。

MONAI 是 NVIDIA 和伦敦国王学院开发的用于医疗保健研究的开源 AI 框架，其中包括用于医学成像的预训练模型。