Ray Use Cases

Ray用例
本页索引了用于扩展ML的常见Ray用例。它包含了对博客、例子和教程的突出引用，也位于Ray文档的其他地方。

大型语言模型和生成型人工智能

大型语言模型（LLMs）和生成性人工智能正在迅速改变行业，并以惊人的速度要求计算。Ray为这些模型的扩展提供了一个分布式计算框架，使开发人员能够更快更有效地训练和部署模型。凭借用于数据流、训练、微调、超参数调整和服务的专门库，Ray简化了开发和部署大规模人工智能模型的过程。

批量推理

批量推理是指在一组输入观测值上生成模型预测。该模型可以是一个回归模型，神经网络，或简单的Python函数。Ray可以将批量推理从单个GPU机器扩展到大型集群。

通过将训练好的模型的架构和权重导出到共享对象存储中，可以并行地对输入的批次数据进行推理。利用这些模型副本，Ray AIR的批处理预测器可以在不同的工作者之间扩展批处理的预测。

多模型训练

许多模型训练在ML用例中很常见，如时间序列预测，这需要在对应于地点、产品等的多个数据批上拟合模型。重点是在一个数据集的子集上训练许多模型。这与在整个数据集上训练一个单一的模型形成对比。

当你想训练的任何给定的模型可以在单个GPU上适应时，Ray可以把每个训练运行分配给一个单独的Ray任务。通过这种方式，所有可用的工作者都被利用来运行独立的远程训练，而不是一个工作者按顺序运行作业。