微软在官方宣布在Azure AI云开发平台中，新增了Falcon、Phi、Jais、Code Llama、CLIP、Whisper V3、Stable Diffusion等40个新模型，涵盖文本、图像、代码、语音等内容生成。

开发人员只需要通过API或SDK就能快速将模型集成在应用程序中，同时支持数据微调、指令优化等量身定制功能。

此外，开发人员可通过关键字搜索，在Azure AI的“模型超市”中迅速找到适合自己的产品，例如，输入“代码”两字，就能显示相应的模型。

体验地址：https://ai.azure.com/

以下是部分知名新增模型的简单介绍

Whisper V3

Whisper V3是OpenAI最新开发的语音模型，使用了100 万小时弱标记音频和400万小时的伪标记音频的多语言数据进行了训练，同时接受了语音识别和语音翻译方面的训练。支持语音翻译、转录等功能。

Stable Diffusion

Stable Diffusion是由Stability AI开发的文本生成图像扩散模型，可生成素描、油画、卡通、3D等多种类型图片，也是目前最强开源扩散模型之一。

微软Azure AI将提供Stable-Diffusion-V1-4、Stable-Diffusion-2-1 、Stable-Diffusion-V1-5 、Stable-Diffusion-Inpainting 、Stable-Diffusion-2-Inpainting五种不同版本模型。

Phi

Phi-1-5有 13亿参数Transformer架构的模型。使用了与 Phi-1 相同的数据进行了训练,并增加了一个新的数据源,该数据源由各种NLP合成文本组成。

在评估测试常识、语言理解和逻辑推理的基准时, Phi-1.5 成为参数少于 100 亿的模型中，成为最出色的模型之一。该模型可以写诗,起草电子邮件,创作故事,总结文本,编写 Python 代码等。

Phi-2有27亿参数，与 Phi-1-5 相比，其推理能力和安全措施有了显着提高，但与业内其他Transformer 架构模型相比参数较小，但性能依然强悍。

Falcon

Falcon（猎鹰）模型是由阿联酋阿布扎比研究室出品的大语言模型，使用了1万亿训练数据集，支持文本生成、内容总结等功能，支持Falcon-40b、Falcon-40b-Instruct 、Falcon-7b-Instruct和Falcon-7b四种模型。

SAM

SAM（Segment Anything Model）是由Meta开发的图像分割模型，可根据提示快速分割图像。SAM在1100万张图像和11亿掩模的数据集上进行了训练。

SAM支持0样本训练支持新的图像分割任务，目前有Facebook-Sam-Vit-Large 、Facebook-Sam-Vit-Huge 、Facebook-Sam-Vit-Base 三种模型。

CLIP

CLIP是由OpenAI开发的多模态AI模型，在大量的图像和文本对上进行训练，能够理解图像内容并将其与自然语言描述相关联。CLIP通过对图像和文字进行共同的表示学习，极大地提升了计算机视觉的各种任务，包括分类、对象检测、图像字幕和更多。

目前有OpenAI-CLIP-Image-Text-Embeddings-ViT-Base-Patch32、OpenAI-CLIP-ViT-Base-Patch32和OpenAI-CLIP-ViT-Large-Patch14三个版本。

Code Llama

Code Llama是Meta开发的专注开发领域的模型，通过文本就能生成、审核、改写代码，拥有CodeLlama-34b-Python 、CodeLlama-13b-Instruct等8个版本，是目前最强开源代码模型之一。

本文素材来源微软官网，如有侵权请联系删除