作为全栈工程师,我们经常需要将后端和前端代码与 AI 模型集成。然而,访问这些模型一直是一项重大挑战。主要障碍之一是缺乏对开放和封闭模型的轻松访问。在 GitHub,我们正在打破访问障碍并推出GitHub Models。让您(开发人员)可以访问 GPT-4o、Phi 3、Mistral Large 2 或 Llama 3.1 等各种 AI 模型。虽然 GitHub Models 目前处于私人测试阶段,但您可以加入候补名单。
入门非常简单,因为 GitHub 为您提供了内置的 Playground,可让您在 GitHub UI 中免费测试不同的提示和模型参数。一旦您在 Playground 中取得成功,GitHub 就会创建一条无缝路径,让您可以将模型带到您最喜欢的开发环境:GitHub Codespaces 或 VS Code。
GitHub Models 已准备好投入生产,因为它利用了具有内置负责任 AI、企业级安全性和数据隐私的 Azure AI。部分模型可在 25 个 Azure 区域提供全球可用性。详细了解GitHub Models 的负责任使用。
虽然 GitHub Models 提供了一种在 GitHub UI 中直接试验 AI 模型的无缝方式,但 .NET 开发人员可以利用强大的Azure AI 推理 SDK将这些模型集成到他们的应用程序中。随着最近增加的 .NET 支持,Azure AI 推理 SDK 提供了一条整合 AI 的强大途径,确保 .NET 开发人员不会随着这项技术的发展而落后。让我们探索如何在 Azure AI 推理 SDK 的额外支持下立即开始试验 GitHub Models。
开始使用 GitHub 模型
要开始使用 GitHub Models,只需很短的时间即可开始。实际上,代码就是游戏,这也是我们作为开发人员最好的学习方式。让我们从下面开始,使用 C# 语义内核结合提示连接到现有 API 来执行操作。
要开始将 AI 与 .NET 结合使用,请参考面向.NET 开发人员的 AI 文档
- 要查找可用的 AI 模型,请转到GitHub Marketplace。在侧栏中选择“模型”。您可以通过单击模型名称来阅读有关模型的详细信息。
- 通过打开一个免费的 Playground 开始实验,您可以在其中调整模型参数并提交提示以查看模型的响应情况。要打开 Playground,请从该模型的屏幕上选择 Playground 按钮
- 要调整模型的参数,请选择侧栏中的参数。选择适合您要求的参数后,在底部的提示栏中输入您想要创建的内容:
- 为了查看与您选择的参数相对应的代码,请从“聊天”选项卡切换到“代码”选项卡。您还可以选择要使用的特定编程语言或选择要使用的特定 SDK。
- 一旦您熟悉了实验,就可以将您的模型引入开发环境。选择右上角的“开始”按钮。您可以快速选择“运行 Codespace”,并在几秒钟内启动并运行。要在 VS Code 中本地运行您的代码,请按照概述的步骤创建个人访问令牌。
将 Azure AI 推理 SDK 与 .NET 结合使用
下面是一个 C# 代码示例,演示如何使用 Azure AI 推理 SDK 与 Phi 3 模型进行交互。此脚本设置了一个简单的聊天界面,您可以在其中向 AI 模型发送消息并接收响应。该代码说明了如何初始化客户端、使用 GitHub 访问令牌设置身份验证以及处理与模型的聊天交互。
例如,以下 C# 代码演示了如何使用 Azure AI Inference SDK 与 Phi 3 模型交互:
using Azure;
using Azure.AI.Inference;
using Azure.Identity;
var endpoint = "https://models.inference.ai.azure.com";
var token = Environment.GetEnvironmentVariable("GH-TOKEN"); // Your GitHub Access Token
var client = new ChatCompletionsClient(new Uri(endpoint), new AzureKeyCredential(token));
var chatHistory = new List<ChatRequestMessage>
{
new ChatRequestSystemMessage("You are a helpful assistant that knows about AI")
};
while(true)
{
Console.Write("You: ");
var userMessage = Console.ReadLine();
// Exit loop
if (userMessage.StartsWith("/q"))
{
break;
}
chatHistory.Add(new ChatRequestUserMessage(userMessage));
var options = new ChatCompletionsOptions(chatHistory)
{
Model = "Phi-3-medium-4k-instruct"
};
ChatCompletions? response = await client.CompleteAsync(options);
ChatResponseMessage? assistantMessage = response.Choices.First().Message;
chatHistory.Add(new ChatRequestAssistantMessage(assistantMessage));
Console.WriteLine($"Assistant: {assistantMessage.Content}");
}
此代码片段提供了一种使用 C# 与 Phi 3 模型交互的简单方法。通过设置环境并按照以下步骤操作,您可以快速开始将 AI 模型集成到 .NET 应用程序中。
要运行此代码,您需要正确设置您的环境:
- 创建 GitHub 访问令牌:在 GitHub 中生成个人访问令牌并将其保存为名为“GH-TOKEN”的环境变量。此令牌允许您的应用程序通过 GitHub 进行安全身份验证。
- 安装必要的 SDK:确保已在项目中安装 Azure AI 推理 SDK。您可以通过 Visual Studio 中的 NuGet 包管理器添加 SDK 来执行此操作。
- 测试您的设置:在您的开发环境中运行脚本以验证一切是否正常运行。您可以调整脚本中的提示和模型参数以探索 AI 模型的不同功能。
您可以随意尝试不同的模型、提示和参数来试验代码。Azure AI 推理 SDK 可以灵活地自定义您的 AI 交互,使其成为 .NET 开发人员探索 AI 功能的强大工具。
现在您已经了解了如何使用 Azure AI 推理 SDK 将 AI 模型集成到您的 .NET 应用程序中,让我们探索如何进一步利用 GitHub 模型来扩展您的 AI 功能。