Llama3 在线试用与本地部署

news2024/12/23 17:16:21

美国当地时间4月18日，Meta 开源了 Llama3 大模型，目前开源版本为 8B 和 70B 。Llama 3 模型相比 Llama 2 具有重大飞跃，并在 8B 和 70B 参数尺度上建立了 LLM 模型的新技术。由于预训练和后训练的改进，Llama3 模型是目前在 8B 和 70B 参数尺度上存在的最好的模型。训练后程序的改进大大降低了错误拒绝率，改善了一致性，增加了模型响应的多样性。我们还看到了推理、代码生成和指令跟踪等功能的极大改进，使 Llama 3 更具可操控性。

简介：

Llama3 是 Meta AI 公司开发的一个基于 transformer 架构的大型语言模型，可以生成人类般的文本，回答问题，甚至进行创作，具有强大的语言理解和生成能力。

特点

大规模参数：Llama3 拥有超过 650 亿个参数，使其能够学习和存储大量的语言知识。
多任务学习：Llama3 可以同时学习多种语言任务，如文本生成、问答、文本分类等。
强大的生成能力：Llama3 可以生成长文本、诗歌、故事等多种形式的文本，具有很强的创作能力。
多语言支持：Llama3 支持多种语言，包括英语、西班牙语、法语、德语、意大利语等。

应用场景

文本生成：Llama3 可以用于自动生成文本，例如生成文章、新闻、产品描述等。
问答系统：Llama3 可以用于构建问答系统，回答用户的问题。
语言翻译：Llama3 可以用于语言翻译，例如将英语翻译成其他语言。
创作工具：Llama3 可以用于创作工具，例如生成诗歌、故事等。

优点

高准确率：Llama3 具有很高的准确率，可以生成高质量的文本。
强大的生成能力：Llama3 可以生成多种形式的文本，具有很强的创作能力。
多语言支持：Llama3 支持多种语言，能够满足不同语言用户的需求。

缺点

计算资源需求高：Llama3 需要强大的计算资源，否则可能无法运行。
需要大量数据：Llama3 需要大量的训练数据，否则可能无法达到理想的效果。

在线试用：

不愧为 AI 浪潮里卖铲子的，NVIDIA 具有其他公司无可比拟的 AI 算力，在线上，给出了 llama3-70b 试用：

也可以通过代码来调用：

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = "$API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC"
)

completion = client.chat.completions.create(
  model="meta/llama3-70b-instruct",
  messages=[{"role":"user","content":"介绍一下llama3，用中文"}],
  temperature=0.5,
  top_p=1,
  max_tokens=1024,
  stream=True
)

for chunk in completion:
  if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

本地部署：

下载安装Ollama

Ollama是专门为本地化运行大模型设计的软件，可以运行大多数开源大模型，如llama,gemma，qwen等，首先去官网下载Ollama软件：https://ollama.com/ ，最简单的方式是使用Docker 来跑, 此次运行是包括web端的一起运行，所以使用docker-compose打包一起运行以下容器：

ollama/ollama:latest
open-webui:latest