Sealos 国内集群正式上线，可一键运行 LLama2 中文版大模型！

news2024/9/27 17:37:19

2023 年 7 月 19 日，MetaAI 宣布开源旗下的 LLama2 大模型，Meta 首席科学家、图灵奖得主 Yann LeCun 在推特上表示 Meta 此举可能将改变大模型行业的竞争格局。一夜之间，大模型格局再次发生巨变。

不同于 LLama，LLama2 免费可商用！

LLama2 的能力在 GPT-3 ~ GPT-3.5 之间，对于关注数据隐私的企业来说，简直太香了！

虽然 LLama2 目前还不支持中文，但国内开源大模型爱好者已经训练出了中文模型，并且和原版模型完全兼容，大家可以放心白嫖了。

中文版 Llama2 模型链接：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b

解决了中文版的问题，现在还有另外一个问题。很多小伙伴都没有 GPU，要是能在 CPU 上运行就好了！

问题也不大，利用 GGML 机器学习张量库就能构建出在 CPU 上运行的中文版模型，这也是 llama.cpp 背后的核心技术。

官方仓库也给出了转换步骤：

太麻烦了，能不能再简单点？

能！

有社区小伙伴已经转换好了模型并上传到了 Hugging Face，咱们直接拿来主义：https://huggingface.co/soulteary/Chinese-Llama-2-7b-ggml-q4

众所周知，国内访问大多数海外网站都是需要魔法的，Hugging Face 也不例外。对于没有魔法的同学来说，还能不能再简单点？

能！

直接通过以下链接打开 Text generation web UI 的应用部署模板：

https://cloud.sealos.top/?openapp=system-template%3FtemplateName%3Dllama2-chinese

然后直接点击「部署应用」就完工了，非常简单，没有任何多余的操作。

Text generation web UI

给大家介绍一下 Text generation web UI，这是一个大语言模型启动器，它的终极目标是在 AI 对话领域对标 Stable Diffusion WebUI。引用 GitHub 原文：

A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, OPT, and GALACTICA.

Its goal is to become the AUTOMATIC1111/stable-diffusion-webui of text generation.

它可以加载几乎所有的主流模型（支持 llama.cpp 模型），并且在本地运行他们。语言模型能做什么，你就能体验到什么，可以当成离线版 ChatGPT 来使用。再加上 ChatGPT 在国内的审查问题，以及信息泄露风险，客制化的本地模型几乎提供了无限可能。

值得一提的是，它还支持通过 API 来进行调用，同时还提供插件对齐 OpenAI 的 API，你可以将其接入任意套壳 GPT 应用中。

上面的应用模板就是用来部署 Text generation web UI 的。

Sealos 国内集群

今年 6 月份，Sealos 正式上线了海外集群（https://cloud.sealos.io），虽然也向国内用户开放，但其机房在新加坡，国内部分线路不太友好。国内很多用户的需求比较特殊，必须要使用魔法，海外集群正好可以满足需求，至于线路到国内是否友好并不是非常重要。

但大部分国内用户的需求还是要保证线路稳定，使用海外集群就有点力不从心了。为了满足国内用户的需求，如今我们正式上线了国内集群（https://cloud.sealos.top），与海外集群功能一致。除此之外，国内集群还新增了一项功能：通过共享存储来加载主流的大模型文件（目前只加载了 LLama2 中文模型）。上面的应用模板会一键部署 Text generation web UI，并自动挂载大模型共享存储。我们再来回顾一下：

首先直接通过以下链接打开 Text generation web UI的应用部署模板：