Ollama：本地大语言模型解决方案

news2024/9/22 5:35:45

在人工智能领域，大语言模型（LLM）因其在自然语言处理上的强大能力而备受瞩目。然而，这些模型往往需要大量的计算资源和网络连接，限制了它们在本地环境的应用。Ollama 的推出，为这一问题提供了解决方案。作为一个开源平台，Ollama 允许用户在本地机器上轻松设置和运行 LLM，简化了整个流程，使得本地部署语言模型变得更加可行和高效。

简介

Ollama 是一个开源的人工智能模型项目，专注于开发高质量的语言模型。该项目的目标是使先进的自然语言处理技术更加普及和易于获取，同时促进研究社区的合作与创新。Ollama 项目提供了多种语言模型的训练代码、数据集以及预训练好的模型权重，以便研究人员和开发者能够快速构建和部署自己的语言生成应用。

Ollama 的核心特性

开源与易用性

Ollama 的最大优势之一是它的开源性质。这意味着开发者社区可以共同参与到平台的开发和优化中来，同时也保证了软件的透明度和可定制性。Ollama 的易用性体现在它简化了下载、安装和与 LLM 交互的过程。用户只需通过简单的命令行操作，即可在本地机器上启动和运行模型。

REPL交互环境

Ollama 内置了 REPL（Read-Eval-Print Loop）功能，这是一种交互式编程环境，允许用户输入代码并立即看到结果。这种即时反馈机制极大地提高了开发效率，使得调试和实验变得更加便捷。

模型管理

Ollama 提供了一套模型管理工具，用户可以通过命令行轻松查看、下载、删除和运行不同的语言模型。这包括一个在线模型库，用户可以浏览并了解各种模型的详细信息，如模型大小、参数等。

硬件兼容性

Ollama 支持多种硬件配置，无论是 GPU 还是 CPU，都能运行语言模型。这为用户提供了灵活的选择，即使在没有高性能 GPU 的情况下，也能在 CPU 上运行模型，尽管速度会有所减慢。

使用Ollama

硬件需求

获取 Ollama 中可用模型的列表：
ollama.com/library

在这里插入图片描述

GPU

查看 Ollama 支持的 GPU：
github.com/ollama/olla…

CPU

对于大型模型，如 7B、13B 或 33B，Ollama 建议至少分别有 8GB、16GB 和 32GB 的 RAM。

安装与启动

下载链接如下：
ollama.com/download

下载 Ollama 后，用户可以通过命令行界面（Terminal）快速启动模型。例如，使用ollama run phi3命令下载并运行模型 phi3。如果需要先下载模型再运行，可以使用ollama pull phi3命令。

在这里插入图片描述

在 Ollama 的 REPL 环境中，用户可以通过输入/?来查看所有可用的命令和快捷方式。这包括退出REPL的命令/bye，以及获取快捷方式列表的命令/? shortcuts。

ollama 常用命令如下：

ollama ls 显示拥有的模型
ollama rm <modelname> 删除指定模型
ollama status 查看模型状态
ollama logs 查看模型日志

LangChain 集成

Ollama 支持使用 LangChain 交互。使用Llama3 为例：

准备工作

ollama pull llama3

pip install langchain langchain-ollama ollama

使用示例

from langchain_ollama import OllamaLLM  
  
model = OllamaLLM(model="llama3")  
  
response = model.invoke(input="What's up?")  
print(response)  
  
"""  
Not much! Just an AI, waiting to chat with you. How about you? What's new and exciting in your world?  
"""

开始一个简单对话：

from langchain_ollama import OllamaLLM  
from langchain_core.prompts import ChatPromptTemplate  
  
template = """  
User will ask you questions. Answer it.  
  
The history of this conversation: {context}  
  
Question: {question}  
  
Answer:  
"""  
  
model = OllamaLLM(model="llama3")  
prompt = ChatPromptTemplate.from_template(template)  
chain = prompt | model  
  
def chat():  
context = ""  
print("Welcome to the AI Chatbot! Type 'exit' to quit.")  
while True:  
question = input("You: ")  
if question.lower() == "exit":  
break  
response = chain.invoke({"context":context, "question": question})  
print(f"AI: {response}")  
context += f"\nUser: {question}\nAI: {response}"  
  
chat()

Web 使用

可以按照以下链接的说明安装 open-webui：
github.com/open-webui/…

在这里插入图片描述

结语

Ollama 作为本地运行语言模型的工具，不仅降低了对云端资源的依赖，还提高了数据处理的安全性和响应速度。它通过提供 REPL 环境、模型管理命令和与 LangChain 的交互能力，极大地丰富了用户与语言模型的交互方式。随着技术的不断发展，Ollama 有望进一步推动本地 AI 应用的普及和深入，为开发者和企业提供更多的可能性。

在这里插入图片描述