Win 10 Window安装Ollama部署qwen2 7b LangChain-ChatChat
环境说明
Win 10
Python 3.11.9
LangChain-ChatChat 0.20
Ollama 0.2.10
Qwen2 1.5b/7bWindows 安装Ollama
下载并安装Windows版Ollama
https://ollama.com/download#/
下载大模型qwen2:1.5b或者qwen2:7b
在命令行里执行如下命令：
ollama pull qwen2:1.5b
运行大模型
ollama run qwen2:1.5b
查看已下载的大模型
注：1、默认的大模型下载在windows的用户目录下（比如这里是Administrator）：
C:\Users\Administrator\.ollama\models
2、如需要更改可以通过大模型的下载命令，可在命令行里执行如下命令：
setx OLLAMA_MODELS="D:\ollamamodles"重启会话，重启ollama服务。
Linux下安装Ollama
Step1：执行官网的安装命令，如果较快，仅执行该命令即可（Step2以下可选）。
curl -fsSL https://ollama.com/install.sh | shStep2：如果通过上述命令安装较慢，可以通过下载工具先下载安装文件，链接见上述shell文件的第67行。
curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"即为：https://ollama.com/download/ollama-linux-amd64，下载后将文件名重命名为ollama。
Step3：从/tmp目录下找到叫ollama的文件所在的目录名，上传step2里下载的文件到该目录。
Step4：修改install.sh里
#TEMP_DIR=$(mktemp -d) install.sh 11行处代码
#修改为Step3里找到的目录名，以下是示例。
TEMP_DIR='weweximx12344'
#注释67行，即原本需要curl下载安装文件处代码
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
Step5：再次执行Step1的命令。
搭建LangChain-ChatChat
下载Embedding模型
当前Embedding模型用的是bge-large-zh-v1.5
https://www.modelscope.cn/models/AI-ModelScope/bge-large-zh-v1.5/files
https://www.modelscope.cn/models/AI-ModelScope/bge-large-zh-v1.5/files
下载LangChain-ChatChat源码
GitHub - chatchat-space/Langchain-Chatchat at 0.2.finalGitHub - chatchat-space/Langchain-Chatchat at 0.2.finalLangchain-Chatchat（原Langchain-ChatGLM, Qwen 与 Llama 等）基于 Langchain 与 ChatGLM 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain - GitHub - chatchat-space/Langchain-Chatchat at 0.2.finalhttps://github.com/chatchat-space/Langchain-Chatchat/tree/0.2.final
创建LangChain-ChatChat虚拟环境
conda create -n langchat python=3.11
conda activate langchat安装LangChain-ChatChat依赖包
cd /d C:\langchat\langchain-chatchat-0.2.final
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
pip install -r requirements_api.txt -i https://mirrors.aliyun.com/pypi/simple/
pip install -r requirements_webui.txt -i https://mirrors.aliyun.com/pypi/simple/生成LangChain-ChatChat配置文件
#通过如下命令生产配置文件，这些文件会生成在config目录下
python copy_config_example.py配置LangChain-ChatChat
修改config目录下的model_config.py，具体修改见下：
1、修改Ollama相关的大模型参数
2、修改Embedding模型的路径地址
初始化知识库
可先备份knowledge_base目录下的samples文件夹下内容，然后情况该文件夹下内容。
然后拷贝自定义文本或文件到该目录下并执行初始化命令
python init_database.py --recreate-vs启动LangChain-ChatChat
python startup.py -a
访问LangChain-ChatChat
1、访问大模型
2 知识库问答
