1. ollama部署
下载install文件
https://ollama.com/install.sh
下载后修改如下内容
status "Downloading ollama..."
# 注释此行
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
# 修改安装包位置
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64 $BINDIR/ollama
下载安装包,与install.sh放在同一目录
https://github.com/ollama/ollama/releases/
执行安装
./install.sh
在宿主机上直接安装时,ollama会默认启动,如果没有启动的话,需要手动启动ollama服务,启动后可以打开网页:http://127.0.0.1:11434
ollama serve
2. 下载模型
graphRAG需要一个大模型和一个向量模型,模型存放在…/.ollama/models位置。
ollama pull mistral #llm
ollama pull nomic-embed-text #embedding
由于ollama使用的是GGUF格式的模型文件,在内网中pull无法连接时,可以先在外网安装一个ollama,将模型下载下来,将models文件夹复制到内网使用。
3. 运行graphRAG
安装graphrag依赖包
pip install graphrag
在某一目录下新建input目录,将一个或多个txt文件放入input目录下。
初始化工作区
python -m graphrag.index --init --root ./graphrag