https://github.com/ggerganov/llama.cpphttps://github.com/ggerganov/llama.cpp使用到的工具：

llama.cpp

ollama

步骤

1、下载llama.cpp，并使用make编译

2、新建conda环境，安装llama.cpp里所需的库（requirements.txt）

3、下载需要量化的模型