一、GGUF模型链接

• glm-4-9b-chat-GGUF
• codegeex4-all-9b-GGUF

使用modelscope下载

先安装 pip install modelscope

• 命令1
  modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf
• 命令2
  modelscope download --model=LLM-Research/codegeex4-all-9b-GGUF --local_dir . codegeex4-all-9b-Q5_K_M.gguf

二、使用

1. 启动ollama服务
   ollama serve

2. 创建ModelFile
   复制模型路径，创建名为“ModelFile”的meta文件，内容如下：

   FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf
   #FROM /mnt/workspace/codegeex4-all-9b-Q5_K_M.gguf
   
   # set parameters
   PARAMETER stop "<|system|>"
   PARAMETER stop "<|user|>"
   PARAMETER stop "<|assistant|>"
   
   TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|>
   {{ .System }}{{ end }}{{ if .Prompt }}<|user|>
   {{ .Prompt }}{{ end }}<|assistant|>
   {{ .Response }}"""
   

3. 创建自定义模型
   使用ollama create命令创建自定义模型
   ollama create myglm4 --file ModelFile

4. 运行模型
   ollama run myglm4