环境:macbook m1 + conda + python3.9
加载模型链接为:ggml-model-q4_0.bin
加载方式:
from langchain.embeddings import LlamaCppEmbeddings
embeddings = LlamaCppEmbeddings(model_path=llama_path)
在linux上加载是正常的,但是在macbook上就报错:failed to load model
一开始以为模型坏了,删除重新下载,仍然报错。
解决方案参考:https://github.com/imartinez/privateGPT/issues/113
pip install llama-cpp-python==0.1.48
原来的是0.1.78,更新为48之后,的确是可以正常加载了。