Docker安装Text Embeddings Inference (TEI)
1 简单介绍
文本嵌入推理（TEI，Text Embeddings Inference ）是HuggingFace研发的一个用于部署和服务开源文本嵌入和序列分类模型的工具包。TEI兼容OpenAI的嵌入模型的规范。
# 官网地址
https://hf-mirror.com/docs/text-embeddings-inference/index
# Github地址
https://github.com/huggingface/text-embeddings-inference
2 Docker安装
在线安装
⚠️ 容器会联网自动从Hugging Face把BAAI/bge-reranker-large模型下载到/data的目录下，国内无法直接下载。
docker run -itd \
--name text-embeddings-inference \
--gpus all \
-p 8080:80 \
-v /home/data:/data \
ghcr.io/huggingface/text-embeddings-inference:1.6 \
--model-id BAAI/bge-reranker-large
离线安装
⚠️ 安装方法的思路。
（1）在国内的ModelScope上下载BAAI/bge-reranker-large模型；
（2）将BAAI/bge-reranker-large模型放在宿主机的/home/data目录下（注意不要模型前面的BAAI）；
（3）宿主机模型目录：📁/home/data/bge-reranker-large。
# -v：宿主机共享目录， 宿主机目录："/home/data"，容器中的目录"/data"存在模型的目录;
# --model-id：指定模型的路径或者模型编号，对应容器中的"/data"目录
# 其中容器的"/data/bge-reranker-large"对应宿主机"/home/data/bge-reranker-large"
docker run -itd \
--name text-embeddings-inference \
--gpus all \
-p 8080:80 \
-v /home/data:/data \
ghcr.io/huggingface/text-embeddings-inference:1.6 \
--model-id /data/bge-reranker-large
访问rerank接口
curl http://127.0.0.1:8080/rerank \
-X POST \
-H "Content-Type: application/json" \
-d '{
"query":"What is Deep Learning?",
"texts": ["Deep Learning is not...", "Deep learning is..."],
"raw_scores": false
}'
接口文档
# Text Embedding Webserver的Swagger接口
http://192.168.137.64:8080/docs/
