docker-compose Install reranker(fastgpt支持) GPU模式

news2025/3/9 11:40:09

前言BGE-重新排名器

与 embedding 模型不同，reranker 或 cross-encoder 使用 question 和 document 作为输入，直接输出相似性而不是 embedding。为了平衡准确性和时间成本，cross-encoder 被广泛用于对其他简单模型检索到的前 k 个文档进行重新排序。例如，使用 bge 嵌入模型首先检索前 100 个相关文档，然后使用 bge reranker 对前 100 个文档进行重新排序，以获得最终的前 3 个结果。

前提要求

Linux安装 docker docker-compose 参考
Windows 10 ,11 2022 docker docker-compose 参考
deepseek(ollama) 安装参考 Linux，Windows，Docker

bge-reranker 重排模型

reranker安装参考官网参考
reranker 目录 /opt/reranker、
reranker 端口6006
reranker api http://you_ip:6006/v1/rerank
TOKEN reranker
reranker 百度网盘离线docker images 下载

echo "创建目录"
mkdir -p /opt/reranker

echo "编排文件"
cat <<'EOF'>>/opt/reranker/docker-compose.yml
version: "3"
services:
  reranker:
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-base:v0.1
    container_name: reranker
    restart: always
    deploy:
      resources:
        reservations:
          devices:
          - driver: nvidia
            count: all
            capabilities: [gpu]
    ports:
      - 6006:6006
    environment:
      - ACCESS_TOKEN=reranker
EOF

echo "start reranker"
cd /opt/reranker
docker-compose up -d