828华为云征文 | 云服务器Flexus X实例:one-api 部署,支持众多大模型

news2024/11/13 16:20:09

目录

一、one-api 介绍

二、部署 one-api

2.1 拉取镜像

2.2 部署 one-api

三、运行 one-api

3.1 添加规则

3.2 运行 one-api 

四、添加大模型 API

4.1 添加大模型 API

五、总结


本文通过 Flexus云服务器X实例 部署 one-api。Flexus云服务器X实例是新一代面向中小企业和开发者打造的柔性算力云服务器,可智能感知业务负载,适用于电商直播、企业建站、开发测试环境、游戏服务器、音视频服务等中低负载场景。相较于Flexus应用服务器L实例,Flexus云服务器X实例的优势包含:提供丰富的公共镜像、可灵活自定义vCPU内存配比、智能感知业务动态升降配,负载范围更高等。

Flexus云服务器X实例 能够支持电商直播、企业建站、个人开发测试、游戏服务器等。

一、one-api 介绍

one-api 是一个 OpenAI 接口管理 & 分发系统,目前支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用。

one-api 特性:

(1)支持多种大模型;

(2)支持配置镜像以及众多第三方代理服务;

(3)支持通过负载均衡的方式访问多个渠道;

(4)支持 stream 模式,可以通过流式传输实现打字机效果;

(5)支持多机部署,支持令牌管理,设置令牌的过期时间、额度、允许的 IP 范围以及允许的模型访问;

(6) 支持兑换码管理,支持批量生成和导出兑换码,可使用兑换码为账户进行充值;

(7)支持渠道管理,批量创建渠道。 支持用户分组以及渠道分组,支持为不同分组设置不同的倍率;

(8) 支持渠道设置模型列表,支持查看额度明细。 支持用户邀请奖励。 支持以美元为单位显示额度等。

二、部署 one-api

2.1 拉取镜像

首先,先从远程镜像仓库中拉取 one-api 镜像,执行如下命令拉取。

root@flexusx-7305:~# docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0
v0.6.0: Pulling from ddn-k8s/docker.io/justsong/one-api
4abcf2066143: Pull complete 
c2f30ece0032: Pull complete 
213fae9f6ab5: Pull complete 
f2605c032589: Pull complete 
Digest: sha256:416dc625c8c5a905e70db79b40bed5325fa0bc26aecf9cf9181e89b653595e14
Status: Downloaded newer image for swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

 one-api 镜像拉取成功。

2.2 部署 one-api

拉取完 one-api 镜像后,one-api 镜像会存储到本地,如下所示。

root@flexusx-7305:~# docker images
REPOSITORY                                                            TAG       IMAGE ID       CREATED        SIZE
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea        1.22.1    b3de72970178   2 months ago   167MB
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api   v0.6.0    36bd98ce5a7c   6 months ago   48.4MB
daocloud.io/library/mysql                                             8         26d0ac143221   3 years ago    546MB
daocloud.io/library/mysql                                             latest    8457e9155715   3 years ago    546MB
root@flexusx-7305:~# 

复制镜像名称,通过 docker 部署 one-api,执行如下命令。

root@flexusx-7305:~# docker run --name one-api -d --restart always -p 3002:3000 -e TZ=Asia/Shanghai -v /root/data/one-api:/data swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0
89bb9f7a3dd119008c678243464bdf10df377dc4d482b123be3c077d7a675ac8
root@flexusx-7305:~# docker ps
CONTAINER ID   IMAGE                                                                        COMMAND                  CREATED         STATUS         PORTS                                                                              NAMES
89bb9f7a3dd1   swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0   "/one-api"               2 seconds ago   Up 2 seconds   0.0.0.0:3002->3000/tcp, [::]:3002->3000/tcp                                        one-api
ef512af0c1c5   swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea:1.22.1        "/usr/bin/entrypoint…"   2 days ago      Up 2 days      0.0.0.0:3000->3000/tcp, :::3000->3000/tcp, 0.0.0.0:222->22/tcp, [::]:222->22/tcp   gitea
65fe1c102df6   daocloud.io/library/mysql:8                                                  "docker-entrypoint.s…"   2 days ago      Up 2 days      3306/tcp, 33060/tcp                                                                root_db_1
root@flexusx-7305:~# 

通过 docker ps 可以查看正在运行的容器,可以看到 one-api 已运行,端口是 3002,对应容器内部端口 3000。

三、运行 one-api

通过上面的步骤,one-api 已经部署成功,下面就来详细看下 one-api 的功能。

3.1 添加规则

one-api 对应的端口是 3002,需要将 3002 端口加入到准入规则中。

首先,在基本信息中,找到安全组,点击进入安全组,如下所示。

 然后,点击 配置规则 配置 3002 端口,如下所示。

设置优先级,然后在协议端口中添加端口,点击确定,如下所示。 

可以看到 3002 端口已经被加入到安全规则中,如下所示。

3.2 运行 one-api 

在浏览器中,访问 http://服务器IP地址:3002,one-api 界面如下所示。

然后,点击右上角登录按钮,默认用户名为 root,默认密码为 123456,登录后可以修改密码,如下所示。

四、添加大模型 API

4.1 添加大模型 API

添加大模型 API 是在渠道里面,如下所示。

点击添加新渠道,如下所示。

添加完成后可以点击测试按钮测试添加是否成功。

4.2 添加令牌

添加完大模型后,点击令牌生成密钥,

点击添加新的令牌,输入令牌名称,过期时间可以默认,表示永不过期,如下所示。

添加完成后,点击复制即可复制密钥,用于通过 one-api 连接大模型时填写密钥。

五、总结

通过 Flexus云服务器X实例 上部署 one-api,能够流畅支持多种大模型接入,方便了大模型的开发工作。而且, Flexus云服务器X实例提供了丰富的公共镜像,可灵活自定义镜像版本,支持智能感知业务动态升降配,负载范围更高,支持灵活自定义vCPU、内存实例规格,支持按需计费更精细和灵活的定价模式,可基于实际负载画像智能推荐规格。赶紧用起来吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2152309.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SOC的几种估算方法

一、前言 一般来说,业内可以将SOC的精度做到5%左右,如果想要让SOC精度进一步提升,这时需要提高电流采样的精度或者提高电流在0点的宽度(业内一般是判断电流小于一定的值,则说明电流为0),但这种提…

【LeetCode每日一题】——401.二进制手表

文章目录 一【题目类别】二【题目难度】三【题目编号】四【题目描述】五【题目示例】六【题目提示】七【解题思路】八【时间频度】九【代码实现】十【提交结果】 一【题目类别】 回溯 二【题目难度】 简单 三【题目编号】 401.二进制手表 四【题目描述】 二进制手表顶部…

修改 Visual Studio 的主题颜色、背景颜色、字体

本人使用的是 VS2019 版本的。 点击上方工具栏中的【工具】-> 【选项】。 在 【环境】->【常规】中,可以更改整个界面的主题颜色。 浅色和深色的主题如下: 在【环境】->【字体和颜色】中,可以更改代码区的背景色。 不同背景示例&…

数据仓库建模方法论 :ER模型(三范式)

ER模型之三范式: 其实范式有很多,这一系列范式就是指在设计关系型数据库时,需要遵从的不同的规范。关系型数据库的范式一共有六种,分别是第一范式(1NF)、第二范式(2NF)、第三范式&am…

【开源免费】基于SpringBoot+Vue.JS教师工作量管理系统(JAVA毕业设计)

本文项目编号 T 043 ,文末自助获取源码 \color{red}{T043,文末自助获取源码} T043,文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析 六、核心代码6.1 查…

基于SpringBoot+Vue的医院急诊病房管理系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 【2025最新】基于JavaSpringBootVueMySQL的…

HK-MSR高性能无线物流监测方案,内含振动性能实机验证

前言 在航空航天、汽车、微电子和光学系统等领域,确保产品或设备在物流运输和实际应用中的安全性和可靠性至关重要。企业通常通过振动台模拟实际环境,进行振动测试以评估产品的性能和耐久性。 常用的测试方法包括正弦、随机和冲击振动测试。然而&#…

如何使用Postman搞定带有token认证的接口实战!

现在许多项目都使用jwt来实现用户登录和数据权限,校验过用户的用户名和密码后,会向用户响应一段经过加密的token,在这段token中可能储存了数据权限等,在后期的访问中,需要携带这段token,后台解析这段token才…

Codeforces Round 784 (Div. 4) Kotlin

本期封面原图 画师煮タ 大福豆 最近学了下Kotlin的基础语法 想着巩固一下就开了一把div4 最后几题没时间了还是换回了C 要不然没法AK了 Idea编译的时候最后必须加上一句main函数的调用,但是cf的测评机又不能加这一句,总是忘记注释掉所以ce了很多发&…

「C++系列」文件和流

【人工智能教程】,前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。 点击跳转到网站:【人工智能教程】 文章目录 一、文件和流1. 文件操作① 打开文件② 读写文件 2. 流操作 二、应…

【CPU】CPU的物理核、逻辑核、超线程判断及L1、L2、L3缓存和缓存行说明

CPU物理核及L1、L2、L3及缓存 CPU缓存 CPU 缓存是一种用于存储临时数据以提高计算机程序性能的内存层次结构。它通常分为三个层次:L1(一级)、L2(二级)和L3(三级)缓存。缓存大小是CPU的重…

基于yolov5和openpose人体骨骼关键点实现的摔倒姿态识别检测系统实现

【参考源码】 https://github.com/HRonaldo/Openpose_YOLO 本项目参考上面框架进行全面改进,改进如下: (1)封装YOLOv5检测类,这样可以加强阅读便利性,模块设计方便嵌入其他框架,后面我会换成…

OpenAI o1-preview和o1-mini现已在 GitHub Copilot和GitHub Models中提供

微软 GitHub 今天宣布在 GitHub Copilot和 Models 中提供两个新的 Open AI 模型:o1-preview 和 o1-mini。OpenAI 推出了新的 o1 系列 人工智能模型,旨在花更多时间思考后再做出反应。与以前的 OpenAI 模型相比,这些模型能在科学、编码和数学领…

【吊打面试官系列-MySQL面试题】列对比运算符是什么?

大家好&#xff0c;我是锋哥。今天分享关于【列对比运算符是什么&#xff1f;】面试题&#xff0c;希望对大家有帮助&#xff1b; 列对比运算符是什么&#xff1f; 在 SELECT 语句的列比较中使用&#xff0c;<>&#xff0c;<&#xff0c;<&#xff0c;> &#x…

vue3+element-plus icons图标选择组件封装

一、最终效果 二、参数配置 1、代码示例 <t-select-icon v-model"selectVlaue" />2、配置参数&#xff08;Attributes&#xff09;继承 el-input Attributes 参数说明类型默认值v-model绑定值string-prefixIcon输入框前缀iconstringSearchisShowSearch是否显…

CleanClip For Mac 強大的剪貼簿助手Paste替代工具 v2.2.1

软件介绍&#xff1a; CleanClip是一款专为Mac设计的强大剪贴板管理工具&#xff0c;旨在提升用户的工作效率和生产力。这款应用完全采用原生Swift编写&#xff0c;为Mac用户提供了流畅、快速且直观的使用体验。CleanClip不仅支持文本内容的管理&#xff0c;还能处理图片、文件…

mac电脑打不开rar文件怎么办 rar文件怎么转换成zip并打开

rar文件是一种常见的压缩文件格式&#xff0c;它可以将多个文件或文件夹打包成一个文件&#xff0c;从而节省空间和方便传输。但是&#xff0c;mac系统并没有自带的工具可以直接打开或解压rar文件&#xff0c;那么&#xff0c;mac用户该如何处理rar文件呢&#xff1f; 一、mac电…

lettuce引起的Redis command timeout异常

项目使用Lettuce&#xff0c;在自己的环境下跑是没有问题的。在给客户做售前压测时&#xff0c;因为客户端环境比较恶劣&#xff0c;service服务和中间件服务不在同一机房。服务启动后不一会就会出现Redis command timeout异常。 经过差不多两周的追查&#xff0c;最后没办法把…

哪个牌子的麦克风好用?无线麦克风避坑指南:五大常见问题

随着短视频行业的兴起&#xff0c;和视频拍摄有关的外设也被推到了风口浪尖上&#xff0c;而麦克风作为视频拍摄或者现场直播使用的主要拾音工具&#xff0c;自然成为了大家非常关注的一个摄影外设工具&#xff0c;毕竟一款好的拾音工具能够给视频创作者或者直播博主带来更好的…

基于SpringBoot+Vue的高校一卡通系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 【2025最新】基于JavaSpringBootVueMySQL的…