大模型相关目录
大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步,扬帆起航。
- 大模型应用向开发路径:AI代理工作流
- 大模型应用开发实用开源项目汇总
- 大模型问答项目问答性能评估方法
- 大模型数据侧总结
- 大模型token等基本概念及参数和内存的关系
- 大模型应用开发-华为大模型生态规划
- 从零开始的LLaMA-Factory的指令增量微调
- 基于实体抽取-SMC-语义向量的大模型能力评估通用算法(附代码)
- 基于Langchain-chatchat的向量库构建及检索(附代码)
- 一文教你成为合格的Prompt工程师
- 最简明的大模型agent教程
- 批量使用API调用langchain-chatchat知识库能力
- langchin-chatchat部分开发笔记(持续更新)
- 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
- 大模型RAG性能提升路径
- langchain的基本使用
- 结合基础模型的大模型多源信息应用开发
- COT:大模型的强化利器
- 多角色大模型问答性能提升策略(附代码)
- 大模型接入外部在线信息提升应用性能
- 从零开始的Dify大模型应用开发指南
- 基于dify开发的多模态大模型应用(附代码)
- 基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
- 快速接入stable diffusion的文生图能力
- 多模态大模型通过外接数据方案实现电力智能巡检(设计方案)
- 大模型prompt实例:知识库信息质量校验模块
- 基于Dify的LLM-RAG多轮对话需求解决方案(附代码)
- Dify大模型开发技巧:约束大模型回答范围
- 以API形式调用Dify项目应用(附代码)
- 基于Dify的QA数据集构建(附代码)
- Qwen-2-7B和GLM-4-9B:大模型届的比亚迪秦L
- 文擎毕昇和Dify:大模型开发平台模式对比
- Qwen-VL图文多模态大模型微调指南
- 从零开始的Ollama指南:部署私域大模型
- 基于Dify的智能分类方案:大模型结合KNN算法(附代码)
- OpenCompass:大模型测评工具
- 一文读懂多模态大模型基础架构
- 大模型管理平台:one-api使用指南
文章目录
- 大模型相关目录
- one-API
- 主要功能
- 使用指南
one-API
OpenAI 接口管理 & 分发系统,支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.
主要功能
支持配置镜像以及众多第三方代理服务。
支持通过负载均衡的方式访问多个渠道。
支持 stream 模式,可以通过流式传输实现打字机效果。
支持多机部署,详见此处。
支持令牌管理,设置令牌的过期时间、额度、允许的 IP 范围以及允许的模型访问。
支持兑换码管理,支持批量生成和导出兑换码,可使用兑换码为账户进行充值。
支持渠道管理,批量创建渠道。
支持用户分组以及渠道分组,支持为不同分组设置不同的倍率。
支持渠道设置模型列表。
支持查看额度明细。
支持用户邀请奖励。
支持以美元为单位显示额度。
支持发布公告,设置充值链接,设置新用户初始额度。
支持模型映射,重定向用户的请求模型,如无必要请不要设置,设置之后会导致请求体被重新构造而非直接透传,会导致部分还未正式支持的字段无法传递成功。
支持失败自动重试。
支持绘图接口。
支持 Cloudflare AI Gateway,渠道设置的代理部分填写 https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai 即可。
支持丰富的自定义设置,
支持自定义系统名称,logo 以及页脚。
支持自定义首页和关于页面,可以选择使用 HTML & Markdown 代码进行自定义,或者使用一个单独的网页通过 iframe 嵌入。
支持通过系统访问令牌调用管理 API,进而在无需二开的情况下扩展和自定义 One API 的功能,详情请参考此处 API 文档。。
支持 Cloudflare Turnstile 用户校验。
支持用户管理,支持多种用户登录注册方式:
邮箱登录注册(支持注册邮箱白名单)以及通过邮箱进行密码重置。
支持使用飞书进行授权登录。
GitHub 开放授权。
微信公众号授权(需要额外部署 WeChat Server)。
支持主题切换,设置环境变量 THEME 即可,默认为 default,欢迎 PR 更多主题,具体参考此处。
配合 Message Pusher 可将报警信息推送到多种 App 上。
使用指南
正常拉取项目进行配置即可,更改前端logo、title等需要进行go语言编译。
须连接公司内网,访问 172.20.63.134:3005,进入平台首页。
账号注册,点击令牌、充值、日志、设置等功能按钮或登录按钮均可见登陆界面,按页面指导即可注册账户。
点击令牌,进入令牌界面添加令牌
复制令牌密令后,点击聊天切换到聊天界面,点击设置按钮,具体如下:
点击设置,即可对个人信息进行管理
管理员端:
类型:为可选项,添加时添加系统指定的的渠道项
名称:可自定义添加,往往对应模型厂商
模型:每一类型的渠道都对应写好了对应的常用模型,可通过点击×进行模型的取消
密钥:须自行获取对应厂家分配的密钥
兑换界面实际是管理员生成充值卡密的界面,在该界面中,管理员按流程设定卡密名称、面
额、数量,即可生成卡密。分发给用户后用户于充值界面即可完成充值。
点击复制即可获取卡密
用户界面可对大模型平台进行用户的增删改查管理及权限升降管理。
管理员日志界面可看到所以用户在平台上的行为数据。
此外还可通过设置系统对界面等等信息进行详细配置