大模型相关目录
大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。
- 基于Dify的智能分类方案：大模型结合KNN算法（附代码）
- OpenCompass：大模型测评工具
- 一文读懂多模态大模型基础架构
- 大模型管理平台：one-api使用指南
- 大模型RAG、ROG、RCG概念科普
- RAGOnMedicalKG：大模型结合知识图谱的RAG实现
- DSPy：变革式大模型应用开发
- 最简明的Few-shot Prompt指南
- Semantic Kernel：微软大模型开发框架——LangChain 替代
- 对话大模型Prompt是否需要礼貌点？
- swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
- 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
- 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
- miniconda+xinference的大模型推理部署指南
文章目录
- 大模型相关目录
- 前言
- 指南
- 资源
前言
大模型专栏涉及模型推理的内容很多，我之前涉及推荐过书生浦语家的lmdeploy、最典型的vllm原生框架、swfit微调框架（具备模型部署能力）。
今天想完整地给大家分享大模型推理部署指南，使用的是xinference，该框架封装了vllm，此外不仅支持推理模型，对于嵌入模型、重排模型也友好支持。
默认大家具备Anaconda或miniconda环境，没有的话自行下载即可。
环境部署简单粗暴，给大家打包到云盘里，嵌入、重排、推理模型这里也都提供了模型，解压后就能用，这里不赘述了。
上干货！
指南
- 切换到conda env目录：
cd /data/miniconda/envs,该步骤以自身情况为准，路径可能不同； - 创建虚拟环境文件夹：
mkdir xinference； - 解压
tar -xzvf xinference.tar.gz -C ~/miniconda3/envs/xinference，该文件文末云盘直接下载即可 - 查看结果
conda env list；正常来说会显示如下列表：
此处强调一下，若出现conda: command not found可使用如下指令解决：
export PATH=$PATH:【你的conda bin安装目录】
如/home/vincent/anaconda3/bin
此情况只有个别机器出现，是环境变量配置问题。 - 激活虚拟环境：
conda activate xinference - 使用指令运行服务：
xinference-local --host 0.0.0.0 --port 9997
浏览器进行Xinference界面访问，访问地址为：IP:9997
注册模型并启动，具体包括大模型、嵌入模型、重排模型，如下图所示：
对于嵌入和重排模型，只需配置模型绝对路径和自定义名称：
对于大模型，除配置模型绝对路径和自定义名称外，还需配置如下信息：
配置完成后进入部署页面，配置最后参数部署即可：
其中k-v配置两项内容如下：
gpu_memory_utilization 0.8
gpu占用率
max_model_len 16384
上下文大小
资源
链接：https://pan.baidu.com/s/1ZN_9vZNNqIhAqyzb2Y-w7g
提取码：ggdr
![[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2](https://i-blog.csdnimg.cn/direct/12f7d93f5fb244de88d174ec0f9df20e.png)
