230502-LLM-Vicuna介绍、安装与注意事项整理

news2024/12/28 5:24:33

最终效果

  • 在对话过程中，GPU与CPU均会有波动，但是主要还是CPU波动为主

在这里插入图片描述

相关资料

序号链接说明
001本地CPU+6G内存部署类ChatGPT模型（Vicuna 小羊驼） - 知乎极简安装版本，只支持CPU与命令行
002最新开源语言模型 Vicuna 媲美GPT-4 支持本地化私有部署 - 知乎Youtube-Vicuna介绍
003如何在你的电脑本地部署"GPT-4" Youtube-Vicuna安装
004GPT-4 “认为” 我们的开源版对话模型达到了ChatGPT 90%的性能 —— Vicuna 开发深度经验分享 - 知乎UCB开发者介绍
005【CV2NLP】Chinese-Vicuna 中文小羊驼 - 知乎微调中文Vicuna
006大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼 - 知乎安装及微调介绍
007小羊驼模型(FastChat-vicuna)运行踩坑记录 - 知乎通过Webserver访问
008用低配电脑离线运行ChatGPT开源平替 - 知乎⭐️CPU+GPU版本安装
00910元将Vicuna升级成多模态GPT-4，从图片中读取生命和宇宙的终极答案 - 知乎通过外部算力平台部署
010最新开源模型 StableVicuna 或将成为130亿参数最佳模型 - 知乎StableVicuna
011FastChat/vicuna v1.1本地部署 - 知乎本地命令行安装
012Vicuna-13B模型可在线试玩，参数已开源可下载 - 知乎项目介绍
013Stability AI连扔两个王炸！首个开源RLHF模型登基，DeepFloyd IF像素级出图 - 知乎RLFH+DeepFloyd IF
014HuggingChat叫板ChatGPT！300亿参数大模型免费用，网友：真香 - 知乎HuggingChat
015建立自己的ChatGPT：LLama私有化部署及测试 - 知乎LLama
016手搓具有GPT-4 90%能力的开源大语言模型FastChat - 知乎Vicuna-7B
017全球最大的 ChatGPT 开源替代品来了，支持 35 种语言，网友：不用费心买 ChatGPT Plus了！ - 知乎Open Assistant
018VICUNA开源人工智能模型！本地电脑安装和运行 OOBABOOGA WEBUI - YouTube⭐️Youtube安装视频

配置安装

本文主要参考的是008与018，但是由于oobabooga-windows.zip已经更新，直接参考这两个方法都失效了。

Step 1: 下载权重

  • 网址：https://huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g/tree/main
  • 文件：vicuna-13b-4bit-128g.safetensors 7.45G

Step 2: 下载UI界面

  • 网址：https://github.com/oobabooga/text-generation-webui
  • 文件：oobabooga-windows.zip

Step 3：双击安装

  • start_windows.bat
  • update_windows.bat

在这里插入图片描述

  • 如果网络原因，有部分没有安装成功
  • 可以多次点击start_windows.bat, update_windows.bat直至安装成功
    在这里插入图片描述
  • ⚠️ 注意1: 默认的torch安装的是cpu版本，如果是安装GPU版本，需要自己指定版本，可参考如下
conda install torchvision torchaudio pytorch-cuda=11.7 git -c pytorch -c nvidia

  • ⚙️ 否则：

      1. 始终默认使用cpu；
      1. UI界面的Chat窗口始终无法回答is typing...;
      1. 在最后的Tab面板选择default窗口可单独显示回答

  • 修改对话窗口
    在这里插入图片描述

  • 输入提示词：
    在这里插入图片描述

  • ⚠️注意2: 有些下载的模型可能不匹配或不兼容，会报错，可以多试几个其它的模型，例如下面截图的第2个模型
    在这里插入图片描述

参考资料

本文主要参考的是008与018:

VICUNA是一个开源GPT项目，对比最新一代的chat gpt4.0, 已经达到了它90%的能力。并且，我们可以把它安装在自己的电脑上！

这期视频讲的是，如何在自己的电脑上面安装开源的GPT模型VICUNA。

除此之外，我们还将给GPT模型配置一个友善的可视化界面 - OOBABOOGA！在上面可以聊天，训练，培养劳拉模型。。。

### 关于项目需要的硬件配置，信息和安装指示，可以在git hub网站上获取。
https://github.com/lm-sys/FastChat


### 文字链接：
https://www.notion.so/90-ChatGPT-VICUNA-OOBABOOGA-WEBUI-8ef428d225eb449a90982892b3827497

### 【错误提示】
1. 安装过程中途发生问题，中途退出或者无法继续安装：
删除oobabooga-windows文件夹里面的installer_files文件夹。点击install.bat重新安装；

2. WEBUI运行之后，出现Expecting value: line 1 column 1 (char 0)，通常是因为开了代理。把代理关闭，重新启动start-webui.bat

3. webui可以正常进入，但是聊天时，电脑终端（CMD）提示 RuntimeError: CUDA out of memory。
修改start-webui.bat文件，以下这行，多加一个参数(--pre_layer 20)，但是这样回答速度会变慢：
call python server.py --auto-devices --cai-chat --wbits 4 --groupsize 128 --pre_layer 20


GPT4ALL V.2重大升级 | CPU运行，商业许可证、一键安装、新UI、基于GPT-J新模型
https://youtu.be/A7PidEyuDRc

开源AUTO-GPT：自主管理功能的GPT-4！| WINDOWS电脑安装和功能展示！
https://youtu.be/Y0mYusN-kPI

90%的ChatGPT功能？｜CPU运行VICUNA开源人工智能模型 | WINDOWS电脑安装
https://youtu.be/tJa_AdSIWd4

在本地电脑运行的ChatGPT | 克隆大型GPT训练模型- 适用于 Mac/Windows/Linux | 基于LLAMA & GPT-3.5-TURBO开源项目
https://youtu.be/dlLZUV_SHQE

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/483251.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Linux进阶之路】初始Linux

【Linux进阶之路】初始Linux

文章目录 一.时代背景二.硅谷发展模式三.操作系统基本定义常见的操作系统Linux系统的常见安装方式 四.基本指令的使用登录指令与用户相关的指令ls 指令——信息查看pwd指令——打印当前所处的文件位置cd指令——访问文件rm——删除指令touch——创建文件与修改文件信息tree ——…
阅读更多...
Rust - 变量与数据的交互方式(clone)

Rust - 变量与数据的交互方式(clone)

在上一篇文章中我们介绍了变量与数据的交互方式-move，通过底层原理我们知道Rust 永远也不会自动创建数据的 “深拷贝”。因此，任何 自动的复制可以被认为对运行时性能影响较小。 但是如果我们 确实需要深度复制 String中堆上的数据，而不仅仅…
阅读更多...
RT1010 PWM 组成配置和 PWMX 的使用

RT1010 PWM 组成配置和 PWMX 的使用

1. 前言 本篇博文将着眼于 i.MX RT1010 内部的 eFlexPWM，介绍其各个功能模块，以及 PWM 产生的原理。 2. 功能模块组成 以下是 RT1010 内部 PWM 的一个 Submoudle 的组成框图，从框图中我们可以看到： 自左向右依次有 Prescaler 对…
阅读更多...
【C++入门】C++为什么要有缺省参数

【C++入门】C++为什么要有缺省参数

👦个人主页：Weraphael ✍🏻作者简介：目前学习C和算法 ✈️专栏：C航路 🐋 希望大家多多支持，咱一起进步！😁 如果文章对你有帮助的话 欢迎 评论💬 点赞&#x1…
阅读更多...
后端程序员的前端必备【Vue】- 01 Vue入门

后端程序员的前端必备【Vue】- 01 Vue入门

Vue概述与基础入门 1 Vue简介1.1 简介1.2 MVVM 模式的实现者——双向数据绑定模式1.3 其它 MVVM 实现者1.4 为什么要使用 Vue.js1.5 Vue.js 的两大核心要素1.5.1 数据驱动![请添加图片描述](https://img-blog.csdnimg.cn/963aca7d7a4447009a23f6900fdd7ee1.png)1.5.2 组件化 2 …
阅读更多...
IDEA2022版教程上（下载、卸载、安装、新建工程、jdk设置、详细设置、新建/导入/删除 普通java模块、修改普通java模块名、同时打开多个工程、常用代码模板：非空判断，遍历，输出语句快捷键）

IDEA2022版教程上（下载、卸载、安装、新建工程、jdk设置、详细设置、新建/导入/删除 普通java模块、修改普通java模块名、同时打开多个工程、常用代码模板：非空判断，遍历，输出语句快捷键）

0、前景摘要 0.1 概览 0.2 套课程适用人群 初学Java语言，熟悉了记事本、EditPlus、NotePad或Sublime Text3等简易开发工具的Java初学者熟练使用其他Java集成开发环境（IDE），需要转向IDEA工具的Java工程师们关注IDEA各方面特性的J…
阅读更多...
BPMN2.0 任务-脚本任务

BPMN2.0 任务-脚本任务

描述 脚本任务（script task）是自动执行的活动。当流程执行到达脚本任务时，会执行相应的脚本。 脚本任务用左上角有一个小“脚本”图标的标准BPMN 2.0任务（圆角矩形）表示。 脚本任务使用script与scriptFormat元素定义。 <scriptTask id="theScriptTask" nam…
阅读更多...
Qt中的绘图事件

Qt中的绘图事件

文章目录 QPainter 绘图绘图设备QPixmap QPainter 绘图 绘图事件 void paintEvent()声明一个画家对象 QPainter painter(this) this指定绘图设备画线、画圆、画矩形、画文字设置画笔 QPen 设置画笔宽度 、风格设置画刷 QBrush 设置画刷 风格 测试 #include "widget.h&quo…
阅读更多...
科学计算库Numpy快速入门

科学计算库Numpy快速入门

目录 Numpy概述array数组数组结构数组类型数值运算排序操作数组形状操作数组生成函数四则运算随机模块文件读写 Numpy概述 NumPy 是 Python 中的一个开源数学库&#xff0c;提供了快速且便捷的数组处理功能&#xff0c;可以用来进行科学计算、数据分析、算法开发等多种任务。N…
阅读更多...
InnoDB 磁盘结构及表空间 ( Tablespaces )

InnoDB 磁盘结构及表空间 ( Tablespaces )

InnoDB磁盘主要包含Tablespaces&#xff0c;InnoDB Data Dictionary、Doublewrite Buffer、redo log和Undo Logs Tablespaces: 表空间分为系统表空间&#xff08;ibdata1文件&#xff09;、临时表空间、常规表空间、Undo表空间以及file-per-table表空间。系统表空间又包括双写…
阅读更多...
CDH6.3.2-组件安装安全认证

CDH6.3.2-组件安装安全认证

HDFS 1.选择自定义。 2.选择HDFS ZK YARN然后点继续。 3.选择安装的主机。 4.审核更改默认就行&#xff0c;点继续。 5.配置HDFS的HA。 安装好以后点击hdfs进入实例就能够看到启动了高可用。 6.启动YARN的高可用。 KAFKA 更具需求修改资源 一直点继续就行了 FlUME HI…
阅读更多...
CTF权威指南 笔记 -第二章二进制文件- 2.3 -静态链接

CTF权威指南 笔记 -第二章二进制文件- 2.3 -静态链接

目录 地址空间分配 两个链接的方式 按序叠加 相似节合并 静态链接的详细过程 虚拟内存 重定位文件 静态链接库 地址空间分配 我们把之前的两函数分为两个文件 main.c extern int shared extern vooid fun(int *a,int *b); int main(){int a100;func(&a,&share…
阅读更多...
MySQL监控告警及可视化：Zabbix+Percona PMP实现（Part III）

MySQL监控告警及可视化：Zabbix+Percona PMP实现（Part III）

MySQL监控告警及可视化&#xff1a;ZabbixPercona PMP实现&#xff08;Part III&#xff09; 告警配置配置告警邮箱配置告警消息模板配置告警用户配置告警规则告警测试 告警配置 配置告警邮箱 在Zabbix Web前端的 Administration - Media Types - Email 中配置发送告警信息的…
阅读更多...
什么是恺撒密码？如何用Python实现它(36)

什么是恺撒密码？如何用Python实现它(36)

小朋友们好&#xff0c;大朋友们好&#xff01; 我是猫妹&#xff0c;一名爱上Python编程的小学生。 欢迎和猫妹一起&#xff0c;趣味学Python。 今日主题 猫妹目前在看的&#xff0c;ycl Python等级考试五级教材&#xff0c;有一章是介绍恺撒密码的。 今天&#xff0c;咱们…
阅读更多...
2023-5-2面试题学习

2023-5-2面试题学习

1、内存的可见性你了解吗&#xff0c;讲述一下&#xff1f; 内存可见性是指多个线程访问同一共享变量时&#xff0c;在一个线程修改了该变量值后&#xff0c;下一个线程能立即看到这种变化的能力。 如果一个变量在多个线程间共享&#xff0c;那么为了避免出现数据不一致的情况&…
阅读更多...
为什么DDD难落地？

为什么DDD难落地？

为什么DDD难落地&#xff1f; lorne 2023-04-23 视频地址&#xff1a; 为什么DDD难落地&#xff1f;_哔哩哔哩_bilibili 洋葱架构图&#xff1a; DDD能解决什么问题&#xff1f; 其实DDD的核心是&#xff1a;提升业务的聚合性、提升业务的拓展性。 DDD的错误认知&#xff…
阅读更多...
CentOS7安装和部署Jenkins

CentOS7安装和部署Jenkins

安装Java环境 检查旧版&#xff1a; rpm -qa | grep java若已经安装了旧版本&#xff0c;则需要先删除&#xff0c;删除方法&#xff1a; rpm -qa nodeps [java package]安装新版&#xff1a; yum install java-11-openjdk yum install java-11-openjdk-devel&#xff08;开…
阅读更多...
07 KVM虚拟机引导固件安装

07 KVM虚拟机引导固件安装

文章目录 07 KVM虚拟机引导固件安装7.1 概述7.2 安装方法7.2.1 安装edk软件包7.2.2 查询edk软件是否安装成功 07 KVM虚拟机引导固件安装 7.1 概述 针对不同的架构&#xff0c;引导的方式有所差异。x86支持UEFI&#xff08;Unified Extensible Firmware Interface&#xff09;…
阅读更多...
MySQL示例数据库(MySQL Sample Databases) 之 World数据库

MySQL示例数据库(MySQL Sample Databases) 之 World数据库

文章目录 MySQL示例数据库(MySQL Sample Databases) 之 World数据库官方示例数据介绍World数据库World 数据库安装world-db/world.sql的脚本内容参考 MySQL示例数据库(MySQL Sample Databases) 之 World数据库 官方示例数据介绍 MySQL 官方提供了多个示例数据库&#xff0c;在…
阅读更多...
【致敬未来的攻城狮计划】— 连续打卡第十九天：RA2E1串口通信基础知识

【致敬未来的攻城狮计划】— 连续打卡第十九天：RA2E1串口通信基础知识

系列文章目录 1.连续打卡第一天&#xff1a;提前对CPK_RA2E1是瑞萨RA系列开发板的初体验&#xff0c;了解一下 2.开发环境的选择和调试&#xff08;从零开始&#xff0c;加油&#xff09; 3.欲速则不达&#xff0c;今天是对RA2E1 基础知识的补充学习。 4.e2 studio 使用教程 5.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023