零一科技Yi-VL 6B视觉大模型环境搭建推理

news2024/10/7 6:48:02

引子

最近看新闻博客说零一科技的Yi-VL-Plus视觉大模型效果很不错,那就想着尝尝鲜。这是第四篇关于视觉大模型的博客。之前有写过一篇零一科技的chat大模型零一科技Yi-34B Chat大模型环境搭建&推理_python部署大模型yi-34b-chat-CSDN博客,感兴趣的童鞋可以移步。我个人始终觉得大模型发展之路,还是要走小而精之路,即模型小但能力强,所以这篇就部署下6B的模型吧(好吧,也许最重要原因是我显卡不够。。。)。OK,让我们开始吧。

一、环境搭建

1、模型下载

git clone 魔搭社区

2、代码下载

git clone https://github.com/01-ai/Yi.git

3、安装环境

docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash

cd /workspace/Yi-vl/Yi/VL

pip install -r requirements.txt -i Simple Index

二、代码运行

1、接口运行

python single_inference.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg --question "Describe the cats and what they are doing in detail."

报错,显卡不支持格式,修改如下:

继续运行

2、命令行交互

python cli.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg

报错,显卡不支持格式,修改如下:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1818243.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Gitlab】访问默认PostgreSQL数据库

本地访问PostgreSQL gitlab有可以直接访问内部PostgreSQL的命令 sudo gitlab-rails dbconsole # 或者 sudo gitlab-psql -d gitlabhq_production效果截图 常用SQL # 查看用户状态 select id,name,email,state,last_sign_in_at,updated_at,last_credential_check_at,last_act…

Visual Studio Code的安装与配置

Visual Studio Code(简称 VS Code)是 Microsoft 在2015年4月30日 Build 开发者大会上正式宣布一个运行于 Mac OS X、Windows和 Linux 之上的,针对于编写现代 Web 和云应用的跨平台源代码编辑器,可在桌面上运行,并且可用…

在Lua解释器中注册自定义函数

本文目录 1、引言2、函数注册2.1注册原理 2.2 注册函数 3、实操3.1 编写注册函数3.2编写测试代码 4、结论 文章对应视频教程: 暂无,可以关注我的B站账号等待更新。 点击图片或链接访问我的B站主页~~~ 1、引言 在之前的博客中,已经介绍了如何…

JEPaaS 低代码平台 j_spring_security_check SQL注入漏洞复现

0x01 产品简介 JEPaaS是一款优秀的软件平台产品,可视化开发环境,低代码拖拽式配置开发,操作极其简单,可以帮助解决Java项目80%的重复工作,让开发更多关注业务逻辑,大大提高开发效率,能帮助公司大幅节省人力成本和时间成本,同时又不失灵活性。适用于搭建 OA、ERP、CRM、…

基于WPF技术的换热站智能监控系统07--实现左侧数据报表

1、区域划分 2、UI布局 LiveCharts是一个比较漂亮的WPF图表控件,在数据变化时还会有动画切换的效果,并且样式也可以控制。 Values:数据值 Fill:填充颜色 StrokeThickness:粗细 LabelPosition:标签位置 3、运行效果 走过路过不…

便携式EL检测仪:高效便捷的太阳能组件光伏EL检测设备

TH-EL2随着全球对可再生能源的日益重视,太阳能作为清洁、可再生的能源形式,受到了广泛的关注和应用。太阳能光伏组件作为太阳能发电系统的核心部件,其质量直接关系到整个系统的发电效率和寿命。因此,对太阳能光伏组件进行高效、准…

网格细分技术在AI绘画中的革新应用

导语: 随着人工智能技术的不断突破,艺术创作也迈入了一个新的时代。AI绘画不仅为艺术家提供了新的工具和灵感源泉,还极大地扩展了艺术的边界。在这背后,网格细分技术扮演着至关重要的角色,它通过将画面划分为数以万计的…

FlowUs本地部署:数据自主权与定制化服务的完美融合|FlowUs息流企业级解决方案本地私有化部署|FlowUs本地部署保证客户数据安全

在当今数字化时代,企业对数据的控制和安全性要求越来越高,同时,用户对软件的使用习惯也趋向多样化。针对这些需求,FlowUs作为一款多功能的协作平台,提供了灵活的解决方案。 FlowUs本地部署 对于有本地化需求的客户&a…

人工智能代理:关键概念及如何克服LLM限制

人工智能代理是一种自主软件实体,通常用于增强大型语言模型。以下是开发人员需要了解的内容。 随着大型语言模型 (LLM) 变得更加强大,一种被称为“代理”的新型软件应运而生,以增强和提升 LLM 的能力。本文介绍了代理的关键概念以及它们如何…

【Mac】精通或死亡Spellz Mastery or Death(角色扮演游戏))游戏介绍

前言 今天给大家介绍一款游戏,《精通或死亡Spellz Mastery or Death for mac》(角色扮演游戏) 。 游戏介绍 《精通或死亡:Spellz Mastery or Death》是一款以魔法为核心的策略角色扮演游戏(RPG),玩家在游戏中需要掌…

干货分享:宏集物联网HMI通过S7 MPI协议采集西门子400PLC数据

前言 为了实现和西门子PLC的数据交互,宏集物联网HMI集成了S7 PPI、S7 MPI、S7 Optimized、S7 ETH等多个驱动来适配西门子200、300、400、1200、1500、LOGO等系列PLC。 本文主要介绍宏集HMI通过S7 MPI协议采集西门子400PLC数据的操作步骤,其他协议的操作…

​揭秘Grok大模型:未来AI的无限可能

🚀 大家好,今天我们要带大家走进一个充满未来科技感的世界,探秘一款备受瞩目的大模型——Grok! 一、Grok背后的神秘力量 Grok,这个名字可能对于大多数人来说还是陌生的,但它背后的公司——xAI&#xff0c…

3D线扫相机中的深度数据与激光反射强度数据获取及其应用

1. 引言 3D线扫相机(3D line scan camera)是一种高精度的三维测量设备,广泛应用于工业自动化、质量控制和精密测量等领域。与传统二维成像相机不同,3D线扫相机能够同时获取物体的深度信息和反射强度信息,从而为高精度…

【小白学Python】自定义图片的生成(二)

Python学习 【小白学Python】自定义图片的生成(一) 目录 1. 文件内容2.生成图片规则3. 修改代码2.1 尝试一行汉字展示3.1 读取txt文件3.2 解决文字过长问题3.3 删减指定文字 4. 总结 1. 文件内容 正如上篇文章所说,我需要读取txt文件的文字内…

MYSQL基础_12_MySQL数据类型精讲

第12章_MySQL数据类型精讲 1. MySQL中的数据类型 类型类型举例整数类型TINYINT、SMALLINT、MEDIUMINT、INT(或INTEGER)、BIGINT浮点类型FLOAT、DOUBLE定点数类型DECIMAL位类型BIT日期时间类型YEAR、TIME、DATE、DATETIME、TIMESTAMP文本字符串类型CHAR、VARCHAR、TINYTEXT、TE…

Milvus Cloud 问答机器人 上线!构建企业级的 Chatbot

01. 背景 早些时候我们在社区微信群发出了一份关于Milvus Cloud 自动问答机器人的调研问卷。 调研受到了社区同学的积极响应,很快我们就收到了很多热心用户的回复。 基于这些回复,我们整理出了 Milvus Cloud Chatbot 的形态: 以功能使用和文档查询为核心 提供聊天和搜索双形…

小程序在IOS系统的兼容性

1、使用textarea标签,小程序在苹果手机中展示有bug 上面就是因为使用了textarea标签导致,换成text或者view就可以展示了 2、scroll-view横向滚动出现bug 解决办法:直接手写view加样式overflow:scroll用系统自带的滚动条

CPN Tools实现hello world小案例

新建一个net,创建两个输入P1,P2,一个输出P3,一个转换T1,并对输入输出place使用字符串颜色集。(这里是左键单击P,然后tab键输入String即可)。 为地点指定颜色集需要: 1) 通过左键单击…

以 ZGC 为例,谈一谈 JVM 是如何实现 Reference 语义的

本文基于 OpenJDK17 进行讨论 1. Reference 相关概念及其应用场景总览 Reference(引用)是 JVM 中非常核心且重要的一个概念,垃圾回收器判断一个对象存活与否都是围绕着这个 Reference 来的,JVM 将 Reference 又细分为几种具体的引…

天锐绿盾 | 无感知加密软件、透明加密系统、数据防泄漏软件

摘要:文件加密软件,包含禁止非授权的文件泄密和抄袭复制解决方案即使被复制泄密都是自动加密无法阅读,透明加密,反复制软件,内网监控,文件加密,网络安全方案,透明文件加密,加密文件,图纸加密,知识产权保护,加密数据; 通过绿盾信息安全管理软件,系统在不改…