Ollama 0.4 发布!支持 Llama 3.2 Vision,实现多模态 RAG

news2024/11/12 17:24:30

阅读本文大概需要5分钟。

前言

最近,Ollama 推出了 0.4 版本,其中最大的亮点就是支持了 Llama 3.2 Vision 模型,该模型具备多模态特性,也就是说能够理解图像并将图像纳入提示词中进行处理,让模型更智能地处理RAG中的数据源,实现强大的视觉处理功能,例如:手写识别,准确读取手写内容;OCR识别,识别订单、账单等文档;图表与表格识别,解析各类数据;图像问答,实现图片内容的问答交互。

这种功能在之前的Ollama版本中是不支持的,因为Llama CPP不支持视觉模型。

在本篇文章中,我们就来体验一下这个“多模态”神器。

模型下载&运行

目前 Ollama 支持 11B 和 90B 的 Llama 3.2 Vision 模型,使用方式也很简单,使用 ollama pull/run 就能下载并运行模型:

ollama run llama3.2-vision   

运行较大的 90B Llama 3.2 Vision 模型:

ollama run llama3.2-vision:90b   

视觉能力测试

我们在终端运行Llama 3.2 Vision模型,并使用一些图像来测试大模型的视觉能力。

1. 识别物体

首先来个最简单的,让大模型回答图片中包含哪些物品。

测试图片:

运行方式也比较简单,先输入你要提问的文本内容,再将图片路径给到大模型:

回答的效果看起来还是不错的,包含了图片的基本元素,一瓶龙舌兰装满冰块的杯子以及一瓶果汁,而且还对这些元素做了详细分析,包括颜色(red label、white letters、purple label)、文字(Sierra Tequila、Chinese charaters)等。

当然了,整个图片比较简单,对比度也比较强,比较清晰,所以大模型还是比较好识别的。

2. 流程图分析

加大难度,让模型识别流程图并描述出每一步骤。

测试图片:

将流程图给到大模型,并让它拆解流程图中的每个步骤:

回答效果也还行,每个步骤也都很详细(很大原因是因为流程图使用的是英文,中文的话就一言难尽了)。

3. 图片数据分析

再加大难度,让模型识别图片中的数据信息,并进行分析和总结,图片内容包含数字、中文、统计图等信息。

测试图片:

让大模型对图片内容进行分析,并在提示词中输入关键数字301和226:

这段Llama 3.2 Vision模型生成的回答还是比较详尽且有条理的,值得我们对回答结果做进一步分析:

  • 信息提取的准确性

    首先,模型相对准确地提取了图像中的关键信息,包括图片来源(The image presents a screenshot of an online news article or website, likely from China, providing real-time 可能来自中国的在线新闻文章或网站的截图)、候选人(Donald Trump (left) and Kamala Harris (right) 特朗普和哈里斯)、当前的得票情况(The current vote count is displayed in large numbers: 301 to 226、A small red triangle indicates that the Republican candidate has received 51% of the votes 票数和比例)、各州选举结果地图(A map of the United States shows the electoral results by state, with each state colored either red (Republican) or blue (Democratic))等。

  • 层次分明的结构

    回答将图片分为顶部(Top Section)、底部(Bottom Section)和附加元素(Additional Elements)三个部分描述,每部分重点突出。这种结构使内容条理清晰,便于读者快速理解每个部分的关键内容。

  • 适当的细节呈现

    模型描述了图片中的细节,比如候选人党派标识(Republican elephant and Democratic donkey 共和党的大象和民主党的驴)、地图的配色说明(red (Republican) or blue (Democratic))、更新时间(“11月08日 17:30” (November 8th, 5:30 PM))等。这些细节增强了内容的完整性和丰富性,更全面地还原了图像中的内容。

  • 双语信息的兼容

    尽管大模型对中文的理解有时令人一言难尽,但是在此示例中模型的回答指出了图片里中英文的存在,并且可以看出对简单中文的理解还是可以的。

在测试过程中,还是能发现一些不足之处。例如,为了保证模型识别正确,我在提示词中加上了关键数字“301”和“226”,因为在没有这个提示词之前,模型错误地将数字识别成“3001”和“2266”。

此外,模型的回答内容略显冗长。虽然它覆盖了丰富的信息,但有时过于详尽,难以让用户一眼抓住重点。简化和精炼是提升可读性的重要一步,我们可以引导模型聚焦于关键信息。

在背景信息方面,虽然模型识别了候选人得票情况,但并未提及候选人个人信息或背景,这对某些用户可能是重要信息。为此,适当补充更丰富的数据源能够帮助模型更全面地回答问题。

而在语言风格上,我们希望模型能“去AI化”,通过提示词引导它使用更具情感和幽默的表达方式,使文本读起来更自然、亲切。这样的调整尤其适合面向普通读者的内容,增强用户的阅读体验。

最后是中文支持方面,目前看来,Llama 的中文理解和表达还有提升空间。

大模型处理的速度和准确性跟图片本身的大小和分辨率也有很大的关系,并且以上三个栗子都是用的 Lllama 3.2 Vision 11B 模型测试,90B的模型效果应该更加优秀,感兴趣的小伙伴可以自己去尝试一下。

总而言之,Llama 3.2 Vision 为本地图像处理带来革命性突破,在未来也能够让 AI 视觉应用更智能、更高效。

以上,完。

脚踏实地,仰望星空,和坨坨一起学习软件测试,升职加薪!

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2237371.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

关于若依500验证码问题的求助

关于若依框架中验证码出现500错误的问题,这通常表示服务器内部错误。以下是一些可能的原因及解决方案: 一、配置文件问题 .env.production文件: 确保.env.production文件中的VUE_APP_BASE_API已经修改成服务器上的域名地址,而不…

使用HtmlAgilityPack+PuppeteerSharp+iText7抓取IdentityServer4帮助文档

需要学习IdentityServer4的用法,但是在IdentityServer4帮助文档网站(参考文献1)中没有找到下载离线文档的地方,准备使用HtmlAgilityPackPuppeteerSharpiText7将网站内容抓取生成离线PDF文档,便于本机学习、查看。   …

fpga开发原理图设计仿真分析

目录 原理图设计方法的流程 仿真分析 method1. 基于向量波形的仿真方法 method2. 基于testbench的仿真方法 在Quartus Prime开发环境下,进行EDA设计的基本流程如图所示。 包括五个主要任务: (1) 建立工程 (2) 设计输入 (3) 编译、综合与适配 (4) 引脚…

Node.js——fs模块-路径补充说明

1、相对路径: ./座右铭.txt 当前目录下的座右铭.txt座右铭.txt 等效于上面的写法../座右铭.txt 当前目录的上一级目录中的座右铭.txt 2、绝对路径 D:/Program File Windows系统下的绝对路径/usr/bin Linux系统…

从0开始搭建一个生产级SpringBoot2.0.X项目(十)SpringBoot 集成RabbitMQ

前言 最近有个想法想整理一个内容比较完整springboot项目初始化Demo。 SpringBoot集成RabbitMQ RabbitMQ中的一些角色: publisher:生产者 consumer:消费者 exchange个:交换机,负责消息路由 queue:队列…

比流计算资源效率最高提升 1000 倍,“增量计算”新模式能否颠覆数据分析?

作者 | 关涛 云器科技CTO 数据平台领域发展 20 年,逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域,当下的架构已经完美了吗,主要问题和挑战是什么?在 2023 年 AI 跃变式爆发的大背景下,数据平台又该如何演…

MySQL性能测试方案设计

在现代互联网系统中,数据库性能直接影响到整体应用的速度和用户体验。而MySQL作为广泛使用的关系型数据库,随着数据量和并发请求的增长,其性能问题也日益突出。今天我们将深入探讨如何设计一套高效的MySQL性能测试方案,帮助你精准…

彻底解决单片机BootLoader升级程序失败问题

文章目录 1、引言2、MicroBoot:优雅的解决升级问题问题1:bootloader 在跳转到app前没有清理干净存在的痕迹问题2: 需要 APP 传递信息给 Bootloader问题3: APP单独运行没有问题,通过Bootloader跳转到APP运行莫名死机问题…

Oracle OCP认证考试考点详解082系列17

题记: 本系列主要讲解Oracle OCP认证考试考点(题目),适用于19C/21C,跟着学OCP考试必过。 81. 第81题: 题目 81.Examine these SOL statements which execute successfully Which two statements are true after exec…

【EFK】Linux集群部署Elasticsearch最新版本8.x

【EFK】Linux集群部署Elasticsearch最新版本8.x 摘要环境准备环境信息系统初始化启动先决条件 下载&安装修改elasticsearch.yml控制台启动Linux服务启动访问验证查看集群信息查看es健康状态查看集群节点查询集群状态 生成service token验证service tokenIK分词器下载 摘要 …

基于python的天气数据采集与可视化分析,对20个城市的天气适宜出行度分析

摘要 本项目旨在基于Python对20个城市的天气数据进行采集与可视化分析,以评估天气的适宜出行度。该分析通过四个主要指标进行量化,这些指标分别是天气状况良好率、空气质量优良率、气温适宜率和安全天气率。通过这些指标,我们能够有效地判断…

外贸管理利器7选,助力高效办公

推荐7款外贸管理软件,包括ZohoBooks、ZohoCRM、富通天下等,各具特色,满足外贸企业不同需求,提高管理效率,助力企业全球化竞争。、 一、Zoho Books Zoho Books是一款外贸财务管理软件,不仅为用户提供了一个…

【JWT】Asp.Net Core中JWT刷新Token解决方案

Asp.Net Core中JWT刷新Token解决方案 前言方案一:当我们操作某个需要token作为请求头的接口时,返回的数据错误error.response.status === 401,说明我们的token已经过期了。方案二:实现用户无感知的刷新token值,我们希望当响应返回的数据是401身份过期时,响应阻拦器自动帮我…

当AI遇上时尚:未来的衣橱会由机器人来打理吗?

内容概要 在当今这个快速发展的时代,人工智能与时尚的结合正在逐渐改写我们对衣橱管理的认知。传统的衣橱管理常常面临着空间不足、穿搭单调及库存过多等挑战,许多人在挑选服饰时难以做出决策。然而,随着技术的进步,智能推荐和自…

编写虚拟的GPIO控制器的驱动程序:和pinctrl的交互使用

往期内容 本专栏往期内容: Pinctrl子系统和其主要结构体引入Pinctrl子系统pinctrl_desc结构体进一步介绍Pinctrl子系统中client端设备树相关数据结构介绍和解析inctrl子系统中Pincontroller构造过程驱动分析:imx_pinctrl_soc_info结构体Pinctrl子系统中c…

【MySQL】数据库整合攻略 :表操作技巧与详解

前言:本节内容讲述表的操作, 对表结构的操作。 是对表结构中的字段的增删查改以及表本身的创建以及删除。 ps:本节内容本节内容适合安装了MySQL的友友们进行观看, 实操更有利于记住哦。 目录 创建表 查看表结构 修改表结构 …

CocoaPods安装步骤详解 - 2024

引言 CocoaPods的安装,如果有VPN就一直开启,会让整个流程非常顺畅。 在现代 iOS 开发中,依赖管理变得越来越重要,CocoaPods 成为开发者们首选的依赖管理工具。它不仅可以简化库的安装与更新,还能帮助开发者更高效地管…

二叉树-堆

树的几个重要定义 1.树根子树根亲缘关系 2.节点的度:有几个子树或根有几个孩子 3.叶子节点:没有孩子的终端节点 度为0 4.分支节点:度不为0的节点 5.树叶子分支节点 6.父亲节点/双亲节点 7.子节点 8.树的度:最大节点的度就是树的度 9.树的层:一般从第一层开始数,也有从0层开始数…

内置RTK北斗高精度定位的4G执法记录仪、国网供电服务器记录仪

内置RTK北斗高精度定位的4G执法记录仪、国网供电服务器记录仪BD311R 发布时间: 2024-10-23 11:28:42 一、 产品图片: 二、 产品特性: 4G性能:支持2K超高清图传,数据传输不掉帧,更稳定。 独立北…

浮动路由:实现出口线路的负载均衡冗余备份。

浮动路由 Tip:浮动路由指在多条默认路由基础上加入优先级参数,实现出口线路冗余备份。 ip routing-table //查看路由表命令 路由优先级参数:越小越优 本次实验测试两条默认路由,其中一条默认路由添加优先级参数,设置…