【大模型应用】使用 Windows 窗体作为 Copilot 应用程序的 Ollama AI 前端(测试llava视觉问答)...

news2024/11/26 13:41:17

项目 “WinForm_Ollama_Copilot” 是一个使用Windows Forms作为前端的Ollama AI Copilot应用程序。这个项目的目的是提供一个用户界面(UI),通过它,用户可以与Ollama AI进行交互。以下是该项目的一些关键特点和功能:

  • Ollama Copilot: 这是一个为Windows操作系统设计的Ollama AI的用户界面。它允许Copilot响应自动转发到其他应用程序,就像其他付费copilots一样。

  • 集成功能: 该项目包括语音转文本、文本转语音和光学字符识别(OCR)等功能,所有这些都使用免费的开源软件实现。

  • 版本更新: 项目已经经历了多次更新,包括对模型名称中的版本支持、添加打开应用程序文件夹按钮、使用历史记录复选框等功能的增加。

  • 安装程序: 项目包括Windows Installer Setup Project,它包含Python和辅助脚本,以便用户可以轻松安装和运行应用程序。

此外,项目还包括了一些示例脚本和命令,如启动Pyttsx3Server和TesseractOCRServer,这些都是与项目集成的服务。项目还提供了一个安装程序,使用户可以在Windows上安装和运行Ollama Copilot。

测试本地大模型llava:latest

LLaVA(Large Language and Vision Assistant)是一个由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学研究者共同发布的多模态大模型。这个模型结合了语言和视觉处理能力,旨在提供一个通用的助手,能够有效地遵循多模态指令,例如视觉或语言的指令,满足人类的意图,在真实环境中完成各种任务。

LLaVA模型的主要特点包括:

  • 多模态指令数据:使用ChatGPT/GPT-4将图像-文本对转换为适当的指令格式,以支持模型的训练。

  • 大型多模态模型:通过连接CLIP的开源视觉编码器和语言解码器LLaMA,开发了一个大型多模态模型(LMM),并在生成的视觉-语言指令数据上进行端到端微调。

  • 开源:研究者向公众发布了生成的多模式指令数据、用于数据生成和模型训练的代码库、模型检查点和可视化聊天演示。

LLaVA模型在多模态理解和生成方面展现出了强大的能力,尤其是在视觉问答、图像描述等任务上。它已经在多个基准测试中展现出了新的状态最优(SOTA)成绩,成为OpenAI的GPT-4V的有力竞争对手。

5825c934879e18a3d30248a019793248.png

主界面切换到Config 页选择已安装的Ollama模型“llava:latest”

a71d36271759aa1cadf27866308a75ee.png

42c8906a7935bcc6fb70ac340983150d.jpeg

切换到Prompt 进行文本提问(Ctrl+Enter提交)

eb58d29737daa9a0fefd308ba740d154.png

修改提示词,准备对图片进行问答

138853c61e03b5d9d3b54ac0dfdc6cc8.png

切换到Images页面

487b1ce9fa55c4af5075345af6e5af1c.png

复制一张图片,点击Paste,之后Submit

d2b9ff8fa35d5ca5d9b728fda82ef2ee.png

(提示词)识别图片内容,请用中文回答,下面为对图片的描述

这张图片中的内容是:


* 一位腹肌发达的男性,他正站在一个红色的单车上。
* 男性戴着黑色的运动服装和白色的球鞋。
* 周围有一些建筑物和城市环境。
* 男性肌肉发达,展现出来是一个健身人士,可能是一个健身教练或者单车运动员。


无法确定他的具体职业,但他确实有很好的身材和身材健康的生活习惯。

0aab97ab0aec1763bd80426083110b41.png

再复制一张图片,先点击Clear,再点击Paste,最后Submit

f08e7500b3e00c97eb1bf38d80f0a48b.png

这张图片是一张街道上的行走者,她正在过马路,而且有一些交通设施,
比如自行车道和烧瓜机。这个女人身上没有背包,因此不能确定她是否携带物品。
当然,图片中的其他细节也可以看出这是一个公共地区。

图片描述结果

8fca5570f9df0183de9501c19ecfb1b7.png

翻译为中文:
图像显示一名行人在红绿灯处过马路。这个人正在穿过人行横道,人行横道有斑马
线图案。他们穿着蓝色牛仔裤和深色上衣,一只脚抬起,仿佛在跨步中。这个人提
着一个手提包,似乎在向前看。
街道本身非常繁忙,有许多车辆,包括停放和行驶的汽车和卡车。图像左侧有一辆
白色货车,背景中还可以看到其他几辆车。角落里还有一个交通信号灯,表明这是
一个有管制的十字路口。
图像中没有可见的文字。整个场景表明这是一个有正常交通状况的城市环境。这个
人的动作暗示他们正在遵守在指定区域过马路的规则。

英文提示词:Describe this image 或 “What is shown in this image?”

注:中文效果可能没有英文详细。而且每次回答不尽相同

a161a853646dea9d0bad976ece31e375.jpeg

29e0ebe530e64f8f25f40f3af60bebbf.jpeg

2661758563556b0d917c12414060a78d.jpeg

参考网址

https://github.com/tgraupmann/WinForm_Ollama_Copilot/releases/tag/v1.0.5 程序下载地址

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1639419.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[方法] Unity 实现仿《原神》第三人称跟随相机 v1.0

参考网址:【Unity中文课堂】RPG战斗系统Plus 在Unity游戏引擎中,实现类似《原神》的第三人称跟随相机并非易事,但幸运的是,Unity为我们提供了强大的工具集,其中Cinemachine插件便是实现这一目标的重要工具。Cinemachi…

Rust Turbofish 的由来

0x01 什么是 Turbofish 我们运行如下 Rust Snippet&#xff1a; fn main() {let numbers: Vec<i32> vec![1, 2, 3, 4, 5, 6, 7, 8, 9, 10];let even_numbers numbers.into_iter().filter(|n| n % 2 0).collect();println!("{:?}", even_numbers); }不出意…

什么是UDP反射放大攻击,有什么安全措施可以防护UDP攻击

随着互联网的飞速发展和业务复杂性的提升&#xff0c;网络安全问题日益凸显&#xff0c;其中分布式拒绝服务&#xff08;DDoS&#xff09;攻击成为危害最为严重的一类网络威胁之一。 近些年&#xff0c;网络攻击越来越频繁&#xff0c;常见的网络攻击类型包括&#xff1a;蠕虫…

TS学习-泛型基础

目录 1&#xff0c;介绍1&#xff0c;在函数中使用2&#xff0c;在类型别名&#xff0c;接口中使用3&#xff0c;在类中使用 2&#xff0c;泛型约束3&#xff0c;多泛型4&#xff0c;举例实现 Map 1&#xff0c;介绍 泛型相当于是一个类型变量&#xff0c;有时无法预先知道具体…

【每日刷题】Day30

【每日刷题】Day30 &#x1f955;个人主页&#xff1a;开敲&#x1f349; &#x1f525;所属专栏&#xff1a;每日刷题&#x1f34d; &#x1f33c;文章目录&#x1f33c; 1. 牛牛的链表添加节点_牛客题霸_牛客网 (nowcoder.com) 2. 牛牛的链表删除_牛客题霸_牛客网 (nowcoder…

Django整合多种认证方式

承接上一篇&#xff1a;Django知识点总结-CSDN博客 目录 25.使用 Django REST framework实现用户认证和授权 26.通过djangorestframework-simplejwt使用JWT(JSON Web Token) 27.使用django-auth-ldap进行用户认证 28. 使用django-cas-ng实现集中认证及实现单点登录 29. …

c# winform快速建websocket服务器源码 wpf快速搭建websocket服务 c#简单建立websocket服务 websocket快速搭建

完整源码下载----->点击 随着互联网技术的飞速发展&#xff0c;实时交互和数据推送已成为众多应用的核心需求。传统的HTTP协议&#xff0c;基于请求-响应模型&#xff0c;无法满足现代Web应用对低延迟、双向通信的高标准要求。在此背景下&#xff0c;WebSocket协议应运而生…

C++函数重载之类型引用和类型本身

在C中&#xff0c;当我们讨论类型引用&#xff08;也称为引用类型&#xff09;与类型本身被视为“同一个特征标”&#xff08;signature&#xff09;时&#xff0c;我们实际上是在讨论引用类型在函数重载解析&#xff08;function overload resolution&#xff09;和模板参数推…

Github 2024-05-02 Go开源项目日报 Top10

根据Github Trendings的统计,今日(2024-05-02统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Go项目10PureBasic项目1Kubernetes: 容器化应用程序管理系统 创建周期:3618 天开发语言:Go协议类型:Apache License 2.0Star数量:106913 个…

C#知识|Dictionary泛型集合的使用总结

哈喽,你好,我是雷工! 以下是C#Dictionary泛型集合的学习笔记。 01 Dictionary泛型集合 1.1、Dictionary<K,V>通常称为字典, 1.2、其中<K,V>是自定义的,用来约束集合中元素类型。 1.3、在编译时检查类型约束, 1.4、无需装箱拆箱操作, 1.5、操作与哈希表(Ha…

美国零售媒体(广告业)指南:快速增长、不断扩展的业态和新兴机遇

Guide to retail media: Rapid growth, expanding formats, and emerging opportunities --- 零售媒体如何通过CTV和其他合作伙伴关系向上发展 原文作者&#xff1a;Sara Lebow | 2024年2月16日 整理编辑&#xff1a;数字化营销工兵 I 2024年5月2日 ​​​​​​​ &#…

基于HAL库的stm32中定时器的使用--定时器中断每隔一秒进行led灯的闪烁以及定时器生成PWM

一&#xff1a;什么是定时器 &#xff08;1&#xff09;stm32定时器&#xff0c;是存在于stm32单片机中的一个外设。stm32共有八个定时器&#xff0c;两个高级定时器&#xff08;TIM1、TIM8&#xff09;&#xff0c;四个通用定时器&#xff08;TIM2、TIM3、TIM4、TIM5&#xff…

B树:原理、操作及应用

B树&#xff1a;原理、操作及应用 一、引言二、B树概述1. 定义与性质2. B树与磁盘I/O 三、B树的基本操作1. 搜索&#xff08;B-TREE-SEARCH&#xff09;2. 插入&#xff08;B-TREE-INSERT&#xff09;3. 删除&#xff08;B-TREE-DELETE&#xff09; 四、B树的C代码实现示例五、…

selenium 4.x 之验证码处理(python)

验证码处理 一般情况公司如果涉及web自动化测试需要对验证码进行处理的方式一般有一下几种&#xff1a; 关闭验证码功能&#xff08;开发处理&#xff09;设置万能验证码&#xff08;开发处理&#xff09;使用智能识别库进行验证 通过第三方打码平台识别验证码 1. 跳过验证功…

[基础] Unity Shader:顶点着色器(vert)函数

顶点着色器&#xff08;Vertex Shader&#xff09;是图形渲染的第一个阶段&#xff0c;它的输入来自于CPU。顶点着色器的处理单位是顶点&#xff0c;CPU输入进来的每个顶点都会调用一次顶点着色器函数&#xff0c;也就是我们在Shader代码里所定义的vert函数。本篇我们将会通过顶…

uniapp+vue社区车位预订租赁系统 微信小程序

本私家车位共享系统有管理员&#xff0c;用户两个角色。管理员可以对用户信息&#xff0c;车辆类型信息进行管理&#xff0c;并且可以审核用户提交的租赁订单&#xff0c;用户可以注册登录&#xff0c;新增车辆信息&#xff0c;查看车位信息并且租赁&#xff0c;并且可以支付。…

SQL 基础 | UNION 用法介绍

在SQL中&#xff0c;UNION操作符用于合并两个或多个SELECT语句的结果集&#xff0c;形成一个新的结果集。 使用UNION时&#xff0c;合并的结果集列数必须相同&#xff0c;并且列的数据类型也需要兼容。 默认情况下&#xff0c;UNION会去除重复的行&#xff0c;只保留唯一的行。…

企业计算机服务器中了lockbit勒索病毒如何处理,lockbit勒索病毒解密流程建议

在虚拟的网络世界里&#xff0c;人们利用网络获取信息的方式有很多&#xff0c;网络为众多企业提供了极大便利性&#xff0c;也大大提高了企业生产运营效率&#xff0c;方便企业开展各项工作业务。但随着网络技术的不断发展与应用&#xff0c;越来越多的企业开始关注企业网络数…

06 - metastore服务、hive服务启动脚本以及相关使用技巧

目录 1、metastore服务 1.1、metastore运行模式 1.2、metastore部署 1.3、测试 2、编写Hive服务启动脚本 3、Hive使用技巧 3.1、Hive常用交互命令 3.2、Hive参数配置方式 3.3、Hive常见属性配置 1、metastore服务 Hive的metastore服务的作用是为Hive CLI或者Hiveserv…

linux内核源码分析--核心网络文件和目录

图3-2显示了在/proc/sys中由网络代码所使用的主要目录&#xff0c;就每个目录而言&#xff0c;都列出了在哪一章描述其文件。 proc/sys/net bridge ipv4 core route neigh conf 图3-2/proc/sys/net 中的核心目录 根据前借所述&#xff0c;我们来看net中的树根是如何定义的&…