【业余玩儿AI】【文档问答】实操记录0822

news2024/11/15 21:43:24

电梯

  • 前文回顾
  • 继续踩坑实录
    • 从头来过,docker部署Ollama
    • 我一定是被偷听了,大数据之神把我拉出泥潭
    • 时间回到白天,模型初窥
    • 时间回到开心的链接上Ollama那一刻
  • 按捺住乱撞的小鹿,我去准备下文的剧情了

前文回顾

这里书接上文,上文说到:
目标是文档问答,先是本地部署了Marker,然后又试用了popai,最后发现了Dify,于是开始在本地部署Dify.
前天,小卡拉米我七尺咔嚓几下,Dify部署很顺利,但是链接不上本地Ollama.这种问题对于刚开始学习的小卡拉米来说实在难解.

继续踩坑实录

从头来过,docker部署Ollama

我实在是想不出问题的原因,剩下几个不多的我猜测的且都不愿意相信的原因里面,只能从里面逐个尝试.比如原来下载的Ollama是windows预览版,会不会是有bug.于是卸载了用docker重新部署.
打开Ollama官网的文档hub.docker.com/r/ollama/ollama操作,说要先安装英伟达的toolkit,不会,找到一篇[小小的太阳]前辈的文章,传送门,Sxiu~~~,按着做完了,还算比较顺利,我就不赘述了.
安装完后继续按照Ollama的doc继续下载之前的qwen2:7b.

docker exec -it ollama ollama run qwen2:7b

再重新部署Dify,参照之前的流程,这次就顺利多了,越过了低级错误.
再次来到配置Ollama的页面,激动的心,颤抖的手,输入所有参数,点击确认.
哦买尬~ 依然没连上… 后面一点进展没有,按下不表…

我一定是被偷听了,大数据之神把我拉出泥潭

昨天早上,当我晃晃悠悠的在上班的地铁上消磨我那丈二和尚摸不着头脑的莫名时刻,抖音画面刚刷过一条052D在英国大门口自由航行的新闻,我还在畅想自己啥时候能把这个问题突破让我在AI的道路上也自由航行一把,就刷到了一条Dify+Ollama(Docker)的视频,然后男主当着我的面在配置Ollama的界面上敲入了一行我闻所未闻的链接

http://host.docker.internal:11434

没见过…没见过!意味着新的可能,而且那么巧,我刚刚用docker重新部署了Ollama.你们说我是不是被偷听了…
一闭眼一睁眼,一白天过去了…
晚上回到家,又是激动的心,又是颤抖的手,输入blingbling的链接,点击确认.接下来的几秒,好消息是没有error,坏消息是没有任何反应.额…当我吸足了气准备吐槽一个问题没搞定又出新状况的时候,那个表示链接状态的小灯从灰色变成绿色,哇哈哈哈,简直是天助我也~~~~~
在此,我必须感谢一下把我救出泥潭的大哥,虽然素未谋面也不知大哥身材是否伟岸,但是在我小卡拉米的心里他是伟大的!请受小卡拉米一拜~~
介绍一下大哥,抖音账号ldfmlsys
在这里插入图片描述
去大哥的账号里面翻了翻,都是讲本地知识库部署的,哇哈哈哈,你说大数据没分析我我都不相信!感兴趣的也可以去翻翻,这大哥视频下面的点评都回复的.才关注82个人,小卡拉米我都关注1000个人,一看就是专注技术的大才!是我等小卡拉米的榜样!请容小弟再拜~~

时间回到白天,模型初窥

到这里应该也能看出我今天心情不错了,这个问题卡了我三天了,很多小卡拉米被卡3天可能都已经放弃了,而我是个意志坚定的卡拉米!
这里采用倒叙的叙事方法说一下白天的事情.
白天当然也没闲着,去了Dify官网的页面摸索了一下,感兴趣的也可以去瞅瞅:Dify官网app传送门,Sxiu~~~,在里面试了一下模型链接\上传文档到知识库\参考前辈聊天机器人新建了一个基于知识库进行问答的聊天机器人.像我这么优秀,啊不,这么爱琢磨的卡拉米还是拿捏的了的.
在这个过程里面跟着工具配置的过程,了解它工作的思路和原理,原来LLM\Rerank\Embeding的模型是这么个应用流程,对RAG和Rerank有了比较直观的感受, 过程里面虽然用到了Embeding的模型,但是还没搞明白是怎么用上的,还有传说中的向量数据库,就是所谓的知识库,虽然用了,但是对我完全透明,也有需要进一步研究的.
总而言之,要了解的东西就像吹气球一样随着体积和表面积增大接触到的未知的知识是按照很多次方的速度增加的.

时间回到开心的链接上Ollama那一刻

连上之后准备万解,开始蓄力.
基于白天的收获,开始搜索免费开源可以本地部署的各种模型.
LLM模型除了qwen2,llama3.1,发现google的gemimi收费前的免费额度也很高(了解到这个也得感谢抖音美好生活的大数据之神),这种模型多到几句说不完,不过目前qwen2我觉得就够了,基于前几天的试用,感觉qwen2比llama3.1更适合我,有个能用的先用着,整明白了再优化.
Rerank的模型,在Dify的服务接口页面上找到了jina传送门,Sxiu~~~去看了一眼,这个有意思,页面上直接显示APIKey,还有这个API剩余的token数量,意思是不嫌麻烦就可以白嫖? 直接连在我的Dify上,顺利成功.
Embeding的模型,在Ollama的lib里面直接搜,找到一个pull了380多K的模型,了解了一下的确有点货,直接pull.

ollama pull nomic-embed-text:v1.5

知识库,Dify自带且免费,先不费劲了找了.

按捺住乱撞的小鹿,我去准备下文的剧情了

.
.
.

D:\mybin>python “D:\mybin\PythonScripts\getdays.py”


Since I started self-learning AI, it has been 10 days already. Keep going!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2067045.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

计算机二级题--指针 章节

1.概念 1.函数名代表函数的入口地址 2.交换地址 1.*s,说明s是一个指针变量 2.s&k;说明让s指向k地址 3.所以*sk实际上与上面那句是等价的,因此m一直都没有什么变化依然是3 4.k是全局变量所以是5 3,7;改变s指向之后,又将值赋给了s指向的…

WS2812B硬件电路设计总结

一、WS2812b的电压是多少? WS2812B的电压通常在3.5到5.3V之间。 WS2812B是一种流行的可编程LED,也称为NeoPixel。它集成了RGB LED和控制电路,可以通过单个数据线进行串联连接。这种LED的输入电源电压范围为3.5到5.3V,这意味着它…

WPF中的XAML是如何转换成对象的?

起因 最近有遇到有小伙伴在实现TreeView不同层级使用不同数据模板时,遇到了一些问题。 经过查阅资料,我提供了两种解决方案。 第一种是使用TemplateSelector,这种方式可以根据ViewModel设置不同的数据模板。 第二种是根据数据动态创建数据…

中兴 随身WIFI 5产品参数

产品参数 无线参数无线速率2.4GHz, 300Mbps天线类型内置Wi-Fi天线软件功能手机App中兴ZTE Link APP Pro更多功能移动网络(4G/3G)接入、Wi-Fi接入、Wi-Fi加密认证、WebUI、PIN保护、FOTA升级等硬件规格接口Micro USB/标准SIM卡(2FF&#xff0…

软件测试 缺陷报告处理流程

系统软件 操作系统 软件缺陷 缺陷报告 当测试人员发现了一个缺陷,需要填写一份 缺陷报告 来记录这个缺陷,并通过这个缺陷报告告知开发人员所发生的问题————缺陷报告是测试人员和开发人员交流沟通的重要工具。 缺陷报告的组成 1、缺陷ID 缺陷编号&…

JuiceFS 在多云架构中加速大模型推理

在大模型的开发与应用中,数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中,社区用户 BentoML 和贝壳的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。本文将结合我们的实际经验,详细介绍企…

Linux——网络(2)

一、通信 --- 不同主机上进程间的通信 1、IP和端口号 IP:标识网络中的一台主机 本质上 32位的整型数据 端口号: 标识某个进程 本质上 16位的整型数据 2、udp和tcp udp的特点: 1.无连接 2.不可靠 tcp的特点: 1.面…

【赵渝强老师】执行Oracle的冷备份与冷恢复

冷备份与冷恢复是指发生在数据库已经正常关闭的情况下进行的备份和恢复。由于此时数据库已经关闭,通过冷备份可以将数据库的关键性文件拷贝到另外存储位置。冷备份因为只是拷贝文件,因此备份的速度非常快。在执行恢复时,只需将文件再拷贝回去…

命令模式:如何利用命令模式实现手游后端架构?

成长路上不孤单😊【14后boy,C爱好者,持续分享所学,如有需要欢迎收藏转发😊😊😊😊😊😊😊!!!接上篇博文&#xf…

拍抖音在哪里去水印,三招教你快速掌握去水印技巧

在抖音上,我们经常会看到一些精彩的内容,想要保存下来,但往往视频上会有水印。本文将分享五个免费且高效的去除抖音视频水印的技巧,帮助你轻松保存无水印的视频。 技巧一:奈斯水印助手(小程序) 奈斯水印助手是一款专…

为技术博客添加评论功能:Gitalk 教程与实战

为技术博客添加评论功能:Gitalk 教程与实战 简介安装使用创建 Github Application方式1方式2 主页传送门:📀 传送 简介 Gitalk是一个基于 GitHub Issue 和 Preact 开发的评论插件。   Gitalk是一个现代、无后端、基于GitHub Issue的评论系…

基于单片机的程控电源显示控制电路设计

摘要 : 介绍了基于单片机程控电源显示控制电路的硬件设计和软件实现 , 该设计可以实现程控电源的输出显示和手动控制功能。 实践验证 , 该设计具有很好的使用效果和工程价值 。 关键词 : 程控电源 ; 显示控制 ; 单片机 0 引言 程控电源广泛地应用在…

python怎么写乘法表

代码如下: 代码详解(为了让自己理解): for i in range(1,10):# print(i,end )for j in range(1,i1):print(%s*%s%s %(i,j,i*j),end )print() 1. for i in range(1,10) 这是一个for循环语句,range(&…

无线数传模块是啥东西?

一 、 产品概述 无线数传模块是用来替代传统数据采集、通讯、控制布线的占用工业级模块。 无线数传模块一款工作在免费频段、5000m传输距离模块发射功率158mW、具有高稳定性、低功耗、高性价比、工业级特点。 模块具有多种传输距离规格可供选择,根据应用场景需要&am…

【python】基础一

目录 数据类型数据类型转换-整数/浮点数/字符串标识符运算符字符串扩展字符串拼接字符串格式化字符串精度字符串格式化-快速写法对表达式进行格式化字面量变量数据输入 数据类型 查看数据类型:type(数据) #输出结果:classint> print(type(10))数据类型…

自动生成依赖清单:pipreqs,Python项目的救星

文章目录 **自动生成依赖清单:pipreqs,Python项目的救星**背景:为何选择pipreqs?pipreqs是什么?如何安装pipreqs?库函数使用方法场景应用场景一:新项目初始化场景二:更新现有项目依赖…

继Ollama之后,Go在AI领域再下一城

AI isnt a thing; its a magnifier of a thing. And that thing is human creativity. 在AI领域,最火的使用Go开发的项目莫过于Ollama项目了,但近期有一个项目也吸引了Gopher眼球,它就是fabric。叫fabric的项目太多,这个fabric又是…

keil在debug时,watch窗口中变量不变化的解决方法

在DEBUG时,我们可能遇到自己定义的变量在watch窗口中一直是一个固定值,不会变化,我们只需要在debug时点开view勾选上最后一个选项periodic window update即可

airflow调度时间详解

⭐️ airflow调度概述 Apache Airflow 是一个开源的工作流调度和监控平台,广泛用于数据工程、ETL(提取、转换、加载)管道以及各种自动化任务。下面我将详细说明 Airflow 的调度算法。 1. DAG(有向无环图) Airflow 的…

萌拉数据需要下载吗,萌啦数据使用需不需要下载

在数字化浪潮席卷全球的今天,数据成为了驱动企业决策、优化产品服务、精准市场营销的关键要素。而提到数据处理与分析的利器,“萌拉数据”这一名字逐渐在业界崭露头角。面对这样一个功能强大的数据平台,不少用户心中或许会产生疑问&#xff1…