本地部署 privateGPT

news2024/11/23 10:46:31

本地部署 privateGPT

  • 1. 什么是 privateGPT
  • 2. Github 地址
  • 3. 创建虚拟环境
  • 4. 部署 privateGPT
  • 5. 配置 .env
  • 6. 下载模型
  • 7. 将文件放入 source_documents 目录中
  • 8. 摄取所有数据
  • 9. 向本地文档提问

1. 什么是 privateGPT

利用 GPT 的强大功能,私密地与您的文档交互,100% 保密,绝不泄露任何数据。

使用 LLMs 的能力,在没有互联网连接的情况下向您的文档提问,100%保密,您的执行环境没有任何数据离开。您可以在没有互联网连接的情况下摄取文档并提问!

使用 LangChain、GPT4All、LlamaCpp、Chroma 和 SentenceTransformers 等技术构建。

2. Github 地址

https://github.com/imartinez/privateGPT

3. 创建虚拟环境

conda create -n privategpt python==3.10.6
conda activate privategpt 

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

4. 部署 privateGPT

克隆项目,

git clone https://github.com/imartinez/privateGPT; cd privateGPT/

安装依赖,

pip install -r requirements.txt

5. 配置 .env

将 example.env 重命名为 .env 并适当编辑变量,

cp example.env .env

6. 下载模型

mkdir models
wget https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin -O ./models/ggml-gpt4all-j-v1.3-groovy.bin

7. 将文件放入 source_documents 目录中

将任何和所有文件放入 source_documents 目录中。支持的文件扩展名有:

  • .csv: CSV 文件,
  • .docx: Word 文件,
  • .doc: Word 文件,
  • .enex: EverNote 文件,
  • .eml: 邮件
  • .epub: EPub 文件
  • .html: HTML 文件,
  • .md: Markdown 文件,
  • .msg: Outlook 消息,
  • .odt: Open Document Text 文件,
  • .pdf: 可移植文档格式(PDF)文件,
  • .pptx: PowerPoint 文件,
  • .ppt: PowerPoint 文件,
  • .txt: 文本文件(UTF-8)

8. 摄取所有数据

运行以下命令以摄取所有数据,

python ingest.py

9. 向本地文档提问

python privateGPT.py

作为测试,我导入了一个 “kubernetes修炼手册.pdf” 文件,问了 “什么是 kubernetes deployment”,回答结果如截屏所示。个人觉得这种回答,完全不可以使用。

在这里插入图片描述

完结!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/550039.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Flutter 笔记 | Flutter 中的路由、包、资源、异常和调试

路由管理 Flutter中的路由通俗的讲就是页面跳转。在Flutter中通过Navigator组件管理路由导航。并提供了管理堆栈的方法。如:Navigator.push和Navigator.pop Flutter中给我们提供了两种配置路由跳转的方式:1、基本路由, 2、命名路由 普通路…

详解c++STL—函数对象

目录 1、函数对象 1.1、函数对象概念 1.2、函数对象的使用 2、谓词 2.1、谓词概念 2.2、一元谓词 2.3、二元谓词 3、内建函数对象 3.1、理解内建函数对象 3.2、算术仿函数 3.3、关系仿函数 3.4、逻辑仿函数 1、函数对象 1.1、函数对象概念 概念: 重载…

数据结构第三天 【二叉搜索树】

这道题真是写的我想吐了,主要是函数太多,排错太难了,搞了两个小时,基本就是在排错,排了一个小时,后面自己心态也有点崩溃了,其实不是一道很难的题,但是是一个非常麻烦的题目&#xf…

使用Serv-U搭建FTP服务器并公网访问

文章目录 1. 前言2. 本地FTP搭建2.1 Serv-U下载和安装2.2 Serv-U共享网页测试2.3 Cpolar下载和安装 3. 本地FTP发布3.1 Cpolar云端设置3.2 Cpolar本地设置 4. 公网访问测试5. 结语 转载自内网穿透工具的文章:使用Serv-U搭建FTP服务器并公网访问【内网穿透】_ 1. 前言…

linux专题:GDB详细调试方法与实现

系列文章目录 例如:第一章 Linux-GDB 调试实验的使用 文章目录 目录 系列文章目录 文章目录 一、实验目的 二、实验现象 三、实验准备 四、Linux GDB调试实验流程 五、Linux GDB 调试器 总结 一、实验目的 掌握使用 gcc 分步编译 c 代码为可执行程序步骤以及 gc…

【数学建模】步长的选择(优化建模)

人们每天都在行走,排除以运动健身为目的的走路方式,而仅仅考虑距离固定,以节省体力为最终目的的行走,那么选择多大的步长才最省力? 人在走路时所做的功等于抬高人体重心所需的势能与两腿运动所需的动能之和。在给定速度…

又到520了,来画一朵抽搐的玫瑰花吧

文章目录 静态的玫瑰 敲了这么多年代码,每年都得画一些心啊花啊什么的,所以现在常规的已经有些倦怠了,至少也得来个三维图形才看着比较合理,而且光是三维的也没啥意思,最好再加上能动起来。 静态的玫瑰 网上有很多生…

AIGC技术研究与应用 ---- 下一代人工智能:新范式!新生产力!(1-简介)

文章大纲 AI GC参考文献与学习路径模型进化券商研报陆奇演讲AI GC AI模型可大致分为决策式/分析式AI(Discriminant/Analytical AI)和生成式AI (Generative AI)两类。 决策式AI:学习数据中的条件概率分布,根据已有数据进行分析、判断、预测,主要应用模型有用于推荐系 统和…

Elasticsearch 集群部署插件管理及副本分片概念介绍

Elasticsearch 集群配置版本均为8以上 安装前准备 CPU 2C 内存4G或更多 操作系统: Ubuntu20.04,Ubuntu18.04,Rocky8.X,Centos 7.X 操作系统盘50G 主机名设置规则为nodeX.qingtong.org 生产环境建议准备单独的数据磁盘主机名 #各自服务器配置自己的主机名 hostnamectl set-ho…

chatgpt赋能Python-pythonf检验

Python的重要性与应用 Python是一种高级编程语言,因其简单易学和灵活性而备受欢迎。它已经成为数据分析、web开发、机器学习等许多领域的重要工具。在本篇文章中,我们将探讨Python在SEO中的作用。 Python对SEO的影响 SEO是搜索引擎优化的缩写&#xf…

【数据结构】线性表 ⑥ ( 双循环链表 | 双循环链表插入操作 | 双循环链表删除操作 | LinkedList 双循环链表源码分析 )

文章目录 一、双循环链表插入操作处理二、双循环链表删除操作处理三、LinkedList 双循环链表源码分析1、链表节点2、LinkedList 链表中收尾元素指针3、链表插入操作4、链表向指定位置插入操作5、获取指定索引的元素6、删除指定索引的元素 一、双循环链表插入操作处理 双循环链表…

【JVM】6. 堆

文章目录 6.1. 堆(Heap)的核心概述6.1.1. 堆内存细分6.1.2. 堆空间内部结构(JDK7)6.1.3. 堆空间内部结构(JDK8) 6.2. 设置堆内存大小与OOM6.2.1. 堆空间大小的设置6.2.2. OutOfMemory举例 6.3. 年轻代与老年…

[CTF/网络安全] 攻防世界 backup 解题详析

[CTF/网络安全] 攻防世界 backup 解题详析 PHP备份文件名备份文件漏洞成因备份文件名常用后缀姿势总结 题目描述:X老师忘记删除备份文件,他派小宁同学去把备份文件找出来,一起来帮小宁同学吧! PHP备份文件名 PHP 脚本文件的备份文件名&#…

【瑞萨RA_FSP】外部中断

文章目录 一、外部引脚中断二、中断过程三、按键外部中断 一、外部引脚中断 1. ICU框图 根据ICU的功能框图可以知道,首先需要配置IRQCR寄存器(IRQ Control Register,IRQ英文全称:Interrupt ReQuest,中文名:中断请求&a…

C++入门篇---(命名空间、缺省参数、以及输入、输出)

前言 c 我来了,恭喜牛牛解锁新世界.开启c的学习之旅. 🎈个人主页:🎈 :✨✨✨初阶牛✨✨✨ 🐻推荐专栏: 🍔🍟🌯C语言进阶 🔑个人信条: 🌵知行合一 🍉本篇简介:>:讲解C…

30年后,茶产业规模是现在的10倍

做个预言:30年后,茶产业是现在的10倍 【5.21是世界茶日】 杭州中国茶博会,我来啦 人工智能越让生产效率越来越高 常用物质将会唾手可得 人闲着,无法体会活着的意义,才是挑战 田园诗茶生活方式会有一席之地 趣讲大白话&…

【EMC专题】案例:读一读TI的按接口选择ESD器件指南

在TI的官网上看到一份ESD by Interface Selection Guide,也就是按接口选择ESD器件指南。因此想读一读看看一起学习一下。 首先看一下文档,是比较简明的。可以看到不同的接口推荐了一些不同的保护器件。因为应用环境不一样,所有有不同的器件封装(如单体、集成TVS等),这样在…

Spyder可在线使用!?

不同安装,如果想使用spyder进行编程,可以用其在线版,和本地版功能一样,就是有点慢。 另外需要用chrome浏览器,用火狐没法正常访问。 Spyder可以在线使用,所以在没有安装python环境的电脑上,想…

Linux常用命令——hostname命令

在线Linux命令查询工具 hostname 显示和设置系统的主机名 补充说明 hostname命令用于显示和设置系统的主机名称。环境变量HOSTNAME也保存了当前的主机名。在使用hostname命令设置主机名后,系统并不会永久保存新的主机名,重新启动机器之后还是原来的主…

字符串匹配--BF算法和KMP算法

0.前言 字符串函数strstr相信大家都不陌生–就是在一个字符串(主串)中找查找另一个字符串(子串),并返回子串在主串中的位置。那么这个函数是怎么实现的呢?这就涉及字符串匹配的问题,本章就让我们…