本地安装Llama3.1与LobeChat可视化UI界面并实现远程访问大模型实战

news2024/9/24 9:24:46

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。
img

  • 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老
  • 导航
    • 檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等
    • 常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等
    • 数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
    • 新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等
    • 懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
    • 数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂

非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

    • 前言
    • 1. 本地部署 Llama3.1
    • 2. 本地安装 LobeChat 可视化 UI 界面
    • 3. 在 LobeChat 中添加 Llama3.1
    • 4. 安装 Cpolar 内网穿透
    • 5. 实现公网访问 LobeChat
    • 6. 固定 LobeChat 公网地址

前言

本篇文章主要介绍如何在本地安装 Llama3.1,以及在本地部署 LobeChat 可视化 UI 界面,并且结合 Cpolar 内网穿透,实现公网远程使用 Llama3.1。

就在前一阵,Meta 宣布推出迄今为止最强大的开源模型——Llama3.1 405B,Llama 3.1 是 Meta 最新推出的开源大语言模型,支持八种语言。它能够提供通用知识、数学计算、多语言翻译和工具使用能力,开放下载并允许开发者定制和微调。

通过 LobeChat 可视化 UI 界面来使用 Llama,实现在 web 界面就可以直接来使用,那么接下来如何进行操作。

e585a03b-93a8-437f-8156-1858bf7d13cb.webp

1. 本地部署 Llama3.1

本地电脑硬件要求:

​Windows:3060 以上显卡+8G 以上显存+16G 内存,硬盘空间至少 20G
Mac:M1 或 M2 芯片 16G 内存,20G 以上硬盘空间

本篇文章测试环境:Windows10 专业版

首先需要安装 Ollama 客户端,来进行本地部署 Llama3.1 大模型
下载地址:https://ollama.com/download
在下载页面点击 Windows,然后点击下载按钮。

d69f7c20d4cd9957aa6742fa661f927.png
下载完成后,双击下载的安装程序。

点击 Install 进行安装。

安装完成后,双击 ollama 客户端自动打开 Windows Power Shell,如果没有自动弹出,也可以手动打开 cmd,这里打开 cmd 为例:

我们在终端中输入ollama,它会显示出当前这款 ollama 程序,它的使用及安装命令

接下来继续在终端中安装 Llama3.1-8b(至少需要 8G 显存)

ollama run llama3.1:8b

image.png

上方显示已安装成功,接下来就可以进行使用了,比如这里可以在终端中输入问题

image.png

我们已经成功的在本地部署了 Llama3.1,但是只能在终端中来使用,如果能使用 web 界面进行交互,使用体验会更好,也可以保留之前的聊天记录,方便查找和使用,下面带大家安装 LobeChat 可视化 UI 界面!

2. 本地安装 LobeChat 可视化 UI 界面

Lobe Chat 作为一款开源、现代化设计的聊天应用,具有许多令人青睐的特点和功能,接下来教大家如何在本地安装 LobeChat。

**官网地址:https://lobehub.com/zh

**GitHub 地址:https://link.zhihu.com/?target=https%3A//github.com/lobehub/lobe-chat

本地安装流程:

首先从 github 上克隆 lobechat(如果没有安装 git 的话,进入 git 官网进行下载 windows 版本 https://git-scm.com/downloads)

打开命令行,从 github 下载项目到本地,执行下面的命令

git clone https://github.com/lobehub/lobe-chat.git

创建新目录

cd lobe-chat

在项目的根目录下,执行下面的命令,下载依赖。

pnpm install

(注意:没有安装 Node.js 的话,点击官网下载链接https://nodejs.org/en/download,这里演示版本是v20.12.2)

(注意:如果未安装 pnpm,需要使用下方代码一键安装 pnpm)

npm install -g pnpm

在项目的根目录下,运行 LobeChat,可以看到运行成功,出现 http://localhost:3010

pnpm dev

3. 在 LobeChat 中添加 Llama3.1

可以看到我们已经在本地部署了 LobeChat,测试一下是否部署成功打开新的浏览器输入:http://localhost:3010

可以看到进入到了 LobeChat 的主界面

  • 点击左上角头像,找到设置,选择语言模型,找到 Ollama,开启它,并做连通性检查 。

bdbfb444b044715d3f8359f55b6802d.png

  • 检查通过,获取模型列表

3ace19a605502972b912cb8006ecd4f.png

  • 回到聊天窗口,选择 llama3.1:8b 模型

ad2b2b0b624edb07e9c2d968e16ffa4.png

接下来就可以进行聊天了。

2393cfc390c301d57e6e6bfddde1e72.png

目前我们在本机部署了 LobeHub,并且还添加了 Llama3.1 大模型,如果想团队协作多人使用,或者在异地其他设备使用的话就需要结合 Cpolar 内网穿透实现公网访问,免去了复杂得本地部署过程,只需要一个公网地址直接就可以进入到 LobeChat 中。

接下来教大家如何安装 Cpolar 并且将 LobeChat 实现公网访问。

4. 安装 Cpolar 内网穿透

下面是安装 cpolar 步骤:

Cpolar 官网地址: https://www.cpolar.com

点击进入 cpolar 官网,点击免费使用注册一个账号,并下载最新版本的 Cpolar

登录成功后,点击下载 Cpolar 到本地并安装(一路默认安装即可)本教程选择下载 Windows 版本。

Cpolar 安装成功后,在浏览器上访问 http://localhost:9200,使用 cpolar 账号登录,登录后即可看到 Cpolar web 配置界面,结下来在 web 管理界面配置即可。

接下来配置一下 LobeChat 的公网地址,

登录后,点击左侧仪表盘的隧道管理——创建隧道,

创建一个 LobeChat 的公网 http 地址隧道

  • 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
  • 协议:选择 http
  • 本地地址:3010 (本地访问的地址)
  • 域名类型:免费选择随机域名
  • 地区:选择 China Top

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是 http 和 https

image-20240515141800166

使用上面的 Cpolar https 公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 LobeChat 界面,这样一个公网地址且可以远程访问就创建好了,使用了 Cpolar 的公网域名,无需自己购买云服务器,即可到公网访问 LobeChat 了!

5. 实现公网访问 LobeChat

我们用刚才 cpolar 生成的公网地址,打开一个新的浏览器复制粘贴,可以看到进入到了 LobeChat 项目管理界面,然后选择 Llama3.1 大模型就可以进行在公网来使用了。

小结

如果我们需要长期进行团队协作的话,由于刚才创建的是随机的地址,24 小时会发生变化。另外它的网址是由随机字符生成,不容易记忆。如果想把域名变成固定的二级子域名,并且不想每次都重新创建隧道来访问 LobeChat,我们可以选择创建一个固定的 http 地址来解决这个问题。

6. 固定 LobeChat 公网地址

我们接下来为其配置固定的 HTTP 端口地址,该地址不会变化,方便分享给别人长期查看你的博客,而无需每天重复修改服务器地址。

配置固定 http 端口地址需要将 cpolar 升级到专业版套餐或以上。

登录 cpolar 官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留,保留成功后复制保留的二级子域名名称。


保留成功后复制保留成功的二级子域名的名称

返回登录 Cpolar web UI 管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的编辑

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名

点击更新(注意,点击一次更新即可,不需要重复提交)

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名

最后,我们使用固定的公网 https 地址在任何浏览器打开访问,可以看到访问 LobeChat 成功了这样一个固定且永久不变的公网地址就设置好了,然后选择一下 Llama3.1 大模型就可以。

接下来就可以随时随地进行异地公网来使用 Llama3.1 大模型了,把固定的公网地址分享给身边的人,方便团队协作,同时也大大提高了工作效率!自己用的话,无需云服务器,还可以实现异地其他设备登录!以上就是如何在本地安装 Llama3.1 以及在本地部署 LobeChat 可视化界面的全部过程。

觉得有用的话点个赞 👍🏻 呗。
❤️❤️❤️本人水平有限,如有纰漏,欢迎各位大佬评论批评指正!😄😄😄

💘💘💘如果觉得这篇文对你有帮助的话,也请给个点赞、收藏下吧,非常感谢!👍 👍 👍

🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧!🌙🌙🌙

img

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1981872.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

著名数学教育家的精辟见解表明R有最小正数元

黄小宁 著名数学教育家余元希教授著《数的概念浅说》114页指出:数轴是连续的点集,它的元素是一个一个紧挨着的。这精辟见解说明R轴即x轴必有紧挨着原点x0的正数点xt,t显然是R的最小正数元,任何比t小的正数都是“更无理”的R外正数…

SD-WAN抢专线的饭碗?和传统WAN对比到底香在哪?

号主:老杨丨11年资深网络工程师,更多网工提升干货,请关注公众号:网络工程师俱乐部 你们好,我的网工朋友。 广域网(WAN, Wide Area Network)是企业网络的核心组成部分之一,但是随着发…

测试GPT4o分析巴黎奥运会奖牌数据

使用GPT4o快速调用python代码,生成数据图表 测试GPT4o分析巴黎奥运会奖牌数据 测试GPT4o分析巴黎奥运会奖牌数据 1.首先我们让他给我们生成下当前奥运奖牌数 2.然后我们直接让GPT帮我们运行python代码,并生成奥运会奖牌图表 3.我们还可以让他帮我们…

初识云计算

随着科技的飞速发展,云计算作为一种新兴的信息技术架构,正在逐渐改变我们的工作方式和生活方式。 云计算是什么? 云计算是一种通过互联网提供计算资源和服务的计算模式。它通过互联网将计算和存储资源进行集中和共享,为用户提供…

mysql 各种锁归纳总结

文章目录 一、引言二、锁分类三、Mysql锁四、MyISAM表锁五、InnoDB锁六、间隙锁七、总结 一、引言 在现代应用程序中,数据库是不可或缺的组成部分之一。而MySQL作为一款开源的关系型数据库管理系统,广泛应用于各种规模的应用中。然而,在高并…

如何防止员工删除文件?10个操作让你随时找到重要文件

防止员工删除文件是确保企业数据安全的重要一环,有了这10个操作,让你不愁找不到重要的文件。 1.设置文件访问权限: 在文件服务器上或网络共享中,为不同用户或用户组设置适当的文件访问权限。确保员工只有必要的读、写权限&#…

polyglot,一个有趣的 Python 库!

更多资料获取 📚 个人网站:ipengtao.com 大家好,今天为大家分享一个有趣的 Python 库 - polyglot。 Github地址:https://github.com/aboSamoor/polyglot 在处理多语言文本时,解析和翻译不同语言的文本数据是一个常见…

sql注入11、17、24关

sql注入第11关 查看源码后发现注入点。 $sql"SELECT username, password FROM users WHERE username$uname and password$passwd LIMIT 0,1";$resultmysqli_query($con1, $sql);$row mysqli_fetch_array($result, MYSQLI_BOTH); 在User Name输入框中输入注入语句&…

未授权访问漏洞系列详解③!

Elasticsearch未授权访问漏洞 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引…

海运中的甩柜是怎么回事❓怎么才能避免❓

什么是甩柜? 甩柜又叫甩箱,是指集装箱船在起运离港时,船公司没有将此前计划装船的集装箱装运上船,导致部分货物滞留港口。多出现在海运旺季。 为什么会甩柜? 甩箱是集装箱物流中常见的事件,主要因为承运…

LLM大模型技术实战6:一文总结大模型微调方法

大模型会成为AI时代的一项基础设施。作为像水、电一样的基础设施,预训练大模型这样的艰巨任务,只会有少数技术实力强、财力雄厚的公司去做。绝大多数人,是水、电的应用者。对这部分人来说,掌握如何用好大模型的技术,更…

使用GenProtobuf插件生成java实体类

安装插件 配置 Tools 》Configure GenProtobuf 配置本地安装的protoc路径目标语言存放路径 生成Java实体类 在.proto文件上右键 quick gen protobuf rules,会按上面配置的规则执行命令,生成的java文件放到配置指定的文件夹下。 在.proto文件上右键…

正点原子imx6ull-mini-Linux驱动之Linux 多点电容触摸屏实验(24)

触摸屏的使用场合越来越多,从手机、平板到蜂巢取货的屏幕等,到处充斥着触摸屏。触 摸屏也从原来的电阻触摸屏发展到了很流行的电容触摸屏,我们在第二十八章裸机实验中已经 讲解了如何编写电容触摸屏驱动。本章我们就来学习一下如何在 linux 下…

MATLAB代码检查工具PolySpace

概述 PolySpace是MATLAB里面代码静态检查工具。通过检查源代码,可以确定可能在哪里发生潜在的运行时错误,例如算术溢出,缓冲区溢出等等。它最大的特点是可以检查车企常用的MISRA C标准,还免费,就让各大车企爱不释手。…

计算机二级MS office原题分析(40套)

本文档是一份详尽而深入的计算机二级考试原题分析,其内容由我本人亲自整理并精心编纂而成。在整理过程中,我细致研究了历年来的计算机二级考试真题,不仅涵盖了各个模块的经典题型,还深入剖析了题目考察要点以及解题技巧。 同时&a…

打印用“* ”组成的带空格直角三角形图案。

1.//KiKi学习了循环,BoBo老师给他出了一系列打印图案的练习,该任务是打印用“* ”组成的带空格直角三角形图案。 //输入描述: //多组输入,一个整数(2~20),表示直角三角形直角边的长度&#xff0…

【日记】这个人居然一个小时就学会了自行车……(2627 字)

正文 每次周末有事,都没时间写。 这周末跑斯那里去,只有一个目的:让他把自行车学会。而这个目的很快就达成了,让人非常意外。连我都没有想到,他居然一个小时就能学会。 周五晚上坐火车过去,他让我直接到超市…

java网络爬虫

前言 单一个项目的功能需要测试的时候,就需要使用大量的假数据做测试,但是这些数据又不能太假,必须合乎常理。于是我们需要爬虫爬取一些网站的一些允许爬取的数据,来做项目功能测试。 一.确认爬取目标 现在爬取下面三个网站的数据…

Java语言程序设计基础篇_编程练习题*16.2 (选择几何图形)

目录 题目:*16.2 (选择几何图形) 习题思路 代码示例 结果展示 题目:*16.2 (选择几何图形) 编写一个绘制各种几何图形的程序,如图16-36b所示。用户从单选按钮中选择一个几何图形 ,并且使用复选框指定是否被填充 习题思路 新建…

DDR4的单、双DIE兼容,不做仿真行不行?

高速先生成员--姜杰 地址信号一驱五的DDR4拓扑很常见,可是,一驱五拓扑还要求单DIE、双DIE颗粒兼容的你有见过吗? 案例开讲之前,先简单介绍下DIE,英语学的好的同学都知道这个词的意思不太吉利,不过&#xff…