AI机器人本地免费部署(部署Llama 3.1详细教程)

news2024/9/20 22:27:42

图片

昨日,Meta公司发布了人工智能模型——Llama 3.1。

那么Llama 3.1 405B的效果怎么样?我们来对比一张图,横向对比一下GPT-4。

图片

可以看出,Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。

那么,我们怎样才能用到这款强大的Llama 3.1 405B模型呢?最直接的方式是通过Meta.ai平台,但目前这一途径仅对美丽国的用户开放。

图片

那有无适合平民用的大模型嘞。

接下来我们将在本地部署Llama 3.1 8B(环境所迫)

1.环境准备

(1)Windows10系统及以上的计算机

(2)内存要求:8GB内存可运行7B模型,16GB可运行13B模型,32GB运行可33B模型

(3)网络环境:不需要科学上网(翻墙)

(4)小谢此次搭建的电脑环境如图,又无GPU,这配置只能搭个入门级别的大模型。若有GPU,响应速度则更快。

图片

2.部署安装过程:

(1)从官网进行下载:https://ollama.com/download 选择windows系统版本,也可以看到它也同时支持mac系统和Linux系统。

图片

但似乎它的下载速度对我来说太不友好了。于是进行科学上网下载了安装包,如有需要后台私信回复Ollama即可获取百度网盘下载地址。

图片

安装包下载完成点击安装

图片

图片

在此界面直接运行命令ollama run llama3.1,此时国内网络速度就非常快

图片

耐心等待进度条跑完即可。

图片

当然你想要其他的大模型可以回到官网,点击Models

图片

图片

部署完成后可直接发送消息提问

图片

所以它能做什么呢?

我们来看看它的自述:

I’m a large language model, my capabilities include:

\1. Answering questions: I can provide information on a wide range of topics, from science and history to

entertainment and culture.

\2. Translation: I can translate text from one language to another (currently supporting 100+ languages).

\3. Text summarization: I can summarize long pieces of text into concise and easily digestible content.

\4. Conversation: I can engage in natural-sounding conversations, using context and understanding to respond to

questions and statements.

\5. Content generation: I can generate text based on a prompt or topic, such as articles, stories, or even

entire scripts.

\6. Language analysis: I can analyze and understand the structure and meaning of language, including syntax,

semantics, and pragmatics.

\7. Text classification: I can classify text into categories, such as spam vs. non-spam emails or

positive/negative reviews.

\8. Sentiment analysis: I can determine the emotional tone behind a piece of text, such as happy, sad, or

neutral.

那咱们来看它的效果!我向它抛出了一个问题:

为防止长期摸鱼导致变笨,特此准备了几道题考考你!

1.至今思项羽,不()过江东。

2.阳春布()泽,万物生光辉。

3.书籍是人类进步的阶梯。——高尔( )

4.世人笑我太()癫,我笑他人看不穿。

5.老夫聊发少年(),左牵黄,右擎苍。

6.危楼高百尺,手可摘()辰。

7.君问归期未有( ),巴山夜雨涨秋池。

8.( )面边声连角起,千嶂里,长烟落日孤城闭。

9.料峭春风吹酒醒,( )冷,山头斜照却相迎。

10.( )闻琵琶已叹息,又闻此语重唧唧。

11.锦瑟无端()()弦,一弦一柱思华年。

我们先来看一下部署在本地的大模型Llama 3.1 8B,看来效果不错。

图片

对比一下“小谢取证”的回答:

图片

“小谢取证”直接出答案,部署在本地的大模型Llama 3.1 8B提供了更为详细的翻译。但是两者给出的答案都有些许错误。当然,这也取决于他们的模型是否强大。

我们可以看到,我们部署到本地的界面是cmd界面下运行的,如果我们想可视化呢?先上效果图。

图片

图片

具体是用到Ollama Web UI,这边咱们直接使用大佬已集成好的环境直接使用。需要软件可后台私信。

图片

在我们使用完后,关闭该模型。那么我们下次如何重新打开呢

直接点击“开始”菜单,选择字母“O”,启动Ollama

图片

其次,直接打开该软件,点击聊天界面即可。图片

此时它就会自动调用命令。可以看到访问端口是3000

图片

再使用http://localhost:3000/在浏览器访问即可。

图片

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1951996.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

4G新型智能电表是什么?

4G新型智能电表是一种利用第四代移动通信技术(4G)进行数据传输的先进计量设备。它不仅具备传统电表的基本功能,如电量计量,还能实现远程抄表、用电监控、故障检测等多种智能化服务。本文旨在详细介绍4G新型智能电表的技术特点、优势及应用场景。 一、4G…

【C++刷题】优选算法——队列+宽搜

N 叉树的层序遍历 vector<vector<int>> levelOrder(Node* root) {vector<vector<int>> ret;if (root nullptr) return ret;queue<Node*> q;q.push(root);ret.push_back({root->val});int size 1;while (!q.empty()) {vector<int> v…

03。正式拿捏ArkTS语言第一天

1, 打印日志命令 &#xff1a; console.log() 2, 三种基本数据类型&#xff1a; number 数字类型 &#xff08;数字&#xff09; string 字符串类型&#xff08;例如&#xff1a;“我是字符串”&#xff09; boolean 布尔类型 (true 或者 false) ***…

宝塔Docker部署Nuxt3 BBS项目

体验地址 BBS&#xff1a;http://bbs.sourcebyte.vip Nuxt3&#xff1a;https://nuxt.com.cn BBS项目介绍 BBS是开源字节最新研发的社区项目&#xff0c;包含产品中心&#xff0c;需求墙&#xff0c;工具&#xff0c;资讯4大板块。 1、产品中心&#xff1a;开源字节有众多…

常见的jmeter面试题及答案

1、解释什么是JMeter? JMeter是一款Java开源工具&#xff0c; 用于性能负载测试。它旨在分析和衡量Web应用程序和各种服务的性能和负载功能行为。 2、说明JMeter的工作原理? JMeter就像一群将请求发送到目标服务器的用户-样。它收集来自目标服务器的响应以及其他统计数据&…

python利用lxml模块爬取百度贴吧标题列表—新手练习的项目

一、爬取需求 就是用python&#xff0c;获取某百度贴吧的标题 二、代码 import lxml.html import requests ydm requests.get(https://tieba.baidu.com/f?ieutf-8&kw%E5%BC%A0%E5%A7%93%E4%B9%8B%E5%AE%B6).content.decode() selector lxml.html.fromstring(ydm) inf…

Java 每日一题: for 与 foreach 的区别 ?

for 循环&#xff1a;是最基本的循环结构&#xff0c;可以通过初始化语句、循环条件和迭代语句来控制循环的执行。 foreach 循环&#xff08;也称为增强型 for 循环&#xff09;&#xff1a;用于遍历集合或数组中的元素&#xff0c;简化了遍历过程&#xff0c;没有显式地控制索…

虚拟局域网——VLAN

VLAN的定义 VLAN virtual local Area Network 虚拟局域网&#xff0c;将物理上的局域网LAN在逻辑上进行划分 使用VLAN技术可以有效隔离广播域&#xff0c;减少网络中不必要的带宽消耗&#xff0c;如图&#xff0c;192.168.1.1发送一个广播帧&#xff0c;那么在这个广播域中的所…

HBuilder X中配置vue-cli项目和UI库

目录 一.前端项目结构 二.在HBuilder X中搭建vue-cli项目 1. 安装node.js前端环境 2. HBuilder X创建一个vue-cli项目 3. vue-cli项目结构 4. 如何运行前端项目 5. 创建组件 6. 组件路由(页面跳转) 6.1 创建router目录 6.2 使用路由 6.3 在main.js中配置路由 6.4 路…

多多OJ评测系统 在前端脚手架Vue-Cli中设置页面路由

目录 设置页面路由 我们把菜单上的路由改成读取路由文件 设置成export 导出路由 在刚刚的原始路由 index.ts中导入就行了 在这边引入我们的路由文件 我们之后点击菜单 我们的路由文件是这样的 但是没有跳转 写一下事件 接下来要同步路由到菜单项 自己定义监听函数 …

【吊打面试官系列-Dubbo面试题】Dubbo 服务降级,失败重试怎么做?

大家好&#xff0c;我是锋哥。今天分享关于 【Dubbo 服务降级&#xff0c;失败重试怎么做&#xff1f;】面试题&#xff0c;希望对大家有帮助&#xff1b; Dubbo 服务降级&#xff0c;失败重试怎么做&#xff1f; 可以通过 dubbo:reference 中设置 mock"return null"…

认知是门槛、红利和自己人生的奇异点

认知是门槛、红利和自己人生的奇异点 我发现&#xff0c;身边绝大部分有钱人&#xff0c;「认知」都已经处于比较高的层次&#xff0c;人的认知其实分6个层级: 第一层&#xff0c;环境层第二层&#xff0c;行为层第三层&#xff0c;能力层第四层&#xff0c;BVR 层第五层&…

Android WebViewClient 的 `shouldOverrideUrlLoading` 方法

简介 在Android开发中&#xff0c;WebView是一个强大的工具&#xff0c;可以在你的应用中显示网页内容。了解 WebViewClient 中的 shouldOverrideUrlLoading 方法是至关重要的&#xff0c;因为这个方法允许你控制 URL 在 WebView 中的处理方式。 在本文中&#xff0c;我们将详…

鼠标宏怎么设置?适合游戏玩家的通用鼠标宏工具分享

在很多大型游戏当中&#xff0c;鼠标的操作效率成为决定游戏成败的因素之一。好用的鼠标及按键设置可以帮助玩家简化很多游戏操作步骤&#xff0c;轻松提升游戏操作效率。鼠标宏的出现使得人们在游戏、日常办公中带来极大地便利。今天小编将详细介绍鼠标宏在游戏种的作用以及常…

【Three.js基础学习】17.imported-models

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 前言 课程回顾&#xff1a; 如何在three.js 中引入不同的模型&#xff1f; 1. 格式 &#xff08;不同的格式&#xff09; https://en.wikipedia.org/wiki/List_of_file_form…

基于单片机控制的升降式焊接工作台的设计

摘 要: 设计一种基于单片机控制的升降式焊接工作台&#xff0c;由机械系统和单片机控制系统组成 。 采用 STC89C51 单片机为电路控制核心&#xff0c;独立键盘和共阴极 7 段数码管显示器作为外设&#xff0c;对升降式焊接工作台单片机控制系统中的主控电路 、 显示电路、 键…

精选3款屏幕录制软件,总有一款适合你

随着技术的不断发展&#xff0c;屏幕录制已成为我们生活中不可或缺的一部分&#xff0c;无论是录制在线会议、制作教程、游戏直播还是分享演示文稿&#xff0c;屏幕录制软件都发挥着重要作用。本文将详细介绍3款主流的屏幕录制工具&#xff0c;并分步骤阐述它们的使用方法&…

CogVideo 实测,智谱「清影」AI视频生成,全民免费,连 API 都开放了!

不得不说&#xff0c;AI 视频生成界最近非常火热~ 前有快手「可灵」开放内测&#xff0c;一下子带火了老照片修复&#xff0c;全网刷屏&#xff1a; 怕是你还没拿到内测资格&#xff0c;被称为 “国货之光” 的「可灵」就结束了免费无限量模式。每天只有66点的免费额度&#x…

小程序的运营方法:从入门到精通

随着科技的快速发展&#xff0c;小程序已成为我们日常生活和工作中不可或缺的一部分。小程序无需下载安装&#xff0c;即用即走的特点深受用户喜爱。那么&#xff0c;如何运营好一个小程序呢&#xff1f;下面就为大家分享一些小程序的运营方法。 一、明确目标用户 在运营小程序…

sqlserver 连接数据4064

用sa登录&#xff0c;找到对应的登录名&#xff0c;右键属性&#xff0c;设置默认数据库