在线教程｜零门槛部署 Llama 3，70B 版本只占 1.07G 存储空间，新用户免费体验 8B 版本

news2024/12/25 12:53:05

4 月 18 日，Meta 宣布开源 Llama 3，这个号称「迄今为止最好的开源大模型」一经发布，立刻引爆科技圈！

图片

发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日，作为 AI 开源倡导者，他激动地发文表示：这是我收到过最好的生日礼物，谢谢 Meta。
图片

Meta 首席科学家、图灵奖获得者 Yann LeCun也在自己的账号上硬核推荐了自己的最新开源模型——支持 8k 长文本，在 24k GPU 集群上使用超过 15T tokens 进行训练，在多项评测基准中表现优异， 部分任务中，Llama 3-8B 的表现优于 Llama 2-70B。更多版本将在数月后发布。
据其官网显示，Llama 3 采用了包括监督微调 (SFT)、近端策略优化 (PPO) 和直接策略优化 (DPO) 在内的先进指令调优技术，与 Llama 2 相比有质的飞跃。在安全性上，采用 Llama Guard 2、Code Shield、CyberSec Eval 2 的新版信任和安全工具，比 Llama 2 有更好的「错误拒绝表现」。
值得一提的是，Llama 3 发布时，Meta 还在官方博客上表示，其正在训练一款超过 400B 参数的新版本模型。英伟达高级科学家 Jim Fan 认为，未来可能推出的 Llama 3-400B 标志着开源社区或能用上 GPT-4 级别模型，这会改变许多研究工作和基层初创公司的计算方式。
图片

为了评估 Llama 3 在真实世界场景中的性能， Meta 特意开发了一个全新的高质量人类评估数据集，覆盖的实际用例包括但不限于：征求建议、集体讨论、分类、封闭式问答、编程、创意写作、信息抽取、角色扮演、开放式问答、逻辑推理、文本重写以及总结等。
结果表明，在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的比较中，Meta Llama 70B 占据优势地位。
图片

性能超越  GPT-3.5、直逼 GPT-4，相信大家现在都迫不及待地想要上手体验 Llama 3 了。为了帮助大家减少漫长的下载等待时间，节省计算资源，降低模型部署难度，HyperAI超神经在教程页面上线了「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」和「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程。

Ollama 和 Open WebUI 分别提供了强大的后端模型管理和前端界面交互功能，结合使用这两个工具，可以轻松完成大模型的部署和管理。
Llama3-70B 只占用 1.07GB 的存储空间， 一键克隆即可启动！
HyperAI超神经教程地址：

8B：https://hyper.ai/tutorials/31129

70B：https://hyper.ai/tutorials/31155

小编已经根据教程部署了 Llama 3 模型，帮大家浅试了一下实际效果。
小编故意引导了一下 Llama 3，结果它没被骗到。但是同样的问题却骗过了 GPT-3.5！看它一本正经地回答问题，小编忍不住快要相信了。
图片

图片

  • 五一快要来了，假期去哪里玩，这么多地方选哪个呢？

图片

  • 数学问题它也能解决哦，再也不用头疼给家里的小朋友辅导功课了！
    图片

  • 还可以翻译，解决我大麻烦了！
    图片

  • 睡前小故事，又一个技巧 get 到了。
    图片

Demo 运行

  1. 登录 hyper.ai，在「教程」页面，选择「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」或「用 Ollama 和 Open WebUI 部署 Llama3 70B」。
    接下来小编将以「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程为例介绍。
    图片

  2. 点击「在线运行此教程」，页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。
    图片

图片

  1. 点击右下角「下一步：选择算力」。
    图片

  2. 跳转后，选择「NVIDIA RTX A6000 48GB 」、选择镜像「PyTorch」，点击「下一步：审核」。新用户使用下方邀请链接注册，还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长！

HyperAI超神经专属邀请链接（直接复制到浏览器打开即可注册）：https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

注意：如果运行的是「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」教程，选择「NVIDIA GeForce RTX 4090」运行即可。

图片

  1. 点击「继续执行」，等待分配资源，当状态变为「运行中」后，点击「打开工作空间」。
    图片

图片

  1. 打开工作空间后，在启动页新建一个终端会话，然后在命令行里输入以下内容，启动 Ollama。
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

图片

图片

  1. 再新建一个终端页面，然后在命令行里输入以下内容，启动 Open WebUI。
bash /openbayes/input/input1/open-webui/backend/start.sh

图片

  1. 稍等片刻，当命令行出现「INFO:Uvicorn running on http://0.0.0.0:8080」后，拷贝右侧 API 地址到浏览器地址栏中，即可打开 Open WebUI 页面。请注意，用户需在实名认证后才能使用 API 地址访问功能。
    图片

效果展示

  1. 打开 Open WebUI 界面后，登录账号。账号：admin@example.com密码：adminadmin
    图片

2.选择 Llama 3-70B 模型。
图片

3.输入问题，即可使用啦。图片

目前，HyperAI超神经官网已上线了数百个精选的机器学习相关教程，并整理成 Jupyter Notebook 的形式。
点击链接即可搜索相关教程及数据集：https://hyper.ai/tutorials

以上就是小编本次分享的全部内容了，希望这次的内容对您有所帮助。如果大家还想学习其他好玩的教程，欢迎留言或私信告诉我们项目地址，小编将会为你量身打造课程，教你如何玩转 AI。
参考资料：

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA 2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg 3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1634285.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Llama 3 ——开源大模型Llama 3从概念到使用

Llama 3 ——开源大模型Llama 3从概念到使用

概述 Meta公司自豪地宣布推出其最新的开源大型语言模型——Llama 3，这是一款专为未来AI挑战而设计的先进工具。Llama 3包含两个不同参数规模的版本，以满足多样化的计算需求： 8B版本：优化了在消费级GPU上的部署和开发流程&#xf…
阅读更多...
二、VLAN原理和配置

二、VLAN原理和配置

vlan不是协议，是一个技术，虚拟局域网技术，基于802.1q协议。 vlan（虚拟局域网），将一个物理的局域网在逻辑上划分成多个广播域的技术。 目录 1.冲突域和广播域 概念 范围 2.以太网帧格式 3.以太网帧封装…
阅读更多...
自动驾驶中的深度学习和计算机视觉

自动驾驶中的深度学习和计算机视觉

书籍：Applied Deep Learning and Computer Vision for Self-Driving Cars: Build autonomous vehicles using deep neural networks and behavior-cloning techniques 作者：Sumit Ranjan，Dr. S. Senthamilarasu 出版：Packt 书籍…
阅读更多...
使用LocalGPT+cpolar打造可远程访问的本地私有类chatgpt服务

使用LocalGPT+cpolar打造可远程访问的本地私有类chatgpt服务

文章目录 前言环境准备1. localGPT部署2. 启动和使用3. 安装cpolar 内网穿透4. 创建公网地址5. 公网地址访问6. 固定公网地址 前言 本文主要介绍如何本地部署LocalGPT并实现远程访问，由于localGPT只能通过本地局域网IP地址端口号的形式访问，实现远程访问…
阅读更多...
电子式汽车机油压力传感器的接线方法及特点

电子式汽车机油压力传感器的接线方法及特点

电子式机油压力传感器由厚膜压力传感器芯片、信号处理电路、外壳、固定电路板装置和两根引线（信号线和报警线）组成。信号处理电路由电源电路、传感器补偿电路、调零电路、电压放大电路、电流放大电路、滤波电路和报警电路组成。 厚膜压力传感器是20世纪…
阅读更多...
杰发科技AC7840——SPI通信简介(1)_跑通Demo

杰发科技AC7840——SPI通信简介(1)_跑通Demo

0. 简介 一些配置项： CPHA：相序 CPLO：极性 看着demo需要按键，于是去掉按键，去掉打印，直接输出波形看逻辑分析仪的信号。 其实现在做这些demo测试应该都有逻辑分析仪，直接看波形更直观一点。…
阅读更多...
git误操作版本回退的方法

git误操作版本回退的方法

场景：在使用git进行代码提交的时候不小心执行了git reset 命令进行了版本回退但是在这之前进行了git add . git commit -m "提交"等命令，正常情况下就可以直接使用 git reset 版本号 进行代码的回退，但是发现自己不能找打上一个提…
阅读更多...
搭建MongoDB副本集

搭建MongoDB副本集

文章目录 一、什么是MongoDB的副本集二、副本集的架构三、副本集的成员四、部署副本集1、节点划分2、安装MongoDB2.1、下载解压安装包 3、创建主节点3.1、创建存储数据和日志的目录3.2、新建配置文件3.3、启动节点服务 4、创建副本节点4.1、创建存储数据和日志的目录4.2、新建配…
阅读更多...
场景文本检测识别学习 day06（Vi-Transformer论文精读）

场景文本检测识别学习 day06（Vi-Transformer论文精读）

Vi-Transformer论文精读 在NLP领域，基于注意力的Transformer模型使用的非常广泛，但是在计算机视觉领域，注意力更多是和CNN一起使用，或者是单纯将CNN的卷积替换成注意力，但是整体的CNN 架构没有发生改变VIT说明&#x…
阅读更多...
面试笔记——线程池

面试笔记——线程池

线程池的核心参数&#xff08;原理&#xff09; public ThreadPoolExecutor(int corePoolSize,int maximumPoolSize,long keepAliveTime,TimeUnit unit,BlockingQueue<Runnable> workQueue,ThreadFactory threadFactory,RejectedExecutionHandler handler)corePoolSize …
阅读更多...
2024年 Java 面试八股文——Redis篇

2024年 Java 面试八股文——Redis篇

目录 1、介绍下Redis Redis有哪些数据类型 难度系数&#xff1a;⭐ 2、Redis提供了哪几种持久化方式 难度系数&#xff1a;⭐ 3、Redis为什么快 难度系数&#xff1a;⭐ 4、Redis为什么是单线程的 难度系数&#xff1a;⭐ 5、Redis服务器的的内存是多大…
阅读更多...
RustGUI学习（iced）之小部件（三）：如何使用下拉列表pick_list？

RustGUI学习（iced）之小部件（三）：如何使用下拉列表pick_list？

前言 本专栏是学习Rust的GUI库iced的合集，将介绍iced涉及的各个小部件分别介绍，最后会汇总为一个总的程序。 iced是RustGUI中比较强大的一个，目前处于发展中（即版本可能会改变），本专栏基于版本0.12.1. 概述 这是本专栏的第三篇，主要讲述下拉列表pick_list部件的使用，会…
阅读更多...
c#创建新项目

c#创建新项目

确保已安装.NET Core SDK。&#xff08;visual studio installer中可安装&#xff09; cmd中先引用到文件夹目录下。 mkdir MyConsoleApp MyConsoleApp是项目文件夹的名字。 mkdir 是一个命令行工具&#xff0c;用于在文件系统中创建新的目录&#xff08;文件夹&#xff09;…
阅读更多...
【YOLO改进】换遍IoU损失函数之DIoU Loss（基于MMYOLO）

【YOLO改进】换遍IoU损失函数之DIoU Loss（基于MMYOLO）

DIoU损失函数 论文链接&#xff1a;https://arxiv.org/pdf/1911.08287 DIoU损失函数&#xff08;Distance Intersection over Union Loss&#xff09;是一种在目标检测任务中常用的损失函数&#xff0c;用于优化边界框的位置。这种损失函数是IoU损失函数的改进版&#xff0c;…
阅读更多...
windows驱动开发-电源状态(二)

windows驱动开发-电源状态(二)

Modern Standby这个特性其实很难准确的讲清楚&#xff0c;因为它是一个系统行为不是驱动功能行为&#xff0c;应用层、功能驱动、系统总线、设备本身都有不同程度的参与&#xff0c;并且它属于否决性的&#xff0c;一个系统中&#xff0c;只要有一个设备不支持Modern Standby&a…
阅读更多...
新手如何用Postman做接口自动化测试？

新手如何用Postman做接口自动化测试？

1、什么是自动化测试 把人对软件的测试行为转化为由机器执行测试行为的一种实践。 例如GUI自动化测试&#xff0c;模拟人去操作软件界面&#xff0c;把人从简单重复的劳动中解放出来&#xff0c;本质是用代码去测试另一段代码&#xff0c;属于一种软件开发工作&#xff0c;已…
阅读更多...
Q02UCPU 三菱Q系列通用型QnUCPU模块20K步40ns

Q02UCPU 三菱Q系列通用型QnUCPU模块20K步40ns

Q02UCPU 三菱Q系列通用型QnUCPU模块20K步40ns Q02UCPU外部连接, Q02UCPU可以用Q03UDVCPU替换。 Q02UCPU参数说明&#xff1a;输入输出2048点、I/O软元件点数8192、程序容量20K、基本处理速度40ns、程序内存80K、USB/RS232连接。 Q02UCPU图片 三菱通用型QnUCPU模块20K步Q02UCPU…
阅读更多...
Linux实现简单进度条（附原理解释和动图效果）

Linux实现简单进度条（附原理解释和动图效果）

1&#xff0c;行缓冲区 先看下面的代码和运行结果&#xff0c; #include<stdio.h> #include<unistd.h> int main() {printf("你好\n");sleep(3);return 0; }只是一个简单的打印“你好”然后休眠三秒&#xff0c;最后程序结束 再看下面的代码和运行结果…
阅读更多...
LT6911UXE HDMI 2.0 至双端口 MIPI DSI/CSI，带音频 龙迅方案

LT6911UXE HDMI 2.0 至双端口 MIPI DSI/CSI，带音频 龙迅方案

1. 描述LT6911UXE 是一款高性能 HDMI2.0 至 MIPI DSI/CSI 转换器&#xff0c;适用于 VR、智能手机和显示应用。HDMI2.0 输入支持高达 6Gbps 的数据速率&#xff0c;可为4k60Hz视频提供足够的带宽。此外&#xff0c;数据解密还支持 HDCP2.3。对于 MIPI DSI / CSI 输出&#xff0…
阅读更多...
Linux学习之Tcp与Udp

Linux学习之Tcp与Udp

目录 UDP Udp协议的格式 UDP的传输特性 UDP的缓冲区 基于UDP的应用层协议 TCP协议 TCP的报文格式 1.ACK确认应答机制 2.超时重传 3.TCP的链接管理机制 为什么要三次握手呢&#xff1f; 理解TIME_WAIT状态 流量控制&#xff08;可靠性效率&#xff09; 滑动窗口 拥塞…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023