本地体验最强开源模型Llama3+Qnw(支持Windows和Mac)

news2024/11/25 0:50:43

一键运行大模型本地软件(含模型):点击下载

Meta放出Llama3模型了,也应该是这段时间里的一个科技大新闻了。

Llama一直都是开源大语言模型的领头羊驼。

而Llama3又是所有羊驼中最新的领头羊。

可以简单地来看一下官方的对比数据。

下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比,以及Llama3 70B和gemini和Claude3闭源版的对比。

关于Llama3具体有多牛X,这样的内容我就不写了。网上新闻一大堆!

我就说说怎么在我们自己的电脑上玩起来。

这才是我们该关心的核心问题。

Llama3的衍生模型非常多,整个生态也发展的特别好,所以支持的工具也特别多。根本无需自己去配置,写代码,加载模型和做模型交互。有一大堆现成的“基础设施”可以用!

今天还是用可视化的GUI软件来运行Llama3,是个人都会的那种软件。

这里说的软件就是LM Studio,这是一款基于llama.cpp,可以运行几乎所有主流大语言模型的应用程序。

由于软件主要是使用CPU来运行,所以基本上所有电脑都可以使用!!!

第一次见到这个软件的人,可以跟着文章来操作。只要简单的几步就可以用了。

1.下载软件

打开网盘,在网盘上找到对应版本,点击下载即可。

软件安装包并不大,所以很快就能完成。

稍微注意下,版本是v0.2.20。只有这个最新版才支持最新的Llam3。

2. 下载模型

下载的软件知识一个管理工具,为了使用模型,我们需要先下载模型。

打开软件之后,右下角第一个模型就是Llama3-8B,非常好找。

点击Download进行下载。

开始下载后,软件底部会有进度条!

这里唯一需要注意的是,这个下载可能需要魔法,它是从HF上获取资源,但是HF在部分地区已经不可访问了。

3.加载模型并开始对话

点击①处的聊天图标,切换到对话界面。

点击②处下拉列表,选择Llama3模型,新装模型默认排在最上面。

点击③处输入对话内容,输入完成之后,按回车发送。

4.设置系统指令

Llama3是一个国外开源的模型,所以默认都是英语对话。即便你说中文,它能懂,也会用英文回答你。

但是从公开资料来看,这个版本训练数据中也有其他语言,所以你也可以让它直接用中文回答你。

设置方法如上图,在System Prompt 下面的输入框中输入“所有问题都用中文回答” 。

然后重新加载一下模型,就可以全程用中文进行交互了。

从实际体验来看,中文不算太好,但是也在六七十分的样子了。

比较有意思的是,它还特别喜欢发一个表情😊。

到这里,我们就快速体验到了最新的开源模型了。

你可以尝试提出各种类型的问题,来考验一下它的能力!

个人感觉,从实际体验上来说,中文对话能力一般般。

当然基础能力强的未必应用能力强。

Llama的模型,每次都是需要微调一下套壳一下,用起来就很吊了。

另外这个模型只是8B量化版,属于这个系列中的小弟弟。它还有个70B的哥哥。

据说还有一个400B的老大哥。一旦出山就是最大参数最大的开源模型,比马斯克3150亿参数的Grok还要大很多。

参数越大,智慧涌现越多!

这就是为啥我喜欢把东西装在自己电脑上的原因!

decentralization

最后

软件和模型已经都给你准备好了!

 一键运行大模型本地软件(含模型):点击下载

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1626762.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

03_Scala变量和数据类型

文章目录 [toc] **变量和数据类型****1.注释****2.变量和常量****3. 标识符的命名规范****4.scala的字符串****5.键盘输入****5.1 StdIn.readLine()****5.2 从文件中读取数据****5.3 Scala向外写数据** 变量和数据类型 1.注释 和Java完全一样 ** ** 2.变量和常量 var name…

Gin的中间件执行流程与用法

一、背景 我们在使用Gin框架进行Web开发的时候,基本上都会遇到登录拦截的场景。 例如某些接口必须在登录以后才能访问,根据登录用户的信息以及权限,拿到属于自己的数据, 反之,没登录过则直接拒绝访问。 那么我们怎么做到这些登录…

实现SpringMVC底层机制(二)

文章目录 1. 动态获取spring配置文件1.修改SunWebApplicationContext.java2.修改SunDispatcherServlet.java 2.自定义Service注解1.需求分析2.编写Monster.java3.自定义Service注解4.编写Service接口MonsterService.java5.编写Service实现类MonsterServiceImpl.java6.修改SunWe…

嵌入式Linux学习——Ubantu初体验

Ubuntu 和Windows 的最大差别 Windows中的每一个分区都对应着一个盘符,盘符下可以存放目录与文件,而在Ubantu中没有盘符的概念,只有目录结构。实际上不同的目录可能挂载在不同的分区之下,如果想要查看当前目录位于磁盘的哪个分区…

代码随想录算法训练营Day9 | 双指针总结归纳:

截止目前为止,已经刷过十道有关于双指针的题了: 1.对于数组而言,数组上的元素不能做到删除,只能进行覆盖,通过两个指针在一个for循环下完成两个for循环的工作,提升了效率 2.字符串中定义两个指针&#xff…

第三篇:Python编程基础:掌握核心语法与开发技巧

Python编程基础:掌握核心语法与开发技巧 1 引言 在这个信息化迅速蔓延的世界中,Python语言如同钥匙一般开启了通往各种可能性的大门。无论你是数据科学家、网络工程师、机器学习专家,还是仅仅对自动化办公感兴趣的办公室人员,Pyt…

汽车驾驶3D模拟仿真展示系统更立体直观

随着新能源汽车的普及,它已成为现代生活中不可或缺的交通工具。并且国产车的崛起,其设计与零部件制造水平已能与合资车相媲美,因此汽车维修技能的学习变得尤为重要。汽车维修3D仿真教学软件应运而生,为广大学员提供了一个直观、高…

【产品经理修炼之道】- 携程酒店业务

这篇文章里,作者以携程为参照对象进行了业务分析,一起来看看本文作者关于携程酒店业务的思考。想了解OTA、或者酒店业务的同学们,或许可以来看看本文的思路。 本文是以携程为参照对象做的一个业务分析,系列一共有三期&#xff0c…

【鸿蒙】通知

一、概要 Android的Notification。 说到通知,就想到了推送。 通知这块可以做到不像Android一样需要集成各家厂商的推送了,不知道是否有建立独立的推送系统 这是官网上介绍的跨APP进行的IPC通知。实际在Android开发过程中,可能这种场景会相对…

【产品经理修炼之道】- 导航架构设计

目录 一、导航是什么 二、导航的作用 三、导航的分类 四、导航菜单的广度与深度 五、导航的颜色 六、导航的形态 七、导航的研究 八、导航的设计 九、导航改版案例分享 总结 每个网页的设计都需要包括导航,那么导航架构该如何设计?作者结合之前…

dwc3控制器是怎么处理otg

概念 在OTG中,初始主机设备称为A设备,外设称为B设备。可用电缆的连接方式来决定初始角色。两用设备使用新型Mini-AB插座,从而使Mini-A插头、Mini-B插头和Mini-AB插座增添了第5个引脚(ID),以用于识别不同的…

怎么从回收站恢复已删除的文件?(5种恢复方法)

回收站是电脑操作系统中的一个特殊目录,用于存储被删除但尚未完全清除的文件和文件夹。当用户删除文件或文件夹时,它们并不立即从硬盘驱动器中移除,而是被移动到回收站。这样设计的目的是为了给用户一个“第二次机会”,如果他们意…

python-excel自动化-openpyxl

openpyxl学习笔记 创建或打开表格存储和遍历数据设置单元格风格过滤器和排序更改工作表的背景颜色合并单元格冻结窗口数字格式公式图像图表条形图折线图散点图 创建或打开表格 # 创建 import datetime from openpyxl import Workbook # 实例化 wb Workbook() # 激活 work…

融合卷积和注意力机制:有效整合它们优势的方法概述

卷积与注意力机制的结合 1. 介绍2. 模型学习偏差及其后果2.1 全连接层2.2 卷积层2.3 自注意力层 3. 融合卷积与注意力的学习方法3.1 Squeeze-and-Excitation网络3.2 卷积块注意力模块3.3 相对自注意力3.4 注意力增强卷积网络3.5 使用变换器进行端到端目标检测3.6 CvT&#xff1…

ssm083化妆品配方及工艺管理系统的设计与实现+jsp

化妆品配方及工艺管理系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本化妆品配方及工艺管理系统就是在这样的大环境下诞生,其可…

自动评论轻松增粉!抖音新技能来了

在如今这个信息爆炸,流量至上的时代,如何快速吸引新粉丝并保持互动性成为了许多内容创作者的心头大患。想象一下,如果你有一款神奇的工具,能让你在抖音上自动互动,轻松吸引关注,岂不是美哉?今天…

Spring Cloud Alibaba Sentinel 使用

初识Sentinel Sentinel是阿里巴巴开源的一款微服务流量控制组件。官网地址: home | Sentinel 需要了解的概念 簇点链路 在学习 Sentinel 的使用之前,我们有必要首先了解一下簇点链路。当请求进入微服务时,首先会访Controller、Service、Ma…

原生js实现一个简化版的h函数

原生js实现一个简化版的h函数 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title&…

ChatGPT智能对话和MidjourneyAI画画系统源码运营版+完整教程

今天给大家带来一款可以帮你赚米的AI智能系统。这款系统将AI智能会话及AI画画功能合二为一&#xff0c;对接了大名鼎鼎的ChatGPT接口及Midjourney两个王牌接口。另外后台还集成了国内外几十个AI大模型及AI绘画接口&#xff08;输入文字就可以快速生成高清图片&#xff09;&…

PHP 函数的命名空间是否会影响执行顺序?

在 php 中&#xff0c;函数命名空间一般不会影响执行顺序。执行顺序通常由文件顺序或函数调用顺序决定。即使函数位于不同的命名空间中&#xff0c;只要它们在同一文件中&#xff0c;它们就会按照定义顺序执行。 PHP 函数命名空间是否会影响执行顺序&#xff1f; 简介 在 PHP…