零刻SER8 AMD 8845Hs Ryzen AI 本地部署大语言模型教程!

news2025/3/18 6:29:24
零刻SER8 8845HS,配备了一个内置的 NPU(神经网络处理单元),可以通过LM Studio语言大模型来部署己的 GPT 模型 AI 聊天机器人,AI 助手已迅速成为提高生产力、效率,甚至是头脑风暴的关键资源。在本地机器上运行 AI 聊天机器人不仅不需要互联网连接,而且你的对话也保存在本地机器上。
AMD 8845Hs Ryzen AI
  • AI 引擎性能:最高可达 16 TOPS(每秒万亿次操作)

  • 总处理器性能:最高可达 38 TOPS

零刻SER8 IPU默认状态为开启状态,无需再进行二次开启操作,可在设备管理器中查看相关的设备状态。

在这里插入图片描述

操作步骤:

1.下载LM Studio大模型部署软件,点击链接进入官网,https://lmstudio.ai/,下载Windows版本

在这里插入图片描述

2.下载完成后,双击进行启动进入软件界面

在这里插入图片描述

3.AMD官方这里提供了两个大语言模型,Mistral 7b(TheBloke/OpenHermes-2.5-Mistral-7B-GGUF)和LLAMA v2 7b(TheBloke/Llama-2-7B-Chat-GGUF),这里的7b指的是70亿参数训练出来的大模型,我们选择LLAMA v2 7b语言大模型进行下载,点击左侧搜索按钮(如果搜索提示网络报错,可查看LM Studio语言大模型部署软件搜索语言模型报错“Error searching for models ‘Network error’”解决办法)

在这里插入图片描述

4.在搜索栏中复制并粘贴以下搜索词:“TheBloke/Llama-2-7B-Chat-GGUF”,在右侧选择’Q4 K M’模型文件点击’Download’进行下载

在这里插入图片描述

5.耐心等待下载完成

在这里插入图片描述

6.下载完成后,点击左侧的聊天按钮,切换到聊天模式

在这里插入图片描述

7.点击顶部,切换刚刚下载的语言大模型包

在这里插入图片描述

8.等待模型加载完成就可以使用了,LLAMA v2 7b模型只支持英文,如果需要中文可以使用其他的大语言模型。

在这里插入图片描述

9.推荐中文语言大模型"TheBloke/openHermes-2.5-Mistral-7B-GGUF"搜索后,可在右侧选择’Q4 K M’模型文件点击’Download’进行下载

在这里插入图片描述

10.下载完成后,点击聊天按钮,在顶部选择大语言模型进行切换

在这里插入图片描述

在这里插入图片描述

更多其它大语言模型:

“PrunaAI/Llama3-8B-Chinese-Chat-GGUF-smashed” 来源 https://zhuanlan.zhihu.com/p/696250131

“zhouzr/Llama3-8B-Chinese-Chat-GGUF”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1789679.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

前端列表可滚动,可轮播

前端列表可滚动&#xff0c;可轮播 <ulclass"scroll-list"ref"scroll_List"mouseenter"cancelScroll()"mouseleave"autoScroll()"><liclass"list-item"v-for"(item,index) in tableData3":class"[…

java现饱和,有必要去学其他语言吗?

在开始前刚好我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「 java的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff01;如果有时间总比不学好&…

虹科免拆诊断案例 | 2013 款路虎神行者 2 车偶发性无法起动

故障现象 一辆2013款路虎神行者2车&#xff0c;搭载2.0 L Si4 Petrol发动机&#xff0c;累计行驶里程约为4.5万km。车主反映&#xff0c;车辆偶发性无法起动&#xff0c;故障出现时&#xff0c;尝试起动发动机&#xff0c;组合仪表上会出现“挡位不在驻车挡”“充电系统故障”…

【Qt】 new成功,但是没有进入到构造函数。

NameTest工程中 nametest.cpp NameTest::NameTest() {pdata new privateAB; }NameTest::~NameTest() {if (pdata){privateAB *p (privateAB *)pData; //void *pdata nullptr;delete p;pdata nullptr;} }内部类&#xff1a; privateAB #include "private.h"#i…

密码学基本概念(补充)

BiBa模型的*特性规则&#xff1a;主体不能修改更高完整级的客体&#xff08;主题不能向上写&#xff09; Diffie-Hellman密钥交换协议的安全性基于求解离散对数的困难性&#xff0c;既对于C^d M mod P&#xff0c;在已知C和P的前提下&#xff0c;由d求M很容易&#xff0c;但是…

使用Nginx正向代理让内网主机通过外网主机访问互联网

目录 环境概述 流程说明 在外网服务器上安装部署nginx 安装前准备 下载nginx 编译安装nginx 开始配置正向代理 创建systemd服务单元文件&#xff0c;用于管理Nginx服务的启动、停止和重新加载 启动nginx 代理服务器本地验证 内网服务器验证 将代理地址添加到环境变量中…

地理加权回归GWR简介

地理加权回归GWR简介 一、定义&#xff1a; 地理加权回归&#xff08;Geographically Weighted Regression&#xff0c;简称GWR&#xff09;是一种空间数据分析方法&#xff0c;专门用于处理空间异质性&#xff08;spatial heterogeneity&#xff09;问题。以下是对GWR的详细简…

【云原生】Kubernetes----Ingress对外服务

目录 引言 一、K8S对外方式 &#xff08;一&#xff09;NodePort 1.作用 2.弊端 3.示例 &#xff08;二&#xff09;externalIPs 1.作用 2.弊端 3.示例 &#xff08;三&#xff09;LoadBalancer 1.作用 2.弊端 &#xff08;四&#xff09;Ingress 二、Ingress的…

mac虚拟光驱工具:Daemon Tools for Mac

Daemon Tools for Mac是一款功能强大的虚拟光驱工具&#xff0c;它为用户提供了在Mac上模拟物理光驱的能力&#xff0c;从而方便用户处理各种光盘映像文件。以下是关于Daemon Tools for Mac的详细介绍&#xff1a; 守护进程工具&#xff1a;Daemon Tools不仅是一个简单的虚拟光…

Tomcat概述及部署

目录 一、Tomcat概述 1.Tomcat的简介 2.Tomcat 核心的三个组件 3.应用场景 4.Tomcat 请求过程 二、部署安装Tomcat 三、Tomcat 虚拟主机配置 四、Tomcat多实例部署 一、Tomcat概述 1.Tomcat的简介 Tomcat 是 Java 语言开发的&#xff0c;Tomcat 服务器是一个免费的开…

花费-效益分析筛选肿瘤标记物最佳组合

基于花费-效益分析的肿瘤标记物最佳组合筛选 本文的想法来自于一篇发表的论文[1]。论文作者有感于临床上存在的不恰当的肿瘤标记物的检测&#xff0c;搜集了各种肿瘤标记物&#xff08;TM&#xff09;的价格、检测结果和最终诊断等数据&#xff0c;使用逻辑回归模型分别计算出…

中国90米土壤渗流因子Fsic数据

Fsic(土壤渗流因子)&#xff1a;土壤渗流因子的计算是根据美国农业部(USDA)土壤质地分类&#xff0c; 进行分类、赋值并归一化,得到土壤渗流因子Fsic的值。将13种土壤质地类型分别在0-1之间均等赋值得到。其中Fsic值越高&#xff0c;代表土壤渗水能力越强&#xff0c;Fsic值域范…

彻底吃透A*算法的最优性

下面的博客将主要介绍A*算法在扩展结点&#xff08;这对于寻路时间很重要&#xff09;和总代价&#xff08;这对于保证最后解的最优性很重要&#xff09;上的最优性&#xff0c;并将淡化对A *完备性的介绍。 A* 算法流程 A*算法的流程如下[1]&#xff1a; 并定义 f ( n ) f(n…

编译openjdk12-33

编译环境 ubuntu20 Ubuntu里用户可以自行选择安装GCC或CLang来进行编译&#xff0c;但必须确保最低的版本为GCC 4.8或者CLang 3.2以上&#xff0c;官方推荐使用GCC 7.8或者CLang 9.1来完成编译。 源码 https://github.com/openjdk/jdk/tree/jdk-12%2B33 安装gcc sudo apt…

喜讯丨泰迪智能科技实力中标“健康大数据与人工智能实验室建设”项目

泰迪智能科技以健康数据分析与应用为主题的实验中心&#xff0c;为学校大健康产业大数据与人工智能应用人才培养提供载体&#xff0c;并基于培养中心根据学生专业的不同&#xff0c;提供不同的健康大数据学习资源&#xff0c;实现健康大数据技术和数据分析应用能力培养普遍提升…

nginx隐藏版本号、错误信息页面隐藏nginx软件、修改 HTTP 头信息中的connection 字段,防止回显具体版本号、curl命令

目录 安装之后隐藏 配置文件 源代码配置安装之前隐藏 修改nginx.h文件中的 13、14行 修改 HTTP 头信息中的connection 字段&#xff0c;防止回显具体版本号 配置文件49行 错误页面程序返回版本号、nginx隐藏 配置文件36行 ​编辑 安装nginx 相关选项说明 curl命令测试…

Spring Security 注册过滤器关键点与最佳实践

在 Spring Security 框架中&#xff0c;注册过滤器是实现身份验证和授权的关键组件。正确配置和使用注册过滤器对于确保应用程序的安全性至关重要。以下是一些关于 Spring Security 注册过滤器的注意事项和最佳实践。 过滤器链顺序&#xff1a; 注册过滤器通常位于过滤器链的末…

医用腕带朔源用的条形码与二维码如何选择

在医疗环境中的医用腕带作为患者身份识别和管理的重要工具&#xff0c;做为条形码和二维码腕带上的溯源技术&#xff0c;更是为患者信息快速获取、准确传递的保障&#xff0c;实现更加高效和准确的患者身份识别和管理&#xff0c;这种技术可以大大提高医疗服务的效率和质量&…

Linux 多线程 生产者消费者 问题

在 Linux 系统中&#xff0c;生产者和消费者问题是一个经典的多线程同步问题&#xff0c;用于描述如何在多线程环境中协调多个线程对共享资源的访问。这个问题通常涉及两个类型的线程&#xff1a;生产者线程和消费者线程。生产者线程负责生成数据并将其放入缓冲区&#xff0c;而…

2024年端午节放假通知

致尊敬的客户以及全体同仁&#xff1a; 2024年端午节将至&#xff0c;根据国务院办公厅通知精神&#xff0c;结合公司的实际情况&#xff0c;现将放假事宜通知如下&#xff1a; 2024年6月8日&#xff08;星期六&#xff09;至6月10日&#xff08;星期一&#xff09;&#xff…