华为云征文|基于Flexus云服务器X实例体验大模型部署体验测评

news2024/11/23 2:58:59

🔴大家好,我是雄雄,欢迎关注微信公众号:雄雄的小课堂


先看这里

    • 前言
    • 部署千问大模型

前言

当下,各种大模型层出不穷,先有openai的chatgpt,后有百度文心一言,再就是国内大模型齐头并进的抢先发布。

让普通的开发者不必为不能体验chatgpt而担忧,国内的大模型速度也很快。但是大家目前都是在体验,能不能部署一下试试呢?

今天,我们就以华为云Flexus云服务器X实例来部署一下,顺便测测其性能看看。

注意:本文为高端局,对于还不知道怎么使用shell工具,不知道云服务器为何物?不知道大模型为何物的读者可以退出啦,本文不太适合

部署千问大模型

之前一直就想搞个大模型玩玩了,奈何电脑配置不打够,所以只能是可望而不可及,今天,就单独用这款华为云Flexus云服务器X实例来试试。

本文我们基于Ollama部署和运行大模型,那么,何为Ollama

官网:在这里

不过官网上都是洋文,看着比较吃力。我搜了些资料,给大家现个丑:

Ollama 是一个强大的框架,设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者,它使该过程变得非常简单。它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,例如 Llama 2。来源:这里

下面,我们来开始实操!

  1. 下载Ollama用于启动并运行大模型,手动下载ollma,下载地址如下所示:
curl -fsSL https://ollama.com/install.sh | sh

我们可以直接从浏览器中输入,然后 会自动下载,当然,我们也可以直接从shell工具中下载,不过就是有点慢,他这个东西还很大。

在这里插入图片描述
等待的过程挺漫长,可以先去找点别的事儿去做。

接着等待…

终于在漫长的等待过程中,我们将ollama下载下来了啦,下面我们就可以开始体验了!!!

在这里插入图片描述

  1. 启动ollama的服务

当我们服务器中有了ollama的服务后,我们需要启动他!命令如下:

systemctl start ollama.service

然后我们在执行一下下面的命令,看看服务是否已经启动:

systemctl status ollama.service

在这里插入图片描述
3. 设置服务开机自启动:

sudo systemctl enable ollama
  1. 查看内存占用情况。

两个方法都可以查看,第一是从宝塔面板中查看,第二就是直接输入命令:

free -h

在这里插入图片描述
大家可以看的出来,used这一列,表示的是已使用,目前来看,并不多。

  1. 运行大模型

我们先来看看ollama支持的大模型有哪些?点击:这里查看

在这里插入图片描述
我们先跑个小点的千问大模型吧,千问0.5B的模型看看。

在这里插入图片描述

输入命令:

ollama run qwen2:0.5b

在这里插入图片描述
还是继续等待…等待的过程中,为了不浪费时间,可以看看别的事儿。
在这里插入图片描述

在这里插入图片描述
等待完成,下面我们就可以看到:Send a message这句话了,表示我们可以直接使用大模型提问啦

  1. 体验大模型

我们输入个问题试试看看:

在这里插入图片描述
不知道为啥,他非要说自己是李政保,还说的有鼻子有眼的,质量的问题我们不管,我们看性能和速度问题。
在这里插入图片描述
简单的录了个小视频,这速度还是很快的。可见这服务器的性能还是不错的,感兴趣的伙伴们,可以尝试跑跑更大的模型试试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2091741.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java:Period和During

文章目录 Period常用方法代码 During常用方法代码 Period 用于计算两个LocalDate对象 相差的年数,月数,天数 常用方法 代码 package NewTime;import java.time.LocalDate; import java.time.Period;/*** Author: ggdpzhk* CreateTime: 2024-08-31*/ p…

新的打包工具 Rsbuild 尝鲜:Vue2-cli 项目迁移 Rsbuild

当前时间 2024-08-31 看到一个新的打包工具,于是想试一试,这里是官网 测试 用过 vue-cli 的同志们应该有所感受,启动项目挺慢的,我这个项目不太大,第一次启动是最慢的,之后启动快了一些些,而且…

【大数据算法】时间亚线性算法之:时间亚线性判定算法概述。

时间亚线性判定算法概述 1、引言2、空间亚线性算法2.1 定义2.2 实现方式2.3 应用场景2.3.1 大数据分析2.3.2 流数据处理2.3.3 近似计算2.3.4 稀疏数据操作 2.4 代码示例 3、总结 1、引言 小屌丝:鱼哥,最近看新闻没啊? 小鱼:我天天…

【无人机设计与控制】使用 SimMechanics 在 Simulink 中仿真四旋翼飞行器

摘要 本文介绍了如何在Simulink中使用SimMechanics模块对四旋翼无人机进行仿真。通过构建详细的机械模型,用户可以模拟四旋翼的物理运动和动力学行为。这种仿真方法不仅适用于研究无人机的飞行性能,还可以用于测试控制系统的有效性和稳定性。 理论 Si…

用 CSS 实现太阳系运行效果

介绍实现最终效果结语介绍 在编程的浩瀚宇宙中,我们总是在探索能够以最简洁的方式创造出最酷炫效果的方法。而使用 CSS 制作响应式太阳系,绝对能提升你的编程乐趣。 如何用 CSS 实现这个神奇的太阳系呢?关键在于巧妙运用 CSS 的动画、定位和尺寸属性。通过定义不同的元素来…

【深入理解SpringCloud微服务】深入理解nacos配置中心(一)——宏观理解nacos配置中心原理

【深入理解SpringCloud微服务】深入理解nacos配置中心(一)——宏观理解nacos配置中心原理 简单介绍原理分析客户端启动服务端启动配置新增或修改客户端监听配置变更并刷新 nacos既是一个注册中心也是一个配置中心,它是二合一的。作为注册中心…

c# 笔记 winform添加右键菜单,获取文件大小 ,多条件排序OrderBy、ThenBy,list<double>截取前5个

Winform右键菜单‌ 要在C# Winform应用程序中添加右键菜单,‌你可以按照以下步骤操作:‌ 1.‌创建菜单项‌ 在Form的构造函数或加载事件中,‌创建ContextMenuStrip控件的实例,‌并为其添加菜单项。‌ 2.‌绑定到控件‌ 将Con…

YOLOv9修改检测框颜色,粗细,标签大小,标签名称

在检测结果图中,官方的检测样式可能不满足我们的需求,常常修改更改检测框的颜色,粗细,标签背景颜色,大小,标签名称等内容,下面就介绍一下,这些地方如何修改。 在YOLOv9的源代码中&a…

基于ssm的实习课程管理系统/在线课程系统

实习课程管理系统 摘 要 互联网的快速发展,给各行各业带来不同程度的影响,悄然改变人们的生活、工作方式,也倒逼很多行业创新和变革,以适应社会发展的变化。人们为了能够更加方便地管理项目任务,实习课程管理系统被人们…

视频和音频合成视频Easy_Wav2Lip

Easy_Wav2Lip 是使用视频和音频合成新的视频 Easy-WAV2lip是目前最成熟的数字人口型算法。 用时以及效率来说,三大主流算法 WAV2lip、Geneface、AD-Nerf。WAV2lip>Geneface=AD-Nerf 1. 整体流程 第一步,加载视频/图片和音频/tts。…

喵喵在CSDN的2048天(创作纪念日)

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。…

OJ-0830**

题目 示例1 输入: ABC ABC 输出: 3示例2 输入: ABCABBA CBABAC 输出: 9解题思路 动态规划 首先,我们可以定义一个二维数组 dp,其中 dp[i][j] 表示从字符串A的前i个字符到字符串B的前j个字符的最短距离。…

DDR3详解

1.DDR3简介 DDR3 SDRAM,全称第三代双倍速率同步动态随机存取存储器,简称 DDR3,双倍速率(double-data-rate),是指时钟的上升沿和下降沿都发生数据传输;同步,是指DDR3数据的读取写入是…

Linux教程六:文件目录类命令ls、cd(图文详解)

默认登录出现一个[用户localhost ~] 代表时登陆用户的家目录 1、 Linux ls命令 基本用法 ls:列出当前目录下的文件和目录(不包括以.开头的隐藏文件)。ls 目录名:列出指定目录下的文件和目录。 常用选项 -l:以长格式列出…

利用开源 AI 智能名片 O2O 商城系统提升饭店私域流量

摘要:本文旨在探讨如何通过设计门店裂变方式,结合开源 AI 智能名片 O2O 商城系统,将私域流量转化为自然流量,以促进饭店业务增长。通过在餐桌上放置个人微信二维码台卡、提供福利套餐和折扣、创建饭圈社群等方式,吸引用…

Vue.js入门系列(十九):深入理解和应用组件自定义事件

个人名片 🎓作者简介:java领域优质创作者 🌐个人主页:码农阿豪 📞工作室:新空间代码工作室(提供各种软件服务) 💌个人邮箱:[2435024119qq.com] &#x1f4f1…

python-奥运奖牌计数

题目描述 2008 年北京奥运会,A 国的运动员参与了 n 天的决赛项目 (1≤n≤100)。现在要统计一下 A 国所获得的金、银、铜牌数目及总奖牌数。输入第 1 行是 A 国参与决赛项目的天数 n,其后 n 行,每一行是该国某一天获得的金、银、铜牌数目&…

小程序连接MQTT服务器,以及配置,避坑

1、MQTT服务器域名配置 由于小程序必须使用域名方式连接socket,所以必须为MQTT服务器配置域名,并配置SSL证书。 1.1相关文档: EMQX 企业版安装 | EMQX 企业版 4.4 文档 EMQX MQTT 微信小程序接入 | EMQX 4.2 文档 MQTT 下载引入和配置连…

【图像去噪】论文精读:Multi-level Wavelet-CNN for Image Restoration(MWCNN)

请先看【专栏介绍文章】:【图像去噪(Image Denoising)】关于【图像去噪】专栏的相关说明,包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总(更新中…

Spring入门之IOC(包含实例代码)

目录 什么是Spring?什么是Spring IOC?如何创建一个Spring IOC项目?1. 导入Maven项目依赖2. 准备一个实体类(先定义接口再实现)3. 准备配置文件4. 在Test类中测试 IOC中的Bean管理实例化Bean的三种方式 什么是Spring&am…