Ollama在MacOS、Linux本地部署千问大模型及实现WEB UI访问

news2025/2/25 1:17:59

一、前言

阿里通义千问发布了Qwen2,提供了0.5B~72B的量级模型,在​​Ollama官网​​可以搜索qwen2查看,本文提供了Ollama的下载(在线/离线安装)、Ollama运行模型、使用WebUI连接模型以及页面简单配置。
请添加图片描述

二、实现效果

  1. 控制台直接提问
    请添加图片描述

  2. Web界面访问
    请添加图片描述

三、实现步骤

  1. Windows、MacOS、Linux安装Ollama(我这里只在Macos、Linux上进行了安装)
  2. 使用Ollama拉取、运行模型(这步完成可以使用控制台、Api提问)
  3. 用Web UI实现可视化提问,方便管理。

四、开始实现

1.1 安装

请添加图片描述
首先我们需要在​​Ollama官网​​​点击“Download”按钮,选择适合系统的版本点击下载,但由于网络问题,会非常慢,建议去​​他的github​​上下载release。

请添加图片描述

可以看见Ollama还是非常活跃的,在这里选择合适的版本下载安装。
请添加图片描述

Mac版本下载后放到应用文件夹内,打开后根据提示即可完成安装,Linux的安装稍微麻烦点,官方提供的命令是:
curl https://ollama.ai/install.sh | sh
就是下载install.sh并执行,脚本还是先下载好安装包再进行安装,网络问题会非常慢或者下载失败,所以我们这里需要把脚本使用下面脚本下载下来:
wget https://ollama.ai/install.sh
vim编辑这个脚本总共需要修改两个地方:
• 注释下载链接(install.sh的第66行左右)

status "Downloading ollama..."
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

• 修改Ollama安装目录(install.sh的第73行左右)

status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

以上步骤做好,就可以进入到install.sh脚本所在目录使用sh ./install.sh开始安装了,安装完,输入如图ollama -v出现版本代表安装成功。

1.2 模型拉取、运行

文章开头提到的在官网找到qwen2,选择需要的版本,如下图选择了1.5b版本,右边对应着执行命令,复制命令在MacOS或者Linux终端中执行。
请添加图片描述

这里如果没有模型会自动拉取模型,拉取速度非常快,拉取完后显示“>>> Send a message (/? for help)”代表可以直接输入问题进行提问了。
请添加图片描述

1.3 用Web UI实现可视化提问。

本文使用docker运行web界面,docker的安装这里不做过多赘述,终端中执行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker会自动拉取镜像运行容器,运行成功后访问http://127.0.0.1:3000进入界面,首次注册登录的是管理员账号,可以设置成中文,也可以在设置中配置后面注册的默认角色。

请添加图片描述
请添加图片描述
需要注意的是需要选择提问的模型,在进行提问。

五、总结

总体还是比较简单的,更高阶的玩法,看小伙伴的反馈,后面更新比如自定义智能体、训练等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1824127.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Real3D:利用真实世界图像扩展3D重建模型

原理: 在3D重建领域,单视图重建任务由于其固有的不确定性而充满挑战。为了克服这一难题,研究者们一直在探索如何利用大型数据集训练模型以学习形状和纹理的通用先验知识。然而,现有训练方法依赖于合成数据或多视图捕获&#xff0c…

【实例分享】银河麒麟高级服务器操作系统环境资源占用异常-情况分析及处理方法

1.情况描述 使用vsftp进行文件传输,发现sshd进程cpu占用异常,并且su和ssh登录相比正常机器会慢2秒左右。 图1 2.问题分析 通过strace跟踪su和sshd进程,有大量ssh:notty信息。 图2 配置ssh绕过pam模块认证后,ssh连接速…

【计算机视觉】人脸算法之图像处理基础知识(二)

图像处理基础知识(二) 1.图像的颜色空间转换 我们常见的图像通常由R(红色)、G(绿色)、B(蓝色)组成。但是在很多时候我们会将彩色图像转换成灰度图像进行处理。此时会用到cv2.cvtCo…

EasyGBS服务器和终端配置

服务器配置 修改easygbs.ini sip/host为本机IP,否则终端能登录,无法视频。 [sip] host192.168.3.190 终端用于登录的用户名和密码 default_usertest default_passwordtest1234 default_guest_userguest default_guest_passwordtest1234终端配置 关…

【Quartus 13.0】EP1C3144I7 部署4*6矩阵键盘

仿照 正点原子 的 Sample 修改 V2手册 P266 没有用这个 给出的手动按键控制的矩阵模块 为 4*6 矩阵键盘外接模块 每一个按键自带led,所以对应的接口是合并在一起的一个引脚 按下后 LED 亮,vice versa 底部 LED*8 目前不清楚有什么用 或许可以变成 16进…

使用sherpa-ncnn进行中文语音识别(ubuntu22)

获取该开源项目的渠道,是我在b站上,看到了由csukuangfj制作的一套语音识别视频。以下地址均为csukuangfj在视频中提供,感谢分享! 新一代Kaldi RISC-V: VisionFive2 上的实时中英文语音识别_哔哩哔哩_bilibili 开源项目地址&…

Vue41-vc实例与vm实例

一、 vc实例与vm实例的区别 vc实例与vm实例,99%结构都是类似的,仅2点不同: el属性data的书写格式 1-1、 el属性 vc有的功能vm都有,但是vm能通过el决定为哪个容器服务,但是vc却不行! 1-2、data的书写格式

利用Cesium和JS实现地点点聚合功能

引言 在实现基于地图的业务场景时,当地图上需要展示过多的标记点时,大量的分散点会使地图上显得杂乱无章,导致标记点对地图上的其他重要信息造成遮挡和混淆,降低地图整体的可读性。 标记点的聚合就很好的解决了这些痛点的同时&a…

理解Es的DSL语法(二):聚合

前一篇已经系统介绍过查询语法,详细可直接看上一篇文章(理解DSL语法(一)),本篇主要介绍DSL中的另一部分:聚合 理解Es中的聚合 虽然Elasticsearch 是一个基于 Lucene 的搜索引擎,但…

单通道触摸感应开关RH6016

1.简介 SOT23-6 RH6016 封装和丝印 RH6016 是一款内置稳压模块的单通道电容式触摸感应控制开关IC,可以替代传统的机械式开关。 RH6016可在有介质(如玻璃、亚克力、塑料、陶瓷等)隔离保护的情况下实现触摸功能,安全性高。 RH6016内置高精度稳压、上电复…

C++17并行算法与HIPSTDPAR

C17 parallel algorithms and HIPSTDPAR — ROCm Blogs (amd.com) C17标准在原有的C标准库中引入了并行算法的概念。像std::transform这样的并行版本算法保持了与常规串行版本相同的签名,只是增加了一个额外的参数来指定使用的执行策略。这种灵活性使得已经使用C标准…

数据采集项目2-业务数据同步

全量同步 每天都将业务数据库中的全部数据同步一份到数据仓库 全量同步采用DataX datax datax使用 执行 python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json 更多job.json配置文件在: 生成的DataX配置文件 java -jar datax-config-genera…

【RabbitMQ】RabbitMQ 的 6 种工作模式

RabbitMQ 的 6 种工作模式 1.简单模式2.工作队列模式3.交换机模式4.Routing 转发模式5.主题转发模式6.RPC 模式6.1 消息属性6.2 关联标识6.3 工作流程 7.小结 1.简单模式 生产者把消息放入队列,消费者获得消息,如下图所示。这个模式只有 一个消费者、一…

【python】python指南(三):使用正则表达式re提取文本中的http链接

一、引言 对于算法工程师来说,语言从来都不是关键,关键是快速学习以及解决问题的能力。大学的时候参加ACM/ICPC一直使用的是C语言,实习的时候做一个算法策略后台用的是php,毕业后做策略算法开发,因为要用spark&#x…

LeetCode | 520.检测大写字母

这道题直接分3种情况讨论:1、全部都为大写;2、全部都为小写;3、首字母大写其余小写。这里我借用了一个全是大写字母的串和一个全为小写字母的串进行比较 class Solution(object):def detectCapitalUse(self, word):""":type …

Python基础教程(十五):面向对象编程

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快! 💝&#x1f49…

【机器学习】Dify:AI智能体开发平台版本升级

一、引言 关于dify,之前力推过,大家可以跳转 AI智能体研发之路-工程篇(二):Dify智能体开发平台一键部署了解,今天主要以dify为例,分享一下如何进行版本升级。 二、版本升级 2.1 原方案 #首次…

超图制作栅格数据集专题图示例

之前写过一两篇专题图的博文,是制作的矢量数据集的专题图; 有一个栅格数据集如下,不知是干嘛的,可能是一个地形,或水系; 看一下对栅格数据集制作专题图;能制作的专题图类型少些, 先…

pytorch学习笔记7

getitem在进行索引取值的时候自动调用,也是一个魔法方法,就像列表索引取值那样,一个意思 import torchvision from torch.utils.data import DataLoaderdata_transformtorchvision.transforms.Compose([torchvision.transforms.ToTensor()] ) test_datatorchvision.datasets.C…

GraphQL(9):Spring Boot集成Graphql简单实例

1 安装插件 我这边使用的是IDEA,需要先按照Graphql插件,步骤如下: (1)打开插件管理 在IDEA中,打开主菜单,选择 "File" -> "Settings" (或者使用快捷键 Ctrl Alt S …