Ollama 本地大模型框架

news2024/10/6 22:32:20

图片

该篇教程主要讲解*Ollama的安装和简单使用*

Ollama:
在本地启动并运行大型语言模型。

图片

主要流程目录:

1.安装

2.使用

2.1.下载模型

2.2.简单使用

2.3.中文模型

2.4.中文社区

3.总结

1.安装

创建一个容器

图片

切换”高级视图“

图片

参考填写

ollama
ollama/ollama:latest
https://mmbiz.qpic.cn/sz_mmbiz_png/5xFLia3A3km6oibL7VLZV0B09KTUphrnTjIXGsuraPsJr0a0yzQuxlgjnZnT5m56tDCSic9h2XP34cvNjiaMk1POmQ/640?wx_fmt=png&from=appmsg
http://[IP]:[PORT:11434]/

在这里插入图片描述

Tip:

上面配置是纯CPU运行,如果要使用GPU(Nvidia/AMD)自行看文档

https://hub.docker.com/r/ollama/ollama

添加其他参数

在这里插入图片描述

/root/.ollama

/mnt/user/appdata/ollama

图片

11434

11434

图片

2.使用

上面部署的这个只是一个框架,还需要下载模型才可以运行。如果需要美观的UI界面,还需要另外安装其他应用配合。

2.1.下载模型

来到官网,点击右上角"Model",下载模型

图片

点击可以进行排序,这里我选择llama3

图片

Tip:

- 7b 大小的模型通常至少需要 8GB RAM

- 13b 大小的模型通常至少需要 16GB RAM

- 33b 大小的模型通常至少需要 32GB RAM

- 70b 大小的模型通常需要至少 64GB RAM

可以选择模型大小进行下载,复制右侧代码(不指定大小默认是8B)

图片

打开ollama的控制台

图片

Tip:

一定要保证网络通畅,还有一定不要关闭弹窗不然就看不到进度了

拉取llama3模型

ollama pull llama3

图片

模型下载完成

图片

2.2.简单使用

因为没有UI界面,所以还是在这个控制台界面操作

列出模型

ollama list

图片

前面部分就是名称了(只有一个版本的话,可以不用后面版本)

在这里插入图片描述

运行模型

ollama run 模型名称

图片

可以直接输入问题,回车确认

图片

中文也是没问题的

图片

2.3.中文模型

虽然一般的模型都可以中文问答,但是有时候还是会出现英文回复现象。所以我建议是可以直接用中文微调的模型,这样比较省事。

拉取中文模型(拉取一个就行了,这里我是拉取Llama3的)

在这里插入图片描述

运行效果

图片

Tip:

删除模型(如果前面下载的模型不想要了,可以删除)

ollama rm 模型名称

图片

2.4.中文社区

这里属于扩展部分,简单介绍Llama中文社区

Llama中文社区(GitHub),上面相关教程还是很多很全面的,也可以下载中文相关的模型。

https://github.com/LlamaFamily/Llama-Chinese

图片

Llama中文社区(官网),很有意思的网站,建议自行挖宝

https://llama.family/

图片

3.总结

部署和使用其实还是很方便的,没有遇到什么问题,小白也可以轻松上手。本地部署大模型的好处就是不需要联网,数据相当比较安全。虽然运行模型对设备要求不算太高,但想要有一个比较好的体验还是需要性能好一点。

上面测试用的是QNCT(6C12T,而且当时还运行其他占用资源比较多的应用),下面这段话回复大概用了57秒左右

图片

需要内存还是比较大的,会随着使用增多

没有加载模型前

图片

加载模型以后

图片

回复问题时

图片

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1718329.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ARM32开发——总线与时钟

🎬 秋野酱:《个人主页》 🔥 个人专栏:《Java专栏》《Python专栏》 ⛺️心若有所向往,何惧道阻且长 文章目录 APB总线时钟树时钟树 外部晶振内部晶振 在这个例子中,这条大街和巴士构成了一套系统,我们称之为AHB总线。 …

响应式界面控件DevExtreme - 更强的数据分析和可视化功能

DevExtreme拥有高性能的HTML5 / JavaScript小部件集合,使您可以利用现代Web开发堆栈(包括React,Angular,ASP.NET Core,jQuery,Knockout等)构建交互式的Web应用程序。从Angular和Reac&#xff0c…

新火种AI|OpenAI要和苹果合作了?微软有些不高兴

作者:一号 编辑:美美 和苹果之间的合作,可能会称为Altman引以为傲的功绩。 根据 The Information 援引知情人士的消息,OpenAI 已经和苹果达成了协议,将在其产品中运用 OpenAI 的对话式 AI。 如果进展顺利&#xff…

gitlab服务器迁移(亲测有效)

描述:最近公司迁移gitlab,我没有迁移过,经过网上查找资料最终完成迁移,途中也遇到挺多坑和两个问题,希望能帮到你。 新服务器安装gitlab 注意:新服务器gitlab版本也需要和旧版本一致。 首先查看原Gitlab…

12V转5V5A降压芯片:AH8317的全面解析

# 12V转5V降压芯片:AH8317的全面解析 在电子设计领域,电压转换器是不可或缺的组件之一,它们允许电子设备在不同的电源电压下稳定运行。今天,我们将深入探讨一款高性能的同步降压转换器——AH8317,它以其出色的性能和广…

连锁便利店水电远程抄表管理系统是什么?

一、系统概述 连锁便利店水电远程抄表管理系统是一种高效、智能化的解决方案,旨在优化便利店的能源管理,提高运营效率。它通过先进的技术手段,实现了对便利店水电用量的实时监控和远程抄表,大大降低了人工成本,提升了…

悬剑武器库5.04版

工具介绍 悬剑5 基于“悬剑网盘”精选工具集悬剑5“飞廉”云武器库制作。 操作系统:Windows 10 专业版 锁屏密码:secquan.org 解压密码: 圈子社区secquan.org 镜像大小:33.1GB 系统占用空间63.0 GB 镜像导入 下载镜像,文末…

vm:为虚拟机配置多个虚拟网卡(ubuntu20.04)

前言: 环境:虚拟机 ubuntu 20.04 要求:如标题,但是这里针对的是 ubuntu 20.04,对于其他操作系统,可以找一下其他操作系统对应的配置文件是什么 vm 添加虚拟网卡 首先进入 vm: 点击设置&#xf…

员工恶意删除公司数据怎么办,如何防范员工恶意删除公司数据

员工恶意删除公司数据怎么办,如何防范员工恶意删除公司数据 面对员工恶意删除公司数据的情况,企业应当采取一系列紧急且有序的应对措施,以最小化损失并确保业务连续性。以下是一套推荐的应对流程: 1.立即行动: 断开网…

freertos初体验 - 在stm32上移植

1. 说明 freertos内核 非常精简,代码量也很少,官方也针对主流的编译器和内核准备好了移植文件,所以 freertos 的移植是非常简单的,很多工具(例如CubeMX)点点鼠标就可以生成一个 freertos 的工程&#xff0…

【Python】解决Python报错:ModuleNotFoundError: No module named ‘xxx.yyy‘

🧑 博主简介:阿里巴巴嵌入式技术专家,深耕嵌入式人工智能领域,具备多年的嵌入式硬件产品研发管理经验。 📒 博客介绍:分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向…

VNC server ubuntu20 配置

介绍 最近想使用实验室的4卡服务器跑一些深度学习实验,因为跑的是三维建图实验,需要配上可视化界面,本来自带的IPMI可以可视化,但分辨率固定在640*480,看起来很别扭,就捣鼓服务器远程可视化访问了两天&…

无法删除dll文件

碰到xxxxxx.dll文件无法删除不要慌! 通过Tasklist /m dll文件名称 去查看它和哪个系统文件绑定运行,发现是explorer.exe。 我们如果直接通过del命令【当然需要在该dll文件所在的路径中】。发现拒绝访问 我们需要在任务管理器中,将资源管理器…

【开源】在线考试系统 JAVA+Vue.js+SpringBoot 新手入门项目

目录 一、项目介绍 二、项目截图 三、核心代码 【开源】在线考试系统 JAVAVue.jsSpringBoot 新手入门项目 一、项目介绍 经典老框架SSM打造入门项目《在线考试系统》,包括班级模块、教师学生模块、试卷模块、试题模块、考试模块、考试回顾模块,项目编…

采样频率低于“奈奎斯特频率”时发生的混叠现象(抽样定理与信号恢复实验)

混叠现象(Aliasing) 混叠现象发生在采样频率低于奈奎斯特频率时,即采样频率低于信号最高频率的两倍。此时,信号的高频成分会被错误地映射到低频范围内,导致无法正确重建原始信号。具体来说: 奈奎斯特频率…

6-Django项目--分页模块化封装参数共存

目录 utils/page_data.py 分页模块化封装 在app当中创建一个python package 在当前包里面创建py文件 参数共存 完整代码 utils/page_data.py --包里创建py文件. # -*- coding:utf-8 -*- from django.utils.safestring import mark_safe from copy import deepcopyclass…

怎么制作能下载文件的二维码?扫码实现文件下载的方法

现在很多人为了能够方便其他人查看文件,经常会将文件生成二维码图片后,将二维码分享给其他人扫码在手机上查看,这种方式既能够节省成本,又可以实现多人同时获取内容,有利于文件的快速分享。 在制作文件二维码的时候&a…

python数据集优化技巧:统一小分类的方法

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一、引言 二、统一小分类的需求与背景 三、统一小分类的步骤与方法 1. 数据集分析 2. 确…

renren-fast-vue启动报错

问题描述 拉取人人开源vue项目启动失败 报错信息 版本信息 序号名称版本号1node14.21.3 启动方案 1.拉取项目 git clone https://gitee.com/renrenio/renren-fast-vue.git 2.执行安装依赖命令 npm install 3.此时报错 chromedriver2.27.2 install: node install.js 4.手动…

二、线性回归模型

目录 一、线性回归 1.模型示例 2.代码实验(C1_W1_Lab03_Model_Representation) (1).工具使用 (2).问题描述-房价预测 (3).输入数据 (4).绘制数据集坐标点 (5).建模构造函数 二、代价函数(Cost function) 1.解释一下概念…