大模型本地化部署1-Ollama安装(Windows)

news2024/9/21 20:53:55

大模型本地化部署1-Ollama安装(Windows)

    • 1、下载Ollama安装包
    • 2、安装Ollama
    • 3、设置模型存放目录
    • 4、查看Ollama支持的模型
    • 5、模型安装
    • 6、查看已安装的模型列表
    • 7、运行一个模型
    • 8、设置Ollama允许外放访问

1、下载Ollama安装包

Ollama官网地址
https://ollama.com/
进入下载页面,如下图:
在这里插入图片描述
下载后的安装包如下图:
在这里插入图片描述

2、安装Ollama

双击OllamaSetup.exe,进行安装。

注意,在windows下安装时,是不允许选择安装位置的,默认是安装在系统盘的。
安装完毕后,打开终端进行验证,在终端中输入ollama

ollama

如果看到以下信息则说明安装成功
在这里插入图片描述

3、设置模型存放目录

在windows,ollama安装的模型,默认存放目录为C:/Users//.ollama/models
3.1、可以通过以下命令更改模型安装时的存放目录

# 只设置当前用户(需要先创建D:\ollama_models目录)
setx OLLAMA_MODELS "D:\ollama_models" 
# 为所有用户设置(需要先创建D:\ollama_models目录)
setx OLLAMA_MODELS "D:\ollama_models" /M

执行如下图:
在这里插入图片描述
3.2、重启终端(setx命令在windows中设置环境变量时,这个变量的更改只会在新打开的命令提示符窗口或终端会话中生效。)
3、重启ollama服务。

4、查看Ollama支持的模型

可以通过以下网址查看Ollama支持的模型列表:
https://ollama.com/library
如下图:
在这里插入图片描述
点击某个模型连接,比如qwen2,可以看到模型详细的介绍,如下图:
在这里插入图片描述

5、模型安装

可以通过以下命令进行模型安装

ollama pull qwen2

安装过程如下图:
在这里插入图片描述
在这里插入图片描述
安装完毕时如下:
在这里插入图片描述

6、查看已安装的模型列表

通过以下命令查看已安装的模型列表

ollama list

执行结果如下:
在这里插入图片描述

7、运行一个模型

通过以下命令运行一个模型

ollama run qwen2

启动后如下图:
在这里插入图片描述
然后就可以对话了,如下图:
在这里插入图片描述
在终端中退出对话和模型的运行,需要输入:

/bye

8、设置Ollama允许外放访问

1、默认情况下,在通过ollama运行一个模型时,默认的服务地址和端口为127.0.0.1:11434,可以通过以下命令看到。

ollama run --help

在这里插入图片描述
2、要想允许外部程序访问Ollama,需要把服务侦听的地址改为0.0.0.0:11434,在Windows下可以通过设置系统环境变量的方式修改,如下:
在这里插入图片描述
3、环境变量设置完毕后,需要重启ollama服务才能生效,ollama服务在启动的时候会读取这个环境变量的值,按这个值进行侦听。
由于windows下安装的ollama不是一个标准的windows service,所以智能直接结束连个ollama进程(先结束ollama app.exe,否则无法正常结束ollama.exe),如下图:
在这里插入图片描述
启动ollama可以从windows开始菜单中找到ollama,点击启动,如下图:
在这里插入图片描述
运行后会自动启动与Ollama相关的两个进程。其实,开始菜单中的Ollama就时Ollama app.exe,相当于ollama的守护进程,会自动监控ollama.exe的运行情况,如果发现ollama.exe结束后,会自动启动ollama.exe。
4、需要关闭终端重新启动终端,在新的终端中再运行模型。

ollama run qwen2

5、再新开一个终端,查看侦听的地址和端口

netstat -an

如下图:
在这里插入图片描述
则说明正确配置允许外部访问了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2095215.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【数据结构】二叉树基础(带你详细了解二叉树)

🌏个人博客主页:心.c ​ 前言:最近学习了二叉树,和大家分享一下我的理解和感悟,希望对大家有所帮助,话不多说,开整!!! 🔥🔥&#x1f5…

示波器测量交流市电的注意事项

先说结论: 测量交流电或者市电的时候,注意示波器的电源千万不要用那种带GND的三角插头,可以用双脚插头但要小心漏电,示波器外壳金属部分可能带电: 当示波器的探头探针接L,黑色架子接N,这个时候…

YOLOv8改进 | 模块缝合 | C2f融合卷积重参数化OREPA【CVPR2022】

秋招面试专栏推荐 :深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡 专栏目录 :《YOLOv8改进有效…

python自动化操作PDF,拆分pdf合并pdf,提取pdf内容

第三方库介绍 Python 操作 PDF 会用到两个库,分别是:PyPDF2 和 pdfplumber。 PyPDF2 可以更好的读取、写入、分割、合并PDF文件; pdfplumber 可以更好的读取 PDF 文件中内容和提取 PDF 中的表格,主要应用于机器生…

Redis基础知识学习笔记(二)

文章目录 一.Redis安装1.Windows 下安装1>资源管理器目录进入2>目录进入命令:3.配置环境变量 2.Linux 下安装1> 安装redis2> 启动redis3> 查看 redis 是否启动 二.Redis配置1. 查看配置2. 编辑配置3. 参数说明 三.Redis数据类型1. String(字符串&…

JVM学习《类加载运行-jvm内存模型》

目录 1.类加载过程 1.1 加载过程详解 1.2 类加载器 2.类加载器和双亲委派机制 3.JVM的内存模型 4.那些是GC Roots的对象有哪些? 1.类加载过程 通过类加载器加载主类到JVM,加载过程可以分为五个主要阶段:加载、验证、准备、解析、初始化。…

PyTorch中使用Transformer对一维序列进行分类的源代码

在PyTorch中使用Transformer对一维序列进行分类是一种常见做法,尤其是在处理时间序列数据、自然语言处理等领域。Transformer模型因其并行化处理能力和自注意力机制而成为许多任务的首选模型。 下面是一个使用PyTorch实现Transformer对一维序列进行分类的完整示例代…

ECC密码与RSA

一、ECC密码(椭圆曲线密码) 1.基本知识 定义: ECC 全称为椭圆曲线加密,EllipseCurve Cryptography,是一种基于椭圆曲线数学的公钥密码。与传统的基于大质数因子分解困难性的加密方法不同,ECC 依赖于解决椭圆…

@antv/x6 要求不显示水平滚动条,并且如果水平方向上显示不全的节点,则要求自动显示全部节点,垂直方向可以出现滚动条来滚动显示所有的节点。

1、要求一共有二个: 要求一:水平滚动条不显示。之前的文章中就已经发表过,可以用Scroller的className来处理。要求二:水平方向上显示全部节点,如果有显示不全的节点(即看不到的节点)要求能够显示…

asp.net实验:数据库写入不成功

🏆本文收录于《CSDN问答解惑-专业版》专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收…

国庆节微信头像怎么制作?制作国庆国旗节日头像的4个方法

国庆将至,不少朋友的微信头像都换成了渐变红旗头像,是不是觉得超酷呢?如果你也想拥有这样的头像,那就跟着这篇文章一起操作吧! 国庆节前夕,让我们先来了解一下如何制作渐变红旗头像。首先,我们需…

基于Python的Flask框架实战全流程从新建到部署【2】

本项目是基于win10系统运行以及操作的,部署在win7系统。 Flask 是一个轻量级的可定制框架,使用Python语言编写,较其他同类型框架更为灵活、轻便、安全且容易上手。 本文是flask框架实战项目,从新建、运行、测试、部署项目…

C/C++的内存分布、动态内存管理等的介绍

文章目录 前言一、C/C的内存分布二、C/C动态内存管理总结 前言 C/C的内存分布、动态内存管理等的介绍 一、C/C的内存分布 因为程序在运行过程中需要存储一些不同的数据,所以需要对内存空间进行分类 二、C/C动态内存管理 C语言动态内存管理是malloc / calloc / rea…

光降解水凝胶:三色光响应

大家好,今天来了解一种三色可见光波长选择性光降解水凝胶生物材料——《Tricolor visible wavelength-selective photodegradable hydrogel biomaterials》发表于《Nature Communications》,其交联剂Rubiq、Rubp和oNB对低能可见光(400 - 617n…

洛科威岩棉板重塑屋面应用,以多重优势成为“优选材料”

屋面作为建筑物的“外衣”,不仅承载着遮风挡雨的基本功能,更在保温隔热、防火安全、防潮隔音等方面发挥着举足轻重的作用。然而,面对极端气候、自然灾害以及日益严苛的环保标准,传统屋面材料逐渐暴露出其局限性,保温效…

JVM垃圾判定算法

垃圾收集技术是Java的一堵高墙。Java堆内存中存放着几乎所有的对象实例,垃圾收集器在对堆内存进行回收前,第一件事情就是要确定这些对象中哪些还存活,哪些已经死去(即不可能再被任何途径使用的对象)。也就是判定垃圾。…

STM32 使用8720 通过LWIP发送数据

一、硬件IOC 1、GPIO 2、NVIC 3、SYS 4、RCC 5、ETH 6、USART 7、LWIP 二、软件函数 1、Main /* USER CODE BEGIN Includes */ #include "ytcesys.h" /* USER CODE END Includes *//* USER CODE BEGIN 2 */ ethreset(); MX_LWIP_Init(); OPEN_USART1…

chunqiude

CVE-2022-28512 靶标介绍: Fantastic Blog (CMS)是一个绝对出色的博客/文章网络内容管理系统。它使您可以轻松地管理您的网站或博客,它为您提供了广泛的功能来定制您的博客以满足您的需求。它具有强大的功能,您无需接触任何代码即可启动并运…

【Java开发】Maven安装配置详细教程

原创文章,不得转载。 文章目录 产生背景用途安装配置本地仓库配置镜像 产生背景 在Java应用程序开发中,随着项目规模的不断扩大和复杂性增加,项目依赖的库、插件和配置文件也变得愈加复杂。传统的项目构建工具(如Ant)…

简单选择排序例题

从上面题目看出,如果排序方法可保证在排序前后排序码相同的相对位置不变,也就是四个选项里,21和21*之间不会交换 简单选择排序方法是:首先在所有记录中找到排序吗最小的记录,把它与第一个记录交换,然后在其…