🏡作者主页：点击！
🤖AI大模型部署与应用专栏：点击！
🤖Ollama部署LLM专栏：点击！
⏰️创作时间：2024年6月4日10点50分
🀄️文章质量：96分
目录
💥Ollama介绍
➡️主要特点
➡️主要优点
🎊Gemma模型
➡️特点
🤖部署教程
1.下载Ollama
2.下载Gemma的大模型
主要版本及其特点
1. Gemma Latest
2. Gemma 7B
3. Gemma 2B
4. Gemma Instruct
5. Gemma Text
6. Gemma v1.1
🎁第一种下载方式
🎁第二种方式下载
🎁注意事项
💥Ollama介绍
Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。
➡️主要特点
简化部署: Ollama 使用 Docker 容器技术来简化大型语言模型的部署和管理。用户只需简单的命令即可启动和停止模型，而无需担心底层的复杂性。
丰富的模型库: Ollama 提供了丰富的预训练模型库，涵盖了各种自然语言处理任务，如文本生成、翻译、问答等。用户可以轻松地选择和使用所需的模型。
跨平台支持: Ollama 支持多种操作系统，包括 Windows、macOS 和 Linux，使其能够满足不同用户的需求。
灵活的自定义: Ollama 提供了灵活的自定义选项，允许用户根据自己的需求调整模型的行为。
➡️主要优点
离线使用: Ollama 可以让用户在离线环境下使用LLM，这对于隐私敏感或网络连接不稳定的情况非常有用。
降低成本: Ollama 可以帮助用户降低使用LLM的成本，因为它避免了云服务的高昂费用。
提高安全性: Ollama 可以提高LLM使用的安全性，因为它允许用户完全控制自己的数据和模型。
应用场景
研究和教育: Ollama 可以用于自然语言处理、机器翻译、人工智能等领域的教学和研究。
开发和测试: Ollama 可以用于开发和测试新的自然语言处理应用程序。
个人使用: Ollama 可以用于个人创作、娱乐等目的
示例模型
以下只是部分模型：
| Model | Parameters | Size | Download |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
| Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
🎊Gemma模型
谷歌的Gemma AI模型是一个多版本的开放式人工智能系统，旨在处理各种复杂的任务，如自然语言处理、计算机视觉、生成模型等。Gemma AI模型在不同版本之间具有不同的功能和性能，以满足不同的需求和计算资源。
➡️特点
高性能:Gemma在多个基准测试中展现出优秀的性能,能够生成高质量的自然语言内容。
多任务学习:Gemma通过在多个任务上进行联合训练,学习到了通用的语言理解和生成能力。
安全可靠:Gemma被设计具有较高的安全性,可以避免产生有害或不恰当的输出。
可解释性:Gemma模型的内部工作机制相对更加透明,便于理解和分析。
开放获取:Gemma模型的一些版本已经对外开放,研究人员和开发者可以获取使用。
🤖部署教程
1.下载Ollama
官网地址：点击跳转！
下一步默认下载即可过程十分简单就不演示了
2.下载Gemma的大模型
点击官网的右上角Models
选择对应的模型根你的电脑|服务器性能来选择，这里我选择7b的模型来测试
主要版本及其特点
1. Gemma Latest
- 描述：最新版本的Gemma AI模型，包含最新的优化和改进。
- 性能：通常是所有版本中性能最强的，能够处理最复杂的任务。
- 应用场景：适用于需要高精度和高效率的任务，如实时语言翻译、复杂的对话系统、详细的文本分析等。
- 硬件要求：
- CPU：多核高性能处理器（如Intel Xeon或AMD EPYC）
- 内存：64GB RAM或更多
- 存储：至少1TB的可用存储空间
- GPU：顶级显卡
2. Gemma 7B
- 描述：参数量为70亿的模型版本，平衡了性能和计算资源需求。
- 性能：适合中等规模的任务，能够提供高质量的输出，但对计算资源的要求较低。
- 应用场景：用于中等复杂度的任务，如高级文本生成、图像识别和中等规模的数据处理。
- 硬件要求：
- CPU：八核处理器（如Intel i7或AMD Ryzen 7）
- 内存：16GB RAM
- 存储：至少200GB的可用存储空间
- GPU：中高端显卡
3. Gemma 2B
- 描述：参数量为20亿的模型版本，适用于基础的AI任务。
- 性能：可以高效地处理基础任务，资源消耗较少。
- 应用场景：适用于简单的文本生成、基础数据分析和基本对话系统。
- 硬件要求：
- CPU：四核处理器（如Intel i5或AMD Ryzen 5）
- 内存：8GB RAM
- 存储：至少100GB的可用存储空间
- GPU：入门级显卡
4. Gemma Instruct
- 描述：专门优化用于指令跟随任务的模型版本。
- 性能：在任务指令执行和精确回答问题方面表现优异。
- 应用场景：用于构建高效的对话系统、问答系统和智能助理。
- 硬件要求：
- CPU：六核处理器（如Intel i7或AMD Ryzen 5）
- 内存：16GB RAM
- 存储：至少150GB的可用存储空间
- GPU：中端显卡（如NVIDIA RTX 3060）
5. Gemma Text
- 描述：专注于文本生成和自然语言处理任务的模型版本。
- 性能：在生成高质量文本和处理语言任务方面表现卓越。
- 应用场景：用于自动写作、内容生成、文本摘要和语言翻译。
- 硬件要求：
- CPU：六核处理器（如Intel i7或AMD Ryzen 5）
- 内存：16GB RAM
- 存储：至少150GB的可用存储空间
- GPU：中端显卡
6. Gemma v1.1
- 描述：Gemma模型的第一个主要版本更新，包含显著改进和优化。
- 性能：相比初始版本具有更好的性能和更高的效率。
- 应用场景：广泛应用于各类任务，包括文本生成、数据分析和对话系统。
- 硬件要求：
- CPU：八核处理器（如Intel i7或AMD Ryzen 7）
- 内存：16GB RAM
- 存储：至少200GB的可用存储空间
- GPU：中高端显卡
以上只作为参考建议，具体根据官网查
这里我选择7b的模型来测试
有两种下载方式你可以通过
🎁第一种下载方式
命令行（打开cmd）输入官网复制的命令
在命令行输入 以下命令 等待时长即可下载完成
ollama run gemma:7b🎁第二种方式下载
基于OpenWebUI下载
首先需要安装Docker容器（自行了解安装，去官网下载步骤也是十分的简单）
复制这条命令( Ollama 在您的计算机上使用以下命令)
不同的条件下，有不同的命令，详细见开源地址所述
官网地址：点击跳转！
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待完成即可
安装完成之后访问本地的3000端口
也可以点击自己的Docker，点击访问即可
先点击左下角的设置改为中文简体（方便观看）
点击模型这边下载Gemma 复制官网的运行地址也就是命令输入的命令
此刻只需等待完成即可
下载完成之后上边会显示（你所下载的大模型）
简单的提问
电脑性能越高回答的速度就越快
问题：谈谈你对于AI大爆发的看法
回答
工智能大爆发的看法：
人工智能（AI）大爆发将对人类社会产生深远的影响，并带来各种机遇和挑战。
积极影响：
**提高生产力：**AI工具可以自动化许多任务，提高工作效率和生产力。
**提高生活水平：**AI技术可以提供个性化医疗保健、交通和购物体验。
**解决重大问题：**AI可以帮助解决全球性挑战，例如气候变化和疾病。
**创造新就业机会：**AI技术将创造新的就业机会，以支持新技术和创新。
负面影响：
**就业损失：**AI工具可能会导致某些工作被自动化，并导致就业损失。
**社会影响：**AI技术可能会导致社会分化和个人数据隐私问题。
**伦理问题：**AI工具的应用引入了伦理问题，例如 bias 和可持续性。
**人类社会：**AI技术可能会对人类社会产生深远的影响，并改变人类与机器的互动方式。
可能性：
**混合工作模式：**AI技术可以与人类工作相辅相成，以提高效率和生产力。
**个人定制：**AI技术可以提供个性化产品和服务，以满足个人的需求和喜好。
**社会协作：**AI技术可以帮助人类解决复杂的问题，并改善人类生活。
结论：
AI大爆发将对人类社会产生深远的影响，既有积极的影响也有负面影响。重要的是要负责任地应用 AI 技术，以最大限度地提高其益处，同时缓解潜在的风险。可以看出回答的也是十分的全面详细，并且做出相应的总结
但是在回答问题的过程中会占用你的CPU和内存
🎁注意事项
根据电脑性能，来下载对应的大模型
如果是服务器的话，可根据开源地址所说明下载
