国内环境也可以开发好玩的LLM应用 - 环境准备篇

news2024/7/6 19:13:59

在开发基于LLM(大语言模型)的AI应用前, 我们首先要准备好必要的环境. 主要就是Python环境以及大模型应用开发部署环境.

01 Python开发环境准备

Python开发环境有如下四种, 根据个人喜好选其一即可: 

  1. 本地安装Python及IDE, 适合学习测试开发;

  2. 本地安装Python环境, 使用Jupyter Notebook, 适合学习测试;

  3. 国内: 魔搭社区的JupyterLab(免费)

  4. 国外: Google的Colab或者Huggingface(免费)

本文记录前三种, 看下面的图文, 你一定能学会.

  • 方式1: 本地安装Python+IDE

    官网下载Python

    地址: https://www.python.org/downloads/

  • 如上图, 根据自己的系统, 选择对应的版本, 完事安装, 不用教了吧.但是, 一般不直接使用这种最原始的方式安装, 更方面的方式是使用Anaconda, 可以在本地创建多版本的Python环境, 并且Conda的包管理工具也很强大.下面就下载Anaconda

    地址: https://www.anaconda.com/download

    Jetbrains下载PyCharm

    地址: https://www.jetbrains.com/zh-cn/pycharm/download

    安装过程, 地球人都知道, 自己用就可以了想说明的是: 现在的PyCharm可以直接使用Jupyter Notebook, 比方法二的纯Python自带的Notebook更方便.

    • 方法2, 下载的Python并安装之后, 使用JupyterNotebook

    • 方式3, 国内魔搭社区的Notebook环境

    优点: 不需要在本地安装Python环境, 省事并且免费

    • 方式4: 国外的Colab与HuggingFace和国内的魔搭差不多.

      优点: 免费

      缺点: 有网关

      国内用不了, 就划线划掉了, 用国内的对于学习和生产也不影响.

      02 模型部署环境准备

      1. 付费部署: 国内的云厂商如阿里云

      2. 免费部署: 国外的Huggingface (有网关, 我访问不到)

      3. 免费部署: 国内的魔搭社区(CPU免费, GPU有限时间使用)

      • 方式1: 原厂商的GPU机器环境

      收费的, 如果你是生产需要, 选择有两个, 使用云厂商的环境, 或者自己购置环境. 

      • 方式2: 还是使用Huggingface

      有网关, 国内学习, 魔搭完全可以替代.

      • 方式3: 使用魔搭社区

      学习测试, 魔搭是个不错的选择, 如果觉得算力不够, 那么就自己买块GPU吧

      小结: 

      1, 本地使用Anaconda作为Python的环境与包管理工具;

      2, 在魔搭弄一个免费的环境, 作为学习和分享

      有了环境之后, 就可以开启基于大语言模型(LLM)的AI应用开发之旅了.

      在这里可以直接创建一个AI应用, 并对外提供服务, 有时间限制, 作为学习是个不错的选择.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1672622.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

享元模式详解

享元模式 1 概述 定义: ​ 运用共享技术来有效地支持大量细粒度对象的复用。它通过共享已经存在的对象来大幅度减少需要创建的对象数量、避免大量相似对象的开销,从而提高系统资源的利用率。 2 结构 享元(Flyweight )模式中存…

【卫星影像三维重建-全流程代码实现】点云Mesh重构

点云—>Mesh模型 1.介绍1.1 背景1.2 效果示意 2 算法实现2.1 依赖库2.2 实验数据2.3 代码实现2.4 实验效果 3.总结 1.介绍 1.1 背景 (1)本文主要内容是将三维点云(离散的三维点)进行表面重建生成Mesh网格,之前有篇…

UIKit常用API:Transform

需求 使用Transform系列的API,该API中提供了旋转、平移等功能。其中函数中带make的效果是只变化一次,不带make可变化多次。此外,还有恢复函数:CGAffineTransformIdentity。 代码实现 注意按钮绑定的是同一个响应事件&#xff0…

【AIGC】Mac Intel 本地 LLM 部署经验汇总(CPU Only)

书接上文,在《【AIGC】本地部署 ollama(gguf) 与项目整合》章节的最后,我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型,在非 Stream 模式下需要 89 秒才完成一轮问答,响应速度实在是太慢,后续需要想办法…

Qt与QWebEngineView 交互-调试窗口-JS拓扑图完整示例参考

1:介绍: Qt与QWebEngineView的交互 简介之前文章解释过,链接在下面 传送门:Qt与QWebEngineView 交互完整示例参考_qt qwebview-CSDN博客 一般在使用这种方式时,可能会出现各种问题而不好调试,如果能够像…

【C++】继承相关(基类与派生类的继承关系以及细节整理)

目录 00.引言 01.继承的定义 02.基类和派生类对象 03.继承中的作用域 04.派生类的默认成员函数 05.友元、静态成员 00.引言 继承是面向对象编程中的一个重要概念,它的作用是创建一个新的类,该类可以从一个已存在的类(父类/基类&#x…

sipeed 的 MaixCam显示图片

WiFi联网后,把固件升级到最新 一根tpyc-c连接线为MaixCam供电,点击液晶屏settings 在WiFi中设置确保联网,在更新MaixPy中升级固件 可以选择国内源加速,将固件升级到最新版 MaixVision的操作 1,在MaixVision左下角…

谷歌Gboard应用的语言模型创新:提升打字体验的隐私保护技术

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

C语言 | Leetcode C语言题解之第87题扰乱字符串

题目: 题解: struct HashTable {int key;int val;UT_hash_handle hh; };void modifyHashTable(struct HashTable** hashTable, int x, int inc) {struct HashTable* tmp;HASH_FIND_INT(*hashTable, &x, tmp);if (tmp NULL) {tmp malloc(sizeof(st…

【数据结构与算法 刷题系列】合并两个有序链表

💓 博客主页:倔强的石头的CSDN主页 📝Gitee主页:倔强的石头的gitee主页 ⏩ 文章专栏:数据结构与算法刷题系列(C语言) 目录 一、问题描述 二、解题思路详解 合并两个有序链表的思路 解题的步…

HTML飘落的花瓣

目录 写在前面 HTML​​​​​​​简介 完整代码 代码分析 系列推荐 写在最后 写在前面 本期小编给大家推荐HTML实现的飘落的花瓣,无需安装软件,直接下载即可打开~ HTML​​​​​​​简介 HTML(Hypertext Markup Language&#xff…

【Linux】文件描述符和重定向

目录 一、回顾C文件 二、系统文件I/O 2.1 系统调用 open 2.2 标志位传参 2.3 系统调用 write 2.4 文件描述符fd 2.5 struct file 2.6 fd的分配规则 2.7 重定向 2.7.1 基本原理: 2.7.2 系统调用 dup2 2.8 标准错误 一、回顾C文件 文件 内容 属性 对…

阿里云OSS配置跨域及域名访问

1、配置跨域 进入对象存储OSS–>OSS存储桶–>数据安全–>跨域设置–>创建规则 2、配置跨域 Etag x-oss-request-id3、配置结果如下 4、数据源配置 切换到数据管理–>静态页面 配置根页面 保存结果如下 5、配置域名访问 绑定域名 添加txt记录 验证绑定 …

【CSP CCF记录】202109-2 非零段划分

题目 过程 思路 参考:http://t.csdnimg.cn/XRKTm STL库用法 unique用法 unique是STL中很实用的函数之一,需要#include(感谢各位提醒),下面来简单介绍一下它的作用。 unique的作用是“去掉”容器中相邻元素的重复…

手机配置在线检测工具微信小程序源码

手机配置在线检测工具微信小程序源码,这是一款升级版检测工具,自动检测手机真伪,序列号等。另外还可以给手机检测各项功能是否正常。 由于能检测的项目太多,所以大家到时候自行研究吧。另外支持多做流量主模式,还有外卖CPS,和友情小程序推荐等&#xff…

Unity自定义动画-Animation动画数据-How is “fileIDToRecycleName“ generated

一般美术和程序分工明确的项目 fbx确实是和动画一一对应的; 但一些独立,或者小工作室的项目,就没法保证了,关键还是在于 Unity的 .meta 目录 查找和对比了一下 .fbx 和 .meta: 缓存和不缓存Animation 具体的Animat…

天诚AIoT无线联网智能门锁即将亮相成都安博会、永康门博会

5月上旬,对于江苏新巢天诚智能技术有限公司(以下简称“天诚”)而言,依旧忙得如火如荼。随着各地人才公寓、公租房、智慧校园类智慧通行与租住新项目的实施、落地与服务,天诚也不忘初心,携全新升级的AIoT全场…

DEV--C++小游戏(吃星星(0.5))

目录 吃星星(0.5) 该版本简介 DEV--C小游戏(吃星星(0.1)) DEV--C小游戏(吃星星(0.2)) 分部代码 头文件 命名空间变量(增) 副函数(新,增) 清屏函数 打印地图函数(增&…

d18(169-174)-勇敢开始Java,咖啡拯救人生

目录 特殊文件 .properties 属性文件 读取属性文件 写出属性文件 .xml XML文件 读取XML文件 ​编辑 写出XML文件 约束XML文件 日志技术 Logback 日志级别 特殊文件 .properties 属性文件 每行都是一个键值对 键不能重复 文件后缀一般是.properties 读取属性文件 …

记录一下 log4j的漏洞

目录 背景 bug的产生 bug复现 JNDI 网络安全学习路线 (2024最新整理) 学习资料的推荐 1.视频教程 2.SRC技术文档&PDF书籍 3.大厂面试题 特别声明: 背景 log4j这次的bug,我相信大家都已经知道了,仅以…