BigDL-LLM 安装指南——在iGPU集成显卡下使用BigDL-LLM大模型库加速LLM

news2024/10/5 22:21:45

文章目录

    • iGPU是什么？
    • 一、环境准备
      • 1.1 Visual Studio 2022 Community 安装
      • 1.2 安装或更新最新版本的GPU驱动程序
      • 1.3 安装英特尔oneAPI工具包2024.0版本
      • 1.4 安装Anaconda
    • 二、BigDL -LLM 安装
      • 2.1 创建虚拟环境
      • 2.2 激活虚拟环境
      • 2.3 安装bigdl-llm[xpu]
    • 三、运行环境配置
    • 四、安装验证
    • 五、本地测试下BigDL-LLM大模型
    • 参考资料

iGPU是什么？

首先，我们普及以下iGPU的概念， iGPU， 全称为集成图形处理单元（Integrated Graphics Processing Unit），是一种嵌入在中央处理器（CPU）内部的图像处理单元。

与独立显卡相比，iGPU通常性能较低，但它具有低功耗、低成本和便携性等优势。

iGPU内存是指集成显卡（iGPU）使用的内存，通常嵌入在CPU或APU芯片中，与CPU共享内存，用于处理图形和视频等任务。iGPU内存可以是动态随机存储器（DRAM）或静态随机存储器（SRAM）类型，DRAM类型的iGPU内存可以被访问和修改，而SRAM类型的iGPU内存速度更快，但容量通常较小且不可修改。iGPU内存的容量通常取决于使用的处理器型号和制造商，例如英特尔的iGPU内存容量通常在1GB到2GB之间，而AMD的iGPU内存容量则较高，通常在2GB到8GB之间。这次博主使用的iGPU是联想最新推出的2024款联想小新Pro 16寸。

该电脑配置有32G的运行内存，共享GPU内存更是高达16G，甚至还配置有16G的NPU。

在这里插入图片描述

一、环境准备

1.1 Visual Studio 2022 Community 安装

安装点击此处👉：Visual Studio 2022 Community安装链接

在这里插入图片描述
安装的时候将使用C++的桌面开发选项选中。注意：如果C盘空间充足就直接安装到C盘，实在太少就安装到其他盘，但是还需配置一遍环境变量比较麻烦。
在这里插入图片描述
然后点击右下角的安装即可（这里我已经安装成功，所以没有安装选项）。

1.2 安装或更新最新版本的GPU驱动程序

这个操作一般都不需要，买的新电脑驱动应该是最新版的，详细可见：[GPU和NPU驱动安装与配置说明]。(https://docs.openvino.ai/archive/2023.2/openvino_docs_install_guides_configurations_header.html)

1.3 安装英特尔oneAPI工具包2024.0版本

安装点击此处👉：oneAPI工具包安装链接
在这里插入图片描述
进来后选择操作系统，这里我们选Windows，以及Online install下载，也就是在线下载。
然后，翻到下面点击
在这里插入图片描述
这里可能浏览器会阻止弹窗，那就不能下载成功，可以将弹窗阻止关闭。

1.4 安装Anaconda

安装点击此处👉：最新版本Anaconda安装地址

注意：如果电脑内存有限，建议安装miniconda，方法差不多，具体教程可以自行上网搜索，本篇博客就不再详细叙述。
在这里插入图片描述

如果嫌下载慢的话，也可以使用清华大学的软件镜像网站，点击此处👉清华大学软件镜像网站地址
在这里插入图片描述

在这里插入图片描述
下载完成后，我们点击安装包，开始进行安装。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里可以换一下安装路径到D盘，默认的是C盘。
在这里插入图片描述
在这里插入图片描述
最新版本安装时间有点长，静静等待即可。

在这里插入图片描述
在这里插入图片描述
以上两个，取消勾选，不然会打开网站和Anaconda导航工具。

步骤如下：此电脑----->属性----->高级系统设置----->环境变量----->path----->编辑----->新建(好多软件都是这里配置环境变量，大家应该不陌生)，懒得话直接按win键，搜索“环境变量”。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置好环境以后，我们进行测试一下。
在这里插入图片描述
返回版本就说明已经配置成功。

二、BigDL -LLM 安装

首先，请先创建一个python 3.9环境，上面我们已经安装了Anaconda，这里直接使用。
请注意：bigdl-llm 支持python 3.9, 3.10以及3.11。为了最佳使用体验，建议使用 python 3.9版本。

2.1 创建虚拟环境

打开 Anaconda Prompt 先创建一个虚拟环境。

conda create -n bigdl_llm python=3.9 libuv

在这里插入图片描述

2.2 激活虚拟环境

conda activate bigdl_llm

在这里插入图片描述

2.3 安装bigdl-llm[xpu]

pip install --pre --upgrade bigdl-llm[xpu] -f https://developer.intel.com/ipex-whl-stable-xpu

在这里插入图片描述
注意：如果在 pip install --pre --upgrade bigdl-llm[xpu] -f https://developer.intel.com/ipex-whl-stable-xpu 的过程中遇到 IPEX等相关库的安装问题，可以选择下面任意一种方式完成相关依赖的安装。

  1. 使用命令：pip install --pre --upgrade bigdl-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/

  2. 在安装bigdl-llm前，您需要先运行下面指令，下载 torch/torchvision/ intel-extension-for-pytorch 的对应whl文件。

wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torch-2.1.0a0%2Bcxx11.abi-cp39-cp39-win_amd64.whl
wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torchvision-0.16.0a0%2Bcxx11.abi-cp39-cp39-win_amd64.whl
wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/intel_extension_for_pytorch-2.1.10%2Bxpu-cp39-cp39-win_amd64.whl

下载完成后，您可以直接通过whl文件安装相关依赖，并完成bigdl-llm的安装。

pip install torch-2.1.0a0+cxx11.abi-cp39-cp39-win_amd64.whl
pip install torchvision-0.16.0a0+cxx11.abi-cp39-cp39-win_amd64.whl
pip install intel_extension_for_pytorch-2.1.10+xpu-cp39-cp39-win_amd64.whl
pip install --pre --upgrade bigdl-llm[xpu]

请注意：以上提供的whl包下载链接是针对python 3.9环境的，如果您想使用python 3.10或python 3.11，请将whl包名字中的cp39改为cp310或cp311。

三、运行环境配置

为了在Core Ultra 平台上的 iGPU上运行BigDL-LLM，我们需要完成相关环境变量的配置。

请您在预备运行代码的CMD（PowerShell不支持以下命令）终端中运行以下命令:

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"

set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

在这里插入图片描述
注意事项：
1.每次重新打开终端时，请重新运行上面命令
2.每个新模型在iGPU上首次运行时，可能需要花费几分钟时间完成编译。

四、安装验证

完成安装后可以运行如下Python代码，以确保您已成功安装bigdl-llm及相关依赖，并完成了运行环境配置。运行后您应当看到这样的输出：torch.Size([1, 1, 40,40])

import torch
import intel_extension_for_pytorch as ipex
import linear_q4_0
 
tensor_1 = torch.randn(1, 1, 40, 128).to('xpu')
tensor_2 = torch.randn(1, 1, 128, 40).to('xpu')
print(torch.matmul(tensor_1, tensor_2).size())

在python里面运行的时候，import torch 就会报以下的错误：
在这里插入图片描述
原因是numpy的版本太高了，我们可以使用quit()退出python，适当降低numpy的版本为1.26.4，即：

pip install numpy==1.26.4

在这里插入图片描述
这时候看已经不报错了~

但是运行import intel_extension_for_pytorch as ipex的时候还是会出现警告，但是无伤大雅。
在这里插入图片描述
这时候再运行其它命令就不会出现错误内容了~
在这里插入图片描述

五、本地测试下BigDL-LLM大模型

首先下载BigDL-LLM代码，点击此处👉BigDL-LLM的Github链接。

下载完代码以后，我们进入到BigDL-main/BigDL-main/python/llm/example/GPU/PyTorch-Models/Model/chatglm3/generate.py目录下，看下代码可以发现，这里调用的是github上的ChatGLM3模型权重，需要加载，但是很慢。

在这里插入图片描述
这里我推荐大家直接去我们国内的ModelScope魔搭社区，进行模型的下载，我们可以使用git命令，直接下载到本地，具体方法相信不需要我说大家都知道。
在这里插入图片描述

全部下载到本地以后，我们使用CMD命令行来进行大模型的运行，因为涉及到了下面三行CMD代码的执行，所以直接在CMD命令行里面运行。

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"

set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

如果不运行上面三行代码，那么直接运行会进行报错。在这里插入图片描述
系统找不到该指定模块，但是我看我路径下确实有该文件，具体原因我上网尝试了很多方法都没解决（有大佬知道辛苦评论区指导~）。
在这里插入图片描述
我们直接进入到模型文件目录下，这次我用的是chatglm3b大模型。
在这里插入图片描述
然后输入cmd打开命令行。
在这里插入图片描述
记得每次打开新的命令行都需要重新输入以下三行命令：

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"

set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

在这里插入图片描述

然后输入conda activate bigdl_llm 激活虚拟环境，如果有人以前没有在cmd命令行里面激活过conda虚拟环境，可以输入conda init 初始化conda环境，将cmd名号了关闭后重新进入，再此输入激活虚拟环境命令进行激活。
在这里插入图片描述

然后输入 python generate.py 运行代码：

在这里插入图片描述
可以看到，推理时间只有短短2s左右，速度还是很快的。
以上是调用XPU的推理速度，下面我们看看CPU的推理速度。
在这里插入图片描述
可以看到，借助了BigDL-LLM大模型加速库的情况下，cpu推理时间为3秒左右。

推理的结果，可以通过调整参数--n-predict来进行控制，默认值为32，我们调整到64以后可以看到下面回答的更加完整了一点。
在这里插入图片描述

参考资料

  • BigDL-LLM 代码仓库https://github.com/intel-analytics/BigDL/

  • BigDL-LLM 教程https://github.com/intel-analytics/bigdl-llm-tutorial

  • 社区流行模型使用BigDL-LLM在Intel CPU和GPU上的使用实例https://github.com/intel-analytics/BigDL/tree/main/python/llm/example

  • BigDL-LLM 文档https://bigdl.readthedocs.io/en/latest/index.html

  • BigDL-LLM API文档https://bigdl.readthedocs.io/en/latest/doc/PythonAPI/LLM/index.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1523520.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Etcd 介绍与使用（入门篇）

Etcd 介绍与使用（入门篇）

etcd 介绍 etcd 简介 etc （基于 Go 语言实现，）在 Linux 系统中是配置文件目录名；etcd 就是配置服务； etcd 诞生于 CoreOS 公司，最初用于解决集群管理系统中 os 升级时的分布式并发控制、配置文件的存储与分…
阅读更多...
哔哩哔哩后端Java一面

哔哩哔哩后端Java一面

前言 作者：晓宜 个人简介：互联网大厂Java准入职，阿里云专家博主，csdn后端优质创作者，算法爱好者 最近各大公司的春招和实习招聘都开始了，这里分享下去年面试B站的的一些问题，希望对大家有所帮助…
阅读更多...
PLC_博图系列☞基本指令“RESET_BF”复位位域

PLC_博图系列☞基本指令“RESET_BF”复位位域

PLC_博图系列☞基本指令“RESET_BF”复位位域 文章目录 PLC_博图系列☞基本指令“RESET_BF”复位位域背景介绍RESET_BF：复位位域说明类型为 PLC 数据类型、STRUCT 或 ARRAY 的位域参数示例 关键字： PLC、 西门子、 博图、 Siemens 、 RESET_BF 背景…
阅读更多...
java 开发工具

java 开发工具

新建项目 打开idea选择 New Project 新建一个项目 左边选择 Java项目，右边选择Java版本 接着next 修改项目名称和保存路径，然后点击下面的 Finish 最终页面; 在 src 目录右键，新建一个包 在 src 目录右键，新建java 文件 有时候会需…
阅读更多...
Git全套教程一套精通git.跟学黑马笔记

Git全套教程一套精通git.跟学黑马笔记

Git全套教程一套精通git.跟学黑马笔记 文章目录 Git全套教程一套精通git.跟学黑马笔记1.版本管理工具概念2. 版本管理工具介绍2.1版本管理发展简史(维基百科)2.1.1 SVN(SubVersion)2.1.2 Git 3. Git 发展简史4. Git 的安装4.1 git 的下载4.2 安装4.3 基本配置4.4 为常用指令配置…
阅读更多...
智能工具柜-RFID智能工具柜管理系统

智能工具柜-RFID智能工具柜管理系统

RFID工具柜管理系统是一种便捷化的工具管理系统，它采用RFID技术实现信息化，可以大大提高工具管理的效率和准确性。 日常的工具管理也确实存在一定的管理问题，如工具管理效率低、管理不准确等。因此，采用RFID技术实现信息化已经成…
阅读更多...
【深度学习】深度估计，Depth Anything Unleashing the Power of Large-Scale Unlabeled Data

【深度学习】深度估计，Depth Anything Unleashing the Power of Large-Scale Unlabeled Data

论文标题：Depth Anything Unleashing the Power of Large-Scale Unlabeled Data 论文地址：https://arxiv.org/pdf/2401.10891.pdf 项目主页：https://depth-anything.github.io/ 演示地址：https://huggingface.co/spaces/LiheYoung…
阅读更多...
【Elasticsearch】windows安装elasticsearch教程及遇到的坑

【Elasticsearch】windows安装elasticsearch教程及遇到的坑

一、安装参考 1、安装参考：ES的安装使用(windows版) elasticsearch的下载地址：https://www.elastic.co/cn/downloads/elasticsearch ik分词器的下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases kibana可视化工具下载…
阅读更多...
火车订票管理系统|基于springboot框架+ Mysql+Java+B/S结构的火车订票管理系统设计与实现(可运行源码+数据库+设计文档)

火车订票管理系统|基于springboot框架+ Mysql+Java+B/S结构的火车订票管理系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 目录 前台功能效果图 管理员功能登录前台功能效果图 用户功能模块 系统功能设计 数据库E-R图设计 lunwen…
阅读更多...
【深度学习目标检测】二十三、基于深度学习的行人检测计数系统-含数据集、GUI和源码（python，yolov8）

【深度学习目标检测】二十三、基于深度学习的行人检测计数系统-含数据集、GUI和源码（python，yolov8）

行人检测计数系统是一种重要的智能交通监控系统，它能够通过图像处理技术对行人进行实时检测、跟踪和计数，为城市交通规划、人流控制和安全管理提供重要数据支持。本系统基于先进的YOLOv8目标检测算法和PyQt5图形界面框架开发，具有高效、准确、…
阅读更多...
[WUSTCTF2020]颜值成绩查询 --不会编程的崽

[WUSTCTF2020]颜值成绩查询 --不会编程的崽

这题也是一个很简单的盲注题目，这几天sql与模板注入做麻了，也是轻松拿捏。 它已经提示，enter number，所有猜测这里后台代码并没有使用 " 闭合。没有明显的waf提示， 但是or，and都没反应。再去fuzz一…
阅读更多...
C++17之std::variant

C++17之std::variant

1. std::variant操作 如下列出了为std:: variable <>提供的所有操作。
阅读更多...
Spring Boot整合STOMP实现实时通信

Spring Boot整合STOMP实现实时通信

目录 引言 代码实现 配置类WebSocketMessageBrokerConfig DTO 工具类 Controller common.html stomp-broadcast.html 运行效果 完整代码地址 引言 STOMP&#xff08;Simple Text Oriented Messaging Protocol&#xff09;作为一种简单文本导向的消息传递协议&#xf…
阅读更多...
基础---nginx 启动不了，跟 Apache2 服务冲突

基础---nginx 启动不了，跟 Apache2 服务冲突

文章目录 查看 nginx 服务状态nginx 启动后 访问页面 127.0.0.1停止 nginx 服务&#xff0c;访问不了页面停止/启动 Apache2 服务&#xff0c;启动 Apache2 页面访问显示正确nginx 莫名启动不了卸载 Apache2 服务器 启动 nginx &#xff0c;但是总是不能实现反向代理&#xff0…
阅读更多...
Java手写简易数据库--持续更新中

Java手写简易数据库--持续更新中

MYDB 0. 项目结构0.1 引用计数缓存框架为什么不使用LRU引用计数缓存缓存框架实现 0.2 共享内存数组 1. 事务管理器--TM1.1 XID 文件XID 规则XID 文件结构读取方式事务状态 1.2 代码实现 2. 数据管理器--DM2.1 页面缓存页面结构页面缓存数据页管理第一页普通页 2.2 日志文件 3. …
阅读更多...
Linux-新手小白速秒Hadoop集群全生态搭建（图文混编超详细）

Linux-新手小白速秒Hadoop集群全生态搭建（图文混编超详细）

在之前的文章中&#xff0c;我教会大家如何一步一步搭建一个Hadoop集群&#xff0c;但是只提供了代码&#xff0c;怕有些朋友会在一些地方产生疑惑&#xff0c;今天我来以图文混排的方式&#xff0c;一站式交给大家如何搭建一个Hadoop高可用集群包括&#xff08;HadoopHA&#…
阅读更多...
HTML基础：img图像标签的4个属性值详解

HTML基础：img图像标签的4个属性值详解

你好&#xff0c;我是云桃桃。今天来聊一聊图片标签。 语法 HTML <img> 标签用于在网页中插入图像&#xff0c;它是 HTML 中的一个自闭合标签。通过在网页中显示图像&#xff0c;可以丰富页面内容、传达信息和提升用户体验。 <img src"img/jay01.jpg" al…
阅读更多...
汽车IVI中控开发入门及进阶（十三）：语音识别

汽车IVI中控开发入门及进阶（十三）：语音识别

前言： IVI中控上的语音识别，在目前市场上也是非常显眼的一个创新，大幅改变了传统IVI的操作习惯。 语音识别Speech recognition，也称为自动语音识别（ASR）、计算机语音识别或语音到文本，是一种使程序能够将人类语音处理成书面格式的能力。 语音识别Speech recognition是计…
阅读更多...
【JACS】：用于稳定单原子分散的催化剂架构可对吸附到 Pt 原子、氧化 Pt 簇和 TiO2上金属 Pt 簇的 CO 进行特定位点光谱和反应性测量

【JACS】：用于稳定单原子分散的催化剂架构可对吸附到 Pt 原子、氧化 Pt 簇和 TiO2上金属 Pt 簇的 CO 进行特定位点光谱和反应性测量

摘要&#xff1a;氧化物负载的贵金属纳米粒子是广泛使用的工业催化剂。由于费用和稀有性&#xff0c;开发降低贵金属纳米颗粒尺寸并稳定分散物质的合成方案至关重要。负载型原子分散的单贵金属原子代表了最有效的金属利用几何结构&#xff0c;尽管由于合成均匀且稳定的单原子分…
阅读更多...
机器学习周记（第三十周：文献阅读-SageFormer）2024.3.11~2024.3.17

机器学习周记（第三十周：文献阅读-SageFormer）2024.3.11~2024.3.17

目录 摘要 ABSTRACT 1 论文信息 1.1 论文标题 1.2 论文摘要 1.3 论文背景 2 论文模型 2.1 问题描述 2.2 模型信息 2.2.1 Series-aware Global Tokens&#xff08;序列感知全局标记&#xff09; 2.2.2 Graph Structure Learning&#xff08;图结构学习&#xff09; …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023