【scipy.sparse包】Python稀疏矩阵详解

news2024/9/19 10:52:36

【scipy.sparse包】Python稀疏矩阵

文章目录

  • 【scipy.sparse包】Python稀疏矩阵
    • 1. 前言
    • 2. 导入包
    • 3. 稀疏矩阵总览
    • 4. 稀疏矩阵详细介绍
      • 4.1 coo_matrix
      • 4.2 dok_matrix
      • 4.3 lil_matrix
      • 4.4 dia_matrix
      • 4.5 csc_matrix & csr_matrix
      • 4.6 bsr_matrix
    • 5. 稀疏矩阵的存取
      • 5.1 用save_npz保存单个稀疏矩阵
    • 6. 总结
    • 7. 参考

1. 前言

  1. 数组和矩阵是数值计算的基础元素。目前为止，我们都是使用NumPy的ndarray数据结构来表示数组，这是一种同构的容器，用于存储数组的所有元素。

  2. 有一种特殊情况，矩阵的大部分元素都为零，这种矩阵被称为稀疏矩阵。对于稀疏矩阵，将所有零保存在计算机内存中的效率很低，更合适的方法是只保存非零元素以及位置信息。于是SciPy应运而生，为稀疏矩阵的表示及其线性代数运算提供了丰富易用的接口。

2. 导入包

SciPy中提供了稀疏矩阵模块scipy.sparse，为稀疏矩阵的表示及其线性代数运算提供了丰富易用的接口。

import scipy.sparse as sp
import scipy.sparse.linalg
import scipy.linalg as la

3. 稀疏矩阵总览

There are seven available sparse matrix types:
    1. csc_matrix: Compressed Sparse Column format
    2. csr_matrix: Compressed Sparse Row format
    3. bsr_matrix: Block Sparse Row format
    4. lil_matrix: List of Lists format
    5. dok_matrix: Dictionary of Keys format
    6. coo_matrix: COOrdinate format (aka IJV, triplet format)
    7. dia_matrix: DIAgonal format
  1. sp.coo_matrix（坐标的列表）描述：将非零值及其行列信息保存在一个列表。构造简单，添加元素方便，但访问元素效率低下；
  2. sp.lil_matrix（列表的列表）：将每行的非零元素列索引保存在一个列表，将对应值保存在另一个列表。支持切片操作，但不方便进行数学运算；
  3. sp.dok_matrix（值的字典）：将非零值保存在字典，非零值的坐标元组作为字典的键。构造简单，可快速添加删除元素，但不方便进行数学运算；
  4. sp.dia_matrix（对角矩阵）：矩阵的对角线列表 。对于对角矩阵非常有效 ，但不适用非对角矩阵；
  5. sp.csc_matrix 和 sp.csr_matrix（压缩列格式和压缩行格式）：将值与行列索引的数组一起存储。对于矩阵的向量乘法很高效，但构造相对复杂；
  6. sp.bsr_matrix（块稀疏矩阵）：与CSR类似，用于具有稠密子矩阵的稀疏矩阵。对于此类特殊矩阵很高效，但不适用一般矩阵。

注意：

  • 为了有效地构建矩阵，使用dok_matrix或者lil_matrix，lil_matrix类支持基本的切片和索引操作，语法与NumPy的arrays相似。
  • COO格式也能有效率地构建矩阵。尽管与NumPy有许多相似性，但是强烈不建议使用NumPy的函数直接对稀疏矩阵格式进行操作，因为可能导致不正确的结果。如果将NumPy的函数用在这些矩阵上，首先检查SciPy在对应的稀疏矩阵类上有没有已经实现的操作，或者使用toarray()方法将稀疏矩阵对象转为NumPy的array。
  • 实现乘法与转置操作，则转为CSC或CSR格式，lil_matrix格式是基于行的，所以转为为CSR比CSC更有效率。所有的转换在CSR,CSC和COO格式之间都是有效的，线性时间操作。

4. 稀疏矩阵详细介绍

4.1 coo_matrix

coo_matrix是最简单的存储方式。采用三个数组row、col和data保存非零元素的行下标，列下标与值。这三个数组的长度相同一般来说，coo_matrix主要用来创建矩阵，因为coo_matrix无法对矩阵的元素进行增删改等操作，一旦创建之后，除了将之转换成其它格式的矩阵，几乎无法对其做任何操作和矩阵运算。
1
为了创建sp.coo_matrix对象，需要创建非零值、行索引以及列索引的列表或数组，并将其传递给生成函数sp.coo_matrix。

values = [1, 2, 3, 4]
rows = [0, 1, 2, 3]
cols = [1, 3, 2, 0]
A = sp.coo_matrix((values, (rows, cols)), shape=[4, 4])
A

2

>>> A.toarray()
array([[1, 0, 0, 0],
       [0, 0, 0, 2],
       [0, 0, 3, 0],
       [4, 0, 0, 0]])
>>> type(A)
<class 'scipy.sparse.coo.coo_matrix'>
>>> type(A.toarray())
<class 'numpy.ndarray'>

SciPy的sparse模块中稀疏矩阵的属性大部分派生自NumPy的ndarray对象，同时也包括nnz（非零元素数目）和data（非零值）等属性。

A.shape, A.size, A.dtype, A.ndim

3

A.nnz, A.data

在这里插入图片描述

对于sp.coo_matrix对象，还可以使用row和col属性来访问底层的行列坐标数组。

A.row, A.col

4.2 dok_matrix

dok_matrix适用的场景是逐渐添加矩阵的元素。dok_matrix的策略是采用字典来记录矩阵中不为0的元素。所以字典的key存的是记录元素的位置信息的元祖，value是记录元素的具体值。

>>> S = sparse.dok_matrix((5, 5), dtype=np.float32)
>>> for i in range(5):
    	for j in range(5):
        	S[i,j] = i+j    # 更新元素
>>> S.toarray()
[[0. 1. 2. 3. 4.]
 [1. 2. 3. 4. 5.]
 [2. 3. 4. 5. 6.]
 [3. 4. 5. 6. 7.]
 [4. 5. 6. 7. 8.]]
  • 优点：对于递增的构建稀疏矩阵很高效，比如定义该矩阵后，想进行每行每列更新值，可用该矩阵。当访问某个单元，只需要O(1)
  • 缺点：不允许重复索引（coo中适用），但可以很高效的转换成coo后进行重复索引。

4.3 lil_matrix

lil_matrix适用的场景也是逐渐添加矩阵的元素。与dok不同，lil_matrix则是使用两个列表存储非0元素。data保存每行中的非零元素,rows保存非零元素所在的列。这种格式也很适合逐个添加元素，并且能快速获取行相关的数据。

>>> l = sparse.lil_matrix((4, 4))
>>> l[1, 1] = 1
>>> l[1, 3] =2
>>> l[2, 3] = 3
>>> l.toarray()
array([[0., 0., 0., 0.],
       [0., 1., 0., 2.],
       [0., 0., 0., 3.],
       [0., 0., 0., 0.]])
>>> l.data
array([list([]), list([1.0, 2.0]), list([3.0]), list([])], dtype=object)
>>> l.rows
array([list([]), list([1, 3]), list([3]), list([])], dtype=object)
  • 优点：适合递增的构建成矩阵、转换成其它存储方式很高效、支持灵活的切片。
  • 缺点：当矩阵很大时，考虑用coo、算术操作，列切片，矩阵向量内积操作慢。

4.4 dia_matrix

如果稀疏矩阵仅包含非0元素的对角线，则对角存储格式(DIA)可以减少非0元素定位的信息量。这种存储格式对有限元素或者有限差分离散化的矩阵尤其有效。dia_matrix通过两个数组确定： data和offsets。其中data对角线元素的值；offsets：第i个offsets是当前第i个对角线和主对角线的距离。data[k:]存储了offsets[k]对应的对角线的全部元素。例子如下：
在这里插入图片描述

>>> data = np.array([[1, 2, 3, 4], [5, 6, 0, 0], [0, 7, 8, 9]])
>>> offsets = np.array([0, -2, 1])
>>> sparse.dia_matrix((data, offsets), shape=(4, 4)).toarray()
array([[1, 7, 0, 0],
       [0, 2, 8, 0],
       [5, 0, 3, 9],
       [0, 6, 0, 4]])

注意：offsets[0]=0表示第0个对角线与主对角线的距离为0，表示第0个对角线就是主对角线，data[0]就是第0个对角线的值。offsets[1]=-2表示第1个对角线与主对角线距离为-2，此时该对角线在主对角线的左下方，对角线上数值的数量为4-2=2，对应的值为data[1, :2+1]，此时data[1, 3:]为无效的值，在构造对角稀疏矩阵时不起作用。offsets[2]=1表示第2个对角线与主对角线距离为1，此时该对角线在主对角线的右上方，对角线上数值的数量为4-1=3，对应的值为data[2, 1:]，此时data[2, :1]为无效的值，在构造对角稀疏矩阵时不起作用。

4.5 csc_matrix & csr_matrix

csr_matrix是按行对矩阵进行压缩的，csc_matrix则是按列对矩阵进行压缩的。通过row_offsets,column_indices，data来确定矩阵。column_indices，data与coo格式的列索引与数值的含义完全相同，row_offsets表示元素的行偏移量。例子如下，

>>> indptr = np.array([0, 2, 3, 6])
>>> indices = np.array([0, 2, 2, 0, 1, 2])
>>> data = np.array([1, 2, 3, 4, 5, 6])
>>> csr_matrix((data, indices, indptr), shape=(3, 3)).toarray()
array([[1, 0, 2],
       [0, 0, 3],
       [4, 5, 6]])

注意：indices和data分别表示列索引和数据，第 i 行的列索引存储在indices[indptr[i]:indptr[i+1]] 中，对应的值为data[indptr[i]:indptr[i+1]]。即第0行的列索引为indices[0:2]=[0,2]，值为data[0:2]=[1,2]；第1行的列索引为indices[2:3]=[2]，值为data[2:3]=[3]…

CSR格式常用于读入数据后进行稀疏矩阵计算。

两者的优缺点互反：

  • CSR优点：高效的稀疏矩阵算术操作、高效的行切片、快速地矩阵向量内积操作；

  • CSR缺点：缓慢地列切片操作（可以考虑csc）、转换到稀疏结构代价较高（可以考虑lil，dok）。

  • CSC优点：高效的稀疏矩阵算术操作、高效的列切片、快速地矩阵向量内积操作（不如csr，bsr块）；

  • CSC缺点：缓慢地行切片操作（可以考虑csr）、 转换到稀疏结构代价较高（可以考虑lil，dok）。

4.6 bsr_matrix

基于行的块压缩,通过row_offsets，column_indices，data来确定矩阵。与csr相比，只是data中的元数据由0维的数变为了一个矩阵（块），其余完全相同。

>>> indptr = np.array([0,2,3,6])
>>> indices = np.array([0,2,2,0,1,2])
>>> data = np.array([1,2,3,4,5,6]).repeat(4).reshape(6,2,2)
>>> bsr_matrix((data,indices,indptr), shape=(6,6)).todense()
matrix([[1, 1, 0, 0, 2, 2],
        [1, 1, 0, 0, 2, 2],
        [0, 0, 0, 0, 3, 3],
        [0, 0, 0, 0, 3, 3],
        [4, 4, 5, 5, 6, 6],
        [4, 4, 5, 5, 6, 6]])

优点：很类似于csr，更适合于矩阵的某些子矩阵很多值，在某些情况下比csr和csc计算更高效。

5. 稀疏矩阵的存取

5.1 用save_npz保存单个稀疏矩阵

>>> scipy.sparse.save_npz('sparse_matrix.npz', sparse_matrix)
>>> sparse_matrix = scipy.sparse.load_npz('sparse_matrix.npz')

稀疏矩阵存储大小比较：

a = np.arange(100000).reshape(1000,100)
a[10: 300] = 0
b = sparse.csr_matrix(a)
# 稀疏矩阵压缩存储到npz文件
sparse.save_npz('b_compressed.npz', b, True)  # 文件大小：100KB
# 稀疏矩阵不压缩存储到npz文件
sparse.save_npz('b_uncompressed.npz', b, False)  # 文件大小：560KB
# 存储到普通的npy文件
np.save('a.npy', a)  # 文件大小：391KB
# 存储到压缩的npz文件
np.savez_compressed('a_compressed.npz', a=a)  # 文件大小：97KB

对于存储到npz文件中的CSR格式的稀疏矩阵，内容为：

data.npy
format.npy
indices.npy
indptr.npy
shape.npy

6. 总结

  • 加载数据文件时使用coo_matrix快速构建稀疏矩阵，然后调用to_csr()、to_csc()、to_dense()把它转换成CSR或稠密矩阵(numpy.matrix)。
  • coo_matrix格式常用于从文件中进行稀疏矩阵的读写，而csr_matrix格式常用于读入数据后进行稀疏矩阵计算。

7. 参考

【1】https://blog.csdn.net/winycg/article/details/80967112
【2】https://blog.csdn.net/vor234/article/details/124935384

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/342432.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

MATLAB 遗传算法

MATLAB 遗传算法

✅作者简介&#xff1a;人工智能专业本科在读&#xff0c;喜欢计算机与编程&#xff0c;写博客记录自己的学习历程。 &#x1f34e;个人主页&#xff1a;小嗷犬的个人主页 &#x1f34a;个人网站&#xff1a;小嗷犬的技术小站 &#x1f96d;个人信条&#xff1a;为天地立心&…
阅读更多...
CSS布局之详解

CSS布局之详解

在开发前端的时候&#xff0c;界面布局尤为重要&#xff0c;要布局的非常合理&#xff0c;好看&#xff0c;css是必不可少的&#xff0c;然后是各种布局&#xff0c;使用这些布局&#xff0c;进行混合搭配&#xff0c;最终的目的都是开发一个完整的界面。前端的技术变化是五花八…
阅读更多...
mybatis-plus ---1

mybatis-plus ---1

mybatis-plus 在mybatis的基础上只做加强&#xff0c;不做删减。 一个简单的mybatis-plus案例 结构图 创建一个springboot工程 添加依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0…
阅读更多...
Linux（Linux各目录结构详解）

Linux（Linux各目录结构详解）

我们知道Linux系统是一个文件系统&#xff0c;它的文件系统就类似windows系统下的磁盘文件系统。 我们连接上一台linux系统的服务器。 输入命令 &#xff1a; ls / 我们可以看到 linux系统的根目录下有这些目录 bin boot data dev etc hbr home lib lib64 lostfoun…
阅读更多...
【前端】参考C站动态发红包界面，高度还原布局和交互

【前端】参考C站动态发红包界面，高度还原布局和交互

最近有些小伙伴咨询博主说前端布局好难&#xff0c;其实都是熟能生巧&#xff01; 模仿C站动态发红包界面&#xff0c;cssdiv实现布局&#xff0c;纯javascript实现交互效果 目录 1、界面效果 2、界面分析 2.1、整体结构 2.2、标题 2.3、表单 2.4、按钮 3、代码实现 3.…
阅读更多...
【目标检测】如何使用Yolov8

【目标检测】如何使用Yolov8

如何使用Yolov8一、前言二、用法2.1 安装2.2 使用方法2.3 模型2.3.1 目标检测2.3.2 实例分割2.3.3 分类一、前言 一种易于使用的新的对象检测模型。 由 Ultralytics 开发的 Ultralytics YOLOv8 是一种尖端的、最先进的 (SOTA) 模型&#xff1a; https://github.com/ultralyt…
阅读更多...
前端调试2

前端调试2

一、用chrome调试(node.js)例&#xff1a;const fs require(fs/promises);(async function() {const fileContent await fs.readFile(./package.json, {encoding: utf-8});await fs.writeFile(./package2.json, fileContent); })();1.先 node index.js 跑一下&#xff1a;2.然…
阅读更多...
并发包工具之 批量处理任务 CompletionService（异步）、CompletableFuture（回调）

并发包工具之 批量处理任务 CompletionService（异步）、CompletableFuture（回调）

文章目录一、处理异步任务并获取返回值——CompletionService二、线程池三、Callable 与 Future四、通过回调方式处理可组合编排任务——CompletableFuture一、处理异步任务并获取返回值——CompletionService 特点描述&#xff1a; 对于比较复杂的计算&#xff0c;把…
阅读更多...
dfs（九）字符串的全排列

dfs（九）字符串的全排列

字符串的排列_牛客题霸_牛客网【牛客题霸】收集各企业高频校招笔面试题目&#xff0c;配有官方题解&#xff0c;在线进行百度阿里腾讯网易等互联网名企笔试面试模拟考试练习,和牛人一起讨论经典试题,全面提升你的技术能力https://www.nowcoder.com/practice/fe6b651b66ae47d7ac…
阅读更多...
Windows 安装Tomcat

Windows 安装Tomcat

版本:tomcat8.5jdk-8u231一.解压JDK安装包 更换JDK安装路径二.解压安装Tomcat 选择jdk安装路径更换tomcat安装路径三.设置环境变量 1.“环境变量”界面中系统变量点击”新建“&#xff0c;创建CATALINA_HOMEC:\RESSET\tomcat&#xff08;Tomcat服务器的根目录&#xff09;2.创建…
阅读更多...
电脑录屏win+g没反应怎么办？打开这2个开关，就能解决

电脑录屏win+g没反应怎么办？打开这2个开关，就能解决

有不少的小伙伴在使用电脑自带的录屏软件的时候&#xff0c;发现录屏快捷键wing没反应了。电脑录屏wing没反应怎么办&#xff1f;解决办法很简单&#xff0c;只需要打开2个开关&#xff0c;就能够快速解决&#xff0c;一起来看看吧&#xff01; 一、电脑录屏wing没反应怎么办&a…
阅读更多...
响应式布局之viewport-超级简单

响应式布局之viewport-超级简单

之前文章CSS布局之详解_故里2130的博客-CSDN博客 上面的文章可以实现响应式布局&#xff0c;根据浏览器的大小变化而变化&#xff0c;但是相对于viewport来说&#xff0c;之前的还是有点复杂&#xff0c;而使用viewport更加的简单。 当我们使用amfe-flexible的时候&#xff0…
阅读更多...
记录ideal中使用springboot遇到的问题

记录ideal中使用springboot遇到的问题

持续记录&#xff0c;避免反复查找资料 选择Maven构建项目 创建springboot项目时&#xff0c;【Project Metadata页】的Type选项默认是Gradle&#xff0c;如果要使用Maven需要修改选项&#xff0c;如下图 mysql依赖包直接在pom.xml中添加 创建时在对话框中勾选【Mysql Driver】…
阅读更多...
两个月，测试转岗产品经理，我是怎么规划的？

两个月，测试转岗产品经理，我是怎么规划的？

​本期同学依旧来自深圳 测试到产品转变&#xff0c;用了两个月 本周&#xff0c;为大家介绍M同学的佛系转岗经历 学员档 学员档案 原岗位&#xff1a;测试 转岗级别&#xff1a;中级产品经理 转岗特点&#xff1a; 1.未接触产品工作 2.对岗位地点要求严格 先看结果 …
阅读更多...
浅显易懂的说清楚小游戏与H5游戏的技术区别

浅显易懂的说清楚小游戏与H5游戏的技术区别

从“跳一跳”到“羊了个羊”微信小游戏上线4年时间&#xff0c;除了涌现出不少火爆全网的小游戏之外&#xff0c;也有类似于“动物餐厅”、“口袋奇兵”等游戏得以在此孵化繁荣&#xff0c;凭借着微信强大的社交属性小游戏成为游戏厂商在桌面端、App 端、H5 端之外争夺的另一个…
阅读更多...
40个改变你编程技能的小技巧！

40个改变你编程技能的小技巧！

40个改变编程技能的小技巧 1、将大块代码分解成小函数 2、今日事今日毕&#xff0c;如果没毕&#xff0c;就留到明天。 如果下班之前还没有解决的问题&#xff0c;那么你需要做的&#xff0c;就是关闭电脑&#xff0c;把它留到明天。 中途不要再想着问题了&#xff01; 3、…
阅读更多...
【LeetCode】不同的二叉搜索树 [M]（卡特兰数）

【LeetCode】不同的二叉搜索树 [M]（卡特兰数）

96. 不同的二叉搜索树 - 力扣&#xff08;LeetCode&#xff09; 一、题目 给你一个整数 n &#xff0c;求恰由 n 个节点组成且节点值从 1 到 n 互不相同的 二叉搜索树 有多少种&#xff1f;返回满足题意的二叉搜索树的种数。 示例 1&#xff1a; 输入&#xff1a;n 3 输出&a…
阅读更多...
学会使用LoadRunner录制脚本

学会使用LoadRunner录制脚本

1.LoadRunner安装 https://blog.csdn.net/weixin_48584088/article/details/129012469 2.Loadrunner的基本概念 LoadRunner是一种适用于许多软件体系架构的自动负载测试工具&#xff0c;从用户关注的响应时间、吞吐量&#xff0c; 并发用户和性能计数器等方面来衡量系统的性…
阅读更多...
Linux数据流重定向

Linux数据流重定向

数据流重定向就是将某个命令执行后应该要出现在屏幕上的数据&#xff0c;给它传输到其他地方去 如果我们要执行一个命令&#xff0c;它通常是这样的&#xff1a; 标准输入、输出、错误stdin标准输入0stdout标准输出1stderr标准错误输出2标准输入&#xff08;stdin&#xff09;…
阅读更多...
ESP-IDF:使用多任务测试互斥体mutex

ESP-IDF:使用多任务测试互斥体mutex

代码&#xff1a; #include <stdio.h> #include “sdkconfig.h” #include “freertos/FreeRTOS.h” #include “freertos/task.h” #include “freertos/semphr.h” #include “esp_system.h” #include “esp_spi_flash.h” /互斥体测试/ SemaphoreHandle_t xmutex; …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023