通过特征值和特征向量实现的图像压缩和特征提取

news2025/3/16 13:57:52

        前文,我们在学习人工智能的线性代数基础的时候,就了解到,矩阵在人工智能中被广泛使用,接下来我们就从大家非常常见的图像开始,深度理解矩阵在人工智能中的应用。有关线性代数基础的文章可以看的我CSDN:人工智能中的线性代数基础详解-CSDN博客

        在图像处理和机器学习中,特征值和特征向量(尤其是奇异值分解,SVD)被广泛用于图像压缩和特征提取。接下来我们详细讲解图像压缩(通过SVD)和特征提取(通过PCA)的每一个步骤,包括数学原理、具体操作和示例。

一、图像压缩(通过奇异值分解,SVD)

        图像压缩的目标是减少图像数据的存储空间,同时尽量保留图像的主要信息。奇异值分解(SVD)是一种强大的工具,可以实现高效的图像压缩。SVD将A矩阵分解成三个其他矩阵的示意图如下(分两种情况):

1.数学原理

        一张图像可以表示为一个m×n 的矩阵 A,其中每个元素对应一个像素的灰度值或颜色值(注意这个不是彩色图像)。SVD将图像矩阵 A 分解为三个矩阵的乘积

其中:

  • U 是一个 m×m 的正交矩阵(即 U^{T}U=I),其列向量是 A 的左奇异向量,表示图像的行空间的基。

  • Σ 是一个 m×n 的对角矩阵对角线上的元素是奇异值 σ1​,σ2​,…,σk​,且 σ1​≥σ2​≥⋯≥σk,通常按从大到小的顺序排列​,表示每个基向量的重要性。

  • V 是一个 n×n 的正交矩阵(即 V^{T}V=I),其列向量是 A 的右奇异向量,表示图像的列空间的基。

        通过保留最大的几个奇异值及其对应的奇异向量,可以近似重构图像,从而实现压缩。例如:假设我们有一个 1080×1920 的图像矩阵 A。通过SVD分解后,我们发现前10个奇异值占据了大部分信息。因此,可以只保留前10个奇异值及其对应的奇异向量,将图像压缩为一个 1080×10 和 10×1920 的矩阵,大大减少了存储空间。

2.图像压缩的具体步骤

步骤1:图像矩阵化

        将图像数据表示为一个矩阵 A。对于灰度图像,每个像素的灰度值构成矩阵的一个元素;对于彩色图像,可以分别对RGB三个通道进行处理。

        示例:假设有一张 5×5 的灰度图像,其矩阵表示为:

步骤2:SVD分解

        对矩阵 A 进行SVD分解,得到 U、Σ 和V^{T}。分解的过程参照下图(网上下载的),其中的M为本文中的A。

       

        如何通过 SVD 分解得到奇异矩阵,以下是分解步骤:

        (1)计算 A^{T}AAA^{T}

        A^{T}AAA^{T}是对称矩阵,且它们的特征值和特征向量与 A 的奇异值和奇异向量有关。

        (2)求A^{T}AAA^{T}的特征值和特征向量

  • 计算A^{T}A的特征值和特征向量,得到矩阵 V 和奇异值的平方

  • 计算AA^{T}的特征值和特征向量,得到矩阵 U 和奇异值的平方

        (3)构造奇异值矩阵 Σ(注意是构造出来的,不是计算得到的)

  • 奇异值是A^{T}AAA^{T}的特征值的平方根。

  • 将奇异值按从大到小的顺序排列在对角矩阵 Σ 中。

        (4)构造正交矩阵 U 和 V

  • V 的列是A^{T}A的特征向量。

  • U 的列是AA^{T}的特征向量。

        (5)验证分解结果

  • 通过验证分解的正确性。

        以下是示例:假设分解结果为:

        其中三个矩阵分别为:

步骤3:选择重要的奇异值

        保留前 k 个最大的奇异值及其对应的奇异向量,其中 k 远小于 min(m,n)。这一步可以显著减少数据量。

        示例:假设我们选择 k=2(原本有5个),则新的矩阵为:

        其中:

        注意:Uk的列数跟Σk的列数相同,Vk的行数跟Σk的行数相同

以下为补充内容:

        在SVD分解后,确定保留的奇异值数量 k 是一个关键步骤,因为它直接影响到数据压缩或降维的效果。以下是几种常用的方法来确定 k 的值:

(1)累积能量百分比

        奇异值的平方通常表示矩阵的能量分布。通过计算累积能量百分比,可以选择一个 k,使得保留的奇异值能够解释大部分的能量(例如90%或95%)。

        累积能量百分比的步骤:

        1)计算所有奇异值的平方和

        2)计算每个奇异值的累积能量百分比:

        3)选择 k,使得累积能量百分比达到一个阈值(如90%)。

        示例: 假设奇异值为 σ1​,σ2​,…,σr​,当 k=10 时,累积能量百分比为92%,则可以选择 k=10。

(2)奇异值分布曲线

        通过绘制奇异值的分布曲线(通常是按降序排列的奇异值大小),观察奇异值的衰减情况。通常,奇异值会快速下降,形成一个“肘部”(elbow point),选择肘部位置作为 k 的值。

        示例: 在奇异值分布曲线上,当 k=20 时,奇异值的下降速度明显减缓,可以将 k 设为20。

(3)重构误差

        通过尝试不同的 k 值,计算重构矩阵与原始矩阵之间的误差(如均方误差MSE或Frobenius范数)。选择一个 k,使得重构误差在可接受范围内。

        重构误差的步骤:

        1)对于不同的 k,计算重构矩阵

        2)计算重构误差:

        3)选择一个 k,使得MSE小于某个阈值。

(4)基于应用需求

在某些应用场景中,可以根据实际需求选择 k。例如:

  • 在图像压缩中,选择较小的 k 可以显著减少存储空间,但可能会丢失一些细节。

  • 在图像去噪中,选择较小的 k 可以去除噪声,但可能会丢失一些高频细节。

步骤4:重构图像

        通过 Ak​ 近似重构图像。虽然 Ak​ 的维度比原始矩阵小,但可以通过以下公式重构近似图像:

        示例:重构后的图像矩阵为:

        其中\tilde{a}_{ij}是近似值。

步骤5:评估压缩效果

        通过比较原始图像和重构图像的差异(如均方误差MSE或峰值信噪比PSNR),评估压缩效果。

二、特征提取(通过主成分分析,PCA)

        特征提取是从原始数据中提取有意义的特征,以减少数据维度并提高模型性能。主成分分析(PCA)是一种基于特征值和特征向量的特征提取方法。

        假设我们有一组图像数据,每张图像有1000个像素。通过PCA,我们计算出协方差矩阵的特征值和特征向量,发现前50个特征值占据了大部分方差。因此,可以将每张图像投影到这50个特征向量上,将图像的维度从1000降为50,同时保留主要信息。

1.数学原理

        PCA通过将数据投影到方差最大的方向上,提取数据的主要特征,从而实现降维。其核心是通过协方差矩阵的特征值和特征向量来确定主成分。      

  PCA通过以下步骤实现特征提取:

步骤1:数据预处理(标准化数据

        将数据标准化,使每个特征的均值为0,方差为1。对于图像数据,可以将像素值归一化到 [0, 1] 或 [-1, 1]。

        示例:假设有一组图像数据 X,其中每一行是一个图像的像素向量。

步骤2:计算协方差矩阵

        协方差矩阵 C 表示数据特征之间的相关性:

        其中 n 是样本数量。

步骤3:求解特征值和特征向量

        计算协方差矩阵 C 的特征值 λi​ 和特征向量 vi​。特征值表示每个方向上的方差大小,特征向量表示数据的主要方向

        示例:假设特征值按大小排序为 λ1​≥λ2​≥⋯≥λd​,对应的特征向量为 v1​,v2​,…,vd​。

步骤4:选择主成分

        选择前 k 个特征值最大的特征向量作为主成分,构成投影矩阵 Vk​。

        示例:假设选择前2个主成分,则投影矩阵为:

步骤5:数据投影

        将原始数据 X 投影到主成分空间,得到降维后的数据 Y:

        示例:假设原始数据 X 是 m×d 的矩阵,投影后得到 m×k 的矩阵 Y。

步骤6:评估特征提取效果

        通过比较降维前后的数据,评估特征提取的效果。例如,可以通过重构误差或分类任务的性能来评估。

总结

  • 图像压缩:通过SVD分解图像矩阵,保留最大的几个奇异值及其对应的奇异向量,重构图像以实现压缩。

    • 将图像矩阵分解为

    • 保留前 k 个奇异值及其对应的奇异向量。

    • 通过近似重构图像。

    • 评估压缩效果。

  • 特征提取:通过PCA计算数据的协方差矩阵的特征值和特征向量,选择最重要的特征向量作为新的特征空间,实现降维。

    • 标准化数据。

    • 计算协方差矩阵并求解特征值和特征向量。

    • 选择前 k 个主成分。

    • 将数据投影到主成分空间。

    • 评估特征提取效果。

这两种方法都利用了特征值和特征向量的性质,分别在图像压缩和特征提取中发挥了重要作用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2316063.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【eNSP基础使用教程-1】

座右铭: 纵有疾风起,人生不言弃。 文章目录 前言一、更改设备名称指令1、双击路由器进入2、 进入系统视图3、更改设备名称为R14、使用同样的办法修改路由器R2、R3 二、配置路由物理接口的IP 地址1、查看R1路由器当前接口IP 地址配置与路由表2、查看路由器上的路由表…

机器学习常见激活函数

激活函数的作用 引入非线性因素 若神经网络仅由线性层构成,那么无论网络的层数有多少,其整体的输出依然是输入的线性组合。这样的网络只能拟合线性函数,在处理复杂的非线性问题(如语音识别、图像分类)时能力十分有限。…

netcore publish报错 error CS1056: Unexpected character

问题:jenkins netcore publish报错 检查文件编码,发现是:GB2312。转换为:UTF-8-BOM。 问题解决 。

网页制作14-Javascipt时间特效の显示动态日期

<!doctype html> <html> <head> <meta charset"utf-8"> <title>动态日期</title> </head><script>var today new Date();//获取时间var ytoday.getFullYear();//截取年var mtoday.getMonth();//截取月份,返回0~11v…

《高效迁移学习:Keras与EfficientNet花卉分类项目全解析》

从零到精通的迁移学习实战指南&#xff1a;以Keras和EfficientNet为例 一、为什么我们需要迁移学习&#xff1f; 1.1 人类的学习智慧 想象一下&#xff1a;如果一个已经会弹钢琴的人学习吉他&#xff0c;会比完全不懂音乐的人快得多。因为TA已经掌握了乐理知识、节奏感和手指…

【单片机】嵌入式系统的硬件与软件特性

嵌入式系统的软件结构 嵌入式系统的软件结构一般分为 不带操作系统&#xff08;Bare Metal&#xff09; 和 带操作系统&#xff08;RTOS / Linux&#xff09; 两种。不同的软件架构适用于不同的应用场景&#xff0c;如 简单控制系统、实时控制系统、物联网、工业自动化等。 嵌…

5G核心网实训室搭建方案:轻量化部署与虚拟化实践

5G核心网实训室 随着5G技术的广泛应用&#xff0c;行业对于5G核心网人才的需求日益增长。高校、科研机构和企业纷纷建立5G实训室&#xff0c;以促进人才培养、技术创新和行业应用研究。IPLOOK凭借其在5G核心网领域的深厚积累&#xff0c;提供了一套高效、灵活的5G实训室搭建方…

蓝耘MaaS平台:阿里QWQ应用拓展与调参实践

摘要&#xff1a;本文深入探讨了蓝耘MaaS平台与阿里QWQ模型的结合&#xff0c;从平台架构、模型特点到应用拓展和调参实践进行了全面分析。蓝耘平台凭借其强大的算力支持、弹性资源调度和全栈服务&#xff0c;为QWQ模型的高效部署提供了理想环境。通过细化语义描述、调整推理参…

在线 SQL 转 SQLAlchemy:一键生成 Python 数据模型

一款高效的在线 SQL 转 SQLAlchemy 工具&#xff0c;支持自动解析 SQL 语句并生成 Python SQLAlchemy 模型代码&#xff0c;适用于数据库管理、后端开发和 ORM 结构映射。无需手写 SQLAlchemy 模型&#xff0c;一键转换 SQL 结构&#xff0c;提升开发效率&#xff0c;简化数据库…

LLM本地化部署与管理实用工具实践记录

文章目录 前言OllamaQWen模型部署Python调用API AnythingLLM本地基础配置AI知识库检索 CherryStudio访问DeepSeek系统内置AI助手嵌入知识库文档 LLMStudio基础环境安装模型管理应用命令行的管理 总结 前言 发现好久没更新 CSDN 个人博客了&#xff0c;更多的是转移到了个人私有…

第十次CCF-CSP认证(含C++源码)

第十次CCF-CSP认证 分蛋糕满分题解 学生排队满分题解 Markdown语法题目解读满分代码 结语 分蛋糕 题目链接 满分题解 基本思路&#xff1a;我们需要保证除了最后一个小朋友之外的所有人&#xff0c;分得的蛋糕都大于等于给定的K值&#xff0c;为什么是大于等于&#xff0c;是…

windows 启用linux子系统不必再装双系统

搜索栏搜索:启用或关闭Windows功能,把下面3项勾选上: 若没有Hyper-V,则根据以下步骤添加: 在桌面新建一个txt文件,将下面的程序复制进去,之后修改文件后缀名为.bat 右键管理员运行即可。 pushd "%~dp0" dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.m…

lanqiaoOJ 1180:斐波那契数列 ← 矩阵快速幂

【题目来源】 https://www.lanqiao.cn/problems/1180/learning/ 【题目描述】 定义斐波那契数列数列为 F11&#xff0c;F21&#xff0c;FnFn-1Fn-2&#xff0c;n&#xff1e;2。 给定一个正整数 n&#xff0c;求 Fn 在模 10^97 的值。 【输入格式】 第1行为一个整数 T&#x…

go程序运行Spaitalite踩坑记录

Spatialite参考资料&#xff1a;8.1. 开源地理空间数据库 — Python与开源GIS Ubuntu安装SpaitaLite&#xff1a; apt-get install libspatialite7 libsqlite3-mod-spatialite apt-get install spatialite-bin 命令行打开数据库&#xff1a;spatialite xxx.db 执行一个空间函…

Everything搜索工具下载使用教程(附安装包),everything搜索工具文件快速查找

文章目录 前言一、Everything搜索工具下载二、Everything搜索工具下载使用教程 前言 Everything搜索工具能凭借文件名实时精准定位文件&#xff0c;接下来的教程&#xff0c;将详细为你呈现 Everything搜索工具的下载及使用方法&#xff0c;助你开启高效文件搜索的便捷之旅 。…

LeetCode 解题思路 17(Hot 100)

解题思路&#xff1a; 找到链表中点&#xff1a; 使用快慢指针法&#xff0c;快指针每次移动两步&#xff0c;慢指针每次移动一步。当快指针到达末尾时&#xff0c;慢指针指向中点。递归分割与排序&#xff1a; 将链表从中点处分割为左右两个子链表&#xff0c;分别对这两个子…

Qt程序基于共享内存读写CodeSys的变量

文章目录 1.背景2.结构体从CodeSys导出后导入到C2.1.将结构体从CodeSys中导出2.2.将结构体从m4文件提取翻译成c格式 3.添加RTTR注册信息4.读取PLC变量值5.更改PLC变量值 1.背景 在文章【基于RTTR在C中实现结构体数据的多层级动态读写】中&#xff0c;我们实现了通过字符串读写…

7-12 关于堆的判断

输入样例&#xff1a; 5 4 46 23 26 24 10 24 is the root 26 and 23 are siblings 46 is the parent of 23 23 is a child of 10输出样例&#xff1a; F T F T 这题是建最小堆&#xff0c;数据结构牛老师讲过这个知识点&#xff0c;但是我给忘了&#xff0c;补题搜了一下才解…

STM32 HAL库实战:高效整合DMA与ADC开发指南

STM32 HAL库实战&#xff1a;高效整合DMA与ADC开发指南 一、DMA与ADC基础介绍 1. DMA&#xff1a;解放CPU的“数据搬运工” DMA&#xff08;Direct Memory Access&#xff09; 是STM32中用于在外设与内存之间直接传输数据的硬件模块。其核心优势在于无需CPU干预&#xff0c;…

正点原子[第三期]Arm(iMX6U)Linux移植学习笔记-4 uboot目录分析

前言&#xff1a; 本文是根据哔哩哔哩网站上“Arm(iMX6U)Linux系统移植和根文件系统构键篇”视频的学习笔记&#xff0c;在这里会记录下正点原子 I.MX6ULL 开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了正点原子教学视频和链接中的内容。 引用&#xff1a; …