可见光热红外图像融合算法设计

news2024/12/28 3:54:46

本设计方式中对于多源图像融合算法采用以下三个步骤进行:

  1. 多源图像目标特征提取;
  2. 多源图像配准;
  3. 多源图像融合。

1.多源图像目标特征提取

    多源图像的目标特征提取中,优先对目标图像进行预处理,对于可见光图像进行3D降噪与宽动态显示,提高信噪比。对热红外图像进行DDE增强。

红外图像有大动态范围的特点,尤其是在采用高精度数字采集电路对制冷探测器信号进行探测后,很难直观的进行成像。如果只是简单的对输出数据(14 位)进行简单的压缩处理,会严重损坏图像细节部分。传统的方法是对图像做直方图处理,包括直方图均衡、直方图投影和平台直方图处理。然而直方图容易造成过度增强、均匀区域噪声放大和漂白等不良效果。因此本设计采取一种新的图像增强算法,算法流程如下。

 图. 算法流程

算法处理过程主要分为 4 个步骤:

(a)采用分滤波器对图像进行分层处理。

利用引导滤波器对图像进行滤波处理,得到图像的背景层(BaseLayer)。

(b)对背景层进行直方图均衡处理,可选用高斯滤波做预处理。

(c)对细节层进行自增益增强,细节层图像有原始图像和背景层做差得到。

(d)图像按权值重建

运用上述算法对红外图像进行增强,对细节部分增强有很好的效果。

                     

图 增强对照图片,左侧为增强前图像,右侧为增强后图像

     预处理完成后对各个图像中进行特征的提取,特征提取算子采用SURF。SURF(加速稳健特征)算法,是加速版的 SIFT。在 SIFT中在构建尺度空间时使用 DoG对LoG进行近似。SURF使用盒子滤波器(box_filter)对LoG进行近似。下图显示了这种近似。

  在进行卷积计算时可以利用积分图像(积分图像的一大特点是:计算图像中某个窗口内所有像素和时,计算量的大小与窗口大小无关),是盒子滤波器的一大优点。而且这种计算可以在不同尺度空间同时进行。同样 SURF 算法计算关键点的尺度和位置是也是依赖与 Hessian 矩阵行列式的。

  为了保证特征矢量具有选装不变形,需要对于每一个特征点分配一个主要方向。需要以特征点为中心,以 6s(s 为特征点的尺度)为半径的圆形区域内,对图像进行 Harr 小波相应运算。这样做实际就是对图像进行梯度运算,但是利用积分图像,可以提高计算图像梯度的效率,为了求取主方向值,需要设计一个以方向为中心,张角为 60 度的扇形滑动窗口,以步长为 0.2 弧度左右旋转这个滑动窗口,并对窗口内的图像 Haar 小波的响应值进行累加。主方向为最大的 Haar 响应累加值对应的方向。在本应用中不需要旋转不变性,所以不需要确定它们的方向,如果不计算方向的话,又可以使算法提速成为无需方向不变形从而得到加速的 U-SURF,它具有更快的速度,同时保持了对 +/-15 度旋转的稳定性。

(2) 多源图像配准

由于图像来源的不一致,其信噪比、分辨率均有较大差异。因此对于配准来说提出来了较大的挑战。考虑到以上的因素,提出了基于全局相关性的centre-invariant尺度配准方法。Cross相关性来表述图像特征的近似程度。其公式如下:

其中CC代表两幅图像中的cross相关性,R,S代表两幅图像的特征表述图。

 代表两幅图像的差异,根据得出的值进行从大到小的排序后得出图像间的配准点。

对于光学物理特征的配准中基于光学镜头焦距反馈与图像实际放大倍数的计算转换。镜头光学焦距与放大倍数是非线性矩阵,采用视场角计算公式对应到放大倍数的计算中,公式如下:

水平视场角=2arctan(靶面宽/(2*焦距))

对应获取的焦距(反馈数值)与实际物体放大倍数(横轴)曲线如下图所示。

根据获取到的焦距,实际为电阻值,换算为放大倍数,对尺度先做一次调整,再根据上述提出的配准方法进行二次配准,以提高精度。

 (3)多源图像融合

多源图像融合过程是多源图像中的特征信息提取到同一幅图像中的方法,多源图像中不同的光照、大气环境等变化下有不同的特征表现,因此为了适应更多的复杂环境变化进行信息的融合以表现出更多的信息。多源图像经过配准后图像的尺度已经得到的匹配,思路上需要对图像进行背景图与细节图的分离。背景往往被认为是细节少的,代表光照、色彩(仅可见光)信息的部分。输入的图像矩阵为D∈RH×W,分离为特征矩阵A与稀疏矩阵E

稀疏矩阵E可以描述为凸优化问题:

 输入的两个多源图像可以描述为{DA,DB},DA,DB∈RH×W,分别得到稀疏矩阵EA,EB,对应的得到5×5区域下的方差矩阵VA,VB,以此作为融合的参考。

 此部分中WAB(i,j),我们称为决策图,在做图像融合的时候作为参考标准,得到融合后的图像FAB。相比较多种融合方法,提出的方法相比其他方法有更高的性能,如下。

LP

WT

NSCT

Ours

MSE

2.19

2.29

1.37

0.16

SNR

7.35

7.17

8.34

12.84

PSNR

20.68

20.49

22.72

32.05

Q

0.938

0.928

0.959

0.994

另一方面,相较于其他方法在噪声抑制能力上也表现出了更优的,有助于在夜晚环境、热红外图像的融合场景中。

原始图1

原始图2

LP

WT

Ours

5×5

8.76

12.45

26.30

22.24

17.50

10×10

11.52

14.93

26.24

26.68

17.10

 图  图像融合效果

 图  不同的融合后渲染效果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/75769.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

品牌势能铸就非凡经典,凯里亚德与郁锦香酒店亮相品牌沙龙会烟台站

近日,汇聚国内众多投资人的锦江酒店(中国区)品牌沙龙会烟台站顺利举行。本次沙龙活动以“齐风鲁韵 锦绘未来”为主题,锦江酒店(中国区)旗下众多优秀品牌共同亮相。凯里亚德酒店与郁锦香酒店在本次活动中向投资人展示了在如今复杂多变的酒店市场中如何以强…

Java面向对象:继承

面向对象三大特征之二:继承 目录 面向对象三大特征之二:继承 1.继承是什么: 2.继承的好处 继承概述的总结 1.什么是继承?继承有什么好处? 2.继承的格式是什么样的? 3.继承后子类的特点是什么&#x…

Docker介绍及项目部署

安装Docker 关闭SELINUX服务 SELINUX是CentOS系统捆绑的安全服务程序,因为安全策略过于严格,所以建议搭建关闭这项服务 修改/etc/selinux/config文件,设置SELINUXdisabled vim /etc/selinux/config # 设置SELINUXdisabled# 设置完成后重启…

[附源码]计算机毕业设计姜太公渔具销售系统Springboot程序

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

Crane如何做到利用率提升3倍稳定性还不受损?

作为云平台用户,我们都希望购买的服务器物尽其用,能够达到最大利用率。然而要达到理论上的节点负载目标是很的,计算节点总是存在一些装箱碎片和低负载导致的闲置资源。下图展示了某个生产系统的CPU资源现状,从图中可以看出&#x…

编译器设计(十二)——指令选择

文章目录一、简介二、代码生成三、扩展简单的树遍历方案四、通过树模式匹配进行指令选择4.1 重写规则4.2 找到平铺方案五、通过窥孔优化进行指令选择5.1 窥孔优化5.2 窥孔变换程序六、高级主题6.1 学习窥孔模式6.2 生成指令序列七、小结和展望一、简介 指令选择(in…

java面试题-并发

1. 并行和并发有什么区别? 并行:多个处理器或多核处理器同时处理多个任务。并发:多个任务在同一个 CPU 核上,按细分的时间片轮流(交替)执行,从逻辑上来看那些任务是同时执行。 如下图: 并发 两个队列和一…

从功能测试到自动化测试,待遇翻倍,我整理的超有用工作经验分享~

我想应该有很多测试人员应该有这样的疑虑,自动化测试要怎么去做,现在我把自己的一些学习经验分享给大家,希望对你们有帮助,有说的不好的地方,还请多多指教! 对于测试人员来说,不管进行功能测试还…

从股票市场选择配对的股票:理论联系实际

我们有了计算距离的方法,即共同因子相关系数的绝对值就是衡量协整性的一个好方法。现在看一些实际应用中会遇到的问题。 整合的特定回报的平稳性(Stationarity of Integration Specific Returns) 两个时间序列协整的必要条件是整合的特定回报时序是平稳…

k8s安装3节点集群Fate v1.7.2

采用k8s,而非minikube, 在3个centos系统的节点上安装fate集群。 集群配置信息 3节点配置信息如下图: 当时kubefate最新版是1.9.0,依赖的k8s和ingress-ngnix版本如下: Recommended version of dependent software: Kubernetes:…

Java编码的坑你知多少?

货币计算坑: 这段代码你认为结果是多少? 我们期望的结果是0.4,也应该是这个数字,但是打印出来的却是0.40000000000000036,这是为什么呢? 这是因为在计算机中浮点数有可能(注意是可能&#xff0…

Flask从入门到放弃(介绍、模版语法案例、配置文件、路由本质、CBV整体流程)

文章目录一、Flask介绍二、Flask快速使用三、Flask展示用户信息案例四、Flask配置文件五、路由系统1)路由系统2)路由本质3)Add_url_rule的参数六、Flask的CBV1)CBV的写法2)CBV添加装饰器3)as_view的执行流程…

排名前十的仓库管理系统大盘点(真实测评)!

通过本篇文章,您将了解以下问题:1、国内适合企业的仓库管理系统软件有哪些,排名怎么样?2、企业在选择仓库管理系统时应考虑哪些因素? 目前市场上有多种仓库管理系统,不同的仓库管理系统由于目标市场的不同…

dumi 如何使用?一文教你使用,高效写出你的博客、组件库文档

文章目录一、dumi介绍二、使用 dumi 的两种方式(着重在已成型项目中使用dumi)2.1、基于 dumi 官网带有的脚手架去进行开发2.2、在已成型的项目中引用 dumi 插件,运行项目2.3、dumi中使用scss2.4、如何在组件内写 tsx | md 文档2.4.1、button/…

DataX 二次开发支持 Oracle 更新数据

文章目录1、原理2、源码修改2.1 OracleWriter注释对writeMode的限制2.2 WriterUtil,增加oracle逻辑2.3 CommonRdbmsWriter.Task修改2.4 测试前文回顾: 《DataX 及 DataX-Web 安装使用详解》 《DataX 源码调试及打包》 《DataX-Web 源码调试及打包》 目前…

2022年四川建筑八大员(土建施工员)考试试题及答案

百分百题库提供建筑八大员(土建)考试试题、建筑八大员(土建)考试预测题、建筑八大员(土建)考试真题、建筑八大员(土建)证考试题库等,提供在线做题刷题,在线模拟考试&…

RabbitMQ基础概念

文章目录RabbitMQ介绍AMQPErlang架构模型PublisherConnectionChannelVirtual HostExchangeBindingConsumerRabbitMQ介绍 RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Er…

Qt-数据库开发-事务提交(3)

Qt-数据库开发-通过QSqlTableModel显示和修改数据,开启事务 文章目录Qt-数据库开发-通过QSqlTableModel显示和修改数据,开启事务1、概述2、实现效果3、主要代码4、完整源代码更多精彩内容👉个人内容分类汇总 👈👉数据库…

毕设选题推荐基于python的django框架的疫苗预约接种管理系统

💖🔥作者主页:计算机毕设老哥🔥 💖 精彩专栏推荐订阅:在 下方专栏👇🏻👇🏻👇🏻👇🏻 Java实战项目专栏 Python实…

新型网络接入控制技术

1.NAC技术 1.1简介 网络接入控制(Network Access Control,简称NAC)是由思科(Cisco)主导的产业级协同研究成果,NAC可以协助保证每一个终端在进入网络前均符合网络安全策略。NAC技术可以提供保证端点设备在接入网络前完全遵循本地网络内需要的安全策略&a…