[C#]使用深度学习算法opencvsharp部署RecRecNet广角图像畸变矫正校正摄像广角镜头畸变图像

news2024/10/7 4:28:22

【论文地址】

https://arxiv.org/abs/2301.01661

【训练源码】

https://github.com/KangLiao929/RecRecNet

【参考源码】

https://github.com/hpc203/recrecnet-opencv-dnn

【算法介绍】

广角镜头在VR技术中显示出诱人的应用，但它会在捕获的图像中引入严重的径向失真。为了恢复逼真的场景，之前的工作致力于校正广角图像的内容。然而，这种校正解决方案不可避免地会扭曲图像边界，从而改变相关的几何分布并误导当前的视觉感知模型。在这项工作中，我们通过贡献一种新的学习模型，即矩形校正网络（RecRecNet），探索在内容和边界上构建双赢的表示。特别地，我们提出了一种薄板样条（TPS）模块来描述图像的矩形化非线性非刚性变换。通过学习校正图像上的控制点，我们的模型可以灵活地将源结构扭曲到目标域，实现端到端的无监督变形。为了减轻结构近似问题的复杂性，我们激励我们的RecRecNet通过基于自由度（DoF）的课程学习来学习渐进变形规则。通过增加每个课程阶段的自由度，即从相似性变换（4-DoF）到单应性变换（8-DoF），网络能够研究更详细的变形，从而在最终的矩形化任务上实现快速收敛。实验表明，我们的解决方案在定量和定性评估方面都优于比较方法。

问题
给定一个校正的广角图像，RecRecNet旨在从校正技术的角度在图像内容和边界上构建双赢表示。

特点
首次实现大视野（FoV）视觉的双赢表示
提出了一个薄板样条（TPS）运动模块，以灵活地形成非线性非刚性校正变换
设计了一种基于DoF的课程学习，以掌握渐进变形规则并减轻复杂结构近似的负担
深入分析了为什么变形的图像边界会显著影响视觉感知模型

【界面展示】

【效果展示】

【部分实现代码】

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using OpenCvSharp;

namespace FIRC
{
    public partial class Form1 : Form
    {
        Mat src = new Mat();
        RecRecNet net=new RecRecNet();
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            OpenFileDialog openFileDialog = new OpenFileDialog();
            openFileDialog.Filter = "图文件(*.*)|*.jpg;*.png;*.jpeg;*.bmp";
            openFileDialog.RestoreDirectory = true;
            openFileDialog.Multiselect = false;
            if (openFileDialog.ShowDialog() == DialogResult.OK)
            {
              
                src = Cv2.ImRead(openFileDialog.FileName);
                pictureBox1.Image = OpenCvSharp.Extensions.BitmapConverter.ToBitmap(src);


            }


        }

        private void button2_Click(object sender, EventArgs e)
        {
            if(pictureBox1.Image==null)
            {
                return;
            }

            var resultMat = net.Inference(src);
            pictureBox2.Image= OpenCvSharp.Extensions.BitmapConverter.ToBitmap(resultMat); //Mat转Bitmap
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            net.LoadWeights(Application.StartupPath+ "\\weights\\model_deploy.onnx");
        }

        private void button3_Click(object sender, EventArgs e)
        {
          
        }
    }
}

【测试环境】

vs2019

netframeowrk==4.7.2

opencvsharp==4.8.0

【视频演示】

C#使用opencvsharp部署RecRecNet广角图像畸变矫正校正摄像广角镜头畸变图像_哔哩哔哩_bilibili【测试环境】vs2019netframeowrk==4.7.2opencvsharp==4.8.0更多信息参考博文：https://blog.csdn.net/FL1623863129/article/details/139760635, 视频播放量 0、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者未来自主研究中心, 作者简介未来自主研究中心，相关视频：C#使用onnxruntime部署Detic检测2万1千种类别的物体，yolov5最新版onnx部署Android安卓ncnn，C#使用纯opencvsharp部署yolov8-onnx图像分类模型，图像二值化工具使用教程，OpenCvSharp利用微信二维码引擎实现二维码识别，C# winform使用纯opencvsharp部署yolox-onnx模型，C# winform YOLO区域入侵检测任意形状区域绘制射线算法实现演示，我在B站上大学!【完整版-麻省理工-微积分重点】全18讲！学数学不看的微积分课程，看完顺滑一整年。_人工智能数学基础/机器学习/微积分/麻省理工/高等数学，C#使用dlibdotnet实现人脸检测人脸对齐特征点检测人脸对比facemesh等功能，👴一定是天才 6.1https://www.bilibili.com/video/BV1zJ4m1u7VZ/