【变化检测】基于Tinycd建筑物(LEVIR-CD)变化检测实战及ONNX推理

news2024/9/22 17:25:18

主要内容如下：

1、LEVIR-CD数据集介绍及下载
2、运行环境安装
3、Tinycd模型训练与预测
4、Onnx运行及可视化

运行环境：Python=3.8，torch1.12.0+cu113
likyoo变化检测源码：https://github.com/likyoo/open-cd
使用情况：代码风格属于openmmlab那套，通过修改配置文件config进行模型选择和训练、环境配置简单、训练速度一般。
训练资源消耗：默认参数配置，且batch_size为8时，显存占用6G左右，RTX4080迭代40000大概1.5小时。

1 LEVIR-CD数据集介绍

1.1 简介

LEVIR-CD 由 637 个超高分辨率（VHR，0.5m/像素）谷歌地球（GE）图像块对组成，大小为 1024 × 1024 像素。这些时间跨度为 5 到 14 年的双时态图像具有显着的土地利用变化，尤其是建筑增长。LEVIR-CD涵盖别墅住宅、高层公寓、小型车库、大型仓库等各类建筑。在这里，我们关注与建筑相关的变化，包括建筑增长（从土壤/草地/硬化地面或在建建筑到新的建筑区域的变化）和建筑衰退。这些双时态图像由遥感图像解释专家使用二进制标签（1 表示变化，0 表示不变）进行注释。我们数据集中的每个样本都由一个注释者进行注释，然后由另一个进行双重检查以生成高质量的注释。
数据来源：https://justchenhao.github.io/LEVIR/
论文地址：https://www.mdpi.com/2072-4292/12/10/1662
快速下载链接：https://aistudio.baidu.com/datasetdetail/104390/1

1.2 示例

在这里插入图片描述

2 运行环境安装

2.1 基础环境安装

【超详细】跑通YOLOv8之深度学习环境配置1-Anaconda安装
【超详细】跑通YOLOv8之深度学习环境配置2-CUDA安装

创建Python环境及换源可借鉴如下：
【超详细】跑通YOLOv8之深度学习环境配置3-YOLOv8安装

2.2 likyoo变化检测代码环境安装

2.2.1 代码下载

Git：git clone https://github.com/likyoo/open-cd.git
在这里插入图片描述

2.2.2 环境安装
# 1 创建环境
conda create -n likyoo python=3.8
conda activate likyoo

# 2 安装torch
# 方式1：
conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch
# 方式2：
pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu113

# 3 验证torch安装是否为gpu版
import torch
print(torch.__version__)  # 打印torch版本
print(torch.cuda.is_available())  # True即为成功
print(torch.version.cuda)
print(torch.backends.cudnn.version())

# 4 安装其他依赖库
cd ./open-cd-main

# 4.1 安装 OpenMMLab 相关工具
pip install -U openmim
mim install mmengine
mim install "mmcv==2.0.0"
mim install "mmpretrain>=1.0.0rc7"  # (本地安装版本为1.2.0)
pip install "mmsegmentation==1.2.2"
pip install "mmdet==3.0.0"

# 4.2 编译安装open-cd
pip install -v -e .

# 5 可能缺少的库
pip install ftfy

3 Tinycd模型训练与预测

3.1 Tinycd模型介绍

略，后补上

3.2 模型训练与预测

3.2.1 修改训练配置文件

（1）修改configs\tinycd\tinycd_256x256_40k_levircd.py
crop_size输入大小，默认256*256，可以自行设置其他值，如512；
num_classes默认为2【不变】；
在这里插入图片描述
（2）修改configs\common\standard_256x256_40k_levircd.py
关键修改：输入数据集路径data_root一定要对！！！
batch_size和迭代数量等按自己需要调整，预测为1024大小。
在这里插入图片描述
（3）configs_base_\models\tinycd.py
模型结构修改：【默认不变】
主干默认为efficientnet_b4，可以自行调整更换；
在这里插入图片描述
训练资源消耗：默认参数配置，且batch_size为8时，显存占用6G左右，RTX4080迭代40000次大概1.5小时。

3.2.2 模型训练与测试
# 训练，--config配置文件+保存文件夹名
python tools/train.py configs/tinycd/tinycd_256x256_40k_levircd.py --work-dir ./tinycd

# 测试==》得到评价指标
python tools/test.py configs/tinycd/tinycd_256x256_40k_levircd.py tinycd/iter_40000.pth

在这里插入图片描述

3.2.3 结果显示
# 测试==》得到结果图
python tools/test.py configs/tinycd/tinycd_256x256_40k_levircd.py tinycd/iter_40000.pth --show-dir tmp_infer

在这里插入图片描述

4 Onnx运行及可视化

4.1 Onnx导出静态和动态文件

（1）修改tools/export.py脚本，导出onnx，复制如下内容【修改了输入尺寸和增加一个动态onnx导出】：

# Copyright (c) Open-CD. All rights reserved.
import argparse
import logging

import torch
from mmengine import Config
from mmengine.registry import MODELS, init_default_scope

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger('opencd')


def main(args):
    # must be called before using opencd
    init_default_scope('opencd')

    config_path = args.config
    checkpoint_path = args.checkpoint
    inputs = args.inputs
    model_name = args.model_name
    model_name_dy = args.model_name_dy

    config = Config.fromfile(config_path, import_custom_modules=True)
    model = MODELS.build(config.model)

    ckpt = torch.load(checkpoint_path)
    state_dict = ckpt['state_dict']
    model.load_state_dict(state_dict, strict=True)
    model.eval()

    input_shape0 = tuple(map(int, inputs[0].split(',')))
    input_shape1 = tuple(map(int, inputs[1].split(',')))
    input0 = torch.rand(input_shape0)
    input1 = torch.rand(input_shape1)
    images = torch.concat((input0, input1), dim=1)

    # 导出静态onnx
    torch.onnx.export(
        model,
        (images),
        model_name,
        input_names=['images'],
        output_names=['output'],
        verbose=False,
        opset_version=11,
    )

    # 导出动态onnx
    torch.onnx.export(
        model,
        (images),
        model_name_dy,
        input_names=['images'],
        output_names=['output'],
        verbose=False,
        opset_version=11,
        dynamic_axes={
                       "images": {0 :"batch_size", 2: "input_height", 3: "input_width"},
                       "output": {0 :"batch_size", 2: "output_height", 3: "output_width"}
                   }
    )


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--config', '-c', type=str, default='')
    parser.add_argument('--checkpoint', '-m', type=str, default='')
    parser.add_argument(
        '--inputs',
        '-i',
        type=str,
        nargs='+',
        default=['1,3,256,256', '1,3,256,256'])
    parser.add_argument('--model-name', '-mn', type=str, default='model.onnx')
    parser.add_argument('--model-name_dy', '-mndy', type=str, default='model_dy.onnx')
    args = parser.parse_args()
    logger.info(args)
    main(args)

运行命令如下【结果生成两个onnx文件】：

python tools/export.py --config configs/tinycd/tinycd_256x256_40k_levircd.py --checkpoint tinycd/iter_40000.pth

（2）查看模型结构
https://netron.app/
静态onnx：
在这里插入图片描述
动态onnx：
在这里插入图片描述
注意：其中的[1,6,256,256]表示两个[1,3,256,256]堆叠一起输入。

4.2 Onnx运行及可视化

4.2.1 Onnx推理运行
import os
import cv2
import time
import argparse
import numpy as np
import onnxruntime as ort  # 使用onnxruntime推理用上，pip install onnxruntime-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple
 

class CD(object):
    def __init__(self, onnx_model, in_shape=256):
        self.in_shape = in_shape  # 图像输入尺度
        self.mean = [0.485, 0.456, 0.406]  # 定义均值和标准差（确保它们与图像数据的范围相匹配）  
        self.std = [0.229, 0.224, 0.225]  # 基于0-1范围的

        # 构建onnxruntime推理引擎
        self.ort_session = ort.InferenceSession(onnx_model,
                                providers=['CUDAExecutionProvider', 'CPUExecutionProvider']
                                if ort.get_device() == 'GPU' else ['CPUExecutionProvider'])

    # 归一化 
    def normalize(self, image, mean, std):  
        # 如果均值和标准差是基于0-255范围的图像计算的，那么需要先将图像转换为0-1范围  
        image = image / 255.0  
        image = image.astype(np.float32)  
        image_normalized = np.zeros_like(image)  

        for i in range(3):  # 对于 RGB 的每个通道  
            image_normalized[:, :, i] = (image[:, :, i] - mean[i]) / std[i]  
        return image_normalized
    

    def preprocess(self, img_a, img_b):
        # resize为256大小
        
        if img_a.shape[0] != self.in_shape and img_a.shape[1] != self.in_shape:
            img_a = cv2.resize(img_a, (self.in_shape, self.in_shape), interpolation=cv2.INTER_LINEAR)
        if img_b.shape[0] != self.in_shape and img_b.shape[1] != self.in_shape:
            img_b = cv2.resize(img_b, (self.in_shape, self.in_shape), interpolation=cv2.INTER_LINEAR)

        # 应用归一化  
        img_a = self.normalize(img_a, self.mean, self.std)
        img_b = self.normalize(img_b, self.mean, self.std)

        img_a = np.ascontiguousarray(np.einsum('HWC->CHW', img_a)[::-1], dtype=np.single)  # (256, 256, 3)-->(3, 256, 256), BGR-->RGB
        img_b = np.ascontiguousarray(np.einsum('HWC->CHW', img_b)[::-1], dtype=np.single)  # np.single 和 np.float32 是等价的
        img_a = img_a[None] if len(img_a.shape) == 3 else img_a  # (1, 3, 256, 256)
        img_b = img_b[None] if len(img_b.shape) == 3 else img_b
      
        concat_img = np.concatenate((img_a, img_b), axis=1) 
        return  concat_img
    
    # 推理
    def infer(self, img_a, img_b):
        concat_img = self.preprocess(img_a, img_b)  # (256, 256, 3)+(256, 256, 3) --> (1, 6, 256, 256)
        preds = self.ort_session.run(None, {self.ort_session.get_inputs()[0].name: concat_img})[0]  
        out_img = (np.clip(preds[0][0], 0, 1) * 255).astype("uint8") 
        return out_img
    

if __name__ == '__main__':
    # Create an argument parser to handle command-line arguments
    parser = argparse.ArgumentParser()
    parser.add_argument('--model', type=str, default='model_dy.onnx', help='Path to ONNX model')
    parser.add_argument('--source_A', type=str, default=str('E:/datasets/LEVIR-CD/test/A/test_7.png'), help='A期图像')
    parser.add_argument('--source_B', type=str, default=str('E:/datasets/LEVIR-CD/test/B/test_7.png'), help='B期图像')
    parser.add_argument('--in_shape', type=int, default=1024, help='输入模型图像尺度')
    args = parser.parse_args()

    # 实例化变化检测模型
    cd= CD(args.model, args.in_shape)
    
    t1 = time.time()
    # Read image by OpenCV
    img_a = cv2.imread(args.source_A)
    img_b = cv2.imread(args.source_B)

    # 推理+输出
    out = cd.infer(img_a, img_b)
    
    # 保存结果
    cv2.imwrite('./result/test_7_res.png', out)
    print('总耗时：{}'.format(time.time() - t1))
4.2.2 结果可视化

显存：占用3G左右，速度：125ms左右（RTX4080）
在这里插入图片描述

4.2.3 进一步处理：

（1）可加入腐蚀膨胀处理，消除一些小白点等区域；
（2）将变化区域绘制在第二期图上，便于观察；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2074822.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

在vue2中，使用计算属性，具体代码如下：

在vue2中，使用计算属性，具体代码如下：

🏆本文收录于《CSDN问答解惑-专业版》专栏，主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收…
阅读更多...
爆改YOLOv8 | 利用CPA-Enhancer提高低照度物体检测（适用于雨，雪，雾天）

爆改YOLOv8 | 利用CPA-Enhancer提高低照度物体检测（适用于雨，雪，雾天）

1，本文介绍 CPA-Enhancer通过链式思考提示机制实现了对未知退化条件下图像的自适应增强，显著提升了物体检测性能。其插件式设计便于集成到现有检测框架中，并在物体检测及其他视觉任务中设立了新的性能标准，展现了广泛的应用潜力。…
阅读更多...
打包资料优化目录

打包资料优化目录

这篇文章主要写一下这一次更新的几个地方，有对原来的代码及模型进行优化的部分，也有新增加的代码和模型，我就把几个比较典型的给列了出来。但是还有好多的更新没有在下面展示出来，因为一个个展示出来太复杂了。如果你对更新的内容…
阅读更多...
mybatis框架搭建、mybatis打印日志设置、参数传递使用、myatis插件MyBatisX

mybatis框架搭建、mybatis打印日志设置、参数传递使用、myatis插件MyBatisX

一、框架 就是对技术的封装，将基础的技术进行封装，让程序员可以快速的使用，提高效率。 Java后端框架： mybatis：对jdbc进行封装 spring：对整个Java后端架构进行管理的 springweb：对web层&a…
阅读更多...
用Python解决优化问题_整数规划模板

用Python解决优化问题_整数规划模板

整数规划的基本概念 整数规划是一种数学优化方法，它是线性规划的一个扩展。在整数规划中，决策变量被限制为整数，而不是连续的值。这种类型的规划在许多实际应用中非常重要，例如资源分配、生产计划、物流配送等。整数规划可以分为…
阅读更多...
R7RS标准之重要特性及用法实例(三十九)

R7RS标准之重要特性及用法实例(三十九)

简介： CSDN博客专家，专注Android/Linux系统，分享多mic语音方案、音视频、编解码等技术，与大家一起成长！ 新书发布：《Android系统多媒体进阶实战》🚀 优质专栏： Audio工程师进阶系列…
阅读更多...
【数据库】深入浅出MySQL SQL优化：原因、定位、分析与索引失效

【数据库】深入浅出MySQL SQL优化：原因、定位、分析与索引失效

这是一张AI生成关于MySQL SQL优化的插图。图中展示了一个计算机屏幕，上面可以看到MySQL数据库模式。屏幕周围有代表优化的视觉隐喻，如齿轮、闪电和流线型形状。屏幕上的模式用色彩丰富的注释标出了改进区域，如索引和查询调整。整体风格现代且…
阅读更多...
【源码+文档+调试讲解】数据结构课程网络学习平台

【源码+文档+调试讲解】数据结构课程网络学习平台

摘要 本文介绍了数据结构课程网络学习平台的开发全过程。通过分析企业对于数据结构课程网络学习平台的需求，创建了一个计算机管理数据结构课程网络学习平台的方案。文章介绍了数据结构课程网络学习平台的系统分析部分，包括可行性分析等，系统设…
阅读更多...
Python处理JSON

Python处理JSON

Python处理JSON ####概念 序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON、XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象…
阅读更多...
优化学习管理：Moodle和ONLYOFFICE文档编辑器的完美结合

优化学习管理：Moodle和ONLYOFFICE文档编辑器的完美结合

目录 前言 一、什么是 Moodle 1、简单快速插入表单字段 3、免费表单模板库 4、开启无缝协作 三、在Moodle中集成ONLYOFFICE文档 四、在Moodle安装使用ONLYOFFICE 1、下载安装 2、配置服务器 3、在Moodle中使用ONLYOFFICE 文档活动 五、未来展望 写在最后 前言 在当今教育科技飞…
阅读更多...
前端如何在30秒内实现吸管拾色器？

前端如何在30秒内实现吸管拾色器？

⭐前言 大家好，我是yma16，本文分享 前端react——实现浏览器页面的吸管拾色器功能。 背景： 在chrome web端快速实现一个页面的取色器功能， 分为两个场景 固定区域小范围取色当前页面取色 node系列往期文章 node_windows环境变量…
阅读更多...
Vue3-win7搭建vue3环境

Vue3-win7搭建vue3环境

Vue3-win7搭建vue3环境 官方要求的信息是是node.js 18.03以上。而我的环境：win7 x64， vscode 1.34。 参考网址： 0、基本的安装 https://blog.csdn.net/m0_49139268/article/details/126159171 a、这里有各种安装包的下载路径（镜…
阅读更多...
手撕C++类和对象（中）

手撕C++类和对象（中）

1.类的默认成员函数 默认成员函数就是⽤⼾没有显式实现，编译器会⾃动⽣成的成员函数称为默认成员函数。⼀个类，我 们不写的情况下编译器会默认⽣成以下6个默认成员函数，需要注意的是这6个中最重要的是前4个，最 后两个取地址重载不…
阅读更多...
[数据集][目标检测]管道漏水泄漏破损检测数据集VOC+YOLO格式2614张4类

[数据集][目标检测]管道漏水泄漏破损检测数据集VOC+YOLO格式2614张4类

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：2614 标注数量(xml文件个数)：2614 标注数量(txt文件个数)：2614 标注…
阅读更多...
10天速通Tkinter库——实践项目《植物杂交实验室》

10天速通Tkinter库——实践项目《植物杂交实验室》

一不小心就拖更了五天，私密马赛。但你们知道这五天我都是怎么过的吗，我起早贪黑（起不来一点），每天勤勤恳恳撸代码，做设计（谁家好人用ppt做设计哇），只为完成《植物杂交实验…
阅读更多...
Vue 和 Element Plus 弹框组件详解：从基本实现到异步数据加载与自定义内容（实战）

Vue 和 Element Plus 弹框组件详解：从基本实现到异步数据加载与自定义内容（实战）

目录 前言1. 基本知识2. 模版3. 实战 前言 主要是通过一个按钮触发一个按钮框，多种方式的逻辑，多种场景 原先通过实战总结，基本的知识推荐阅读： 详细分析Element Plus中的ElMessageBox弹窗用法（附Demo及模版&#x…
阅读更多...
【STM32单片机_(HAL库)】3-4-1【中断EXTI】【智能排队控制系统】LCD1602显示字符串

【STM32单片机_(HAL库)】3-4-1【中断EXTI】【智能排队控制系统】LCD1602显示字符串

1.硬件 STM32单片机最小系统LCD1602显示模块 2.软件 驱动文件添加GPIO常用函数main.c程序 #include "sys.h" #include "delay.h" #include "led.h" #include "lcd1602.h"int main(void) {HAL_Init(); /* …
阅读更多...
摄像头实时检查程序，插入设备，自动显示画面，支持多个摄像头，支持拍照，照片放大缩小

摄像头实时检查程序，插入设备，自动显示画面，支持多个摄像头，支持拍照，照片放大缩小

支持的特性 插入摄像头设备后&#xff0c;无需手动选择&#xff0c;自动显示摄像头画面&#xff0c;需要预先授权支持多个摄像头切换显示多个摄像头时支持 默认显示特定名称的摄像头支持拍照支持照片放大&#xff0c;缩小 显示效果 完整代码 <!DOCTYPE html> <html…
阅读更多...
使用 AMD GPUs 进行基于 Transformers 的时间序列预测

使用 AMD GPUs 进行基于 Transformers 的时间序列预测

Using AMD GPUs for Enhanced Time Series Forecasting with Transformers — ROCm Blogs 时间序列预测&#xff08;TSF&#xff09;是信号处理、数据科学和机器学习&#xff08;ML&#xff09;等领域的关键概念。TSF 通过分析系统的过去时间模式来预测其未来行为&#xff0c;利…
阅读更多...
私域流量升级下的新机遇——“开源 AI 智能名片S2B2C 商城小程序”与新兴技术的融合

私域流量升级下的新机遇——“开源 AI 智能名片S2B2C 商城小程序”与新兴技术的融合

摘要&#xff1a;本文深入探讨了随着私域流量应用的进一步升级&#xff0c;智能对话式营销持续火爆的同时&#xff0c;CEM&#xff08;客户体验管理&#xff09;、MA&#xff08;营销自动化&#xff09;、CDP&#xff08;客户数据平台&#xff09;及 DAM&#xff08;数据资产管…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023