AIRNet是一个图像修复网络,支持对图像进行去雾、去雨、去噪声的修复。其基于对比的退化编码器(CBDE),将各种退化类型统一到同一嵌入空间;然后,基于退化引导恢复网络(DGRN)将嵌入空间修复为目标图像。可以将AIRNet的输出与yolov8进行端到端集成,实现部署上的简化。 本博文的实现,支持AIRNet模型在yolov8中的推理与训练,但是对于AIRNet模型的loss,不支持在训练输出中显示(改动量较大,故放弃了),但在每一次iter迭代中,各位可以添加loss信息存储代码,在训练结束后自行将item对应的loss计算为epoch的loss。
补充说明:320x320的输入,batch为2,12g显存不支持AIRNet-yolov8的训练。
要集成到yolov9中的话,参考https://hpg123.blog.csdn.net/article/details/137935493中的配置文件即可。
这里的实现,是以yolov8的训练数据格式为准,要想支持去雨、去雾、去噪声的训练,则需要修改输入的im_tensor,自行对im_tensor添加雨、雾、噪声等。
将AIRNet与yolov9进行集成后,发现显存占用比较多,故而在推理过程中使用320x320的输入。