实验室CVPR 2025成果：突破性去云技术助力遥感影像清晰化

同济大学、复旦大学ADMIS实验室近日在CVPR 2025合作发表遥感图像去云领域的最新研究成果——基于改进均值回归扩散模型的高效遥感图像去云方法。该方法能够在单时态和多时态的公开遥感图像去云数据集上取得SOTA的效果。

EMRDM模型架构

传统扩散模型用到去云任务上是先将图像加噪到一张纯高斯噪声图像，该过程基于随机微分方程（SDE），反向过程则从纯高斯噪声图像中逐步去噪恢复出无云图像，并一般将有云图像作为去噪的条件。这种做法忽略了一个事实，即有云图像中存在较为完整的结构和未被云层破坏的较多的信息，故从纯噪声图像中恢复无云图像是不必要且低效的，且往往难以精细化（逐像素）控制反向过程，造成较差的去云效果。

此外，均值回归的扩散模型（MRDM）建立了无云图像分布到带噪声的有云图像分布间的扩散过程。具体而言，其前向过程逐步向无云图像中加入噪声和有云图像，直到带噪声的有云图像的信息完全盖过无云图像的信息，其反向过程从带噪声的有云图像中逐步去噪，同时逐步修复，最终得到去云结果。MRDM相比传统扩散模型具有像素级控制的优势，去云结果与目标间像素级一致性更强。但是，MRDM尚存在模块耦合严重，模块间关系不清晰的问题。

因此，本文提出基于均值回归扩散模型的去云方法EMRDM，实现如下创新：重构均值回归扩散模型的前向与反向过程的理论框架，基于预条件技术优化去噪网络及训练策略，提出新型确定性和随机性采样器。此外，本文还设计了多时相图像去噪网络。EMRDM在多个单时态和多时态数据集上达到最优性能，详情请参见：https://mp.weixin.qq.com/s/JjLLoxw6qgR21R4SG7Ydww