PMDRnet: A Progressive Multiscale Deformable Residual Network for Multi-Image Super-Resolution of AMSR2 Arctic Sea Ice Images

PMDRnet：AMSR2北极海冰图像多图像超分辨率的渐进多尺度可变形残差网络

背景

研究领域

DL-SR方法：基于DL的单图像SR（DL-SISR）和基于DL的多图像SR（DL-MISR）

DL-MISR算法包括对齐、融合和重建

利用的多帧图像之间的互补信息，通过在更高分辨的网格中进行信息融合，从而得到细节更多、分辨率更高的图像

存在的问题

对齐：局部空间信息难以利用，难以估计细微运动

融合：输入图像序列的时空特性存在差异

本文贡献

设计了一种基于深度残差卷积网络的渐进式多尺度可变形残差网络（PMDRnet）

针对北极海冰运动复杂、规模大的特点，设计了一种渐进式对齐策略和多尺度可变形卷积（DConv）对齐单元

在融合模块中使用时间注意力机制实现自适应融合

根据多通道AMSR2图像亮温的偏振差异，设计了海冰相关损失函数

本文方法

主要的贡献就在于运用了一种渐进式的对齐策略和多尺度可变形的对齐单元，然后使用了时间注意力机制来计算不同时序下的图像特征的权重

渐进多尺度可变形对齐网络

渐进式对齐策略

采用动态参考图像和级联操作实现渐进对齐，首先特征提取，由一个卷积层和级联残差块（SR重建网络里提到）组成，其输出记为$F_{[t-n:t+n]}^0$，由对齐单元对齐的待对齐的图像作为下一个待对齐的相邻图像的参考图像，每个级联对齐操作的参考图像从中间图像开始

逐步对齐，并生成细化的对齐结果$F_{[t-n:t+n]}^a$，其中$a$表示级联的大小

渐进对齐策略等价于将序列中的复杂运动分解为每个级联的每两个相邻图像，所有图像实际上间接对齐到中间目标图像特征$F_t^a$

DConv对齐单元

多尺度DConv对齐单元

自适应融合模块

就是获取各个已对齐图像的权重，然后再进行加权融合

• 首先，在每幅对齐图像$F_{t+i}^a$上加一个3×3卷积层和一个Leaky ReLU，然后在序列中的每个图像与目标图像之间执行融合操作。在点积运算后，利用Tanh函数计算沿着时间轴跨图像序列的每个位置的信息相似度

• 然后，将时间注意力图与对应的已对齐的特征相乘来计算每个图像的注意力加权特征

• 最后一步是通过3 × 3卷积层后跟Leaky ReLU来充分融合每个图像的注意力加权特征，以获得融合特征$F_{fused}$

超分辨率重建网络

使用Lim等人提出的没有批量归一化（BN）的残差块，由两个2D卷积层和中间的ReLU激活函数组成，并通过快捷连接实现

子像素卷积层（Sub-pixel）用于上采样（Upsampling），是一种端到端可学习的上采样层，其利用对LR特征的卷积运算获得多个特征，然后通过周期滤波完成HR图像的重建。另外，将上采样层置于网络模型的末尾，避免在高维空间进行大量计算

Sub-pixel convolution（子像素卷积层）是一种巧妙的图像及特征图upscale的方法，又叫做pixel shuffle（像素洗牌）。如果我想对原图放大3倍，那么我需要生成出3^2=9个same size的特征图。将九个same size的特征图拼成一个X3的大图，这就是sub-pixel convolution的操作了。

海冰相关损失函数

• 多重组合损失函数

本文所用的损失函数是两个损失函数的线性组合，这两个损失函数分别是$L_{ice}$和$L_{sr}$。其中$L_{ice}$计算预测极化差与目标极化差之间的误差，增强了网络中的海冰信息；$L_{sr}$用于评估预测图像与目标图像的像素级重建误差。

其中$r$为训练样本数量，$h$和$w$分别是待计算图像的高度和宽度，而$ε$是数值稳定性的常数（例如，10^−3^）

• 贝叶斯优化方法

如何求得上式中最佳的$λ$？采用贝叶斯优化（BO）算法确认，BO方法假设超参数$λ$和我们必须优化的目标函数$g$之间存在函数关系，用下式找到最优超参数值$λ*$

$g$是使用测试集上的超参数$λ$对模型的重建误差（这个误差采用均方误差（MSE）），测试集包括89-GHz通道的水平极化和垂直极化亮温图像

基于上一个数据集，$D$由${(λ_1，y_1)，(λ_2，y_2)，…，(λ_k，y_k)}$表示的数组组成，其中$y$是MSE的值，$k$是迭代次数

通过高斯回归$g$建立了后验概率分布$p$，得到了$λ$值的均值和方差

构造具有均值和方差的捕获函数$F$，选择下一个超参数值$λ_{k+1}$，其中采用上置信限(UCB)方法作为捕获函数

最后，通过增加新的$(λ_{k+1},y_{k+1})$来更新数据集$D(λ，y)$，并继续迭代直到收敛