一种基于Transformer的面向记忆的单图片去雨方法

技术特征：

1.一种基于transformer的面向记忆的单图片去雨方法，其特征在于，该方法利用transformer关注全局特征的特性，使用具有记忆功能的自监督内存模块记录雨水条纹的各种形态，将雨水图片上的约束信息转移到自然雨水图片上，使其能够更好地被训练，单图片去雨具体包括以下步骤：

2.根据权利要求1所述的基于transformer的面向记忆的单图片去雨方法，其特征在于，所述步骤1)的预训练模型输入图像的大小为384*384，每次训练样本数为4，最大训练次数300。

3.根据权利要求1所述的基于transformer的面向记忆的单图片去雨方法，其特征在于，所述步骤3)中的patch merging是一个4x4大小的单通道特征图，patch merging将每个2x2的相邻像素划分为一个patch，然后将每个patch中相同位置，即同一颜色的像素拼在一起，得到4个feature map，将其在深度方向进行concat拼接，然后在layernorm层通过一个全连接层，在feature map的深度方向做线性变化，将feature map的深度由c变成c/2。

4.根据权利要求1所述的基于transformer的面向记忆的单图片去雨方法，其特征在于，所述步骤4)中的记忆内存模块m∈rm×c由m个记忆项组成，其中每个项的维度为ei∈rc与编码z(x)∈rc×h×w，所述编码z(x)由下述(a)定义为：

5.根据权利要求1所述的基于transformer的面向记忆的单图片去雨方法，其特征在于所述步骤4)的软注意阅读通过上述(a)式对更新后的内存项进行相似度矩阵s(x)＝{sij(x)|i＝1,...,m,j＝1,...,n}的计算，然后，通过softmax操作获得注意a＝{aij|i＝1,...,m,j＝1,...,n}，其中aij的具体计算方式见公式(e)：

6.根据权利要求1所述的基于transformer的面向记忆的单图片去雨方法，其特征在于，所述步骤5)中的在线训练采用监督去雨和无监督去雨的自训练机制，具体包括下述步骤：

技术总结
本发明公开了一种基于Transformer的面向记忆的单图片去雨方法，其特点是采用添加自监督内存模块的编码器‑解码器结构，能够很好地处理输入图片，更好的提取所需特征，所述自监督内存模块为具有记忆的神经网络，可以记忆记录降雨的各种形态，其中记忆中的每个条目对应于雨水模式的原型特征；所述自监督内存模块中添加了自我训练机制，增强算法对自然雨水图片的适配性。本发明与现有技术相比具有去除更多不同外观的雨纹，恢复更清晰的背景场景，同时更好地保留背景的结构和细节，自我训练机制的加入使得算法更加适配自然雨水图片，在自然雨水图片上也能达到很好的效果。

技术研发人员：王廷,胡桥桥
受保护的技术使用者：华东师范大学
技术研发日：
技术公布日：2024/1/12