一种模板信息辅助的彩色图像去马赛克方法

1.本发明属于图像去马赛克和图像质量增强领域，具体提供一种模板信息辅助的彩色图像去马赛克方法。


背景技术：

2.大多数数码相机使用带有彩色滤光片阵列（cfa）的单一图像传感器，只从全彩图像中为每个像素记录一种颜色；最常用的彩色滤光片阵列（cfa）是bayer模板；在这种模板下，全彩色图像被子采样以生成马赛克图像，其每个像素只包含rgb中一种颜色的信息；为了获取rgb全彩色图像，通常需要对马赛克图像进行图像去马赛克；去马赛克方法越好，获取的全彩色图像质量就越好，再对全彩色图像进行后处理的效果也会越好。
3.当前常用的彩色图像去马赛克方法是bicubic等传统插值方法；不过随着实际应用中对图像质量的要求不断提升，bicubic等传统插值方法已无法满足实际应用需求；基于卷积神经网络的方法能提供更好的去马赛克效果，但目前的基于卷积神经网络的图像去马赛克方法并未考虑马赛克模板的信息，利用马赛克模板进一步提升图像去马赛克质量势在必行。


技术实现要素：

4.本发明的目的在于针对上述现有技术存在的问题，提供一种模板信息辅助的彩色图像去马赛克方法，用以有效提升图像去马赛克重建质量。为实现该目的，本发明采用的技术方案如下：一种模板信息辅助的彩色图像去马赛克方法，其特征在于，包括以下步骤：步骤1、数据预处理，包括以下步骤：步骤1.1、将待处理马赛克图像通过插值方法插值为全彩色rgb图像irgb；步骤1.2、将单通道bayer马赛克模板转换为rgb三通道马赛克模板mask；步骤1.3、将rgb三通道马赛克模板mask取反，得到rgb三通道插值模板interpolation；步骤2、将全彩色rgb图像irgb、rgb三通道马赛克模板mask与rgb三通道插值模板interpolation输入至彩色图像去马赛克网络，由彩色图像去马赛克网络输出重建全彩色去马赛克图像。
5.进一步的，所述步骤1.3中，所述彩色图像去马赛克网络由特征提取模块、特征融合模块和图像重建模块组成；其中，所述特征提取模块由rgb三通道马赛克模板分支、插值图像一分支、rgb三通道插值模板分支与插值图像二分支构成，每个分支的结构相同，具体为：conv 3
×3×
64+relu+网络单元u；网络单元u的输入为uin，uin经过conv 3
×3×
64+relu+dilated-conv 3
×3×
64_2 +relu+ dilated-conv 3
×3×
64_2+ relu后输出umid，网络单元u的输出为uout=umid+uin；所述rgb三通道马赛克模板分支的输入为rgb三通道马赛克模板mask、输出为fm，
所述插值图像一分支的输入为传统方法插值得到的全彩色rgb图像irgb、输出为frgb1，所述rgb三通道插值模板分支的输入为rgb三通道插值模板interpolation、输出为ft，所述插值图像二分支的输入为全彩色rgb图像irgb、输出为frgb2；所述特征融合模块由多级特征融合单元mffu与带有残差的密集连接残差单元rrdu构成；所述多级特征融合单元mffu的输入为fm、frgb1、ft、frgb2，输出为fmffu，具体为：输入fm、frgb1、ft和frgb2分别经过conv 1
×1×
64+relu后输出fm*、frgb1*、ft*和frgb2*，frgb1与frgb2分别经过conv 3
×3×
64+relu+conv 3
×3×
64+relu后输出frgb1**和frgb2**；fm*与frgb1*沿通道执行concatenation操作，再经过conv 3
×3×
64+relu +conv 3
×3×
64+relu后输出m1；ft*和frgb2*沿通道执行concatenation操作，再经过conv 3
×3×
64+relu +conv 3
×3×
64+relu后输出m2；frgb1**与m1进行点乘得到frgb1***，frgb2**与m2进行点乘得到frgb2***；frgb1***与frgb2***沿通道执行concatenation操作，再经过conv 3
×3×
64+relu +conv 3
×3×
64+relu后输出fmffu；所述带有残差的密集连接残差单元rrdu由3个rdu构成，rdu1的输入为rdu1in、输出为rdu1out，rdu2的输入为rdu2in= rdu1out +rdu1in、输出为rdu2out，rdu3的输入为rdu3in=rdu2out+rdu2in、输出为rdu3out，rrdu的输出为rrdu out =rdu3out+rdu3in+rdu1in；fmffu输入带有残差的密集连接残差单元rrdu后得到输出rrdu out1，rrdu out1再次输入带有残差的密集连接残差单元rrdu后得到输出rrdu out2，rrdu out2再次输入带有残差的密集连接残差单元rrdu后得到输出frrdu；所述图像重建模块由网络单元u与卷积层构成，具体为：网络单元u +conv 3
×3×
64+relu，图像重建模块的输入为frrdu、输出为重建的全彩色去马赛克图像。
6.进一步的，所述rdu包括5个卷积层，其中，每个卷积层具体为：conv 3
×3×
64+leakrelu，第一个卷积层的输入为rdu in、输出为convout1，convout1与 rdu in沿通道执行concatenation操作后得到第二个卷积层的输入conv in2，第二个卷积层输出为convout2，convout2与conv in2沿通道执行concatenation操作后得到第三个卷积层的输入conv in3，第三个卷积层的输出为convout3，convout3与conv in3沿通道执行concatenation操作后得到第四个卷积层的输入conv in4，第四个卷积层的输出为convout4，convout4与conv in4沿通道执行concatenation操作后得到第五个卷积层的输入为conv in5，第五个卷积层的输出为rdu out；进一步的，所述步骤1.1中，插值方法为bicubic插值方法。
7.进一步的，所述步骤1.2中，将单通道bayer马赛克模板转换为rgb三通道马赛克模板mask的具体过程为：根据bayer马赛克模板在三通道rgb全彩色图像的采样位置，将采样位置的像素值置1，非采样位置的像素值置0，得到rgb三通道马赛克模板mask。
8.与现有技术相比，本发明是有益效果在于：本发明提出了一种模板信息辅助的彩色图像去马赛克方法，通过构建马赛克模板信息辅助的彩色图像去马赛克卷积神经网络，实现高效的图像去马赛克；在现有技术中，由于彩色图像去马赛克网络对真实值（即bayer模板采样到的值）和恢复值（即插值所得到的值）采用同样的处理方式、导致由插值所带来的噪声被当作真实信息从而影响去马赛克重建质量；而在本发明中，通过引入rgb三通道马赛克模板和rgb三通道插值模板，分别与插值
后的全彩色rgb图像做特征融合再卷积在一起，能够使网络针对真实值和恢复值采用不同的卷积方式，使真实值和噪声被有效区分，从而有效提高图像去马赛克效果；综上所述，本发明引入模板信息之后，能够显著提升图像去马赛克重建质量。
附图说明
9.图1为本发明实施例中模板信息辅助的彩色图像去马赛克网络结构图。
10.图2为本发明实施例中彩色图像去马赛克网络中单元u的结构图。
11.图3为本发明实施例中彩色图像去马赛克网络中mffu的结构图。
12.图4为本发明实施例中彩色图像去马赛克网络中rrdu的结构图。
13.图5为本发明实施例中rrdu中rdu的结构图。
14.图6为本发明实施例中模板信息辅助的彩色图像去马赛克方法的流程图。
具体实施方式
15.下面将结合附图对本发明的实施例中的技术方案进行清楚、完整的描述，显然，下面所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护的范围。
16.本实施例提供一种模板信息辅助的彩色图像去马赛克方法，其流程如图6所示，具体步骤如下：步骤1. 数据预处理；步骤1.1 将待去马赛克的马赛克图像通过传统方法插值为全彩色rgb图像，具体为将单通道马赛克图像通过bicubic插值方法插值为三通道rgb全彩色图像；步骤1.2 将单通道bayer马赛克模板转换为rgb三通道马赛克模板，具体为根据bayer马赛克模板在三通道rgb全彩色图像的采样位置，将采样位置的像素值置1，非采样位置的像素值置0，这样得到的一个三通道0、1采样矩阵即为rgb三通道马赛克模板；步骤1.3 将rgb三通道马赛克模板取反，得到rgb三通道插值模板，具体为将rgb三通道马赛克模板的0置1、1置0，得到rgb三通道插值模板；步骤2. 将全彩色rgb图像、rgb三通道马赛克模板与rgb三通道插值模板输入至彩色图像去马赛克网络，由彩色图像去马赛克网络输出重建全彩色去马赛克图像。
17.所述彩色图像去马赛克网络的结构如图1所示，其中，卷积层对应的卷积核大小为3
×
3和1
×
1，除rrdu块中激活函数为leakrelu函数外，其余卷积层激活函数均为relu函数；具体网络结构如图1~图5所示，图中“conv 3
×3×
64”表示一层卷积层、且对应的卷积核的大小为3
×
3、卷积的输出通道为64、padding参数为“same”，“dilated-conv 3
×3×
64_2”表示一层空洞卷积层、且对应的卷积核的大小为3
×
3、卷积的输出通道为64、padding参数为2、dilation参数为2，“concat”表示沿通道尺度的concatenation操作，
“”
表示像素级的点乘操作；“rrdu
”ꢀ
处的
“×
3”表示采用1个带有残差的密集连接残差单元rrdu实现3个共享权值的带有残差的密集连接残差单元rrdu依次连接的功能；更为具体的讲：所述彩色图像去马赛克网络由特征提取模块、特征融合模块和图
像重建模块组成；所述特征提取模块由rgb三通道马赛克模板分支、插值图像一分支、rgb三通道插值模板分支与插值图像二分支共四部分组成，其中，rgb三通道马赛克模板分支的输入为rgb三通道马赛克模板mask、输出为fm，插值图像一分支的输入为传统方法插值得到的全彩色rgb图像irgb、输出为frgb1，rgb三通道插值模板分支的输入为rgb三通道插值模板interpolation、输出为ft，插值图像二分支的输入为传统方法插值得到的全彩色rgb图像irgb、输出为frgb2；所述rgb三通道马赛克模板分支、插值图像一分支、rgb三通道插值模板分支与插值图像二分支的网络结构相同，由一个3
×
3的卷积层加一个网络单元u依次连接组成，以rgb三通道马赛克模板分支为例，具体为：conv 3
×3×
64+relu+网络单元u，其输出为fm；其中，网络单元u的输入为uin，uin经过conv 3
×3×
64+relu+dilated-conv 3
×3×
64_2+ +relu+ dilated-conv 3
×3×
64_2+ relu后输出umid，网络单元u的输出为uout=umid+uin，如图2所示；所述特征融合模块由1个多级特征融合单元mffu和3个共享权值的带有残差的密集连接残差单元rrdu依次连接组成，其中，多级特征融合单元mffu的输入为fm、frgb1、ft、frgb2，输出为fmffu，带有残差的密集连接残差单元rrdu的输入fmffu、输出为frrdu；所述多级特征融合单元mffu如图3所示，具体结构为：输入fm、frgb1、ft和frgb2分别经过conv 1
×1×
64+relu后输出fm*、frgb1*、ft*和frgb2*；frgb1与frgb2分别经过conv 3
×3×
64+relu+conv 3
×3×
64+relu后输出frgb1**和frgb2**；fm*与frgb1*沿通道执行concatenation操作，再经过conv 3
×3×
64+relu +conv 3
×3×
64+relu后输出m1；ft*和frgb2*沿通道执行concatenation操作，再经过conv 3
×3×
64+relu +conv 3
×3×
64+relu后输出m2；frgb1**与m1进行点乘得到frgb1***，frgb2**与m2进行点乘得到frgb2***；frgb1***与frgb2***沿通道执行concatenation操作，再经过conv 3
×3×
64+relu +conv 3
×3×
64+relu后输出fmffu；所述带有残差的密集连接残差单元rrdu包含3个相同的rdu，如图4所示，具体结构为：rdu1的输入为rdu1in、输出为rdu1out，rdu2的输入为rdu2in= rdu1out +rdu1in、输出为rdu2out，rdu3的输入为rdu3in=rdu2out+rdu2in、输出为rdu3out，rrdu的输出为rrdu out =rdu3out+rdu3in+rdu1in；fmffu输入带有残差的密集连接残差单元rrdu后得到输出rrdu out1，rrdu out1再次输入带有残差的密集连接残差单元rrdu后得到输出rrdu out2，rrdu out2再次输入带有残差的密集连接残差单元rrdu后得到输出frrdu，即上述3个共享权值的带有残差的密集连接残差单元rrdu；所述rdu包含5个卷积层，如图5所示，具体结构为：每个卷积层具体为：conv 3
×3×
64+leakrelu，第一个卷积层的输入为rdu in、输出为convout1，convout1与 rdu in沿通道执行concatenation操作后得到第二个卷积层的输入conv in2，第二个卷积层输出为convout2，convout2与conv in2沿通道执行concatenation操作后得到第三个卷积层的输
入conv in3，第三个卷积层的输出为convout3，convout3与conv in3沿通道执行concatenation操作后得到第四个卷积层的输入conv in4，第四个卷积层的输出为convout4，convout4与conv in4沿通道执行concatenation操作后得到第五个卷积层的输入为conv in5，第五个卷积层的输出为rdu out；所述图像重建模块由1个网络单元u与一个卷积层依次连接组成，具体为：网络单元u +conv 3
×3×
64+relu，图像重建模块的输入为frrdu、输出为重建的全彩色去马赛克图像。
18.基于训练集对上述彩色图像去马赛克网络进行离线训练，具体为：采用wed数据集中的4744张rgb高清图作为训练图像，然后将训练图像由rgb全彩色图像转为单通道马赛克图像，并将单通道马赛克训练图像经90度旋转、180度旋转、270度旋转、上下翻转、左右翻转等操作扩张为28464张图像，再将单通道马赛克训练图像切分为n
×
m（本实施例中，n=m=96）大小的子图像，并对子图像执行步骤1.1、步骤1.2与步骤1.3的数据预处理，得到插值后的全彩色rgb图像、rgb三通道马赛克模板与rgb三通道插值模板；以插值后的全彩色rgb图像、rgb三通道马赛克模板与rgb三通道插值模板作为输入、以原始rgb高清图像（子图像）作为标签，形成训练样本，进而构建得训练集；采用adam优化器对彩色图像去马赛克网络进行训练；所述训练参数为：学习率为0.0001、批尺寸为64、训练周期为40，所述损失函数为：其中，y1表示彩色图像去马赛克网络输出的重建全彩色去马赛克图像，y0表示标签，y(i,j)表示图像y的第i行、第j列的像素值，n、m分别表示输入图像的高、宽。
19.基于上述技术方案，本实施例在2个图像集进行测试，分别为kodak图像集（分辨率为512
×
768、24张）和mcm图像集（分辨率为500
×
500、18张）；利用四种方法进行了对比：1）传统的ri插值方法，2）传统的ari插值方法，3）无模板信息辅助的彩色图像去马赛克方法（将rgb三通道马赛克模板与rgb三通道插值模板替换为全1的矩阵），4）模板信息辅助的彩色图像去马赛克方法（网络结构如图1-5所示）；四种方法在2个图像集上对应的测试结果（cpsnr）为：1）传统的ri插值方法：kodak 39.21db、mcm 36.91db，2）传统的ari插值方法：kodak 39.95db、mcm 37.60db，3）无模板信息辅助的彩色图像去马赛克方法：kodak 43.02db、mcm 39.76db，4）模板信息辅助的彩色图像去马赛克方法：kodak 43.38db、mcm 40.12db。
20.由以上结果可知，2个图像集中，本实施例中模板信息辅助的彩色图像去马赛克方法优于无模板信息辅助的彩色图像去马赛克方法，并且两者均优于传统的ri、ari插值方法；由此可见，本实施例中模板信息辅助的彩色图像去马赛克方法具有最优的性能，测试结果表明引入的模板信息能加强图像去马赛克网络的性能，证明了本发明方法的有效性及优越性。由此可见，本发明所提出的模板信息辅助的彩色图像去马赛克方法具有出色的表现，在2个图像集中，相较于传统的ri、ari插值方法，可将图像去马赛克的cpsnr提高3db以上。
21.以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别
叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。