一种跨模态融合的水下图像增强方法与流程

本发明涉及水下图像增强的，尤其涉及一种跨模态融合的水下图像增强方法。

背景技术：

1、水下数据采集过程中,由系统采集设备所获取的图像和视频，在周围环境光照不足的情况下容易出现对比度下降、细节丢失、色彩失真等问题，这将严重影响到图像的后续处理与应用。由于水体对光线不同粒子的吸收能力具有一定差异，水下采集到的图像往往存在严重的退化现象。基于单点像素的图像增强方法和基于退化模型的图像恢复算法受到水下环境的复杂性和物理参数不确定性的影响往往表现出较差的泛化能力。针对该问题，本发明提出一种跨模态融合的水下图像增强方法，提高低照度环境下图像暗区的细节表现能力、校正图像色彩和改善视觉效果。

技术实现思路

1、有鉴于此，本发明提供一种跨模态融合的水下图像增强方法，目的在于：1）基于水下图像像素的亮度分量，结合图像的整体亮度，利用自适应对数映射函数对亮度分量进行映射转换，增强低照度区域的亮度，并基于像素局部区域灰度值变化的剧烈程度对像素局部区域内的灰度值进行增强处理，提高不同局部区域的灰度值对比程度，并基于水下图像像素在不同颜色通道的全局颜色值，对不同颜色通道的颜色值进行补偿处理，实现水下图像中过度衰减的红蓝颜色通道的补偿，进而实现多模态融合的水下图像增强；2）对水下图像进行媒介透射滤波处理，得到不同像素的透射率，构建得到水下图像对应的透射图像，将水下图像以及透射图像分别作为多模态水下图像特征提取以及颜色增强模型的输入，并分别提取不同尺度的颜色特征以及结构特征进行融合，以融合特征作为辅助信息，采用不同权重矩阵对水下图像的颜色特征进行特征调制，实现结合融合特征的颜色特征增强处理，得到颜色通道增强后的水下图像。

2、实现上述目的，本发明提供的一种跨模态融合的水下图像增强方法，包括以下步骤：

3、s1：采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，得到亮度分布视觉舒适的水下图像；

4、s2：对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像；

5、s3：对去模糊化后的水下图像进行像素补偿，得到色彩增强后的水下图像；

6、s4：对色彩增强后的水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像；

7、s5：构建多模态水下图像特征提取以及颜色增强模型，所述模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；

8、s6：构建水下图像增强优化目标函数，所述水下图像增强优化目标函数以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标；

9、s7：基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，并利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像。

10、作为本发明的进一步改进方法：

11、可选地，所述s1步骤中采集水下图像并提取像素的亮度分量，对像素亮度分量进行自适应亮度提升，包括：

12、采集水下图像i并提取水下图像i中像素的亮度分量，其中像素亮度分量的提取公式：

13、；

14、其中：

15、分别表示水下图像中像素在r,g,b颜色通道的颜色值，像素表示水下图像中第i行第j列的像素；

16、表示像素的亮度分量；

17、对像素亮度分量进行自适应亮度提升，其中像素的亮度分量自适应亮度提升流程为：

18、对亮度分量进行对数映射：

19、；

20、其中：

21、表示亮度分量的对数映射结果，即亮度分量的自适应亮度提升结果；

22、表示水下图像中像素的平均亮度分量，表示水下图像中像素的最大亮度分量；

23、对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像。

24、可选地，所述s2步骤中对亮度分布视觉舒适的水下图像进行自适应对比度增强，包括：

25、对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像，其中水下图像中像素的自适应对比度增强流程为：

26、s21：提取水下图像中像素的灰度值，构成水下图像的灰度图像g，其中像素在灰度图像g中的灰度值为：

27、；

28、其中：

29、分别表示水下图像中像素在r,g,b颜色通道的颜色值；

30、计算得到灰度图像中像素灰度值的标准差；

31、s22：以像素为中心在灰度图像中构建得到像素大小的像素区域，计算得到所构建像素区域内的灰度值均值以及灰度值标准差；

32、s23：对灰度值进行对比度增强，其中对比度增强公式为：

33、；

34、；

35、其中：

36、表示像素的灰度值对比度增强结果；

37、表示对比度增强系数；

38、s24：对水下图像中像素进行对比度增强：

39、；

40、其中：

41、表示水下图像中像素在u颜色通道的颜色值；

42、表示的对比度增强结果，即像素在u颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素在对应通道的颜色值，得到对比度增强后的像素；

43、将所有对比度增强后的像素构成去模糊化后的水下图像。

44、可选地，所述s3步骤中对去模糊化后的水下图像进行像素补偿，包括：

45、对去模糊化后的水下图像进行像素补偿，其中水下图像中像素的像素补偿流程为：

46、s31：分别计算水下图像中像素在r,g,b颜色通道的颜色值均值；

47、s32：对像素在r颜色通道的颜色值进行补偿：

48、 ；

49、其中：

50、表示像素在r颜色通道的补偿后颜色值；

51、s33：对像素在b颜色通道的颜色值进行补偿：

52、；

53、其中：

54、表示像素在b颜色通道的补偿后颜色值；

55、s34：获取颜色值补偿后水下图像的像素在各颜色通道的最大值和最小值，其中分别表示颜色值补偿后水下图像的像素在u颜色通道的最大值和最小值，；

56、s34：对像素的各颜色通道颜色值进行仿射变换处理：

57、；

58、；

59、；

60、其中：

61、分别表示像素在r,g,b颜色通道的仿射变换后颜色值；

62、将作为像素在r,g,b颜色通道的颜色值，得到色彩增强后的像素；

63、将所有色彩增强后的像素构成色彩增强后的水下图像。

64、可选地，所述s4步骤中对色彩增强后的水下图像进行媒介透射滤波处理，包括：

65、对色彩增强后水下图像进行媒介透射滤波处理，得到水下图像对应的透射图像q，其中媒介透射滤波处理流程为：

66、s41：提取水下图像中像素的灰度值，并选取水下图像中灰度值为前1%的像素，计算所选取像素在不同颜色通道u的平均颜色值，；

67、s42：计算水下图像中任意像素的透射率：

68、；

69、其中：

70、表示以像素为中心的像素区域的坐标集合，x表示坐标集合中的任意坐标；

71、表示水下图像中坐标为x的像素在u颜色通道的颜色值；

72、表示以像素为中心的像素区域中，像素颜色值与对应颜色通道的平均颜色值比例最小的比例值；

73、s43：将水下图像中像素的透射率转换为透射矩阵，其中透射矩阵即为水下图像对应的透射图像q。

74、可选地，所述s5步骤中构建多模态水下图像特征提取以及颜色增强模型，包括：

75、构建多模态水下图像特征提取以及颜色增强模型，所构建多模态水下图像特征提取以及颜色增强模型以色彩增强后的水下图像和透射图像为输入，以颜色通道增强后的水下图像为输出；

76、所述多模态水下图像特征提取以及颜色增强模型包括输入层、多模态特征提取层、多模态特征融合模块、颜色通道增强模块以及输出层；

77、其中输入层用于接收色彩增强后的水下图像和透射图像，多模态特征提取层用于分别提取水下图像的rgb颜色特征以及透射图像的结构特征，多模态特征融合模块用于将水下图像的rgb颜色特征以及透射图像的结构特征进行特征融合，得到融合特征，颜色通道增强层用于将融合特征作为辅助信息，对rgb颜色特征进行特征调制，得到增强后的rgb颜色特征，输出层用于基于增强后的rgb颜色特征生成颜色通道增强后的水下图像；

78、所述多模态特征提取层分别包括rgb颜色特征提取模块以及结构特征提取模块，rgb颜色特征提取模块共包含3层卷积层，将每层卷积层的输出独立取出，并经过标准化层以及relu激活函数，得到多尺度的rgb颜色特征，结构特征提取模块包含三个残差单元，并在每个残差单元后连接标准化层以及relu激活函数；

79、所述多模态特征融合模块分别选取第l层卷积层对应的rgb颜色特征以及第l个残差单元对应的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中；

80、所述颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对rgb颜色特征进行特征调制；

81、多模态水下图像特征提取以及颜色增强模型的待优化参数包括多模态特征提取层中的卷积层参数、残差单元参数，多模态特征融合模块的卷积参数以及颜色通道增强模块中的权重矩阵。

82、可选地，所述s6步骤中构建水下图像增强优化目标函数，包括：

83、采集n张水下图像并依次进行自适应亮度提升、自适应对比度增强、像素补偿以及媒介透射滤波处理，得到色彩增强后的水下图像和对应的透射图像，构成多模态水下图像特征提取以及颜色增强模型训练的训练集data：

84、；

85、其中：

86、表示基于所采集的第n张水下图像，所生成的色彩增强后的水下图像和对应的透射图像；

87、构建水下图像增强优化目标函数：

88、；

89、 ；

90、其中：

91、表示多模态水下图像特征提取以及颜色增强模型的待优化参数向量；

92、表示将色彩增强后的水下图像和透射图像输入到基于构建的多模态水下图像特征提取以及颜色增强模型中，模型输出的颜色通道增强后的水下图像；

93、表示中像素的灰度值均值，表示中像素的灰度值均值；

94、表示中像素的亮度分量标准差，表示中像素的亮度分量标准差；

95、表示与的结构相似性度量结果；

96、表示将分别输入到vgg-119模型，模型中第16层卷积层输出的两个特征向量的余弦相似度，对应与的感知相似性度量结果。

97、可选地，所述s7步骤中基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型进行优化，包括：

98、基于水下图像增强优化目标函数对多模态水下图像特征提取以及颜色增强模型的待优化参数向量进行优化，确定最终参数向量，并基于参数向量构建多模态水下图像特征提取以及颜色增强模型，其中多模态水下图像特征提取以及颜色增强模型的待优化参数向量的优化流程为：

99、s71：随机生成初始待优化参数向量，设置待优化参数向量的当前优化次数为t，t的初始值为0，则第t次优化得到的待优化参数向量为；

100、s72：基于水下图像增强优化目标函数计算得到待优化参数向量对应的梯度向量：

101、；

102、其中：

103、表示待优化参数向量对应的梯度向量；

104、表示梯度算子；

105、s73：若，则终止参数向量的优化，将作为最终参数向量，并基于参数向量构建得到多模态水下图像特征提取以及颜色增强模型，否则转向步骤s74，其中表示l1范数，表示预设的梯度阈值；

106、s74：计算得到待优化参数向量的迭代步长：

107、；

108、；

109、其中：

110、表示步长衰减率，将其分别设置为0.9和0.99；

111、分别为一阶迭代步长以及二阶迭代步长，；

112、表示l2范数；

113、s75：基于迭代步长对待优化参数向量进行迭代：

114、；

115、；

116、其中：

117、表示学习率，表示初始学习率，将初始学习率设置为0.2；

118、s76：令，返回步骤s72。

119、可选地，所述s7步骤中利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，包括：

120、利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，其中水下图像的颜色通道增强流程为：

121、输入层用于接收色彩增强后的水下图像和透射图像q，并将所接收图像传输至多模态特征提取层；

122、多模态特征提取层的rgb颜色特征提取模块对水下图像进行三层卷积层处理，将每层卷积层的输出独立取出，并经过标准化层以及relu激活函数，得到三层尺度的rgb颜色特征；多模态特征提取层的结构特征提取模块对透射图像q进行三个残差单元的特征提取处理，并在每个残差单元后连接标准化层以及relu激活函数，分别得到三个残差单元的输出特征作为结构特征；

123、多模态特征融合模块分别选取第l层卷积层所输出的rgb颜色特征以及第l个残差单元所输出的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中；

124、颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对rgb颜色特征进行特征调制，其中特征调制处理的公式为：

125、 ；

126、其中：

127、表示第h层卷积层输出的rgb颜色特征，；

128、表示第h个权重矩阵；

129、表示融合特征；

130、表示rgb颜色特征的特征调制处理结果；

131、输出层对rgb颜色特征的特征调制处理结果进行反卷积处理，得到对应颜色通道增强后的水下图像。在本发明实施例中，通过反卷积处理将特征映射到像素空间，构成颜色通道增强后的水下图像。

132、为了解决上述问题，本发明提供一种电子设备，所述电子设备包括：

133、存储器，存储至少一个指令；

134、通信接口，实现电子设备通信；及处理器，执行所述存储器中存储的指令以实现上述所述的跨模态融合的水下图像增强方法。

135、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的跨模态融合的水下图像增强方法。

136、相对于现有技术，本发明提出一种跨模态融合的水下图像增强方法，该技术具有以下优势：

137、首先，本方案提出一种结合不同像素分量的图像增强方法，采集水下图像i并提取水下图像i中像素的亮度分量，其中像素亮度分量的提取公式为：

138、；

139、其中：分别表示水下图像中像素在r,g,b颜色通道的颜色值，像素表示水下图像中第i行第j列的像素；表示像素的亮度分量；对像素亮度分量进行自适应亮度提升，其中像素的亮度分量自适应亮度提升流程为：对亮度分量进行对数映射：

140、；

141、其中：表示亮度分量的对数映射结果，即亮度分量的自适应亮度提升结果；表示水下图像中像素的平均亮度分量，表示水下图像中像素的最大亮度分量；对于水下图像中的任意像素，选取像素颜色值最大的颜色通道，将所选取颜色通道的颜色值替换为像素亮度分量的对数映射结果，得到自适应亮度提升的像素以及亮度分布视觉舒适的水下图像。对亮度分布视觉舒适的水下图像进行自适应对比度增强，得到去模糊化后的水下图像，其中水下图像中像素的自适应对比度增强流程为：提取水下图像中像素的灰度值，构成水下图像的灰度图像g，其中像素在灰度图像g中的灰度值为：

142、；

143、其中：分别表示水下图像中像素在r,g,b颜色通道的颜色值；计算得到灰度图像中像素灰度值的标准差；以像素为中心在灰度图像中构建得到像素大小的像素区域，计算得到所构建像素区域内的灰度值均值以及灰度值标准差；对灰度值进行对比度增强，其中对比度增强公式为：

144、；

145、；

146、其中：表示像素的灰度值对比度增强结果；表示对比度增强系数；对水下图像中像素进行对比度增强：

147、；

148、其中：表示水下图像中像素在u颜色通道的颜色值；表示的对比度增强结果，即像素在u颜色通道的增强后颜色值，将不同颜色通道的增强后颜色值作为像素在对应通道的颜色值，得到对比度增强后的像素；将所有对比度增强后的像素构成去模糊化后的水下图像。本方案基于水下图像像素的亮度分量，结合图像的整体亮度，利用自适应对数映射函数对亮度分量进行映射转换，增强低照度区域的亮度，并基于像素局部区域灰度值变化的剧烈程度对像素局部区域内的灰度值进行增强处理，提高不同局部区域的灰度值对比程度，并基于水下图像像素在不同颜色通道的全局颜色值，对不同颜色通道的颜色值进行补偿处理，实现水下图像中过度衰减的红蓝颜色通道的补偿，进而实现多模态融合的水下图像增强。

149、同时，本方案提出一种结合透射图像的水下图像颜色增强方法，以颜色通道增强前后结构相似性度量以及感知相似性度量达到最大为目标对所构建的模型进行优化，利用优化得到的多模态水下图像特征提取以及颜色增强模型输出颜色通道增强后的水下图像，其中水下图像的颜色通道增强流程为：输入层用于接收色彩增强后的水下图像和透射图像q，并将所接收图像传输至多模态特征提取层；将每层卷积层的输出独立取出，并经过标准化层以及relu激活函数，得到三层尺度的rgb颜色特征；多模态特征提取层的结构特征提取模块对透射图像q进行三个残差单元的特征提取处理，并在每个残差单元后连接标准化层以及relu激活函数，分别得到三个残差单元的输出特征作为结构特征；多模态特征融合模块分别选取第l层卷积层所输出的rgb颜色特征以及第l个残差单元所输出的结构特征进行融合，得到三种尺度下的融合特征，并将三种尺度下的融合特征进行相加融合，采用像素的卷积核对相加融合的特征进行卷积处理，得到融合特征，其中；颜色通道增强模块以融合特征作为辅助信息，采用不同权重矩阵对rgb颜色特征进行特征调制，其中特征调制处理的公式为：

150、；

151、其中：表示第h层卷积层输出的rgb颜色特征，；表示第h个权重矩阵；表示融合特征；表示rgb颜色特征的特征调制处理结果；输出层对rgb颜色特征的特征调制处理结果进行反卷积处理，得到对应颜色通道增强后的水下图像。本方案通过对水下图像进行媒介透射滤波处理，得到不同像素的透射率，构建得到水下图像对应的透射图像，将水下图像以及透射图像分别作为多模态水下图像特征提取以及颜色增强模型的输入，并分别提取不同尺度的颜色特征以及结构特征进行融合，以融合特征作为辅助信息，采用不同权重矩阵对水下图像的颜色特征进行特征调制，实现结合融合特征的颜色特征增强处理，得到颜色通道增强后的水下图像。