基于联合信息编码的立体图像单流视觉显著性检测方法与流程

[0001]
本发明涉及一种视觉显著性检测方法，尤其是涉及一种基于联合信息编码的立体图像单流视觉显著性检测方法。


背景技术：

[0002]
人类为了避免大脑的过度运算进化出了一种叫做注意力机制的视觉机制，当视觉场景通过眼睛传入大脑进行运算的时候，人类自觉对场景的各个物体进行选择性处理，侧重关注自己感兴趣的一部分。计算机视觉任务中显著性检测由此而来。
[0003]
传统的显著性检测通过手工提取特征达到预测显著性的功能，但传统方法的效率和精度远远跟不上工业发展和应用。自从1994年lenet被lecun提出以来，选择一个更简单高效的方法去完成这些计算机视觉任务成为了研究者们新的目标，但因为硬件上的限制和网络深度的缘由，此项工作进展苦难重重，少有方法能达到理想的结果。近年来，vggnet和resnet的提出突破了神经网络深度的限制，深度学习方法在显著性检测上不断刷新各项指标，本发明同样建立在这个背景之下。通过彩色图像进行显著性检测已经能达到很好的结果，然而在某些场景上依旧存在问题，如复制场景、低对比度，结构复杂图像等。随着传感器等硬件设施的反战，深度图像有效的弥补了输入信息的不足，深度图像能在二维图像中通过像素值大小表示目标物体的近远程度，由此深度辅助彩色信息图建立起一个具有立体信息图像的输入数据成为现有显著性检测比较有效的方法。
[0004]
现有的深度图辅助彩色信息图的方法大多通过建立两个基础网络，但是这样带来的问题是计算机算力的消耗，无效的跨模态沟通不但不能增加模型的精度，反倒会给模型生成的显著图带来噪声，我们在吸取现有网络的经验上建立了一个编码联合信息处理，解码多模态分离的网络，这样的网络采用一个基础网络预训练来节省算力，而后通过高低特征特异性处理，联合信息彩色信息分离运算来使我们的方法运算效率大大增加，在运算效率增加的同时我们的精度也有所上升，实验证明我们的方法生成的显著图具有较高精度，在多目标、结构复杂场景检测优秀。


技术实现要素：

[0005]
为了解决背景技术中的问题，本发明提供了一种基于联合信息编码的单流视觉显著性检测方法；通过对立体信息进行联合信息编码操作，采用单流网络模型结构，在节省算力的同时不降低精度，又使用特异性分离操作的策略，本发明对高低级特征、彩色信息、联合信息有各自单独的处理方法，对低级特征通过反转注意力关注更多边界信息，对高级特征通过多尺度语义提取块关注更多高级语义信息，对于彩色信息提取高级特征进行聚合操作，之后将所有分离操作的信息流依次结合起来并实行多层次监督。本发明解决了复杂场景、复杂结构、低对比度场景识别不准确的问题，在公开测试集上预测显著图结果清晰，目标准确。
[0006]
本发明采用的技术方案包括以下步骤：
[0007]
步骤1：选取n幅原始立体图像的彩色信息图、深度信息图及对应的真实场景标签图作为训练集；
[0008]
步骤2：构建端到端的单流卷积神经网络，单流卷积神经网络包括输入层、隐藏层和输出层；隐藏层包括五个依次连接的神经网络块、三个自适应卷积块、五个信息融合块、三个反转注意力层、一个多尺度语义提取块和三个二次残差注意力块，输出层主要由五个输出层组成；
[0009]
步骤3：将步骤1得到的训练集输入到步骤2构建的单流卷积神经网络中进行训练：训练过程中，每次迭代训练处理得到每幅原始立体图像的显著性预测图，计算每幅原始立体图像的显著性预测图与真实场景标签图构成的损失函数值，损失函数值采用采用二分类交叉熵损失函数获得；
[0010]
步骤4：重复执行步骤3共t次，并共得到n
×
t个二分类交叉熵损失函数值；然后从n
×
t个损失函数值中找出最小的损失函数值，将最小的损失函数值对应的权值矢量和偏置项作为单流卷积神经网络的最终权值矢量和最终偏置项，获得训练好的单流卷积神经网络；
[0011]
步骤5：利用训练好的单流卷积神经网络对待预测立体图像的彩色信息图和深度信息图进行预测处理，输出获得对应的显著性预测图，实现立体图像的视觉显著性检测。
[0012]
所述的单流卷积神经网络中：五个依次连接的神经网络块采用res2net中的编码部分，第一个神经网络块的输入为输入层的输出；第一个、第二个、第三个、第四个和第五个神经网络块的输出分别输入第一个、第二个、第三个、第四个和第五个信息融合块。
[0013]
每个反转注意力层包括输入端-和输入端-两个输入端；第一个反转注意力层输入端-的输入为第三个信息融合块的输出，输入端-的输入为第四个信息融合块依次经第六十二个卷积层、第一个上采样层的输出；第二个反转注意力层输入端-的输入为第一个反转注意力层经第二个上采样层的输出，输入端-的输入为第二个信息融合块经第六十三个卷积层的输出；第三个反转注意力层输入端-的输入为第一个信息融合块经第六十四个卷积层的输出，输入端-的输入为第二个反转注意力层的输出；第一个反转注意力层经第二个上采样层的输出、第二个反转注意力层的输出和第三个反转注意力层的输出进行通道堆叠后输入第一个输出层；
[0014]
第五个信息融合块依次经多尺度语义提取块、第一个二次残差注意力块、第二个二次残差注意力块和第三个二次残差注意力块输入第三个输入层；
[0015]
第三个、第四个和第五个神经网络块的输出分别输入第一个、第二个和第三个自适应卷积块，第一个自适应卷积块的输出分别输入特征聚合模块和第三个二次残差注意力块，第二个自适应卷积块的输出分别输入特征聚合模块和第二个二次残差注意力块，第三个自适应卷积块的输出分别输入特征聚合模块和第一个二次残差注意力块；
[0016]
特征聚合模块经第二个输出层的输出与第三个输出层的输出进行通道叠加后输入第四个输出层；
[0017]
第一个输出层的输出和第四个输出层的输出进行通道叠加后输入第五个输出层，第五个输出层的输出作为输出层的输出。
[0018]
每个输入信息融合块的特征图按批次均分切割为彩色特征图和深度特征图，彩色特征图和深度特征图通过张量相乘得到中间特征图，彩色特征图、深度特征图和中间特征
图通过张量相加后得到的特征图作为每个信息融合块的输出。
[0019]
每个反转注意力层包括一个s型激活函数层、五个中间块和一个卷积层，输入端-输入的特征图经取反操作后输入s型激活函数层输出按通道排列的权重，输入端-输入的特征图经第一个注意力块的输出与s型激活函数层输出的权重张量相乘后输入第二个中间块，第二个中间块依次经第三个中间块、第四个中间块、一个卷积层的输出与输入端-输入的特征图相加后的输出作为反转注意力层的输出；
[0020]
每个中间块包括依次连接的一个卷积层和一个激活层。
[0021]
每个二次残差注意力块包括输入端-和输入端-两个输入端，第一个、第二个和第三个二次残差注意力块输入端-的输入分别为第三个、第二个和第一个自适应卷积块的输出，第一个、第二个和第三个二次残差注意力块输入端-的输入分别为多尺度语义提取块、第一个二次残差注意力块和第二个二次残差注意力块的输出；
[0022]
每个二次残差注意力块包括一个全局平均池化层、一个最大归一激活层、一个残差自适应卷积块、四个卷积层和一个上采样层，二次残差注意力块输入端-输入的特征图依次经全局平均池化层、最大归一激活层和二次残差注意力块中的第一个卷积层后生成注意力权重，生成的注意力权重与输入端-输入的特征图相乘得到注意力特征图，注意力特征图与输入端-输入的特征图张量相加后依次经二次残差注意力块中的第二个卷积层、第三个卷积层、第四个卷积层后生成一次残差注意力特征图，输入端-输入的特征图经第一个残差自适应卷积层的输出与一次残差注意力特征图相加生成二次残差特征图，二次残差特征图经过上采样层的输出为二次残差注意力块的输出。
[0023]
所述的多尺度语义提取块包括六个卷积层，八个激活层和三个空洞卷积层，多尺度语义提取块的输入依次经第三十五个卷积层、第四十八个激活层、第三十六个卷积层输入第四十九个激活层，第四十九个激活层的输出分别输入第三十七个卷积层、第三十八个卷积层和第三十九个卷积层，第三十七个卷积层的输出依次经第五十个激活层、第一个空洞卷积层输入第五十一个激活层，第三十八个卷积层的输出依次经第五十二个激活层、第二个空洞卷积层输入第五十三个激活层，第三十九个卷积层的输出依次经第五十四个激活层、第三个空洞卷积层输入第五十五个激活层，第五十一个激活层、第五十二个激活层和第五十三个激活层的输出进行通道堆叠操作后经第四十个卷积层输出，第四十个卷积层的输出作为多尺度语义提取块的输入。
[0024]
所述特征聚合模块包括三个上采样层、十二个卷积层和八个激活层，特征聚合模块包括输入端-、输入端-和输入端-三个输入端，输入端-、输入端-和输入端-的三个输入分别为第三个、第二个和第一个自适应卷积块的输出；
[0025]
输入端-经第八十个卷积层分别输入第六个上采样层和第七个上采样层，第六个上采样层的第一个输出分支经第八十三个卷积层输入第六十八个激活层，第六个上采样层的第二个输出分支经第八十四个卷积层输入第六十九个激活层，第七个上采样层的输出经第八十五个卷积层输入第七十个激活层；输入端-依次经第八十一个卷积层、第八个上采样层、第八十六个卷积层输入第七十九个激活层；输入端-经第八十二个卷积层的输出与第七十个激活层的输出、第七十一个激活层的输出张量相乘后输入第八十九个卷积层；
[0026]
第八十一个卷积层的输出与第六十九个激活层的输出进行张量相乘后与第六十八个激活层的输出进行通道叠加，之后输入第八十七个卷积层；第八十七个卷积层的输出
依次经第七十二个激活层、第九个上采样层、第八十八个卷积层输入第七十三个激活层；第七十三个激活层的输出与第八十九个卷积层的输出进行通道叠加后输入第九十个卷积层，第九十个卷积层依次经第七十四个激活层、第九十一个卷积层、第七十五个激活层输入第九十二个卷积层，第九十二个卷积层的输出为特征聚合模块的输出。
[0027]
所述的自适应卷积块由依次连接的三个卷积层组成。
[0028]
所述输入层的输入为立体图像中的彩色信息图和深度信息图，输入层对彩色信息图和深度信息图按批次进行堆叠操作。
[0029]
本发明的有益效果：
[0030]
1)本发明采用单流端到端的卷积神经网络模型，在实现高精度的同时拥有较高的运算效率。
[0031]
2)本发明通过分类联合信息和彩色信息以及高级特征和低级特征来进行分离式处理，避免了融合运算中特征图噪点多，运算重复，信息冗余的问题。
[0032]
3)本发明引入了注意力模型，并在此基础上改进一种二次残差注意力块，以往注意力块进行单边残差不能有效结合双边特征，二次残差注意力块在解码阶段有效的提取有用特征。
[0033]
4)本发明使用分离解码操作，在每个阶段都进行监督，使用多监督通过损失函数有效反馈损失信息，在不增加计算量的同时提高显著性检测效果。
附图说明
[0034]
图1为本发明方法的总体实现框图；
[0035]
图2为本发明信息融合块的框图；
[0036]
图3为本发明二次残差注意力块的框图；
[0037]
图4为本发明反转注意力层的框图；
[0038]
图5为本发明特征聚合模块框图；
[0039]
图6a为本发明测试集随机挑选的彩色信息图像；图6b为本发明测试集对应的深度信息图像；图6c为对应的利用本发明生成的显著性预测图像；图6d为本发明测试集对应的真实场景标签图像；
[0040]
图7a为本发明测试集随机挑选的彩色信息图像；图7b为本发明测试集对应的深度信息图像；图7c为对应的利用本发明生成的显著性预测图像；图7d为本发明测试集对应的真实场景标签图像；
[0041]
图8a为本发明测试集随机挑选的彩色信息图像；图8b为本发明测试集对应的深度信息图像；图8c为对应的利用本发明生成的显著性预测图像；图8d为本发明测试集对应的真实场景标签图像；
[0042]
图9a为本发明在nju2k测试集上pr(精准-召回)曲线；图9b为本发明在nlpr测试集上pr(精准-召回)曲线。
[0043]
图10为本发明多尺度语义提取块的框图。
具体实施方式
[0044]
下面结合附图和实施例对本发明作进一步详细说明。
[0045]
本发明解决上述技术问题所采用的技术方案为：一种基于联合信息编码的单流视觉显著性检测方法，其特征在于包括训练阶段和测试阶段两个过程：
[0046]
所述的训练阶段过程的具体步骤：
[0047]
步骤1_1：首先选取n幅原始立体图像的彩色信息图像、深度信息图像和对应的真实场景标签图，并构成训练集，将训练集中的第n幅原始立体图像的彩色信息图像记为原始立体图像的深度信息图像记为真实场景标签图记为其中，h代表图像的高度，w代表图像的宽度，彩色信息图像为红、绿、蓝三通道具有彩色信息的图像，深度信息图像为通过深度传感器拍摄的具有深度信息的单通道图像，在本发明中，为了方便深度信息图像和彩色信息图像预训练，我们将深度信息图像复制为三通道图像。
[0048]
步骤1_2：构建如图1所示的端到端的单流卷积神经网络：单流卷积神经网络仅存在一个编码器，编码器采用res2net结构，单流卷积神经网络由输入层、隐藏层、输出层组成。
[0049]
对于输入层，将彩色图的批次记为t,输入层主要对彩色图像和深度图像进行按批次堆叠操作，输入的图像为四个维度，分别是批次数、通道数、高度、宽度,批次堆叠后的联合图像批次为2
×
t，其他参数保持不变。隐藏层包括编码器的第一个神经网络块、第二个神经网络块、第三个神经网络块、第四个神经网络块、第五个神经网络块，解码器的第一个信息融合块、第二个信息融合块、第三个信息融合块、第四个信息融合块、第一个卷积层、第二个卷积层、第三个卷积层、第一个上采样层、第二个上采样块、第一个反转注意力块、第二个反转注意力块、第三个反转注意力块、第一个自适应卷积块、第二个自适应卷积块、第三个自适应卷积块、第三个信息融合块、多尺度语义提取块、第一个二次残差注意力块、第二个二次残差注意力块、第三个二次残差注意力块、第三个上采样层、第四个上采样层、第五个上采样层、特征聚合模块组成。输出层由第一个输出层、第二个输出层、第三个输出层、第四个输出层、第五个输出层组成。
[0050]
为了方便介绍方法定义二种结构：
[0051]
第一种多尺度特征细化模块(multi-scale feature refinement module)，采用resnet残差模块的瓶颈层(bottleneck layer)中的多尺度特征细化模块。resnet 的瓶颈结构是一个卷积核为1
×
1的卷积层、一个卷积核是3
×
3的卷积层以及一个卷积核为1
×
1的卷积层组成，输入和输出跳连相加，多尺度特征细化模块与原始结构主要是卷积核3
×
3的卷积层不同。假设多尺度特征细化模块接收特征图为x
m
，通过一个卷积核为1
×
1的卷积层将通道为n
m
平均切分为4份，每份通道为n
m
/4，有特征图x
1
，x
2
，x
3
，x
4
。x
2
经过卷积核为3
×
3卷积后得到输出特征图y
2
，y
2
与x
3
相加后经过一个卷积核3
×
3卷积层得到的输出特征图y
3
，y
2
与x
4
相加后经过一个卷积核为3
×
3卷积层得到的输出特征图y
4
，特征图y
1
和特征图 x
1
一致。将y
1
，y
2
，y
3
，y
4
按通道数相加得到的最后结果为特征图y
m
，本发明中多尺度特征细化模块的卷积核个数记为通道相加个数n
m
，补零参数为1，步长为1。
[0052]
第二种是压缩激励注意力块，假设输入特征图为s
n
，通道数为h
e
，特征图先经过一个变换尺寸为1的自适应平均池化(adaptive avgpool)，其输出是按通道排列的不同大小的像素值，输出再经过一个卷积核大小为1
×
1的卷积层(卷积核个数为h
e
/16)、一个激活函数为
‘
relu
’
的激活层，以及一个卷积核大小为1
×
1 的卷积层(卷积核个数为h
e
)、一个激活
函数为
‘
sigmoid
’
的激活层得到注意力权重像素值，再将这一系列注意力权重像素值与s
n
特征图进行向量相乘，得到最后输出为e
n
的特征图，e
n
与s
n
尺寸大小相同，特征图张数一致。
[0053]
五个依次连接的神经网络块采用res2net结构。
[0054]
1.1)对于第一个神经网络块，第一个神经网络块是由第一个卷积层 (convolution，conv)，第一个最大池化层(maxpooling，pool)，第一个激活层组成，激活方式(activation，act)为
‘
relu
’
。经过第一个神经网络块输出的特征图张数为64，第一个卷积层卷积核(kernel_size)大小为7
×
7、池化层的卷积核大小为3*3、步长为2，补零参数为3，将64张特征图的集合记为j
1
，特征图宽度为w/4，高度为h/4。以下未介绍的步长均为1，未介绍的补零参数3*3 卷积核的卷积为1，1
×
1卷积为0，未介绍的池化均为最大池化，未标明的激活方式均为
‘
relu
’
。
[0055]
1.2)对于第二个神经网络块，第二个神经网络块由三个卷积块组成，分别为第一个卷积块、第二个卷积块、第三个卷积块。
[0056]
第一个卷积块由第二个卷积层、第二个激活层，第一个多尺度特征细化模块、第三个激活层、第三个卷积层、第一个压缩激励注意力块，第一个跳连卷积层、第四个激活层组成。第二个卷积块由第四个卷积层、第五个激活层、第二个多尺度特征细化模块、第六个激活层、第五个卷积层、第二个压缩激励注意力块、第七个激活层。第三个卷积块由第六个卷积层、第八个激活层、第三个多尺度特征细化模块、第九个激活层、第七个卷积层、第三个压缩激励注意力块、第十个激活层组成，第十个激活层输出到第三个神经网络块和第二个融合块。经过第二个神经网络块特征图张数为256，将256张特征图的集合记为 j
2
，特征图宽度为w/4，高度为h/4。
[0057]
1.3)对于第三个神经网络块，第三个神经网络块由四个卷积块组成，分别是第四个卷积块、第五个卷积块、第六个卷积块、第七个卷积块。
[0058]
第四个卷积块由第八个卷积层、第十一个激活层、第四个多尺度特征细化模块、第十二个激活层、第十个卷积层，第四个压缩激励注意力块、第十三个激活层，第二个跳连卷积层组成。第五个卷积块由第十一个卷积层、第十四个激活层、第五个多尺度特征细化模块，第十五个激活层、第十二个卷积层、第五个压缩激励注意力块、第十六个激活层组成。第六个卷积块由第十三个卷积层、第十七个激活层、第六个多尺度特征细化模块，第十八个激活层、第十四个卷积层、第六个压缩激励注意力块、第十九个激活层组成。第七个卷积块由第十五个卷积层、第二十个激活层、第七个多尺度特征细化模块，第二十一个激活层、第十六个卷积层、第七个压缩激励注意力块、第二十二个激活层组成，第二十二个激活层输出到第四个神经网络块和第三个融合块。经过第三个神经网络块特征图张数为512，将512张特征图的集合记为j3，特征图宽度为w/8，高度为h/8。
[0059]
1.4)对于第四个神经网络块，第四个神经网络块由六个卷积块组成，分别是第八个卷积块、第九个卷积块、第十个卷积块、第十一个卷积块、第十二个卷积块、第十三个卷积块。第八个卷积块由第十七个卷积层、第二十三个激活层、第八个多尺度特征细化模块、第二十四个激活层、第十八个卷积层，第八个压缩激励注意力块、第二十五个激活层，第三个跳连卷积层组成。第九个卷积块由第十九个卷积层、第二十五个激活层、第九个多尺度特征细化模块，第二十六个激活层、第二十个卷积层、第九个压缩激励注意力块、第二十六个激活层组成。第十个卷积块由第二十一个卷积层、第二十七个激活层、第十个多尺度特征细化
模块，第二十八个激活层、第二十二个卷积层、第十个压缩激励注意力块、第二十九个激活层组成。第十一个卷积块由第二十三个卷积层、第三十个激活层、第十一个多尺度特征细化模块，第三十一个激活层、第二十四个卷积层、第十一个压缩激励注意力块、第三十二个激活层组成。第十二个卷积块由第二十五个卷积层、第三十三个激活层、第十二个多尺度特征细化模块，第三十四个激活层、第二十六个卷积层、第十二个压缩激励注意力块、第三十五个激活层组成。第十三个卷积块由第二十七个卷积层、第三十六个激活层、第十三个多尺度特征细化模块，第三十七个激活层、第二十八个卷积层、第十三个压缩激励注意力块、第三十八个激活层组成，第三十八个激活层输出到第五个神经网络块和第四个融合块。经过第四个神经网络块特征图张数为1024，将1024张特征图的集合记为j
4
，特征图宽度为w/16，高度为h/16。
[0060]
1.5)对于第五个神经网络块，第五个神经网络块由三个卷积块组成，分别是第十四个卷积块、第十五个卷积块、第十六个卷积块。第十四个卷积块由第二十九个卷积层、第三十九个激活层、第十四个多尺度特征细化模块、第四十个激活层、第三十个卷积层、第十四个压缩激励注意力块、第四十一个激活层、第四个跳连卷积层组成。第十五个卷积块由第三十一个卷积层、第四十二个激活层、第十五个多尺度特征细化模块，第四十三个激活层、第三十二个卷积层、第十五个压缩激励注意力块、第四十四个激活层组成。第十六个卷积块由第三十三个卷积层、第四十五个激活层、第十六个多尺度特征细化模块，第四十六个激活层、第三十四个卷积层、第十六个压缩激励注意力块、第四十七个激活层组成，第四十七个激活层输出到第五个融合块。经过第五个神经网络块特征图张数为2048，将2048张特征图的集合记为j
5
，特征图宽度为w/16，高度为 h/16。
[0061]
如图2所示为信息融合块的结构框图。
[0062]
2.1)对于第一个信息融合块，第一个信息融合块的功能是按批次切分联合信息，而又进行信息再融合。第一个信息融合块接收第一个神经网络块的特征图j
1
,接收的特征图j
1
按批次均分，均分后得到两个批次为t的特征图r
1
和d
1
， r
1
代表彩色信息流，d
1
代表深度信息流。特征图r
1
和d
1
再进行张量相乘操作得到中间特征图，中间特征图与特征图r
1
、特征图d
1
相加得到最终特征图。经过第一个信息融合块的特征图记为c
1
，特征图宽度为w/4，高度为h/4。
[0063]
2.2)对于第二个信息融合块，第二个信息融合块的功能是按批次切分联合信息，而又进行信息再融合。第二个信息融合块接收第二个神经网络块的特征图j
2
,接收的特征图j
2
按批次均分，均分后得到两个批次为t的特征图r
2
和d
2
， r
2
代表彩色信息流，d
2
代表深度信息流。特征图r
2
和d
2
再进行张量相乘操作得到中间特征图，中间特征图与特征图r
2
、特征图d
2
相加得到最终特征图。经过第二个信息融合块的特征图记为c
2
，特征图宽度为w/4，高度为h/4。
[0064]
2.3)对于第三个信息融合块，第三个信息融合块的功能是按批次切分联合信息，而又进行信息再融合。第三个信息融合块接收第三个神经网络块的特征图j
3
,接收的特征图j
3
按批次均分，均分后得到两个批次为t的特征图r
3
和d
3
，r
3
代表彩色信息流，d
3
代表深度信息流。特征图r
3
和d
3
再进行张量相乘操作得到中间特征图，中间特征图与特征图r
3
、特征图d
3
相加得到最终特征图。经过第一个信息融合块的特征图的集合记为c
3
，特征图宽度为w/8，高度为h/8。
[0065]
2.4)对于第四个信息融合块，第四个信息融合块的功能是按批次切分联合信息，而又进行信息再融合。第四个信息融合块接收第四个神经网络块的特征图j
4
,接收的特征图j
4
按批次均分，均分后得到两个批次为t的特征图r
4
和d
4
， r
4
代表彩色信息流，d
4
代表深度信息流。特征图r
4
和d
4
再进行张量相乘操作得到中间特征图，中间特征图与特征图r
4
、特征图d
4
相加得到最终特征图。经过第四个信息融合块的特征图的集合记为c
4
，特征图宽度为w/16，高度为h/16。
[0066]
2.5)对于第五个信息融合块，第五个信息融合块的功能是按批次切分联合信息，而又进行信息再融合。第五个信息融合块接收第五个神经网络块的特征图j
5
,接收的特征图j
5
按批次均分，均分后得到两个批次为t的特征图r
5
和d
5
， r
5
代表彩色信息流，d
5
代表深度信息流。特征图r
5
和d
5
再进行张量相乘操作得到中间特征图，中间特征图与特征图r
5
、特征图d
5
相加得到最终特征图。经过第五个信息融合块的特征图的集合记为c
5
，特征图宽度为w/32，高度为h/32。
[0067]
如图10所示为多尺度语义提取块的结构框图。
[0068]
3)对于多尺度语义提取块，多尺度语义提取块由第三十五个卷积层、第四十八个激活层、三十六个卷积层、第四十九个激活层、三十七个卷积层、第五十个激活层、第一个空洞卷积层(dilation convlution)、第五十一个激活层、第三十八个卷积层、第五十二个激活层、第二个空洞卷积层、第五十三个激活层、第三十九个卷积层、第五十四个激活层、第三个空洞卷积层、第五十五个激活层、第四十个卷积层组成。多尺度语义提取块的特征图经过第三个上采样层。第三十五个卷积层卷积核大小为3
×
3，卷积核个数为16，第三十六个卷积层卷积核大小为1
×
1，卷积核个数为16，第三十七个卷积层卷积核大小为1
×
1，卷积核个数为16，第一个空洞卷积层卷积核大小为3
×
3，扩张比率为1，卷积核个数为16，第三十八个卷积层卷积核大小为1
×
1，卷积核个数为16，第二个空洞卷积层卷积核大小为3
×
3，扩张比率为2，卷积核个数为16，第三十九个卷积层卷积核大小为1
×
1，卷积核个数为16，第三个空洞卷积层卷积核大小为3
×
3，扩张比率为4，卷积核个数为16，第四十个个卷积层卷积核大小为1
×
1，卷积核个数为64。多尺度语义提取块接收来自第五个信息融合块的特征图c
5
，经过第三十五个卷积层、第四十八个激活层、三十六个卷积层、第四十九个激活层之后输入到三个分支，经过三十七个卷积层、第五十个激活层、第一个空洞卷积层 (dilation convlution)、第五十一个激活层的特征图为p
1
,经过第三十八个卷积层、第五十二个激活层、第二个空洞卷积层、第五十三个激活层的特征图为p
2
,经过第三十九个卷积层、第五十四个激活层、第三个空洞卷积层、第五十五个激活层的特征图为p3，再对3个分支进行通道堆叠操作，通道堆叠之后的特征图经过第四十个卷积层生成最终特征图,经过多尺度语义提取块的64张特征图记为 m，特征图宽度为w/32，高度为h/32。
[0069]
如图3所示为二次残差注意力块的结构框图。
[0070]
4.1)对于第一个二次残差注意力块，第一个二次残差注意力块由第一个自适应平均池化层、第四十一个卷积层、第一个最大归一激活层、第四十二个卷积层、第四十三个卷积层、第四十四个卷积层、第三个上采样层、第一个残差自适应卷积层组成。第一个自适应平均池化层池化尺寸为1
×
1，第四十一个卷积层卷积核大小为1
×
1，卷积核个数为64，第一个最大归一激活层激活方式为
‘
softmax
’
，第四十二个卷积层卷积核大小为3
×
3，卷积核个数为32，第四十三个卷积层卷积核大小为3
×
3，卷积核个数为32，第四十四个卷积层卷积核
大小为3
×
3，卷积核个数为32，第三个上采样层采样方式为双线性插值，上采样倍率为2，第一个残差自适应卷积层卷积核大小为1
×
1，卷积核个数为32。第一个二次残差注意力块接收来自多尺度语义提取块的特征图m以及第三个自适应卷积块的特征图a
1
，特征图a
1
经过第一个全局平均池化层将特征图变为按通道排列的权重，再经过第一个最大归一激活层、第四十一个卷积层生成注意力权重，生成的注意力权重与特征图m相乘得到注意力特征图，得到的特征注意力图与特征图a
1
张量相加经过第四十二个卷积层、第四十三个卷积层、第四十四个卷积层生成一次残差注意力特征图，一次残差注意力特征图与经过第一个残差自适应卷积层的特征图m相加生成二次残差特征图，二次残差特征图经过第三个上采样层得到最终特征图。经过第一个二次残差注意力块的32张特征图集合记为q
1
，特征图宽度为w/16，高度为h/16。
[0071]
4.2)对于第二个二次残差注意力块，第二个二次残差注意力块由第二个自适应平均池化层、第四十五个卷积层、第二个最大归一激活层、第四十六个卷积层、第四十七个卷积层、第四十八个卷积层、第四个上采样层、第二个残差自适应卷积层组成。第二个自适应平均池化层池化尺寸为1
×
1，第四十五个卷积层卷积核大小为1
×
1，卷积核个数为32，第二个最大归一激活层激活方式为
‘
softmax
’
，第四十六个卷积层卷积核大小为3
×
3，卷积核个数为16，第四十七个卷积层卷积核大小为3
×
3，卷积核个数为16，第四十八个卷积层卷积核大小为3
×
3，卷积核个数为16，第四个上采样层采样方式为双线性插值，上采样倍率为2，第二个残差自适应卷积层卷积核大小为1
×
1，卷积核个数为16。第二个二次残差注意力块接收来自第一个二次残差注意力块的特征图q
1
以及第二个自适应卷积块的特征图a
2
，特征图a
2
经过第二个自适应平均池化层将特征图变为按通道排列的像素值，像素值经过第二个最大归一激活层、第四十五个卷积层生成注意力权重，生成的注意力权重与特征图q
1
相乘得到注意力特征图，得到的特征注意力图与特征图a
2
张量相加经过第四十六个卷积层、第四十七个卷积层、第四十八个卷积层生成一次残差注意力特征图，一次残差注意力特征图与经过第二个残差自适应卷积层的特征图q
1
相加生成二次残差特征图，二次残差特征图经过第四个上采样层得到最终特征图。经过第二个二次残差注意力块的 16张特征图集合记为q
2
，特征图宽度为w/8，高度为h/8。
[0072]
4.3)对于第三个二次残差注意力块，第三个二次残差注意力块由第三个自适应平均池化层、第四十九个卷积层、第三个最大归一激活层、第五十个卷积层、第五十一个卷积层、第五十二个卷积层、第五个上采样层、第三个残差自适应卷积层组成。第三个自适应平均池化层池化尺寸为1
×
1，第四十九个卷积层卷积核大小为1
×
1，卷积核个数为16，第三个最大归一激活层激活方式为
‘
softmax
’
，第五十个卷积层卷积核大小为3
×
3，卷积核个数为8，第五十一个卷积层卷积核大小为3
×
3，卷积核个数为8，第五十二个卷积层卷积核大小为3
×
3，卷积核个数为1，第五个上采样层采样方式为双线性插值，上采样倍率为8，第三个残差自适应卷积层卷积核大小为1
×
1，卷积核个数为1。第三个二次残差注意力块接收来自第二个二次残差注意力块的特征图q
2
以及第一个自适应卷积块的特征图a
3
，特征图a
3
经过第三个自适应平均池化层将特征图变为按通道排列的像素值，像素值经过第二个最大归一激活层、第四十九个卷积层生成注意力权重，生成的注意力权重与特征图q
2
相乘得到注意力特征图，得到的特征注意力图与特征图a
2
张量相加经过第五十个卷积层、第五十一个卷积层、第五十二个卷积层生成一次残差注意力特征图，一次残差注意力特征图与经过第三个
残差自适应卷积层的特征图q
2
相加生成二次残差特征图，二次残差特征图经过第五个上采样层得到最终特征图。经过第三个二次残差注意力块的1张特征图集合记为q
3
，特征图宽度为w，高度为h。
[0073]
5.1)对于第一个自适应卷积块，第一个自适应卷积块由第五十三个卷积层、第五十四个卷积层、第五十五个卷积层组成。第五十三个卷积层卷积核大小为 1
×
1，卷积核个数为16，第五十四个卷积层卷积核大小为1
×
1，卷积核个数为16，第五十五个卷积层卷积核大小为1
×
1，卷积核个数为16。第一个自适应卷积块接收来自第三个神经网络块j
3
的彩色信息部分，接收的彩色信息特征图经过三个卷积层生成最终特征图，特征图输入到第三个二次残差注意力块和特征聚合模块，将16张特征图的集合记为a
1
，特征图宽度为w/8，高度为h/8。
[0074]
5.2)对于第二个自适应卷积块，第二个自适应卷积块由第五十六个卷积层、第五十七个卷积层、第五十八个卷积层组成。第五十六个卷积层卷积核大小为 1
×
1，卷积核个数为32，第五十七个卷积层卷积核大小为1
×
1，卷积核个数为32，第五十八个卷积层卷积核大小为1
×
1，卷积核个数为32。第二个自适应卷积块接收来自第四个神经网络块j
4
的彩色信息部分，接收的彩色信息特征图经过三个卷积层生成最终特征图，特征图输入到第二个二次残差注意力块和特征聚合模块，将32张特征图的集合记为a
2
，特征图宽度为w/16，高度为h/16。
[0075]
5.3)对于第三个自适应卷积块，第三个自适应卷积块由第五十九个卷积层、第六十个卷积层、第六十一个卷积层组成。第五十九个卷积层卷积核大小为1
×
1，卷积核个数为64，第六十个卷积层卷积核大小为1
×
1，卷积核个数为64，第六十一个卷积层卷积核大小为1
×
1，卷积核个数为64。第三个自适应卷积块接收来自第五个神经网络块j
3
的彩色信息部分，接收的彩色信息特征图经过三个卷积层生成最终特征图，特征图输入到第一个二次残差注意力块和特征聚合模块，将64张特征图的集合记为a
3
，特征图宽度为w/32，高度为h/32。
[0076]
6)对于第六十二个卷积层、第六十三个卷积层、第六十四个卷积层，第六十二个卷积层卷积核大小为1
×
1，卷积核个数为32，第六十三个卷积层卷积核大小为1
×
1，卷积核个数为512，第六十四个卷积层卷积核大小为1
×
1，卷积核个数为512，三个卷积层在网络中起到过渡作用。
[0077]
如图4所示为反转注意力层的结构框图。
[0078]
7.1)对于第一个反转注意力层，接收第三个信息融合块的特征图j
3
和来自第四个信息融合块的特征图j
4
，特征图j
4
经过第六十二个卷积层，第一个上采样层之后输入给第一个反转注意力层，第一个反转注意力层由第一个s型激活函数、第六十五个卷积层、第五十六个激活层、第六十六个卷积层、第五十七个激活层、第六十七个卷积层、第五十八个激活层、第六十八个卷积层、第五十九个激活层、第六十九个卷积层组成。第一个s型激活函数，激活方式为
‘
sigmoid
’
，第六十五个卷积层卷积核大小为1
×
1，卷积核个数为32，第六十六个卷积层卷积核大小为1
×
1，卷积核个数为32，第六十七个卷积层卷积核大小为1
×
1，卷积核个数为32，第六十八个卷积层卷积核大小为1
×
1，卷积核个数为 32，第六十九个卷积层卷积核大小为1
×
1，卷积核个数为1，接收的特征图j
4
经过第六十二个卷积层，第一个上采样层之后，对特征图进行取反操作，取反过后的特征图像素反置，再输入到第一个s型激活
函数之后进行通道化操作后变为按通道排列的权重值，并与经过第六十五个卷积层、第五十六个激活层的特征图j
3
张量相乘，张量相乘之后的特征图经过第六十六个卷积层、第五十七个激活层、第六十七个卷积层、第五十八个激活层、第六十八个卷积层、第五十九个激活层、第六十九个卷积层之后与经过第六十二个卷积层、第一个上采样层之后的特征图j
4
相加得到最终特征图。经过第一个反转注意力层的32张特征图集合记为f
1
，特征图宽度为w/8，高度为h/8。
[0079]
7.2)对于第二个反转注意力层，接收第二个信息融合块的特征图j
2
和来自第一个反转注意力层的特征图f
1
，特征图j
2
经过第六十三个卷积层之后输入给第二个反转注意力层，特征图f
1
经过第二个上采样层之后输入给第二个反转注意力层，第二个反转注意力层由第二个s型激活函数、第七十个卷积层、第六十个激活层、第七十一个卷积层、第六十一个激活层、第七十二个卷积层、第六十二个激活层、第七十三个卷积层、第六十三个激活层、第七十四个卷积层组成。第二个s型激活函数，激活方式为
‘
sigmoid
’
，第七十个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十一个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十二个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十三个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十四个卷积层卷积核大小为1
×
1，卷积核个数为1，接收的特征图f
1
经过第二个上采样层之后，对特征图进行取反操作，取反过后的特征图像素反置，再输入到第一个s型激活函数且进行通道化操作与经过第七十个卷积层的特征图j
2
张量相乘，张量相乘之后的特征图经过第七十一个卷积层、第六十一个激活层、第七十二个卷积层、第六十二个激活层、第七十三个卷积层、第六十三个激活层、第七十四个卷积层之后与经过第六十二个卷积层、第二个上采样层之后的特征图f
1
相加得到最终特征图。经过第一个反转注意力层的32张特征图集合记为f
2
，特征图宽度为w/4，高度为 h/4。
[0080]
7.3)对于第三个反转注意力层，接收第一个信息融合块的特征图j
1
和来自第二个反转注意力层的特征图f
2
，特征图j
1
经过第六十四个卷积层之后输入给第一个反转注意力层，第三个反转注意力层由第三个s型激活函数、第七十五个卷积层、第六十四个激活层、第七十六个卷积层、第六十五个激活层、第七十七个卷积层、第六十六个激活层、第七十八个卷积层、第六十七个激活层、第七十九个卷积层组成。第三个s型激活函数，激活方式为
‘
sigmoid
’
，第七十五个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十六个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十七个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十八个卷积层卷积核大小为1
×
1，卷积核个数为32，第七十九个卷积层卷积核大小为1
×
1，卷积核个数为1，对特征图f
2
进行取反操作，取反过后的特征图像素反置，再输入到第三个s型激活函数且进行通道化操作与经过第七十个卷积层的特征图j
1
张量相乘，张量相乘之后的特征图经过第七十六个卷积层、第六十五个激活层、第七十七个卷积层、第六十六个激活层、第七十八个卷积层、第六十七个激活层、第七十九个卷积层之后与特征图f
1
相加得到最终特征图。经过第一个反转注意力层的32张特征图集合记为f
1
，特征图宽度为 w/4，高度为h/4。第一个反转注意力层特征图f
1
、第二个反转注意力层特征图 f
2
与第三个反转注意力层特征图f
3
进行通道堆叠操作之后输入进第一个输出层。
[0081]
如图5所示为特征聚合模块的结构框图。
[0082]
8)对于特征聚合模块。特征聚合模块由第六个上采样层，第七个上采样层、第八个上采样层、第八十个卷积层、第六十八个激活层、第八十一个卷积层、第六十九个激活层、第
八十二个卷积层、第七十个激活层、第八十三个卷积层、第七十一个激活层、第八十四个卷积层、第七十二个激活层、第八十五个卷积层、第七十三个激活层、第八十六个卷积层、第七十四个激活层、第八十七个卷积层、第七十五个激活层、第八十八个卷积层、第八十九个卷积层、第九十个卷积层、第九十一个卷积层、第九十二个卷积层组成。第六个上采样层上采样方式为双线性插值，上采样倍率为2倍，第七个上采样层上采样方式为双线性插值，上采样倍率为2倍，第八个上采样层上采样方式为双线性插值，上采样倍率为2倍，第八十个卷积层卷积核大小为3
×
3，卷积核个数为32，第八十一个卷积层卷积核大小为3
×
3，卷积核个数为32，第八十二个卷积层卷积核大小为3
×
3，卷积核个数为32，第八十三个卷积层卷积核大小为3
×
3，卷积核个数为32，第八十四个卷积层卷积核大小为3
×
3，卷积核个数为64，第八十五个卷积层卷积核大小为3
×
3，卷积核个数为64，第八十六个卷积层卷积核大小为3
×
3，卷积核个数为96，第八十七个卷积层卷积核大小为1
×
1，卷积核个数为96，第八十八个卷积层卷积核大小为1
×
1，卷积核个数为64，第八十九个卷积层卷积核大小为1
×
1，卷积核个数为1，第九十个卷积层卷积核大小为1
×
1，卷积核个数为32，第九十一个卷积层卷积核大小为1
×
1，卷积核个数为32，第九十二个卷积层卷积核大小为1
×
1，卷积核个数为32。特征聚合模块接收来自第一个自适应卷积块、第二个自适应卷积块、第三个自适应卷积块的特征图a
1
、a
2
、a
3
，特征图a
1
、a
2
、a
3
经过第九十二个卷积层、第九十一个卷积层、九十个卷积层进行通道压缩，经过特征聚合模块的1张特征图记为d，特征图宽度为w/8，高度为h/8。
[0083]
9)对于输出层，输出层由第一个输出层、第二个输出层、第三个输出层、第四个输出层、第五个输出层组成。第一个输出层由第九十三个卷积层、九十四个卷积层、九十五个卷积层、第九个上采样层组成。第九十三个卷积层卷积核大小为1
×
1，卷积核个数为64，第九十四个卷积层卷积核大小为3
×
3，卷积核个数为32，第九十五个卷积层卷积核大小为1
×
1，卷积核个数为1，第九个上采样层采样方式为双线性插值，采样倍率为4。第二个输出层由第十个上采样层组成，第十个上采样层采样方式为双线性插值，采样倍率为8。第三个输出层没有任何操作只做损失函数监督。第四个输出层由第九十六个卷积层组成，第九十六个卷积层卷积核大小为1
×
1，卷积核个数为1。第五个输出层由第九十七个卷积层组成，第九十七个卷积层卷积核大小为1
×
1，卷积核个数为1。每个输出层输出的显著预测图都进行二分类交叉熵损失函数监督。
[0084]
步骤1_3：将训练集中的每幅原始的立体图像的彩色信息图像和深度信息图像作为原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的立体图像对应的1幅显著性预测图，将对应的5幅显著性预测图构成的集合记为
[0085]
步骤1_4：计算训练集中与彩色信息图像对应显著性预测图构成的集合与对应的真实场景标签图像构成的集合之间的损失函数值，将与之间的损失函数值记为其损失函数值采用二分类交叉熵损失函数获得。
[0086]
步骤1_5：重复执行步骤1_3和步骤1_4共t次，每一次循环整个测试集，得到卷积神经网络分类训练模型，且一共得到n
×
t个二分类交叉熵损失函数值；然后从n
×
t个损失函
数值中找出值最小的损失函数值；接着将最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权值矢量w
best
和最优偏置项b
best
，最优权权值矢量和偏置项共称为权重，将其保存在指定文件夹以备测试阶段所用；其中t＝100；
[0087]
所述的测试阶段过程的具体步骤为：
[0088]
测试图像为实验前划分数据集中测试集图像，针对测试集中某一对立体图像，有彩色信息图像深度信息图像将这一对立体图像输入到建立的卷积神经网络模型中，通过导入训练阶段选取的最优权重得到最后一个输出层的显著性预测图此显著性预测图为最终显著性预测图，将同一测试集的最终显著性预测图进行分类，建立对应文件夹，通过与测试集对应的真实场景标签图进行对比得到对比实验测试结果。
[0089]
为了验证本发明方法的可行性和有效性，进行实验。实验在硬件为英特尔 i5-7500处理器，nvidia titan xp-12gb显卡下通过使用pytorch库python语言编写运行。实验数据集采用国际公开公认数据集nju2k和nlpr作为实验数据集来分析本发明方法的准确性和稳定性。训练集为随机抽取1400对nju2k 和650对nlpr图像作为训练数据集，其余图像作为本实验测试集，这里，利用评估视觉显著提取方法的4个常用客观参量作为评价指标：s度量值 (f-measure)，f-mean度量值(f-measure)，e-mean度量值(enhanced alignmentmeasure)，mae平均绝对误差(mean absolute error)。其中,s度量值评估显著性预测图和真实场景标签图之间的结构相似性，e-mean度量将局部像素值与图像级均值在一项中结合，用来共同捕获图像级统计和局部像素匹配信息,并取平均值表示，f度量值平均精度和平均召回率的调和平均值，mae被定义为显著性预测图和真实场景标签图之间平均像素方向上的绝对误差。反应本发明的四项指标如表1所示。从表1所列的数据可知，按本发明方法提取得到的显著性预测图在两个公开数据上精度较高且具有一定的鲁棒性，表明模型生成结果与真实场景标签图的结果较为一致，实验证明本发明方法对显著性检测具有有效性。
[0090]
表1利用本发明方法在两个公开数据集上的4个常用客观指标对比
[0091]
性能指标s-measuree-meanf-meanmaenju2k0.8950.9130.8660.048nlpr0.9080.9230.8630.031
[0092]
图6a为本发明测试集随机挑选的彩色信息图像；图6b为本发明测试集对应的深度信息图像；图6c为对应的利用本发明生成的显著性预测图像；图6d为本发明测试集对应的真实场景标签图像；图7a为本发明测试集随机挑选的彩色信息图像；图7b为本发明测试集对应的深度信息图像；图6c为对应的利用本发明生成的显著性预测图像；图7d为本发明测试集对应的真实场景标签图像；图8a为本发明测试集随机挑选的彩色信息图像；图8b为本发明测试集对应的深度信息图像；图8c为对应的利用本发明生成的显著性预测图像；图8d为本发明测试集对应的真实场景标签图像；图9a为nju2k测试集本发明的pr(精准-召回)曲线图；图9b为nlpr测试集本发明的pr曲线图。通过本发明生成的最终显著性预测图和真实场景标签图像的对比结合表1可说明，本发明在公开数据集上表现优秀，四个指标数值偏高，根据三对对比图像可以看出本发明生成的显著性预测图接近于真实场景标签图，能适
应于各种环境，目标结构识别准确清晰，大目标物体边界清晰明了。