一种用于显著性检测不确定边缘点的修复方法和装置与流程

1.本发明涉及智能图像处理技术，特别是涉及到一种显著性检测的边缘细化方法。


背景技术：

2.在显著性检测任务中，显著性检测对每个像素进行预测。卷积神经网络可以很容易地为各种方法提供分割信息的编码。全卷积网络(fully convolution network,fcn)采用全卷积结构进行显著性检测，并建立跳跃式结构将卷积层中不同深度的显著性信息来连接起来。在fcn中，通过转置卷积，利用比输入小8x、16x、32x的特征来预测掩膜结果。unet也是一个完全卷积的网络，在特征映射的编码和解码上具有对称的架构。unet在编码器和解码器中使用相同的分辨率连接特征映射，并使用转置卷积恢复这些特征，以更高的分辨率输出掩码结果。
3.虽然这些方法利用了卷积算子出色的特征提取能力，但比输入小8倍或16倍的特征映射过于粗糙，无法进行分割。当对这些粗掩膜以输入图像大小相同的结果进行上采样或调整大小时，掩膜结果的目标类边界上存在模糊问题，这影响了显著性检测的精度。为了避免基于掩模的模型中的降采样效应，学者提出了一些基于轮廓的分割模型，通过轮廓顶点形成的轮廓来区分对象。这些模型可以通过确定轮廓顶点的坐标，获得与输入图像相同分辨率的清晰轮廓。polygon-rnn模型和polygon-rnn++模型利用rnn一个接一个地寻找轮廓顶点。curve-gcn实现了图卷积网络(graph convolution network,gcn)，通过回归获得轮廓顶点的坐标。curve-gcn可以同时调整从初始轮廓到目标的固定数量的顶点的坐标。
4.虽然上述基于轮廓的分割方法通过降采样避免了影响，并直接恢复了分辨率，但由于轮廓顶点数量固定的限制，它们无法提供复杂的边，因此对于不确定边界的分割效果不佳。


技术实现要素：

5.为了解决现有技术中由于轮廓顶点数量固定的限制，因此无法提供复杂的边，导致对于不确定边界的分割效果不佳的技术问题，本发明提供了一种用于显著性检测不确定边缘点的修复方法和装置，通过添加一个目标类对象的不确定点的边界渲染器来改善边缘分割质量。在pointrend的工作中学习了分割结果的渲染，它使用掩码分数来选择轮廓周围不确定的点。与pointrend不同的是，该方法的不确定点的边界渲染器通过聚焦于目标对象的边缘区域，来获取一定数量的不确定点，结合每个点的粗糙特征和条带特征，利用多层感知机进行重分类，并将重分类结果置换到初始结果中。
6.为了实现这一目标，本发明采取了如下的技术方案。
7.一种用于显著性检测不确定边缘点的修复方法，所述方法包括步骤：
8.a、将边界渲染器集成至编解码风格显著性检测网络中，对解码模块得到的高维特征图输出至显著性检测分支和边缘检测分支，进行模型训练，得到最优模型参数；
9.b、利用训练的模型，对边缘检测分支输出结果进行阈值分割处理，得到目标类对
象边界区域；
10.c、利用不确定边界点的位置生成器来获取目标对象边界区域处预定数量的显著性不确定点；
11.d、基于显著性不确定点的位置，融合每个显著性不确定点的粗糙特征和条带特征；
12.e、使用多层感知机利用融合后的粗糙特征和条带特征进行重分类。
13.本发明中的用于显著性检测不确定边缘点的修复方法中，所述将边界渲染器集成至编解码风格显著性检测网络中，对解码模块得到的高维特征图输出至显著性检测分支和边缘检测分支，进行模型训练，得到最优模型参数包括：
14.a1、获取解码模块最后一阶段的高维特征图输出；
15.a2、将高维特征图作为显著性检测分支的输入，输出显著性检测掩膜，并计算损失值进行模型参数更新；
16.a3、将高维特征图作为边缘检测分支的输入，输出边缘检测掩膜，并计算损失值进行模型参数更新；
17.a4、利用多层感知机对于训练阶段获取的点进行分类，输出每个点的显著性得分，并计算损失值进行模型参数更新；
18.a5、当a2、a3和a4中的损失值收敛时，获得最优模型参数。
19.本发明中的用于显著性检测不确定边缘点的修复方法中，步骤a2、a3和a4中的损失值为二元交叉熵，其计算方法为：
[0020][0021]
其中，y为训练样本中参数真实值，y^为预测值。
[0022]
本发明中的用于显著性检测不确定边缘点的修复方法中，利用训练的模型，对边缘检测分支输出结果进行阈值分割处理，得到目标类对象边界区域包括：
[0023]
b1、利用1
×
1卷积将高维特征图通过边缘检测分支输出结果映射成为单通道的特征图；
[0024]
b2、将单通道的特征图的值域压缩至0～1之间，获得边缘强度；
[0025]
b3、根据预设阈值，对于边缘强度进行阈值分割，得到目标类对象边界区域。
[0026]
本发明中的用于显著性检测不确定边缘点的修复方法中，利用不确定边界点的位置生成器来获取目标对象边界区域处一定数量的显著性不确定点包括：
[0027]
c1、基于目标类对象边界区域，过滤掉非边界区域；
[0028]
c2、利用1
×
1卷积将高维特征图通过显著性检测分支输出结果映射成为单通道的特征图；
[0029]
c3、将单通道的特征图的值域压缩至0～1之间，获得边界区域各点的显著性得分；
[0030]
c4、利用各点显著性得分情况，选择预定数量个显著性最不确定的点。
[0031]
本发明中的用于显著性检测不确定边缘点的修复方法中，基于显著性不确定点的位置，融合每个显著性不确定点的粗糙特征和条带特征包括：
[0032]
d1、利用1
×
1卷积将高维特征图通过显著性检测分支输出结果映射得到粗糙特征；
[0033]
d2、利用条带卷积模块对高维特征图通过边缘检测分支输出结果映射得到高维条
带特征；
[0034]
d3、融合每个显著性不确定点的粗糙特征和条带特征。
[0035]
本发明中的用于显著性检测不确定边缘点的修复方法中，利用条带卷积模块对高维特征图通过边缘检测分支输出结果映射得到高维条带特征包括：
[0036]
利用条带卷积模块从水平、垂直、左对角线和右对角线四个不同方向捕获上下文信息，对条带卷积模块的输入张量经过1
×
1卷积后输入四个路径，每个路径包括一个形状的条带卷积，然后将四个条带卷积的输出映射连接起来，然后进行上采样操作和卷积，得到条带卷积模块的输出。
[0037]
本发明中还包括一种用于显著性检测不确定边缘点的修复装置，包括边界渲染器训练模块、边缘分割模块、不确定边界点的位置生成器、特征融合模块和重分类模块，其中，
[0038]
边界渲染器训练模块被集成至编解码风格显著性检测网络中，用于对解码模块得到的高维特征图输出至显著性检测分支和边缘检测分支，进行模型训练，得到最优模型参数；
[0039]
边缘分割模块利用训练的模型，对边缘检测分支输出结果进行阈值分割处理，得到目标类对象边界区域；
[0040]
不确定边界点的位置生成器利用不确定边界点的位置生成器来获取目标对象边界区域处一定数量的显著性不确定点；
[0041]
特征融合模块用于基于显著性不确定点的位置，融合每个显著性不确定点的粗糙特征和条带特征；
[0042]
重分类模块用于使用多层感知机利用融合后的粗糙特征和条带特征进行重分类。
[0043]
本发明中的用于显著性检测不确定边缘点的修复装置中，边界渲染器训练模块包括：高维特征图获取单元、显著性检测分支、边缘检测分支、多层感知机和最优模型参数获取单元，其中，
[0044]
高维特征图获取单元用于获取解码模块最后一阶段的高维特征图输出；
[0045]
显著性检测分支用于将高维特征图作为输入，输出显著性检测掩膜，并计算损失值进行模型参数更新；
[0046]
边缘检测分支用于将高维特征图作为输入，输出边缘检测掩膜，并计算损失值进行模型参数更新；
[0047]
多层感知机对于训练阶段获取的点进行分类，输出每个点的显著性得分，并计算损失值进行模型参数更新；
[0048]
最优模型参数获取单元用于当a2、a3和a4中的损失值收敛时，获得最优模型参数。
附图说明
[0049]
图1为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的流程示意图。
[0050]
图2为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的处理示意图。
[0051]
图3为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的条带卷积处理示意图。
[0052]
图4为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的不确定边界点的选点处理示意图。
[0053]
图5为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的应用结果示意图。
具体实施方式
[0054]
下面结合附图，对本发明作详细说明。
[0055]
以下公开详细的示范实施例。然而，此处公开的具体结构和功能细节仅仅是出于描述示范实施例的目的。
[0056]
然而，应该理解，本发明不局限于公开的具体示范实施例，而是覆盖落入本公开范围内的所有修改、等同物和替换物。在对全部附图的描述中，相同的附图标记表示相同的元件。
[0057]
参阅附图，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的位置限定用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0058]
同时应该理解，如在此所用的术语“和/或”包括一个或多个相关的列出项的任意和所有组合。另外应该理解，当部件或单元被称为“连接”或“耦接”到另一部件或单元时，它可以直接连接或耦接到其他部件或单元，或者也可以存在中间部件或单元。此外，用来描述部件或单元之间关系的其他词语应该按照相同的方式理解(例如，“之间”对“直接之间”、“相邻”对“直接相邻”等)。
[0059]
本发明的目的是通过数据处理方法来全面系统地揭示阴道微生态中的细菌互作关系，展现不同个体和多种因素影响下细菌互作网络的变化在统计数据上的显著性。作为个性化精准分析阴道炎和恢复阴道微生态平衡提供数据分析上的科学依据和基础支撑。为实现该目的，本发明具体实施方式中，采用了下述技术方案。
[0060]
在现有技术中，利用显著性检测模型对目标类进行分割时，分割对象边界出现大量概率不确定的点，影响显著性检测精度。
[0061]
针对上述问题，本发明实施例提供一种用于修复显著性检测的不确定边缘点的算法模块，该方法首先利用不确定边界点位置生成器生成不确定点列表，然后融合每个点的粗糙特征和具有远程上下文信息的条带特征，最后利用多层感知机对融合后的特征进行重分类，并将重分类结果置换到初始结果中。
[0062]
下面通过结合具体的附图对本技术的各个实施例进行详细的说明。图1为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的流程示意图。图2为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的处理示意图。
[0063]
具体地，在本发明的一个具体实施例中提供一种用于显著性检测不确定边缘点的修复方法，如图1中所包括的流程示意图所示，该方法具体包括如下的步骤。
[0064]
s1、将边界渲染器集成到编解码风格显著性检测网络中，并进行模型训练，得到最优模型参数。
[0065]
更进一步地，在本发明具体实施例中，如图2所示，获取集成模型的最优参数主要包括以下步骤：
[0066]
s11、获取解码模块最后一阶段的高维特征图输出。
[0067]
s12、将s11获取的高维特征图作为显著性检测分支的输入，输出显著性检测掩膜，并计算损失值进行模型参数更新。
[0068]
采用显著性系数,度量了两组不同尺度特征图之间的相似性,当相似性较高时,即前后不同尺度特征图之间目标继承性较好时,对应区域的显著性系数较大,反之,则显著性系数较小。显著系数图与特征图相乘的过程可视为图像各成分权重重新分配的过程,可以突出重点区域、抑制平坦背景。
[0069]
在已获取显著性系数的基础上,对其进行二值化及局部领域均值判定处理,从而得到能剔除平坦背景的显著性检测掩膜。
[0070]
因此，本发明具体实施方式中，利用显著性特征提取方法,对图像局部特征进行增强,有利于提高目标检测性能；且利用显著性系数生成的检测掩膜对特征图进行筛选,排除平坦背景区域,仅在图像的有效区域产生预测目标,可以提高目标检测的执行效率。
[0071]
在本发明具体实施方式所采取的图像处理中，卷积核是指一个具有预定规格的加权矩阵，而采用该加权矩阵进行卷积滤波：先将卷积核矩阵旋转，再依次滑过高维特征图检测结果上每个对应区域，相应滑动区域与卷积核对应元素乘积之和作为高维特征图检测结果对应区域上的新值。
[0072]
具体实施方式中，采用一个3*3规格的卷积核和sigmoid激活函数来获取目标对象的显著性掩膜ms：
[0073]ms
＝sigmoid(conv(sodb(fd)))，
[0074]
其中解码模块的最后一阶段的高维特征图fd，对其进行显著性检测分支(sailent object detection block,sodb)后，conv为卷积函数，sigmoid函数的表达式为f(x)＝1/(1+e-x
)，该函数具有如下的特性：当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x＝0时，y＝1/2。
[0075]
s13、将s11获取的高维特征图作为边缘检测分支的输入，并输出边缘掩膜，并计算损失值进行模型参数更新；
[0076]
边缘是指图像局部强度变化最显著的部分。主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间,是图像分割、纹理特征和形状特征等图像分析的重要基础。对高斯特征图执行边缘检测，出的结果影像中具有高斯特征图中相同波段名称，非零区域指示为边缘区域。
[0077]
类似地，本发明具体实施方式中，采用一个3*3规格的卷积核和sigmoid激活函数来获取目标对象的边缘掩膜mb：
[0078]
mb＝sigmoid(conv(bdb(fd)))，
[0079]
其中，对于解码模块的最后一阶段的高维特征图fd，进行边缘检测分支(boundary detection block,bdb)后，再进行卷积和sigmoid函数处理，获得边缘掩膜。
[0080]
s14、多层感知机对在训练阶段获取的点进行分类，输出每个点的显著性得分，并
计算损失值进行模型参数更新。
[0081]
具体的，s12、s13和s14所涉及的损失函数为二元交叉熵，计算公式为：
[0082][0083]
其中，y为真实值，为预测值。
[0084]
s15、当损失值收敛时，获得最优模型参数。
[0085]
s2、对边缘检测分支输出结果进行阈值分割处理，得到目标类对象边界区域。具体步骤如下：
[0086]
s21、利用1x1卷积将高维的边缘检测分支输出特征图映射成单通道的特征图；
[0087]
s22、使用sigmoid函数将上述特征图的值域压缩到[0,1]之间，获得边缘强度。
[0088]
s23、根据预定目标设定超参数的阈值，进行阈值分割，例如在本发明一个具体实施方式中，阈值设为0.5。
[0089]
s3、利用不确定边界点的位置生成器来获取目标对象边界区域处一定数量的显著性不确定点。具体步骤如下：
[0090]
s31、基于s2获得的边界区域，过滤掉非边界区域；
[0091]
s32、利用1x1卷积将高维的显著性检测分支输出特征图映射成单通道的特征图；
[0092]
s33、使用sigmoid函数将上述特征图的值域压缩到[0,1]之间，获得显著性得分；
[0093]
s34、根据得分情况，选出显著性检测结果中n个最不确定的点其采用的公式如下：
[0094][0095]
其中，s(ni)表示点ni在显著性掩膜ms上的概率值，b(ni)表示点ni在边缘掩膜mb上的概率值。
[0096]
因此，不确定边界点处理提供了k个不确定边界点以及由边缘检测处理产生的一组高维的具有远程上下文信息的条带特征图用于边界渲染。
[0097]
s4、基于不确定点的位置，来融合每个点的粗糙特征和条带特征。具体步骤如下：
[0098]
s41、获得显著性检测分支的高维特征图，使用1x1卷积对其进行映射，获得粗糙特征fc。
[0099]
s42、获得边缘检测分支中的条带卷积模块输出的高维条带特征fs。
[0100]
图3为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的条带卷积处理示意图。在步骤s41和s42中，高维的条带特征图是由条带卷积模块从四个水平、垂直、左对角线和右对角线这四个不同方向捕获远程上下文信息。设x∈rh×w×c表示条带卷积模块的输入张量，其中h、w和c表示高度、宽度和通道数。在条带卷积块中，x经过1
×
1卷积后被输入四个平行路径，每个路径包含一个形状的条带卷积。然后将四个条带卷积的输出特征映射连接起来，然后进行上采样操作和1
×
1卷积，得到条带卷积块的输出。
[0101]
其中采用的条带卷积的定义如下：
[0102][0103]
其中，w∈r
2k+1
表示尺寸大小为2k+1的卷积核，d＝(dh,dw)表示w的方向，其中，(1,1),(-1,1),(0,1)和(1,0)分别表示左对角线，右对角线，水平和垂直。zd∈rh×w×
c'
表示条带
卷积的方向，x*w表示卷积操作的结果。对于滤波器w，本发明一个具体实施方式中设置k＝4，使每个条带卷积有9个参数，这与一个3*3的卷积滤波器相同。
[0104]
在上述条带卷积模块中，允许输出特征图中的每个位置与输入特征图中四个方向的多个位置建立关系。选择的四个方向与输入图像中大部分边界的分布相一致，并且相对容易实现。
[0105]
边缘渲染器的样本点基于不确定点生成器提供的边缘点，根据这些点的位置信息提取点的特征信息，然后通过一个由1*1卷积构成的多层感知机来预测这些采样点的前景概率，最终通过将这些样本点的新的得分置换到初始的显著性掩膜中，从而得到细化后的结果。
[0106]
图4为根据本发明具体实施方式中用于显著性检测不确定边缘点的修复方法的不确定边界点的选点处理示意图。在训练和测试阶段处理采样点时，本发明具体实施方式可以分别采用两种采样点的规则。在训练阶段，为了增加采样点的多样性，采样点由三部分组成：(1)随机抽样，本发明具体实施方式通过从均匀分布中随机抽样kn(k》1)个不确定的候选点；(2)不确定边界采样：利用不确定边界点生成器生成βn(n》1)个采样点；(3)非边界区域采样：从非边界区域采样(1-β)n个不确定点。
[0107]
为了平衡精度和训练复杂度，在本发明一个具体实施方式中采用了轻度偏置的采样策略，例如设置n＝182，k＝3，β＝0.75。在测试阶段，由于不需要计算梯度，所以使用更多的点来获取更密集的预测，这些点都来源于不确定边界点生成器。
[0108]
s43、将s41和s42获得的特征进行融合，融合公式如下：
[0109]ffusion
＝concatenate(fs,fc)，
[0110]
s5、使用多层感知机对融合后的特征进行重分类并将其置换到初始结果中，最终对比结果如图5所示。
[0111]
边界渲染器基于这些采样点重新分类来优化分割结果。具体来说，本发明具体实施方式中，将条带卷积模块产生的条带特征图fs和显著性检测分支产生的粗糙特征图fc进行特征融合后输入进多层感知机，多层感知机预测相应点的得分并将边界渲染器产生的点置换到初始的掩膜中，从而在恢复高分辨率的同时，保证了复杂对象边界的细节，多层感知机旨在细化这些不确定边界点的特征。
[0112]spoint
＝sigmoid(mlp(f
fusion
))，
[0113]
mlp为多层感知机，其通过在单层神经网络的基础上引入了一到多个隐藏层，隐藏层位于输入层和输出层之间。
[0114]
与本发明具体实施方式中的用于显著性检测不确定边缘点的修复方法相对应，本发明具体实施方式中还包括一种用于显著性检测不确定边缘点的修复装置，包括边界渲染器训练模块、边缘分割模块、不确定边界点的位置生成器、特征融合模块和重分类模块，其中，
[0115]
边界渲染器训练模块被集成至编解码风格显著性检测网络中，用于对解码模块得到的高维特征图输出至显著性检测分支和边缘检测分支，进行模型训练，得到最优模型参数；
[0116]
边缘分割模块利用训练的模型，对边缘检测分支输出结果进行阈值分割处理，得到目标类对象边界区域；
[0117]
不确定边界点的位置生成器利用不确定边界点的位置生成器来获取目标对象边界区域处一定数量的显著性不确定点；
[0118]
特征融合模块用于基于显著性不确定点的位置，融合每个显著性不确定点的粗糙特征和条带特征；
[0119]
重分类模块用于使用多层感知机利用融合后的粗糙特征和条带特征进行重分类。
[0120]
本发明中的用于显著性检测不确定边缘点的修复装置中，边界渲染器训练模块包括：高维特征图获取单元、显著性检测分支、边缘检测分支、多层感知机和最优模型参数获取单元，其中，
[0121]
高维特征图获取单元用于获取解码模块最后一阶段的高维特征图输出；
[0122]
显著性检测分支用于将高维特征图作为输入，输出显著性检测掩膜，并计算损失值进行模型参数更新；
[0123]
边缘检测分支用于将高维特征图作为输入，输出边缘检测掩膜，并计算损失值进行模型参数更新；
[0124]
多层感知机对于训练阶段获取的点进行分类，输出每个点的显著性得分，并计算损失值进行模型参数更新；
[0125]
最优模型参数获取单元用于当a2、a3和a4中的损失值收敛时，获得最优模型参数。
[0126]
上述说明示出并描述了本发明的若干优选实施例，本发明实施方式中所述只是在目前技术条件下本发明的技术流程的典型样例，在不脱离本发明的技术原理、步骤、功能、应用和实施框架的前提下，还有很大的优化提升空间，这些改进、优化等也视为本专利的保护范围。因此，如前所述，应当理解本发明并非局限于本说明书所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本说明书所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。