一种复杂稠密网络下的并置多尺度融合边缘检测模型

本申请涉及图像边缘检测，尤其涉及一种复杂稠密网络下的并置多尺度融合边缘检测模型。

背景技术：

1、边缘检测是一种从图像中提取显著性边缘和边界的技术，一直是计算机视觉领域关注的研究课题。边缘检测技术研发一直被认为是一种低级的下游任务，但各种高级任务比如形状匹配、显著性检测、图像分割等，却都得益于边缘检测技术的发展。

2、由于传统边缘检测技术仅关注图像中的梯度信息，无法结合全局感受野，故提取到的边缘预测背景有较多的伪线条。现阶段普遍采用深度学习的方法进行边缘提取。基于深度学习的方法大都在评价阶段会借助非极大值抑制来提高预测边缘的准确率，但仅关注预测边缘的准确性，没有同时考虑边缘的粗细程度，使得提取的线条较粗，并且在线条周围有较多的像素模糊。一个良好的边缘检测器必须在边缘的正确性(区分边缘和非边缘像素)和边缘的“脆度”(精确定位边缘像素)之间取得平衡。

3、本申请基于复杂稠密网络，提出了一种并置多尺度融合的边缘检测模型。该模型在传统深度学习边缘检测器侧输出的基础上，添加了自顶向下的并置多尺度融合架构，保留了多网络结构。基于该架构可以更好地整合高层和低层的信息，捕捉到更丰富的边缘纹理。最后使用一个简单的注意力模块融合多个网络输出，并结合跟踪损失对输出的不同尺度的预测图进行深度监督。本申请重点通过并置多尺度融合算法的优化，实现了多尺度，多层次信息的准确提取和有效融合，在精细边缘图像的同时也提升了预测的准确性。

技术实现思路

1、为了解决上述技术问题，本申请提出一种复杂稠密网络下的并置多尺度融合边缘检测模型，具体流程包括以下几个部分：

2、步骤一：主干网络输入原始rgb三通道图像，通过特征提取网络得到六个不同尺度的侧边缘输出；

3、步骤二：为了细化特征图，对每个侧输出首先构建一个膨胀卷积块，通过不同卷积核的卷积最后相加，达到了丰富多尺度边缘信息的目的，采用的卷积核分别为5，7，9，11输入通道数为c，输出通道数为m(m<c)，以减少后续融合阶段的计算开销，再引入一个空间注意力块，用于消除背景纹理信息。

4、步骤三：为了获取更加丰富的多尺度信息，我们在原有的六个输出的基础上添加了自顶向下的路径，用于丰富多尺度信息，在横向路径上，使用concate block进行并置融合，在自顶向下的路径中采用pixshuffle进行上采样，对不同尺度的侧输出图像使用转置卷积进行循环上采样得到每一个侧输出图像；

5、步骤四：最终的结果来自于这些预测的融合，融合结构称为cofusion块，本申请对该块在维度和归一化上进行了轻微的修改，以适应我们提出的多网络结构，得到最终的融合图像加上11张侧输出图一共12张图分别对gt计算损失进行深度监督；

6、步骤五：在对每个侧输出进行深度监督时采用的损失函数主要来源于cats，由三部分组成，分别是加权交叉熵损失、边缘追踪损失、纹理抑制损失；

7、步骤六：利用加权交叉熵函数进行边缘检测确定损失函数，给定边缘预测为对应的真值标签加权交叉熵函数的公式如公式(1)所示：

8、

9、其中y+＝{i|yi∈y,yi>δ}、y-＝{i|yi∈y,yi＝0}分别表示边缘和非边缘样本集，α表示边缘和非边缘的整体样本集中负样本的比例，引入λ用于平衡正负样本比例，δ是一个像素阈值；

10、步骤七：然后利用边缘追踪抑制来从混淆像素中分离出清晰的边缘，边缘追踪函数如公式(2)所示：

11、

12、其中e是边缘标签y中所有边点的集合，表示中心点在一个边缘点p上的一个7x7图像补丁，lp表示中所有边点的集合，为了使的值越小，要增大，要趋向于0，利用边缘感知函数可以抑制边缘周围的混淆像素并且有效地对网络进行监督；

13、步骤八：在边缘追踪函数处理完边缘周围的混淆像素后，剩余的纹理区域的模糊可以通过定义纹理区域抑制函数进行抑制，公式如下：

14、

15、其中表示中心点p不是边缘点的一个3x3图像补丁，表示边缘最终函数中用到的所有边缘和混淆像素的集合，要使得越小，就要趋向于0；

16、步骤九：最后利用边缘追踪和纹理抑制，最终损失函数表示为：

17、

18、其中和y分别表示边缘预测和边缘的真值标签，λ1和λ2为超参数用于平衡边缘追踪损失和纹理抑制损失。

19、与现有技术相比，本申请采用上述技术方案所产生的有益效果在于：

20、1.本申请模型基于复杂稠密网络以及我们设计的多尺度融合架构并结合了注意力模块和三种损失函数，分五个步骤得到了精细度与准确性平衡的自然图像边缘检测结果。

21、2.并置多尺度融合策略在添加了较少的参数情况下较大提升了图像多尺度特征的表达融合能力。

22、3.引入不同的损失函数以及使用特定的参数，较单一使用损失函数生成了更加清晰细致的边缘预测图像。

技术特征：

1.一种复杂稠密网络下的并置多尺度融合边缘检测模型，其特征在于：具体流程包括以下几个部分：

技术总结
一种复杂稠密网络下的并置多尺度融合边缘检测模型，涉及图像边缘检测技术领域，本申请基于复杂稠密网络，提出了一种并置多尺度融合的边缘检测模型。该模型在传统深度学习边缘检测器侧输出的基础上，添加了自顶向下的并置多尺度融合架构，保留了多网络结构。基于该架构可以更好地整合高层和低层的信息，捕捉到更丰富的边缘纹理。最后使用一个简单的注意力模块融合多个网络输出，并结合跟踪损失对输出的不同尺度的预测图进行深度监督。本申请重点通过并置多尺度融合算法的优化，实现了多尺度，多层次信息的准确提取和有效融合，在精细边缘图像的同时也提升了预测的准确性。

技术研发人员：田彬,张天胤,党建武
受保护的技术使用者：兰州交通大学
技术研发日：
技术公布日：2024/3/4