一种生物启发的轻量化边缘检测方法

本发明涉及图像处理领域，具体涉及一种生物启发的轻量化边缘检测方法。

背景技术：

1、基于深度学习的边缘检测方法：通常采用卷积神经网络(cnn)或transformer为基础，以编码网络解码网络的架构形式，设计边缘检测网络。这些方法中包含准确率优异的高性能边缘检测网络和低参数量和低计算量的高效边缘检测网络。其中，编码网络通常由卷积层、池化层和激活函数组成，将输入图像转换为一系列特征图。解码网络则使用上采样模块、特征融合模块和注意力模块，将多尺度特征恢复到与输入图像相同尺寸的边缘概率图。

2、生物启发的边缘检测方法：通常以生物视觉系统的神经元的响应范式为启发，设计新的边缘检测算法。生物视觉系统作为天然的高效的边缘检测器，对于其边缘提取和加工的视觉机制在神经科学领域存在大量的研究。根据生物视觉系统边缘提取和加工的视觉机制设计滤波器是这类方法的一大特点。

3、目前基于cnn和transformer的边缘检测方法虽然拥有良好的准确率表现，但是这些方法带来了参数量大、计算量高、以及推理速度慢的问题。一些人关注到了这些问题提出了一些轻量化的边缘检测方法，这些方法虽然以较少的参数量和计算量实现了不错的准确率，但是在推理速度(fps)方面有待提高。导致这些问题的原因可能是模型设计存在不合理，例如一些轻量化的边缘检测模型的实现过程加入了过多冗的模块和分支操作。

技术实现思路

1、本发明旨在提供一种生物启发的轻量化边缘检测方法，该方法将生物视觉系统中的一些信息处理范式和cnn进行结合，提高轻量化边缘检测算法的准确率，增加推理速度。

2、本发明的技术方案如下：

3、所述的生物启发的轻量化边缘检测方法，包括以下步骤：

4、a、构建神经网络，所述的神经网络包括orfc block1模块、orfc block2模块、第一orfc block3模块、第二orfc block3模块、fmm1模块、fmm2模块、fmm3模块、epm模块；

5、b、原始图像输入orfc block1模块中进行处理，得到将通道数变为60的orfcblock1处理结果；orfc block1处理结果输入orfc block2模块中，得到通道数变为120，长和宽变为二分之一的orfc block2处理结果；orfc block2处理结果输入第一orfc block3模块中，得到通道数变为240，长和宽变为二分之一的第一orfc block3处理结果；第一orfcblock3处理结果输入第二orfc block3模块中，得到通道数不变，长和宽变为二分之一的第二orfc block3处理结果；

6、orfc block1处理结果和第二orfc block3处理结果输入fmm1模块，经过fmm1模块处理后，得到通道数为1的，长宽和原始图像一致的fmm1处理结果；orfc block2处理结果和第二orfc block3处理结果输入fmm2模块，经过fmm2模块处理后，得到通道数为1的，长宽和原始图像一致的fmm2处理结果；第一orfc block3处理结果和第二orfc block3处理结果输入fmm3模块，经过fmm3模块处理后，得到通道数为1的，长宽和原始图像一致的fmm3处理结果；第二orfc block3处理结果输入epm模块，经过epm模块处理后，得到通道数为1的，长宽和原始图像一致的epm处理结果；

7、fmm1处理结果、fmm2处理结果、fmm3处理结果、epm处理结果分别输入concat函数中进行拼接，然后依次经过3*3-1卷积和sigmoid函数处理，得到最终检测结果。

8、orfc block1模块、orfc block2模块、第一orfc block3模块、第二orfc block3模块结构一样；

9、分别包括依次连接的orfc模块、第一base layer模块、第二base layer模块、第三base layer模块，输入结果先经过orfc模块处理，变更通道数和尺寸后，依次经过第一baselayer模块、第二base layer模块、第三base layer模块处理后，得到输出结果；

10、或者分别包括依次连接的dres layer模块、第一base layer模块、第二baselayer模块、第三base layer模块，输入结果先经过dres layer模块处理，变更通道数和尺寸后，依次经过第一base layer模块、第二base layer模块、第三base layer模块处理后，得到输出结果。

11、所述的dres layer模块包括orfc模块，输入结果先经过最大池化处理调整卷积核、输入通道、输出通道后，得到最大池化结果；最大池化结果分为两路，一路依次经过卷积核为k*k的orfc模块、relu函数、1*1卷积处理后，得到第一路结果；第二路经过1*1卷积处理后，得到第二路结果；第一路结果与第二路结果相加后，得到输出结果。

12、所述的第一base layer模块、第二base layer模块、第三base layer模块结构一样；

13、分别包括orfc模块，输入结果依次经过orfc模块、relu函数、1*1卷积处理后，与输入结果相加，得到输出结果；

14、或者分别包括卷积核为k*k的深度卷积dwc模块，输入结果依次经过深度卷积dwc模块、relu函数、1*1卷积处理后，与输入结果相加，得到输出结果。

15、所述的orfc模块卷积计算公式为：

16、fintegration＝wintegration*fon (1)

17、fon＝won*i (2)

18、

19、其中，代表最终整合出来的特征，代表整合特征的权重；i代表输入图片或者特征，l＝k×k代表on卷积核的个数，k代表卷积核的尺寸；

20、其中，a是可学习的参数；e是不可学习的常数矩阵，其对角线为1，其他位置为0；m不是可学习的参数矩阵，其对角线为-100，其他位置为0，其作用是为获取每个on卷积核去除中心偏移的像素点；r为可学习的相对位置编码，受到了swin的启发；softmax(·)沿着输入最后一个维度进行操作，reshape(·):1×l×l→l×1×k×k改变矩阵形状以适应后续计算，代表最后得到的on卷积核。

21、所述的k取值为3或5。

22、所述的fmm1模块、fmm2模块、fmm3模块的结构一样，分别包括两个epm模块；两个输入结果中的浅层输入结果经过第一个epm模块处理，得到第一个epm模块处理结果；

23、两个输入结果中的深层输入结果经过第二个epm模块处理，得到第二个epm模块处理结果；

24、第一个epm模块处理结果和第二个epm模块处理结果相乘后，与值为-1的相同维度的常数矩阵相乘，然后与值为1的相同维度的常数矩阵相加，然后与第一个epm模块处理结果相乘后得到输出结果。

25、在epm模块中，输入结果依次经过relu函数、1*1卷积、3*3卷积、sigmoid函数处理后，所得结果与输入结果相乘，相乘结果依次经过1*1卷积、interpolate函数处理后，得到输出结果。

26、本发明基于偏移感受野的启发，提出了orfc模块，用于模拟神经元的兴奋区和抑制区的偏移拮抗特性，orfc模块首先通过限制多个的卷积核的参数学习方式实现偏移拮抗特性，然后利用这些卷积核和可学习权重对输入特征进行特征提取和整合以获取对边缘表征更强的特征信息。

27、本发明基于生物视觉系统的反馈连接的启发，提出了fmm模块，用于模拟生物视觉系统中深层区域对于深层区域的调制作用。该模块通过浅层和深层的响应交集对浅层进行调制，让浅层去关注和深层不一致的区域，从而实现深层和浅层整体的编码效率。

28、本发明将orfc模块和fmm模块结合，可以通过设置不同的层数堆叠实现推理速度和准确率之间的取舍，这对实际的低算力应用场景非常友好。