基于图像局部边缘的目标分割方法、设备及介质与流程

本技术涉及人工智能、图像处理目标分割，具体是一种基于图像局部边缘的目标分割方法。

背景技术：

1、目标分割(object segmentation)是计算机视觉领域的一项关键技术，它旨在将图像中的目标与背景区分开来。目标分割技术的发展可概括为以下几个阶段：

2、1.传统图像处理方法：这些方法主要依赖于图像的颜色、纹理和形状等特征，如阈值分割、区域生长、边缘检测等。

3、2.机器学习方法：这些方法使用特征提取器和分类器进行目标分割。常见的机器学习方法包括支持向量机(svm)、决策树、随机森林等。

4、3.深度学习方法：随着深度学习的发展，卷积神经网络(cnn)在目标分割任务中表现出色。典型的深度学习方法有：

5、全卷积网络(fcn)：将卷积神经网络的全连接层替换为卷积层，实现逐像素分类。

6、u-net：一种具有跳跃连接的对称卷积神经网络，适用于医学图像分割等任务。mask r-cnn：在faster r-cnn的基础上，增加一个分支用于生成目标的像素级掩码。

7、deeplab：采用空洞卷积、空间金字塔池化(aspp)和条件随机场(crf)等技术，提高分割精度。

8、目标分割技术在自动驾驶、医学图像分析、视频监控、人机交互、笔迹鉴别等领域有广泛应用。目标分割算法的精度除了依据分割算法，很大程度也取决于训练数据，对像素标注的要求主要包括以下几点：

9、1.准确性：像素标注需要准确地将目标对象与背景分离，确保每个像素都被正确分类。

10、2.连续性：同一目标对象的像素标注应保持连续，避免出现断裂或孤立的像素点。

11、3.边缘清晰：目标对象的边缘应该尽可能清晰，以提高分割结果的质量。

12、4.一致性：对于同类对象，像素标注应具有一致性，遵循相同的规则和标准。

13、5.标注速度：为了提高工作效率，像素标注过程应尽可能快速，同时保证标注质量。像素级别的标注任务通常需要大量的人工劳动，标注质量直接影响模型的表现。

14、研究中发现，在签名笔迹分割标注方面，尤其是小物体时存在边缘模糊或过渡区域较大时，存在很大的挑战。由于小物体的尺寸较小，边缘细节相对复杂，因此在分割标注过程中，基本只能快速将目标中心像素标注出来，很难将边缘也准确、一致性的快速标注。这种情况对后续模型训练和算法评测产生了较大的影响，识别结果准确性降低。

15、如图1所示，为“王”字笔画及局部笔画细节放大示意图，通过对最后一笔画细节进行放大可以看出，边缘细节是非常模糊的，很难去定义一个人工标注可执行的统一标准。

16、边缘标注的不准确会导致模型训练时无法充分学习到物体边缘的特征，从而影响分割效果。其次，由于标注一致性差，可能会导致模型训练时出现过拟合或者欠拟合的问题，进一步降低模型的泛化能力。最后，不易于后续算法评测，因为评价指标如iou和准确率等可能会受到标注质量的影响，从而无法准确地反映算法性能。

17、公开号：cn116152274a，名称一种图像分割方法、装置、设备及存储介质，公开了一种图像分割方法，可以在粗分割后得到的初始分割图像的基础上，根据梯度向量在原始图像中每个像素点上对应的梯度变化，通过路径寻优的方式，对原始图像进行细分割从而可以提升图像分割的准确率。但对于模糊边界，上述点特征对于筛选边界点效果并不好。分割寻优路径算法中，特征点和特征点的配对有很多种，计算量非常大，同时由于特征点间距离增大后，容易出现不是同一边缘特征点误匹配情况，导致边缘计算错误。该方法没有给出如何基于边缘得到更佳分割效果的具体方法。

18、公开号cn114037710a，名称“图像分割方法”的中国发明专利申请，公开一种图像分割方法，目标分割图像中各元素指示视频图像帧中对应像素点属于前景物体的目标分割置信度，根据视频图像帧中的各候选区域的像素梯度和视频图像帧的像素梯度，确定视频图像帧中存在运动模糊的目标图像区域，根据设定阈值，对目标图像区域中各像素点对应的目标分割置信度进行修正，根据修正后的目标分割图像，对视频图像帧进行图像分割，根据梯度变化监测出运动模糊区域，并对其分割结果进行修正，提升了图像分割的准确度。该方法主要解决视频连续帧的运动模糊，需要利用视频帧间的信息。

19、上述方法致力于研究在模糊区域寻找连续且封闭的单像素边缘，效果容易受到模糊区域噪音的影响。

技术实现思路

1、本发明所要解决的问题是，基于小物体目标分割时存在边缘模糊和过渡区域较大，边缘标注和预测存在的准确性差、一致性差等难点，且现有技术计算量非常大、计算错误率高等问题。本技术基于局部边缘极大值对分割预测结果进行修正，提高如签名等小图像目标分割时边缘标注或预测的一致性，以及提高边缘像素标注准确性的问题。

2、本技术并未致力于在模糊区域寻找连续且封闭的单像素边缘，而是通过梯度大小和方向对模糊区域进行删除、保留等像素集合的划分，因此具有较小计算量、较强鲁棒性，并且实现边缘标注和预测准确性高、一致性高的目的。

3、本技术解决上述技术问题的技术方案是，基于本技术的一方面，提出一种基于图像局部边缘的目标分割方法，获取原始图像和初始分割图像，将原始图像中的多通道图像转化为单通道图像，将初始分割图像区域扩大，得到候选分割区域；在候选分割区域内计算单通道图像梯度的幅值和方向；基于梯度幅值顺序迭代标记候选分割区域内像素；从候选分割区域中去掉标记为不同类型像素集合，得到优化分割目标。

4、进一步优选，所述将多个通道图像转化为单通道图像包括，统计彩色图像的r、g、b通道和转换的灰度通道中原始图像在初始分割图像范围的图像前景集合和背景集合，计算前景或背景灰度值二分类的等错误率，选择等错误率最小的通道为最优通道，将原始图像中的多通道图像通过最优通道转化为单通道图像。

5、进一步优选，所述将初始分割图像区域扩大包括，如果初始分割图像存在欠分割，对于需要扩大边缘区域的图像，使用3*3形态学算子进行操作，对于需要膨胀范围的图像，采用多次3*3的形态学算子或者5*5的形态学算子进行操作，扩大初始分割图像区域。

6、进一步优选，所述计算单通道图像梯度的幅值和方向包括，利用卷积核对图像进行卷积，计算图像每个像素的水平和垂直梯度值gx和gy，调用公式：

7、|g|＝|gx|+|gy|

8、

9、计算单通道图像梯度幅值|g|和方向角度θ

10、进一步优选，迭代标记候选分割区域内像素包括，计算目标图像梯度的大小和方向，基于梯度幅值顺序排列未标记像素集合；在未标记像素集合中过滤掉所有梯度幅值小于设定梯度阈值的像素，并标记为梯度极小值；每次获取新的最大梯度的未标记像素，作为梯度极大值，通过该梯度极大值像素的梯度方向判断保留像素位置和删除像素的位置；根据位置从未标记像素集合中，将访问新像素、保留像素和删除像素分别标记为梯度极大值像素、保留像素和删除像素，直至所有像素标记完成。

11、进一步优选，通过梯度极大值像素的方向角度和前、背景像素的范围判断像素梯度方向为删除方向还是增加方向，按照每个梯度方向以y轴负半轴为起点，顺时针旋转，按等分或不等分的邻域梯度角度方式划分，顺序确定邻域，得到邻域内的删除像素和增加像素，依据分割目标的梯度分布确定梯度角度范围，避免多个极大值像素对应相同的删除或增加像素。

12、进一步优选，针对汉字分割，采用8邻域不均分梯度方向，对应横笔画和竖笔画的1、3、5、7邻域像素的梯度范围为60°，其它邻域像素的梯度范围为30°；如果待分割汉字的梯度分布仅有横笔画或竖笔画，采用4领域均分梯度方向。

13、进一步优选，如单通道下前景像素平均值小于背景像素平均值，则判断梯度增大的方向为前景到背景，对应梯度增加方向的邻域像素删除，而梯度减小的方向为背景到前景，对应梯度增加方向的邻域像素保留。

14、根据本技术另一方面，提出一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上面所述的基于图像局部边缘的目标分割方法。

15、根据本技术另一方面，提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上面任一项所述的基于图像局部边缘的目标分割方法。

16、本技术提出在标注或算法预测结果上，基于局部梯度极大值对初始结果进行修正，具有以下优点：提高目标分割像素级标注的效率和准确性。现有标注方法中，为了获得更优的标注结果，标注人员需要完成大量的单像素标注工作，尤其是在边缘区域花费大量时间。采用本技术方案后，只需要通过图像处理模块将前景核心区域像素标记出，不需要再针对边缘像素标注，本发明自动扩充边缘像素。对于忽视掉标注的明显前景，只要有邻域像素被标记，也能够给完成补充，对于误掉标注的部分背景，也能够给完成自动删除。提高目标分割边缘标注或预测的一致性。

17、现有标注方法和预测方法中，对于前景边缘区域容易存在不一致，哪怕是同一个标注人员在不同次的标注结果在边缘区域也相差较大，这对算法训练和模型评测都极为不利。采用本方案修正后，基于梯度局部极大值，提高了标注或区域结果的一致性。