一种基于可形变卷积的批量模糊标识重建方法

本发明涉及机器人图像处理领域，具体而言，设计一种基于可形变卷积的批量模糊标识重建方法。

背景技术：

1、随着科技的快速发展，二维码、条形码等标识作为一种自动识别技术，在携带信息大小、识别速度等方面有很多优点，几乎被应用于所有行业和领域，如商品标识、共享单车、移动支付、社交软件等，极大的方便了人们的日常生活。但是，人们可能由于拍摄抖动造成拍摄出来的标识图像为模糊图像，不能被解码。

2、得益于深度学习的快速发展，研究人员提出了很多基于深度卷积神经网络的图像处理算法，这些算法通过对大量的训练样本进行训练，进一步得到需要的结果。相比传统的图像处理方法，深度学习具有更好的性能和更高的鲁棒性，现在已经成为人工智能领域研究热点。

3、将模糊的标识进行重建并使其可识别是一个很典型的逆问题，处理起来难度较大，在对边缘和平滑度等细节信息的尺度把握具有很高的难度。传统方法首先通过一些手段获得关于模糊核的信息，再根据模糊核重建出清晰的图像，但是在一般情况下，模糊函数是未知的，因此使用传统方法会有很大的局限性，不足以解决实际生活中由各种复杂因素引起的图像模糊问题。

技术实现思路

1、针对由于标识图像存在模糊而无法准确识别的情况，采用基于可形变卷积的生成对抗网络的去模糊算法和图像处理算法相结合的标识识别方法，能够在标识图像受模糊和噪声影响比较大时仍能准确识别，提高了标识识别的鲁棒性，有效解决了现有标识识别方法中存在的问题。

2、本发明采用如下技术方案：一种基于可形变卷积的批量模糊标识重建方法，包括以下步骤：

3、1)去模糊模型构建：

4、构建模糊标识数据集；

5、对于模糊标识数据集中的每幅图像，判断图像是否是模糊图像；当判断为模糊图像时，将模糊图像加入到模糊标识数据集以进行去模糊网络模型的训练；

6、使用模糊标识数据集进行去模糊网络模型训练；

7、2)模糊标识识别：

8、将待识别图像通过去模糊网络模型得到去模糊后的图像；

9、对去模糊后的图像进行二值化，通过边缘检测提取标识目标边缘所在直线，通过直线倾斜角度并旋转校正。

10、所述构建模糊标识数据集，包括以下步骤：

11、由多幅标识图像构成标识数据集；标注标识图像中的标识目标背景、标识目标、标识目标与摄像头距离；

12、在设定的背景下使用图像采集装置采集标识图像，并进行不同模糊长度和模糊角度的模糊处理得到模糊标识图像，采集的标识图像与模糊标识图像构成标识数据集。

13、所述判断图像是否是模糊图像，包括以下步骤：

14、获取图像大小；将图像裁剪及缩放至设定尺寸；

15、获取图像包含的颜色数量和像素点数量、及像素点所对应的灰度值；

16、根据图像像素点位置对应的灰度值，将灰度值为0和255以外的像素点的灰度值置为一个新的可区分的灰度值；

17、根据图像中标识目标的灰度值信息，得到各灰度值像素点的数量及所占的比例，并构建灰度直方图分布，将大于阈值t的图像判断为模糊标识图像。所述去模糊网络模型的构建，包括以下步骤：

18、去模糊网络模型包括依次连接的特征金字塔网络、深度学习模型：

19、1)对于特征金字塔网络：

20、将特征金字塔网络的3*3卷积核的block换成可形变卷积dcn，得到不同的特征；

21、将提取的特征上采样到特征金字塔网络输入图像大小的1/4并级联成一个张量，包含不同级别的语义信息；

22、在特征金字塔网络的最后依次添加一个上采样层和一个卷积层；

23、2)对于深度学习模型：

24、顺次的生成网络g和判别网络d构成深度学习模型，并将生成网络g和判别网络d中的block替换为可形变卷积dcn。

25、所述对去模糊后的图像进行二值化，通过边缘检测提取标识目标边缘所在直线，通过直线倾斜角度并旋转校正，包括以下步骤：

26、统计标识目标像素个数所占图像总像素个数的比例、标识目标像素的平均值；得到类间方差或类内方差；当使类间方差最大或者使类内方差最小的阈值，即为最佳阈值；使用最佳阈值，对图像进行二值化处理；

27、将二值化后的图像通过canny算子进行边缘检测，得到标识目标边缘，然后通过hough变换得到边缘所在直线的斜率和旋转角度，最后用双线性插值法对标识目标进行旋转校正，以完成标识目标的识别。

28、一种基于可形变卷积的批量模糊标识重建系统，包括：

29、去模糊模型构建模块，用于构建模糊标识数据集；对于模糊标识数据集中的每幅图像，判断图像是否是模糊图像；当判断为模糊图像时，将模糊图像加入到模糊标识数据集以进行去模糊网络模型的训练；使用模糊标识数据集进行去模糊网络模型训练；

30、模糊标识识别模块，用于将待识别图像通过去模糊网络模型得到去模糊后的图像；对去模糊后的图像进行二值化，通过边缘检测提取标识目标边缘所在直线，通过直线倾斜角度并旋转校正。

31、本发明能够产生如下有益效果和优点：

32、1.本发明中，加入模糊图像筛选模块，可以减少对可以识别的表示图像作不必要的识别，而只去识别模糊标识图像，提高效率。

33、2.本发明中，dcn在感受野中引入了偏移量，而且这偏移量是可学习的。这样之后的卷积区域便始终覆盖在物体周围。引入可形变卷积，可以更精准的提取图像信息，进一步达到精准识别。

技术特征：

1.一种基于可形变卷积的批量模糊标识重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于可形变卷积的批量模糊标识重建方法，其特征在于，所述构建模糊标识数据集，包括以下步骤：

3.根据权利要求1所述的一种基于可形变卷积的批量模糊标识重建方法，其特征在于，所述判断图像是否是模糊图像，包括以下步骤：

4.根据权利要求1所述的一种基于可形变卷积的批量模糊标识重建方法，其特征在于，所述去模糊网络模型的构建，包括以下步骤：

5.根据权利要求1所述的一种基于可形变卷积的批量模糊标识重建方法，其特征在于，所述对去模糊后的图像进行二值化，通过边缘检测提取标识目标边缘所在直线，通过直线倾斜角度并旋转校正，包括以下步骤：

6.一种基于可形变卷积的批量模糊标识重建系统，其特征在于，包括：

技术总结
本发明涉及一种基于可形变卷积的批量模糊标识重建方法。根据使用的背景不同，制作模糊标识数据集，用于图像去模糊网络模型的训练。其次，识别标识图像是否是模糊图像，如果是模糊图像，将该图像进行下一步骤的去运动模糊操作。然后，构建基于可形变卷积的生成对抗网络的图像去模糊算法，使用模糊的标识数据集进行训练以获得权重文件，使其在图像模糊核未知的情况下仍能获得去模糊效果；最后针对标识图像可能存在的局部区域强度不均，需使用图像二值化算法；并需要对图像进行校正工作。

技术研发人员：刘意杨,陈佳欣,唐川宁,杨仁枫,王智凝,白洪飞,崔好
受保护的技术使用者：中国科学院沈阳自动化研究所
技术研发日：
技术公布日：2024/1/15