一种基于深度学习的灰度印章着色方法与流程

1.本发明涉及印章识别技术领域，具体涉及基于深度学习的灰度印章着色技术。


背景技术：

2.印章为作最高法律效力的认证工具，被广泛应用于官方公告、合同协议、证照文件等文档中。印章中通常包含发证机关等关键信息，准确提取文档图像中的印章信息，是文档图像识别中的必要环节。常见的印章识别方式是首先根据印章的颜色特征，从图像中提取印章，将印章和文档文字进行分离，之后再分析识别印章中的文字信息，此种方式适用于保留了印章色彩特征的彩色文档图像。现有的关于印章识别的技术大多集中于对彩色图像中彩色印章的识别分析，但在实际业务中，往往存在大量复印和扫描文件，而此类文件通常为灰度图像，其中的文字和印章均为黑色，因此对重叠的印章和文字很难分离。


技术实现要素：

3.为了解决现有印章识别技术很难分离出文字中重叠的灰度印章的问题，本发明提出了一种基于深度学习的灰度印章着色方法。
4.技术方案如下：
5.一种基于深度学习的灰度印章着色方法，包括以下步骤：
6.s1、采用目标检测网络对灰度文档图像进行印章目标检测，获得印章在文档图像中的位置信息；
7.s2、根据位置信息裁切印章区域，作为印章实例图像，并统一印章实例图像的尺寸；
8.s3、通过着色网络对印章实例图像和灰度文档图像进行着色；
9.s4、通过融合模块对实例着色网络的全尺寸图像着色网络的中间层特征进行特征融合，得到全局的着色结果。
10.优选地，步骤s1中所述目标检测网络为faster rcnn网络，所述步骤s1进一步包括：
11.s11、通过卷积网络模块提取图像特征，得到特征图；
12.s12、通过区域候选模块提取感兴趣区域，即为印章的锚定框；
13.s13、将存在的一个或多个感兴趣区域统一为固定尺寸；
14.s14、通过全连接层进行锚定框的回归和类别判断，得到印章在文档图像中的位置信息。
15.优选地，步骤s2中所述印章实例图像尺寸统一设置为256x256像素。
16.优选地，步骤s3中所述着色网络包括实例着色网络和全尺寸图像着色网络，分别用于对印章实例图像和灰度文档图像进行着色。
17.优选地，所述着色网络的主干网络均为u-net。
18.优选地，所述u-net由10个卷积层组成，其中卷积层1～4用于实现图像下采样操
作，降低特征图的长度和宽度，增加通道数目；卷积层5～卷积层6通过空洞卷积操作增加网络的感受野；卷积层7～卷积层10用于实现上采样操作，逐步恢复特征图的尺寸，同时降低特征图的通道数。
19.优选地，所述10个卷积层的过滤器尺寸均为3x3。
20.优选地，步骤s4进一步包括：
21.s41、输入全尺寸图像特征图、印章实例图像特征图以及对应的位置信息；
22.s42、印章实例图像特征图和全尺寸图像特征图分别经过三层的卷积层进行处理，预测得到相应的权重图；
23.s43、结合印章实例图像的锚定框信息，调整印章实例特征图和对应权重图的尺寸，通过补0操作匹配原始图像尺寸；
24.s44、对印章实例特征图和全尺寸图像特征图，结合权重图，进行加权得到最终的特征融合结果。
25.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如上所述的基于深度学习的灰度印章着色方法。
26.本发明还提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放发计算机程序时，实现如上所述的基于深度学习的灰度印章着色方法。
27.与现有技术相比，本发明解决了难以分离出文字中重叠的灰度印章的问题，具体有益效果为：
28.1.本发明通过faster rcnn能够准确定位灰度文档图像中印章的位置；通过两个着色网络分别对印章局部图像和原始图像进行着色，能够有效结合对象级的语义信息；对目标局部着色结果可能与背景颜色不兼容，通过融合模块对两个网络中的特征图进行逐层融合，能够有效避免简单混合产生的视觉伪像的问题。
29.2.应用本发明提供的灰度印章着色方法，还原灰度印章图像的色彩信息后，后续能够根据颜色特征，对印章和背景的文字进行分离，有利于文档内容的识别与分析，本发明在文档印章识别工作中有着良好的应用前景。
附图说明
30.图1为本发明提供的灰度印章着色方法流程示意图；
31.图2为实施例2中所述目标检测网络工作流程实体图；
32.图3为实施例4中所述着色网络的工作流程示意图；
33.图4为实施例8中所述特征融合模块工作流程示意图。
具体实施方式
34.为使本发明的技术方案更加清楚，下面将结合本发明的说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，需要说明的是，以下实施例仅用于更好地理解本发明的技术方案，而不应理解为对本发明的限制。
35.实施例1.
36.如图1所示，本实施例提供了一种基于深度学习的灰度印章着色方法，包括以下步
骤：
37.s1、采用目标检测网络对灰度文档图像进行印章目标检测，获得印章在文档图像中的位置信息；
38.s2、根据位置信息裁切印章区域，作为印章实例图像，并统一印章实例图像的尺寸；
39.s3、通过着色网络对印章实例图像和灰度文档图像进行着色；
40.s4、通过特征融合模块对实例着色网络的全尺寸图像着色网络的中间层特征进行特征融合，得到全局的着色结果。
41.本实施例解决了现有印章识别技术很难分离出文字中重叠的灰度印章的问题。应用本实施例提供的着色方法，还原灰度印章图像的色彩信息后，后续能够根据颜色特征，对印章和背景的文字进行分离，有利于文档内容的识别与分析。
42.实施例2.
43.结合图2可以更好理解本实施例，本实施例为对实施例1的进一步举例说明，其中步骤s1中所述目标检测网络为faster rcnn网络，所述步骤s1进一步包括：
44.s11、通过卷积网络模块提取图像特征，得到特征图；
45.s12、通过区域候选模块提取感兴趣区域，即为印章的锚定框；
46.s13、将存在的一个或多个感兴趣区域统一为固定尺寸；
47.s14、通过全连接层进行锚定框的回归和类别判断，得到印章在文档图像中的位置信息。
48.本实施例应用faster rcnn网络，能够准确定位灰度文档图像中印章的位置，保障后续着色等操作位置准确。
49.实施例3.
50.本实施例为对实施例1的进一步举例说明，其中步骤s2中所述印章实例图像尺寸统一设置为256x256像素。
51.实施例4.
52.结合图3可以更好理解本实施例，本实施例为对实施例1的进一步举例说明，其中步骤s3中所述着色网络包括实例着色网络和全尺寸图像着色网络，分别用于对印章实例图像和灰度文档图像进行着色。本实施例通过两个着色网络分别对印章局部图像和原始图像进行着色，能够有效结合对象级的语义信息。
53.实施例5.
54.本实施例为对实施例4的进一步举例说明，所述着色网络的主干网络均为u-net。
55.实施例6.
56.本实施例为对实施例5的进一步举例说明，所述u-net由10个卷积层组成，其中卷积层1～4用于实现图像下采样操作，降低特征图的长度和宽度，增加通道数目；卷积层5～卷积层6通过空洞卷积操作增加网络的感受野；卷积层7～卷积层10用于实现上采样操作，逐步恢复特征图的尺寸，同时降低特征图的通道数。
57.实施例7.
58.本实施例为对实施例6的进一步举例说明，所述10个卷积层的过滤器尺寸均为3x3。
59.实施例8.
60.结合图4可以更好理解本实施例，本实施例为对实施例1的进一步举例说明，其中步骤s4进一步包括：
61.s41、输入全尺寸图像特征图、印章实例图像特征图以及对应的位置信息；
62.s42、印章实例图像特征图和全尺寸图像特征图分别经过三层的卷积层进行处理，预测得到相应的权重图；
63.s43、结合印章实例图像的锚定框信息，调整印章实例特征图和对应权重图的尺寸，通过补0操作匹配原始图像尺寸；
64.s44、对印章实例特征图和全尺寸图像特征图，结合权重图，进行加权得到最终的特征融合结果。
65.本实施例考虑到目标局部着色结果可能与背景颜色不兼容，通过融合模块对两个网络中的特征图进行逐层融合，能够有效避免简单混合产生的视觉伪像的问题。
66.实施例9.
67.本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行如实施例1-8中任意一项所述的基于深度学习的灰度印章着色方法。
68.实施例10.
69.本实施例提供了一种电子设备，包括处理器和存储器，其中处理器、存储器通过通信总线完成相互间的通信；存储器，用于存储计算机程序；处理器，用于执行存储器上所存放发计算机程序时，实现如实施例1-8中任意一项所述的基于深度学习的灰度印章着色方法。