一种印章去除方法与流程

本发明涉及计算机视觉领域，尤其是一种印章去除方法。

背景技术：

在各种场景中，需要将文档进行电子化，比如文档图像分析、识别、分类、存储等都需要使用文档中的内容信息，这种识别称之为ocr技术。在银行表单识别、财务税票识别等应用中，图像往往会被盖上图(印)章，有公司公章、公司财务章，个人人名章等等，形状有圆章、椭圆章、正方形章、矩形框章等等，图章的颜色也有多种形式，大部分是红章，也有蓝色章，灰度扫描则为灰色的图章，还有图像经过二值化之后的黑白印章等等。图章盖在纸张上面，很多情况下都是覆盖字符的，由于有图章的影响，影响图章下面文字的定位和识别，间接的影响了ocr的识别率。

传统的去印章方法都是假设章是红色的，根据图像的rgb值进行分析从而去除，这种方法由于各种环境因素的影响，导致章的颜色一般不是纯红色，有的偏紫色，有的偏黑色等等，导致基于颜色分离的方案去印章不是很干净，甚至很多情况下都无法去除，特别是对于灰度的根本去除不了。

换言之，印章去除的难点在于以下几点：

1、采集设备多样：印章所在的文档图像获取设备可以是扫描仪、高拍仪等专用设备，还有目前普遍使用的手持设备如手机、pad、摄像机等移动设备。

2、印章的形式多样：有公司公章、公司财务章，个人人名章等等，形状有圆章、椭圆章、正方形章、矩形框章等等。

3、印章的颜色繁多：由于扫描设备带来的影响或者是印章的印泥颜色不正，导致图像印章的颜色有很多偏色，有的偏紫色、偏黑色、偏蓝色等等。

4、印章的深浅不一：由于印章是二次加盖的，不同的印泥量或者压章的力道不一，导致图像上的印章深浅不一，甚至有的章很不完整，章的边缘都连不成一个规整形状。

生成式对抗网络(gan,generativeadversarialnetworks)自2014年提出以来得到了广泛应用，并且取得了非常惊艳的结果，如风格迁移，人脸生成，图像翻译、图像合成、人脸合成、文本到图像的生成、图像域的转换、图像修复等应用。本发明创造性的将gan技术用于印章去除，取得了非常好的效果。

技术实现要素：

基于此，有必要针对传统技术存在的问题，提供一种基于生成对抗网络的印章去除方法。具体地，本发明涉及一种基于深度学习的印章去除方法，针对各种环境下的各种形式的印章去除。图像可来自扫描仪、高拍仪和手机拍摄等各种采集设备，印章可以圆形、椭圆形、方形等情况，颜色可以是各种颜色。该方法通过一个统一的深度学习完成，没有人工设定的参数，所有的参数都是由样本训练出来。此外，所述方法确保印章所覆盖的文字的清晰度，不影响对所述文字的后续操作，例如定位和识别。

根据本发明的第一方面，提供了一种印章去除方法，所述方法从原始图像中切割提取出印章图像，去除印章图像中的印章，再将去除印章的图像还原到原始图像相应位置，实现将带印章图像转换为无印章图像。

进一步的，所述方法包括以下步骤：

步骤1：输入第一原始图像步骤，所述第一原始图像带有印章区域；

步骤2：提取印章图像步骤，从所述第一原始图像中定位并分割出印章区域，提取第一印章图像；

步骤3：第一印章图像预处理步骤，对提取的所述第一印章图像进行归一化处理和缩放处理，缩放比例为sh和sw；

步骤4：印章去除步骤，采取cyclegan作为印章去除网络，去除第一印章图像中的印章，将第一印章图像转换为第一无印章图像；

步骤5：放大步骤，将所述第一无印章图像以1/sh,1/sw比例放大；

步骤6：第一无印章图像还原步骤，将放大后的所述第一无印章图像还原到原始图像中，输出无印章的第一原始图像。

进一步的，所述步骤2具体包括：

步骤21：在原始图像上以旋转矩形定位出印章区域，记录印章区域的旋转矩形的坐标；

步骤22：根据印章区域中的印章文本行区域或图像确定印章区域的方向；

步骤23：根据印章区域的旋转矩形及方向，获得印章区域的边界旋转矩形，分割并提取第一印章图像。

进一步的，所述步骤22中根据印章区域中的印章文本行区域确定印章区域的方向具体包括以下步骤：

提取印章区域，归一化到同等大小；

获取文字区域分数图和文字方向分数图，将文字区域分数图中分数大于设定阈值的像素确定为文字像素并置位1，将分数小于等于设定阈值的像素确定为非文字像素并置位0，得到文字二值图像；

分析得到的文字二值图像，定位出文本行区域，以文本行区域为界限，加权平均所有文本行区域内的文字方向，得到印章区域的文字方向，

其中，所述设定阈值取值范围为0-1。

进一步的，所述步骤22中根据印章区域的图像确定印章区域的方向具体包括以下步骤：

提取印章区域，归一化到同等大小；

对印章区域图像进行图像卷积和下采样操作；

通过一个或者多个全连接层，输出一个回归值，将360°作为归一化尺度，得到印章的角度，

其中，所述回归值的取值范围为0-1。

进一步的，所述步骤4具体包括：

步骤41：获取用于训练cyclegan模型的训练数据；

步骤42：通过训练数据对cyclegan模型进行训练，使得训练完成的所述cyclegan模型能够将带印章图像转换为无印章图像；

步骤43：输入第一印章图像到训练完成的cyclegan模型，通过所述训练完成的cyclegan模型输出第一无印章图像，实现将带印章图像转换为无印章图像。

进一步的，所述步骤41具体包括：

步骤411：选取带印章的第二原始图像；

步骤412：从第二原始图像中定位并分割第二印章图像，作为带印章样本；

步骤413：从第二原始图像中切割出多个无印章图像，作为无印章样本；

步骤414：将所述带印章样本和无印章样本作为用于训练cyclegan模型的训练数据，

其中，所述带印章样本与无印章样本具有相同比例。

进一步的，所述步骤6具体包括：

根据印章区域的旋转矩形的坐标，将放大后的所述第一无印章图像还原到第一原始图像中相应坐标位置，输出无印章的第一原始图像。

根据本发明的第二方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以上任一方面所述方法的步骤。

根据本发明的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上任一方面所述方法的步骤。

本发明的有益效果：

1、基于对抗生成网络gan，特别是基于cyclegan的一种图像印章去除算法，无需建立一对一的图像样本对，只需要手机带印章的样本和不带印章的样本，非常有利于印章去除训练的样本收集，降低了应用实施的难度。

2、从实验结果来看，本发明可以对彩色图像、灰度图像、二值图像进行去章，而且取得了非常理想的效果。使用gan进行去章，无需像传统算法一样需要在颜色通道上做算法，避免了很多参数调试，传统方法一旦颜色发生偏差，图章就完全无法分离。本发明的方法对图像没有太大的要求，算法具有很大鲁棒性，甚至二值化之后的图像都能够把印章去除了。

3、在训练印章去除模型的同时还生成了一个加章模型，还可以在图像识别之后根据需要进行图章还原。

4、本方法训练简单、生成效率高、算法具有很大鲁棒性，具有很大的应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1示出根据本发明的印章去除方法流程图；

图2示出根据本发明的cyclegan模型示意图；

图3示出根据本发明的印章去除方法效果图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

多个，包括两个或者两个以上。

和/或，应当理解，对于本公开中使用的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。

实施例

第一步、输入带印章图像：

输入原始图像(记录为imagebig)，该原始图像带有印章区域。

第二步、提取印章图像：

从原始图像中利用实例分割或其他方法定位并分割出印章区域，取得印章的外接矩形(记录为rectimg)，从大图中裁切得到带印章的图像，记录为imagesrc。

从原始图像中利用实例分割或其他方法定位并分割出印章区域，例如可采用以下方式：

在原始图像上以旋转矩形定位出印章区域，记录印章区域的旋转矩形的坐标；

根据印章区域中的印章文本行区域或图像确定印章区域的方向；

根据印章区域的旋转矩形的位置及方向，获得印章区域的边界旋转矩形，切割并提取第一印章图像。

优选的，根据印章区域中的印章文本行区域确定印章区域的方向具体包括以下步骤：

提取印章区域，归一化到同等大小；

通过全卷积神经网络，获取文字区域分数图和文字方向分数图，将文字区域分数图中分数大于设定阈值的像素确定为文字像素并置位1，将分数小于等于设定阈值的像素确定为非文字像素并置位0，得到文字二值图像；

通过连通域分析得到的文字二值图像，定位出文本行区域，以文本行区域为界限，加权平均所有文本行区域内的文字方向，得到印章区域的文字方向，

其中，所述设定阈值取值范围为0-1。

优选的，根据印章区域的图像确定印章区域的方向具体包括以下步骤：

提取印章区域，归一化到同等大小；

对印章区域图像进行图像卷积和下采样操作；

通过一个或者多个全连接层，输出一个回归值，将360°作为归一化尺度，得到印章的角度，

其中，所述回归值的取值范围为0-1。

通过以上步骤，能够高效、准确地分割出带印章图像，并快速确定带印章图像的主方向，方便后续步骤的操作，提高了印章去除的效率。

第二步、图像预处理：

准备符合下一步gan输入的图像，图像的宽度和高度对齐到一个固定整数如32、64、128、256、512等的倍数，在本实施实例中将图像对齐到32的整数倍，主要是为了更好的做卷积下采样。例如输入的图像的尺寸为hsrc＝245，wsrc＝269，将图像归一化到最靠近的尺寸hnor＝256，wnor＝256，采用图像的直接缩放的形式，记录缩放比例为该比例将用于后面图像尺寸还原，记录为imagenor。

第三步、生成式对抗网络：

利用对抗生成网络gan，将去印章问题转换为一个图像转换问题，输入带有印章的图像，转换为一个与输入图像相对应的没有印章的图像，记录为imagegan。基本的gan技术由iangoodfellow提出，之后衍生出各种不同的形式。由于基本gan算法，需要准备一对一的样本，这个对于去章算法意味着要一比一的标记像素，这个将对样本准备带来极大的困难，为了克服基本gan的样本问题，本发明技术方案采取了cyclegan作为印章去除网络。cyclegan本质上是两个镜像对称的gan，构成了一个环形网络。两个gan共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器，一个单向gan两个loss，两个即共四个loss，如图2，一个带有印章的图像x输入经过生成网络g生成y，y经过生成网络f生成计算质检的损失，称作cycleconsistencylosses，同样一个不带印章的图像y，经过生成网络f生成x,x经过生成网络g生成计算得到另外一个cycleconsistencylosses，另外两个损失是判别损失dx和dy。

获取用于训练生成对抗网络的训练数据：

cyclegan不需要准备一对一的样本，所以对于本发明，通过如下方法准备样本：手工或者程序定位到图像中的图章区域，将这个图章区域分割出来作为图章样本；然后在同样的图像上随机切割出适量比例的非图章样本(非图章样本与图章区域没有交集)。由此，得到了图章和非图章的非一对一的训练样本。

通过训练数据对cyclegan模型进行训练或优化：

神经网络循环一致性损失loss函数为：

l(g,f,dx,dy)＝lgan(g,dy,x,y)+lgan(f,dx,y,x)+λlcyc(g,f)

其中，g为从x空间到y空间的映射(生成网络)，f为从y空间到x空间的映射(生成网络)，dx为判别器，dy为判别器，lgan(g,dy,x,y)为生成网络g的cycle-loss函数，lgan(f,dx,y,x)为生成网络f的cycle-loss函数，其中lcyc(g,f)为identityloss，λ为identity-loss的系数，在本实施实例中为0.8。

神经网络的目标就是优化参数，使得loss值最小，训练过程使用batchsize个图像对(带章样本和非带章样本)，图像对在训练样本中随机选择。所谓batch就是每次送入网络中训练的一部分数据，而batchsize就是每个batch中训练样本的数量。对于去章模型，最后选择去章的那一部分的gan模型，即为图2中的生成模型g。

通过训练数据对cyclegan模型进行训练，使得训练完成的所述cyclegan模型能够将带印章图像转换为无印章图像。

此外，由于cyclegan模型的镜像对称性，在训练印章去除模型的同时还可以生成一个加章模型，从而在图像识别之后根据需要进行图章还原。

第四步、印章去除图像后处理：

将前一步生成的去印章之后的图像进行后处理，将图像尺寸还原到原来尺寸，这里图像的缩放比例为1/sh,1/sw，通过缩放之后得到一个跟输入图像完全一样的大小的去印章图像，记录为imagedst。

第五步、输出无印章图像：

印章图像是从大图imagebig中裁切的，而且去印章之后的图像往往带有大图中的上下文的信息，所以一般都需要将去印章之后的图像还原到原来大图imagebig中，具体操作就是按照rectimg的坐标，将imagedst贴回到原始位置。

实验表明，本发明的印章去除方法对于各种环境下的印章去除都有比较好的效果，相比于传统的基于rgb颜色分离的方法，无论对于扫描仪、高拍仪和收集采集的彩色图像、灰度图像设置是黑白图像都取得了很好的去章效果。而且实例中采用的cyclegan无需准备一对一的图像样本，只需要准备有章的样本和无章的样本，极大的降低了对训练样本的依赖。而且这个方法流程中除了需要增加训练样本，不需要调整任何参数，是传统算法所不能比拟的，为算法的提升提供了极大的方便。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。