任意字符排列方向的通用方形印章识别方法、装置及系统与流程

本发明涉及计算机视觉领域，尤其是一种任意字符排列方向的通用方形印章识别方法、装置及系统。

背景技术：

1、方形印章识别(方章)在很多图像信息提取业务中有重要价值。方章识别的技术痛点是版式多变、字符排列顺序不固定。

2、方章版式多样，常见的有方形财务章、法人章、其他姓名章、专用章、其他印章等，一些例图如图1所示(未打码的印章为人为生成的虚构章)。

3、方章字符排列顺序有3种不同可能：

4、1.文本行水平从上往下排列，如图2所示；

5、2.文本行竖直从左往右排列，如图3所示；

6、3.文本行竖直从右往左排列，如图4所示。

7、当前方章识别方法均为专用型方章识别，主要为针对某一固定排列顺序的或针对某一固定类型的方章识别方法，暂无可支持任意版式、任意字符排列方向的方形印章文字识别和排序方法。

技术实现思路

1、为了解决以上问题，本发明涉及一种任意字符排列方向的通用方形印章识别方法、装置及系统，能够按文字顺序识别任意字符排列方向的多种版式的方形印章，具有高通用性、高鲁棒性、高精度的特点。

2、根据本发明技术方案的第一方面，提供一种任意字符排列方向的通用方形印章识别方法，所述方形印章上具有多行印章文字，其中，所述通用方形印章识别方法包括以下步骤：

3、s1图像接收步骤：接收方形印章图像；

4、s2文本分割步骤：对所述方形印章图像进行文本分割，得到文本行掩膜和字符掩膜；

5、s3识别方式选择步骤：根据所述文本行掩膜确定所有文本行轮廓，计算并确定各个文本行轮廓的质量得分和方向，由此进行文本行直接识别或字符组合成文本行识别；

6、s4识别方式执行步骤：执行文本行直接识别或字符组合成文本行识别；

7、s5识别结果输出步骤：输出最优的方形印章识别结果。

8、进一步地，所述s2文本分割步骤中，采用可差分二值化的实时场景文本检测(real-time scene text detection with differentiable binarization，dbnet)算法模型进行文本分割。

9、进一步地，所述s2文本分割步骤中，所述实时场景文本检测算法模型包含两个结构相同的预测头，分别用于输出所述文本行掩膜和字符掩膜。

10、进一步地，所述s2文本分割步骤还包括：将经处理后收缩的所述文本行掩膜和字符掩膜扩充为原实例大小尺寸。

11、进一步地，所述s3中，如满足所有文本行轮廓的质量得分大于质量得分阈值且方向均为水平方向，则进行文本行直接识别；否则，进行字符组合成文本行识别。

12、进一步地，所述文本行轮廓的质量得分＝文本行轮廓的面积/该文本行轮廓的最小外接矩形框的面积。

13、进一步地，所述质量得分阈值为0.7。

14、进一步地，所述文本行轮廓的方向通过以下方式确定：如文本行轮廓的最小外接矩形框宽度大于高度，则该文本行轮廓为水平方向；反之，为竖直方向。

15、进一步地，所述s3中，如果某个文本行轮廓对应位置的字符掩膜处不存在字符，则该文本行为印章防伪编号，单独存储所述防伪编号文本行的最小外接矩形框，接在文本行之后一起进行识别。

16、进一步地，所述s4中，所述文本行直接识别包括：

17、针对所有文本行轮廓，求取最小外接矩形框及坐标，按照文本行坐标从上往下的顺序进行文本行识别，即得到按顺序排列的方章文字识别结果。

18、进一步地，所述s4中，所述字符组合成文本行识别包括：

19、s41：根据所述字符掩膜确定所有字符轮廓，根据字符轮廓确定字符的最小外接矩形框作为字符框，确定每个字符框的中点；

20、s42：确定字符框的数量，如字符框的数量为3，则对三个字符框进行排序后依次透视变换，将结果按照从左往右的顺序排列成文本行进行识别；如字符框的数量≥4，进行下一步；

21、s43：确定所有字符列表；

22、s44：将所有字符列表按顺序透视变换，得到水平排列文本行列表hlines、竖直从左往右排列文本行列表vlines1和/或竖直从右往左排列文本行列表vlines2；

23、s45：将hlines、vlines1和/或vlines2进行文本行识别，选择印章关键字在末尾的识别结果作为最优的方形印章识别结果。

24、进一步地，所述s42中，计算每个字符框的面积，面积最大的为第三字符，剩下两个字符中位于上方为第一字符，位于下方为第二字符，由此实现对三个字符框进行排序。

25、进一步地，所述s43中，所有字符列表包括所有水平文本行的字符列表、所有竖直文本行的字符列表或待确认方向字符列表。

26、进一步地，所述s43具体包括：

27、s431：计算所有字符框的最小字符框高度，记为hmin；

28、s432：分别计算每个字符框距离图像左上角、右上角、左下角和右下角的距离，根据最近距离确定左上角点字符框a、右上角点字符框b、左下角点字符框c和右下角点字符框d；

29、s433：按照从左到右、从上到下的顺序，分别计算除角点字符框外每个字符框中点到a、b、c、d中点连成直线的距离，由此确定第1行字符、第m行字符、第1列字符和第n列字符，其中，m为总行数，n为总列数；

30、s434：比较第1行字符与第m行字符的字符个数、第1列字符和第n列字符的字符个数是否相同：

31、如果第1行字符与第m行字符的字符个数不同，则方形印章文本行为水平排列，确定第2行-第m-1行的字符，由第1行字符至第m行字符组成所有水平文本行的字符列表；

32、如果第1列字符与第n列字符的字符个数不同，则方形印章文本行为竖直排列，确定第2列-第n-1列的字符，由第1列字符至第n列字符组成所有竖直文本行的字符列表；

33、如果第1行字符与第m行字符的字符个数、第1列字符和第n列字符的字符个数均相同，则确定第2行-第m-1行的字符和第2列-第n-1列的字符，分别保存第1行字符至第m行字符与第1列字符与第n列字符共同作为待确认方向字符列表。

34、进一步地，所述s43具体包括：

35、s431：计算所有字符框的最小字符框高度，记为hmin；

36、s432：分别计算每个字符框距离图像左上角、右上角、左下角和右下角的距离，根据最近距离确定左上角点字符框a、右上角点字符框b、左下角点字符框c和右下角点字符框d；

37、s433：按照从左到右、从上到下的顺序，分别计算除角点字符框外每个字符框中点到a、b、c、d中点连成直线的距离，由此确定第1行字符、第m行字符、第1列字符和第n列字符以及各自偏移量charoffseth1、charoffsethm、charoffsetv1和charoffsetvn，其中，m为总行数，n为总列数；

38、s434：比较第1行字符与第m行字符的字符个数、第1列字符和第n列字符的字符个数是否相同：

39、如果第1行字符与第m行字符的字符个数不同，则方形印章文本行为水平排列，确定第2行-第m-1行的字符，由此得到所有水平文本行的字符列表；

40、如果第1列字符与第n列字符的字符个数不同，则方形印章文本行为竖直排列，确定第2列-第n-1列的字符，由此得到所有竖直文本行的字符列表；

41、如果第1行字符与第m行字符的字符个数、第1列字符和第n列字符的字符个数均相同，则进行下一步；

42、s435：确定第2行-第m-1行的字符并计算各自的偏移量charoffseth2至charoffsethm-1，将charoffseth1至charoffsethm相加，得到水平方向总未对齐偏移量charoffseth；确定第2列-第n-1列的字符并计算各自的偏移量charoffsetv2至charoffsetvn-1，将charoffsetv1至charoffsetvn相加得到竖直方向总未对齐偏移量charoffsetv；

43、s436：比较charoffsetsv和charoffsetsh：

44、如果charoffsetsv＞charoffsetsh*5，则该印章文本行为水平方向排列，由第1行字符至第m行字符组成所有水平文本行的字符列表；

45、如果charoffsetsh＞charoffsetsv*5，则该印章文本行为竖直方向排列，由第1列字符与第n列字符组成所有竖直文本行的字符列表；

46、否则，分别保存第1行字符至第m行字符和第1列字符至第n列字符共同作为待确认方向字符列表。

47、进一步地，所述s433中，确定第1行字符、第m行字符、第1列字符和第n列字符以及各自偏移量charoffseth1、charoffsethm、charoffsetv1和charoffsetvn具体包括：

48、按照从左到右、从上到下的顺序，分别计算除角点字符框外每个字符框中点到a、b中点连成的直线的距离，取距离小于0.5个hmin的字符框按顺序排列得到第1行，并将所有添加至第1行的字符与该直线的距离之和作为第1行的偏移量charoffseth1；

49、按照从左到右、从上到下的顺序，分别计算除角点字符框外每个字符框中点到c、d中点连成的直线的距离，取距离小于0.5个hmin的字符框按顺序排列得到第m行，并将所有添加至第m行的字符与该直线的距离之和作为第m行的偏移量charoffsethm；

50、按照从左到右、从上到下的顺序，分别计算除角点字符框外每个字符框中点到a、c中点连成的直线的距离，取距离小于0.5个hmin的字符框按顺序排列得到第1列，并将所有添加至第1列的字符与该直线的距离之和作为第1列的偏移量charoffsetv1；

51、按照从左到右、从上到下的顺序，分别计算除角点字符框外每个字符框中点到b、d中点连成的直线的距离，取距离小于0.5个hmin的字符框按顺序排列得到第n列，并将所有添加至第n列的字符与该直线的距离之和作为第n列的偏移量charoffsetvn。

52、进一步地，所述s435中，确定第2行-第m-1行的字符并计算各自的偏移量charoffseth2至charoffsethm-1，具体包括：

53、按照从左到右、从上到下的顺序，分别计算其余的每个字符框中点到第1列中的第1个字符框中点与第n列中的第1个字符框中点连成的直线的距离，取距离小于0.5个hmin的字符框按顺序排列得到第2行字符，并将所有添加至第2行的字符与该直线的距离之和作为第2行的偏移量charoffseth2……直至顺次得到第m-1行字符以及第m-1行的偏移量charoffsethm-1。

54、进一步地，所述s435中，确定第2列-第n-1列的字符并计算各自的偏移量charoffsetv2至charoffsetvn-1，具体包括：

55、按照从左到右、从上到下的顺序，分别计算其余的每个字符框中点到第1行中的第1个字符框中点与第m行中的第1个字符框中点连成的直线的距离，取距离小于0.5个hmin的字符框按顺序排列得到第2列字符，并将所有添加至第2列的字符与该直线的距离之和作为第2列的偏移量charoffsetv2……直至顺次得到第n-1列字符以及第n-1列的偏移量charoffsetvn-1。

56、进一步地，所述s44具体包括：

57、针对所有水平文本行的字符列表，按顺序透视变换，得到水平排列文本行列表hlines；

58、针对所有竖直文本行的字符列表，按顺序透视变换，得到竖直从左往右排列文本行列表vlines1和竖直从右往左排列文本行列表vlines2；

59、针对待确认方向字符列表，按顺序透视变换，将保存的第1行字符至第m行字符变换为水平排列文本行列表hlines，并将保存的第1列字符与第n列字符分别变换为竖直从左往右排列文本行列表vlines1和竖直从右往左排列文本行列表vlines2。

60、进一步地，所述s45中，所述印章关键字包括“章”和“印”。

61、进一步地，所述s45中，如果未识别出印章关键字，则选择竖直从右往左排列文本行列表vlines2的识别结果作为最优的方形印章识别结果。

62、根据本发明技术方案的第二方面，提供一种任意字符排列方向的通用方形印章识别装置，所述通用方形印章识别装置基于根据以上任一方面所述的通用方形印章识别方法进行操作，包括：

63、图像接收单元，用于接收方形印章图像；

64、文本分割单元，用于对所述方形印章图像进行文本分割，得到文本行掩膜和字符掩膜；

65、识别方式选择单元，用于根据所述文本行掩膜确定所有文本行轮廓，计算并确定各个文本行轮廓的质量得分和方向，由此进行文本行直接识别或字符组合成文本行识别；

66、识别方式执行单元，用于执行文本行直接识别或字符组合成文本行识别；

67、识别结果输出单元，用于输出最优的方形印章识别结果。

68、根据本发明的第三方面，提供一种任意字符排列方向的通用方形印章识别系统，所述系统包括：处理器和用于存储可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行如以上任一方面所述的通用方形印章识别方法。

69、根据本发明的第四方面，提供一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一方面所述的通用方形印章识别方法。

70、本发明的有益效果：

71、1.通过采用双任务文本分割模块，可自适应地结合文本行掩膜和字符掩膜预测结果，灵活应对各种版式排列，从而拥有强大的通用性，可支持任意版式、任意字符排列方向的方形印章文字识别和排序；

72、2.通过将印章中竖排文本行切割组合成横排文本行，使得竖排文本行可以直接使用横排文本行识别模型进行识别，从而大大简化了识别流程、并能显著提升识别正确率(通常竖排文本行识别模型精度远不如横排文本行识别模型精度)。