一种表单任意区域字符识别与信息录入方法与流程

本发明属于图像检测与识别领域，主要涉及一种表单中任意区域字符识别与信息录入方法。

背景技术：

当今世界已进入信息爆炸时代，各类信息都以电子化的形式存储在个人电脑或服务器中。但这些电子化信息的录入如果仅仅靠人手工输入，很难满足对工作效率的要求。例如：现如今中国的物流行业发展迅速，每天有数以亿计的货物、物流信息需要录入更新，而这些信息大部分通常都以一张货物表单的形式呈现，货物表单上的信息也纷繁复杂，靠人工录入关键数据的方式显然不太现实。现有的传统信息录入系统，一般采用专门的扫描设备，将表单转化为图像，再利用搜索特定的图像特征或者位置信息进行字符区域的提取，然后再利用ocr技术对字符进行识别。这些方法有几个明显缺点，(1)扫描对象需要人工手动对准，例如：扫描枪需要靠近并对准需要检测的条形码或二维码；(2)每家公司设计的表单大小不同，同一家公司对不同货物的表单设计也有可能不同，传统单一信息扫描与录入系统无法做到通用识别；(3)现有扫描系统对扫描对象的摆放姿态也具有一定要求，不能识别任意摆放的表单信息。上述这些缺点都大大限制了现有表单信息录入系统的灵活度。

技术实现要素：

为解决上述问题，本发明提供了一种表单任意区域的字符识别与信息录入方法。所用采集系统主要包括：图像采集相机、计算处理系统、照明光源、传动装置等。图像采集相机放置于传动装置上方，用于采集包含表单的图像。计算处理系统用于接收图像采集相机采集到的图像，并进行图像处理、字符识别等。照明光源负责抑制环境光对图像采集效果的影响。传动装置负责传送或者放置含待识别表单的装置。传动装置可以是履带传输设备或者表单放置平台等。

为达到上述目的，本发明采用下述技术方案：

一种表单任意区域字符识别与信息录入方法，其特征在于，采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行操作步骤如下：

1)采集模板表单图像；

2)离线构建表单区域与兴趣区域的模板特征参数库，并行支撑后续步骤；

3)表单图像在线采集与待识别图像筛选，不满足筛选条件即返回；

4)表单区域提取与位姿标准化，不满足筛选条件即返回；

5)表单中兴趣区域提取与字符识别录入，完成并返回。

所述步骤1)采集模板表单图像获取的模板表单图像，主要用于离线构建表单区域与兴趣区域的模板特征参数库，并以各类特征参数的形式支撑后续的步骤与方法。针对不同类型模板进行相对应的特征参数库，扩展系统对不同表单的识别，可实现对任意表单中任意区域信息的识别。

所述步骤2)中表单区域与兴趣区域(信息区域)模板特征参数库构建的方法为：根据采集的模板表单图像，通过人机交互的方式，利用鼠标点击框选的方法分别获得表单区域和信息区域，然后计算其对应的模板特征参数，并构建参数库，参数库主要包括：表单区域和信息区域分别对应的最大内切椭圆长轴长度、短轴长度、中心点坐标，区域面积、连通域个数，以及表单区域与信息区域相对位置关系。

所述步骤3)中表单图像在线采集与表单区域筛选的方法：综合考虑当前帧与上一帧图像的相似度、表单区域的连通域个数、面积大小，矩形度等因素，比对当前获取的参数与模板特征参数库中对应参数的关系，之后判断得到筛选结果。

所述步骤4)中表单区域提取与位姿标准化校正方法。步骤如下：(1)从采集图像中提取出连通区最大的区域，称其为表单区域；(2)拟合表单区域的最大内切椭圆，计算其中心点坐标、椭圆长轴、短轴、长轴偏转角；(3)基于长轴偏转角，对表单区域进行几何变换校正，使其内切椭圆长轴处于水平标准化位姿，即获得“校正后表单区域”。

所述步骤5)中表单区域中兴趣区域提取方法的操作步骤如下：(1)根据模板特征参数库中相对位置偏移参数，计算“校正后表单区域”中待识别信息区域的中心点坐标，及其关于表单区域中心的中心对称点的坐标；(2)根据模板特征参数库中兴趣区域内切椭圆长轴长度、短轴长度等参数，计算出两个“候选信息区域”的中心点坐标，进而分割出表单标准位姿下待识别信息区域(兴趣区域)。

所述步骤5)中待识别的两个候选信息区域的字符识别与比对方法的步骤如下：将两个候选信息区域送入ocr分类器，同时进行字符识别与特征参数计算。如果计算与识别的两项结果中，有且只有一项结果同时满足“字符有效性判定准则”中的所有条件，则将所识别的有效项字符串输出，并录入数据库保存，同时返回并进行下一轮的识别；否则，声光提醒用户，提示当前区域字符识别与信息录入失败。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：提出了人机交互方式构建表单区域与表单中兴趣区域的模板特征参数库。在面对不同表单的不同兴趣位置信息识别与录入时，用户只需要在首次采集图像时进行简单的鼠标操作构建模板特征参数库，就可以实现后续表单中兴趣区域的自动识别与录入。该系统与方法可用于任意摆放位置、任意大小表单中任意区域字符的识别与录入。

本发明较传统信息识别录入方法，在功能方面更灵活，在效益方法更经济，在实际场景应用中有着良好的表现。

附图说明

图1是手动放置待检表单进行识别的应用场景。

图2是传动装置识别待检表单的应用场景。

图3是图像区域、表单区域、信息区域的包含关系示意图。

图4是本发明工作流程与支撑关系图。

图5是表单区域与兴趣区域模板特征参数示意图。

图6是表单区域与兴趣区域最大内切椭圆及其参数示意图。

图7是实时采集的随机姿态待检表单的区域提取与参数示意图。

图8是姿态校正后的表单及其参数示意图。

图9是从表单区域中提取兴趣区域的方法示意图。

具体实施方式

下面结合附图和优选实施例，对本发明做进一步详细说明，但本发明的保护范围不限于以下具体实施例。

除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的，并不旨在限制本发明的保护范围。

实施例一：

实施例为一种对手动放置或传动装置上姿态不同的信息载体(例如具有固定格式的纸质表单)的任意位置信息进行快速定位识别的方法，可实现对一定景深范围内清晰成像的一类具有设定格式的信息载体的快速识别。为方便描述，本文中将具有固定格式的信息载体实例化为表单。

本方法采用的系统实现的简易结构图如图1和图2所示，区别在于载物平台的不同，图1场景的载物平台为静止平台，表单由人工放置，适用场景为小型室内或商业环境；图2场景的载物平台为传送履带，适用场景为大型的工厂环境。本发明的硬件部分主要由图像采集相机、计算处理系统、照明光源、传送装置等部件组成。传送装置上的表单由于外部因素(如镜头畸变、人为干扰)存在着一定的形变，同时每张表单的摆放位姿也不固定(长轴偏转角范围可取值：0-2π)，很难保证图像采集相机采集得到的待识别表单具有统一的矩形度，偏转角。因此，本发明采用基于形状匹配与特征检测的方法对兴趣区域进行定位与校正，并将采集获取的图像分为三部分：图像区域，表单区域，信息区域。如图3所示，三部分区域呈递进包含关系，其中最外层区域为图像区域，中间虚线所框矩形区域为表单区域，内层阴影部分为信息区域(或称兴趣区域)。

本发明方法对表单的识别流程与关系图如图4所示。

首先，采集模板表单图像，离线构建表单区域与兴趣区域模板特征参数库，参数支撑后续步骤。具体的实施方法：

(1)手动调整模板表单的位置，使其位于相机视场正中间，并保证表单处于水平状态。

(2)通过鼠标左键点击拖动框选的方式，在模板表单中框选出完整表单，即图5矩形表单区域rect1，获得相关参数：a点与b点的像素坐标、中心点坐标center1。

(3)再次采用上述鼠标拖动框选的方法，选取待识别信息区域(感兴趣区域)rect2，即图5阴影部分，获得相关参数：c点与d点的像素坐标、中心点坐标center2。

(4)通过获取的矩形区域rect1和rect2特征参数，计算兴趣区域rect2相对于表单区域rect1的位置关系。主要思想：根据表单区域中心点center1,信息区域中心点center2的横、纵坐标，计算rect2相较于rect1在x,y方向上的偏移参数offsetxinit,offsetyinit；根据区域rect1和rect2最大内切椭圆长轴、短轴特征参数，推算表单区域与信息区域的长、宽大小与范围，如图6所示。

(5)将上述计算所得的模板特征参数存储到模板特征参数库中，以备后续步骤使用。

其次，周期性在线循环采集图像与图像区域筛选。具体的实施步骤与方法：

(1)将当前帧采集图像imaget与前一帧采集图像imaget-1进行相似度比较。如果像素相似度高于设定的阈值，则判断当前采集图像imaget为已经识别过的场景图像，不触发此帧的后续进一步的精细化处理与识别环节，返回并进行下一周期的图像采集；否则进入后续处理步骤。

(2)对有效采集图像imaget进行递进图像筛选。首先第一层判断图像中是否有物体，再根据第一层的判断结果，选择是否进入第二层判断图像中是否包含表单，以此类推。具体方法描述：计算采集图像中连通区域的个数number1，将其与模板特征参数库中获取的连通域个数num1进行比较，如果两个值相差较大，则表明当前采集图像中没有表单，如果相差较小，则进入下一层判断环节。

(3)计算并找出面积最大的连通区域，将其与模板特征参数库中获取的面积area1进行比较，如果两个值相差较大，则表明当前采集图像中虽包含表单，但并非系统需要识别的表单，如果相差较小，则可判断采集图像中包含目标表单，并进入后续步骤。

再次，表单区域提取与位姿标准化校正。具体的实施步骤与方法：

(1)从采集图像中提取出连通区最大的区域，称其为表单区域regiona，如图7所示，并对其进行平滑滤波操作，降低噪声对后续处理的干扰；

(2)拟合表单区域regiona的最大内切椭圆，计算其中心点centera(xa,ya)、椭圆长轴a′1、短轴b′1、长轴偏转角θ′1(长轴偏转角的获取以最小偏转角准则计算)；

(3)基于长轴偏转角θ′1，对表单区域进行几何变换校正，使其内切椭圆长轴处于水平标准化位姿(使得θ′1＝0rad)，即获得校正后的表单区域region′a，如图8所示。

然后，表单中兴趣区域提取。具体的实施步骤与方法：

(1)根据模板特征参数库中获取的相对位置偏移参数offsetxinit,offsetyinit，采用以下公式，

centerb1(xb1,yb1)＝(xa+offsetxinit,ya+offsetyinit)

centerb2(xb2,yb2)＝(xa-offsetxinit,ya-offsetyinit)

在表单区域region′a中求出待识别信息区域(兴趣区域)中心点坐标centerb1(xb1,yb1)，及其关于centera(xa,ya)中心对称的点坐标位置centerb2(xb2,yb2)，如图9所示。此处求中心对称点的目的是防止上述步骤中进行几何变换校正时将表单内切椭圆变换成负向水平方向。

(2)根据模板特征参数库中获取的兴趣区域模板rect2内切椭圆长轴长度a2、短轴长度b2，结合获得的中心点坐标centerb1(xb1,yb1)和centerb2(xb2,yb2)，计算并分割出表单标准位姿下待识别信息区域(兴趣区域)infrectb1，infrectb2(两个区域关于centera(xa,ya)点中心对称)。

最后，进行字符识别、信息比对与录入。具体的实施方法：将待识别的两个兴趣区域infrectb1，infrectb2并行送入ocr分类器同时进行字符识别与特征参数计算。如果计算与识别的两项结果中，有且只有一项结果同时满足“字符有效性判定准则”中的所有条件，则将所识别的有效项字符串输出，并录入数据库保存，同时返回进行下一轮的识别；否则，声光提醒用户，提示当前区域字符识别与录入失败。字符有效性判定准则：字符个数符合设定值，字符串类型、编码规则一致(即字符编码顺序符合预定设计)。

以上所述，仅为本发明较佳的优先实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围内。