专利名称：字符串识别装置及字符串识别方法
技术领域：
本发明涉及用于对由纸、塑料等材质形成的介质(记录载体)上的字符串进行光学读取的字符串识别装置及字符串识别方法。所谓本发明中的“字符串”，是指多个字符的排列。在此，“字符”不仅是一般的字母，还包含标记字符、图画字符、条形码、二维代码、甚至数字等，只要在介质上能辨认，任何形态和大小都可以。此外，是铅字字符还是手写字符都无关紧要。
背景技术：
一直以来，存在用于对印刷在例如支票等介质的表面上的字符串进行识别的字符串识别方法及其装置。在这种字符串识别方法及其装置中，因手动操作而导致介质传送速度变化，在介质移动方向上产生图像的失真，这种情况下，有时会随之在与介质移动方向垂直的方向上也产生图像失真(例如，字符串有时会倾斜、或有起伏)。此外，有时由于介质下边缘部脱离拍摄装置(字符识别装置)的传送路面，也会在与介质移动方向垂直的方向上产生图像失真。为了解决这种问题，在例如专利文献1所揭示的字符串识别方法中，包括第一步骤，该第一步骤在与介质上的字符串的方向(是字符的排列方向，称之为“水平方向”)垂直的方向(称之为“垂直方向”)上，使像素每次移位一个或几个像素，同时计算图像数据朝字符串的方向的投影；以及第二步骤，该第二步骤基于由该第一步骤得到的第一投影数据，检测字符串在垂直方向上的位置，并且，在上述第一步骤中，在字符串的方向上将图像数据分割成规定数量的分区(segment)之后，对其每一分区计算朝水平方向的投影数据。即，在为了检测字符串在垂直分方向上的位置而需要计算朝水平方向的投影(第一投影数据)时，不将像素值的相加范围设为沿介质的前进方向或字符串的方向的总宽度，而是将其划分成几等份，将每一分区的长度作为相加范围，分开计算朝水平方向的投影。由此，即使假设字符串倾斜，也能抑制因其而导致第一投影数据变平稳的不好影响。其结果是，即使图像失真的方向是与字符串的方向垂直的方向，也能防止识别字符串的精度下降。专利文献1 日本专利特开2007-272348号公报
发明内容
然而，在专利文献1所揭示的字符串识别方法中，对于字符串，即使在使用格式与假定格式不同的介质时，若对每一分区检测出的字符串的串数与假定格式的行数条件一致，则也误判定为原本假定的格式，其结果是存在无法进行正确的读取动作的问题。另外， 所谓该格式，是指记载有字符的区域的位置和范围、字符串的数量和字符数、字符的大小等。本发明鉴于上述情况，其目的在于提供一种即使是假定有多种格式的识别处理系统、也可以正确识别各种格式的字符串识别装置及字符串识别方法。
为了达到上述目的，权利要求1所述的发明的字符串识别装置通过对拍摄介质上的字符串而得到的图像数据进行处理，以识别所述字符串，其特征在于，包括字符串检索范围设定单元，该字符串检索范围设定单元在所述介质上设定字符串检索范围；分区生成单元，该分区生成单元在所述字符串的方向上对所述字符串检索范围进行分割以生成多个分区；投影计算单元，该投影计算单元对每一所述分区计算所述图像数据朝所述字符串的方向的投影；字符串串数计算单元，该字符串串数计算单元基于所述图像数据的投影，计算每一所述分区的字符串串数；字符串串数确定单元，该字符串串数确定单元基于每一所述分区的字符串串数，确定整个所述字符串检索范围的字符串串数；字符串有效性验证单元， 该字符串有效性验证单元基于整个所述字符串检索范围的字符串串数，判定所述字符串是否是规定的字符串。此外，权利要求2所述的发明的特征在于，在权利要求1所述的结构的基础上，所述字符串串数确定单元基于每一所述分区的字符串串数，求出表示规定的字符串串数的所述分区的数量的频数分布，将表示频数为最大值的字符串串数确定为整个所述字符串检索范围的字符串串数。此外，权利要求3所述的发明的特征在于，在权利要求2所述的结构的基础上，所述字符串检索范围设定单元在表示所述规定的字符串串数的所述分区的数量的频数分布不正常的情况下，在所述介质上设定与所述字符串检索范围不同的字符串检索范围。此外，权利要求4所述的发明的特征在于，在权利要求2所述的结构的基础上，所述分区生成单元在表示所述规定的字符串串数的所述分区的数量的频数分布不正常的情况下，增减字符串检索范围的分割数以生成与所述分区不同的分区。此外，权利要求5所述的发明的特征在于，在权利要求1至4的任一项所述的结构的基础上，所述字符串有效性验证单元对每一所述分区求出与所述字符串的方向垂直的方向上的字符串位置，基于这些字符串位置的一次差分，检测出所述字符串内有无异常，之后，当在所述字符串内没有检测出异常时，判定为所述字符串是规定的字符串。此外，权利要求6所述的发明的特征在于，在权利要求5所述的结构的基础上，当在所述字符串内检测出异常时，所述字符串检索范围设定单元在所述介质上设定与所述字符串检索范围不同的字符串检索范围。此外，权利要求7所述的发明的特征在于，在权利要求5所述的结构的基础上，所述字符串有效性验证单元在检测所述字符串内有无异常时，在每一所述分区的字符串位置的二次差分的绝对值的最大值超过规定的阈值的情况下，判定为在所述字符串内有异常。此外，权利要求8所述的发明的特征在于，在权利要求5所述的结构的基础上，所述字符串位置是字符串中心位置。此外，权利要求9所述的发明的特征在于，在权利要求1至4的任一项所述的结构的基础上，所述分区的生成个数是2的η次方(η为正整数)。此外，权利要求10所述的发明的字符串识别方法通过对拍摄介质上的字符串而得到的图像数据进行处理，以识别所述字符串，其特征在于，包括字符串检索范围设定工序，该字符串检索范围设定工序在所述介质上设定字符串检索范围；分区生成工序，该分区生成工序在所述字符串的方向上对字符串检索范围进行分割以生成多个分区；投影计算工序，该投影计算工序对每一所述分区计算所述图像数据朝所述字符串的方向的投影；字符串串数计算工序，该字符串串数计算工序基于所述图像数据的投影，计算每一所述分区的字符串串数；字符串串数确定工序，该字符串串数确定工序基于每一所述分区的字符串串数，确定整个所述字符串检索范围的字符串串数；字符串有效性验证工序，该字符串有效性验证工序基于整个所述字符串检索范围的字符串串数，判定所述字符串是否是规定的字符
串ο根据本发明所涉及的字符串识别装置及字符串识别方法，即使是假定有多种格式的识别处理系统，也能正确识别各种格式。此外，根据本发明，介质上的字符串检索范围沿字符串的方向被分割成多个分区， 基于这些分区的每一分区的字符串串数，确定整个字符串检索范围的字符串串数，基于该字符串串数，可以验证字符串的有效性(该字符串是否是规定的字符串)。
图1是表示本发明的实施方式1所涉及的字符串识别装置的电气结构的框图。图2是表示图1所示的字符串识别装置的字符串分离部的框图。图3是表示上述实施方式1所涉及的字符串识别方法的整个流程的流程图。图4是表示在图3所示的流程图中分离字符串的详细流程的流程图。图5是ID卡的主视图。图6是表示拍摄到介质上的字符串时的图像数据的第一示例的图。图7是表示将图6所示的图像数据朝字符串的方向投影时的水平投影曲线的图。图8是表示图6所示的图像数据中的每一分区的字符串串数的表。图9是基于图8所示的字符串串数的、表示规定的字符串串数的分区的数量的频数分布表。图10是表示每一分区的字符串串数的其他示例的表。图11是基于图10所示的字符串串数的、表示规定的字符串串数的分区的数量的频数分布表。图12是表示拍摄到介质上的字符串时的图像数据的第二示例的图。图13是表示将图12所示的图像数据朝字符串的方向投影时的水平投影曲线的图。图14是表示图12所示的图像数据中的每一分区的字符串串数的表。图15是基于图14所示的字符串串数的、表示规定的字符串串数的分区的数量的频数分布表。图16是表示图12所示的图像数据中的字符串中心位置的一次差分的表。图17是表示图12所示的图像数据中的字符串中心位置的二次差分的表。图18是表示在图3所示的流程图中分离字符的详细流程的流程图。图19是表示在表示本发明的实施方式2所涉及的字符串识别方法的整个流程的流程图中、分离字符串的详细流程的流程图。
具体实施例方式下面，说明本发明的实施方式。
[发明的实施方式1]图1至图18表示本发明的实施方式1。(字符串识别装置的结构)如图1所示，本实施方式1所涉及的字符串识别装置1是拍摄作为介质的ID卡 (身份证)6(下面称为“ID卡6”)上的字符记录区域60并对所得到的图像数据进行处理、 以识别在字符记录区域60内印刷的字符串的装置，包括数据输入部2、图像存储器3、以及数据处理部5。数据输入部2拍摄ID卡6上的字符记录区域60，转换成多值图像数据，并存储到图像存储器3中。在实施方式1中，如图1所示，字符串识别装置1包括传送ID卡6的介质传送机构2a、和拍摄ID卡6上的字符记录区域60以进行读取的紧贴型一维拍摄元件2b。介质传送机构2a利用未图示的传送单元将ID卡6向规定的传送方向T(在图1 中是从左向右)传送。在实施方式1中，在介质传送机构2a中形成有传送导轨2c，ID卡6 的一端(在图1中为下端)与传送导轨2c接触以进行传送。拍摄元件2b是由CXD等构成的线型传感器，在与传送方向大致正交的方向(ID卡 6的短边方向)上配置成一列，并且，如图1所示，形成为比在ID卡6上形成的字符记录区域60的短边方向的宽度要长。另外，在实施方式1中，模拟图像数据从拍摄元件2b输出， 另一方面，在字符串识别装置1中连接有未图示的模拟/数字转换电路，该模拟/数字转换电路将该模拟图像数据转换成数字图像数据。更具体而言，模拟图像数据例如被转换成8 比特的256灰度的多值图像数据，并输出到图像存储器3。另外，由于这种模拟/数字转换电路本身是已知的，因此这里省略其详细说明。图像存储器3具有如下功能将拍摄得到的多值图像数据视为由有限个像素构成的行列，将各像素的像素值即亮度值进行存储并自由读出。该亮度值以一定范围的数值来表示。具体而言，对于8比特的256灰度的多值图像数据，其亮度值表示作为0到255的整数值。此外，在本实施方式1中，将MXN个像素排列成矩阵状而构成，在MXN个区域中存储整个字符记录区域60的多值图像数据。另外，该图像存储器3可以是任何存储器，只要该存储器是RAM、SDRAM、DDRSDRAM、RDRAM等可将多值图像数据进行存储并自由读出的存储
ο而且，图像存储器3还具有将由后述图像二值化部5a生成的黑白二值图像数据进行存储的功能。如图1所示，数据处理部5包括控制整个数据处理部5的主控制部50、图像二值化部5a、字符串分离部5b、字符串检索范围存放部5c、字符分离部5d、特征提取部5e、特征比较部5f、特征词典存放部5g、以及字符判定部5h。图像二值化部5a将存储在图像存储器3中的多值图像数据转换成二值图像数据。 另外，关于二值化处理，由已知的判别分析法等适当的方法求出二值化阈值，将表示多值图像数据的亮度值为相对较大的值的像素作为白元素，将亮度值成为相对较小的值的像素作为黑元素，从而转换成黑白的二值图像数据。然后，在将MXN个像素排列成矩阵状的MXN 个区域中生成整个字符记录区域60的二值图像数据。字符串分离部5b从由图像二值化部5a得到的二值图像数据中进行分离字符串的处理。在本实施方式中，如图2所示，字符串分离部5b包括字符串检索范围设定部51、图像处理区域设定部52、分区生成部53、投影计算部54、字符串串数计算部55、字符串串数确定部56、字符串串数正确与否判定部57、差分运算部58、以及字符串有效性验证部59。此外， 字符串分离部5b处于主控制部50的控制下。字符串检索范围存放部5c根据该字符串识别装置1中对应的各种介质(ID卡6 以外、支票、信用卡等)存放有字符串检索范围的位置和形状等信息。例如，在ID卡6中， 如图5所示，矩形的字符串检索范围Al成为下部区域。此外，上部区域印刷有脸部照片、姓名、住所等个人信息。另外，在实施方式1中，如图6所示，字符串检索范围Al设定为比图 1所示的字符记录区域60要小的范围。字符分离部5d进行如下处理根据由字符串分离部5b分离出的字符串的二值图像数据，求出例如外接的矩形特征、黑像素的字符串的排列方向和与该排列方向正交的方向的直方图特征等，推定一个字符区域，对每一字符作为二值图像数据进行分离处理。特征提取部5e提取由字符分离部5d分离出的每一字符的二值图像数据的特征矢量。作为提取的字符特征，有字符边缘的方向特征、字符笔画密度特征、结构分析的特征等。 在实施方式1中，可以采用任意特征提取方法。特征比较部5f在要识别的一个字符的二值图像数据的特征矢量和登录在特征词典存放部5g中的基准特征矢量之间进行比对，检查距离值、相似度、或属于基准特征矢量的特征分量是否存在于要识别的一个字符的二值图像数据的特征矢量中，根据这样的检查，判定对照程度，并将识别候补字符输出。特征词典存放部5g存放ID卡6中使用的所有字符的基准特征矢量。字符判定部5h将从特征比较部5f输出的识别候补字符作为ID卡6中使用的字符进行输出。(字符串识别方法的步骤)接下来，基于图3的流程图，对一系列的字符串识别方法进行说明。利用具有上述结构的字符串识别装置1，在识别ID卡6上的字符串时，使ID卡6 沿数据输入部2的介质传送机构2a的传送导轨进行传送，通过数据输入部2的一维拍摄元件2b，从而可拍摄该ID卡6上的包含印刷有字符串的字符记录区域60的表面。由一维拍摄元件2b拍摄光学图像，将拍摄得到的模拟图像信号进行光电转换，在转换成数字多灰度的、例如8比特的256灰度的多值图像数据之后，存储到图像存储器3中。图像存储器3将多值图像数据输出到数据处理部5。数据处理部5如下面详细阐述的那样，依次执行一系列的字符串识别处理(图像二值化处理、字符串分离处理、字符分离处理、特征提取处理、特征比较处理、字符识别处理)。(图像二值化处理)首先，在步骤Sl中，图像二值化部5a进行图像二值化处理。即，图像二值化部5a 从图像存储器3中读出多值图像数据，并将该多值图像数据转换成二值图像数据。转换后的二值图像数据在图像存储器3中作为二值图像数据存放在与存放有多值图像数据的存储区域不同的存储区域。另外，这以后的处理利用该黑白的二值图像数据来进行。(字符串分离处理)在进行图像二值化处理之后，转移至步骤S2，字符串分离部5b进行字符串的分离处理。下面，基于图4所示的流程图，说明该字符串分离处理。
首先，在步骤Sll (字符串检索范围设定工序)中，字符串分离部5b的字符串检索范围设定部51将与ID卡6对应的字符串检索范围Al的位置和形状等信息从字符串检索范围存放部5c中读出。具体而言，如图6所示，矩形的字符串检索范围Al设定为收缩到形成有两串字符串的区域的范围。然后，在步骤S12(图像处理区域设定工序)中，如图6所示，字符串分离部5b的图像处理区域设定部52检测两串字符串的左边缘EL和右边缘ER，将字符串检索范围Al 在字符串的方向上进行收缩，以设定图像处理区域(有效区域)Bi。换言之，图像处理区域 (有效区域)Bl成为与分离出的字符串的左边缘El及右边缘ER外接的矩形。另外，图像处理区域(有效区域)Bl是有效地进行之后的字符串分离处理到字符识别处理的处理有效区域。具体而言，在以二值字符串检索范围Al的左上端点PO为起点向右方扫描而得到的垂直投影数据中，若各像素列的计数值(黑像素的检测)连续超过规定的阈值一定次数 (例如3次)，则将从其最开始的部位再向左侧后退几个像素的位置作为图像处理区域Bl 的左边缘EL。此外，在以字符串检索范围Al的右上端点PE为起点向左方扫描而得到的垂直投影数据中，若各像素列的计数值连续超过规定的阈值一定次数，则将从其最开始的部位向右侧后退几个像素的位置作为图像处理区域Bl的右边缘ER。由此，在字符串检索范围 Al内设定图像处理区域Bi。另外，如图6所示，图像处理区域(有效区域)Bl在垂直方向上的长度(宽度)与字符串检索范围Al相同。在此，所谓扫描，是指将二值图像数据(以像素为要素的行列/矩阵)的像素每次以一个或几个像素朝行(水平)方向或列(垂直)方向移位，同时计算图像数据朝与移位方向垂直的方向的投影。此外，投影计算是将由二值化转换成“1”或“0”的浓度的像素按照浓度分别进行总计以求出浓度投影(浓度分布图/直方图)，可以将白或黑的任一种像素作为总计值来进行计算。在本实施方式中，计算黑像素。接下来，在步骤S13(分区生成工序)中，如图6所示，分区生成部53将图像处理区域Bl沿ID卡6上的字符串的排列方向(水平方向)进行分割，以生成8个分区SE (SEl SE2)。在此，虽然将分区SE的生成个数设定为8，但也可以是其他个数。若分区SE的生成个数是2的η次方(η为正整数)，即是2、4、8、16........则具有易于进行后面的处理的优
点ο接下来，在步骤S14 (投影计算工序)中，投影计算部54对这些分区SEl SE8的每一分区，计算二值图像数据朝ID卡6上的字符串的方向(水平方向)的水平投影。具体而言，使像素朝与字符串的方向正交的方向(垂直方向)移位，同时对各像素行的与黑像素相当的二值图像数据“1”的像素数进行总计，生成水平投影直方图。于是，对于图6所示的 8个分区SE的配置，得到图7所示的水平投影曲线。在图7所示的每一分区SE中，水平方向的轴表示与黑像素相当的二值图像数据 “1”的像素数，各分区的右端是黑像素数为0的基准线，若黑像素增加，则亮度值下降，曲线图从右向左弯曲。此外，垂直方向的轴表示图像处理区域Bl中的上端与下端之间的位置/距离。接下来，在步骤S 15(字符串串数计算工序)中，字符串串数计算部55利用由投影计算部54生成的每一分区SE的水平投影曲线，计算每一分区SE的字符串的中心位置及串数。例如，在图8所示的表中，示出基于图7所示的水平投影曲线(二值图像数据的水平投影直方图)计算出的结果、即分区SEl SE8的每一分区的两串字符串的中心位置及串数。对于具体的计算方法，在图7所示的SE8中，使投影从起点S(起点S是既定值， 根据ID卡6来设定为适当的数值)开始向下，求出亮度值开始下降(低于规定的阈值) 的点LT1、和输出重新增加而复原(超过规定的阈值)的点LB1，将它们的中点LC1、即由 (LTl+LBl)/2给出的点作为图6所示的上侧的字符串中心位置来进行存储。同样地，对于接下来出现的下侧的字符串，继续进行求出LT2及LB2的操作直至达到投影的最终点，存储图 6所示的下侧的字符串中心位置LC2 = (LT2+LB2)/2。同样地，在各分区SEl SE7中，对字符串中心位置的个数进行计数，将该个数作为字符串串数。在本实施方式1中，如图5、6、 7所示，由于在ID卡6上形成有两串字符串，因此，对于图8的示例，在所有的分区SE中，字符串串数成为2。另外，虽然在图8中，表示LCl的字符串中心位置成为250 253的值，但认为这是允许范围，认为是相同的上侧的字符串。同样地，对于表示LC2的字符串中心位置的395 400，认为是允许范围，认为是相同的下侧的字符串。此外，对于ID卡6以外的介质，虽然未图示，但有时在字符串检索范围内形成有一串字符串。这样，对于一串字符串的情况，在图10中示出计算出字符串串数的情形。对于该图10的示例，在所有的分区SEl SE8中，字符串中心位置大致成为416，字符串串数成为1。这样，在本实施方式1中，由于利用字符串中心位置作为字符串位置，因此，具有简化后续处理工序的优点。接下来，在步骤S16 (字符串串数确定工序)中，如图9所示，字符串串数确定部56 基于由步骤S15求出的分区SEl SE8的字符串串数，生成表示规定的字符串串数的分区的数量的频数分布，基于该频数分布来确定字符串串数。例如，对于图8的示例，由于在所有的分区SEl SE8中，字符串串数为2，因此， 如图9所示，字符串串数为2的情况的频数成为8，其他情况的频数成为0。其结果是，确定 “字符串串数为2”，整个图像处理区域Bl的字符串串数确定为2。同样地，对于图10的示例，由于在所有的分区SE中，字符串串数为1，因此，如图 11所示，字符串串数为1的情况的频数成为8，其他情况的频数成为0。其结果是，确定“字符串串数为1”，整个图像处理区域Bl的字符串串数确定为1。另外，根据分区SE的配置等的影响，每一分区SE的字符串串数有时可能不全是相同串数。特别是，由于两端的分区SE(SE1、SE8)在一定程度上包含字符串的左侧或右侧的空白部分，因此，字符串串数有时会产生误差。在该情况下，虽然最大频数比所生成的分区 SE的数量即8要小，但允许最大频数到7，例如，在图8所示的示例中，若字符串串数为2的情况的频数是7，则判定为表示规定的字符串串数的分区的数量的频数分布是正常的。艮口， 即使在两端的任一端出现端效应、从而检测出比实际要少的字符串串数的情况下，也视为有效。此时，由于将两端中任一端的分区SE去除后的7个分区SE是相同的字符串串数，因此，能判断为数值的可靠性较高。接下来，为了排除该介质不是规定格式的ID卡6的情况，在步骤S17 (字符串串数正确与否判定工序)中，字符串串数正确与否判定部57基于由步骤S13生成的每一分区SE 的字符串串数，判定表示规定的字符串串数的分区的数量的频数分布是否正常。在该判定的结果是基于所生成的每一分区SE的字符串串数、判定为表示规定的字符串串数的分区的数量的频数分布不正常的情况下，判定该介质不是ID卡6，转移至步骤S20。另一方面， 在判定为表示规定的字符串串数的分区的数量的频数分布正常的情况下，判定为该介质可能是ID卡6，为了确定该介质是ID卡6而转移至步骤S18。(使用格式与ID卡6不同的介质的情况)在此，即使在基于每一分区SE的字符串串数、判定为表示规定的字符串串数的分区的数量的频数分布正常的情况下，也无法断言该介质是ID卡6，这是由于该频数分布正常不构成该介质是ID卡6的充分条件。S卩，由于像下面例示地那样，可假定如下情况即使表示规定的字符串串数的分区的数量的频数分布正常，该介质也不是ID卡6。具体而言，考虑使用字符串格式与ID卡6不同的介质的情况。例如，所使用的介质是图12那样的ID卡6以外的介质(例如，信用卡、员工证等)的情况。在图12所示的介质中，在字符串检索范围B2内，在范围B2的大致中央形成有一串字符串，在右侧上端印刷有脸部照片的一部分。设将这种介质输入到处理系统。于是，字符串分离的处理结果如图13 图15所示。图13是与图12所示的8个分区SEll SE18的配置相对应的水平投影曲线。水平方向的轴表示像素数，垂直方向的轴表示从图像处理区域B2的上端到下端的位置/距离。图14所示的表表示基于水平投影曲线的计算结果、即分区SEll SE18的每一分区的一串字符串的中心位置及串数。图15表示基于分区SEll SE18的每一分区的字符串串数的、表示规定的字符串串数的分区的数量的频数分布。在图15中，字符串串数为2的情况的频数成为7，如上所述，满足7以上这一字符串串数确定基准。因此，看起来由于字符串串数为2，从而介质是ID卡6的判别成立。这是由于根据分区SE中的字符串以外的图像数据的位置关系，该图像数据偶然满足与真正的字符串相同的条件。其结果是，基于每一分区SE的字符串串数，误判定为表示规定的字符串串数的分区的数量的频数分布正常，无法判别该介质不是ID卡6。因而，为了避免这种误判定，在步骤S18及步骤S19中，即使在判定为该介质可能是ID卡6的情况下，也根据如下假设来检测字符串内有无异常若介质是ID卡6，则字符串中心位置在相邻的两个分区SE之间不会急剧变化。S卩，求出每一分区SE的字符串中心位置的二次差分，根据该二次差分，能检测字符串内有无异常(步骤S18)，判定该字符串是否是ID卡6上的规定的字符串，即判定该介质是否一定是ID卡6 (步骤S19)。下面，具体说明这些步骤。在步骤S18 (字符串内异常检测工序)中，差分运算部58对于各字符串，运算图16 及图17所示的字符串中心位置的一次差分及二次差分，以作为表示字符串内异常的指标。 在此，图16是表示图12所示的图像数据中的字符串中心位置的一次差分的表，图17是进一步表示其二次差分的表。具体而言，差分运算部58首先运算在相邻的两个分区SE之间的字符串中心位置的一次差分。例如，图14表示图12所示的图像数据中的每一分区的字符串串数及字符串中心位置，在该图14的推定为上侧的字符串的数据LCll (称为“上侧的字符串”)中，由于分区SE13的LCll = 149，其左侧分区SE12的LCll = 147，因此两者的差分成为2。同样地，对于其他分区及字符串，也运算字符串中心位置的一次差分，生成图16的表。接下来，利用该一次差分的运算结果，如图17所示，运算每一分区SE的字符串中心位置的二次差分，生成图17的表。例如，在图17中，上侧的串的左起第3个的二次差分-91是从图16所示的上侧的字符串的分区SE15 16的一次差分-19、减去左侧的分区SE14 15的一次差分 72而得到的差分。接下来，在步骤S19(字符串有效性验证工序)中，确认该介质是否是ID卡6。具体而言，字符串有效性验证部59对于各字符串，判定每一分区SE的字符串中心位置的二次差分的绝对值的最大值是否超过规定的阈值(例如20)。然后，在该二次差分的绝对值的最大值超过规定的阈值的情况下，判定为在字符串内有异常，该介质上的字符串不是规定的字符串(该介质不是ID卡6)。此外，在其他情况下，判定为在字符串内没有异常，该介质上的字符串是规定的字符串(该介质是ID卡6)。例如，在图17所示的情况下，上侧的字符串中心位置二次差分从左开始成为-2、 72、_91、19、1，每一分区SE的字符串中心位置的二次差分的绝对值的最大值为91，由于这与上述阈值20相比为异常大的值，因此，判定为在上侧的字符串内有异常。另一方面，下侧的字符串中心位置二次差分从左开始成为0、0、0、1、_2，绝对值的最大值成为2。由于这是比阈值20要小的值，因此，判定为下侧的字符串正常。由此，由于在上侧的字符串内有异常，因此，判定为该介质不是ID卡6。这样，通过步骤S18 (字符串内异常检测工序)及步骤S19 (字符串有效性验证工序)，尽管介质不是ID卡6，但即使在偶然生成与真正的字符串相同的条件的情况下，也可以判别该介质不是ID卡6。此外，如上所述，由于将ID卡6以外的介质上设定的图像处理区域B2分割成多个分区SE，之后，利用每一分区SE的字符串中心位置的二次差分来检测字符串内有无异常， 因此，即使介质上的字符串倾斜，也提高了正确读取字符串的可能性。然后，在步骤S19中的处理结果判定为该介质是ID卡6的情况下，判断为字符串无异常，图4所示的流程图结束。另一方面，在判定为该介质不是ID卡6的情况下，与在之前的步骤S 17中判定为该介质不是ID卡6的情况相同，转移至步骤S20(字符串检索范围再设定工序)。在步骤S20中，字符串分离部5b的字符串检索范围设定部51将与ID卡6所使用的字符串检索范围Al不同的其他字符串检索范围从字符串检索范围存放部5c中读出，并在保存于图像存储器3的二值图像数据上设定该其他字符串检索范围。接下来，在步骤S21 (字符串检索范围残留判定工序)中，数据处理部5的主控制部50判定是否残留有未设定的字符串检索范围，若没有残留未设定的字符串检索范围，则图4所示的流程图结束。另一方面，若残留有未设定的字符串检索范围，则返回至步骤S12， 重复上述处理。另外，对于步骤S20和步骤S21，可以先执行S21，或者也可以同时执行两个步骤。由此，对于存放在字符串检索范围存放部5c中的所有字符串检索范围，依次执行字符串分离处理，可以正确识别所假定的各种格式。在此，若图4所示的流程图结束，则转移至图3所示的流程图的步骤S3。(字符分离处理)
下面，基于图18所示的流程图，说明步骤S3的字符分离处理。首先，在步骤S31 中，字符分离部5d使投影位置朝字符串的方向移位，同时计算朝与字符串的方向垂直的方向的垂直投影。具体而言，在图6所示的图像处理区域Bl内，在一个字符串、例如上侧的字符串中，对于与字符串的方向正交的方向(垂直方向)的各像素行的每一行，对各行的与黑像素相当的二值图像数据“1”的像素数进行计数(累计)，生成垂直投影直方图。接下来，转移至步骤S32，字符分离部5d根据利用由步骤S31得到的垂直投影数据而检测出的字符串的两端之间的像素数，计算字符行长度。接下来，转移至步骤S33，字符分离部5d将由步骤S31得到的垂直投影数据超过规定的阈值的部位检测作为构成字符串的字符的分离位置。具体而言，由于构成字符串的字符与字符之间包含空白部分，因此，通过将该空白部分的亮度值(在实施方式1中，与白像素相当的二值图像数据“0”)设定成为阈值，从而作为字符的分离位置。通过这种字符分离处理，求出成为识别对象的字符的外接矩形区域、即左右上下的坐标值。在此，图18所示的流程图结束。然后，转移至图3所示的流程图的步骤S4。(特征提取处理)在进行字符分离之后，转移至步骤S4，特征提取部5e进行特征提取。即，特征提取部5e将字符的外接矩形区域分割为nXn个子区域。例如，若设η = 5，则生成25个子区域。在各子区域中，求出黑像素数在该子区域内的所有像素数中所占的比例，生成将此作为要素的特征矢量。(特征比较处理)在进行特征提取之后，转移至步骤S5，特征比较部5f进行特征比较。S卩，特征比较部5f将由步骤S4生成的特征矢量与存放在特征词典存放部5g中的基准特征矢量进行比较，将相似度(例如归一化相关系数)最高的字符设定为相当于该字符的候补字符。(字符识别处理)在进行特征比较之后，转移至步骤S6，字符判定部5h进行字符识别。即，字符判定部5h将由步骤S5设定的候补字符识别为在作为介质的ID卡6中使用的字符。另外，在相似度超过固定值的候补字符存在多个的情况下，在该阶段无法进行字符识别。在该情况下，作为无法识别进行处理，或者，利用从特征矢量导出的二次特征量，进行相似字符的判别。例如，关注左右线对称性、上下线对称性、以及点对称性这三种对称性。对于左右线对称性，将nXn子区域分成左侧半部和右侧半部这两个区域，构成部分特征矢量，检查它们之间的相似性。此外，对于上下线对称性，将nXn子区域分成上半部和下半部这两个区域，构成部分特征矢量，检查它们之间的相似性。此外，对于点对称性，也用相同的方法检查相似性。由于对于一个字符能得到三种形状特征量，因此，根据这些值的相互关系，对应相应的字符。但是，即使如此，有时也会无法分离。例如，根据介质中使用的字符类型，有时难以判别“0”(字母的0)和“0”(数字的零)。在该情况下，例如，通过检查字符的高度差异、四角的曲率差异，可以进行该判别。
在此，由字符串识别装置1进行的字符串识别方法结束。(实施方式1的主要效果)像以上说明的那样，在本实施方式1中，即使是ID卡6等介质那样的、假定有多种格式的识别处理系统，也可以正确识别各种格式。此外，ID卡6等介质上的图像处理区域B 1沿字符串的排列方向被分割成多个分区SE，基于这些分区SE的每一分区的字符串串数，确定整个图像处理区域Bl的字符串串数，基于该字符串串数，能验证字符串的有效性(该字符串是否是规定的字符串)。[发明的实施方式2]图19表示本发明的实施方式2。在上述的实施方式1中，说明了如下情况在图4所示的流程图的步骤S17中的判定结果是基于每一分区SE的字符串串数、判定为表示规定的字符串串数的分区的数量的频数分布不正常(介质6不是ID卡6)时，在介质6上设定新的字符串检索范围。但是，也可以对原来的字符串检索范围Al内的图像处理区域Bl生成新的分区SE，来取代设定新的字符串检索范围A2。下面，说明生成新的分区SE的情况。S卩，在本实施方式2中，如图19所示，在步骤S17中的判定结果是基于每一分区 SE的字符串串数、判定为表示规定的字符串串数的分区的数量的频数分布不正常时，在步骤S22(分区重新生成工序)中，字符串分离部5b的分区生成部53对图像处理区域Bl的分割数进行增减变更。接下来，在步骤S23(分割次数判定工序)中，字符串分离部5b (数据处理部5)的主控制部50判定对图像处理区域Bl的以往的分割数进行增减变更的次数是否超过规定的次数(例如5次)。其结果是，若对图像处理区域Bl的分割数进行增减变更的次数未超过规定的次数，则返回至步骤S13，字符串分离部5b的分区生成部53以由步骤S22进行增减变更而得到的分割数沿介质6上的字符串的方向对图像处理区域Bl进行分割，生成多个(例如16 个)分区SE。另一方面，若对图像处理区域Bl的分割数进行增减变更的次数超过规定的次数， 则得出如下结论不管在该图像处理区域Bl中再如何进一步增减其分割数，基于每一分区 SE的字符串串数、判断为表示规定的字符串串数的分区的数量的频数分布正常的可能性也很小，转移至步骤S20，字符串分离部5b的字符串检索范围设定部51在保存于图像存储器 3的二值图像数据上设定与字符串检索范围Al不同的字符串检索范围A2，这之后进行与图 4的实施方式相同的处理。由此，对图像处理区域Bl执行规定的次数的分割处理，可以精确地执行格式的识别。另外，其他处理与上述实施方式1相同，起到与实施方式1相同的作用效果。[发明的其他实施方式]在上述实施方式1、2中，虽然将根据ID卡6的格式而设定的字符串检索范围Al进一步收缩，设定有效地进行字符串分离以后的处理的图像处理区域(有效区域)Bi，但并不一定要设定图像处理区域Bi，也可以将字符串检索范围Al作为图像处理区域(有效区域) 来进行字符串分离以后的处理。即，Sll及S12也可以合并作为一个工序。
在上述实施方式1、2中，说明了如下情况在确认介质是否是ID卡6时，利用每一分区SE的字符串中心位置的二次差分来判定介质上的字符串是否是规定的字符串。但是，作为表示字符串在与字符串的方向垂直的方向上的位置，不一定需要采用字符串中心位置，也可以例如将由(LT+2LB)/3给出的一个三等分点作为字符串位置。此外，也可以利用递归分析、主分量分析等多变量解析，以代替利用二次差分的方法。此外，在上述实施方式1、2中，虽然说明了将介质传送机构2a和一维拍摄元件2b 进行组合而得到的数据输入部2，但不限于此，也可以例如将二维(XD、CMOS成像器等区域传感器和被拍摄物体支承机构进行组合而构成数据输入部2。此外，虽然上述实施方式1、2的字符串识别装置1包括介质传送机构2a，但也可以采用不包括介质传送机构2a而沿传送导轨2c等的基准面手动传送介质的手动式字符串识别装置。此外，在上述实施方式1、2中，虽然说明了 ID卡6用的字符串识别装置1，但本发明当然也同样适用于对记录在ID卡6以外的介质(例如，护照、支票、信用卡、现金结算卡、 电子货币、驾驶执照、健康保险被保险证、退休金证件、员工证、会员证、借书卡等)上的字符串进行识别的字符串识别装置。工业上的实用性在对记录在ID卡、护照、支票等各种介质上的字符串进行读取时，可采用本发明所涉及的字符串识别装置及字符串识别方法。标号说明1……字符串识别装置2……数据输入部2a……介质传送机构2b……一维拍摄元件3……图像存储器5……数据处理部5a……图像二值化部5b……字符串分离部5c……字符串检索范围存放部5d……字符分离部5e……特征提取部5f……特征比较部5g……特征词典存放部5h……字符判定部6……作为介质的ID卡50……主控制部51……字符串检索范围设定部(字符串检索范围设定单元)52……图像处理区域设定部(图像处理区域设定单元)53……分区生成部(分区生成单元)54……投影计算部(投影计算单元)
55……字符串串数计算部(字符串串数计算单元)56……字符串串数确定部(字符串串数确定单元)57……字符串串数正确与否判定部58……差分运算部59……字符串有效性验证部(字符串有效性验证单元)A……字符串检索范围B……图像处理区域SE......分区
权利要求
1.一种字符串识别装置，该字符串识别装置通过对拍摄介质上的字符串而得到的图像数据进行处理，以识别所述字符串，其特征在于，包括字符串检索范围设定单元，该字符串检索范围设定单元在所述介质上设定字符串检索范围；分区生成单元，该分区生成单元在所述字符串的方向上对所述字符串检索范围进行分割以生成多个分区；投影计算单元，该投影计算单元对每一所述分区计算所述图像数据朝所述字符串的方向的投影；字符串串数计算单元，该字符串串数计算单元基于所述图像数据的投影，计算每一所述分区的字符串串数；字符串串数确定单元，该字符串串数确定单元基于每一所述分区的字符串串数，确定整个所述字符串检索范围的字符串串数；字符串有效性验证单元，该字符串有效性验证单元基于整个所述字符串检索范围的字符串串数，判定所述字符串是否是规定的字符串。
2.如权利要求1所述的字符串识别装置，其特征在于，所述字符串串数确定单元基于每一所述分区的字符串串数，求出表示规定的字符串串数的所述分区的数量的频数分布，将表示频数为最大值的字符串串数确定为整个所述字符串检索范围的字符串串数。
3.如权利要求2所述的字符串识别装置，其特征在于，所述字符串检索范围设定单元在表示所述规定的字符串串数的所述分区的数量的频数分布不正常的情况下，在所述介质上设定与所述字符串检索范围不同的字符串检索范围。
4.如权利要求2所述的字符串识别装置，其特征在于，所述分区生成单元在表示所述规定的字符串串数的所述分区的数量的频数分布不正常的情况下，增减所述字符串检索范围的分割数以生成与所述分区不同的分区。
5.如权利要求1至4的任一项所述的字符串识别装置，其特征在于，所述字符串有效性验证单元对每一所述分区求出与所述字符串的方向垂直的方向上的字符串位置，基于这些字符串位置的一次差分，检测出所述字符串内有无异常，之后，当在所述字符串内没有检测出异常时，判定为所述字符串是规定的字符串。
6.如权利要求5所述的字符串识别装置，其特征在于，当在所述字符串内检测出异常时，所述字符串检索范围设定单元在所述介质上设定与所述字符串检索范围不同的字符串检索范围。
7.如权利要求5所述的字符串识别装置，其特征在于，所述字符串有效性验证单元在检测所述字符串内有无异常时，在每一所述分区的字符串位置的二次差分的绝对值的最大值超过规定的阈值的情况下，判定为在所述字符串内有异常。
8.如权利要求5所述的字符串识别装置，其特征在于，所述字符串位置是字符串中心位置。
9.如权利要求1至4的任一项所述的字符串识别装置，其特征在于，所述分区的生成个数是2的η次方(η为正整数)。
10. 一种字符串识别方法，该字符串识别方法通过对拍摄介质上的字符串而得到的图像数据进行处理，以识别所述字符串，其特征在于，包括字符串检索范围设定工序，该字符串检索范围设定工序在所述介质上设定字符串检索范围；分区生成工序，该分区生成工序在所述字符串的方向上对所述字符串检索范围进行分割以生成多个分区；投影计算工序，该投影计算工序对每一所述分区计算所述图像数据朝所述字符串的方向的投影；字符串串数计算工序，该字符串串数计算工序基于所述图像数据的投影，计算每一所述分区的字符串串数；字符串串数确定工序，该字符串串数确定工序基于每一所述分区的字符串串数，确定整个所述字符串检索范围的字符串串数；字符串有效性验证工序，该字符串有效性验证工序基于整个所述字符串检索范围的字符串串数，判定所述字符串是否是规定的字符串。
全文摘要
在用于对介质上的字符串进行读取的字符串识别装置及字符串识别方法中，即使是假定有多种格式的识别处理系统，也能正确识别格式。在介质上设定图像处理区域(字符串检索范围)(S12)。沿字符串的排列方向对图像处理区域(字符串检索范围)进行分割，以生成多个分区(S13)。对每一分区计算图像数据沿字符串的排列方向的投影(S14)。基于图像数据的投影，计算每一分区的字符串串数(S15)。基于每一分区的字符串串数，确定整个图像处理区域(字符串检索范围)的字符串串数(S16)。基于整个图像处理区域(字符串检索范围)的字符串串数，判定字符串是否是规定的字符串(S19)。
文档编号G06K9/72GK102222241SQ20111011127
公开日2011年10月19日 申请日期2011年4月18日 优先权日2010年4月19日
发明者中村宏 申请人:日本电产三协株式会社