图像处理装置和图像处理方法
【专利摘要】本发明提供图像处理装置和图像处理方法，能够确定输入图像中符合搜索条件的由多个字符串区域构成的组。图像处理装置包含受理搜索条件的设定单元。搜索条件包含多个格式字符串的指定。各格式字符串包含按照作为识别对象的字符对字符类型或者特定字符的指定。图像处理装置包含：提取单元，其从输入图像中提取作为候选的字符串区域；计算单元，其针对各个由多个字符串区域构成的组，计算关于各组中包含的各个字符串区域的字符识别结果与多个格式字符串之间的相似度；以及确定单元，其根据所计算出的相似度，确定由多个字符串区域构成的组中符合搜索条件的组。
【专利说明】图像处理装置和图像处理方法
【技术领域】
[0001]本发明涉及通过字符识别来确定输入图像中符合预先规定的搜索条件的区域的图像处理装置和图像处理方法。
【背景技术】
[0002]近年来，由于工厂的自动化和可追溯性(traceability)的强化,对附加在半成品或成品上的字符的检查和读取的需求正在增加。对应这种需求，常常使用图像处理装置，用于进行对半成品或成品的印刷检查用途和字符读取用途的字符识别。要求提高用于进行这种字符识别的图像处理装置的性能。
[0003]作为这种字符识别的图像处理的一例，日本特开2002-183667号公报(专利文献I)中，公开了一种字符识别装置，该字符识别装置将任意的字符集合设定为识别对象字符集合，根据语言信息，以高识别率快速地进行识别处理。日本特开2006-106931号公报(专利文献2)公开了一种字符串搜索装置，该字符串搜索装置从灰度图像中搜索指定的字符串所存在的位置。此外，日本特开2009-193159号公报(专利文献3)公开了能够高效且准确地对以字符数变化的正规表达所表示的信息进行字符识别的区域提取程序等。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本特开2002 - 183667号公报
[0007]专利文献2:日本特开2006 - 106931号公报
[0008]专利文献3:日本特开2009 - 193159号公报
【发明内容】
[0009]发明要解决的问题
[0010]但是，作为字符识别中的一个课题，存在由于噪声或检查位置的偏移导致的字符串区域的误检测。例如，在确定多行范围内的字符串等的情况下，难于去除这种被误检测的字符串区域。此外，在这种用途中，即使在采用了上述现有技术文献所公开的任意的方法的情况下，也存在不能适当地进行字符识别的情况。
[0011]本发明正是为了解决这种课题而作出的，其目的在于提供一种图像处理装置和图像处理方法，能够在输入图像中确定符合搜索条件的由多个字符串区域构成的组。
[0012]用于解决问题的手段
[0013]根据本发明的一个方面，提供一种通过字符识别确定输入图像中符合预先规定的搜索条件的区域的图像处理装置。图像处理装置包含受理搜索条件的设定单元。搜索条件包含多个格式字符串的指定。各格式字符串包含按照作为识别对象的字符对字符类型或者特定字符的指定。图像处理装置具有:提取单元，其从输入图像中提取作为候选的字符串区域；计算单元，其针对各个由多个字符串区域构成的组，计算关于包含各组中的各个字符串区域的字符识别结果与多个格式字符串之间的相似度；以及确定单元，其根据计算出的相似度，确定由多个字符串区域构成的组中符合搜索条件的组。
[0014]优选的是，搜索条件还包含多个格式字符串之间的相对位置关系，计算单元选择符合相对位置关系的多个字符串区域，并计算相似度。
[0015]更优选的是，设定单元根据多个格式字符串的输入顺序，确定多个格式字符串之间的相对位置关系。
[0016]优选的是，字符串区域是按照行单位对字符串进行提取而得到的，相对位置关系表示输入图像中的字符串区域的行的位置关系。
[0017]优选的是，确定单元确定计算出的相似度最高的字符串区域的组，并且从候选中排除没有包含在该确定出的字符串区域的组中的其他的字符串区域。
[0018]优选的是，计算单元根据针对包含在字符串区域中的每个字符分别计算的相似度，计算字符串区域的组的相似度。
[0019]更优选的是，在作为对象的字符串区域中所包含的字符数小于对应的格式字符串所指定的字符数的情况下，计算单元使计算的相似度降低。
[0020]优选的是，设定单元根据识别结果来设定格式字符串的初始值，该识别结果是通过对包含作为搜索对象的字符串的参照图像执行字符识别而取得的。
[0021]更优选的是，设定单元受理用户对格式字符串的初始值的变更。
[0022]优选的是，搜索条件用与各字符类型关联的记号来表示。
[0023]优选的是，格式字符串包含从识别对象中排除特定字符的指定。
[0024]优选的是，设定单元预先保持有格式字符串，根据用户的选择，将所选择的格式字符串设定为搜索条件。
[0025]根据本发明的另一个方面，提供一种图像处理方法，该图像处理方法通过字符识别确定输入图像中符合预先规定的搜索条件的区域。图像处理方法包含受理搜索条件的步骤。搜索条件包含多个格式字符串的指定。各格式字符串包含按照作为识别对象的字符对字符类型或者特定字符的指定。图像处理方法包含以下步骤:从输入图像中提取作为候选的字符串区域；针对各个由多个字符串区域构成的组，计算关于包含在各组中的各个字符串区域的字符识别结果与多个格式字符串之间的相似度；根据计算出的相似度，确定由多个字符串区域构成的组中符合搜索条件的组。
[0026]发明的效果
[0027]根据本发明，能够容易地在输入图像中确定符合搜索条件的由多个字符串区域构成的组。
【专利附图】
【附图说明】
[0028]图1是用于对在本发明的实施方式的图像处理装置中所执行的、使用了格式字符串的字符识别处理进行说明的图。
[0029]图2是示出本发明的实施方式的图像处理装置的处理结果的一例的图。
[0030]图3是示出通过本发明的实施方式的图像处理装置提取出的字符串区域的一例的图。
[0031]图4是示出本发明的实施方式的图像处理装置的处理例的图。
[0032]图5是示出包含本发明的实施方式的图像处理装置在内的视觉传感器系统的整体结构的示意图。
[0033]图6是本发明的实施方式的图像处理装置的概略结构图。
[0034]图7是示出本发明的实施方式的图像处理装置的功能结构的示意图。
[0035]图8是示出由本发明的实施方式的图像处理装置执行的图像处理的处理步骤的流程图。
[0036]图9是示出由本发明的实施方式的图像处理装置执行的运转模式中的处理步骤的流程图。
[0037]图10是用于对在本发明的实施方式的图像处理装置中执行的组相似度的计算处理进行说明的图。
[0038]图11是示出用于对本实施方式的图像处理装置提供的格式字符串进行设定的用户接口画面的一例的图。
[0039]图12是示出用于对本实施方式的图像处理装置提供的格式字符串进行设定的用户接口画面的一例的图。
[0040]图13是示出由本发明的实施方式的图像处理装置所提供的格式字符串的自动提取功能所涉及的处理步骤的流程图。
[0041]图14是示出本实施方式的图像处理装置提供的格式字符串的自动提取所涉及的用户接口画面的一例的图。
[0042]图15是示出本实施方式的图像处理装置所提供的格式字符串的设定所涉及的用户接口画面的一例的图。
[0043]标号说明
[0044]1:视觉传感器系统，2:工件，4:光电传感器，4a:受光部，4b:投光部，5:PLC，6:输送机构，8:照相机，100:图像处理装置，102:显示器，104:鼠标，106:存储卡，110:CPU,112:主存储器，114:硬盘，116:照相机接口，116a:图像缓冲区，118:输入接口，120:显示控制器，122:PLC接口，124:通信接口，126:数据读取器/写入器，128:总线，150:图像取入部，160:图像处理部，162:字符提取部，164:字符识别部，166:字符串区域确定部，168:辞典数据，170:设定部，172:格式字符串设定部，174:计测参数设定部，176:格式字符串自动提取部，178:参数储存部，180:输出部，200:输入图像。
【具体实施方式】
[0045]参照附图对本发明的实施方式进行详细的说明。另外，对图中的相同或者相当部分，赋予相同的标号，不重复其说明。
[0046][A.格式字符串]
[0047]本实施方式的图像处理装置通过字符识别来确定输入图像中符合预先规定的搜索条件的区域。该搜索条件包含多个格式字符串。首先，对本实施方式的格式字符串进行说明。
[0048]本实施方式的格式字符串典型地按照作为识别对象的字符指定了字符类型或者字符。换言之，格式字符串针对作为识别对象的字符串指定了字符类型或者字符的组合。
[0049]具体而言，格式字符串包含按照作为识别对象的字符对字符类型的指定(字母数字、字母、数字、记号、特殊字符、汉字、平假名、片假名等)、字符本身的指定(作为字母的各字符“A”、“B”、…、作为记号的各字符“’”、“一”、…、作为平假名的各字符…、
作为片假名的各字符“ 了 ”、“ ^ ”、…)、字体种类的指定、字符大小(字体大小)的指定等。另外，使用格式字符串，除了字符之外，也可以指定符号。
[0050]典型地，根据预先规定了赋予识别对象的字符串的印刷格式的、例如商品型号、价格、制造年月日、识别号码等来设定格式字符串。
[0051]另外，也可以是，作为格式字符串，能够设定从识别对象中排除特定字符的指定。即，关于连接字符串之间的分隔符(区分要素)等，由于大多数情况下不需要作为识别对象，所以在字符识别中也可以将其跳过。
[0052]通过应用这种格式字符串，可以提高识别率(降低误识别率)。即，本实施方式的图像处理装置100通过使用预先设定的格式字符串(字符/字符类型的组合信息)，限定识别候选，改善了对类似字符的误识别。在本实施方式中，格式字符串是由用户预先设定的。另外，在指定了字符本身的情况下，仅该被指定的字符成为识别候选。
[0053]图1是用于对在本发明的实施方式的图像处理装置100中所执行的、使用了格式字符串的字符识别处理进行说明的图。参照图1，例如，假想能够区分数字、字母、记号这样的方式作为字符类型。可以任意地决定定义格式字符串的方法(表现形式)。在图1所示的例中，使用了“？等记号作为格式字符串。各符号的意思如下。
[0054]?:将全部的字符作为识别候选
[0055]#:仅将数字(O~9 )作为识别候选
[0056]$:仅将字母(A~Z，和/或，a~z )作为识别候选
[0057]@:仅将记号(“ ’ ”、“一”、“.”、“:”、“ Y ”等)作为识别候选
[0058]图1所示的格式字符串只是一例，也可以使用任意的记号、符号以及图标等来表示字符类型。
[0059]参照图1，在对象物的表面印刷有字符串“780 (七、八、字母O)”。假设在图1所示的实例I中，没有指定格式字符串。由于没有指定格式字符串，因此全部的字符(数字、字母、记号)成为模式匹配的识别候选。其结果是，例如，字符串“7B0 (七，字母B、零)”作为识别结果而被输出。即，“8 (八)”被误识别为“B (字母B)”，“0 (字母O)”被误识别为“O(零)”。
[0060]与此相对，在实例2中，指定了 “##$”(数字+数字+字母)作为格式字符串。因此，对于包含在所提取的字符串区域中的第I和第2个字符，数字成为模式匹配的识别候选。同样，对于包含在所提取的字符串区域中的第3个字符，字母成为模式匹配的识别候选。结果，字符串“ 7B0 ”被正确识别的概率提高。
[0061]这样，在本实施方式中，通过使用格式字符串(字符/字符类型的组合的信息)来限定识别候选，以提高识别精度。
[0062]在本说明书中，“字符串区域”的意思是被判断为存在I个或多个字符的总括的区域，典型地为，相当于包含彼此相邻地配置的一系列字符的区域。若识别对象的字符(字符串)的配置方向为行方向，则可以将以行单位提取字符串得到的区域作为字符串区域。当然，也可以提取跨越多个行的区域作为字符串区域。例如，若字符串是横排书写，则基本上沿着横向提取字符串区域。
[0063]作为这种字符串区域的提取方法，可以采用公知的方法。例如，将输入图像在第I方向(若为横排书写则是横向)上进行投影(例如对亮度值积分)，确定字符串排列的行，将各个确定的行在与第I方向正交的第2方向(若第I方向为横向则是纵向)上进行投影(例如对亮度值积分)，确定包含在各行中的各字符。这样，从输入图像中提取字符串区域，并且确定了包含在各字符串区域的各字符。
[0064][B.处理概要]
[0065]接着，对本实施方式的图像处理的处理概要进行说明。图2是示出本发明的实施方式的图像处理装置100进行的处理结果的一例的图。
[0066]图2的(a)所示的处理例表示从对对象物摄像而得到的输入图像中提取到的字符串区域和识别结果。图2的(a)所示的字符串区域中的位于右侧中段的字符串区域是由于背景的图案这样的噪声等而被误检测到的。在本实施方式中，如图2的(b)所示，将这种被误检测的字符串区域去除。
[0067]具体而言，本实施方式的图像处理装置100受理包含多个格式字符串的指定的搜索条件。图像处理装置100从作为处理对象的输入图像中提取作为候选的字符串区域。然后，图像处理装置100针对由多个字符串区域构成的组中的每一个组，计算包含在各组中的各个字符串区域的字符识别结果与多个格式字符串之间的相似度，并根据计算出的相似度，确定由多个字符串区域构成的组中符合搜索条件的组。这时，将符合搜索条件的字符串区域的组之外的字符串区域，作为被误检测的字符串区域而除去。
[0068]S卩，图像处理装置100计算将预先设定的格式字符串应用到所提取的字符串区域时的相似度。计算将格式字符串应用到各个字符串区域的组时的相似度，选择相似度高的字符串区域的组合。这时，图像处理装置100将相似度低的字符串区域作为误检测而除去。另外，有时在同一输入图像内存在多个符合搜索条件的字符串区域的组。因此，也可以在计算出相似度的字符串区域的组中，提取I个以上相似度相对较高的组。该所提取出的字符串区域的组被确定为输入图像中符合预先规定的搜索条件的区域。
[0069]图3是示出本发明的实施方式的图像处理装置100所提取的字符串区域的一例的图。图4是示出本发明的实施方式的图像处理装置100的处理例的图。
[0070]在图3中，示出从输入图像200中提取了 4个字符串区域201?204的例子。图像处理装置100从提取出的字符串区域201?204中分别提取构成字符串的各字符，执行字符识别。
[0071]在图4的(a)中示出预先设定的格式字符串的一例。如图4的(a)所示，例如，设定有 3 个格式字符串
[0072]首先，对4个字符串区域201?204执行字符识别。然后，分别对由多个字符串区域构成的组的各个，应用该3个格式字符串。在图4的(b)中，示出了对4个字符串区域201?204执行字符识别的情况的结果。
[0073]在该字符识别中，在表示各字符的图像与识别候选的字符之间计算相似度。该相似度典型地是表示与包含在预先定义的辞典中的各字符的图像和特征量的一致程度的值。该相似度是使用在字符识别时所计算的相关值等而计算的。
[0074]图像处理装置100使用这些按照字符的相似度，针对由多个字符串区域构成的组中的每一个组，计算关于各组所包含的各个字符串区域的字符识别结果与多个格式字符串之间的相似度。即，图像处理装置100根据对字符串区域所包含的每个字符分别计算出的相似度，来计算字符串区域的组的相似度。以下，为了方便说明，将关于字符串区域与格式字符串的组合的相似度称为“组相似度”。关于该“组相似度”的具体的计算方法，之后再叙述。
[0075]图4的(C)示出针对字符串区域与格式字符串的各个组合计算出组相似度的例子。另外，在图4的(C)中，示出将多个格式字符串之间的相对位置关系作为搜索条件的例子。即，还布置了从输入图像中提取的字符串区域的出现位置与所设定的多个格式字符串的设定顺序对应这样的条件。虽然不需要将多个格式字符串之间的相对位置关系作为搜索条件，但是如果预先规定了印刷格式，则通过附加这样的条件，能够更高速且有效地执行字符识别。即，图像处理装置100选择符合多个格式字符串的相对位置关系的多个字符串区域，计算组相似度。
[0076]例如，计算下述情况的相似度:将格式字符串“$$$$$_#”(Fl)应用于字符串区域201 (Rl)的识别结果，将格式字符串“###_#_##”(F2)应用于字符串区域202 (R2)的识别结果，将格式字符串“$$$$$$”(F3)应用于字符串区域203 (R3)和字符串区域204 (R4)的识别结果。
[0077]在图4的(C)所示的例子中，按照格式字符串(F1)、(F2)、(F3)的顺序应用于字符串区域(Rl)、(R2)、(R3)、(R4)，因此，字符串区域与格式字符串的组合为4个。然后，针对各组合，计算组相似度。在图4的(c)所示的例子中，将格式字符串(FI)、(F2)、(F3)分别应用于字符串区域(R1)、(R2)、(R4)的组合示出了最高的组相似度的值。因此，图像处理装置100将字符串区域(Rl)、(R2)、(R4)(图3所示的字符串区域201、202、204)确定为是符合搜索条件的区域，并且输出各字符串区域的识别结果(文本值)。
[0078]进而，图像处理装置100确定所计算的相似度最高的字符串区域的组，并且从候选中除去没有包含在该确定的字符串区域的组中的其他的字符串区域。在图4的(C)所示的例子中，字符串区域(R3)(图3所示的字符串区域203)被除去。
[0079]通过以上那样的处理，即便字符串区域被误检测，也能够排除由这种误检测带来的影响，最终提高检测结果的识别精度。
[0080]典型地，字符串区域是从输入图像中以行单位对字符串进行提取而得到的，该情况下，使用输入图像中的字符串区域的行的位置关系作为上述的相对位置关系。
[0081][C.硬件结构]
[0082]图5是示出包含本发明的实施方式的图像处理装置100在内的视觉传感器系统I的整体结构的示意图。
[0083]参照图5，视觉传感器系统I被组装在生产线等中，通过对输入图像执行字符识别来从输入图像中确定符合预先规定的搜索条件的区域，其中，该输入图像是通过对对象物(工件2)摄像而得到的。另外，视觉传感器系统I也可以输出对确定的字符串进行读取而得到的结果(文本信息)。
[0084]在视觉传感器系统I中，工件2由传送带等输送机构6输送，通过照相机8在预定时刻对被输送的工件2摄像。作为一例，照相机8构成为，除了镜头等光学系统之外，还包含 CCD (Coupled Charged Device:电荷稱合兀件)或 CMOS (Complementary Metal OxideSemiconductor:互补金属氧化物半导体)传感器这样的、划分为多个像素的摄像元件。另夕卜，还可以设置照明机构，对由照相机8进行摄像的工件2照射光。[0085]通过照相机8摄像而得到的输入图像被传送给图像处理装置100。图像处理装置100对从该照相机8中接收到的输入图像执行包含后述那样的字符识别的处理，将该结果显示在所连接的显示器102中，或者将该结果向外部装置输出。
[0086]通过配置在输送机构6两端的光电传感器4来检测工件2到达照相机8的视野内的情况。具体而言，光电传感器4包含在同一光轴上配置的受光部4a和投光部4b，由受光部4a检测从投光部4b放射的光被工件2遮挡的情况，由此检测工件2的到达。该光电传感器4的触发信号被输出到PLCXProgrammable Logic Controller:可编程序逻辑控制器)
5。PLC5接收来自光电传感器4等的触发信号，并且管理输送机构6的控制自身。
[0087]图像处理装置100具有对工件2执行计测处理(图像处理)的运转模式，以及设定搜索条件(格式字符串)和计测参数等的设定模式。
[0088]典型地，图像处理装置100是具有通用体系结构的计算机，通过执行预先被安装的程序(指令代码)，来提供如后述那样的各种功能。典型地是，这种程序在被存储于存储卡106等的状态下进行流通。
[0089]在使用通用的计算机作为图像处理装置100的情况下，除了用于提供本实施方式的功能的应用程序之外，也可以安装用于提供计算机的基本功能的0S(0perating System:操作系统)。该情况下，也可以是，本实施方式的程序从作为OS的一部分而被提供的程序模块中，以预定的排列在预定的时刻调用所需要的模块，并执行处理。即，本实施方式的程序自身也可以不包含上述那样的模块，而与OS协作执行处理。作为本实施方式的程序，也可以是不包含这样的一部分的模块的方式。
[0090]此外，也可以将本实施方式的程序合并到其他的程序的一部分中而进行提供。该情况下，在程序自身中也不包括上述那样所组合的其他的程序中所包含的模块，而与该其他的程序协作执行处理。即，作为本实施方式的程序，也可以是这样的并入其他的程序的方式。另外，也可以是，将通过程序的执行而提供的功能的一部分或者全部作为专用的硬件电路进行安装。
[0091]图6是本发明的实施方式的图像处理装置100的概略结构图。参照图6，图像处理装置100包含:作为运算处理部的CPU (Central Processing Unit:中央处理单元)110、作为存储部的主存储器112和硬盘114、照相机接口 116、输入接口 118、显示控制器120、PLC接口 122、通信接口 124、以及数据读取器/写入器126。这些各部分经由总线128，以彼此能够进行数据通信的方式而连接。
[0092]CPUllO将存储在硬盘114中的程序(代码)展开到主存储器112中，并以预定顺序执行这些程序，由此来实施各种运算。典型地,主存储器112是DRAM (Dynamic RandomAccess Memory:动态随机存取存储器)等易失性的存储装置，除了从硬盘114中读出的程序之外，还保持有由照相机8取得输入图像和各种参数等。另外，也可以是，除了硬盘114之外，还采用SSD (Solid-State Drive:固态驱动器)等半导体存储装置，或者是，代替硬盘114,而采用SSD (Solid-State Drive:固态驱动器)等半导体存储装置。
[0093]照相机接口 116负责CPUllO与照相机8之间的数据传输。即，照相机接口 116与照相机8连接，该照相机8用于对工件2进行摄像并生成图像数据。更具体地说，照相机接口 116能够与I个以上的照相机8连接，其包含图像缓冲区116a，该图像缓冲区116a用于暂时储存来自照相机8的图像数据。而且，在图像缓冲区116a中储存了预定帧数的图像数据后，照相机接口 116将该储存的数据向主存储器112传输。此外，照相机接口 116根据CPUllO生成的内部指令，对照相机8提供摄像指令。
[0094]输入接口 118负责CPUllO与鼠标104、键盘、触摸板等输入部之间的数据传输。即，输入接口 118受理用户操作输入部而提供的操作指令。
[0095]显示控制器120与作为显示装置的典型例的显示器102连接，并将CPUllO中的图像处理的结果等通知给用户。即，显示控制器120与显示器102连接，并控制该显示器102中的显示。
[0096]PLC接口 122负责CPUllO与PLC5之间的数据传输。更具体地说，PLC接口 122将由PLC5控制的生产线的状态的信息和工件所涉及的信息等传输给CPU110。
[0097]通信接口 124负责CPUllO与控制台(或者个人计算机或服务器装置)等之间的数据传输。典型地，通信接口 124由以太网(注册商标)和USB (Universal Serial Bus:通用串行总线)等构成。另外，如后所述，也可以是，代替将存储卡106所储存的程序安装到图像处理装置100中的方式，而将经由通信接口 124从发布服务器等中下载的程序安装在图像处理装置100中。
[0098]数据读取器/写入器126负责CPUllO与作为存储介质的存储卡106之间的数据传输。即，在存储卡106中存储有由图像处理装置100执行的程序等的状态下流通，数据读取器/写入器126从该存储卡106中读出程序。此外，数据读取器/写入器126响应CPUllO的内部指令，将由照相机8取得的图像数据和/或图像处理装置100中的处理结果等写入存储卡106中。另外，存储卡106由CF (Compact Flash:微型快擦写存储卡(注册商标))、SD (Secure Digital:安全数字卡)等通用的半导体存储设备,或者软盘(Flexible Disk)等磁存储介质，或者⑶一 ROM (Compact Disk Read Only Memory:光盘只读存储器)等光学存储介质等构成。
[0099]此外，也可以根据需要，将图像处理装置100与打印机等其他的输出装置连接。
[0100]图5和图6所示的图像处理装置100示出将受理各种设定的功能和执行字符识别的功能安装在同一装置中的例子，但是，也可以将这些功能安装在不同的装置中。这种情况下，通过每个装置彼此联系，能够作为图像处理系统而实现本实施方式的功能。本申请发明的技术范围如果具有权利要求书中记载的结构，则能够包含任意的安装方式。
[0101][D.功能结构]
[0102]接着，对用于实现本实施方式的图像处理的功能结构进行说明。图7是示出本发明的实施方式的图像处理装置100的功能结构的示意图。典型地，CPUl 10执行硬盘114(均在图6中)中储存的程序(代码)，由此实现图7所示的各功能。
[0103]参照图7，图像处理装置100包含图像取入部150、图像处理部160、设定部170、以
及输出部180作为其功能结构。
[0104]图像取入部150取得照相机8对被摄体进行摄像而生成的输入图像。该取得的输入图像被输出到图像处理部160中。除此之外，也存在设定部170参照输入图像的情况。
[0105]图像处理部160对来自图像取入部150的输入图像执行上述那样的图像处理，由此，通过字符识别来确定输入图像中符合预先规定的搜索条件的区域。更具体地说，图像处理部160包含字符提取部162、字符识别部164、以及字符串区域确定部166。
[0106]字符提取部162从输入图像中提取作为候选的字符串区域。使用上述那样的亮度值的投影等方法来提取该字符串区域。字符提取部162参照储存在参数储存部178中的计测参数来提取字符串区域。
[0107]字符识别部164对所提取的字符串区域的各候选执行字符识别。这时，字符识别部164参照预先设定的辞典数据168，执行字符识别。然后，字符识别部164对任意的字符串区域的组合应用格式字符串，由此计算组相似度。即，字符识别部164针对由多个字符串区域构成的组中的每一个组，计算关于各组中所包含的各个字符串区域的字符识别结果与多个格式字符串之间的相似度。这时，字符识别部164根据对包含在字符串区域中的每个字符分别计算的相似度，计算字符串区域的组的相似度(组相似度)。另外，字符识别部164访问参数储存部178，参照参数储存部178中储存的格式字符串。
[0108]字符串区域确定部166根据由字符识别部164计算的组相似度，确定符合搜索条件的区域。即，字符串区域确定部166根据计算出的相似度，确定在由多个字符串区域构成的组中符合搜索条件的组。同时，字符串区域确定部166确定所计算出的组相似度最高的字符串区域的组，并且从候选中除去不包含在该确定的字符串区域的组中的其他字符串区域。
[0109]输出部180将由字符串区域确定部166确定的字符串区域的组，以及所读取的文本值作为识别结果进行输出。输出部180也可以输出所确定的字符串区域的图像本身。
[0110]设定部170受理来自用户等的格式字符串作为搜索条件，并且受理用户指定的计测参数。设定部170根据用户操作，将格式字符串和计测参数储存到参数储存部178中。作为计测参数，可以列举出例如字符颜色(指定作为识别对象的字符的颜色的参数)、印刷种类(指定作为识别对象的字符的表现形式的参数)、点间隔(表示构成作为识别对象的字符的纵/横的点间隔的参数)，过滤尺寸(指定噪声除去用的过滤尺寸的参数)、字符粗度阈值(指定作为识别对象的字符的粗度的参数)、旋转偏差校正(将预定范围内的字符的旋转偏差作为搜索范围)、斜体偏差校正(将预定范围内的字符的斜体偏差作为搜索范围)、边缘消除校正(将计测区域所邻接的黑色部分作为噪声，从读取候选中除去)等。
[0111]更具体地说，设定部170包含格式字符串设定部172、计测参数设定部174、以及格式字符串自动提取部176。格式字符串设定部172提供用于受理格式字符串的用户接口画面，并且受理来自用户的该指定。计测参数设定部174提供用于受理计测参数的设定/调整的用户接口画面，并且受理来自用户的该指定。
[0112]如后所述，格式字符串自动提取部176从测试图像(通过对测试样本摄像而取得的图像)中自动提取格式字符串。通过这种格式字符串的自动提取功能来支援用户对格式字符串的输入。
[0113][E.处理顺序]
[0114]接着，对本实施方式的图像处理的处理顺序进行说明。
[0115](el:整体处理)
[0116]图8是示出由本发明的实施方式的图像处理装置100执行的图像处理的处理顺序的流程图。在图8中，同时示出设定格式字符串和计测参数等的设定模式中的处理，以及对工件2执行计测处理(图像处理)的运转模式中的处理。
[0117]参照图8，在设定模式中，图像处理装置100取得测试图像(步骤S2)。该测试图像是通过在照相机8的视野范围内配置包含作为识别对象的字符串的对象物(测试样本)，并通过照相机8对该对象物摄像而取得的图像。
[0118]接着，图像处理装置100受理来自用户的格式字符串的设定(步骤S4)并且受理来自用户的计测参数的设定(步骤S6)。然后，图像处理装置100将所设定的格式字符串和计测参数作为设定值进行储存(步骤S8)。
[0119]接着，在运转模式开始后，图像处理装置100根据某个触发信号对对象物摄像，取得输入图像(步骤S10)。接着，图像处理装置100从输入图像中提取字符串区域(步骤S12)。然后，图像处理装置100对包含在所提取的各字符串区域中的各字符执行字符识别(步骤S14)，计算关于由多个字符串区域构成的组中的每一个组的组相似度(步骤S16)。另外，图像处理装置100根据所计算的组相似度，确定符合搜索条件的区域(步骤S18)。然后，图像处理装置100输出字符识别的执行结果(步骤S20)。
[0120]在选择运转模式期间，重复步骤SlO?S20的处理。
[0121](e2:运转模式)
[0122]接着，对运转模式中的处理顺序，进行更详细的说明。图9是示出由本发明的实施方式的图像处理装置100执行的运转模式中的处理顺序的流程图。
[0123]参照图9，图像处理装置100从输入图像中提取字符串区域(步骤S100)。然后，图像处理装置100从所提取的各字符串区域中提取字符(步骤S102)。接着，图像处理装置100对所提取的每个字符执行字符识别(步骤S104)。在本实施方式中，为了计算组相似度，在步骤S104中，针对各字符，计算与辞典数据所包含的全部的字符候选之间的相似度。即，针对作为对象的字符，分别计算与字母(A?Z)、数字(O?9)、记号一”、:”、“Y”等)之间的相似度。
[0124]然后，图像处理装置100应当计算组相似度，并确定字符串区域的组合(步骤S106)。接着，在所确定的组合中，选择成为组相似度的计算对象的字符串区域的组合(步骤S108)。
[0125]图像处理装置100针对所选择的字符串区域的组合，将格式字符串应用于字符串区域，计算各字符串区域所包含的各字符的相似度(步骤Slio)。S卩，图像处理装置100根据格式字符串来计算各字符的相似度。例如，若适合于某个字符的字符类型为“#”，则仅数字(O?9)成为识别候选，与作为对象的字符之间的相似度最高的数字及其相似度作为识别结果被输出。同样，若适合于某个字符的字符类型为“$”，则仅字母(A?Z)成为识别候选，与作为对象的字符之间的相似度最高的字母及其相似度作为识别结果而输出。
[0126]图像处理装置100根据针对各字符串区域的各字符所计算出的相似度，计算关于所选择的组合的组相似度(步骤S112)。典型地，计算关于各字符串区域的各字符的相似度的总和作为关于该组合的组相似度。
[0127]然后，图像处理装置100判断是否选择了全部字符串区域的组合(步骤S114)。在存在没有被选择的组合的情况下(步骤S114中的“否”的情况)，在未选择的字符串区域的组合中选择作为计算对象的字符串区域的组合(步骤S116)。然后，执行步骤SllO以下的处理。
[0128]在选择了全部字符串区域的组合的情况下(步骤S114中的“是”的情况)，图像处理装置100确定所计算的组相似度为最高的组合(步骤S118)并且，从候选中除去没有包含在该确定的字符串区域的组中的其他字符串区域(步骤S120)。然后，图像处理装置100输出关于包含在所确定的组合中的字符串区域的识别结果和相似度(步骤S122)。
[0129][F.组相似度的计算处理]
[0130]接着，说明针对包含在字符串区域中的每个字符所计算的相似度和组相似度的计
算处理。
[0131]图10是用于说明在本发明的实施方式的图像处理装置100中所执行的组相似度的计算处理的图。在图10中，示出通过对字符串“780 (七，八，字母O)”执行字符识别而计算出的相似度。如上所述，在最初的阶段中，计算与全部的识别候选之间的相似度。考虑对该字符识别的识别结果应用了 3个格式字符串((I) “##$”，(2) “$$$$”，(3) “###，，)的情况。
[0132]当应用第I个格式字符串“##$”时，针对第I个和第2个字符，识别候选被限制为数字，确定其中相似度最高的字符(在该例中，分别为“7”和“8”)，并提取该相似度(均为“50”)。针对第3个字符，识别候选被限制为字母，确定其中相似度最高的字符(在该例中为“0”)，并提取该相似度(“50”)。其结果是，计算50+50+50=150，作为相似度。
[0133]接着，当应用第2个格式字符串“$$$$”时，针对第I个?第3个字符，识别候选被限制为字母，确定其中相似度最高的字符(在该例中分别为以及“0”)，并提取该相似度(分别为“20”、“45”和“50”)。这时，虽然格式字符串包含4个字符的指定，但是从候选的字符串区域中只提取了 3个字符，因此针对第4个字符，也可以将相似度视为“O”。或者，也可以将没有提取到字符的情况作为惩罚(penalty)而减分。即，在字符串区域中所包含的字符数没有达到格式字符串所指定的字符数的情况下，也可以给予惩罚。换言之，在作为对象的字符串区域中所包含的字符数低于对应的格式字符串所指定的字符数以下的情况下，图像处理装置100使所计算的相似度降低。
[0134]这样，通过给予惩罚，在对应的格式字符串下，出现相似度低这样的特征量，不容易被选择，由此能够使误识别率降低。
[0135]最后，当应用第3个格式字符串“###，，时，针对第I个?第3个字符，识别候选被限制为数字，确定其中相似度最高的字符(在该例中分别为“7”、“8”以及“0”)，并提取该相似度(分别为“50”、“50”以及“45”)。该第3个格式字符串“###，，并不是表示作为识别对象的字符串的原本的格式，其结果是，可知与应用了第I个格式字符串“##$”的情况相比，相似度变低。
[0136]在图10所示的例中，为了说明方便，针对关于I个字符串区域的相似度的计算方法进行了说明，但是，计算关于包含在对应的组合中的各个字符串区域的相似度的总和作为组相似度即可。
[0137]作为这种根据相似度的总和来计算组相似度的方法，也可以使用包含在该组中的字符串区域的相似度的平均值和/或最低值，来代替使用相似度的总和的方法。通过使用最低值，在任意I个字符串区域不适合对应的格式字符串的情况下，能够容易地将该组合排除。
[0138]另外，由于使用格式字符串而被识别的字符串大多将记号:”、“Y”等)用作分隔符(划分要素)，因此也可以从识别对象中排除，即，在字符识别中跳过。
[0139]另外，如上所述，也可以将多个格式字符串之间的相对位置关系设定为搜索条件。即，也可以使用位置关系的信息，构成多个字符串区域的组合。[0140][G.用户接口]
[0141]接着，对本实施方式的图像处理装置100所提供的用户接口的一个例子进行说明。
[0142](gl:格式字符串的设定)
[0143]图11是示出用户接口画面400A的一例的图，该接口画面400A用于对本实施方式的图像处理装置100所提供的格式字符串进行设定。在图11所示的用户接口画面400A中，能够对4个字符串区域分别设定格式字符串。即，用户接口画面400A包含4个格式字符串输入区域 410、412、414、416。
[0144]用户选择任意一个格式字符串输入区域，输出作为目的的格式字符串。这时，可以使用键盘等输入装置，直接进行输入，但是也可以提供以下那样的格式字符串输入用的用户接口画面。
[0145]图12是示出用户接口画面400B的一例的图，该用户接口画面400B用于设定本实施方式的图像处理装置100所提供的格式字符串。通过在图11所示的用户接口画面400A中选择格式字符串输入区域410、412、414、416的任意一个来显示图12所示的用户接口画面 400B。
[0146]在图12所不的用户接口画面400B中，表不输入中的格式字符串的格式字符串输入区域410、分别与能够指定的多个字符类型相关联的多个对象420、以及与能够指定的记号相关联的多个对象422并排地显示，即显示在同一画面中。用户在对象420和422中选择任意一个后，与该选择的对象对应的格式字符串被追加。
[0147]这样，也可以是，用户能够将字符类型或者字符的组合直接指定为格式字符串。
[0148]在显示区域402中，使用与各字符类型对应的记号来显示所设定的格式字符串。即，通过记号这样的符号来决定格式字符串。在图12所示的用户接口画面400B的各个对象420中，将表示关联的字符类型的消息(例如，“字母数字”和“数字字符”这样的显示)与对应于该字符类型的记号(例如，“？ ”和“ # ”这样的记号)一起显示，以使得一看就能掌握这样的记号的意思。
[0149]这样，为了一看就能掌握关联的字符类型的意思，在对象420中添加了消息，并且同时添加了表示对应的字符类型的记号，因此，即便用户预先不知道各记号的意思，也能够容易掌握格式字符串输入区域410所显示的设定中的格式字符串的内容。
[0150]在用户接口画面400B中，还显示有用于编集所设定的格式字符串的对象。例如，配置有与删除操作(删除光标紧前方的字符的操作)相关联的对象424、与清空操作(将所设定的格式字符串全部删除的操作)相关联的对象426、以及与使光标移动的操作相关联的对象 428。
[0151]也可以根据图11所示的4个格式字符串输入区域410、412、414、416的位置关系，来确定多个格式字符串之间的相对位置关系。例如，可以在格式字符串输入区域410中输入的格式字符串与格式字符串输入区域412中输入的格式字符串之间，设为前者位于输入图像上的上侧、后者位于输入图像的下侧这样的搜索条件。
[0152]这样，在本实施方式中，搜索条件包含多个格式字符串之间的相对位置关系。而且，图像处理装置100选择符合相对位置关系的多个字符串区域并计算相似度。也可以根据多个格式字符串的输入顺序来确定该多个格式字符串之间的相对位置关系。[0153]另外，也可以直接指定格式字符串之间的相对位置关系。这时，也可以使用特殊记号来指定相对位置关系。
[0154]另外，也可以代替用户直接指定格式字符串的结构，在图像处理装置100中预先准备使用频率高的格式字符串(例如，年月日等)，使用户能够任意进行选择。即，也可以是，图像处理装置100预先保持格式字符串，并根据用户的选择，将所选择的格式字符串设定为搜索条件。
[0155](g2:格式字符串的自动提取)
[0156]在构成识别对象的字符串的字符较多的情况下，设定上述那样的格式字符串的作业变得复杂。因此，也可以自动地从测试图像(通过对测试样本摄像而取得的图像)中提取格式字符串。更具体地说，对拍摄测试样本而取得的输入图像执行字符识别，并且根据由此取得的识别结果自动生成格式字符串的候选。进而，用户对该自动生成的格式字符串的候选适当地施加修正/变更，设定希望的格式字符串(字符/字符类型的组合信息)。通过图7所示的格式字符串自动提取部176来执行该格式字符串的自动提取。通过这种格式字符串的自动提取功能来支援用户对格式字符串的输入。
[0157]图13是表示由本发明的实施方式的图像处理装置100提供的格式字符串的自动提取功能的处理顺序的流程图。另外，在图13所示的流程图中，对与图8所示的流程图相同的处理赋予相同的步骤号码。
[0158]参照图13，图像处理装置100取得测试图像(步骤S2)。然后，图像处理装置100从测试图像中提取字符串区域(步骤S30)，并且从所提取的各字符串区域中提取字符(步骤S32)。接着，图像处理装置100对所提取的每个字符执行字符识别(步骤S34)。然后，图像处理装置100根据字符识别的结果确定格式字符串(步骤S36)，并作为初始值向用户提示(步骤S38)。
[0159]之后，图像处理装置100判断是否对格式字符串的初始值请求了变更(步骤S40)。在对格式字符串的初始值请求了变更的情况(步骤S40中为“是”的情况)下，图像处理装置100受理用户对格式字符串的变更(步骤S42)。图像处理装置100响应于该用户指示，对所设定格式字符串进行修正。然后，重复步骤S40以下的处理。
[0160]在没有对格式字符串的初始值请求变更的情况(步骤S40中为“否”的情况)下，即，在接收到用户承认格式字符串的初始值的指示的情况下，图像处理装置100受理用户对计测参数的设定(步骤S6)。然后，图像处理装置100将所设定格式字符串和计测参数作为设定值进行存储(步骤S8)。
[0161]图14是示出本实施方式的图像处理装置100所提供的格式字符串的自动提取所涉及的用户接口画面400C的一例的图。参照图14的(a)，首先，用户对测试样本摄像，取得测试图像，并对该取得的测试图像指定作为识别对象的字符串区域460。
[0162]接着，对所指定的字符串区域460执行字符识别。然后，根据该字符识别的执行所得到的识别结果，判断各字符的字符类型，并将该判断的按照字符的字符类型设定为格式字符串的初始值。然后，向用户提示如图14的(b)所示的用户接口画面400D。在用户接口画面400D中，将格式字符串的初始值显示在格式字符串输入区域410中。同时，将对测试图像设定的字符串区域460内的图像追加地显示在同一画面内，并且，追加地显示格式字符串470，该格式字符串470示出对字符串区域460内的图像进行字符识别的结果。用户一边参照这些信息，一边选择对象420或对象422等，对格式字符串的初始值进行必要的修正/编集。即，图像处理装置100受理用户对格式字符串的初始值的变更。
[0163]这样，图像处理装置100根据识别结果来设定格式字符串的初始值，该识别结果是通过对包含作为搜索对象的字符串的参照图像(测试图像)执行字符识别而取得的。
[0164](g3:格式字符串的设定用用户接口)
[0165]也可以是一边确认所设定的格式字符串的应用状态，一边设定格式字符串。
[0166]图15是示出本实施方式的图像处理装置100所提供的格式字符串的设定所涉及的用户接口画面400E的一例的图。在图15所示的用户接口画面400E中，对测试图像设定了识别对象的字符串区域460，对该设定的字符串区域460应用所设定的格式字符串，并提示了字符识别的结果。更具体地说，用框表示出从测试图像上设定的字符串区域460中提取到的各字符，根据各框的显示方式，用示出其中的字符的字符类型的方式进行显示。用户确认该显示，判断字符区域是否被正确地提取。
[0167]这样，在设定格式字符串时，向用户提示对测试图像应用格式字符串而得到的结果，并且，用户可以一边确认该结果一边编集格式字符串。
[0168][H.优点]
[0169]根据本实施方式，即便从输入图像中误检测字符串区域，通过应用格式字符串，也能够适当地排除该被误检测到的字符串区域。由此，能够提高识别精度。
[0170]应该理解为，本次公开的实施方式在全部方面都不限于例示。本发明的范围并不是由上述的说明示出，而是由权利要求书的范围示出，应包含与权利要求书的范围均等的意义和范围内的全部变更。
【权利要求】
1.一种图像处理装置，其通过字符识别确定输入图像中符合预先规定的搜索条件的区域，该图像处理装置具有: 设定单元，其受理所述搜索条件，所述搜索条件包含多个格式字符串的指定，各格式字符串包含按照作为识别对象的字符对字符类型或者特定字符的指定； 提取单元，其从所述输入图像中提取作为候选的字符串区域； 计算单元，其针对各个由多个字符串区域构成的组，计算关于各组中包含的各个字符串区域的字符识别结果与所述多个格式字符串之间的相似度；以及 确定单元，其根据计算出的相似度，确定所述由多个字符串区域构成的组中符合所述搜索条件的组。
2.根据权利要求1所述的图像处理装置，其中， 所述搜索条件还包含所述多个格式字符串之间的相对位置关系， 所述计算单元选择符合所述相对位置关系的多个字符串区域，计算相似度。
3.根据权利要求2所述的图像处理装置，其中， 所述设定单元根据所述多个格式字符串的输入顺序，确定所述多个格式字符串之间的相对位置关系。
4.根据权利要求3所述的图像处理装置，其中， 所述字符串区域是按照行单位对字符串进行提取而得到的， 所述相对位置关系表示所述输入图像中的所述字符串区域的行的位置关系。
5.根据权利要求1~4中的任意一项所述的图像处理装置，其中， 所述确定单元确定计算出的相似度最高的字符串区域的组，并且从候选中排除没有包含在该确定出的字符串区域的组中的其他字符串区域。
6.根据权利要求1~5中的任意一项所述的图像处理装置，其中， 所述计算单元根据针对包含在字符串区域中的每个字符分别计算出的相似度，计算字符串区域的组的相似度。
7.根据权利要求6所述的图像处理装置，其中， 在作为对象的字符串区域中所包含的字符数小于对应的格式字符串所指定的字符数的情况下，所述计算单元使计算出的相似度降低。
8.根据权利要求1~7中的任意一项所述的图像处理装置，其中， 所述设定单元根据识别结果来设定格式字符串的初始值，该识别结果是通过对包含作为搜索对象的字符串的参照图像执行字符识别而取得的。
9.根据权利要求8所述的图像处理装置，其中， 所述设定单元受理用户对所述格式字符串的初始值的变更。
10.根据权利要求1~9中的任意一项所述的图像处理装置，其中， 所述搜索条件用与各字符类型关联的记号来表示。
11.根据权利要求1~10中的任意一项所述的图像处理装置，其中， 所述格式字符串包含从识别对象中排除特定字符的指定。
12.根据权利要求1~11中的任意一项所述的图像处理装置，其中， 所述设定单元预先保持有格式字符串，根据用户的选择，将所选择的格式字符串设定为所述搜索条件。
13.一种图像处理方法，通过字符识别确定输入图像中符合预先规定的搜索条件的区域，该图像处理方法包含以下步骤: 受理所述搜索条件，所述搜索条件包含多个格式字符串的指定，各格式字符串包含按照作为识别对象的字符对字符类型或者特定字符的指定； 从所述输入图像中提取作为候选的字符串区域； 针对各个由多个字符串区域构成的组，计算关于各组中包含的各个字符串区域的字符识别结果与所述多个格式字符串之间的相似度；以及 根据计算出的相似度，确定所述由多个字符串区域构成的组中符合所述搜索条件的组。`
【文档编号】G06F17/30GK103714338SQ201310361931
【公开日】2014年4月9日 申请日期:2013年8月19日 优先权日:2012年9月28日
【发明者】殿谷德和, 日向匡史, 湊善久, 大江正道, 栗田真嗣 申请人:欧姆龙 株式会社