码识别装置及码识别方法与流程
本申请主张申请日为2016年04月07日、申请号为jp2016-077536的日本申请为优先权，并引用上述申请的内容，优先权的内容视为全部记载在本申请中。
本发明的实施例涉及一种码识别装置及码识别方法。
背景技术：
要求根据在仓库、店铺等的空间内、例如商品货架等上宽范围地配置有多个的条形码有效地读取条形码信息。通常，在根据配置于多个部位的条形码读取条形码信息的情况下，需要使条形码识别装置的读取部对准各个条形码。因此，完全读取大量的条形码信息耗费时间。
另一方面，也有如下方法：对包含有多个条形码的区域进行摄影，根据已摄影的图像一起读取多个条形码的条形码信息的方法。在该方法的情况下，需要从离开条形码的场所进行摄影，并得到能识别条形码的图像，因此在为使用例如二维拍摄元件的读取部的情况下，需要使受光元件为高分辨率且大面积。但是，在设置有不具有充分的分辨率的读取部的条形码识别装置中，有时已摄影的图像中的条形码的质量差，不能识别条形码信息。另外，因为从离开条形码的位置进行摄影，所以有时根据摄影时的状况不同，不能摄影质量好的图像，不能从图像中识别条形码信息。
技术实现要素：
鉴于上述问题，本发明要解决的技术问题是，提供一种码识别装置及码识别方法，其能从离开的位置检测配置于多个部位的条形码，并能有效地读取条形码信息。
为解决上述问题，本发明第一方面的一实施例，提供了一种码识别装置，具有读取部、区域检测部、第一提取部、第二提取部。读取部摄影码图像。区域检测部从通过上述读取部已摄影的码图像检测上述码图像包含的码区域和字符区域。第一提取部从上述码区域提取上述码图像表示的第一码信息。第二提取部从上述字符区域提取上述码图像表示的第二码信息。
根据第二方面的码识别装置，在码区域的码图案鲜明的情况下，能通过针对码图案的解码处理将码信息输出。另一方面，即使码区域的码图案的分辨率或鲜明度相对于解码处理而言不充分，也能通过以字符区域为对象的ocr处理正确地取得码信息。
优选本发明的第二方面的码识别装置在第一方面的码识别装置中，上述第二提取部在通过上述第一提取部不能提取上述第一码信息的情况下，从上述字符区域提取第二码信息。
根据第三方面的码识别装置，即使在通过不能解码的分辨率或鲜明度摄影了码的情况、例如在到码的距离较远的位置上进行了被摄影区域的摄影的情况下，也能取得正确的码信息。或者，即使码读取部没有安装高分辨率、且大面积的影像传感器，也能进行码的读取，因此能实现码识别装置的低成本化。
优选本发明的第三方面的码识别装置在第一方面的码识别装置中，进一步具有信息综合部，上述信息综合部将上述第一码信息和上述第二码信息综合。
根据第三方面的码识别装置，即使是由于某原因而不能检测码区域的情况，通过以字符区域为对象的ocr处理，也能补充地得到码表示的解码信息(码信息)。
优选本发明的第四方面的码识别装置在第一方面的码识别装置中，上述读取部通过具备平移倾斜功能的相机对码图像进行摄影，上述码识别装置进一步具备位置检测部：根据上述码图像中的上述码区域的位置、和表示通过上述平移倾斜功能调整的上述相机的方向的平移倾斜信息，检测上述码图像的位置。
根据第四方面的码识别装置，通过使用具备平移倾斜功能的相机位置，将高精细的码图像作为对象识别码信息，所以能期待识别精度的提高，能有效地读取码信息；并且，通过上述检测部，摄影及检索时间效率化，从而能实现处理时间的缩短。
优选本发明的第五方面的码识别装置在第四方面的码识别装置中，上述区域检测部根据在多个不同的位置上通过上述读取部分别摄影的多个码图像检测上述码区域、上述位置检测部根据从上述多个图像检测出的上述码区域的位置、和表示上述多个相机的方向的平移倾斜信息，检测相当于上述码图像的码在三维空间中的位置。
根据第五方面的码识别装置，将在多个位置上摄影的摄影图像作为对象读取码，检测码位置，由此能从分离的位置检测在例如仓库、店铺等的空间内宽范围地配置有多个的码，能有效地读取码信息。而且，能提供如下物品管理系统：能进行码信息的读取，并且能得到码的空间内位置信息。
本发明的第六方面提供一种码识别方法，具有：读取步骤，摄影码图像；区域检测步骤，从通过上述读取步骤已摄影的码图像检测上述码图像包含的码区域和字符区域；第一提取步骤，从上述码区域提取上述码图像表示的第一码信息；以及第二提取步骤，从上述字符区域提取上述码图像表示的第二码信息。
根据第六方面的码识别方法，在码区域的码图案鲜明的情况下，能通过针对码图案的解码处理将码信息输出。另一方面，即使码区域的码图案的分辨率或鲜明度相对于解码处理而言不充分，也能通过以字符区域为对象的ocr处理正确地取得码信息。
优选本发明的第七方面的码识别方法在第六方面的码识别方法中，上述第二提取步骤在通过上述第一提取步骤不能提取上述第一码信息的情况下，从上述字符区域提取第二码信息。
根据第七方面的码识别方法，即使在通过不能解码的分辨率或鲜明度摄影了码的情况、例如在到码的距离较远的位置上进行了被摄影区域的摄影的情况下，也能取得正确的码信息。或者，即使码读取部没有安装高分辨率、且大面积的影像传感器，也能进行码的读取，因此能实现码识别装置的低成本化。
优选本发明的第八方面的码识别方法在第六方面的码识别方法中，进一步具有信息综合步骤，上述信息综合步骤将上述第一码信息和上述第二码信息综合。
根据第八方面的码识别方法，即使是由于某原因而不能检测码区域的情况，通过以字符区域为对象的ocr处理，也能补充地得到码表示的解码信息(码信息)。
优选本发明的第九方面的码识别方法在第六方面的码识别方法中，上述读取步骤通过具备平移倾斜功能的相机对码图像进行摄影，上述码识别方法进一步具备位置检测步骤：根据上述码图像中的上述码区域的位置、和表示通过上述平移倾斜功能调整的上述相机的方向的平移倾斜信息，检测上述码图像的位置。
根据第九方面的码识别方法，通过使用具备平移倾斜功能的相机位置，将高精细的码图像作为对象识别码信息，所以能期待识别精度的提高，能有效地读取码信息；并且，通过上述检测步骤，摄影及检索时间效率化，从而能实现处理时间的缩短。
优选本发明的第十方面所涉及的码识别方法在第九方面的码识别方法中，上述区域检测步骤根据在多个不同的位置上通过上述读取步骤分别摄影的多个码图像检测上述码区域，上述位置检测步骤根据从上述多个图像检测出的上述码区域的位置、和表示上述多个相机的方向的平移倾斜信息，检测相当于上述码图像的码在三维空间中的位置。
根据第十方面的码识别方法，将在多个位置上摄影的摄影图像作为对象读取码，检测码位置，由此能从分离的位置检测在例如仓库、店铺等的空间内宽范围地配置有多个的码，能有效地读取码信息。而且，能提供如下物品管理系统：能进行码信息的读取，并且能得到码的空间内位置信息。
附图说明
图1是第一实施方式中的条形码识别装置的外观图；
图2是表示第一实施方式中的条形码识别装置的设备构成的框图；
图3是表示第一实施方式中的条形码读取部的读取范围(被摄影区域)的图；
图4是示意性地表示第一实施方式中的条形码读取部的详细构成的图；
图5a、图5b是示意性地表示用于检索相当于第一实施方式中的摄影图像所包含的条形码的条形码图像的方法的图；
图6是对通过第一实施方式的条形码识别装置读取条形码的第一方法进行表示的流程图；
图7是对通过第一实施方式的条形码识别装置读取条形码的第二方法进行表示的流程图；
图8是对通过第一实施方式的条形码识别装置读取条形码的第三方法进行表示的流程图；
图9是对通过第一实施方式的条形码识别装置读取条形码的第四方法进行表示的流程图；
图10a、图10b是表示第一实施方式中的条形码图像的一例的图；
图11是示意性地表示用于检索相当于第一实施方式中的摄影图像所包含的标签的标签图像的方法的图；
图12是对通过第一实施方式的条形码识别装置读取条形码的第五方法进行表示的流程图；
图13是表示第二实施方式中的条形码识别装置的设备构成的框图；
图14是表示用于对包含有第二实施方式中的条形码区域或字符区域的商品货架等进行摄影的摄影装置的外观图的图；
图15a、图15b是表示配置有第二实施方式中的条形码的货架基准面与根据摄影装置以及摄影参数得到的摄影时的视野基准面的位置关系的图；
图16a、图16b是表示在第二实施方式中的货架基准面上配置有条形码的情况下与视野范围内的图15a、图15b所示的各参数的关系的图；
图17是将图15a、图15b及图16a、图16b所示的关系进一步一般化表示的图；
图18是对通过第二实施方式的条形码识别装置读取条形码的方法进行表示的流程图；
图19是对通过第二实施方式的条形码识别装置读取条形码的第一变形例进行表示的流程图；以及
图20是对通过第二实施方式的条形码识别装置读取条形码的第二变形例进行表示的图。
附图标记说明
1条形码识别装置2条形码读取部
3显示部4输入部
5rom6cpu
7ram8通信部
9i/f部
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
下面，参照附图，对本实施进行说明。
(第一实施方式)
图1是第一实施方式中的条形码识别装置1的外观图。图1所示的条形码识别装置1是使用者能手拿着进行操作的所谓的手持式终端。条形码识别装置1是光学地检测附在仓库、店铺等的空间内、例如商品货架或商品上的码并读取码表示的码信息的装置。在第一实施方式中，假设例如作为码以条形码为对象并读取条形码表示的条形码信息进行说明。一般，条形码包含：由条纹状的多根粗度不同的线构成的条纹状图案(条形码图案)；和表示条形码图案表示的条形码信息的字符列(数字列)。此外，条形码识别装置1不限于识别条形码，也可以使得以通过二维码、几何图形的组合等表示的各种码作为对象进行识别。
条形码识别装置1包括用于摄影条形码的条形码读取部2、显示条形码的读取状态、操作信息、读取结果等的显示部3、以及输入操作命令等的输入部4。操作者能保持条形码识别装置1的壳体，使条形码读取部2朝向包含作为读取对象的条形码的摄影范围(被摄影区域)，通过针对输入部4的操作来指示摄影(条形码的读取)。条形码识别装置1通过以附在例如陈列有多个商品的商品货架等各个商品的陈列位置上的多个条形码为摄影范围，从而能一起读取多个条形码。
图2是表示第一实施方式中的条形码识别装置1的设备构成的框图。如图2所示，条形码读取部2、显示部3、输入部4经由数据总线10相互连接。进一步地，记录程序、数据的rom5、临时记录信息的ram7、作为中央处理处理器、运算处理程序的cpu6、用于进行与装置外部通信的通信部8、成为与装置外部的连接接口(i/f)的i/f部9经由数据总线10相互连接。记录于rom5中的程序包含条形码识别程序，条形码识别程序根据通过条形码读取部2所摄影的图像读取条形码信息。cpu6通过执行条形码识别程序，从而实现：根据通过条形码读取部2所摄影的图像检测条形码所包含的条形码区域和字符区域的区域检测功能、从条形码区域提取条形码信息的第一提取功能、以及从字符区域提取条形码信息的第二提取功能。
图3是表示使用第一实施方式中的条形码识别装置1读取条形码时的条形码读取部2的读取范围(被摄影区域11)的图。条形码识别装置1在从配置于空间内的条形码12离开的位置上，使条形码读取部2的摄影方向朝向条形码12从而执行条形码读取。条形码读取部2的被摄影区域11能包含配置于空间内的多个条形码12。表示被摄影区域11的范围的摄影区域边界13通过从条形码识别装置1照射的激光等标记来明确表示，以使得使用者能容易判别。
图4是示意性地表示第一实施方式中的条形码读取部2的详细构成的图。条形码读取部2具有例如用于进行摄影的摄影镜头16和二维影像传感器15、照明用led光源17、激光指示器19。照明用led光源17为了以摄影所需的充足的照度针对被摄影区域11照明，从而输出例如近红外光(ir光)18。激光指示器19使红色等可见激光光束20向条形码读取部2的摄影方向照射，以使用者能掌握被摄影区域11的范围的方式显示摄影区域边界线13。
图5a、图5b是示意性地表示用于检索相当于通过第一实施方式中的条形码读取部2所摄影的摄影图像21所包含的条形码12的条形码图像12a(码图像)的方法的图。摄影图像21以能取得相当于条形码12的条形码图像12a的分辨率、例如约200dpi以上的方式进行摄影。条形码图像12a包含由条纹状的多根粗细不同的线构成的条纹状图案(条形码图案)。
如图5a所示，cpu6设定相对于摄影图像21成为小面积的检索区域24，在水平方向24h及垂直方向24v依次扫描摄影图像21。在此，假设条形码是例如ean(europeanarticlenumber：欧洲商品编号)码或jan(japanesearticlenumber：日本商品编号)码，同时记录有一维条形码(条形码图案)和一维条形码表示的数字列(解码信息)。假设数字列包含进行正确错误确认的校验和。
cpu6通过利用检索区域24进行扫描，从而如图5b所示，提取相当于条形码图像12a所包含的一维条形码(条形码图案)的条形码区域22、和相当于数字列的字符区域23的各自的候选。检测条形码区域22和字符区域23的候选的检测功能(检测器)由选择记述条形码、字符的特征性图案的特征点，利用机器学习的技术并通过教师数据和反教师数据的学习而制作的词典和识别器构成。此外，检测条形码区域22的候选的检测功能(检测器)也能设为着眼于图案的垂直分量和水平分量的周期，用不进行学习的规则库检测的构成。在基于检索区域24的扫描中，作为条形码区域22的候选或者字符区域23的候选被提取的区域是一边考虑条形码图案及数字列方向一边使其结合，作为条形码区域22的候选、字符区域23的候选，与摄影图像21内的位置信息(坐标位置)一起提取的。
接着，参照图6、图7、图8、图9所示的流程图，对说明对第一实施方式中的条形码识别装置1的动作进行说明。
图6是对通过第一实施方式的条形码识别装置1读取条形码的第一方法进行表示的流程图。
cpu6根据利用者的操作，通过条形码读取部2执行被摄影区域11的摄影(动作a1)。cpu6通过条形码读取部2的摄影，取得如图5所示的摄影图像21，并进行条形码区域22的检索(动作a2)。
接着，cpu6对作为条形码区域22的候选(条形码候选区域)被提取的区域进一步通过最近检索等进行详细检索，从而将条形码区域22作为矩形图像切出(动作a3)。此外，在摄影图像21由于倾斜摄影等而使条形码区域22在几何学上变形的情况下，也可以使得进行基于射影变换等的切出区域变形校正(动作a4)。然后，cpu6对条形码区域22所包含的条形码图案进行解码处理(动作a5)。在此，在能按照规定的条形码规章进行解码的情况下，cpu6在确认校验和后(动作a6，成功)，将解码信息(条形码信息)与条形码的位置信息一起输出(动作a7)。
另一方面，在关于条形码图案的解码处理中，在解码失败的情况下(动作a6，失败)，cpu6对存在于条形码区域22的周边附近的附近字符区域候选进行检索(动作a8)，作为字符区域23的候选(字符候选区域)切出(动作a9)。此外，cpu6也可以与条形码区域22的变形校正同样，根据需要对字符候选区域应用用于校正几何学上的变形的切出区域变形校正处理(动作a10)。
cpu6在进行从字符区域候选除去条形码图案的处理后，执行ocr处理来识别字符区域候选内的字符列(动作a10)。即，尝试表示条形码信息的数字列的取得。cpu6对通过ocr处理得到的数字列进行与关于条形码图案的解码同样的进行校验和，在结果满足条形码规章的情况下(动作a11，成功)，将所得到的数字列作为条形码的解码信息(条形码信息)与位置信息一起输出(动作a7)。此外，在进行校验和的结果是判别为解码失败的情况下(动作a11，失败)，cpu6执行读出错误处理(动作a12)。
cpu6在摄影图像21中检索出多个条形码图像12a的情况下，针对各条形码图像12a反复执行上述的处理(动作a2～a7)。由此，条形码识别装置1能根据通过条形码读取部2摄影一次的摄影图像21，从多个条形码12一起读取条形码信息。
综上所述，本发明的码识别装置具有读取部、区域检测部、第一提取部、第二提取部，读取部摄影码图像，区域检测部从通过上述读取部已摄影的码图像检测上述码图像包含的码区域和字符区域。第一提取部从上述码区域提取上述码图像表示的第一码信息，第二提取部从上述字符区域提取上述码图像表示的第二码信息。通过进行以上处理，从而例如图10a所示，在条形码区域22的条形码图案鲜明的情况下，能通过针对条形码图案的解码处理将条形码信息输出。另一方面，如图10b所示，即使条形码区域22的条形码图案的分辨率或鲜明度相对于解码处理而言不充分，也能通过以字符区域23为对象的ocr处理正确地取得条形码信息。
进一步地，在本发明的码识别装置中，上述第二提取部在通过上述第一提取部不能提取上述第一码信息的情况下，从上述字符区域提取第二码信息。一般，多数情况下可以使数字列的ocr所需的分辨率相对于条形码的解码所需的分辨率低。因此，即使在通过不能解码的分辨率或鲜明度摄影了条形码12的情况、例如在到条形码的距离较远的位置上进行了被摄影区域11的摄影的情况下，也能取得正确的条形码信息。或者，即使条形码读取部2没有安装高分辨率、且大面积的影像传感器15，也能进行条形码12的读取，因此能实现条形码识别装置1的低成本化。
这样，在第一实施方式的第一方法中，通过ocr处理读取配置于条形码区域22的周边附近的、表示与条形码信息等价的信息的数字列(字符列)，在不能从条形码区域22取得解码信息的情况下也能补充地利用。由此，能从离开的位置检测出配置于多个部位的条形码，能有效地读取条形码信息。在第一实施方式中，能通过以下说明的第2～第4方法同样地读取条形码信息。
图7是对通过第一实施方式的条形码识别装置1读取条形码的第2方法进行表示的流程图。此外，关于第2方法，对与图6所示的第一方法不同的处理进行说明。
在第一方法中，在条形码图案(条形码区域22)的解码处理失败的情况下，对存在于条形码区域22的周边附近的附近字符区域候选进行检索。在第2方法中，执行如下处理：在将条形码区域22的候选(条形码候选区域)切出时(动作b3)，执行存在于条形码区域22的周边附近的附近字符区域检索(动作b3a)，将不包含字符区域候选的区域确定为条形码区域22并切出。此时，cpu6预先将表示已检测出的字符候选区域的位置(坐标)/尺寸信息临时记录到ram7(存储器缓冲器)中。
cpu6与第一方法同样，在条形码区域22的解码处理失败的情况下(动作b6，失败)，执行字符区域切出处理：使用记录于ram7中的位置/尺寸信息切出字符候选区域(动作b8)。在第2方法中，使检索条形码区域22的周边的处理在切出条形码区域22时(动作b3)和切出字符区域23时(动作b8)各自中不反复执行，所以能实现进一步有效的条形码识别处理。
图8是对通过第一实施方式的条形码识别装置1读取条形码的第三方法进行表示的流程图。此外，关于第三方法，对与图6所示的第一方法不同的处理进行说明。
在第三方法中，在取得通过条形码读取部2摄影的摄影图像21后，执行以摄影图像21的整个画面为对象的图像区域检索处理(动作c3)，一起进行关于条形码区域22及字符区域23这两者的检索。cpu6将关于通过图像区域检索处理所检测出的条形码候选区域和字符候选区域各自的位置/尺寸信息预先记录于ram7(存储器缓冲器)中。
cpu6在进行条形码区域22的切出时，使用记录于ram7中的条形码候选区域的位置/尺寸信息切出条形码区域22(动作c3)。另外，cpu6在进行字符区域23的切出时，使用记录于ram7中的字符候选区域的位置/尺寸信息切出字符区域23(动作c8)。
在第三方法中，通过一次性的画面内全部检索，对检测出的条形码候选区域和字符候选区域这两者一起预先记录位置/尺寸信息，所以能减少画面内检索处理的次数，能实现进一步有效的条形码识别处理。
图9是对通过第一实施方式的条形码识别装置1读取条形码的第四方法进行表示的流程图。
在第四方法中，使从条形码区域22的切出到解码信息(条形码信息)的输出处理(动作d3～d7)、和从字符区域23的切出到解码信息(条形码信息)的输出处理(动作d8～d12)并列地执行，将各个解码结果综合地输出。cpu6与第3方法同样地执行图像区域检索处理，对条形码候选区域和字符候选区域各自记录位置/尺寸信息(动作d2)。cpu6在条形码区域切出(动作d3)和字符候选区域的切出(动作d8)中使用关于各自的位置/尺寸信息进行处理。
cpu6执行解码信息综合处理：用于根据关于条形码区域22和字符区域23的位置/尺寸信息，将通过以条形码区域22为对象的解码处理而输出的条形码解码信息(第一条形码信息)、与通过以字符区域23为对象的解码处理(ocr处理)而输出的ocr解码信息(第二条形码信息)综合(动作d13)。
在解码信息综合处理中，cpu6在得到与条形码区域22和字符区域23各自对应的解码信息的情况下，根据位置/尺寸信息判别条形码区域22和字符区域23是否包含在一个条形码12中。在判别出包含在一个条形码12中的情况下，cpu6将以条形码区域22和字符区域23中的任一方作为对象输出的条形码信息排除。另外，在解码信息综合处理中，cpu6在仅对条形码区域22和字符区域23中的任一方得到解码信息的情况下，将该解码信息作为位置/尺寸信息表示的条形码12的读取结果。cpu6对从被摄影区域11检测的多个条形码12各自反复执行上述的处理。
在第四方法中，进一步具有信息综合部，上述信息综合部将上述第一码信息和上述第二码信息综合，对条形码区域22和字符区域23各自并行地解码，并将其结果综合，由此，即使是由于某原因而不能检测条形码区域22的情况，通过以字符区域23为对象的ocr处理，也能补充地得到条形码12表示的解码信息(条形码信息)。
接着，对将与上述的条形码图像12a不同的码图像作为处理对象的例子进行说明。在此，将作为用于管理陈列有商品或物品的架子的管理牌而贴附的标签例如商品的价格标签等作为对象进行说明。标签通过例如规定的格式打印，并在商品或陈列架上揭示。
图11是示意地表示用于检索与通过第一实施方式中的条形码读取部2所摄影的摄影图像21所包含的标签相当的标签图像25a的方法的图。在图5b所示的条形码图像12a中，在条形码区域22的周边附近设置有字符区域23，但是在图11所示的标签图像25a中，在从条形码区域22a离开的位置设置有字符区域23a。标签图像25a除了包含条形码区域22a和字符区域23a之外，还包含有标签信息26。
如图11所示，cpu6与上述同样地设定相对于摄影图像21成为小面积的检索区域24，在水平方向24h及垂直方向24v依次扫描摄影图像21，检测图11所示的格式的标签区域。
图12是对通过第一实施方式的条形码识别装置1读取条形码的第五方法进行表示的流程图。在第五方法中，表示读取如图11所示在标签图像25a内分开地设置的条形码区域22a和字符区域23a的处理。此外，关于第五方法，对与图6所示的第一方法不同的处理进行说明。
在标签图像25a中，利用如下情况：字符区域23a没有与条形码区域22a靠近地配置，而是配置于标签图像25a内的规定位置。即，cpu6在条形码区域22a的候选和字符区域23a的候选的配置关系相当于图11所示的格式的情况下，检测为相当于标签图像25a的标签区域(动作e2)。cpu6预先将表示检测出的标签区域的位置/尺寸信息作为标签区域信息暂时存储于ram7(存储器缓冲器)(动作e3)。cpu6对摄影图像21所包含的多个标签图像25a各自重复进行切出标签区域的处理(动作e2、e3)。
接着，cpu6根据检测出的标签区域信息，从标签图像25a中检索条形码区域22a，对条形码区域22a的条形码(条形码图案)进行解码(动作e4～e7)。在条形码的解码结果成为校验和失败的情况下(动作e8，失败)，cpu6在进行字符区域23a的切出时，使用记录于ram7中的作为标签区域信息而记录的位置/尺寸信息，对标签图像25a检索字符区域23a(动作e10)，切出字符区域23a(动作e11)。
这样，在检索字符区域23a时，通过活用标签区域信息，能有效地检索字符区域23a。这样，通过进行从摄影图像21检测规定的标签图像25a(标签区域)的前处理，即使条形码区域22a和字符区域23a分开，也能有效且高精度地检索条形码区域22a和字符区域23a。另外，能进行条形码区域22的候选或字符区域23的候选是否处于标签内的内外判定，特别是在一起摄影了无关的条形码的情况等下可实现检测精度的提高。
(第二实施方式)
第二实施方式的条形码识别装置1a与第一实施方式同样，以条形码区域22和字符区域23为对象读取条形码信息。进一步地，条形码识别装置1a通过取代第一实施方式中的条形码读取部2，而将设置场所固定的拍摄装置2a用作对包含条形码图像等的图像进行摄影的读取装置，从而检测出条形码12在三维空间中的位置(三维位置坐标)。图14表示第二实施方式中摄影装置2a的外观图，摄影装置2a用于对包含有条形码区域22或字符区域23的商品货架等进行摄影。
摄影装置2a是具有使相机在水平方向上旋转的平移(p)功能(单元2a1)、及在垂直方向上旋转的倾斜(t)功能(倾斜单元2a2)的所谓的平移倾斜相机(pt相机)。平移倾斜的旋转中心相同，即使在任意的转角
图13是表示第二实施方式中的条形码识别装置1a的设备构成的框图。如图13所示，摄影装置2a相当于图2所示的条形码读取部2。另外，条形码识别装置1a也能设置多个摄影装置2a、2b。条形码识别装置1a能将图2所示的cpu、ram、通信部等相当于设备功能1b的系统构成构建在局域连接的个人计算机(pc)、应急备用服务器、或者云(cloud)上。关于设备功能1b的详情，假设与第一实施方式大致相同，省略说明。设备功能1b将通过摄影装置2a、2b所摄影的图像输入，执行以下说明的处理。
图15a、图15b是表示作为摄影对象的基准面的、例如商品货架的标签显示面(货架基准面31)相对于摄影装置2a(pt(ptz)相机)的摄影条件在几何学上处于什么样的关系的图。在图15中，在货架基准面31上取正交坐标系的x轴、y轴，简便起见，摄影装置2a位于z轴上，倾斜角θ设为0。
作为摄影装置2a的设置基准位置的视点28配置于从正交坐标系原点开始的z轴上坐标、即从架算起的距离的货架-相机间基准距离(zs)的位置，将平移方向的角度
【数学式1】
图16a、图16b是表示在货架基准面31上配置有条形码12的情况下与视野范围34内的图15所示的各参数的关系的图。如果从图16可知架-相机间基准距离(zs)、平移方向角度
图17是将图15及图16所示的关系进一步一般化表示的图。摄影装置2a(视点28)在存在于货架基准面31的正交坐标(x，y，z)中存在于(0，0，-zs)上，视野基准面32的局部坐标系xy二维平面的基准坐标及条形码12的位置用使y轴向z轴方向平行移动后的y'轴上的单位球面坐标系
图18是对通过第二实施方式的条形码识别装置1a读取条形码的方法进行表示的流程图。在第二实施方式中，分为粗检索条形码候选区域的前段的处理(动作f1～f4)(粗检索处理s1)、和基于通过粗检索处理s1检测出的条形码位置信息摄影附近区域并进行详细检索的后段的处理(动作f6～f9)(详细检索处理s2)这二个阶段进行摄影。
cpu6在粗检索处理s1中设定摄影装置2a的摄影方向(相机朝向条件)并执行摄影(动作f2，f3)，将条形码图像(条形码区域22)作为对象从摄影图像执行检索(动作f4)。在此，不是执行正确的检索，而执行处理负担轻的检索条形码区域的候选的粗检索，将表示作为条形码区域的候选的场所的条形码候选位置(位置/尺寸信息)预先记录于ram7中(动作f5)。cpu6一边变更摄影装置2a的摄影方向一边进行摄影，从各个摄影图像进行检索，对条形码区域的候选记录摄影条形码候选位置(动作f2～f4)。
接着，cpu6在详细检索处理s2中，根据粗检索处理s1中的相机朝向条件设定来设定摄影装置2a的摄影方向(相机朝向)并执行摄影(动作f6，f7)。cpu6使用与各条形码区域的候选对应的摄影条形码候选位置，与第一实施方式同样地执行以条形码区域22和字符区域23为对象的条形码信息的读取(动作f9)。此外，假设动作f9的处理是执行图6的虚线内所示的第一实施方式中的动作a2～a11的处理，省略说明。
这样，在第二实施方式中，将通过粗检索处理s1检索出的条形码候选位置作为对象，执行以条形码区域22和字符区域23为对象的详细检索处理s2，所以摄影及检索时间效率化，从而能实现处理时间的缩短。
另外，在第二实施方式中，也能使用具备变焦(z)功能的平移倾斜变焦相机(ptz相机)作为摄影装置2a。在该情况下，在粗检索处理s1中，为了得到粗检索所需的质量的条形码图像，针对摄影装置2a执行相机变焦初始设定(动作f1)，并使其执行摄影。另外，cpu6在详细检索处理s2中，为了得到比粗检索处理s1精细的条形码图像而针对摄影装置2a进行相机变焦设定，并使其执行摄影(动作f7)。即，通过利用变焦(z)摄影功能，在详细检索处理s2中将高精细的条形码图像作为对象识别条形码信息，所以能期待识别精度的提高。
综上所述，在第二实施方式中，上述读取部通过具备平移倾斜功能的相机对码图像进行摄影，上述码识别装置进一步具备位置检测部：根据上述码图像中的上述码区域的位置、和表示通过上述平移倾斜功能调整的上述相机的方向的平移倾斜信息，检测上述码图像的位置。这样，通过使用具备平移倾斜功能的相机位置，将高精细的条形码图像作为对象识别条形码信息，所以能期待识别精度的提高，能有效地读取条形码信息；并且，通过上述检测部，摄影及检索时间效率化，从而能实现处理时间的缩短。
图19是对通过第二实施方式的条形码识别装置1a读取条形码的第一变形例进行表示的流程图。图19所示的处理以图18所示的处理为基本，进一步设置如下处理：将对与附有条形码的商品货架有关的商品货架主信息(货架图)和从实际摄影的图像读取的条形码的位置信息比较参照的结果作为报告输出。商品货架主信息(货架图)是例如商品货架分配计划的数据库，是表示在商品货架的哪个位置收容哪个商品等的信息。
在此，以例如商品货架上揭示的条形码的信息大幅变化为前提，假设定期地进行多次货架信息对照处理。cpu6在初次读取附在商品货架上的条形码的条形码信息的情况、或者重置前次的读取结果并再次读取的情况下(动作g1，是)，通过图18所示的粗检索处理s1检测条形码候选位置(动作g2)，作为条形码候选位置信息(h1)记录于ram7(动作g3)。
cpu6在执行第二次以后的读取的情况下(动作g1，否)，参照条形码位置信息(h1)执行图18所示的详细检索处理s2的信息取得处理(动作g4)。在动作g4中，cpu6不执行对象区域的全部摄影、粗检索处理s1(动作g2)，能开始后段的条形码候选区域的摄影和详细检索处理s2(动作g4)。
在条形码候选区域的摄影和信息取得处理(动作g4)中得到更适当的条形码位置信息的情况下，cpu6通过将条形码位置信息写入条形码候选位置信息(h1)从而进行更新处理。另一方面，cpu6预先将作为条形码候选区域的摄影和信息取得处理(动作g4)的结果得到的关于条形码候选区域的条形码位置和解码信息记录于ram7。
cpu6执行对条形码位置和解码信息与商品货架主信息(货架图)(h2)进行比较对照的货架信息对照处理(动作g5)。在货架信息对照处理中，cpu6对从已摄影的图像读取的条形码位置信息和条形码信息是否与商品货架主信息一致进行判别。在判别为一致的情况下，cpu6确认实际的商品货架的架分配按计划正确地进行的情况，关于不一致部分显示警告，汇集其结果作为报告(h3)输出。
这样，通过检测条形码的位置信息(条形码位置和解码信息)，能与商品货架主信息进行比较，能容易进行需要将物品或架的位置信息和条形码信息对应起来的卸架操作、检查货品操作。摄影装置2a因为能从设置的场所进行全方位摄影，所以能对摄影装置2a的周围的商品货架自动地进行分析操作，能实现省人化和省力化。
图20是对通过第二实施方式的条形码识别装置1a读取条形码的第二变形例进行表示的图。在图20中，使用多台(图20中为2台)摄影装置2a、2b分别摄影共同的范围。在图20中，将摄影装置2a和摄影装置2b的设置位置的距离设为r。条形码识别装置1a将在作为第一相机摄影位置的视点28(摄影装置2a)摄影的摄影图像作为对象，在基于上述的处理进行条形码位置的检索和解码处理后，在作为第二相机摄影位置的视点29(摄影装置2b)中同样地进行条形码位置的检索和解码处理。
当进行这样的处理时，某条形码12能求出基于第一视点28的局部坐标系(x1，y1，z1)中的位置坐标
在此，假设第一视点28和第二视点29的相对的位置坐标(xc，yc，zc)为已知，各个局域坐标上的条形码12的距离分量r1、r2未知，但是因为也能通过相机的摄影参数、或者激光测距等距离测量部将从摄影装置2a、2b(相机)到条形码12的距离r设为已知，所以能根据多个条形码12的局域位置坐标
作为图20所示的两点或者多个地点的相机摄影方法，大致区分为如下方法：一边使用两台同种摄影装置2a、2b使摄影视野一部分重复一边分别从固定的视点进行摄影的方法；以及使一个摄影装置2a在两个视点间移动并分别进行摄影的方法。作为前者的例子，可列举如下方法：在天花板上具备多个监视相机，使用各自的监视图像进行条形码12的检索和解码的方法。另外，作为后者的例子，除了每次都人为地赋予两个摄影位置进行测定的方法之外，还可列举如下方法：在自主移动机器人或移动台车等移动体上搭载相机，一边使一部分摄影范围重复一边使移动摄影反复进行的方法。在后者的情况下，预先从两个以上的视点、例如三个视点摄影相同的条形码，根据该条形码解码信息或者周边的图像信息识别是相同的条形码，并且根据3组局域方向坐标分量求出全球坐标系中的三维位置坐标。
这样，上述区域检测部根据在多个不同的位置上通过上述读取部分别摄影的多个码图像检测上述码区域，上述位置检测部根据从上述多个图像检测出的上述码区域的位置、和表示上述多个相机的方向的平移倾斜信息，检测相当于上述码图像的码在三维空间中的位置，因此，能提供如下条形码识别装置：将在多个位置上摄影的摄影图像作为对象读取条形码，检测条形码位置，由此能从分离的位置检测在例如仓库、店铺等的空间内宽范围地配置有多个的条形码12，能有效地读取条形码信息。而且，能提供如下物品管理系统：能进行条形码信息的读取，并且能得到条形码的空间内位置信息。
虽然说明了本发明的几个实施方式，但是这些实施方式是作为例子进行提示，不期望限定发明的范围。这些新的实施方式能以其它的各种各样的方式实施，能在不脱离发明宗旨的范围内进行种种省略、置换、变更。这些实施方式或其变形包含在发明的范围或宗旨内，并且包含在与请求保护的范围所记载的发明均等的范围内。
另外，在上述的实施方式中记载的处理作为能使计算机执行的程序写入到例如磁盘(软盘、硬盘等)、光盘(cd-rom、dvd等)、半导体存储器等记录介质中提供给各种装置。另外，也能通过通信介质传送并提供给各种装置。计算机将记录于记录介质的程序读出，或者经由通信介质接收程序，通过该程序控制动作，由此执行上述的处理。
- 还没有人留言评论。精彩留言会获得点赞！