商品数据处理装置及商品数据处理方法、终端设备与流程

本发明的实施例涉及一种商品数据处理装置及商品数据处理方法、终端设备。

背景技术：

通常，在销售商品的店铺中，设置有读取打印或粘贴在购物顾客要购买的商品上的条形码，并基于条形码所表示的商品代码进行视为购买对象的商品的登记的商品登记装置。商品登记装置从记录有对视为购买对象的全部的商品的信息的商品主文件(数据库)读出与商品代码对应的数据，并基于与商品代码对应预先登记的价格数据制成用于结账处理的数据。此外，也考虑通过与商品代码对应预先存储与商品关联的说明信息，显示购物顾客购买的商品的说明信息。

此外，目前，也公知有基于已摄像商品的图像，检测粘贴在商品上的折扣用的贴签，辨别折扣用的贴签所示的折扣金额，从对商品预先登记的价格数据减价并输出的商品登记装置。

在目前的商品登记装置中，虽然能够显示商品信息，但与商品代码对应必须预先登记商品信息。此外，在商品的包装上有对购物顾客判断购买商品有助的各种信息、例如除商品的价格外、消费期限和保质期等的期限信息、过敏物质(过敏原)的原材料信息等。在商品登记装置中，为了显示这些信息，必须预先与各个商品代码对应作为显示对象存储到商品主文件中，店铺侧的工作负担大。关于在商品登记装置中未显示的信息，购物顾客必须从商品包装的记载的多个信息中，查出并确认有助于购买商品的判断的信息，也有漏看的可能性。

技术实现要素：

鉴于上述问题，本发明所要解决的技术问题是，提供一种商品数据处理装置及商品数据处理方法、终端设备，其能够简易地提示对购物顾客购买商品的判断有效的文字信息。

为解决上述问题，本发明的一实施例，提供了一种商品数据处理装置，该商品数据处理装置包括：识别部，通过对已摄像商品包装的图像的文字识别处理，识别文字信息；信息判断部，对所述文字信息作为输出对象是否妥当进行判断；以及输出部，使通过所述信息判断部判断为妥当的所述文字信息输出。

根据这样的构成，能够简易地提示对购物顾客购买商品的判断有效的文字信息。

对于商品数据处理装置，在一种可能的实施方式中，所述识别部从所述图像检索矩形区域，并只对所述矩形区域的图像进行文字识别处理。

根据这样的构成，能够提高文字识别处理的效率。

对于商品数据处理装置，在一种可能的实施方式中，所述识别部只对与所述矩形区域的边平行排列的字符串进行文字识别处理。

根据这样的构成，能够更效率地进行文字识别处理。

对于商品数据处理装置，在一种可能的实施方式中，所述识别部从所述图像检测关键图标，并只对所述关键图标的附近进行文字识别处理。

根据这样的构成，能够提高文字识别处理的效率。

对于商品数据处理装置，在一种可能的实施方式中，所述识别部只对指定的排列的文字信息进行识别。

根据这样的构成，能够准确且效率地进行文字识别处理。

本发明的另一实施例，提供一种商品数据处理方法，该商品数据处理方法包括以下步骤：识别步骤，通过对已摄像商品包装的图像的文字识别处理，识别文字信息；信息判断步骤，对所述文字信息作为输出对象是否妥当进行判断；以及输出步骤，使通过所述信息判断步骤判断为妥当的所述文字信息输出。

根据这样的商品数据处理方法，能够简易地提示对购物顾客购买商品的判断有效的文字信息。

对于商品数据处理方法，在一种可能的实施方式中，所述识别步骤从所述图像检索矩形区域，并只对所述矩形区域的图像进行文字识别处理。

根据这样的控制方法，能够提高文字识别处理的效率。

对于商品数据处理方法，在一种可能的实施方式中，所述识别步骤只对与所述矩形区域的边平行排列的字符串进行文字识别处理。

根据这样的商品数据处理方法，能够更效率地进行文字识别处理。

对于商品数据处理方法，在一种可能的实施方式中，所述识别步骤从所述图像检测关键图标，并只对所述关键图标的附近进行文字识别处理。

根据这样的商品数据处理方法，能够提高文字识别处理的效率。

本发明的第三实施例，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的商品数据处理方法所对应的操作。

根据这样的构成，能够实现能够简易地提示对购物顾客购买商品的判断有效的文字信息的功能。

附图说明

下面，参照附图对实施例所涉及的商品数据处理装置及商品数据处理程序进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示本实施例中的结账系统的构成的框图；

图2是表示本实施例中的pos终端(处理器)的控制处理的流程图；

图3是表示本实施例中的商品图像处理的流程图；

图4是表示本实施例中的文字识别处理的流程图；

图5是表示本实施例中的票据发放处理的流程图；

图6是表示已摄像商品的图像的一例的图；

图7是表示从图6所示的图像检测出的区域pa2的详细的图像例的图；

图8是表示已摄像商品的图像的一例的图；

图9是表示从图8所示的图像检测出的区域pb2、pb3的详细的图像例的图；

图10是表示设定在本实施例中的判断数据表中的数据的一例的图；

图11是表示在本实施例中的登记画面的一例的图；以及

图12是表示在本实施例中的纸票据的一例的图。

附图标记说明

10pos终端12登记装置

12a1、12a2结账装置13店铺服务器

11a处理器11j键盘

11k摄像头21顾客管理服务器

22电子票据服务器23电子设备

具体实施方式

下面，参照附图对本实施例进行说明。

图1是表示本实施例中的结账系统(商品数据处理系统)的构成的框图。图1所示的结账系统被设置在诸如超市等的店铺中。结账系统包含执行用于结账业务的处理的多个商品数据处理装置(pos(pointofsales：销售点)终端10、登记装置12、结账装置12a1、12a2)、以及店铺服务器13。

此外，结账系统与包含互联网等的外部的网络20连接，通过网络20能够与顾客管理服务器21、电子票据服务器22、电子设备23等的其他的设备发送接收数据。顾客管理服务器21存储与会员登记的购物顾客相关的数据，并管理购物顾客的商品的购买。电子票据服务器22从结账系统接收数字化购物顾客已购买商品的交易内容的电子票据，并对应每位购物顾客进行管理。电子设备23是购物顾客使用的设备，诸如由个人计算机或智能手机构成。电子设备23通过网络20访问顾客管理服务器21，并用于对应每位购物顾客存储固有的信息(后述的顾客登记信息等)。此外，电子设备23通过网络20访问电子票据服务器22，用于使购物顾客阅览电子票据。

图1所示的结账系统设置有由工作人员进行购物顾客要购买的商品的登记及结算的操作的pos终端10、由工作人员进行商品的登记操作的登记装置12、以及购物顾客进行对于在登记装置12中已登记的商品的结算处理的多个结账装置12a1、12a2。登记装置12和结账装置12a1、12a2构成自助式的结账系统。

此外，结账系统也可以包含进行购物顾客要购买的商品的登记及结算的操作的自助式的结账系统。自助式的结账系统的商品数据处理装置作为具有与pos终端10同样的构成的装置省略图示。

另外，在一个店铺中，既可以只设置pos终端10，又可以只设置自助型或自助式的结账系统的任意一方，也可以混合设置。

图1是表示本实施例中的pos终端10及结账装置12a1的构成的框图。另外，登记装置12作为具有与pos终端10同样的构成的装置省略详细说明。此外，结账装置12a2作为具有与结账装置12a1同样的构成的装置省略详细的说明。

pos终端10安装有计算机的功能，具备处理器(cpu(centralprocessingunit：中央处理器)等)11a、rom(read-onlymemory：只读存储器)11b、ram(random-accessmemory：随机存取存储器)11c、存储单元11d、找零机11e、通信单元11f、扫描仪11g、触摸面板11h、键盘11j、摄像头11k、打印机11m、卡读写器11n、以及显示器11p。

处理器11a是用于基于rom11b及ram11c所存储的操作系统、中间件、以及应用程序，为了实现各种的动作而控制各部的电路。

rom11b及ram11c除通过处理器11a执行的各种程序外，还存储在处理器11a执行各种的处理时进行参照的数据。例如，ram11c在执行登记商品的信息的处理时，存储有登记视为购物顾客的购买对象的商品的信息的商品登记表、摄像商品的图像数据、通过对图像数据的文字识别处理获得的文字信息、用于判断通过文字识别处理被识别的文字信息作为输出对象是否妥当被参照的判断数据表(参照图10)。

在通过处理器11a执行的程序中，包含用于执行通过扫描仪11g输入商品的信息(商品代码等)的处理、生成用于对应商品登记表所登记的商品的信息的结算处理的交易信息的处理、基于交易信息的结算处理等的控制程序。并且，通过处理器11a执行的程序包含从商品包装的图像检测并输出对购物顾客购买商品的判断有效的文字信息的商品数据处理程序。处理器11a通过执行商品数据处理程序，实现具有通过对已摄像商品包装的图像的文字识别处理对文字信息进行识别的文字识别部、判断文字信息作为输出对象是否妥当的信息判断部、以及使通过信息判断部判断为妥当的文字信息输出的输出部的功能。

存储单元11d存储处理器11a进行各种处理时使用的数据或通过处理器11a的处理生成的数据。关于存储单元11d，诸如能够使用hdd(harddiskdrive：硬盘驱动器)、ssd(solidstatedrive：固态硬盘)等。

找零机11e是与基于处理器11a的结算处理等联动，自动的进行现金的存取款的装置，收受(存款)投入的硬币及纸币，并排出(支出)视为找零的硬币及纸币。

通信单元11f诸如通过lan14，进行与登记装置12、结账装置12a1、12a2、店铺服务器13等的通信。

扫描仪11g诸如通过光学的扫描读取商品的信息，输入诸如由条形码所表示的商品所固有的商品代码。扫描仪11g既可以是固定式或手持的条形码扫描仪，又可以是利用图像识别技术从已摄像商品的图像识别商品的类型。此外，扫描仪11g既可以是只设置一个的类型，又可以是设置多个的类型。

摄像头11k摄像通过扫描仪11g读取商品代码的商品，输出商品包装的图像数据。摄像头11k诸如设置在与扫描仪11g接近的位置。摄像头11k在商品和扫描仪11g接近时，摄像商品包装的图像，用于使扫描仪11g读取条形码(商品代码)。

此外，也可以设置多个摄像头11k，诸如不仅附有商品的条形码的商品包装面，也对包含其他的背面、侧面的商品包装面进行摄像。例如，设置载置商品的台，通过透明的材质构成台的底面部。摄像头11k设置在台的底面部和台的上方，对载置在台上的商品的背面和表面的各个的商品包装的图像进行摄像。另外，在能够通过扫描仪11g取得商品包装的图像时，能够省略摄像头11k。

打印机11m诸如是热敏打印机或点阵打印机等，通过票据发放处理对票据用纸打印各种的字符串(文字列)、图像、码图案(条形码、二维码等)等，发放交易票据等。打印机11m对票据用纸除表示商品名称、单价、合计金额等的交易内容的信息外，也能够打印通过对已摄像商品包装的图像的文字识别处理被检测出的文字信息。文字信息除诸如直接打印字符串外，也能够通过表示文字信息的码图案(条形码、二维码等)进行打印。

卡读写器11n在读取卡所记录的数据的同时，向卡写入数据。卡除信用卡、借记卡、电子货币卡、预付卡等的结算用卡外，也包含记录关于会员卡、积分卡等的结算处理的信息的各种卡。卡读写器11n既可以是磁式、接触式或非接触式的任意的设备，也可以包含多种的设备。

显示器11p诸如是使用作为用于向购物顾客提供信息的顾客端的设备，能够利用彩色lcd等的公知的设备。显示器11p除表示商品名称、单价、合计金额等的交易内容的信息外，也用于显示通过对已摄像商品包装的图像的文字识别处理被检测出的文字信息。

另外，在自助型的结账系统(登记装置12、结账装置12a1、12a2)时，在登记装置12中执行对商品包装的图像的文字识别处理，检测文字信息，与用于结算处理的交易信息一起发送给结账装置12a1(或12a2)。

结账装置12a1安装有计算机的功能，具有处理器(cpu等)12a、rom(read-onlymemory：只读存储器)12b、ram(random-accessmemory：随机存取存储器)12c、存储单元12d、找零机12e、通信单元12j、扫描仪12f、触摸面板12g、打印机12h、以及卡读写器12i。另外，结账装置12a1所设置的各部与pos终端10相同名称的各部具有同样功能，省略详细的说明。

处理器12a基于rom12b或ram12c所存储的控制程序，根据通过登记装置12的登记处理生成的交易信息，执行结算处理。此外，处理器12a基于商品数据处理程序，能够与上述的pos终端10的打印机11m同样将从登记装置12接收到的文字信息打印在票据用纸上。此外，处理器12a能够基于从登记装置12接收到的文字信息，与上述的pos终端10的显示器11p同样，使文字信息与交易内容的信息一起显示在触摸面板12g中。

另外，在自助型的结账系统中，也可以在结账装置12a1、12a2中执行对商品包装的图像的文字识别处理，通过触摸面板12g或打印机12h输出文字信息。这时，通过扫描仪12f摄像商品，输入商品包装的图像数据。

店铺服务器13管理结账系统(商品数据处理系统)的整体。店铺服务器13安装有计算机的功能，具有例如处理器、rom、ram、存储单元、通信单元、显示器、键盘、以及打印机。

店铺服务器13除总计在商品数据处理装置(pos终端10、登记装置12、结账装置12a1、12a2)中的处理外，也提供在商品数据处理装置中的处理所必要的数据。例如，店铺服务器13能够在商品包装所登载的文字信息中，提供用于判断作为输出对象视为妥当的文字信息的判断数据表(详细图10所示)。判断数据表除对多个商品共通的信息外，也包含有对应每位购物顾客固有的顾客登记信息。顾客登记信息在诸如商品包装所记载的文字中，包含有表示视为输出对象的文字或字符串的信息。

顾客登记信息能够使用诸如电子设备23，购物顾客预先登记到顾客管理服务器12中。顾客管理服务器21将表示通过电子设备23接收到的文字或字符串的信息与购物顾客固有的会员识别数据(id)对应进行存储。

店铺服务器13在诸如pos终端10或登记装置12中，通过读取会员代码输入有会员识别数据时，根据会员识别数据，在顾客管理服务器21中查询购物顾客的顾客登记信息。顾客管理服务器21根据来自店铺服务器13的查询，将与会员识别数据对应存储的顾客登记信息发送给店铺服务器13。店铺服务器13存储从顾客管理服务器21接收到的顾客登记信息、且发送给输入有会员识别数据的pos终端10或登记装置12。通过这样，pos终端10或登记装置12能够使用与购物顾客对应的顾客登记信息，对视为输出对象的文字信息的妥当性进行判断。

另外，在上述的说明中，pos终端10或登记装置12虽然通过店铺服务器13从顾客管理服务器21接收与购物顾客对应的顾客登记信息，但也可以诸如从记录有顾客登记信息的电子设备23或会员卡直接输入。此外，与购物顾客对应的顾客登记信息也可以不是登记在顾客管理服务器21中，而是从电子设备23登记到对应每个店铺的店铺服务器13中。

接着，对本实施例中的商品数据处理装置的动作进行说明。在这里，对pos终端10的动作进行说明。图2、图3、图4、以及图5是表示本实施例中的pos终端10(处理器11a)的控制处理的流程图。

处理器11a当开始控制处理时，清除ram11c所记录的商品登记表的登记内容(act1)。此外，处理器11a使触摸面板11h及显示器11p显示登记画面(act2)。登记画面是用于显示商品登记表所登记的商品的信息等的画面，是用于使工作人员或购物顾客确认登记处理的实施状况的画面。在触摸面板11h所显示的工作人员用的登记画面中，包含工作人员用于指定商品的商品按钮及小计按钮等的各种的功能按钮等。登记画面显示有诸如关于商品登记表所登记的商品的商品名称、件数及单价、以及已登记其商品后的购买商品的合计件数及合计金额等。

处理器11a在显示登记画面的状态下，等待接受对触摸面板11a的画面中所显示的小计按钮的触摸操作、以及通过扫描仪11f读取获得商品代码。在这里，当商品代码被输入时(act3的yes)，从商品主文件(数据库)读出关于与商品代码对应的商品的信息，登记到商品登记表中。此外，处理器11a使摄像头11k执行摄像，输入读取有商品代码的商品的图像数据(act4)。

处理器11a执行对通过摄像头11k的摄像输入的图像数据的商品图像处理(act5)。

图3是表示本实施例中的商品图像处理的流程图。

首先，处理器11a从已摄像商品的图像检测视为文字信息的提取对象的矩形区域(act21)。也就是说，处理器11a以能成为商品包装所记载的输出对象的文字信息存在在被判别为图像中的指定的矩形区域的区域内为前提，对矩形区域进行检测。

图6是表示已摄像商品的图像的一例的图。图6示出诸如“生鱼片用金枪鱼”装入商品托盘被包装的商品的一例。在图6所示的图像例中，检测相当于商品托盘的外形的区域pa1、相当于粘贴在商品上的商品标签的区域pa2作为矩形区域。此外，在图6所示的例子中，由于检测相当于商品的广告用标签的区域pa3不是矩形区域，所以从文字信息的提取对象被除去。

另外，在本实施例中的系统中，矩形区域不限于通过严密的矩形规定的区域，而是包含通过与矩形类似的图形(大致矩形)规定的区域。

图7是表示从图6所示的图像检测出的区域pa2的详细的图像例的图。如图7所示，商品标签通过文字记载有关于商品的多个信息。

图8是表示摄像与图6不同的商品的图像的一例的图。图8示出“薯片”收容在袋中的商品的一例。在图8所示的图像例中，在记载有条形码(商品代码)的面中，检测记载有顾客端的各种信息的多个区域pb1、pb2、pb3、以及pb4。商品包装记载的信息除关于销售(制造)者对顾客的商品的相关信息外，也包含因法律登载规定的信息。这些信息为了对购物顾客清楚表达，通常记载为矩形框。

图9是表示从图8所示的图像检测出的区域pb2、pb3的详细的图像例的图。如图9所示，区域pb2通过文字记载有名称、原材料名称、容量、保质期、保存方法、制造者等信息。区域pb3通过文字记载有对商品所包含的过敏原(过敏物质)的信息。

处理器11a对从商品的图像检测出的矩形区域的图像执行文字识别处理，检测视为输出对象的文字信息(act22)。处理器11a参照在判断数据表中设定的数据，对矩形区域的图像执行文字识别，提取作为输出对象视为妥当的文字信息。处理器11a在对从商品的图像检测出的全部的矩形区域的图像文字识别处理结束之前(act23的yes)，重复执行处理。

图10示出设置在本实施例中的判断数据表的数据的一例。判断数据表设定有诸如关键图标、格式、识别对象字符串等的数据。关键图标是视为用于指定记载有从矩形区域的图像视为输出对象的文字的位置的基准的图案。例如，在从图像检测出关键图标时，将处于关键图标的附近的文字信息提取作为输出对象。

在图10所示的判断数据表中，作为关键图标，诸如设定“加工日”、“消费期限”。也就是说，处于“加工日”的关键图标所存在的附近文字、具体地说通过判断数据表所设定的格式表示的排列，示出提取与表示日期的识别对象字符串“0～9”符合的字符串。即使对于“消费日期”也同样。

此外，关键图标的附近能够对应每个关键图标定义。例如，在关键图标“加工日”时，将处于从关键图标的位置预先设定的距离的范围内、且与矩形区域的边平行与关键图标一起排列的字符串视为识别对象。此外。关于其他的关键图标，能够单纯地只基于与关键图标的位置的距离，判断识别对象。

此外，关键图标表示诸如用于模式匹配的模板。也就是，能够通过模式匹配从矩形区域的图像提取与“加工日”或“消费期限”的字符串的排列相似的图像图案。

另外，在图10所示的例子中，虽然字符串的排列设定作为关键图标，但也可以将图形、标志图案，修饰(变形)文字等设定作为关键图标。此外，关键图标不仅视为使用于模式匹配的模板，也能够视为字符串(关键字)。作为关键图标，在设定关键字时，判断在视为文字识别的处理结果的字符串是否有与关键字符合的字符串。而且，在有与关键字符合的字符串时，将存在于与关键字符合的字符串的附近的文字信息判断作为输出对象。

并且，在判断数据表中，作为识别对象字符串，设定表示诸如过敏原所包含的食品的文字或字符串(单词)。也就是说，关于过敏原的文字信息由于是对大多购物顾客购买商品判断有效的信息，所以预先设定在判断数据表中。另外，与过敏原无关，其他的文字或字符串(单词)也可以设定作为识别对象字符串。

并且，在判断数据表中，在商品登记时输入有购物顾客的会员识别数据(id)时，追加与从店铺服务器13接收的会员识别数据对应的顾客登记信息。在图10所示的例子中，作为顾客登记信息追加“香菇”“金针菇”的字符串(单词)作为识别对象字符串。例如，购物顾客在不想购买原材料包含“香菇”、“金针菇”的商品时，预先将“香菇”“金针菇”登记作为顾客登记信息。通过这样，在商品包装记载有“香菇”“金针菇”的字符串时，能够输出该文字信息。另外，通过追加“香菇”“金针菇”作为识别对象字符串，不限于记载有原材料名的矩形区域，例如，能够使记载菜谱等的说明的矩形区域所包含的符合的字符串判断作为视为输出对象的文字信息。

此外，作为顾客登记信息，不仅设定识别对象字符串，也可以与识别对象字符串对应设定关键字(字符串)作为关键图标。例如，通过与识别对象字符串“香菇”对应，设定关键字“原材料名”作为关键图标，判断记载在“原材料名”的字符串的附近的“香菇”的字符串作为视为输出对象的文字信息，并能够从输出对象除去菜谱等的说明所包含“香菇”的字符串。

并且，不仅通过电子设备23对判断数据表追加顾客登记信息，也可以能够设定文字信息的输出有无、预先设定在判断数据表中的内容(关键图标、格式、识别对象字符串)的有效/无效等。通过这样，在后述的文字识别处理中，只在设定输出有文字信息时，能够执行文字信息的检测。同样，只使用设定为判断数据表的有效的信息，能够控制文字信息的输出。

图4是表示在本实施例中的文字识别处理的流程图。

首先，处理器11a基于设定在判断数据表中的关键图标，从矩形区域的图像检索与关键图标相当的图像(act31)。例如，在图7所示的图像时，检测与判断数据表所设定的关键图标“加工日”“消费期限”的模板类似的图像图案kw1、kw2。

关于关键图标“加工日”“消费期限”，例如，视为定义处于从关键图标的位置预先设定的距离的范围内、且与矩形区域的边平行与关键图标一起排列的字符串为识别对象。

这时，处理器11a基于关键图标“加工日”的位置，将存在于与矩形区域的上边和右边(或左边)的各个平行的位置的图像群提取作为识别对象(act32)，对各个执行文字识别处理(act33)。这时，提取存在于与上边平行的位置的“17.07.06”的图像群rc1和存在于与右边平行的位置的“消费期限”的图像群kw2，对各个群执行文字识别。

处理器11a对通过文字识别获得的文字(字符串)数据，进行判断作为视为输出对象的文字信息是否妥当(act34)。关于基于关键图标提取出的文字，在判断数据表中，设定格式及识别对象字符串。因此，处理器11a基于在判断数据表中设定的格式及识别对象字符串，对文字信息的妥当性进行辨别。

例如，通过基于关键图标“加工日”的文字识别获得“17.07.06”“消费期限”的文字信息。这时，“17.07.06”的文字的排列与判断数据表所设定的格式(xx、xx、xx)一致，此外，处理器11a能够判断为与作为识别对象字符串设定的文字“0～9”符合。因此，处理器11a判断为“17.07.06”的文字作为输出对象的文字信息妥当(act35的yes)。另外，关于格式，不限于完全一致，也可以在一部分一致时判断为一致。处理器11a使判断为作为输出对象妥当的文字信息存储到ram11c或存储单元11d中(act36)。另一方面，关于“消费期限”的文字信息，处理器11a由于与判断数据表的设定不一致所以判断为不妥当(act35的no)。

另外，即使对于关键图标(消费期限)，也执行与上述同样的处理。处理器11a对记载在“消费期限”的附近的“17.07.08”的图像群rc2执行文字识别，并判断通过文字识别提取出的文字信息作为输出对象妥当，使其存储到ram11c或存储单元11d中。

此外，处理器11a对于与关键图标或关键图标的附近不符合的其他的图像群，分别提取作为识别对象(act32)，对各个执行文字识别(act33)。这时，处理器11a从矩形区域的图像中提取与矩形区域的边(上下边、左右边)平行排列的文字相当的图像群作为识别对象，并只对这些图像群(字符串)进行文字识别处理。也就是，对购物顾客的商品的购买判断有效的文字信息通过明了的形式记载在商品包装中，并通常横写或竖写在矩形区域中。因此，通过只对与矩形区域的边平行排列的字符串进行文字识别处理，只将能成为输出对象的记载作为文字识别的对象，能够从处理对象中除去商品的广告用的文字信息、包装的修饰用的记载等、不能成为输出对象的记载。.

在图7所示的矩形区域的图像时，由于表示商品的名称、金额、加工者的地址等的字符串与矩形区域的边平行排列，所以提取作为识别对象。另外，关于通过对这些的字符串的文字识别获得的文字信息，由于被判断与判断数据表选择的设定内容不一致(act35的no)，所以不判断作为输出对象。

另一方面，在图9所示的矩形区域的图像时，由于关键图标不存在，所以不执行以关键图标的位置为基准的识别对象的提取。处理器11a从矩形区域的图像中提取与矩形区域的边平行排列的文字相当的图像群作为识别对象，并对这些图像群(字符串)进行文字识别处理(act32、act33)。其结果，处理器11a判断为通过对区域pb3所包含的图像群rc3、rc4的文字识别获得的文字信息是与判断数据表中设定作为识别对象字符串的文字(单词)符合的信息。也就是，在区域pb3中，由于“小麦”“牛肉”“芝麻”“大豆”“猪肉”“鸡蛋”“奶”“虾”的文字信息与作为识别对象字符串设定的文字(单词)符合，所以处理器11a判断为作为输出对象的文字信息妥当(act35的yes)。

另外，对与过敏原相当的识别对象字符串，在作为关键图标(关键字)设定“过敏原”时，处理器11a能够只将记载在与“过敏原”相当的图像群kw3的附近的“小麦”“牛肉”“芝麻”“大豆”“猪肉”判断为作为输出对象的文字信息妥当。也就是，能够从输出对象中除去记载在从与“过敏原”相当的图像群kw3分开的位置的“鸡蛋”“奶”“虾”的文字信息。

这样，当从矩形区域的图像检测通过商品图像处理视为输出对象的文字信息时，处理器11a将视为输出对象的文字信息与商品登记表所登记的商品对应进行存储(act6)。此外，处理器11a使触摸面板11h及购物顾客用的显示器11p显示关于已登记的商品的商品名称、价格等的信息。这时，处理器11a在从已登记的商品的商品包装提取视为输出对象的文字信息时，使该文字信息与关于商品的信息一起显示。

并且，处理器11a执行基于作为输出对象被辨别的文字信息的核对处理。在核对处理中，例如，对在商品登记表中已登记的价格等的变更的要/不要的判定、警告等的通知的要/不要进行判定。

处理器11a在诸如对“消费期限”提取文字信息时，如在文字信息所示的消费期限之前的剩余天数比预先设定的天数少，则判断为需要“减价”，此外，如消费期限之前的剩余天数没有，则判断为“中止销售”。处理器11a在执行从商品登记表所登记的价格的减价或已登记的商品的消除等的同时，辨别为需要警告的通知(act7的yes)。处理器11a使触摸面板11h及购物顾客用的显示器11p显示价格的变更或销售中止的警告信息等(act8)。

此外，处理器11a在从商品包装提取出的输出对象的文字信息是过敏原等的对商品的购买判断重要的信息时，判断为需要警告的通知(act7的yes)。处理器11a使显示器11p显示从商品包装提取出的文字信息，并向购物顾客进行警告(act8)。通过这样，购物顾客能够在此时要求工作人员取消购买符合的商品。

以下，同样，处理器11a对读取有商品代码的商品的各个，执行上述的处理。

图11是表示在本实施例中的登记画面的一例的图。如图11所示，在登记画面中显示关于商品的商品名称、单价、金额的信息、且从商品包装提取、判断为作为输出对象妥当的文字信息。另外，在上述的说明中，从商品“生鱼片用金枪鱼”的商品包装(商品标签)提取“17.07.06”“17.07.08”作为文字信息。不过，只有文字信息，由于这些文字信息不清楚什么意思，所以附加视为对象的商品的商品名称“生鱼片用金枪鱼”和表示用于提取各个的文字信息的关键图标“加工日”“消费期限”的字符串。

处理器11a当结束购物顾客要购买全部的商品的登记进行合计操作时(act9的yes)，对商品登记表所登记的商品执行结算处理，并执行票据发放处理。

图5是表示本实施例中的票据发放处理的流程图。

处理器11a在设定发放电子票据时(act41的yes)，制成电子票据数据(act42)。例如，电子票据的发放的有无诸如与会员识别数据对应。

处理器11a根据已结算处理的处理内容所包含的应记载在电子票据中的各种的数据(票据记载数据)和作为输出对象已判断的文字信息，制成电子票据数据(act42)。另外，从商品包装提取出的文字信息既可以通过文字形态直接输出，又可以转换成诸如二维码等的图像图案进行输出。

处理器11a将电子票据数据与会员识别数据对应，通过店铺服务器13发送给电子票据服务器22(act43)。电子票据服务器22将从结账系统接收的、包含文字信息的电子票据数据与会员识别数据对应进行存储。因此，购物顾客能够使用电子设备23访问电子票据服务器22，并确认包含文字信息的电子票据的内容。

另一方面，处理器11a使显示器11p显示用于确认是否发放纸票据的画面。处理器11a在有表示购物顾客期望发放纸票据的输入时(act44的yes)，根据应记载在处理内容所包含的票据中的各种的数据(票据记载数据)和作为输出对象判断出的文字信息，使打印机11m发放票据(act45)。

图12是表示本实施例中的纸票据的一例的图。

如图12所示，在纸票据中，打印结算处理的内容、且从商品包装的图像检测出的文字信息。通过这样，购物顾客基于纸票据，能够容易地确认从已购买的商品检测出的文字信息。另外，即使在纸票据中，也可以将文字信息转换成二维码等的图像图案进行打印。这时，购物顾客能够诸如使用电子设备23通过摄像头等读取打印在纸票据上的二维码，通过安装在电子设备23中的程序，使二维码转换成文字信息，使显示器显示。

另外，在上述的说明中，作为文字信息的输出形态，虽然示出显示器(触摸面板)中的文字的显示、对票据用纸的打印(文字、二维码等的图像图案)、电子票据数据的输出的例子，但也可以使用其他的输出形态。例如，也可以是基于声音的输出、与从商品包装剪切的文字信息符合的图像的输出。

这样，在本实施例中的商品数据处理装置(pos终端10)中，能够从已摄像商品的图像提取并输出记载在商品包装(商品标签)上的、消费期限、保质期限等的期限信息或过敏原物质的信息等、对购物顾客购买商品判断有效的文字信息。通过这样，购物顾客能够参照已输出的文字信息，判断商品的购买。

此外，通过基于文字信息执行核对处理，能够诸如基于期限信息不销售超过消费期限的商品、或对于接近消费期限的商品自动的执行进行降价等的处理。因此，例如，通过对商品包装粘贴已打印视为输出对象的文字信息的贴纸，能够不变更商品主文件的内容，控制pos终端10的动作。例如，变更消费期限的贴纸，通过诸如将“消费期限17.07.07”的贴纸附加在粘贴图7所示的商品标签的商品上，能够进行使消费期限变更为“17.07.07”的价格的减价、“销售中止”的判断、警告输出的要/不要的判定。

此外，在本实施例中的商品数据处理装置由于能够提取并输出记载在商品包装(商品标签)上的文字信息，所以不是登记到商品主文件(数据库)中，而是简易地输出购物顾客对购买商品判断有效的文字信息。

虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

此外，在上述的实施例中记载的处理作为使计算机执行的程序，例如能够写入在磁盘(软盘、硬盘等)、光盘(cd-rom、dvd等)、半导体存储器等的记录介质中而提供给各种装置。此外，也可以通过通信介质提供给各种装置。计算机读入记载在记录介质中的程序，或通过通信介质接收程序，通过按照该程序控制动作，执行上述的处理。

在本发明中，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如上述的控制方法所对应的操作。通过这样，能够实现能够简易地提示对购物顾客购买商品的判断有效的文字信息的功能。

本发明的一个或多个实施例可以被实施为计算机可读记录介质，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读记录介质上。计算机可读记录介质可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。

本发明的计算机可读记录介质，存储有程序，所述程序使计算机具有以下功能：商品信息取得部，基于从所述输入部输入的所述符号信息，取得指定商品的商品指定信息；销售登记处理部，基于通过所述商品信息取得部取得的商品指定信息，执行该商品的销售登记处理；以及符号图像显示部，在所述显示部中显示包含与通过所述销售登记处理部已销售登记处理的一交易对应的商品的所述商品指定信息的符号图像。

一种商品数据处理程序，使控制商品数据处理装置的计算机具备以下功能：识别部，通过对已摄像商品包装的图像的文字识别处理，识别文字信息；信息判断部，对所述文字信息作为输出对象是否妥当进行判断；以及输出部，使通过所述信息判断部判断为妥当的所述文字信息输出。