本发明的实施例涉及一种检验装置、信息处理装置及控制方法。
背景技术：
在百货商店等的便利店中，为了谋求基于pos(pointofsales：销售点)的结账处理的效率，引入有使顾客实施结账处理的工作的一部分的结账系统。例如，引入有设置自助收银机(自助结账终端)的自助结账系统。在自助收银机中，通过由顾客操作执行读取商品的商品代码(通常为条形码)的商品登记、生成用于结算处理的结算信息的登记处理、以及基于通过登记处理生成的结算信息的货款支付的结算处理。
并且，近年来，在顾客在店内挑选商品的期间，也考虑对视为预定购买的商品进行商品登记的个人结账系统。在该系统时，需要作为预定购买而装入手推车、购物筐中的商品和被商品登记的商品一致。
技术实现要素：
鉴于上述问题，本发明所要解决的技术问题是，提供一种检验装置、信息处理装置及控制方法，其能够基于顾客的操作，准确地登记视为预定购买的商品。
为解决上述问题，本发明的一实施例，提供了一种检验装置，包括：接收部、摄像头、对象物检测部、以及检验部。所述接收部，从电子设备接收在所述电子设备中所存储的关于顾客预定购买的商品的商品信息；所述摄像头，对图像进行摄像；所述对象物检测部，从所述图像检测相当于商品的对象物；以及所述检验部，基于所述商品信息和所述对象物，对存在于所述摄像头的摄像范围内的商品和与所述商品信息对应的商品之间的一致进行检验。
根据这样的构成，能够基于顾客的操作，准确地登记视为预定购买的商品。
对于检验装置，在一种可能的实施方式中，还包括：发送部，将基于所述检验部的检验结果发送给其他的电子设备。
根据这样的构成，能够使顾客一目了然检验结果。
对于结算装置，在一种可能的实施方式中，还包括：检测部，检测包含存在于所述摄像头的摄像范围的商品的重量的变化，其中，所述检验部根据所述重量的变化进行检验。
根据这样的构成，能够对计量商品更效率地检验。
对于结算装置，在一种可能的实施方式中，还包括：辨别部，基于所述商品信息，辨别不作为检验的对象的商品，其中，所述检验部对已通过所述辨别部辨别出的商品不进行检验。
根据这样的构成，能够效率地对需要检验商品进行检验。
本发明的另一实施例，提供一种信息处理装置的控制方法，包括以下步骤：接收步骤，从电子设备接收在所述电子设备中所存储的关于顾客预定购买的商品的商品信息；对象物检测步骤，从通过摄像头摄像的图像，检测相当于商品的对象物；以及检验步骤，基于所述商品信息和所述对象物，对存在于所述摄像头的摄像范围内的商品和与所述商品信息对应的商品之间的一致进行检验。
根据这样的控制方法，能够基于顾客的操作，准确地登记视为预定购买的商品。
对于控制方法，在一种可能的实施方式中，还包括以下步骤：发送步骤，将基于所述检验步骤的检验结果发送给其他的电子设备。
根据这样的控制方法，能够使顾客一目了然检验结果。
对于控制方法，在一种可能的实施方式中，还包括以下步骤：检测步骤，检测包含存在于所述摄像头的摄像范围的商品的重量的变化，其中，在所述检验步骤中根据所述重量的变化进行检验。
根据这样的控制方法，能够对计量商品更效率地检验。
对于控制方法，在一种可能的实施方式中，还包括以下步骤：辨别步骤，基于所述商品信息，辨别不作为检验的对象的商品，其中，在所述检验步骤中对已通过所述辨别步骤辨别出的商品不进行检验。
根据这样的控制方法，能够效率地对需要检验商品进行检验。
本发明的第三实施例，提供了一种信息处理装置，包括：登记部，登记作为预定购买的商品的商品信息；发送部，向检验与所述商品信息对应的商品和预先确定的范围所存在的商品的一致的检验装置，发送所述商品信息；接收部，从所述检验装置接收基于所述商品信息的发送的检验结果；以及显示部，显示所述检验结果。
根据这样的构成，能够基于顾客的操作，准确地登记视为预定购买的商品。
本发明的第四实施例，提供了一种信息处理装置的控制方法，包括以下步骤登记步骤，登记作为预定购买的商品的商品信息；发送步骤，向检验与所述商品信息对应的商品和预先确定的范围所存在的商品的一致的检验装置，发送所述商品信息；接收步骤，从所述检验装置接收基于所述商品信息的发送的检验结果；以及显示步骤，显示所述检验结果。
根据这样的控制方法，能够基于顾客的操作，准确地登记视为预定购买的商品。
附图说明
下面，参照附图对实施例所涉及的检验装置及检验程序进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是概略地示出本实施例的系统的整体构成的系统构成图；
图2是表示本实施例中的电子设备的构成的框图；
图3是表示本实施例中的夹式终端的使用例的图；
图4是表示本实施例中的夹式终端的外观的图；
图5是用于说明本实施例中的电子设备的动作的流程图；
图6是用于说明本实施例中的夹式终端的动作的流程图；
图7是用于说明本实施例中的夹式终端的动作的流程图；
图8是表示本实施例中的商品检验列表的一例的图；
图9(a)、图9(b)和图9(c)是表示本实施例中的消息的一例的图；
图10是表示通过本实施例中的摄像头所摄像的图像的一例的图；
图11是表示相当于从图10所示的图像检测出的商品的对象物的一例的图；
图12是表示基于本实施例中的登记位置判定是否需要确认的登记位置判定位置处理的流程图；以及
图13是表示店铺内的商品架的配置和手推车的位置的一例的图。
附图标记说明
12店铺系统20a店铺服务器
20b夹式终端管理服务器30、40电子设备
50夹式终端(电子设备)50a处理器
50b存储器50c存储装置
50d触摸面板50e摄像头
50f通信模块50j读写器
60手推车601重量传感器
具体实施方式
以下，参照附图，对本实施例进行说明。
图1是概略地示出本实施例的系统的整体构成的系统构成图。图1所示的系统通过包含专用线路或互联网等的网络14连接有本部所设置的系统10、以及多个店铺的各个所设置的店铺系统12。
本部所设置的系统10设置有诸如本部系统10a、顾客系统10b、结算系统10c、促销系统10d等，且通过lan(localareanetwork：局域网)等的网络10e相互连接。
本部系统10a执行用于总括各店铺所设置的店铺系统等的处理。顾客系统10b对利用店铺系统进行商品的购入等的顾客进行管理。结算系统10c执行用于店铺系统中的顾客利用信用卡等的结算处理的处理(个人认证、信用结算等)。促销系统10d通过店铺系统，对用于向顾客(顾客所使用的电子设备)提供用于销售促销的商品的广告、店内引导等的信息进行管理。
店铺所设置的店铺系统12诸如作为pos(pointofsales：销售点)来实现。店铺系统12设置有诸如店铺服务器20a、夹式终端管理服务器20b、多个结账机20c、多个pos终端20d等，并通过lan等的网络20e相互连接。
店铺服务器20a控制店铺系统12的整体。店铺服务器20a存储有与在店铺内销售的商品相关的数据、诸如对应每个商品的商品代码、商品名称、单价、重量、在店铺内销售的商品位置(商品架的位置)、以及商品图像等的数据。在登记处理中，在从店铺服务器20a接收并存储与通过扫描商品而读取到的商品代码对应的商品的数据，而且能够生成用于结算处理的结算信息(包含金额、商品、件数等)。夹式终端管理服务器20b对用于检验通过顾客的操作作为预定购买利用电子设备(信息处理装置)30已登记的商品(购入商品)和作为预定购买装入手推车60或购物筐中的商品是否一致所使用的电子设备50(后述的夹式终端)进行管理。结账机20c对通过顾客的操作利用电子设备30已登记处理的商品执行结算处理。pos终端20d由店员的操作执行对顾客的购买商品的登记处理、对通过登记处理已登记的商品的结算处理等。
此外，店内所配线的网络20e连接有多个接入点(基站)20f。接入点20f通过诸如无线lan等与店内所使用的各种的电子设备进行无线通信。店内使用的电子设备包含例如顾客所使用的电子设备30、店员(工作人员)等所使用的电子设备40、例如在已安装在手推车60上的状态下所使用的电子设备50(后述的夹式终端50)。
电子设备30、40使用有例如智能手机、平板个人电脑(pc)等。电子设备30基于用于使用店铺系统12所提供的服务的应用程序(包含检验程序)，与电子设备50(夹式终端)协动，执行对预定购买的商品的登记处理、对已登记处理的商品(购买商品)和作为预定购买而装入手推车60或购物筐内的商品是否一致进行检验的个体检验处理。电子设备40基于用于对通过电子设备30已执行的登记处理进行确认的确认程序，执行用于使店员(工作人员)能够容易确认通过登记处理已登记的商品信息和装入到手推车60中的商品的一致的确认处理等。
电子设备30和电子设备50(夹式终端50)既可以通过夹式终端管理服务器20b(网络20e)进行通信，又可以通过直接、近距离无线通信进行通信。并且，也可以相互连接通信电缆，以使进行有线通信。
图2是表示本实施例中的电子设备30、50的构成的框图。图2所示的电子设备30诸如作为以通过智能手机来实现的例子进行说明。此外，电子设备50视为在店铺系统12中作为用于执行个体检验处理的专用的夹式终端50被构成。以下，作为夹式终端50进行说明。另外，夹式终端50也可通过在智能手机等的安装有摄像头的通用的设备(计算机)中安装检验程序来实现。
电子设备30设置有处理设备30a、存储器30b、存储装置30c、触摸面板30d、摄像头30e、通信模块30f、以及蓄电池30g。
处理器30a是通过执行存储器30b所记录的程序，为实现作为电子设备30的各种处理而控制各部的电路。
存储器30b除通过处理器30a所执行的程序外，也记录在处理器30a执行各种的处理时所使用的数据。存储器30b所记录的程序包含诸如执行对预定购买的商品的登记处理的登记处理程序、执行用于对已登记处理的商品(购买商品)和作为预定购买装入到手推车或购物筐中的商品是否一致进行检验的个体检验处理的检验程序。在存储器30b所存储的数据中，存储有基于在登记处理中读取到的商品代码生成的结算信息、与通过登记处理已登记的商品相关的商品信息等。
存储装置30c通过硬盘(hdd(harddiscdrive：硬盘驱动器))装置或ssd(solidstatedrive：固态硬盘)装置等来实现，记录处理器30a在进行各种的处理时所使用的数据、或者通过在处理器30a中的处理而生成的数据。
触摸面板30d是由顾客进行输入操作的设备，包含显示设备及触摸传感器。触摸面板30d随着处理器30a的处理，显示gui(graphicaluserinterface：图形用户界面)画面等的任意的画面。
摄像头30e在处理器30a的控制下摄像图像。
通信模块30f在处理器30a的控制下，控制与外部的电子设备的通信。通信模块30f能够控制与接入点20f的无线通信、与夹式终端50等的其他的电子设备的近距离无线通信等的通信。
夹式终端50设置有处理器50a、存储器50b、存储装置50c、触摸面板50d、摄像头50e、通信模块50f、蓄电池50g、i/o接口50h、以及读写器50j。
处理器50a是通过执行存储器50b所记录的程序，控制各部用于实现作为夹式终端50的各种处理的电路。
存储器50b除通过处理器50a所执行的程序外，也记录在处理器50a执行各种的处理时所使用的数据。存储器50b所记录的程序包含实现对已登记处理的商品(购买商品)和作为预定购买装入到手推车60或购物筐中的商品是否一致进行检验的个体检验处理的检验程序。检验程序包含实现从通过摄像头50e摄像的图像检测与商品符合的对象物，且检测商品被装入到手推车60中、以及从手推车60取出商品的情况的图像处理的图像处理程序。在存储器50b所存储的数据中，存储有通过电子设备30的登记处理已登记的商品信息、对通过图像处理被检测的对象物进行管理的对象物管理数据(参照图11)、用于检验装入到手推车60中的商品的商品检验列表(参照图8)等的各种数据。
存储装置50c通过硬盘装置(hdd(harddiscdrive：硬盘驱动器))或ssd(solidstatedrive：固态硬盘)装置等来实现，记录处理器50a在进行各种的处理时所使用的数据、或者通过在处理器50a中的处理而生成的数据。
触摸面板50d是由顾客进行输入操作的设备，包含显示设备及触摸传感器。触摸面板50d随着处理器50a的处理，显示gui(graphicaluserinterface：图形用户界面)画面等的任意的画面。
摄像头50e在处理器50a的控制下摄像图像。
通信模块50f在处理器50a的控制下，控制与外部的电子设备的通信。通信模块50f能够控制与接入点20f的无线通信、与电子设备30等的其他的电子设备的近距离无线通信等的通信。
i/o接口50h是用于输入来自外部设备的信号的接口，连接有诸如安装在手推车60的筐底部60c上的重量传感器601(计量器、感压器、重量计等)。重量传感器601检测装入到手推车60中的(载置)商品的重量，并输出检测信号。
读写器50j与安装在店铺内被销售的各商品或店铺内的商品架等上的rf(radiofrequency：射频)标签进行通信。读写器50j的通信范围为诸如与装入到手推车60中的商品的rf标签可通信的范围、或通过在店铺内使手推车60移动从而与安装在商品架上的rf标签可通信的范围。读写器50j能够用于检测在手推车60中装入或取出商品的情况，或者用于检测安装有夹式终端50的手推车60的店铺内的位置。
图3是表示在本实施例中的夹式终端50的使用例的图，图4是表示在本实施例中的夹式终端50的外观的图。
夹式终端50例如安装在店铺内所使用的手推车60的上部框架60b上被使用。如图4所示，夹式终端50设置有夹钳60k，并可任意安装卸下。因此，不需在店铺预先准备的全部的手推车60上预先安装夹式终端50，只在利用使用夹式终端50的个体检验处理的服务的顾客所使用的手推车60上，根据需要安装夹式终端50就可以。因此，为了实现个体检验处理的服务，不需要改造店铺、交换手推车60等大规模的投资，能够以低成本来实现。
图3所示的例子中，示出安装在手推车60的把手60a侧的上部框架60b的例子。在安装夹式终端50时，使夹式终端50所设置的摄像头50e朝向筐底部60c的方向，已至少可摄像装入到手推车60中的全部的商品的方式调整摄像范围。摄像头50e的摄像范围优选包含上部框架60b，在通过摄像头50e摄像的图像中，能够明确地区分筐的内外的区域。并且，摄像头50e的摄像范围优选可摄像诸如顾客的手腕(手)的动作，以使能够检测顾客存取商品的动作。
此外，如图4所示，夹式终端50通过安装在上部框架60b上，使得触摸面板50d的显示面朝向顾客侧。通过这样，容易确认通过摄像头50e摄像的图像、表示利用摄像的图像的个体检验处理的检验结果的信息(消息等)。
接着，对在本实施例的店铺系统12中所使用的电子设备30和夹式终端50(电子设备)的动作进行说明。图5是用于说明本实施例中的电子设备30的动作的流程图。图6及图7是用于说明本实施例中的夹式终端50的动作的流程图。
顾客在用电子设备30进行登记处理时，使用于利用店铺系统12所提供的服务的应用程序(检验程序)启动。以下，电子设备30的处理器30a基于应用程序，执行以下说明的登记处理及个体检验处理。
首先，电子设备30执行用于与店铺系统12连接的登录处理(act10)。在登录处理中，通过顾客的操作，使摄像头30e读取附在会员卡上的包含会员所固有的会员代码的条形码(摄像图像)。处理器30a从摄像头30e所读取的条形码提取会员代码，并发送给夹式终端管理服务器20b。夹式终端管理服务器20b基于从电子设备30接收到的会员代码，与在顾客系统10b中被管理的会员代码进行核对，并进行会员认证。
电子设备30当通知有通过夹式终端管理服务器20b已会员认证时，使在店铺内可利用的服务的选择画面显示。在店铺内可利用的服务中，除对预定购买的处理的登记处理外，也有宣传信息的显示、特价商品的引导显示、店铺引导(地图)显示、夹式终端50的利用等。通过利用夹式终端50，对诸如装入到手推车60中的商品，在未登记处理时，从夹式终端50输出信息。因此，顾客能够防止对预定购买的商品而忘记登记。此外，在顾客在店铺内挑选的期间，由于通过夹式终端50检验预定购买商品，所以能够减轻顾客的登记处理完成后的工作人员(店员)的确认工作的负担。
店铺系统12在顾客利用夹式终端50时，通过向顾客提供利益(积分等)(在顾客系统中存储表示对顾客的利益的数据)，也可以促使顾客使用夹式终端50。
在使用夹式终端50时，电子设备30和夹式终端50处于可通信的状态。例如，将夹式终端50安装在顾客所使用的手推车60上(或者使顾客使用预先安装有夹式终端50的手推车60)，设定顾客的电子设备30和夹式终端50的链接。例如，电子设备30和夹式终端50以通过近距离无线通信可通信的方式被配对。或者，使电子设备30读取夹式终端50的固有代码，从电子设备30向夹式终端管理服务器20b发送。夹式终端管理服务器20b进行协动，辨别执行个体检验处理的电子设备30和夹式终端50，并通过夹式终端管理服务器20b(网络20e)在电子设备30和夹式终端50之间能够通信。另外，电子设备30和夹式终端50之间的连接方法也可使用其他的方法。
电子设备30的处理器30a当与夹式终端50连接时(act11)，则处于可执行商品的登记处理的状态。此外，夹式终端50的处理器50a与电子设备30连接(act40)、开始商品检测处理。在商品检测处理中，是从通过摄像头50e摄像的图像检测相当于商品的对象物的处理。处理器50a通过现有的图像处理从摄像头50e所摄像的图像检测相当于商品的对象物，并存储各个对象物的位置。处理器50a例如在从相当于手推车的外部的区域(手推车外)检测有移动至手推车内部(手推车内)的对象物时，辨别为顾客进行用于存取商品的动作。基于存在于检测出该动作的前后的手推车内的对象物的变化，对装入或取出商品进行检测。此外，即使在检测出顾客的动作时，在相当于手推车内的商品的对象物的数量未变化时，辨别为例如顾客重新摆放手推车内的商品。处理器50a存储被重新摆放的对象物的位置。处理器50a使从通过摄像头50e所摄像的图像检测出的对象物存储在商品检验列表中。
图8是表示在本实施例中的商品检验列表的一例的图。如图8所示，在商品检验列表中，存储从摄像头50e摄像的图像检测出的对象物(检测对象物)的数据及通过在电子设备30中的登记处理已登记的商品的信息(登记商品)的数据、与表示检验商品和与检验对象物对应的商品一致的结果的数据(检验结果“ok”“ng”)对应的数据(例如，d1～d4)。
顾客在店内边挑选边对要购买的商品，用电子设备30的摄像头30e，通过扫描附在商品上的条形码进行商品登记(act12)。处理器30a从通过摄像头30e被摄像的图像检测条形码，并从条形码提取商品代码。处理器30a通过诸如夹式终端管理服务器20b(网络20e)从店铺服务器20a取得与商品代码对应的商品的信息，并显示在触摸面板30d上。也就是说，显示通过扫描商品读取到的商品的商品名称、价格、商品图像等，使顾客进行确认。在这里，当顾客进行商品登记的指示操作(诸如触摸触摸面板30d所显示的商品登记的按钮)时(act13的yes)，处理器30a将通过扫描商品读取到的商品存储作为预定购买的登记商品(act14)。此外，处理器30a将登记商品的信息发送给夹式终端50(act15)。
另一方面，夹式终端50当从电子设备30接收登记商品的信息时(act42的yes)，使登记商品的信息存储到商品检验列表中(act43)。处理器50a在参照登记商品的信息检测出是大型商品时，也就是在辨别为是不需装入到手推车60中(不装入)的商品时，在商品检验列表中置位跳过标志(act45)。在图8所示的例子中，作为数据d2，对应登记商品“商品c”置位有跳过标志。对置位有跳过标志的登记商品“商品c”，处理器50a从对登记商品和装入手推车60中的商品的一致进行检验的对象中去除。此外，处理器50a向电子设备30发送不需装入商品通知(act57)。
电子设备30的处理器30a当从夹式终端50接收不需装入商品通知时(act18的yes)，在触摸面板30d中，使向顾客通知不需将商品装入手推车60的消息与已登记的商品的信息(商品名称、商品图像、价格等)一起显示。另外，不需装入商品通知的消息不仅在电子设备30中显示，也可以在夹式终端50的触摸面板50d中显示。
另一方面，在登记商品不是大型商品时，处理器50a诸如通过网络20e从夹式终端管理服务器20b取得用于通过图像处理识别登记商品的商品词库数据。例如，处理器50a在未存储与登记商品对应的商品词库数据时，向夹式终端管理服务器20b输出与登记商品对应的商品词库数据的发送要求。夹式终端管理服务器20b根据来自夹式终端50的发送要求，向夹式终端50发送符合的商品的商品词库数据。另外，在电子设备30和夹式终端50通过夹式终端管理服务器20b进行通信时，夹式终端管理服务器20b在从电子设备30接收到登记商品的信息时，也可以将符合的商品的商品词库数据与登记商品的信息一起发送给夹式终端50。此外，商品词库数据也可以预先存储在夹式终端50中。
此外，当使登记商品存储到商品检验列表中时，处理器50a开始计时从存储该登记商品开始的经过时间。处理器50a在与登记商品对应的商品已装入手推车被确认之前，对经过时间是否已经过预先设定的时间进行辨别(act46)。
由顾客进行的预定购买的商品的处理大多是通过诸如从商品架拿起商品，用电子设备30扫描商品之后，载置在手推车60中的一连串的动作进行的。因此，在从扫描商品(在夹式终端50中存储登记商品)开始经过了预先设定的时间时，由于有已登记的商品忘记装入手推车60的可能性，所以能够通知给顾客。处理器50a在对登记商品辨别为经过时间经过了预先设定的时间时(act46的yes)，向电子设备30发送装入商品要求(act47)。
电子设备30的处理器30a当从夹式终端50接收装入商品要求时(act18的yes)，在触摸面板30d中，使督促顾客将商品装入手推车60中的装入商品要求消息与已登记的商品的信息(商品名称、商品图像、价格等)一起显示。例如，如图9(a)所示，显示“请将已登记的商品装入手推车”的消息。另外，装入商品要求消息不仅在电子设备30中显示，也可以在夹式终端50的触摸面板50d中显示。另外，在装入商品要求消息的对象的商品有多个时，也可以列表化并显示等视为对象的多个商品的信息，使顾客能够准确识别对象商品。
另一方面，夹式终端50的处理器50a通过对摄像头50e所摄像的图像的图像处理，在检测出顾客用于存取商品的动作时，基于存在于在检测出该动作的前后的手推车内的对象物的变化，对商品被装入、或取出进行检测。另外，处理器50a不仅基于图像检测商品的存取的动作，也能够组合通过在检测出该动作的定时中的重量传感器601所检测的重量的变化，来辨别商品的存取。
图10示出通过摄像头50e摄像的图像的一例。在图10所示的例子中，表示诸如三件商品a、b、e被装入手推车60的状态。
处理器50a从通过摄像头50e摄像的图像中，检测手推车60的上部框架60b的位置及筐底部60c的区域。由于夹式终端50固定在手推车60上，所以在挑选中，基本图像中的上部框架60b及筐底部60c的区域不变动。处理器50a以上部框架60b的位置为基准，诸如在从相当于手推车的外部的区域(手推车外)检测出有向手推车的内部(手推车内)移动的对象物时，辨别为顾客进行用于存取商品的动作。
此外，处理器50a通过现有的图像处理从摄像头50e所摄像的图像检测相当于商品等的对象物，并将各个对象物的位置存储作为对象物管理数据。
图11示出相当于从图10所示的图像检测出的商品的对象物oj-a、oj-b、oj-e的一例。处理器50a基于存在于顾客存取商品前后的手推车内的对象物的变化，检测商品被装入或取出商品的情况。
处理器50a当从图像检测出相当于商品的对象物时(act48的yes)，参照商品检验列表，对是否存储有检验结果“ng(不合格)”的登记商品进行辨别。也就是说，对是否有虽然通过电子设备30已商品登记、但对应的商品已装入手推车60中的情况未被确认的商品进行辨别。在这里，在存储有检验结果“ng”的登记商品时(act49的yes)，处理器50a用与检验结果“ng”的登记商品对应的商品词库数据，对从图像检测出的对象物执行识别处理(act52)。商品词库数据诸如基于附在商品上的条形码、包装的设计、文字等的特征，以能够识别商品的方式制成。
在这里，基于用商品词库数据的识别处理的处理结果，辨别从图像检测出的对象物是否是与商品词库数据对应的登记商品。例如，在表示对象物所表示的特征和商品词库数据所表示的特征超出预先设定的基准值的相似性时，辨别为是与商品词库数据对应的登记商品。
在这里，在已辨别为是登记商品时(act53的yes)，处理器50a使从图像检测出的对象物与和用于识别处理的商品词库数据对应的、事先在商品检验列表所存储的登记商品对应而作为检测对象物存储(act54)，另外，作为与检测对象物关联的数据，也可以存储表示在识别处理中的相似性(相似度)的数据等。通过这样，虽然辨别为是与商品词库数据对应的登记商品，但由于相似度低，能够在结算处理之前促使工作人员确认商品。
此外，处理器50a置位与登记商品和检测对象物的组对应的检验结果“ok”(act55)，存储登记商品已装入手推车60中已确认。这时，处理器50a向电子设备30发送商品装入确认(act56)。
电子设备30当从夹式终端50接收商品装入确认时(act20的yes)，在显示有装入商品要求消息时，从触摸面板30d消除该消息(act28)。通过这样，能够将通过夹式终端50确认登记商品已装入手推车60中的情况通知给顾客。
另外，在商品检验列表中，在检验结果“ng”的登记商品有多个时，处理器50a用各个登记商品的商品词库数据，对对象物执行识别处理。此外，对于通过识别处理未辨别为是登记商品的对象物(act53的no)，处理器50a作为商品未登记的检测对象物，作为检验结果“ng”存储到商品检验列表中(act50)。此外，在从图像检测出对象物时(act48的yes)，在未存储有检验结果“ng”的登记商品时(act49的no)，处理器50a同样作为商品未登记的检测对象物，使检验结果“ng”存储到商品检验列表中(act50)。
图8所示的数据d3表示对于商品c在电子设备30中为已登记，但置位检验结果“ng”，商品装入到手推车60中未被确认。此外，数据d4表示通过未登记的商品e、f先装入到手推车60中，作为对象物e、f分别被检测(检验结果“ng”)。
处理器50a在使商品未登记的检测对象物(检验结果“ng”)存储到商品检验列表中时(act50)，向电子设备30发送登记商品要求(act51)。电子设备30的处理器30a从夹式终端50接收登记商品要求(act21的yes)，在触摸面板30d中，显示督促顾客进行商品登记的商品登记要求消息。例如，如图9(b)所示，显示“手推车中有未登记的商品。请进行商品登记”的商品登记要求消息。另外，商品登记要求消息不仅在电子设备30中显示，也可以在夹式终端50的触摸面板50d中显示(act22)。
另外，如上所述，在触摸面板50d中被显示的商品登记要求消息在已商品登记之后，基于用该登记的商品的商品词库数据的识别处理，在商品被装入手推车60中已确认时(act49～51)，被消去(act20、28)。
另一方面，在对作为预定购买已登记的商品进行退货时，顾客与商品登记时同样，对视为退货对象的商品，用电子设备30的摄像头30e扫描附在商品上的条形码(act12)。处理器30a从通过摄像头30e摄像的图像检测条形码，从条形码提取商品代码。处理器30a使触摸面板30d显示与商品代码对应的商品的信息(商品名称、价格、商品图像等)，使顾客确认视为退货对象的商品。在这里，当顾客指示操作取消商品(例如，触摸触摸面板30d所显示的商品取消的按钮)时(act13的no)，处理器30a从预定购买中删除通过扫描商品读取的商品(act16)。此外，处理器30a将登记取消的通知和视为取消(退货)的对象的商品的信息一起发送给夹式终端50(act17)。
夹式终端50当从电子设备30接收登记取消的通知时(act60的yes)，基于取消对象的商品的信息从商品检验列表辨别符合的登记商品(act61)，并删除该登记商品的信息(act62)。处理器50a将取消完成的通知发送给电子设备30(act63)。电子设备30在接收到取消完成的通知时(act25的yes)，在显示有装入商品要求消息时，消去装入商品要求消息(act28)。例如，电子设备30如上所述，在商品已登记处理后，在商品不装入手推车60中而经过了规定时间时，显示装入商品要求消息。通过顾客对已登记处理的商品进行商品取消的操作，电子设备30消去对符合的商品的装入商品要求消息。
另外，在装入手推车60中的商品被顾客取出时，夹式终端50的处理器50a基于通过摄像头50e所摄像的图像，辨别顾客用于存取商品的动作，通过现有的图像处理检测与已取出的商品对应的对象物。另外，与在商品被装入时检测对象物同样，与通过重量传感器601被检测的重量的变化组合，也能够对取出商品进行辨别。
处理器50a在检测出对象物(商品)被取出到手推车60的外边时(act64的yes)，对与该检测出的对象物对应的登记商品是否被存储到商品登记列表中(检验结果“ok”)进行辨别。在这里，在对应的登记商品未存储时(act65的no)，处理器50a从商品检验列表删除与已取出的商品对应的检测对象物(act68)。
另一方面，在存储有对应的登记商品时(act65的yes)，处理器50a将商品取消要求发送给电子设备30(act66)。此外，处理器50a对与已取出的商品对应的检测对象物，置位检验结果“ng”(act67)。
电子设备30的处理器30a当从夹式终端50接收商品取消要求时(act23的yes)，在触摸面板30d中，显示督促顾客进行商品的取消操作的商品取消要求消息(act24)。例如，如图9(c)所示，显示(从手推车取出商品。在退货时请进行退货操作)的商品取消要求消息。另外，商品取消要求消息不仅在电子设备30中显示，也在夹式终端50的触摸面板50d中显示。
另外，在从手推车60取出商品时，虽然立刻更新商品检验列表所存储的数据，但也可以在经过了预先规定的设定时间(诸如10秒)后，为商品的取消(退货)的可能性高更新数据。这时，对于商品取消要求消息，与商品的取出对应，既可以立刻使电子设备30显示，又可以在经过了设定时间后显示。
这样，顾客将夹式终端50安装在手推车60上，并利用电子设备30通过边登记处理边挑选，即使忘记登记预定购买的商品、商品忘记装入手推车，也能够通过电子设备30所显示的消息容易地确认。
顾客当对预定购买的商品完成登记处理时，例如，通过操作小计按钮指示商品登记的结束。电子设备30的处理器30a当顾客指示商品登记结束时(act26的yes)，显示已登记的商品的确认画面(商品列表)，并且使顾客指示结算方法(信用、现金、开户账户、电子货币等)。处理器30a基于通过登记处理已登记的商品的信息，生成结算信息。
结算方法不仅限于信用卡、现金等传统的支付方式，也可以是微信支付、支付宝支付、百度钱包支付等的扫码支付，也可以是applepay、nfc(近距离通信)支付、扫描支付、支付圈、财付通、盛付通、银联、一网通支付等，或者未来出现的新的支付手段，关于结算支付方法，这里没有特别限定，只要是能够支付货款或服务费用就可以。
此外，电子设备30的处理器30a向夹式终端50发送登记处理结束的通知(act27)。夹式终端50的处理器50a当从电子设备30接收登记处理结束的通知时(act69的yes)，将商品检验列表的数据发送给电子设备30(act70)。在该数据中，也包含诸如表示识别检测对象物时的相似度的数据等。处理器50a在发送商品检验列表的数据后，清除商品检验列表的数据并结束处理(act71)。
另外，在指示有登记处理的结束时，在商品检验列表所存储的数据中残留有检验结果“ng”的数据时，使电子设备30的触摸面板30d(夹式终端50的触摸面板50d)重新显示督促顾客确认的消息。
当顾客指示最终的确认的指示时，电子设备30的处理器30a使触摸面板30d显示结算信息和包含商品检验列表所包含的督促工作人员确认的数据的代码(条形码或二维代码)。
工作人员利用电子设备40的摄像头，扫描电子设备30的触摸面板30d所显示的代码。电子设备40显示代码所包含的结算信息及与确认所需的数据对应的确认画面。例如，在电子设备40中，显示顾客已进行登记处理的预定购买的商品的一览(包含商品名称、价格、小计金额等)和商品件数等。通过这样，工作人员能够确认装入到手推车60中的商品和登记商品是否一致。并且，电子设备40基于确认所需的数据，清楚显示诸如在夹式终端50的识别处理中与相似度低的检测对象物对应的商品。通过这样，对于工作人员来说，尤其能够容易地识别确认所需的商品，能够减轻确认工作的负担。
另外，在上述的说明中，虽然对利用夹式终端50中的图像处理，对登记商品和装入手推车60中的商品的一致进行检验的例子进行了说明，但也可以利用通过重量传感器601检测的商品的重量进行检验。例如，在关于从店铺服务器20a提供的商品的数据中，由于包含有商品的重量的数据，所以在商品被装入到手推车60中时增加的重量基于与登记商品的重量在容许范围内是否一致，能够进行检验。尤其对于因重量而价格不同的计量商品，利用通过重量传感器601检测的重量的数据进行正确检验时为有效。例如，通过重量少的商品进行登记处理后，能够确认比同类的登记商品重的商品装入手推车60中的错误等。在商品检验列表中，在有计量商品时、并且在登记商品的重量和装入手推车60时的重量之间的差比设定值大时，存储表示需要确认的数据。通过这样，如上所述，对于工作人员来说，尤其能够识别需要确认的情况。
并且，在上述的说明中，虽然对通过登记处理已登记的商品和装入手推车60中的商品的一致进行检验，但也可利用夹式终端50进行关于其他的商品登记的检验。例如，也可以在电子设备30中的商品登记的定时或夹式终端50检测出商品(对象物)的定时中的店铺内的位置和放置有对象商品的店铺内的商品架的位置(商品位置)之间的差异比预先设定的判定值大时，判定为需要确认。
图12是表示基于本实施例中的登记位置，判定是否需要确认的登记位置判定处理的流程图。夹式终端50的处理器50a基于检验程序，执行登记位置判定处理。另外，登记位置判定处理是与上述的个体检验处理并行执行的处理。
处理器50a从电子设备30接收已登记处理的商品的商品信息(act80的yes)，或在辨别出检测对象物与哪个登记商品对应时(检验结果“ok”)(act81的yes)，对当前位置进行检测(act82)。当前位置能够通过诸如读写器50j与附在店铺内的商品架的各个上的rf标签进行通信来检测。
图13是表示店铺内的商品架70-1～70-5的配置和手推车60的位置的一例的图。安装在手推车60上的夹式终端50通过基于读写器50j的有限的范围内的通信，在与安装在商品架70-5上的rf标签72-5能够通信时，能够辨别为处于商品架70-5的附近。另外，手推车60(夹式终端50)的当前位置的检测不仅用读写器50j(rf标签)的方法，也可以用通信模块50f和多个的接入点20f之间的电波强度的不同、检测对摄像店铺内的图像的手推车的图像处理等的方法。
处理器50a当检测当前位置时，通过诸如店铺服务器20a或电子设备30取得表示下次销售登记商品的商品位置(商品架的位置)的数据(act83)。处理器50a对当其位置和商品位置(商品架的位置)之间的差异是否比预先设定的判定值大进行判定(act84)。例如，在图13所示的商品架70-1中被配置的商品74在商品架70-5的附近位置登记处理、或装入手推车60中时，顾客进行与通常不同的动作判定为需要确认(act85的yes)。夹式终端50使对应商品检验列表的符合的登记商品和与检测对象物对应的数据存储确认数据。通过这样，如上所述，对工作人员来说，尤其能够容易地识别需要确认的情况。
根据以上说明的至少一个实施例，通过利用夹式终端50，检验通过电子设备30的登记处理所登记的商品信息和与通过夹式终端50所检测的存取在手推车60中的商品对应的检测对象物符合的商品的一致。根据该检验结果，由于能够适宜显示督促顾客确认的消息，所以使顾客可靠地进行预定购买的商品的登记操作。
虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
此外，虽然在上述实施例中记载的处理作为使计算机能够执行的程序预先组装到各装置所具备的存储介质(rom、存储部)而提供。但不限于此。诸如可以用可安装的形式或可执行的形式的文件记录在cd-rom(compactdiscreadonlymemory：只读光盘)、软磁盘(fd)、cd-r(compactdisc-recordable：刻录光盘)、dvd(digitalversatiledisc：数字多功能光盘)等计算机可读的记录介质中而提供。并且，存储介质不限于与计算机或嵌入式系统独立的介质，也包含下载并存储或暂时存储通过lan、网络等传送的程序的存储介质。
在本发明中，提供了一种终端设备，包括：处理器、存储器、接口和总线，所述处理器、所述存储器和所述接口通过所述总线完成相互间的通信，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行如上述的控制方法所对应的操作。通过这样，能够实现能够减轻操作者的负担的功能。
本发明的一个或多个实施例可以被实施为计算机可读记录介质，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读记录介质上。计算机可读记录介质可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。
本发明的计算机可读记录介质，存储有检验程序，该程序使计算机具有以下各部的功能：接收部，从电子设备接收在所述电子设备中所存储的关于顾客预定购买的商品的商品信息；对象物检测部，从通过摄像头摄像的图像，检测相当于商品的对象物；以及检验部，基于所述商品信息和所述对象物，对存在于所述摄像头的摄像范围内的商品和与所述商品信息对应的商品之间的一致进行检验。
此外，本发明的计算机可读记录介质，存储有检验程序，该程序使计算机具有以下各部的功能：登记部，登记作为预定购买的商品的商品信息；发送部，向检验与所述商品信息对应的商品和预先确定的范围所存在的商品的一致的检验装置，发送所述商品信息；接收部，从所述检验装置接收基于所述商品信息的发送的检验结果；以及显示部，显示所述检验结果。