信息处理装置及其控制方法、终端设备与流程

本申请主张申请日为2016年05月26日、申请号为jp2016-105576的日本申请为优先权，并引用上述申请的内容，优先权的内容视为全部记载在本申请中。

本发明的实施例涉及一种信息处理装置及其控制方法、终端设备。

背景技术：

目前，有关于根据比较从已摄像的图像数据提取的对象物品的特征量和预先存储的核对用的特征量的相似度，识别物品的种类等的一般物体识别(目标识别)的技术。

通过一般物体识别来识别对象物品的信息处理装置在相似度比阈值低时等，为了防止一般物体识别的错误，要求从成为候选的物品选择对象物品。不过，有信息处理装置的操作者将向摄像部对准的对象物品放置在商品载置台等时忘记了想识别的对象物品的情况，存在从成为候选的商品不能选择对象物品的情况。这时，操作者必须重新进行对象物品的一般物体识别，对于信息处理装置的操作性有改善的余地。

技术实现要素：

鉴于上述问题，本发明所要解决的技术问题是，提供一种信息处理装置及其控制方法、终端设备，能够对根据一般物体识别的对象物品的识别所涉及的操作使操作性提高。

为解决上述问题，本发明的一实施例，提供了一种信息处理装置，该信息处理装置包括检测部、提取部、显示控制部、以及操作控制部。检测部，检测摄像部摄像的图像数据包含的物品；提取部，对于所述检测部检测出的所述物品，基于从所述图像数据提取的该物品的特征量和核对用的各种物品的所述特征量之间的相似度，提取与所述摄像部摄像的所述物品符合的所述物品的候选；显示控制部，使所述摄像部摄像的所述图像数据和所述提取部提取的所述候选显示；操作控制部，接受用于选择所述显示控制部所显示的所述候选的操作；其中，所述显示控制部以在所述操作控制部未接受所述操作的状态下所述检测部变得不能检测出所述物品为条件，使所述检测部检测出所述物品的其他的所述图像数据显示，代替所述图像数据。

根据这样的构成，能够对根据一般物体识别的对象物品的识别所涉及的操作使操作性提高。

对于信息处理装置，在一种可能的实施方式中，所述提取部基于从一个或多个的所述图像数据的各个提取的所述物品的所述特征量和核对用的各种物品的所述特征量之间的一个或多个的所述相似度，提取与所述摄像部摄像的所述物品符合的所述物品的候选；所述显示控制部以在所述操作控制部未接受所述操作的状态下所述检测部变得不能检测出所述物品为条件，使所述检测部检测出所述物品后的其他的所述图像数据显示一个或多个。

根据这样的构成，能够通过相似度提取所述物品的候选，并在候选不被选择时显示检测部检测出的其他的一个或多个所述图像数据。

对于信息处理装置，在一种可能的实施方式中，所述显示控制部以在所述操作控制部未接受所述操作的状态下所述检测部变得不能检测出所述物品为条件，在所述检测部检测出所述物品后的其他的所述图像数据中，使计算出与所述候选之间最高的所述相似度的所述图像数据显示。

根据这样的构成，能够使顾客便于选择检测部检测出的其他的物品。

对于信息处理装置，在一种可能的实施方式中，所述显示控制部以在所述操作控制部未接受所述操作的状态下所述检测部变得不能检测出所述物品为条件，使实施了易于操作者识别所述图像数据所包含的所述物品的加工的该图像数据显示，代替所述图像数据。

根据这样的构成，能够进一步使顾客便于选择物品。

对于信息处理装置，在一种可能的实施方式中，所述显示控制部以在所述操作控制部未接受所述操作的状态下所述检测部变得不能检测出所述物品为条件，使信息与所述图像数据一起显示，代替所述图像数据，其中，所述信息用于请求从所述提取部提取的所述候选中选择符合的所述物品。

根据这样的构成，通过使所述图像数据和信息一起显示，顾客能够更容易选择出符合的所述物品。

本发明的另一实施例，提供了一种基于信息处理装置的控制方法，包括以下步骤：检测步骤，检测摄像部摄像的图像数据包含的物品；提取步骤，对于在所述检测步骤中检测出的所述物品，基于从所述图像数据提取的该物品的特征量和核对用的各种物品的所述特征量之间的相似度，提取与所述摄像部摄像的所述物品符合的所述物品的候选；显示控制步骤，使所述摄像部摄像的所述图像数据和在所述提取步骤中提取的所述候选显示；以及操作控制步骤，接受选择在所述显示控制步骤中所显示的所述候选的操作。其中，在所述显示控制步骤中，以在所述操作控制步骤中未接受所述操作的状态下在所述检测步骤中变得不能检测出所述物品为条件，使在所述检测步骤中检测出所述物品的其他的所述图像数据显示，代替所述图像数据。

根据这样的控制方法，能够对根据一般物体识别的对象物品的识别所涉及的操作使操作性提高。

对于控制方法，在一种可能的实施方式中，在所述提取步骤中，基于从一个或多个的所述图像数据的各个提取的所述物品的所述特征量和核对用的各种物品的所述特征量的一个或多个的所述相似度，提取与所述摄像部摄像的所述物品符合的所述物品的候选，在所述显示控制步骤中，在所述操作控制部未接受所述操作的状态下，以在所述检测步骤中未检测出所述物品为条件，使在所述检测步骤中检测出所述物品的其他的所述图像数据一个或多个显示。

根据这样的控制方法，能够通过相似度提取所述物品的候选，并在候选不被选择时显示检测部检测出的其他的一个或多个所述图像数据。

对于控制方法，在一种可能的实施方式中，在所述显示控制步骤中，以在所述操作控制步骤中未接受所述操作的状态下在所述检测步骤中变得不能检测出所述物品为条件，在所述检测步骤中检测出所述物品的其他的所述图像数据中，使计算出有与所述候选之间最高所述相似度的所述图像数据显示。

根据这样的控制方法，能够使顾客便于选择检测部检测出的其他的物品。

对于控制方法，在一种可能的实施方式中，在所述显示控制步骤中，以在所述操作控制步骤中未接受所述操作的状态下在所述检测步骤中变得不能检测出所述物品为条件，使计算出与所述候选之间最高的所述相似度的所述图像数据显示。

根据这样的控制方法，能够进一步使顾客便于选择物品。

本发明的第三实施例，提供了一种终端设备，包括处理器和存储器，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。

根据这样的构成，能够对根据一般物体识别的对象物品的识别所涉及的操作使操作性提高。

附图说明

下面，参照附图对实施例所涉及的信息处理装置及程序、终端设备进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示实施例所涉及的结账系统的一例的立体图；

图2是表示pos终端及商品读取装置的硬件构成的一例的框图；

图3是表示plu文件的数据构成的一例的说明图；

图4是表示pos终端所具有的特征的功能构成的框图；

图5是表示图像数据表的数据构成的一例的说明图；

图6是表示商品登记画面的一例的说明图；

图7是表示切换显示的一部分的商品登记画面的一例的说明图；

图8是表示实施例的pos终端所执行的商品登记处理的一例的流程图；

图9是表示自助pos的构成的一例的立体图；以及

图10是表示自助pos终端的硬件构成的一例的框图。

附图标记说明

10登记装置20结账装置

31第一摄像头32第二摄像头

40管理服务器411信息接收部

412特征提取部413登记处理部

414核对处理部415结账处判定部

416注销处理部t1管理表

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

下面，参照附图对本发明所涉及的信息处理装置及程序的实施例进行详细说明。在以下所说明的实施例是信息处理装置及程序的一实施例，其构成、方法等不限于此。本实施例是应用于百货商店等的店铺的结账系统的适用例。

图1是表示实施例所涉及的结账系统1的一例的立体图。结账系统1包括读取关于商品的信息的商品读取装置101、进行一交易所涉及的商品的登记、结账的pos(pointofsale：销售点)终端11。下面，对将pos终端11作为本实施例所涉及的信息处理装置适用的例子进行说明。此外，作为一般物体识别的对象的物品的一例，对对象物品是商品的情况进行说明，但对象物品也可以是商品以外的物品。

pos终端11被载置在结账台41上的钱箱21的上面。钱箱21由pos终端11控制打开动作。pos终端11在上表面具有被操作者(店员)操作的键盘22。pos终端11从对键盘进行操作的操作者来看在键盘22的里面侧，具有向操作者显示各种信息的第一显示装置23。第一显示装置23具备接受各种操作的触摸面板26。pos终端11在第一显示装置23的更里面侧具备可旋转地竖着设置的第二显示装置24。图1所示的第二显示装置24虽然朝向图1中的跟前侧，但通过使其向图1中的里面侧旋转，向顾客显示各种信息。

横长桌子状的柜台151以与载置有pos终端11的结账台41形成为l字的方式被配置。柜台151载置有收纳商品的购物筐153。另外，购物筐153不限于是所谓筐形状，也可以是托盘等。此外，购物筐153也可以是箱状、袋状等。购物筐153有顾客拿入的第一购物筐154和与第一购物筐154隔着商品读取装置101的位置被载置的第二购物筐155。

柜台151设置有与pos终端11可数据发送接收地连接的商品读取装置101。商品读取装置101内置在薄型矩形形状的机箱102内。机箱102在正面具有读取窗103。机箱102在上部安装有显示操作部104。

显示操作部104具有在表面层积有触摸面板105的第一显示装置106。商品读取装置101在第一显示装置106的右侧具有键盘107。商品读取装置101在键盘107的右侧具有读卡器111(参照图2)的卡读取槽108。商品读取装置101从操作者来看在显示操作部104的里面左侧具备向顾客提供信息的第二显示装置109。

商品读取装置101在机箱102的内部具备商品读取部110(参照图2)。商品读取部110在读取窗103的里侧具备摄像部164(参照图2)。

第一购物筐154收纳有一交易所涉及的商品。对商品读取装置101进行操作的操作者将第一购物筐154内的商品移动到第二购物筐155中。操作者在该移动过程中，将商品对准商品读取装置101的读取窗103。这时，配置在读取窗103内的摄像部164(参照图2)摄像商品。

图2是表示pos终端11及商品读取装置101的硬件构成的一例的框图。pos终端11包括cpu(centralprocessingunit：中央处理器)61、rom(readonlymemory：只读存储器)62、ram(randomaccessmemory：随机存取存储器)63、存储部64、通信接口65、键盘22、第一显示装置23、触摸面板26、第二显示装置24、连接接口66、钱箱21、以及打印机67。cpu61、rom62、ram63、存储部64、通信接口65、键盘22、第一显示装置23、触摸面板26、第二显示装置24、连接接口66、钱箱21、以及打印机67通过总线被连接。

cpu61总括地控制pos终端11的动作。rom62存储各种程序、数据。ram63暂时地存储各种程序、且改写自如地存储各种数据。此外，ram63存储后述的图像数据表72。另外，图像数据表72不限于存储在ram63中，既可以存储到存储部64等的其他的存储介质中，又可以存储到店服务器等的其他的设备中。

键盘22具备操作pos终端11的各种键。

存储部64是hdd(harddiskdrive：硬盘驱动器)、ssd(solidstatedrive：固态硬盘)等的非易失性的存储装置。存储部64存储控制程序70和plu文件71。另外，plu文件71不限于存储在存储部64中，既可以存储在其他的存储介质中，又可以存储在店服务器等的其他的设备中。

控制程序70是操作系统、或使pos终端11所具备的功能发挥的程序。控制程序70包含有使本实施例所涉及的特征功能发挥的程序。

plu文件71是对店铺所陈列并销售的各种商品的各个，存储商品的销售登记所涉及的信息的商品文件。在这里，图3是表示plu文件71的数据构成的一例的说明图。plu文件71对应每个商品关联并存储商品代码、商品信息、插图图像、以及核对用特征量。商品代码是可识别商品的识别信息。商品信息是商品所属的商品分类、商品名称、单价等的信息。插图图像是表示其商品的图像。核对用特征量是参数化商品的标准的形状、表面的颜色、图案、凹凸状况等的外观的特征的数据。而且，核对用特征量是用于判定后述的相似度的核对用的数据。

返回到图2，pos终端11的cpu61连接有通信接口65。通信接口65是用于通过网络，与店服务器等的外部设备进行通信的接口。

连接接口66是用于与商品读取装置101连接的接口。打印机67将一交易中的交易内容打印到票据用纸上。

在这里，票据并不特别被限定，例如，票据也可以是打印有可以开具电子发票的二维码或者提取码等的票据。

商品读取装置101的商品读取部110包括cpu161、rom162、ram163、摄像部164、声音输出部165、以及连接接口175。cpu161、rom162、ram163、摄像部164、声音输出部165、以及连接接口175通过总线被连接。

cpu161总括地控制商品读取装置101的动作。rom162存储各种程序、数据。ram163暂时地存储各种程序、且改写自如地存储各种数据。

摄像部164包括彩色ccd图像传感器、彩色cmos图像传感器等的图像传感器(未图示)和led等的光源(未图示)。而且，摄像部164在cpu161的控制下，从读取窗103的内部进行摄像。例如，摄像部164以30fps(framepersecond：帧每秒)等的帧速率摄像图像数据。摄像部164将依次摄像的图像数据保存到ram163中。

声音输出部165是用于发生预先设定的警告音等的声音电路和扬声器等。声音输出部165在cpu161的控制下，进行警告音、声音的告知。

连接接口175是用于与pos终端11及显示操作部104连接的接口。

商品读取装置101的显示操作部104包括连接接口176、键盘107、第一显示装置106、触摸面板105、第二显示装置109、以及读卡器111。连接接口176、键盘107、第一显示装置106、触摸面板105、第二显示装置109、以及读卡器111通过总线被连接。

连接接口176是用于与pos终端11及商品读取装置110连接的接口。

读卡器111是执行读取用于信用卡等的结算的卡的存储介质所存储的信息的装置。读卡器111执行读取插入到卡读取槽108中的卡的存储介质所存储的信息。

显示操作部104由商品读取部110的cpu161或pos终端11的cpu61控制动作。

接着，对pos终端11所具有的特征功能进行说明。在这里，图4是表示pos终端11所具有的特征功能的框图。cpu61将存储部64的控制程序70展开到ram63中，并通过按照控制程序70进行动作，将图4所示的各功能部生成在ram63中。具体地说，cpu61作为功能部，包括图像取得部611、商品检测部612、特征量提取部613、相似度计算部614、存储控制部615、商品识别部616、商品登记部617、显示控制部618、以及操作控制部619。

图像取得部611向商品读取装置101输出摄像要求，并使摄像部164开始摄像动作。摄像部164将依次摄像的图像数据存储到ram163中。商品读取装置101将被存储到ram163中的图像数据，依次输出给pos终端11的图像取得部611。而且，图像取得部611依次接受摄像部164所摄像的图像数据的输入。

作为检测部(检测步骤)的商品检测部612检测图像取得部611接受的图像数据所包含的商品。例如，商品检测部612用图案匹配技术等检测图像数据所包含的商品的全部或一部分。具体地说，商品检测部612从二值化图像数据的图像提取轮廓线等。商品检测部612基于从预先存储的图像数据提取的轮廓线和从检测对象的图像数据提取的轮廓线的差分，检测商品。在这里，预先存储的图像数据是摄像部164摄像未包含有商品等的背景的图像数据。因此，商品检测部612以检测对象的图像数据包含有商品为条件，能够从检测对象的图像数据提取的轮廓线检测出从预先存储的图像数据提取的轮廓线没有的轮廓线。而且，商品检测部612基于从预先存储的图像数据提取的轮廓线没有的轮廓线，检测商品。

此外，商品检测部612从图像取得部611接受的图像数据检测商品出界的情况。也就是说，商品检测部612从图像取得部611接受的图像数据检测出未包含有商品的情况。例如，商品检测部612基于从预先存储的图像数据提取的轮廓线和从检测对象的图像数据提取的轮廓线的差分，检测商品出界的情况。此外，商品检测部612也可以通过亮度检测商品出界的情况。在这里，在商品不位于摄像部164的光源的附近、也就是读取窗103的附近时，摄像部164摄像的图像数据的亮度为低的值。另一方面，通过将想要识别的商品接近读取窗103，由于来自光源的光经商品反射，所以摄像部164摄像的图像数据的亮度为高的值。商品检测部612以亮度为规定的基准值以上为条件，判定为图像数据包含有商品。另一方面，商品检测部612以亮度为不足规定的基准值为条件，判定为图像数据不包含有商品。

特征量提取部613提取商品检测部612从摄像部164摄像的图像数据检测出的商品的颜色、表面的凹凸状况等的表面的状态作为特征量。

相似度计算部614通过对登记在plu文件71中的商品的核对用特征量和特征量提取部613提取的商品的特征量进行比较，计算出与登记在plu文件71中的商品的各个的相似度。在这里，相似度在将存储在plu文件71中的商品的核对用特征量为100％＝“相似度：1.0”时，是表示商品的全部或一部分是哪种程度相似的数据。另外，相似度计算部614也可以例如在颜色和表面的凹凸状况中改变加权计算出相似度。

对这样在图像中包含的物体进行识别的情况被称为一般物体识别(genericobjectrecognition：通用对象识别)。关于这样的一般物体识别，在下面的文献中解说各种识别技术。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，vol.48，no.sig16[平成22年8月10日検索]，インターネット<url:http://mm.cs.uec.ac.jp/ipsj-tcvim-yanai.pdf>(柳井启司，“一般物体识别的现状与未来”，信息处理学会论文志，vol.48，no.sig16“2010年8月10日检索”，互联网＜url：http：//mm.cs.uec.ac.jp/ipsj-tcvim-yanai.pdf＞)

此外，通过对应每个对象物对图像进行区域分割，进行一般物体识别的技术在下述的文献中被说明。

jamieshottonら，“semantictextonforestsforimagecategorizationandsegmentation”，[平成22年8月10日検索]，インターネット<url:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>(jamieshottonら(杰米肖顿等人)，“semantictextonforestsforimagecategorizationandsegmentation：”，“2010年8月10日检索”，互联网＜url：http：//citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf＞)

另外，登记在plu文件71中的各种商品的核对用特征量和特征量提取部613提取的商品的特征量的相似度的计算方法尤其不限。例如，相似度计算部614既可以将登记在plu文件71中的各种商品的核对用特征量和特征量提取部613提取的商品的特征量的相似度作为绝对评价计算出，又可以作为相对评价计算出。

存储控制部615使摄像部164摄像的图像数据等存储到图像数据表72中。在这里，图5是表示图像数据表72的数据构成的一例的说明图。图像数据表72关联并一个或多个存储识别号码、图像数据、特征量、相似度、以及商品代码。识别号码是能够识别图像数据表72所存储的信息的识别信息。图像数据是图像取得部611接受的图像数据。也就是说，图像数据是用于图像数据包含的商品的一般物体识别的图像数据。特征量是对于关联的图像数据包含的商品，特征量提取部613提取的特征量。相似度是关联的图像数据包含的商品的特征量和登记在plu文件71中的各种商品的核对用特征量的相似度中最高的相似度。商品代码是相似度最高的商品的商品代码。而且，存储控制部615以销售登记有商品为条件，删除存储到图像数据表72中的图像数据等。另外，存储控制部615不限于将图像数据、特征量、相似度、商品代码存储在同一数据表中，也可以存储在各自不同的数据表中。

返回到图4，商品识别部616基于存储在图像数据表72中的相似度，从plu文件71提取与图像数据包含的商品符合的商品的商品信息。也就是说，商品识别部616提取摄像部164摄像的商品的商品信息。在本实施例中，商品识别部616根据图像数据表72所存储的相似度，分为确定商品、商品候选、不能识别的阶段进行提取。另外，根据相似度的分类区分是一例，也可以是根据其他的方法分类区分。

商品识别部616作为第一条件，对在图像数据表72中关于同一商品是否登记有规定个数以上大于等于第一阈值的相似度进行判定。商品识别部616以满足第一条件为条件，从plu文件71提取与商品检测部612检测出的商品符合的商品作为确定商品。而且，商品识别部616从plu文件71提取确定商品的商品信息。确定商品就是表示不论操作者的确认操作，基于图像数据表72存储的相似度，表示可自动登记的商品。自动登记就是不要求操作者的确认操作，将确定商品作为销售对象的商品进行销售登记的处理。

此外，商品识别部616以未满足第一条件为条件，作为第二条件，对在图像数据表72中关于同一商品是否登记规定个数以上大于等于第二阈值的相似度进行判定。另外，第二阈值为比第一阈值低的值。作为提取部(提取步骤)的商品识别部616以满足第二条件为条件，从plu文件71提取与商品检测部612检测出的商品符合的一个或多个商品作为候选商品。而且，商品识别部616从plu文件71提取候选商品的商品的信息。候选商品是基于图像数据表72存储的相似度，表示是与商品检测部612检测出的商品符合的商品的候选。也就是说，候选商品是表示摄像部164摄像的商品的候选。而且，候选商品通过操作者从一个或多个候选商品选择符合的商品等的确认操作，销售登记作为销售对象的商品。通过这样的构成，能够通过相似度提取所述物品的候选，并在候选不被选择时显示检测部检测出的其他的一个或多个所述图像数据。

此外，商品识别部616以未满足第二条件为条件，判定为不能识别。商品识别部616以判定为不能识别为条件，从plu文件71不提取商品信息。

商品登记部617将被指定的商品作为销售对象的商品进行销售登记。也就是说，商品登记部617销售登记销售对象的商品的商品信息。商品登记部617在商品识别部616判定为确定商品时，将符合的商品作为销售对象的商品进行销售登记。此外，商品登记部617在商品识别部616作为候选商品提取时，将从候选商品选择的商品作为销售对象的商品进行销售登记。另外，商品登记部617即使在摄像部164等读取码符号等时，将通过码符号所示的商品代码被指定的商品作为销售对象的商品进行销售登记。

显示控制部618控制第一显示装置23、第二显示装置24、第一显示装置106、以及第二显示装置109的全部或一部分，并使其显示各种画面。例如，显示控制部618使第一显示装置106显示商品登记画面1000。在这里，图6是表示商品登记画面1000的一例的说明图。商品登记画面1000包括摄像图像显示区域1100、候选商品显示区域1200、以及登记画面按钮1300。摄像图像显示区域1100是显示图像取得部611接受输入的图像数据的区域。也就是说，摄像图像显示区域1100是显示摄像部164摄像的图像数据的显示区域。而且，显示控制部618在从商品识别部616提取的候选商品未选择有商品的状态下，以商品检测部612从图像数据检测出商品为条件，使其依次显示摄像部164摄像的图像数据。候选商品显示区域1200是显示商品识别部616提取的候选商品的商品的区域。候选商品显示区域1200包括用于从候选商品选择作为销售对象的商品进行销售登记的商品的商品登记按钮1201。登记画面按钮1300是通过按下从商品一览选择的商品的按钮，使其显示销售登记销售对象的商品的登记画面的按钮。

作为显示控制部(显示控制步骤)的显示控制部618在从商品识别部616提取的候选商品未选择有进行销售登记的商品的状态下，以商品出界为条件，切换商品登记画面1000的全部或一部分的显示。例如，显示控制部618在摄像图像显示区域1100中，使其显示图像数据表72存储的其他的图像数据代替摄像部164摄像的图像数据。也就是说，显示控制部618以商品检测部612从图像数据未检测出商品为条件，使其显示图像数据表72存储的图像数据。

显示控制部618在摄像图像显示区域1100中，使其显示图像数据表72存储的图像数据的全部或一部分。例如，显示控制部618使图像数据表72存储的图像数据的全部或一部分作为视频(活动画面)显示。此外，显示控制部618排列并显示缩小图像数据表72存储的图像数据的全部或一部分的图像。此外，显示控制部618使其显示从图像数据表72存储的图像数据中选择出的图像数据。具体地说，显示控制部618使在图像数据表72存储的一个或多个的图像数据中最高相似度的图像数据显示。此外，显示控制部618使其显示在图像数据表72中最初、最后或中间存储的图像数据。通过这样的构成，能够使顾客便于选择检测部检测出的其他的物品。

此外，显示控制部618使摄像图像显示区域1100显示施加操作者易于识别图像数据表72存储的图像数据包含的商品的加工的图像数据。例如，显示控制部618使其显示在图像数据表72存储的图像数据中，放大摄像有商品检测部612检测出的商品的区域的图像数据。此外，显示控制部618使其显示在图像数据表72存储的图像数据中，变换图像数据的亮度、对比度易于观看的图像数据。通过这样的构成，能够进一步使顾客便于选择物品。

此外，显示控制部618使对图像数据表72存储的图像数据附加文字、图形等的图像数据显示在摄像图像显示区域1100中。例如，显示控制部618在图像数据表72存储的图像数据中，使表示摄像有商品检测部612检测出的商品的区域的图形、信息显示在图像数据中。或者，显示控制部618使要求操作者选择符合的商品的信息等与图像数据一起显示。或者，显示控制部618使根据当前正在显示的图像数据计算出的相似度，显示在图像数据表72存储的图像数据中。通过这样的构成，通过使所述图像数据和信息一起显示，顾客能够更容易选择出符合的所述物品。

在这里，图7是表示切换显示的一部分的商品登记画面1000的一例的说明图。图7所示的商品登记画面1000的摄像图像显示区域1100显示的图像数据施加有放大摄像有商品检测部612检测出的商品的区域的加工。而且，摄像图像显示区域1100显示的图像数据附加有表示摄像商品的区域的线和“对象商品”的信息。而且，摄像图像显示区域1100显示的图像数据附加有“请选择符合的商品”的信息。而且，摄像图像显示区域1100显示的图像数据附加有根据图像数据计算出的相似度“相似度：81％”。

返回到图4，操作控制部619控制键盘22、触摸面板26、触摸面板105、以及键盘107的全部或一部分，并接受各种操作。例如，操作控制部619接受选择显示控制部618在商品登记画面1000中显示的候选商品的操作。也就是说，操作控制部619接受商品登记画面1000的商品登记按钮1201被按下的操作。

接着，对pos终端11执行的商品登记处理进行说明。在这里，图8是表示实施例的pos终端11所执行的商品登记处理的一例的流程图。

首先，pos终端11的显示控制部618使商品登记画面1000显示(步骤s1)。

接着，pos终端11的图像取得部611要求商品读取部110的摄像部164开始摄像(步骤s2)。接着，pos终端11的图像取得部611从商品读取部110接受摄像部164依次摄像的图像数据的输入(步骤s3)。

接着，pos终端11的商品检测部612对图像数据中是否包含有商品进行判定(步骤s4)。在图像数据未包含有商品时(步骤s4的no)，pos终端11的商品检测部612过渡到步骤s15。另一方面，在图像数据包含有商品时(步骤s4的yes)，pos终端11的显示控制部618使被输入的图像数据依次显示在商品登记画面1000的摄像图像显示区域1100中(步骤s5)。

接着，pos终端11的特征量提取部613提取商品检测部612检测出的商品的特征量(步骤s6)。接着，pos终端11的相似度计算部614对特征量提取部613提取的特征量和plu文件71的各商品的核对用特征量进行比较，并计算出对应每个商品的相似度(步骤s7)。接着，pos终端11的存储控制部615使相似度、特征量、图像数据、相似度最高的商品的商品代码存储到图像数据表72中(步骤s8)。

接着，pos终端11的商品识别部616将与图像数据包含的商品符合的商品作为确定商品，并对从plu文件71能否提取进行判定(步骤s9)。

以作为确定商品能够提取为条件(步骤s9的yes)，pos终端11的商品登记部617将提取的确定商品作为销售对象的商品进行销售登记(步骤s10)。而且，pos终端11结束商品登记处理。

一方面，以作为确定商品不能提取为条件(步骤s9的no)，pos终端11的商品识别部616将与图像数据包含的商品符合的商品作为候选商品，并对从plu文件71能否提取进行判定(步骤s11)。在以作为候选商品不能提取为条件(步骤s11的no)，pos终端11过渡到步骤s3。

另一方面，以作为候选商品能够提取为条件(步骤s11的yes)，pos终端11的显示控制部618在候选商品显示区域1200中显示销售登记已提取的候选商品的商品登记按钮1201(步骤s12)。

接着，pos终端11的商品登记部617对商品登记按钮1201是否被按下进行判定(步骤s13)。以商品登记按钮1201未被按下为条件(步骤s13的no)，pos终端11过渡到步骤s3。

另一方面，以商品登记按钮1201被按下为条件(步骤s13的yes)，pos终端11的商品登记部617将与商品登记按钮1201关联的商品作为销售对象的商品进行销售登记(步骤s14)。

接着，pos终端11的存储控制部615删除图像数据表72存储的图像数据等的各种信息(步骤s15)。而且，pos终端11结束商品登记处理。

在步骤s4中，在图像数据未包含有商品时(步骤s4的no)，pos终端11的显示控制部618对商品识别部616是否已提取候选商品进行判定(步骤s16)。以商品识别部616已提取候选商品为条件(s16的yes)，pos终端11的显示控制部618使图像数据表72存储的图像数据的全部或一部分显示在摄像图像显示区域1100中(步骤s17)。而且，pos终端11过渡到步骤s9。

另一方面，以商品识别部616未提取候选商品为条件(步骤s16的no)，pos终端11的显示控制部618使被输入的图像数据依次显示在商品登记画面1000的摄像图像显示区域1100中(步骤18)。而且，pos终端11过渡到步骤s9。

通过以上，pos终端11结束商品登记处理。

如上所述，根据本实施例所涉及的pos终端11，商品识别部616提取与摄像部164摄像的图像数据所包含的商品符合的商品的候选商品。而且，显示控制部618以在从商品识别部616提取的候选商品中选择摄像部164摄像的商品之前商品出界为条件，使图像数据表72存储的图像数据显示在摄像图像显示区域1100中。使其显示用于商品识别部616提取候选商品的图像数据。也就是说，pos终端11以商品未对准摄像部164为条件，使商品检测部612检测出商品的其他的图像数据显示在商品登记画面1000中。因此，即使在操作者忘了向摄像部164对准的商品时，也能够通过参照被显示的图像数据，选择与对准的商品符合的候选商品。因此，本实施例所涉及的pos终端11对于根据一般物体识别的对象物品的识别所涉及的操作，能够使操作性提高。

通过这样的构成，能够对根据一般物体识别的对象物品的识别所涉及的操作使操作性提高。

本发明提供一种终端设备，包括处理器和存储器，所述存储器存储至少一可执行指令，所述可执行指令使所述处理器执行上述的控制方法所对应的操作。

根据这样的构成，能够实现对根据一般物体识别的对象物品的识别所涉及的操作使操作性提高的功能。

以上，虽然对本发明的实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、代替、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

此外，在上述实施例中，将pos终端11适用于具有特征功能(图像取得部611、商品检测部612、特征量提取部613、相似度计算部614、存储控制部615、商品识别部616、商品登记部617、显示控制部618、以及操作控制部619)的信息处理装置。但不限于此，也可以将商品读取装置101适用于具有特征功能(图像取得部611、商品检测部612、特征量提取部613、相似度计算部614、存储控制部615、商品识别部616、商品登记部617、显示控制部618、以及操作控制部619)的信息处理装置。并且，这些特征的功能也可以分散给pos终端11及商品读取装置101。

此外，在上述实施例中，虽然将核对用数据作为特征量进行了说明，但核对用数据也可以作为被摄像的商品图像(基准图像)。

此外，在上述实施例中，适用于包括pos终端11和商品读取装置101的结账系统1。但不限于此，也可以适用于包括pos终端11和商品读取装置101的功能的一体构成的装置。关于包括pos终端11和商品读取装置101的功能的一体构成的装置，列举有设置在百货商店等的店铺中使用的自助结账装置(以下只称为自助pos)。

在这里，图9是表示自助pos200的构成的一例的立体图。图10是表示自助pos200的硬件构成的一例的框图。并且，以下对图1及图2所示的同样的构成，附加同一符号并省略其重复的说明。如图9及图10所示，自助pos200的主体202包括在表面配置有触摸面板105的第一显示装置106、为了识别(检测)商品的种类等而读取商品图像的商品读取部110。

第一显示装置106诸如是液晶显示器。第一显示装置106显示商品登记画面1000。而且，第一显示装置106以商品出界为条件，切换商品登记画面1000的全部或一部分的显示。例如，第一显示装置106在摄像图像显示区域1000中，显示图像数据表72所存储的图像数据代替摄像部164摄像的图像数据。或者，第一显示装置106显示用于向顾客告知自助pos200的操作方法的引导画面、各种的输入画面、以及显示通过商品读取部110读取的商品信息的登记画面。或者，第一显示装置106显示商品的合计金额、预存金额、找零金额等，并显示选择支付方法的结账画面等。

商品读取部110通过顾客将附在商品上的码符号对准商品读取部110的读取窗103，由摄像部164读取商品图像。

此外，自助pos200在主体202的右侧，具备用于放置装入筐里的未结账的商品的商品载置台203。自助pos200在主体202的左侧，具备用于放置已结账的商品的商品载置台204。商品载置台204包括挂用于装入已结账的商品的袋的挂钩205、以及在将已结账的商品装入袋之前用于暂时地放置的暂时放置台206。商品载置台203、204各自具有计量器207、208，具有对在结账的前后商品的重量相同进行确认的功能。

此外，自助pos200的主体202具备用于进行存入结账用的纸币、接受纸币找零的找零机201。

在将这样构成的自助pos200适用于结账系统1时，自助pos200具有信息处理装置的功能。

虽然在上述实施例、变形例的各装置中执行的程序预先组装到各装置所具备的存储介质(rom或存储部)中，但不限于此。也可以是以可安装的形式或者可执行的形式的文件记录在cd-rom、软磁盘(fd)、cd-r、dvd(digitalversatiledisc：数字多功能光盘)等计算机可读的存储介质中而提供。而且，存储介质不限于计算机或与组装系统分开的介质，也包含将通过lan、互联网等传递的程序下载并存储或暂时存储的存储介质。

此外，既可以将在上述实施例、变形例的各装置中被执行的程序存储到与互联网等的网络连接的计算机上，并通过网络下载而提供，又可以是经由互联网等的网络而提供或配置。