结账支付装置和结账支付系统的制作方法

1.本发明涉及用于识别用户从卖场内的商品中选择的商品并对该商品进行结账和支付的结账支付装置和结账支付系统。


背景技术：

2.在诸如便利店和超市等的大多数零售店中，当顾客在结账柜台处购买商品(以下也简称为“(一个或多于一个)物品”)时，店员操作pos终端以输入与顾客所拿来的商品有关的信息。然后，在pos终端向顾客呈现物品的总支付金额之后，店员进行用于接受顾客的支付的支付(结算)操作。近年来，提出了用于使店员的这样的操作自动化的各种技术。
3.用于这样的店员操作自动化的已知技术包括如下的装置，该装置被配置为通过物体识别(图像识别)技术来识别顾客所要购买的商品，获取并登记与所识别的物品有关的信息，并使得顾客能够对这些商品进行支付(专利文献1)。在这种情况下，店员仅需要进行诸如对触摸屏显示器上所显示的拍摄按钮的操作等的一些简单操作，这样使得不需要店员输入与顾客所要购买的商品有关的信息。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2016-173657


技术实现要素：

7.发明要解决的问题
8.近年来，越来越多的零售店(诸如便利店等)已引入了所谓的自助结账系统，其使得顾客(购物者)能够在没有店员的情况下对要购买的商品进行结账。上述的现有技术的装置是安装在商店中的人工结账柜台处的结账支付装置。当用于通过物体识别来识别要购买的商品的该现有技术被采用到自助结账支付装置中时，变得可以使得不需要顾客输入与要购买的商品有关的信息，这提高了顾客的便利性。
9.此外，不仅在诸如便利店和超市等的零售店处，而且在位于诸如办公楼和车站等的设施中的小型商店(售货亭)处，都需要这样的自助结账支付装置。在后者情况下，优选自助结账支付装置具有小的占用空间且可以容易地安装在诸如小型售货亭等的小空间处。然而，通常包括位于拍摄台上方的摄像头和设置在拍摄台的侧方的触摸屏显示器的现有技术的结账支付装置涉及整个装置的大小变得又大又笨重的问题，并且没有考虑对节省空间的设计的需求。
10.在被制成小型且节省空间的结账支付装置的情况下，当用户用手操作触摸屏显示器时，用户的手变得有可能进入物体识别所使用的摄像头的拍摄区域，由此改变摄像头所拍摄到的图像，这可能导致该装置通过物体识别错误地识别物品或无法识别物品。此外，在用户操作显示器时，用户的手对拍摄图像的这样的干扰可能导致在触摸屏显示器中显示的物品识别结果的不自然(不适当)变化，这使用户对装置的操作感到不协调；也就是说，感觉
装置有问题。由于该原因，在结账支付装置被制成小型化且节省空间的情况下，需要仔细地设计该装置使得不会引起对商品的图像识别的干扰。
11.本发明是考虑到现有技术的这样的问题而做出的，并且主要目的是提供被配置为通过物体识别来识别要购买的物品并使得用户能够操作触摸屏显示器以购买该物品的结账支付装置和结账支付系统，其在被配置为避免干扰物体识别的同时，可以被制成节省空间且容易安装在小型商店中。
12.用于解决问题的方案
13.本发明的一方面提供一种结账支付装置，用于识别用户从卖场内的商品中选择的商品并对所述商品进行结账和支付，所述结账支付装置包括：放置部，其中用户可以将要购买的商品放置在所述放置部上；触摸屏显示器，其被布置成隔着所述放置部与用户相对；摄像头装置，用于拍摄所述放置部上的商品的图像；以及控制器，其被配置为基于所述摄像头装置所获取到的商品的图像来进行用于识别用户所要购买的商品的物品识别操作，并将物品识别结果显示在所述触摸屏显示器上，所述物品识别结果是所述物品识别操作的结果，其中，所述控制器被配置为：开始确认等待时间，在所述确认等待时间期间，所述控制器继续进行所述物品识别操作，所述确认等待时间至少包括用户进行用于确认所述物品识别结果的操作所需的时间；以及随后转变到所述控制器接受用户所提供的用于支付执行的指示的状态。
14.本发明的另一方面提供一种结账支付系统，其包括：上述的结账支付装置，其中所述摄像头装置包括：第一摄像头，其被配置为拍摄所述放置部上的商品的图像，以及第二摄像头，其被配置为拍摄用户的面部图像，其中，在接收到用户的用于支付执行的指示时，所述控制器基于所述第二摄像头所拍摄的用户的面部图像来进行用于面部识别的操作；以及服务器装置，其经由网络连接到所述结账支付装置，其中，所述服务器装置被配置为基于所述第二摄像头所拍摄到的用户的面部图像来进行用于面部识别的操作。
15.发明的效果
16.根据本发明，由于触摸屏显示器被布置成隔着放置部与用户相对，因此该装置具有小的占地空间，并且可以容易地安装在不具有装置的安装所用的大空间的小型商店(售货亭)处。此外，该装置使用用户可以进行用于确认物品识别结果的操作的确认等待时间，这防止了在用户对显示器的操作期间发生触摸屏显示器中显示的物品识别结果的不适当变化，并且避免了由于结果的不适当变化而使用户对装置的操作感到不协调。
附图说明
17.图1是示出根据本发明一个实施例的结账支付系统的整体配置的图；
18.图2是结账柜台1的整体外观的立体图；
19.图3是结账柜台1的主要部分的侧视图；
20.图4是从上方看到的结账柜台1的顶板部33的平面图；
21.图5是示出结账柜台1的示意结构的框图；
22.图6是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
23.图7是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
24.图8是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
25.图9是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
26.图10是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
27.图11是示出在结账柜台1的触摸屏显示器45上显示的画面的说明图；
28.图12是示出结账柜台1的确认等待时间和非使用状态的说明图；
29.图13是示出在结账柜台1的触摸屏显示器45上显示的数字小键盘133的键布局的变化的示例的说明图；
30.图14是示出用户登记时的用户终端11的操作的操作过程的流程图；
31.图15是示出结账柜台1的操作的操作过程的流程图；以及
32.图16是示出结账柜台1的操作的操作过程的流程图。
具体实施方式
33.为了实现上述目的而做出的本发明的第一方面是提供一种结账支付装置，用于识别用户从卖场内的商品中选择的商品并对所述商品进行结账和支付，所述结账支付装置包括：放置部，其中用户可以将要购买的商品放置在所述放置部上；触摸屏显示器，其被布置成隔着所述放置部与用户相对；摄像头装置，用于拍摄所述放置部上的商品的图像；以及控制器，其被配置为基于所述摄像头装置所获取到的商品的图像来进行用于识别用户所要购买的商品的物品识别操作，并将物品识别结果显示在所述触摸屏显示器上，所述物品识别结果是所述物品识别操作的结果，其中，所述控制器被配置为：开始确认等待时间，在所述确认等待时间期间，所述控制器继续进行所述物品识别操作，所述确认等待时间至少包括用户进行用于确认所述物品识别结果的操作所需的时间；以及随后转变到所述控制器接受用户所提供的用于支付执行的指示的状态。
34.在该配置中，由于触摸屏显示器被布置成隔着放置部与用户相对，因此该装置具有小的占用空间，并且可以容易地安装在不具有装置的安装所用的大空间的小型商店(售货亭)处。此外，该装置使用用户可以进行用于确认物品识别结果的操作的确认等待时间，这防止了在用户对显示器的操作期间发生触摸屏显示器中显示的物品识别结果的不适当变化，并且避免了由于该不适当变化而使用户对装置的操作感到不协调。
35.本发明的第二方面是第一方面的结账支付装置，其中，所述确认等待时间是预先确定的时间，以及其中，在经过了所述确认等待时间的情况下，所述控制器在将用户所确认的物品识别结果显示在所述触摸屏显示器上的同时接受用户的用于支付执行的指示，之后转变到非使用状态，其中在所述非使用状态中，所述控制器不允许所述物品识别结果反映在针对所述商品的结账和支付的操作中。
36.该配置可以防止在用户的提供用于支付执行的指示所用的操作期间发生物品识别结果的变化，并且避免基于错误的识别结果来进行结账和支付。在非使用状态下，控制器可以控制该装置，使得该装置暂时停止进行物品识别操作以及结账和支付所用的操作，或者使得该装置在不允许将物品识别结果和结账操作结果反映在结账和支付所用的操作中的同时，继续进行物品识别操作以及结账和支付所用的操作。
37.本发明的第三方面是第一方面的结账支付装置，其中，所述摄像头装置包括：第一摄像头，其被配置为拍摄所述放置部上的商品的图像；以及第二摄像头，其被配置为拍摄用户的面部图像，其中，所述控制器在接收到用户的用于支付执行的指示时，基于所述第二摄
像头所拍摄到的用户的面部图像来进行用于面部识别的操作。
38.该配置可以在节省用户的任何附加操作的同时准确地辨识用户。
39.本发明的第四方面是第一方面的结账支付装置，其中，所述控制器使用所述触摸屏显示器来显示尚未确认的物品识别结果、以及用户能够操作以确认物品识别结果的操作接口。
40.该配置使得用户能够操作触摸屏显示器以由此确认物品识别结果。在其他情况下，该装置可以被配置为使用户能够使用语音输入来确认物品识别结果。
41.本发明的第五方面是第一方面的结账支付装置，其中，在所述确认等待时间期间，所述控制器提供视觉引导，所述视觉引导用于促使用户将用户的手从所述触摸屏显示器移开。
42.该配置可以促使用户将用户的手从触摸屏显示器移开，从而使得该装置能够快速转变到用户的手不存在于用于拍摄商品的图像的摄像头装置的拍摄区域中的状态。
43.本发明的第六方面是第一方面的结账支付装置，其中，所述控制器使用所述触摸屏显示器来显示用户已确认的物品识别结果、以及用户能够操作以提供用于支付执行的指示的操作接口。
44.该配置使得用户能够操作触摸屏显示器以由此提供用于支付执行的指示。在其他情况下，该装置可以被配置成使得用户可以使用语音输入来提供用于支付执行的指示。
45.本发明的第七方面是一种结账支付系统，包括：第三方面的结账支付装置；以及服务器装置，其经由网络连接到所述结账支付装置，其中，所述服务器装置被配置为基于所述第二摄像头所拍摄到的用户的面部图像来进行用于面部识别的操作。
46.在该配置中，以与第一方面相同的方式，被配置为通过物体识别来识别要购买的物品并使得用户能够操作触摸屏显示器以购买该物品的系统在被配置为避免干扰物体识别的同时，可以被制成节省空间且容易安装在小型商店中。
47.以下将参考附图来说明本发明的实施例。
48.(实施例)
49.图1是示出根据本发明一个实施例的结账支付系统的整体配置的图。
50.结账支付系统被配置为安装在诸如办公楼或车站等的设施中的小型商店(售货亭)处，并且使得能够在无需商店中的店员或收银员的情况下对顾客所购买的商品进行结账和结算(支付)。该结账支付系统不仅可以用于商店中不存在店员或收银员的无人商店，而且可以用于有人商店以由此减轻店员的负担。
51.该结账支付系统包括安装在商店中的结账柜台1(结账支付装置)、用户终端11、支付服务器12、用户管理服务器13、物品数据服务器14以及面部识别服务器15(服务器装置)、数据库服务器16和数据分析服务器17。
52.用户终端11、支付服务器12、用户管理服务器13、物品数据服务器14、面部识别服务器15、数据库服务器16、数据分析服务器17和商店中所安装的结账柜台1经由诸如因特网和/或lan等的网络彼此连接。
53.用户管理服务器13、物品数据服务器14、面部识别服务器15、数据库服务器16和数据分析服务器17可以位于商店中(例如，位于靠近卖场的后场中)。然而，这些服务器可以设置在远离商店的场所(例如，商店运营商的总部)。
54.结账柜台1被配置为识别用户从商店的卖场内的商品中选择的商品，并对该商品进行结账和结算(支付)。在本实施例中，结账柜台1基于商品的图像通过物体识别来辨识商品(物品识别操作)，并且根据各商品的价格(单价)和数量来计算总支付金额(结账操作)。另外，结账柜台1请求面部识别服务器15进行面部识别操作(面部识别所用的操作)，以识别要购买商品的用户，并且当面部识别成功完成时，结账柜台1请求支付服务器12进行支付操作(结账和支付所用的操作)。
55.用户终端11被配置为进行与用户使用系统所需的用户登记(用户的会员信息和面部图像的登记)相关的操作，并且管理购买历史(收据信息)。用户终端11可以是智能电话、平板终端或任何合适的移动装置，并且存储安装在其上的用户所用的一些应用。
56.支付服务器12由支付服务提供商(诸如信用卡公司等)运营。支付服务器12响应于来自结账柜台1的支付请求而进行用于对用户所购买的商品进行支付的支付操作。支付服务器12可以是由支付代理服务提供商(支付代理服务器)运营的支付服务器。
57.用户管理服务器13用作用于管理用户的登录的登录服务器，并且进行口令识别(即，口令认证)所用的操作。用户管理服务器13还用作将结账柜台1链接到支付服务器12的支付接口服务器。
58.物品数据服务器14通过使用诸如深度学习技术等的机器学习技术来构建要安装在结账柜台1中的商品识别引擎。物品数据服务器14通过使用要登记的物品的先前拍摄图像作为输入数据并且还使用包括各物品的物品id数据的物品id信息(诸如物品的名称等)作为输出数据执行机器学习算法，来创建商品识别所用的数据库。
59.面部识别服务器15具有面部管理服务器25和面部匹配服务器26。面部管理服务器25存储并管理各登记用户的诸如姓名和面部信息(面部id、面部图像)等的用户数据。面部匹配服务器26响应于来自结账柜台1的面部识别的请求而进行面部识别操作。在该面部识别操作中，面部识别服务器15从结账柜台1获取对象人物的面部图像，从该面部图像生成对象人物的面部特征量，通过将该对象人物的面部特征量与面部识别服务器中所存储的相应登记者(登记用户)的各面部特征量进行比较以供匹配来进行面部匹配操作，并且将该对象人物识别为登记者(1对n识别)。可替代地，面部识别服务器15可以获取用户管理服务器13所管理的商店访问者列表，并将所存储的数据缩小到商店访问者列表，之后进行面部识别操作。
60.数据库服务器16存储并管理各种类型的信息。具体地，数据库服务器存储用户数据库中所登记的用户管理信息，诸如各用户的支付id、面部id、用户id、口令和局名代码等。数据库服务器存储物品管理所用的数据库中所登记的物品主信息，诸如物品id信息(例如，物品名称和物品代码)等。物品管理所用的数据库还包括与年龄限制物品有关的信息。数据库服务器还存储购买日志数据库中所登记的购买日志信息(例如，各用户的用户id、各购买物品的名称和价格)。
61.数据分析服务器17基于数据库服务器16中所存储的信息记录来进行各种分析操作。具体地，数据分析服务器17根据各访问者用户是否购买了一个或多于一个商品来进行分析操作。例如，所记录的分析结果可用于针对按某个标准(诸如星期几、一天中的时间等)选择的各群组来确定购买者和非购买者的比例。
62.在本实施例中，假设该系统用在如下的小型商店(售货亭)中，其中在该小型商店
(售货亭)中，在商店周围不存在隔板，并且用户可以自由地进入和离开商店，并从展示架自由地取出商品并购买它们。然而，在其他情况下，该系统可以用在安装所用的空间中具有入口门或检查器(面部识别机器)的商店中。例如，入口检查器进行面部识别操作以判断是否许可用户进入商店，并且根据入口检查器处的面部识别结果来控制入口门的打开和关闭，而商店出口检查器进行面部识别操作以检测到用户离开了商店，并且根据出口处的面部识别结果来控制商店出口门的打开和关闭。此外，在商店具有额外的安装空间的情况下，可以在商店中安装用户登记机，由此使得访问者用户能够以与用户终端11类似的方式进行用户登记操作。
63.接着，将说明结账柜台1。图2是结账柜台1的整体外观的立体图。图3是结账柜台1的主要部分的侧视图。图4是从上方看到的结账柜台1的顶板部33的平面图。
64.如图2所示，结账柜台1包括主体31，该主体31主要包括箱状部32、顶板部33、上壁部34和后壁部35。顶板部33位于箱状部32的上侧。后壁部35被设置成从箱状部32的后侧向上突出。上壁部34被设置成从后壁部35的上端向前突出以具有檐状形状。
65.顶板部33设置有用户可以放置要购买的商品(从卖场内的物品中选择的物品)的放置部37。当用户将商品并排放置在放置部37上时，系统通过物体识别来识别放置部上的物品，并通过根据各物品的单价计算要支付的总金额来进行结账操作。放置部37具有凹入的碟状形状，使得用户可以容易地掌握用于放置物品的区域。
66.在上壁部34上设置有物品拍摄用摄像头41(第一摄像头)。物品拍摄用摄像头41拍摄顶板部33的放置部37上的商品。在一些情况下，结账柜台1可以包括多个物品拍摄用摄像头41，在这种情况下，优选地，一个摄像头41设置在放置部上方的位置处以从正上方拍摄放置部37上的物品的图像，使得该拍摄图像用于检测放置部37上的各物品的位置，而另一摄像头41设置在不同的位置处以拍摄从斜上方看到的放置部37上的物品的图像，使得该拍摄图像用于识别放置部37上的各物品(确定各物品的名称)。
67.此外，在上壁部34上设置有投影仪42。投影仪42使用投影映射技术将预定图像从放置部的正上方投影到放置部37上。在本实施例中，如图4所示，投影仪42投影包围放置部37上的各物品的框图像55。特别地，各框图像55被投影成包围通过物品识别所辨识的相应物品。这可以向用户通知通过物品识别已辨识的物品。用户仅需要更换或重新布置无法辨识的物品。
68.参考图2，在上壁部34上设置有灯43。灯43对放置部37上的物品进行照明。该特征可以提高物品识别操作的识别准确度。
69.在后壁部35上设置有触摸屏显示器45(显示器)。触摸屏显示器45显示物品识别结果(也就是说，放置部37上的辨识出的物品)。当确认了在物品识别结果中没有错误时，用户可以进行与面部识别和口令识别相关联的操作。当在物品识别结果中发现错误时，用户可以进行用以更正已被错误识别的物品的操作。
70.在后壁部35上设置有面部识别用摄像头46(第二摄像头)。面部识别用摄像头46设置在触摸屏显示器45附近以面向站在结账柜台1前面的用户。因此，面部识别用摄像头可以从正面拍摄观看触摸屏显示器45的用户的面部。将面部识别用摄像头46所拍摄到的面部图像用于支付所用的面部识别。
71.另外，在后壁部35上设置有扬声器47。扬声器47输出针对当前用户的语音。例如，
扬声器47输出音频引导以向用户通知操作过程。
72.在后壁部35上还设置有麦克风48。麦克风48拾取当前用户所说出的语音。例如，用户可以通过读出(说出)在触摸屏显示器45上所显示的供操作用的接口(诸如按钮等)上显示的文字来操作该接口。
73.箱状部32设置有前侧开放的第一储存部51(架部)和前侧由门53闭合的第二储存部52。第一储存部51储存免费提供给用户并且用户可以带一个回家的免费物品。免费物品的示例包括购物袋和餐具(例如，勺子、叉子)。第二储存部52容纳用于控制物品拍摄用摄像头41、触摸屏显示器45和面部识别用摄像头46的控制设备54(pc)。
74.如图3所示，物品拍摄用摄像头41安装在上壁部34上以面向放置部37并且从上方拍摄放置部37上的物品。在使用中，当用户使用户的手靠近触摸屏显示器45以操作触摸屏显示器45时，用户的手进入物品拍摄用摄像头41的拍摄区域。
75.另一方面，结账柜台1基于物品拍摄用摄像头41所拍摄到的图像来进行用于识别放置部37上的物品的物品识别操作。因此，拍摄图像中的用户对触摸屏显示器45的操作可能会干扰物品识别操作，由此错误地识别或无法识别放置部上的一些物品。
76.此外，结账柜台1将物品识别结果(物品识别操作的识别结果)显示在触摸屏显示器45上。特别地，系统通常在实时地更新触摸屏显示器45上显示的物品识别结果的同时定期地进行物品识别操作。因此，用户对触摸屏显示器45的操作可能导致触摸屏显示器上显示的物品识别结果的不适当变化，并且这样的变化使用户对装置的操作感到不协调。特别地，在用户进行用以提供支付执行(结算)的指示的操作的情况下，物品识别结果的这样的不适当改变可能导致基于错误的物品识别结果来进行支付的问题。
77.根据该观点，本实施例的结账支付系统可以防止在触摸屏显示器45中显示的物品识别结果中发生不适当的变化，并且避免由于不适当的变化而使用户对装置的操作感到不协调。该系统还被配置为避免基于错误的物品识别结果来进行结账和支付。
78.接着，将说明结账柜台1的示意配置。图5是示出结账柜台1的示意配置的框图。
79.结账柜台1除了包括物品拍摄用摄像头41、投影仪42、灯43、触摸屏显示器45、面部识别用摄像头46、扬声器47和麦克风48(参见图2和图3)之外，还包括通信装置61、存储装置62和控制装置63。控制设备54主要由通信装置61、存储装置62和控制装置63(参见图2)组成。
80.通信装置61经由网络与支付服务器12、用户管理服务器13、物品数据服务器14和面部识别服务器15进行通信。
81.存储装置62存储要由作为控制装置63的主要部分的处理器执行的程序。存储装置62存储物品主信息。具体地，存储装置62存储以下项作为物品主信息：物品id信息(诸如物品名称和物品代码等)、在物品识别操作中使用的信息(即，诸如物品名称等的包括各物品的id数据的物品id信息)、在结账操作中使用的信息(即，各物品的价格(单价))、以及与年龄限制物品有关的信息。
82.控制装置63包括物品检测器71、物品识别器72、结账处理程序73、状态管理器74、识别管理器75、年龄检查器76和支付管理器77。控制装置63由处理器配置成，并且控制装置63的各功能单元通过由处理器执行存储装置62中所存储的程序来实现。
83.物品检测器71基于由被配置为拍摄放置部37的物品拍摄用摄像头41拍摄到的图
像，检测到物品已放置在放置部37上。在物品放置在放置部37上的情况下，物品检测器71基于物品拍摄用摄像头41所拍摄到的图像来检测物品的位置。
84.物品识别器72基于物品拍摄用摄像头41所拍摄到的图像来识别放置部37上的物品。在本实施例中，物品识别器72通过使用物体识别引擎，从自物品拍摄用摄像头41所拍摄到的图像中切出的物品图像获取物品id信息(诸如物品名称等)，该物体识别引擎是通过使用诸如深度学习技术等的机器学习技术构建的。
85.结账处理程序73基于从物品识别器72提供的物品识别来对放置部37上所放置的物品进行结账。具体地，结账处理程序73获取放置部37上的各物品的价格(单价)，合计各个物品的价格，并计算总价(合计操作)。
86.当用户进行用于确认由物品识别器72提供的物品识别结果的确认操作时，状态管理器74开始预定的确认等待时间(例如，数秒)以继续物品识别操作和结账操作。在该确认等待时间期间，状态管理器74可以进行控制，使得不允许将物品识别结果和结账操作结果实时地反映在显示操作中。
87.状态管理器74进行控制，使得结账柜台1在经过了预定等待时间时转变到非使用状态。在非使用状态下，状态管理器74进行控制，使得结账柜台1暂时停止进行物品识别操作和结账操作。在其他情况下，状态管理器74可以继续物品识别操作和结账操作，然后进行控制，使得物品识别结果和结账操作结果不反映在结算(支付)中。
88.识别管理器75指示面部识别服务器15通过面部识别来辨识要进行支付的用户，并且还指示用户管理服务器13进行口令识别。在本实施例中，采用双因素认证(也就是说，面部识别和口令识别的组合)以增强安全性，并且识别管理器75仅在面部识别和口令识别这两者都成功完成的情况下才许可结账柜台1进行支付。在面部识别所用的操作中，识别管理器75从由面部识别用摄像头46拍摄到的图像中提取用户的面部图像，并将该面部图像发送到面部识别服务器15。在口令识别所用的操作中，识别管理器75将用户所输入的用户id和口令发送到用户管理服务器13。
89.年龄检查器76获取从用户管理服务器13提供的通过面部识别所指定的用户的年龄信息(出生日期或当前年龄)。然后，基于该年龄信息，年龄检查器76判断通过面部识别所辨识的用户在购买年龄限制物品时是否受到年龄限制(也就是说，用户是否未成年)(年龄验证)。在物品识别器72所识别的物品包括诸如酒精饮料等的年龄限制物品的情况下，进行年龄验证操作。
90.支付管理器77指示支付服务器12针对通过面部识别所辨识的用户(支付者)进行供支付在结账操作中计算出的总价用的支付操作。
91.另外，基于物品检测器71所获取的物品的位置数据，结账柜台1的控制装置63控制投影仪42以将(一个或多于一个)框图像55(参见图4)投影到放置部37上(投影映射)。此外，控制装置63响应于由用户发出并由麦克风48拾取的语音来进行语音识别。该特征使得用户能够通过使用语音输入来操作画面。
92.控制装置63控制从灯43发出并对放置部37进行照明的光的量。放置部37上所放置的物品的明度根据周边明度(太阳光)条件而改变。因此，控制装置63基于物品拍摄用摄像头41所拍摄到的图像和照度传感器(未示出)的输出来检测放置部37的明度，并且基于检测结果来控制来自灯43的光的量。
93.在本实施例中，结账柜台1进行物品识别操作。然而，系统可以被配置成使得外部服务器进行物品识别操作。
94.在本实施例中，结账柜台1从用户管理服务器13获取包括通过面部识别所辨识的用户的年龄的年龄信息，并且基于该年龄信息进行年龄验证操作。然而，系统可以被配置成使得面部识别服务器15进行年龄验证操作。在这种情况下，系统可以被配置成使得结账柜台1将年龄验证指示添加到面部识别的请求并将该请求发送到面部识别服务器15，并且面部识别服务器15将包括年龄验证结果的面部验证响应发送到结账柜台1。
95.接着，将说明在结账柜台1的触摸屏显示器45上显示的画面。图6至图11是示出结账柜台1的触摸屏显示器45上所显示的各种画面的说明图。
96.结账柜台1的触摸屏显示器45首先显示图6的(a)所示的结账引导画面。该结账引导画面示出用于促使用户将物品放置在结账柜台1的放置部37上的引导消息101、以及表示如何放置物品的引导图像102(图片引导)。然后，当用户将物品放置在放置部37上时，结账柜台1进行物品识别操作和结账操作，并且画面改变为处于未确认状态的物品确认画面(也就是说，用户的确认之前的物品确认画面)(参见图6的(b))。
97.结账引导画面还示出用于表示如何通过用户的声音(语音输入)操作画面上的接口的引导消息103。在本实施例中，用户可以通过读出触摸屏显示器45上显示的各接口(诸如按钮等)上所显示的文字来操作该接口。
98.图6的(b)所示的处于未确认状态的物品确认画面(以下也称为“未确认物品确认画面”)示出用于促使用户确认所识别的物品的引导消息104。未确认物品确认画面还包括识别结果表示部105。该识别结果表示部105包括列出物品框115(物品表示部)，各框示出相应物品的名称和价格。列出物品框115与由用户放置在放置部37上的相应物品(特别是通过物品识别操作所识别的物品)相关联，并且多个列出物品框115是并排显示的。
99.未确认物品确认画面包括结账操作结果表示部116。结账操作结果表示部116示出结账操作结果(也就是说，放置部37上的物品的总数及其总价)。
100.该未确认物品确认画面还包括“确认”按钮112和“取消”按钮119。当用户操作“确认”按钮112时，画面转变到引导画面(参见图6的(c))。“确认”按钮112在初始状态下以蓝色显示，并且在被操作之后变为灰色。当用户操作“取消”按钮119时，画面转变到取消画面(参见图8的(d))。此外，当用户移除放置部37上的物品时，画面转变到取消画面。
101.图6的(c)所示的引导画面包括用于在扫描进行中时促使用户将用户的手从触摸屏显示器45移开的引导消息101、以及表示如何将手从触摸屏显示器45移开的引导图像102(图片)。同时，结账柜台1从扬声器47输出用于促使用户将用户的手从触摸屏显示器45移开的引导语音。
102.图6的(d)所示的处于确认状态的物品确认画面(用于输入支付指示的画面)包括“结账”按钮117(用于输入用于支付执行的指示的接口)和“重新扫描”按钮118。处于确认状态的物品确认画面(以下也称为“确认物品确认画面”)的其余部分与未确认物品确认画面(参见图6的(b))相同。
103.然后，当用户操作“结账”按钮117时，画面改变为面部识别画面(参见图7的(a))。
104.当用户操作“重新扫描”按钮118时，结账柜台1进行重新扫描操作(也就是说，再次进行物品识别操作和结账操作)，并且画面改变为未确认物品确认画面(图6的(b))。更具体
地，在物品识别操作中发生错误识别、这导致识别结果表示部105显示包括错误的物品识别结果的情况下，用户可以操作“重新扫描”按钮118。在用户操作未确认物品确认画面(参见图6的(b))上的“确认”按钮112之后、用户更换(添加或移除)放置部37上的一些物品的情况下(例如，在存在用户未能放置在放置部上并且稍后需要放置的物品的情况下，或者在用户重新考虑一些物品的购买并且需要从放置部37取出物品的情况下)，用户应仅操作“重新扫描”按钮118。在重新扫描并没有更正物品识别结果中的错误的情况下，结账柜台可以显示用于促使用户改变放置物品的方式的引导信息。
105.在显示确认物品确认画面并且用户想要更正(删除或改变)识别结果表示部105中的一些列出物品的情况下，用户操作针对错误列出的物品的列出物品框115。结果，画面转变到改变/删除选择画面(参见图10的(a))。
106.图7的(a)所示的面部识别画面显示用户的拍摄图像121和用于在用户的面部图像不在预定框内的情况下促使用户调整图像中的面部位置的引导消息122。然后，用户在观看画面上显示的用户的图像121的同时调整面部位置。在调整适当地完成时，结账柜台将面部图像发送到面部识别服务器15，使得面部识别服务器开始面部识别操作。在发送面部图像时，画面转变到表示面部识别进行中的面部识别画面(参见图7的(b))。
107.图7的(b)所示的面部识别画面显示从用户的拍摄图像中提取的面部图像123和用于使面部识别操作的进度可视化的进度表示部124。
108.在面部识别成功完成时，画面改变为面部识别结果确认画面(参见图7的(c))。在面部识别失败时，系统重新获取面部图像并将面部识别的操作重复预定次数。在面部识别连续失败预定次数时，系统停止面部识别操作，转变到仅允许通过口令识别来进行支付的模式，并且画面转变到用户id选择画面(参见图9的(a))。
109.图7的(c)所示的面部识别结果确认画面显示用户的面部图像123和用于向用户询问用户的姓名是否正确的引导消息126。面部识别结果确认画面包括“是”按钮127和“否”按钮128。当用户操作“否”按钮128时，画面转变到用户id选择画面(参见图9的(a))。
110.在面部识别结果确认画面中用户操作“是”按钮127的情况下，当用户所要购买的物品中不存在年龄限制物品时，画面改变为口令识别画面(参见图8的(a))。当用户所要购买的物品包括一个或多于一个年龄限制物品时，结账柜台对通过面部识别所识别的用户进行年龄验证。当用户达到允许购买年龄限制物品的特定年龄(最小年龄)时，画面转变到口令识别画面(参见图8的(a))。当用户没有达到特定年龄(最小年龄)时，画面转变到错误画面(参见图7的(d))。
111.图7的(d)所示的错误画面显示图像137和引导消息138，该引导消息138表示用户在购买年龄限制物品时受到年龄限制(即，用户未成年)并且不被允许购买诸如酒精饮料和烟草等的年龄限制物品。错误画面还包括“返回”按钮129。当用户操作“返回”按钮129时，画面返回到未确认物品确认画面(参见图6的(b))。这使得用户能够移除年龄限制物品，然后使系统重新进行所需的操作。
112.在图7的(a)至图7的(d)所示的画面中，各画面包括结账操作结果表示部116和“取消”按钮119，这两者与确认物品确认画面(参见图6的(d))中所包括的这些相同。
113.图8的(a)所示的口令识别画面包括用于促使用户输入作为口令的密码的引导消息131、示出密码输入的进度的图像132、以及数字小键盘133。当用户输入由预定数量的数
字组成的pin时，系统进行口令识别。然后，当口令识别成功完成时，画面转变到支付确认画面(参见图8的(b))。当口令识别失败时，画面转变到口令识别画面以重新输入(参见图9的(c))。
114.口令识别画面包括“支付”按钮135和“返回”按钮129。当用户操作“返回”按钮129时，处理返回到用户尚未输入用户的密码的状态。在这种情况下，“支付”按钮135以灰色显示并且禁用。
115.在图8的(b)所示的支付确认画面中，“支付”按钮135启用，并且当用户操作“支付”按钮135时，画面转变到支付完成画面(参见图8的(c))。
116.图8的(a)和图8的(b)所示的画面中所包括的结账操作结果表示部116和“取消”按钮119与确认物品确认画面(参见图6的(d))中所示的这些相同。
117.图9的(a)所示的用户id选择画面包括用于促使用户选择用户的用户id的引导消息141和用户id按钮142。这些用户id按钮142与不同的用户id相关联并显示成一排。该用户id选择画面还包括“无候选”按钮143。当用户找到针对该用户的用户id的用户id按钮142并操作该用户id按钮时，画面转变到口令识别画面(参见图8的(a))。当用户由于不包括用户的用户id而操作“无候选”按钮143时，画面转变到表示不能进行支付的错误画面(参见图9的(b))。
118.在本实施例中，显示用户id候选，使得用户可以选择这些用户id候选其中之一。然而，系统可以被配置成使得显示键盘，使得用户可以输入用户的用户id。
119.在本实施例中，面部识别服务器15在面部识别操作中获取用户的面部匹配得分相对较高的一些人物。用户id选择画面针对与面部匹配得分相对较高的人物相关联的各个用户id候选，显示不同的用户id按钮142。在没有找到面部匹配得分等于或大于预定阈值的人物的情况下，面部识别服务器15判断为面部匹配失败，但仍按面部匹配得分的降序从面部匹配得分低于阈值的人物中提取预定数量的人物作为候选。
120.图9的(c)所示的供重新输入用的口令识别画面包括表示所输入的口令无效的引导消息145。供重新输入用的口令识别画面的其他部分与口令识别画面(参见图8的(a))相同。使用该画面，用户重新输入口令。当口令识别操作成功完成时，画面转变到支付确认画面(参见图8的(b))。当口令识别再次失败时，画面转变到不正确口令错误画面(参见图9的(d))。
121.图9的(a)和图9的(c)所示的画面中的结账操作结果表示部116和“取消”按钮119与确认物品确认画面(参见图6的(d))中的这些相同。
122.图10的(a)所示的改变/删除选择画面以与确认物品确认画面(参见图6的(d))类似的方式将列出物品框115显示成一排。然而，在该画面中，用户在确认物品确认画面上已选择的列出物品框115以与列出物品框152不同的方式显示。该画面的其余部分与确认物品确认画面(参见图6的(d))的其余部分相同。
123.列出物品框152包括“删除”按钮153和“改变”按钮154。当用户操作“删除”按钮153时，画面转变到删除确认画面(参见图11的(b))。当用户操作“改变”按钮154时，画面转变到物品类别选择画面(参见图10的(b))。
124.图10的(b)所示的物品类别选择画面包括用于促使用户选择物品(类别)的引导消息156、用于显示要改变的物品的物品数据(名称和价格)的移除物品表示部157、以及各个
类别按钮158。物品类别选择画面还包括“返回”按钮129。当用户操作类别按钮158时，画面改变为新物品选择画面(参见图10的(c))。当用户操作“返回”按钮129时，画面返回到前一画面(也就是说，改变/删除选择画面(参见图10的(a)))。
125.图10的(c)所示的物品选择画面包括针对用户在物品类别选择画面(参见图10的(b))中已选择的类别中所包括的物品的多个物品按钮160。当用户操作物品按钮160时，画面转变到物品改变确认画面(参见图10的(d))。在图10的(c)所示的物品选择画面中，引导消息156、移除物品表示部157和“返回”按钮129与物品类别选择画面(参见图10的(b))的这些相同。
126.图10的(d)所示的物品改变确认画面包括表示将更换某些物品的引导消息161、用于显示要更换的物品的数据(名称和价格)的移除物品表示部162、以及新物品的数据(名称和价格)。物品改变确认画面还包括“是”按钮165和“否”按钮166。当用户操作“是”按钮165时，画面转变到物品列表确认画面(参见图11的(a))。当用户操作“否”按钮166时，画面返回到物品选择画面(参见图10的(c))。
127.图11的(a)所示的物品列表确认画面与确认物品确认画面(参见图6的(d))类似。然而，在该画面中，与新物品相关联的列出物品框115显示在最前(顶部)位置处，并且以与其他列出物品框115不同的颜色突出显示。
128.图11的(b)所示的删除确认画面包括表示物品将被删除的引导消息171、以及用于显示要删除的物品的数据(名称和价格)的删除物品表示部172。删除确认画面还包括“是”按钮173和“否”按钮174。当用户操作“是”按钮173时，画面转变到物品列表确认画面(参见图11的(c))。当用户操作“否”按钮174时，画面返回到改变/删除选择画面(参见图10的(a))。
129.图11的(c)所示的物品列表确认画面除了反映了删除操作外，还显示识别结果表示部105中所显示的列出物品框152。具体地，经受删除操作的列出物品框115以灰色显示。在其他情况下，可以显示图11的(d)所示的不同的物品列表确认画面。在该物品列表确认画面中，在列出物品框115中提供“返回”按钮。当用户操作该“返回”按钮时，画面返回到改变/删除选择画面(参见图10的(a))。
130.在图11的(a)至图11的(d)所示的画面中，结账操作结果表示部116和“取消”按钮119与确认物品确认画面(参见图6的(d))的这些相同。
131.接着，将说明结账柜台1的确认等待时间和非使用状态。图12是示出结账柜台1的确认等待时间和非使用状态的说明图。
132.如图12的(a)所示，在本实施例中，当用户查看未确认物品确认画面(参见图6的(b))并且确认在识别结果表示部105中显示的物品识别结果中没有错误时，用户进行用于确认物品识别结果的操作(具体为操作“确认”按钮112以开始确认等待时间)。确认等待时间包括用户在操作之后将用户的手从触摸屏显示器移开所需的一定时间。
133.在确认等待时间期间，结账柜台1继续物品识别操作和结账操作。在确认等待时间期间，状态管理器74可以进行控制，使得不将物品识别结果和结账操作结果反映在显示操作中，这意味着结账柜台1停止更新识别结果表示部105中表示的内容。
134.在用户进行用于确认物品识别结果的操作之前，结账柜台1继续每隔一定时间重复物品识别操作，并且因此用户可以改变(添加或移除)放置部37上的物品。具体地，用户可
以另外将漏放的物品放置在放置部37上或者从放置部37移除用户取消了购买的物品。当用户改变放置部上的一些物品时，触摸屏显示器45上所显示的物品识别结果改变。
135.确认等待时间是从用于确认物品识别结果的用户操作起的预定时间段(例如，数秒)。确认等待时间是物品识别操作返回到其正常状态所需的返回时间。具体地，确认等待时间包括用户将手从触摸屏显示器45移开并离开物品拍摄用摄像头41的拍摄区域所需的时间(操作时间)。结果，即使当用户将用户的手从触摸屏显示器45移开、这导致触摸屏显示器45上显示的内容的不自然变化时，物品识别操作也立即恢复正常，这防止了用户对装置的操作感到不协调。
136.接着，当确认等待时间经过时，画面改变为反映了物品识别结果和结账操作结果的确认物品确认画面(参见图6的(d))。然后，在物品识别结果和结账操作结果被显示为确认信息时，结账柜台1转变到非使用状态。在非使用状态下，状态管理器74进行控制，使得结账柜台1暂时停止进行物品识别操作和结账操作。在其他情况下，状态管理器74可以进行控制，使得系统继续物品识别操作和结账操作，并且物品识别结果和结账操作结果不实时地反映在显示操作中。
137.然后，当用户查看确认物品确认画面并且确认在所显示的物品识别结果中没有错误时，用户进行用以提供支付执行(结算)的指示的操作(具体为操作“结账”按钮117)。在用户的操作完成时，结账柜台处于非使用状态，并且状态管理器74进行控制，使得结账柜台1暂时停止进行物品识别操作和结账操作，或者使得物品识别结果和结账操作结果不实时地反映在显示操作中。因此，该配置防止了在画面上显示的物品识别结果和结账操作结果中发生任何变化，并且避免了基于错误的识别结果进行结账和支付。
138.当显示未确认物品确认画面时，结账柜台1继续每隔一定时间重复物品识别操作。因此，当用户改变(添加或移除)放置部37上的物品(例如，将用户漏放的物品放置在放置部37上或者将用户取消了购买的物品从放置部37移除)时，相应地更新识别结果表示部105中显示的内容。
139.在画面转变到确认物品确认画面之后，用户可能想要更换(添加和/或移除)放置部37上的一些物品。在这种情况下，用户可以操作确认物品确认画面中的“重新扫描”按钮118，由此使结账柜台重新进行物品识别操作。
140.在其他情况下，如图12的(b)所示，状态管理器74可以在画面转变到未确认物品确认画面(参见图6的(b))时开始确认等待时间。在这种情况下，确认等待时间包括用户查看未确认物品确认画面、操作“确认”按钮112并将手从触摸屏显示器45移开并离开物品拍摄用摄像头41的拍摄区域所用的时间(操作时间)。
141.结果，即使在用户将用户的手伸到触摸屏显示器45以操作“确认”按钮112、这导致触摸屏显示器45上显示的内容的不自然变化时，物品识别操作也立即恢复正常，这防止了用户对装置的操作感到不协调。
142.接着，将说明结账柜台1的触摸屏显示器45上所显示的数字小键盘133的键布局的变化。图13是示出结账柜台1的触摸屏显示器45上所显示的数字小键盘133的键布局的变化的示例的说明图。
143.在本实施例中，在口令识别画面(参见图8的(a))中，用户需要使用数字小键盘133输入口令(密码)。结账柜台1的触摸屏显示器45被设置成面向用户。因此，在一些情况下，当
用户输入口令时，用户后面的另一人可以窥探画面并看见用户的手指如何移动，这导致用户的口令被盗。
144.根据该观点，在本实施例中，系统被配置为每次用户改变时改变口令识别画面中的数字小键盘133的键布局图案。例如，数字键“1”到“9”的布局图案如图13的(a)至图13的(d)所示改变。在图13的(a)至图13的(d)所示的示例中，每次用户改变时，随机地选择四个键盘布局图案其中之一。
145.在本实施例中，当在口令识别画面(参见图8的(a))上用户输入无效口令(密码)时，画面转变到供重新输入用的口令识别画面(参见图9的(c))，在该供重新输入用的口令识别画面中，键布局图案从先前的口令识别画面(参见图8的(a))改变。
146.在图13的(a)至图13的(d)所示的示例中，数字小键盘133的3
×
3键布局按照特定规则改变。在其他情况下，数字小键盘133的3
×
3键布局可以随机地改变。可替代地，可以改变数字小键盘的所有元素的布局。
147.接着，将说明用户登记时的用户终端11的操作的操作过程。图14是示出用户登记时的用户终端11的操作的操作过程的流程图。
148.当已安装在用户终端11上的所需应用第一次被激活时，用户终端11显示个人信息确认画面(st101)。个人信息确认画面表示用于处理个人信息的同意书。当在个人信息确认画面上用户进行用于批准同意书的操作时，用户终端11显示认证信息输入画面(st102)。
149.接着，当在认证信息输入画面上用户进行用于输入用户的用户id和口令的操作时，结账柜台将所输入的用户id和口令发送到用户管理服务器13(st103)。
150.接着，用户终端11显示个人信息输入画面(st104)。在个人信息输入画面上，用户可以输入诸如出生日期等的个人信息。当在个人信息输入画面上用户进行用于输入个人信息的操作时，结账柜台将诸如包括出生日期的个人信息等的个人信息发送到用户管理服务器13(st105)。
151.接着，用户终端11显示面部拍摄画面(st106)。当在面部拍摄画面上用户进行用于拍摄用户的面部的操作时，结账柜台从拍摄图像中提取面部图像，并将该面部图像发送到用户管理服务器13(st107)。
152.用户管理服务器13进行用于登记从用户终端11发送来的用户的用户id和口令的操作。此外，用户管理服务器13将从用户终端11发送来的面部图像发送到面部识别服务器15，其中面部识别服务器15进行用于登记面部图像的操作。
153.接着，用户终端11显示信用卡信息输入画面(st108)。当在该信用卡信息输入画面上用户进行用于输入信用卡信息的操作时，用户终端11将信用卡信息发送到支付服务器12(st109)。支付服务器12进行用于登记从用户终端11发送来的信用卡信息的操作。
154.接着，当从支付服务器12接收到信用卡信息登记完成的通知时，用户终端11显示登记完成画面(st110)。
155.接着，将说明结账柜台1的操作的操作过程。图15和图16是示出结账柜台1的操作的操作过程的流程图。
156.首先，当基于物品拍摄用摄像头41所拍摄到的图像检测到物体已放置在放置部37上时(st201中为“是”)，结账柜台1检测所检测到的物体在放置部37上的位置(物品检测操作)(st202)。然后，结账柜台1识别放置部37上的物体是哪个物品(st203)。然后，结账柜台1
对放置部37上的物品进行结账(st204)。接着，结账柜台1显示未确认状态物品确认画面(参见图6的(b))(st205)。
157.接着，当在未确认物品确认画面(参见图6的(b))上用户操作“确认”按钮112时(st206中为“确认”)，结账柜台1显示引导画面(参见图6的(c))(st207)。此外，结账柜台1输出用于促使用户将用户的手从触摸屏显示器45移开的音频引导，诸如说“将您的手从画面移开”的语音引导等。
158.接着，结账柜台1显示确认物品确认画面(用于输入支付指示的画面)(参见图6的(d))(st208)。当在确认物品确认画面上用户操作“结账”按钮117时(st209中为“结账”)，处理进入面部识别，并且结账柜台显示面部识别画面(参见图7的(a))(st221)。然后，结账柜台1判断在要购买的物品中是否包括(一个或多于一个)年龄限制物品。当检测到包括年龄限制物品时，结账柜台1开启年龄限制标志。
159.当用户进行用于取消购买的操作(具体为操作“取消”按钮119)时(st209中为“取消”)，画面转变到取消画面(参见图8的(d))(st212)。此外，当用户操作“重新扫描”按钮118时(st209中为“重新扫描”)，处理返回到st201，并且结账柜台1再次进行物品识别操作。
160.当用户进行用于选择错误识别的物品的操作(具体为操作针对错误识别的物品的列出物品框115)时(st209中为“选择物品”)，画面转变到改变/删除选择画面(参见图10的(a))(st210)。
161.然后，当在改变/删除选择画面(参见图10的(a))上用户操作“改变”按钮154时(st211中为“改变”)，画面转变到物品类别选择画面(参见图10的(b))。此外，当用户操作“删除”按钮153时(st211中为“删除”)，画面转变到删除确认画面(参见图11的(b))。然后，当用户进行所需的操作时，画面转变到物品列表确认画面(参见图11的(a)至图11的(d))(st213)。物品列表确认画面反映了已输入的详细数据和已完成的操作的结果。
162.当用户选择取消购买(具体为操作“取消”按钮119)时(st211中为“取消”)，画面转变到取消画面(参见图8的(d))(st212)。当用户进行用于选择结账的操作(具体为操作“结账”按钮117)时(st211中为“结账”)，处理进入面部识别，并且画面转变到面部识别画面(参见图7的(a))(st221)。此外，当用户操作“重新扫描”按钮118时(st211中为“重新扫描”)，处理返回到st201，并且结账柜台再次进行物品识别操作。
163.当显示面部识别画面(参见图7的(a))时(st221)，结账柜台从面部识别用摄像头46所拍摄的图像中提取面部图像，并将面部识别的请求(该请求包括面部图像)发送到面部识别服务器15(st222)。响应于来自结账柜台的请求，面部识别服务器15基于从结账柜台1发送来的面部图像进行面部识别操作，并将面部识别响应(该响应包括面部识别结果)发送到结账柜台1。
164.在结账柜台1接收到从面部识别服务器15发送来的面部识别响应(st223)、并且面部识别响应包括表示面部识别成功完成的面部识别结果(st224中为“是”)的情况下，结账柜台1判断要购买的物品是否包括年龄限制物品。在判断为存在年龄限制物品的情况下，结账柜台1对通过面部识别所识别的用户进行年龄验证操作，以判断用户在购买年龄限制物品时是否受到年龄限制(也就是说，用户是否未成年)(st225)。在用于检测年龄限制物品的操作中，结账柜台1基于物品的年龄限制标志来判断为存在年龄限制物品。在用于年龄验证的操作中，结账柜台1基于面部识别中所包括的年龄信息(出生日期或当前年龄)来判断用
户是否未成年。
165.在判断为通过面部识别所识别的用户不是未成年(也就是说，用户在购买年龄限制物品时不受年龄限制(例如，用户的年龄是成年人年龄))的情况下(st225中为“否”)，处理进入口令识别，并且结账柜台显示口令识别画面(参见图8的(a))(st226)。
166.然后，当在口令识别画面(参见图8的(a))上用户输入用户的口令(密码)时，结账柜台将口令识别的请求发送到用户管理服务器13(st227)。响应于来自结账柜台的请求，用户管理服务器13基于从结账柜台1发送来的口令信息来进行口令识别操作，并且将口令识别响应(该响应包括口令识别结果)发送到结账柜台1。
167.结账柜台1接收从用户管理服务器13发送来的包括口令识别结果的口令识别响应(st228)。在判断为口令识别结果表示口令识别成功完成的情况下(st229中为“是”)，结账柜台1将支付的请求经由用户管理服务器13发送到支付服务器12(st230)。当接收到支付的请求时，支付服务器12进行支付操作并将支付响应经由用户管理服务器13发送到结账柜台1。
168.当从支付服务器12接收到支付响应时(st231)，结账柜台1显示支付完成画面(参见图8的(c))(st232)。然后，结账柜台1进行收据开具操作(st233)，并且将收据信息经由用户管理服务器13发送到用户终端11(st234)。当接收到收据信息时，用户终端11将该收据信息存储在用户终端11的存储装置62中。
169.在面部识别结果表示面部识别失败的情况下(st224中为“否”)，结账柜台1显示用户id选择画面(参见图9的(a))。
170.接着，当在用户id选择画面(参见图9的(a))上用户进行用户id选择操作(具体为操作用户id按钮142)时(st236中为“选择用户id”)，处理进入口令识别，并且结账柜台显示口令识别画面(参见图8的(a))(st226)。当用户进行无候选操作(具体为操作“无候选”按钮143)时(st236中为“无候选”)，结账柜台显示错误画面(参见图9的(b))(st237)。当用户进行取消操作(具体为操作“取消”按钮119)时(st236中为“取消”)，画面转变到取消画面(参见图8的(d))(st212)。
171.在判断为用户在购买年龄限制物品时受到年龄限制(也就是说，用户未成年)的情况下(st225中为“是”)，结账柜台显示错误画面(参见图7的(d))(st238)。
172.接着，当在错误画面(参见图7的(d))上用户进行取消操作(具体为操作“取消”按钮119)时(st239中为“取消”)，画面转变到取消画面(参见图8的(d))(st212)。当用户进行返回操作(具体为操作“返回”按钮129)时(st239中为“返回”)，处理返回到st201。然后，结账柜台进行物品检测操作(st202)、物品识别操作(st203)和结账操作(st204)，由此画面转变到未确认物品确认画面(参见图6的(b))。结果，用户可以移除年龄限制物品并重新进行后续操作。
173.在口令识别结果表示口令识别失败的情况下(st229中为“否”)，结账柜台判断口令识别操作是否连续失败了预定次数(st240)。在口令识别没有连续失败预定次数的情况下(st240中为“否”)，处理再次进入口令识别，并且结账柜台显示供重新输入用的口令识别画面(参见图9的(c))(st226)。在口令识别连续失败了预定次数的情况下(st240中为“是”)，结账柜台显示错误画面(参见图9的(d))(st241)。
174.在本实施例中，采用了双因素认证(也就是说，面部识别和口令识别的组合)以增
强安全性，因此即使在面部识别成功完成的情况下，系统也进行口令识别操作。然而，在其他实施例中，系统可以被配置为在无需进行口令识别的情况下仅进行面部识别以进行用户认证。
175.尽管本文中为了例示性目的描述了本发明的具体实施例，但本发明不限于这些具体实施例。将理解，在没有背离本发明的范围的情况下，可以对实施例的元件进行各种改变、替换、添加和省略。另外，可以将不同实施例的元件和特征适当地彼此组合以产生在本发明的范围内的实施例。
176.产业上的可利用性
177.被配置为通过物体识别来识别要购买的物品并使得用户能够操作触摸屏显示器以购买该物品的根据本发明的结账支付装置和结账支付系统在被配置为避免干扰物体识别的同时，可以被制成节省空间且容易安装在小型商店中，并且作为用于识别用户从卖场内的商品中选择的商品并对该商品进行结账和支付的结账支付装置和结账支付系统是有用的。
178.附图标记说明
179.1结账柜台(结账支付装置)
180.15面部识别服务器(服务器装置)
181.37放置部
182.41物品拍摄用摄像头(第一摄像头)
183.45触摸屏显示器(显示器)
184.46面部识别用摄像头(第二摄像头)
185.112“确认”按钮(操作接口)
186.117“结账”按钮(操作接口)