信息处理系统、顾客识别装置、信息处理方法和程序与流程

本发明涉及一种信息处理系统、顾客识别装置、信息处理方法和程序。

背景技术：

专利文献1公开了一种将面部认证处理用于结算业务的信息处理系统。专利文献1还公开了：该信息处理系统获取包括访客的面部信息在内的信息，并且使用包括在所获取信息中的访客面部信息以及已经在成员数据库中登记了的每个成员的登记面部信息来执行面部认证。

现有技术文献

专利文献

专利文献1：日本未审专利公开第2016-126749号公报

技术实现要素：

技术问题

在面部认证处理中，登记的信息越多，认证处理所花费的时间就越长。因此，在执行结算期间，可能出现面部认证处理的等待时间。本发明的目的在于：在使用面部认证处理执行结算期间缩短面部认证处理的等待时间。

问题的解决方案

根据本发明，提供了一种信息处理系统，包括：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算单元，执行针对识别出的所述第一顾客的结算处理，

其中所述识别单元在开始所述结算处理的操作被执行之前识别所述第一顾客。

另外，根据本发明，提供了一种信息处理系统，包括：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算单元，执行针对识别出的所述第一顾客的结算处理，

其中在登记由所述第一顾客购买的产品的处理开始的情况下，所述识别单元识别所述第一顾客。

另外，根据本发明，提供了一种顾客识别装置，包括：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

通知单元，向结账装置通知与识别出的所述第一顾客相对应的、用于识别该顾客的信息，

其中所述识别单元在开始结算处理的操作被执行之前识别所述第一顾客。

另外，根据本发明，提供了一种由计算机执行的信息处理方法，该方法包括：

获取步骤，获取由第一摄像头生成的面部的图像；

识别步骤，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算步骤，执行针对识别出的所述第一顾客的结算处理，

其中在所述识别步骤中，在开始所述结算处理的操作被执行之前识别所述第一顾客。

另外，根据本发明，提供了一种程序，所述程序使计算机用作：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算单元，执行针对识别出的所述第一顾客的结算处理，

其中所述识别单元在开始所述结算处理的操作被执行之前识别所述第一顾客。

发明的有益效果

根据本发明，可以在使用面部认证处理来执行结算期间缩短面部认证处理的等待时间。

附图说明

通过下面将描述的优选示例性实施例以及后面的附图，上述目的、其他目的、特征和优点将变得更加明显。

图1是示出了本示例性实施例的信息处理系统的功能框图的示例。

图2是概念性地示出了本示例性实施例的系统和装置的硬件配置的示例的图。

图3是示出了本示例性实施例的顾客识别装置的功能框图的示例。

图4是示意性地示出了本示例性实施例的数据库信息的示例的图。

图5是示意性地示出了由本示例性实施例的顾客识别装置生成的信息的示例的图。

图6是示出了本示例性实施例的顾客识别装置的处理流程的示例的流程图。

图7是示出了本示例性实施例的顾客识别装置的处理流程的示例的流程图。

图8是示出了本示例性实施例的信息处理系统的实现示例的图。

图9是示出了本示例性实施例的信息处理系统的实现示例的图。

图10是示出了结算操作的示例的示图。

图11是示出了本示例性实施例的顾客识别装置的处理的图。

图12是本示例性实施例的信息处理系统的屏幕显示的示例。

图13是本示例性实施例的信息处理系统的屏幕显示的示例。

图14是示出了本示例性实施例的信息处理系统的功能框图的示例。

图15是示出了本示例性实施例的信息处理系统的功能框图的示例。

图16是示出了本示例性实施例的结账装置的功能框图的示例。

图17是示出了本示例性实施例的信息处理系统的处理流程的示例的序列图。

图18是示意性地示出了本示例性实施例的数据库信息的示例的图。

具体实施方式

<第一示例性实施例>

首先，将描述本示例性实施例的信息处理系统的概述内容。本示例性实施例的信息处理系统是一种执行对待结账产品进行登记的处理(登记处理)、结算处理等的装置。例如，本示例性实施例的信息处理系统是销售点(pos)收银机。可以假设，pos收银机由销售员操作或者可以由顾客操作。

本示例性实施例的信息处理系统可以使用面部认证处理来执行结算处理。该面部认证处理是利用顾客的面部图像来识别顾客的处理。也就是说，信息处理系统使用通过拍摄顾客而获取的图像和登记了顾客外貌特征值的数据库来识别进行支付的顾客(第一顾客)。此外，信息处理系统使用与识别出的顾客相对应的电子货币信息或积分信息来执行结算处理。

应当注意，从开始结算处理的操作被执行之前的指定定时开始，信息处理系统开始执行使用图像来对顾客进行识别的处理(在下文中，与以下描述中的认证处理相同)。因此，预期在开始结算处理的操作被执行之前完成对顾客的识别。因此，可以在使用面部认证处理执行结算期间缩短面部认证处理的等待时间。

下面将描述信息处理系统的配置。首先，将描述信息处理系统的硬件配置。包括在本示例性实施例的信息处理系统中的每个功能单元通过基于如下项的任何计算机的硬件和软件的任何组合来实现：中央处理单元(cpu)；存储器；加载在该存储器上的程序；存储单元(除了先前从装置交付阶段开始存储的程序之外，其还能够存储从诸如光盘(cd)之类的存储介质、互联网上的服务器等下载的程序)，比如，存储程序的硬盘；以及用于网络连接的接口。此外，本领域技术人员能理解的是，存在着实现方法及其装置的各种修改示例。

图2是示出了本示例性实施例的信息处理系统的硬件配置的框图。如图2所示，信息处理系统包括处理器1a、存储器2a、输入和输出接口3a、外围电路4a和总线5a。外围电路4a包括各种模块。

总线5a是用于处理器1a、存储器2a、外围电路4a以及输入和输出接口3a的数据传输路径，以便彼此之间发送和接收数据。例如，处理器1a是诸如中央处理单元(cpu)或图形处理单元(gpu)之类的算术处理装置。例如，存储器2a是诸如随机存取存储器(ram)或只读存储器(rom)之类的存储器。输入和输出接口3a包括用于从输入装置(例如：键盘、鼠标、麦克风、物理按键、触摸板显示器、读码器等)、外部装置、外部服务器、外部传感器等获取信息的接口，以及用于将信息输出到输出装置(例如：显示器、扬声器、打印机、电子邮件工具等)、外部装置、外部服务器等的接口。处理器1a可以向每个模块输出指令并基于每个模块的运算结果执行算术运算。

随后，将描述信息处理系统的功能配置。图14示出了信息处理系统100的功能框图的示例。如图所示，信息处理系统100包括获取单元11、识别单元12和结账单元21。如图15所示，信息处理系统还可以包括判断单元14。另外，尽管附图中未示出，但是信息处理系统100还可以包括显示控制单元。

结账单元21包括执行对待结账产品进行登记的处理(登记处理)的单元(登记单元)以及执行结算处理的单元(结算单元)。

首先，将描述由结账单元21执行的登记处理。结账单元21包括用于输入信息的单元，该信息用于识别待结账产品。输入由诸如读码器、物理按键、触摸板显示器、麦克风和摄像头之类的各种装置实现。

例如，用于识别产品的信息可以以这样的方式输入：读码器读取附在产品上的并且表示用于识别产品的信息的代码。另外，可以通过物理按键或触摸板显示器的操作来输入用于识别产品的信息。另外，可以借助于麦克风以语音方式输入用于识别产品的信息。另外，可以使用如下部件来输入用于识别产品的信息：对待结账产品进行拍摄的摄像头，以及基于产品外观的特征值或图像中包括的代码(附在产品上的用于识别产品的信息)对摄像头生成的图像中包括的产品进行识别的单元。

结账单元21可以从之前准备好的产品基准信息中获取与用于识别待结账产品的信息相对应的产品信息(例如，价格等)。此外，结账单元21可以执行计算出一个或多个待结账产品的价格总和的结账处理。此外，结账单元21可以在显示器等上显示用于识别待结账产品的信息、计算出的价格总和等。在此，信息处理系统可以包括对诸如显示器之类的显示单元上的显示进行控制的显示控制单元。

随后，将描述由结账单元21执行的结算处理。结算处理指的是通过选定的支付方法(现金、信用卡、积分等)完成已确定出待支付金额的销售交易。结账单元21可以使用电子货币信息或积分信息来执行结算处理，该电子货币信息或积分信息对应于通过面部认证处理识别出的顾客。也就是说，在获取了由识别单元12识别出的用于识别顾客的信息(下面将进行描述)的情况下，结账单元21可以从服务器获取与该顾客相对应的电子货币信息或积分信息。此外，结账单元21可以使用该电子货币信息或积分信息来执行结算处理。也就是说，可以执行使用电子货币或积分来支付待结账产品的价格总和的结算处理，或者将在本次购物中给出的积分累加到积分信息所表示的剩余积分中的结算处理。另外，在位于组织(如公司)内部的商店内的信息处理系统100的情况下，可以通过如下方式来执行结算处理：按照与用于在该组织内识别顾客的信息(例如：员工编号)相关联的方式累积待支付的金额，并从工资中扣除待支付的金额。

应当注意，结账单元21可以使用现金、信用卡、其他类型的电子货币、其他类型的积分等来执行结算处理。例如，在识别单元12未识别出顾客的情况下，可以使用所示的另一种方法来执行结算处理。

结账单元21首先执行登记处理，然后执行结算处理。在登记至少一个产品的登记处理之后，在开始结算处理的操作被执行的情况下，结账单元21根据该操作开始结算处理。

例如，为了开始结算处理而被执行的操作可以是：按下与“结算处理的开始”相对应的物理按键。另外，例如，该操作可以是在触摸面板区域上的与“结算处理的开始”相对应的区域上执行的操作(例如：触摸)。另外，例如，该操作可以是通过麦克风输入与“结算处理的开始”相对应的指定字词。需要注意的是，这里的示例仅是示例，本发明并不局限于此。

获取单元11获取图像，该图像包括顾客的面部并且由对顾客进行成像的摄像头(第一摄像头)生成。安装第一摄像头是为了拍摄位于信息处理系统100附近的顾客的面部，更具体地说是拍摄正在执行结算的顾客的面部。第一摄像头可以连续地拍摄运动图像，或者可以在指定定时拍摄静止图像。也就是说，获取单元11可以从第一摄像头获取以指定时间间隔连续生成的与多个帧相对应的图像，或者可以从第一摄像头获取在特定定时生成的一个图像。也就是说，获取单元11可以获取在不同定时成像的多个图像。

识别单元12可以基于登记了多个人的面部特征值的数据库信息(参考图4)以及由获取单元11获取的图像来识别顾客。例如，识别单元12识别进行支付的第一顾客。图4的数据库信息是通过将用于识别顾客的信息(顾客姓名、顾客会员号、员工编号等)与顾客的面部特征值相关联而得到的。图4的数据库信息还可以包括每位顾客的面部的照片。

识别单元12从由获取单元11获取的图像中提取人，并提取此人的外貌特征值。此外，识别单元12将从图像中提取的人的特征值与包括在数据库信息中的多个人中的每个人的外貌特征值进行核对，并确定相似度等于或大于参考值的人。

在能够在数据库信息中确定出相似度等于或大于参考值的人的情况下，输出用于识别该人的信息，作为识别结果。另一方面，在无法在数据库信息中确定出相似度等于或大于参考值的人的情况下，输出“无人相关”，作为识别结果。核对处理的细节不受具体限制，并且可以通过应用各种技术来实现此核对处理。

应当注意，识别单元12可以在开始针对第一顾客的结算处理的操作被执行之前，开始用于识别第一顾客的认证处理。因此，可以在开始针对第一顾客的结算处理的操作被执行之前识别出第一顾客。

例如，在针对第一顾客的产品登记处理开始的情况下，识别单元12可以根据该产品登记处理的开始，开始用于识别第一顾客的认证处理。图15中所示的判断单元14可以判断出：针对第一顾客的产品登记处理开始。例如，在执行最初的产品的登记的情况下，判断单元14可以判断出产品登记处理开始。需要注意的是，识别单元12可以根据在开始结算处理的操作被执行之前的另一操作，开始用于识别第一顾客的认证处理。例如，识别单元12可以将指定事件作为触发条件，开始用于识别第一顾客的认证处理，该指定事件是在针对位于第一顾客之前的顾客(第二顾客)执行结算处理(登记处理、结账处理、结算处理等)期间发生的事件(例如：开始结算处理的操作、收据或优惠券的输出、或找零钱)。例如，在针对第二顾客(在第一顾客之前对其执行结算处理)执行了开始结算处理的操作的情况下，识别单元12可以开始识别第一顾客。在此，第二顾客可以是第一顾客前的紧邻的顾客，或者可以是指定人数前的顾客。

在第一摄像头拍摄运动图像并且认证处理开始的情况下，识别单元12执行如下处理：将指定帧的图像(例如，该时间点的最新帧的图像)确定为处理对象，并识别该图像中包括的人。此后，识别单元12可以将指定时间间隔的各个后续帧的图像用作处理对象，继续执行识别包括在每个图像中的人的处理。也就是说，在识别包括在图像中的人的处理开始之后，识别单元12可以依序地处理随后生成的多个帧的图像(指定时间间隔的帧的图像)，并且可以识别出包括在每个图像中的人。

在这种情况下，识别单元12在先前确定的结束定时，结束针对第一顾客的认证处理。结束定时可以是开始针对第一顾客的结算处理的操作被执行的定时、针对下一顾客的登记处理开始的定时等。也就是说，可以将识别单元12配置为在针对第一顾客的认证处理结束之后，开始针对第一顾客的下一顾客(第三顾客)的处理。另外，可以将识别单元12配置为在针对第一顾客的认证处理结束的同时，开始针对第一顾客的下一顾客(第三顾客)的处理。

在第一摄像头拍摄运动图像的情况下，针对第一顾客累积多个识别结果(参见图5)。也就是说，针对相应帧，累积识别结果(用于识别所提取的人的信息或无人相关)。上述结账单元21可以使用多个识别结果中的指定识别结果来执行上述结算处理。例如，结账单元21可以使用在开始针对第一顾客的结算处理的操作被执行的时间点处的最新识别结果(例如：在该时间点之前累积的识别结果中的最新识别结果，或者以在该时间点之前获取的图像中的最新图像为基础的识别结果)，来执行结算处理。此外，在最新识别结果是无人相关或者识别处理没有结束(无法识别出第一顾客)的情况下，可以使用在指定搜索条件下提取的另一识别结果来执行结算处理。可以将最新帧的前一帧的识别结果用作另一识别结果，或者可以将识别结果能够识别所提取的人的那些帧中的最新帧的结果用作另一识别结果。在另一识别结果也是无人相关的情况下，可以在指定搜索条件下进一步提取另一识别结果。此外，在以指定数量连续提取的识别结果都是无人相关的情况下，结账单元21可以使用与使用面部认证处理的结算处理不同的方法来执行结算处理。另外，在开始针对第一顾客的结算处理的操作被执行的时间点的最新图像中无法识别出第一顾客的情况下，结账单元21可以针对在该最新图像之前获取的图像中识别出的第一顾客执行结算处理。

下面，在第一摄像头拍摄静止图像的情况下，获取单元11可以在指定定时(识别单元12开始认证处理的定时)向第一摄像头请求图像。此外，识别单元12可以将第一摄像头根据该请求而生成的静止图像用作处理对象，并且可以执行对包括在该图像中的人进行识别的处理。在数据库信息中无法确定出相似度等于或大于参考值的人的情况下，获取单元11和识别单元12可以将指定次数作为上限，重复地执行对图像的请求以及对包括在图像中的人的识别，直至可以在数据库信息中确定出相似度等于或大于参考值的人为止。此外，在数据库信息中可以确定出相似度等于或大于参考值的人的情况下，可以输出用于识别该人的信息，作为识别结果。另一方面，在即使重复执行了指定次数也无法在数据库信息中确定出相似度等于或大于参考值的人的情况下，可以输出“无人相关”，作为识别结果。在将用于识别人的信息作为识别结果输出的情况下，上述结账单元21使用该信息来执行结算处理。另一方面，在将无人相关作为识别结果输出的情况下，结账单元21使用与使用面部认证处理的结算处理不同的方法来执行结算处理。

下面，将参考图17的序列图来描述本示例性实施例的信息处理系统100的处理流程的示例。这里，将描述在获取单元11获取了运动图像的情况下所执行的处理。

信息处理系统100并行地执行登记和结算处理以及认证处理。首先，在登记和结算处理中开始产品登记处理的情况下(s30)，向认证处理提供对该情况的通知(s31)。根据该通知，在认证处理中开始识别顾客的处理。具体而言，获取图像(s34)，并且执行对包括在图像中的人进行识别的处理(s35)。此外，累积识别结果(用于识别所提取的人的信息或无人相关)(s36)。在认证处理中，重复s34至s36，直到接收到s37的通知为止。

另一方面，在登记和结算处理中，即使是在s30的产品登记处理开始之后也接收产品登记(s32)。在开始结算处理的操作没有被执行(s33中的否)时，接收产品登记(s32)。在开始结算处理的操作被执行的情况下(s33中的是)，将对该情况的通知提供给认证处理(s37)。

在认证处理中，例如，识别顾客的处理(s34至s36)根据s37的通知而结束。此外，在到该时间为止累积的识别结果(其中，用于识别人的信息或无人相关与执行了图像分析的每个帧相关联)中，提取指定识别结果(与指定帧相关联的、用于识别人的信息或无人相关)(s38)，并且向登记和结算处理通知该指定识别结果(s39)。

此外，例如，可以在提供s37中的通知的时间点处提取最新识别结果。此外，在最新识别结果是用于识别人的信息的情况下，可以向登记和结算处理通知该识别结果。另一方面，在最新识别结果是无人相关的情况下，可以在指定搜索条件下提取另一识别结果。此外，在另一识别结果是用于识别人的信息的情况下，可以向登记和结算处理通知该识别结果。另一方面，在另一识别结果是无人相关的情况下，可以在指定搜索条件下进一步提取另一识别结果。此外，在指定数量的连续识别结果都是无人相关的情况下，可以向登记和结算处理通知无人相关。

在登记和结算处理中，基于在s39中获取的识别结果，执行结算处理(s40)。例如，在作为识别结果获取了用于识别人的信息的情况下，可以从服务器获取与该用于识别人的信息相对应的电子货币信息或积分信息，并且使用该电子货币信息或积分信息来执行结算处理。另一方面，在作为识别结果获取了无人相关的情况下，可以例如使用另一种方法来执行结算处理。

在此，将参考图12和图13描述在信息处理系统100上显示的屏幕的示例。显示是由显示控制单元控制。首先，在执行登记处理期间所获取的屏幕d示出在图12和图13的左侧。在执行登记处理期间所获取的屏幕d上显示了已登记产品的信息(名称、数量、价格等)列表、总金额等。在该示例的情况下，对图中示出的区域“结算”进行触摸的操作是开始结算处理的操作。

在开始结算处理的操作被执行的情况下，根据该操作来转换屏幕。例如，在s39中获取的识别结果是用于识别人的信息的情况下，执行使用该用于识别人的信息的结算处理。在结算处理期间，可以在显示器上显示图13右侧所示的与该结算处理相对应的屏幕(通知正在执行结算处理的屏幕)。在此，显示控制单元可以在显示器上显示与该结算处理相对应的屏幕(通知正在执行结算处理的屏幕)。

应当注意，在登记和结算处理中，在使用在s39中获取的用于识别人的信息(识别结果)的结算处理开始之前，可以在显示器上显示由第一摄像头生成的图像以及与识别结果相对应的人的图像(先前与特征值一起登记的图像)，并且可以向操作者询问认证结果是否有问题。此外，在接收到表示没有问题的输入的情况下，可以执行使用该用于识别人的信息的结算处理。

另一方面，在s39中获取的识别结果是无人相关的情况下，信息处理系统100可以在显示器上显示用于接收对支付方法的选择的屏幕，如图12的右侧所示。此后，可以根据该选择来执行结算处理。

根据本示例性实施例的上述信息处理系统100，在开始结算处理的操作被执行之前，例如在开始产品登记处理的情况下，可以开始使用图像来识别顾客的处理。因此，可以与登记待结账产品的处理并行地执行识别顾客的处理。在这种情况下，预期在开始结算处理的操作被执行的时间点已完成顾客识别。此外，在开始结算处理的操作被执行的情况下，可以根据该操作，使用在该时间点获取的识别结果来开始结算处理。因此，可以在使用面部认证处理执行结算期间缩短面部认证处理的等待时间。

另外，本示例性实施例的信息处理系统100可以处理包括在运动图像中的多个帧的每个图像，识别包括在每个图像中的人，并且基于其中的指定识别结果来执行结算处理。在此，即使是在某一特定定时无法识别出顾客但可以在另一定时识别出顾客的情况下，也可以使用该识别结果来执行结算处理。因而提高了便利性。

<第二示例性实施例>

首先，将参考图1描述本示例性实施例的信息处理系统100的整体和概要。如图所示，信息处理系统100包括顾客识别装置10和结账装置20。信息处理系统100通过顾客识别装置10和结账装置20协作进行的处理来实现指定处理。尽管下面将会描述实现示例，但是，顾客识别装置10和结账装置20可以配置为物理地和/或逻辑地集成，或者可以配置为在物理上和/或逻辑上分离。

结账装置20执行对待结账产品进行登记的处理(登记处理)以及结算处理。操作者(销售员或顾客)通过指定输入装置在结账装置20中登记待结账产品。此外，在完成了产品登记的情况下，操作者通过指定输入装置执行开始结算处理的操作。

基于安装在结账装置20附近的第一摄像头所生成的图像以及登记了多个人中的每个人的外貌特征值的数据库信息，顾客识别装置10识别正在执行结算的顾客。顾客识别装置10可以在针对结账装置20的开始结算处理的操作被执行之前，开始识别顾客的处理。此外，顾客识别装置10向结账装置20通知识别结果(用于识别所提取的人的信息或无人相关)。

结账装置20使用从顾客识别装置10获取的识别结果(用于识别所提取的人的信息或无人相关)来执行结算处理。例如，结账装置20从指定数据库获取与用于识别人的信息相对应的电子货币信息、积分信息等，并使用所获取的信息执行结算处理。另外，在位于组织(如公司)内部的商店内的信息处理系统100的情况下，可以通过如下方式来执行结算处理：按照与用于在该组织内识别顾客的信息(例如：员工编号)相关联的方式，累积待支付的金额，并从工资中扣除待支付的金额。需要注意的是，结账装置20可以使用现金、信用卡、其他类型的电子货币，其他类型的积分等来执行结算处理。例如，在无法通过使用图像的处理识别出顾客的情况下，可以使用所示的其他方法来执行结算处理。

根据本示例性实施例的信息处理系统100，可以在开始结算处理的操作被执行之前开始使用图像来识别顾客的处理。因此，可以与登记待结账产品的处理并行地执行识别顾客的处理。在此，预期在开始结算处理的操作被执行的时间点已完成顾客的识别。此外，在开始结算处理的操作被执行的情况下，根据该操作，可以使用用于识别在该时间点识别出的顾客的信息来开始结算处理。因此，可以在使用面部认证处理执行结算期间缩短面部认证处理的等待时间。

下面，将描述顾客识别装置10和结账装置20的配置。首先，将描述顾客识别装置10和结账装置20的硬件配置的示例。包括在本示例性实施例的顾客识别装置10和结账装置20中的每个功能单元通过基于如下项的任何计算机的硬件和软件的任何组合来实现：cpu；存储器；加载在该存储器上的程序；存储单元(除了先前从装置交付阶段开始存储的程序之外，其还能够存储从诸如cd之类的存储介质、互联网上的服务器等下载的程序)，比如，存储程序的硬盘；以及用于网络连接的接口。此外，本领域技术人员能理解的是，存在着实现方法及其装置的各种修改示例。

图2是示出了本示例性实施例的顾客识别装置10和结账装置20的硬件配置的框图。如图1所示，顾客识别装置10和结账装置20包括处理器1a、存储器2a、输入和输出接口3a、外围电路4a和总线5a。外围电路4a包括各种模块。需要注意的是，在顾客识别装置10和结账装置20配置为物理地和/或逻辑地分离的情况下，顾客识别装置10和结账装置20中的每一个包括如图1所示的硬件配置。

总线5a是用于处理器1a、存储器2a、外围电路4a以及输入和输出接口3a的数据传输路径，以便彼此之间发送和接收数据。例如，处理器1a是诸如cpu或gpu之类的算术处理单元。例如，存储器2a是诸如ram或rom之类的存储器。输入和输出接口3a包括用于从输入装置(例如：键盘、鼠标、麦克风、物理按键、触摸板显示器、读码器等)、外部装置、外部服务器、外部传感器等获取信息的接口，以及用于将信息输出到输出装置(例如：显示器、扬声器、打印机、电子邮件工具等)、外部装置、外部服务器等的接口。处理器1a可以向每个模块输出指令并基于每个模块的运算结果执行算术运算。

随后，将描述结账装置20的功能配置。图16示出了结账装置20的功能框图的示例。如图所示，结账装置20包括结账单元21。尽管附图中未示出，但是结账装置20还可以包括显示控制单元。结账单元21和显示控制单元的功能与第一示例性实施例中描述的结账单元21的功能相同。

应当注意，结账装置20配置为在结账装置20与顾客识别装置10之间交换信息。例如，结账装置20从顾客识别装置10获取用于识别顾客的信息。

另外，结账装置20向顾客识别装置10通知：已执行了指定操作。作为示例，在针对特定顾客的结算处理(登记处理、结算处理等)中，在指定操作(其在开始结算处理的操作被执行之前执行)被执行的情况下，结账装置20可以根据该操作向顾客识别装置10通知该操作被执行。例如，结账装置20可以向顾客识别装置10通知：在针对顾客的结算处理中执行了最初的产品的登记。作为另一示例，结账装置20可以向顾客识别装置10通知：开始结算处理的操作已被执行。

下面，将描述顾客识别装置10的功能配置。图3示出了顾客识别装置10的功能框图的示例。如图所示，顾客识别装置10包括获取单元11、识别单元12和通知单元13。

获取单元11的配置与第一示例性实施例中描述的获取单元11的配置相同。识别单元12的配置与在第一示例性实施例中描述的识别单元12的配置相同。

通知单元13向结账装置20通知由识别单元12获取的识别结果。例如，通知单元13向结账装置20通知由识别单元12识别出的识别结果，比如，“用于识别顾客(第一顾客)的信息”或“无人相关”。此外，在“无人相关”的情况下，可以配置为不提供通知。另外，可以配置为通知信用卡卡号，而不是通知用于识别顾客的信息。此外，在存在另一种结算方法的情况下，可以通知与识别出的顾客相对应的结算方法。

下面，将参考图17的序列图来描述本示例性实施例的信息处理系统100的处理流程的示例。这里，将描述在获取单元11获取了运动图像的情况下所执行的处理。需要注意的是，附图中所示的登记和结算处理是结账装置20的处理。附图中所示的认证处理是顾客识别装置10的处理。

信息处理系统100并行地执行由结账装置20执行的登记和结算处理以及由顾客识别装置10执行的认证处理。首先，在开始产品登记处理的情况下(s30)，结账装置20向顾客识别装置10提供对该情况的通知(s31)。根据该通知，顾客识别装置10开始识别顾客的处理。具体而言，顾客识别装置10获取图像(s34)，并且执行对包括在图像中的人进行识别的处理(s35)。此外，顾客识别装置10累积识别结果(用于识别所提取的人的信息或无人相关)(s36)。顾客识别装置10重复s34至s36，直到接收到s37的通知为止。

另一方面，结账装置20即使是在s30的产品登记处理开始之后也接收到产品登记(s32)。在开始结算处理的操作没有被执行(s33中的否)时，结账装置20接收产品登记(s32)。在开始结算处理的操作被执行的情况下(s33中的是)，结账装置20将对该情况的通知提供给顾客识别装置10(s37)。

例如，顾客识别装置10根据s37的通知而结束识别顾客的处理(s34至s36)。接着，顾客识别装置10的通知单元13在到该时间为止累积的识别结果中提取指定识别结果(s38)，并且向结账装置20通知所提取的识别结果(s39)。

例如，通知单元13可以在提供s37中的通知的时间点处提取最新识别结果。此外，在最新识别结果是用于识别人的信息的情况下，通知单元13可以向结账装置20通知该识别结果。另一方面，在最新识别结果是无人相关的情况下，通知单元13可以在指定搜索条件下提取另一识别结果。此外，在另一识别结果是用于识别人的信息的情况下，通知单元13可以向结账装置20通知该识别结果。另一方面，在另一识别结果是无人相关的情况下，通知单元13可以在指定搜索条件下进一步提取另一识别结果。此外，在指定数量的连续识别结果都是无人相关的情况下，通知单元13可以向结账装置20通知无人相关。

结账装置20基于在s39中获取的识别结果，执行结算处理(s40)。例如，在作为识别结果获取了用于识别人的信息的情况下，结账装置20可以从服务器获取与该用于识别人的信息相对应的电子货币信息或积分信息，并且使用该电子货币信息或积分信息来执行结算处理。另一方面，在作为识别结果获取了无人相关的情况下，结账装置20可以使用例如另一种方法来执行结算处理。

在此，将参考图12和图13描述在结账装置20的显示器上显示的屏幕的示例。首先，在执行登记处理期间所获取的屏幕d示出在图12和图13的左侧。在执行登记处理期间所获取的屏幕d上显示了已登记产品的信息(名称、数量、价格等)列表、总金额等。在该示例的情况下，对图中示出的区域“结算”进行触摸的操作是开始结算处理的操作。

在开始结算处理的操作被执行的情况下，根据该操作来转换屏幕。例如，在s39中获取的识别结果是用于识别人的信息的情况下，执行使用该用于识别人的信息的结算处理。在结算处理期间，可以在显示器上显示图13右侧所示的与该结算处理相对应的屏幕(通知正在执行结算处理的屏幕)。

应当注意，在使用在s39中获取的用于识别人的信息(识别结果)的结算处理开始之前，结账装置20可以在显示器上显示由第一摄像头生成的图像以及与识别结果相对应的人的图像(先前与特征值一起登记的图像)，并且可以向操作者询问认证结果是否有问题。此外，在结账装置20接收到表示没有问题的输入的情况下，结账装置20可以执行使用该用于识别人的信息的结算处理。

另一方面，在s39中获取的识别结果是无人相关的情况下，结账装置20可以在显示器上显示用于接收对支付方法的选择的屏幕，如图12的右侧所示。此后，结账装置20可以根据该选择来执行结算处理。

下面，将参考图6的流程图来描述本示例性实施例的顾客识别装置10的处理流程的示例。该处理的示例是在获取单元11从第一摄像头获取了运动图像的情况下的示例。

首先，顾客识别装置10变为通知等待状态，等待用于开始对包括在图像中的人进行识别的处理的通知(s20)。此外，在从结账装置20接收到指定通知的情况下(s20中的是)，顾客识别装置10开始对包括在图像中的人进行识别的处理。需要注意的是，用于开始对包括在图像中的人进行识别的处理的通知例如是如下的通知：在针对特定顾客执行结算处理(登记处理、结算处理等)期间，在开始结算处理的操作被执行之前执行了指定操作(例如：表示执行了最初的产品的登记的通知)。

在s21中，识别单元12从获取单元11获取待处理图像。在s22中，基于在s21中获取的图像以及登记了多个人中的每个人的外貌的特征值的数据库信息，识别单元12对包括在图像中的人进行识别。此后，在没有提供用于结束对包括在图像中的人进行识别的处理的通知的情况下(s23中的否)，处理再次返回到s21，并获取下一帧的图像。在此之后，重复相同的处理。因此，实现了s22中的识别结果的累积。

此外，在从结账装置20接收到用于结束对包括在图像中的人进行识别的处理的通知的情况下(s23中的是)，处理进行到s24。例如，用于结束对包括在图像中的人进行识别的处理的通知是开始结算处理的操作被执行的通知。

在s24中，通知单元13向结账装置20通知到该时间为止累积的识别结果中的指定识别结果。在此之后，处理返回到s20，并且状态再次变为通知等待状态，等待用于开始对包括在图像中的人进行识别的处理的通知。

下面，将参考图7的流程图来描述本示例性实施例的顾客识别装置10的处理流程的示例。该处理的示例是在获取单元11从第一摄像头获取了静止图像的情况下的示例。

首先，顾客识别装置10变为通知等待状态，等待用于开始对包括在图像中的人进行识别的处理的通知(s10)。此外，在从结账装置20接收到指定通知的情况下(s10中的是)，顾客识别装置10开始对包括在图像中的人进行识别的处理。需要注意的是，用于开始对包括在图像中的人进行识别的处理的通知例如是如下的通知：在针对特定顾客执行结算处理(登记处理、结算处理等)期间，在开始结算处理的操作被执行之前执行了指定操作(例如：表示执行了最初的产品的登记的通知)。

在s11中，获取单元11从第一摄像头请求图像，并且从第一摄像头获取根据该请求而拍摄的图像。此外，识别单元12从获取单元11获取图像。

在s12中，基于在s11中获取的图像以及登记了多个人中的每个人的外貌的特征值的数据库信息，识别单元12对包括在图像中的人进行识别。在s13中，通知单元13向结账装置20通知识别单元12所获取的识别结果。在此之后，处理返回到s10，并且再次变为通知等待状态，等待用于开始对包括在图像中的人进行识别的处理的通知。

下面，将描述由顾客识别装置10和结账装置20实现的本示例性实施例的信息处理系统100的实现示例。

顾客识别装置10和结账装置20可以由物理上和/或逻辑上集成的一个装置实现。例如，顾客识别装置10和结账装置20可以由一个pos收银机实现。

如图8所示，顾客识别装置10和结账装置20可以由在物理上和/或逻辑上分离的pos收银机1和附接装置2实现。pos收银机1和附接装置2配置为能够以有线和/或无线方式彼此通信。pos收银机1和附接装置2可以如图所示一对一地连接，或者，多个pos收银机1可以连接到一个附接装置2。

在图8的示例的情况下，结账装置20可以由pos收银机1实现，而顾客识别装置10可以由附接装置2实现。

另外，结账装置20的功能以及顾客识别装置10的部分功能可以由pos收银机1实现，而顾客识别装置10的另一部分功能可以由附接装置2实现。例如，顾客识别装置10的获取单元11的功能以及识别单元12的部分功能(例如：从图像中提取人的功能和提取人的特征值的功能)可以由pos收银机1实现。此外，识别单元12的另一部分功能(例如：将从图像中提取的人的特征值与登记了多个人中的每个人的外貌的特征值的数据库信息进行核对的功能)以及通知单元13的功能可以由附接装置2实现。

另外，如图9所示，顾客识别装置10和结账装置20可以由物理上和/或逻辑上分离的pos收银机1和服务器3来实现。pos收银机1和服务器3配置为能够以有线和/或无线方式彼此通信。如图所示，多个pos收银机1连接到一个服务器3。

在图9的示例的情况下，结账装置20可以由pos收银机1实现，而顾客识别装置10可以由服务器3实现。

结账装置20的功能以及顾客识别装置10的部分功能可以由pos收银机1实现，而顾客识别装置10的另一部分功能可以由服务器3实现。例如，顾客识别装置10的获取单元11的功能以及识别单元12的部分功能(例如：从图像中提取人的功能和提取人的特征值的功能)可以由pos收银机1实现。此外，识别单元12的另一部分功能(例如：将从图像中提取的人的特征值与登记了多个人中的每个人的外貌的特征值的数据库信息进行核对的功能)以及通知单元13的功能可以由服务器3实现。

在此，将描述修改示例。信息处理系统100可以包括使顾客的面部朝向第一摄像头转动的单元，由此使得可以在容易识别出顾客的状态下拍摄图像。例如，信息处理系统100可以通过在安装在第一摄像头附近的显示器上显示指定信息来使顾客的面部转向第一摄像头。例如，通过在显示器上显示选择屏幕，可以使顾客的面部转向第一摄像头。具体而言，可以提供如下的配置：显示用于选择是否需要塑料购物袋的屏幕，以改变顾客的面部方向。此外，对于是否需要塑料购物袋的显示的时机，优选的是，在结账装置20向顾客识别装置10提供了用于开始顾客识别处理的通知之后，执行该显示。此外，信息处理系统100可以通过从安装在第一摄像头附近的扬声器输出指定声音来使顾客将注意力转向第一摄像头。另外，信息处理系统100可以通过打开和关闭安装在第一摄像头附近的灯来使顾客将注意力转向第一摄像头。

将描述另一个修改示例。信息处理系统100还可以包括：第二获取单元，其获取由安装在另一位置的第二摄像头生成的图像；以及第二识别单元，其基于登记了多个人中的每个人的外貌的特征值的数据库信息来识别造访商店的人。此外，顾客识别装置10的识别单元12可以基于第二识别单元识别出的人群的数据库信息来识别出包括在第一摄像头所生成的图像中的人。在此，可以减少为了识别出包括在第一摄像头所生成的图像中的人而需要核对的信息的数量。因此，可以提高核对处理的速度。

第二摄像头安装在商店的任何位置。例如，第二摄像头可以安装在商店的入口处。需要注意的是，顾客识别装置10可以包括先前步骤识别单元，或者在物理上和/或逻辑上与顾客识别装置10及结账装置20分离的另一装置可以包括先前步骤识别单元。在这种情况下，顾客识别装置10和该另一装置配置为能够以有线和/或无线方式彼此通信。

此外，如下配置也是可行的：除了第二获取单元和第二识别单元之外，信息处理系统100还包括顾客数据库和数据库生成单元。第二识别单元从第二摄像头所获取的图像中提取人，并提取此人的外貌的特征值。此外，第二识别单元将从图像中提取的人的特征值与包括在数据库信息中的多个人中的每个人的外貌的特征值进行核对，并确定出相似度等于或大于参考值的人。数据库生成单元将用于识别由第二识别单元识别出的人的信息(姓名、会员编号、员工编号等)与该人的面部的特征值相关联地存储在顾客数据库中。顾客数据库将用于识别造访了安装有第二摄像头的商店的顾客的信息(姓名、会员编号、员工编号等)与该顾客的面部的特征值相关联地进行存储。此外，可以提供如下的配置：顾客数据库存储到目前为止造访了商店的所有顾客的配置；检测顾客从商店离开并且在顾客离开商店时从顾客数据库中删除顾客的配置；或者，在指定时间段(一天、一周等)过去之后删除存储在顾客数据库中的信息的配置。识别单元12基于构建的顾客数据库和从第一摄像头获取的顾客的面部图像来识别顾客。

将描述另一个修改示例。由获取单元11从第一摄像头获取的图像临时存储在顾客识别装置10的存储装置中。此外，顾客识别装置10可以在指定定时从存储装置中移除图像。例如，在通知单元13向结账装置20提供识别结果的通知的情况下，可以根据该通知移除到该时间为止累积在存储装置中的图像。这样，造访者的个人信息得到了保护。

将描述另一个修改示例。在存储了多个人中的每个人的外貌的特征值的数据库信息中，信息处理系统100还可以存储多个人中的每个人的图像(登记图像)。此外，信息处理系统100可以在显示器(例如：结账装置20的显示器)上并排显示由第一摄像头生成的图像和由顾客识别装置10识别出的人的登记图像。显示器可以朝向操作结账装置20的操作者(销售员或顾客)，或者可以在销售员操作结账装置20时朝向等待的顾客。因此，销售员或顾客可以检测出信息处理系统100的顾客识别错误。

将描述另一个修改示例。信息处理系统100可以为每位顾客登记由顾客指定的支付方法，如图18所示。此外，信息处理系统100可以使用与用于识别使用图像识别出的顾客的信息相对应的结算方法来执行结算处理。

应注意，可以将所有上述修改示例应用于另一示例性实施例。

根据本示例性实施例的上述信息处理系统100，获得了与第一示例性实施例中相同的有益效果。另外，如图8和图9所示，借助于由pos收银机1和另一装置(附接装置2或服务器3)来实现信息处理系统100的配置，可以使用不具备面部认证处理执行功能的现有pos收银机1。因而可以节省添加新系统的成本。

<第三示例性实施例>

该示例性实施例是第二示例性实施例的修改示例。在参考图6描述的第二示例性实施例中，描述了这样的示例：顾客识别装置10累积通过处理运动图像而获取的多个识别结果，并通过在指定定时提取其中一个识别结果来向结账装置20提供通知。在本示例性实施例中，顾客识别装置10可以将通过连续处理运动图像而获取的多个识别结果发送到结账装置20。此外，多个识别结果可以在结账装置20中的存储装置中累积。在此，结账装置20在任何定时(开始结算处理的操作被执行的定时)提取多个累积识别结果中的一个，并使用所提取的识别结果来执行结算处理。提取多个识别结果中的一个的处理与上述通知单元13执行的处理相同。本示例性实施例的信息处理系统100可以实现与第一和第二示例性实施例中相同的有益效果。

<第四示例性实施例>

本示例性实施例的顾客识别装置10与第二和第三示例性实施例的顾客识别装置10的不同之处在于：在顾客识别装置10从结账装置20接收到开始结算处理的操作被执行的通知的情况下，顾客识别装置10根据该通知开始如下处理：将包括在由获取单元11获取的图像的指定区域中的人识别为下一位顾客(下一位执行结算处理的顾客)。顾客识别装置10的其他配置以及结账装置20的配置与第二和第三示例性实施例的配置相同。

将参考图10描述结算处理的流程的示例。结账装置20安装在柜台上。操作结账装置20的销售员和正在执行结算的顾客在柜台两侧彼此面对。正在执行结算的顾客处于结账装置20和销售员的前方。在附图中，示出了等待结算处理的顾客。在附图中，箭头表示结束了结算处理的顾客的移动方向以及下一位顾客在上述顾客移动之后的移动方向。

在例如前一位顾客开始结算处理的情况下，队列内的下一位顾客在保持与前一位顾客相距一定距离的同时慢慢沿附图中所示的箭头方向移动，或者例如将待结账产品(其置于附图中柜台右端附近)移动得更靠近结账装置20。此外，在前一名顾客从柜台前面离开的情况下，下一位顾客进一步沿箭头方向移动，并处于结账装置20或销售员的前方。

在本示例性实施例中，安装第一摄像头不仅是为了拍摄在结账装置20以及销售员前方正在执行结算的顾客，而且还是为了拍摄等待中的顾客所处的一侧(与正在执行结算的顾客的位置相比)。

此外，在识别单元12从结账装置20接收到开始结算处理的操作被执行的通知的情况下，识别单元12根据该通知开始如下处理：将包括在由获取单元11获取的图像的指定区域中的人识别为下一位顾客。

指定区域是图像中示出了下一位顾客的区域(淡入区域)。指定区域根据第一摄像头的安装位置或方向、正在执行结算的顾客所处的位置或者队列中下一位顾客所处的位置来确定。例如，在图10所示的关系中，在第一摄像头从附图中的下侧向上侧执行拍摄的情况下，可以将图11中所示的帧图像f的区域a2(右侧区域)设为指定区域。需要注意的是，也可能在区域a1(左侧区域)中示出前一位顾客。

在第一摄像头拍摄运动图像的情况下，在识别出了区域a2中的人之后，识别单元12可以监视识别出的人的移动。此外，在此人移动到区域a1中的情况下，此后可以将识别人的处理的对象区域从区域a2切换成整个图像。

应注意，可以将本示例性实施例的配置用于第一示例性实施例的信息处理系统100。

根据以上所述的本示例性实施例，可以实现与第一至第三示例性实施例中相同的有益效果。另外，根据本示例性实施例的信息处理系统100，可以在比第一至第三示例性实施例中描述的定时更早的定时开始识别顾客的处理。由此可以在更早的阶段识别出顾客。因此，可以更可靠地在使用面部认证处理执行结算期间缩短面部认证处理的等待时间。

尽管可以将示例性实施例的一部分或全部描述为下面的附加说明，但是本发明不局限于以下内容。

一种信息处理系统，包括：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算单元，执行针对识别出的所述第一顾客的结算处理，

其中所述识别单元在开始所述结算处理的操作被执行之前识别所述第一顾客。

2、根据1所述的信息处理系统，

其中在登记由所述第一顾客购买的产品的处理开始的情况下，所述识别单元开始识别所述第一顾客。

3、根据1所述的信息处理系统，

其中在针对第二顾客执行了开始结算处理的操作的情况下，所述识别单元开始识别所述第一顾客，所述第二顾客是在所述第一顾客之前执行结算处理的顾客。

4、根据1至3中任一项所述的信息处理系统，还包括：

显示控制单元，在所述识别单元无法识别出所述第一顾客的情况下显示用于选择结算方法的屏幕。

5、根据1至4中任一项所述的信息处理系统，

其中所述获取单元从所述第一摄像头获取在不同定时成像的多个图像，并且

其中所述结算单元执行针对在最新图像中识别出的所述第一顾客的结算处理，所述最新图像是在针对所述第一顾客的开始结算处理的操作被执行的时间点时最新的图像。

6、根据5所述的信息处理系统，

其中在所述识别单元在所述最新图像中无法识别出所述第一顾客的情况下，所述结算单元执行针对在所述最新图像之前获取的图像中识别出的所述第一顾客的结算处理。

7、根据1至6中任一项所述的信息处理系统，还包括：

第二获取单元，从安装在与所述第一摄像头不同的位置的第二摄像头获取面部的图像；以及

生成单元，基于从所述第二摄像头获取的图像以及所述数据库信息，生成用于识别正在造访商店的顾客的顾客数据库，

其中所述识别单元基于由所述生成单元生成的所述顾客数据库的信息来识别所述第一顾客。

8、一种信息处理系统，包括：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算单元，执行针对识别出的所述第一顾客的结算处理，

其中在登记由所述第一顾客购买的产品的处理开始的情况下，所述识别单元识别所述第一顾客。

9、一种顾客识别装置，包括：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

通知单元，向结账装置通知与识别出的所述第一顾客相对应的、用于识别该顾客的信息，

其中所述识别单元在开始结算处理的操作被执行之前识别所述第一顾客。

10、一种由计算机执行的信息处理方法，所述方法包括：

获取步骤，获取由第一摄像头生成的面部的图像；

识别步骤，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算步骤，执行针对识别出的所述第一顾客的结算处理；并且

在所述识别步骤中，在开始所述结算处理的操作被执行之前识别所述第一顾客。

11、一种程序，使计算机用作：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算单元，执行针对识别出的第一顾客的结算处理，

其中所述识别单元在开始所述结算处理的操作被执行之前识别所述第一顾客。

12、一种由计算机执行的信息处理方法，所述方法包括：

获取步骤，获取由第一摄像头生成的面部的图像；

识别步骤，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算步骤，执行针对识别出的所述第一顾客的结算处理；并且

在所述识别步骤中，在登记由所述第一顾客购买的产品的处理开始的情况下，识别所述第一顾客。

13、一种程序，使计算机用作：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

结算单元，执行针对识别出的第一顾客的结算处理，

其中，在登记由所述第一顾客购买的产品的处理开始的情况下，所述识别单元识别所述第一顾客。

14、一种由计算机执行的顾客识别方法，所述方法包括：

获取步骤，获取由第一摄像头生成的面部的图像；

识别步骤，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

通知步骤，向结账装置通知与识别出的所述顾客相对应的、用于识别该顾客的信息，

其中所述识别步骤在开始结算处理的操作被执行之前识别所述第一顾客。

15、一种程序，使计算机用作：

获取单元，获取由第一摄像头生成的面部的图像；

识别单元，基于所获取的图像和登记了面部的特征值的数据库信息来识别进行支付的第一顾客；以及

通知单元，向结账装置通知与识别出的所述顾客相对应的、用于识别该顾客的信息，

其中所述识别单元在开始结算处理的操作被执行之前识别所述第一顾客。

尽管在上文中参考示例性实施例描述了所要求保护的本发明，但是，所要求保护的本发明并不局限于上述示例性实施例。对于所要求保护的本发明的配置和细节，可以在所要求保护的本发明的范围内作出本领域技术人员能够理解的各种修改。

本申请要求于2016年12月20日提交的日本专利申请第2016-246537号的优先权，并且该申请的内容通过引用的方式整体并入本文中。