销售数据处理装置及其控制方法、服务器的制造方法
【专利摘要】本发明公开了一种销售数据处理装置及其控制方法、服务器，该装置包括：商品信息存储部，存储已交易处理的商品的商品信息；第一属性存储部，当基于通过摄像头摄像的摄像图像能检测出能判断购买商品的顾客的属性的人脸时，将表示基于检测出的人脸的人脸图像信息判断出的属性的属性信息与商品信息关联存储；摄像图像存储部，存储摄像图像；发送部，当基于摄像图像不能检测出能判断购买商品的顾客的属性的人脸时，将通过商品信息存储部存储的商品信息及摄像图像存储部存储的摄像图像发送给服务器；以及第二属性存储部，将表示基于从基于已发送的商品信息抽出一位顾客的服务器发送的一位顾客的人脸图像信息判断出的属性的属性信息与商品信息关联存储。
【专利说明】销售数据处理装置及其控制方法、服务器
[0001 ] 本申请主张申请日为2015年04月07日、申请号为JP2015-078628的日本申请为优先权，并引用上述申请的内容。
技术领域
[0002]本发明涉及一种销售数据处理装置及其控制方法、服务器。
【背景技术】
[0003]目前，在便利店等店铺中，为了进行顾客层分析、商品的销售分析等，往往有取得购买商品的顾客的性别、年龄层等的属性信息的情况。该属性信息的取得，是在对通过POS终端(Point Of Sales:销售点)、天棚等所设置的摄像头摄像的顾客的图像进行分析后取得有顾客的属性信息的。
[0004]但是，要从顾客图像取得属性信息，就需要从正面摄像顾客的人脸。不过，当顾客相对于摄像头不正对时或即使正对而顾客在身上带着口罩、帽子时，有不能取得顾客的属性信息的可能性。
【发明内容】
[0005]鉴于上述问题，本发明的目的在于提供一种销售数据处理装置及其控制方法、月艮务器，其能够以更高概率取得人物的属性信息。
[0006]为解决上述问题，本发明第一方面所涉及的销售数据处理装置包括:商品信息存储部，将已交易处理的商品的商品信息存储在存储部中；第一属性存储部，当基于通过摄像头摄像的摄像图像能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将表示基于检测出的人脸的人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中；摄像图像存储部，存储所述摄像图像;发送部，当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将通过所述商品信息存储部所存储的所述商品信息及所述摄像图像存储部所存储的所述摄像图像发送给服务器；以及第二属性存储部，将表示基于一位顾客的所述人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中，其中，所述一位顾客的所述人脸图像信息是从基于已发送的所述商品信息及所述摄像图像抽出了一位顾客的所述服务器发送来的信息。
[0007]根据这样的构成，通过设置发送部将商品信息和摄像图像发送给服务器，能够以更高概率取得顾客的属性信息。
[0008]在本发明第二方面涉及的销售数据处理装置中，所述发送部当基于所述摄像图像不能检测出能够判断购买了所述商品的顾客的属性的人脸时，将该顾客的属性不明的不明信息存储在所述存储部中，所述第二属性存储部将表示基于从所述服务器接收到的所述一人的人脸图像信息判断出的顾客的属性的属性信息替代所述不明信息存储在所述存储部中。
[0009]根据这样的构成，通过设置发送部将不明信息存储在所述存储部中，即使当销售数据处理装置不能进行人脸检测而不能取得属性信息时，也能够基于从服务器接收到的人脸图像信息，更可靠地取得顾客的属性信息。
[0010]在本发明第三方面涉及的销售数据处理装置中，所述发送部当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，并判断出顾客所购买的商品的数量为小于规定数量时，将通过所述商品信息存储部所存储的所述商品信息及所述摄像图像存储部所存储的所述摄像图像发送给服务器。
[0011]根据这样的构成，通过在发送部判断商品的数量为小于规定数量时向服务器发送商品信息和摄像图像，能够在销售数据处理装置中不涉及过量的负担。
[0012]本发明第四方面涉及的服务器包括:图像存储部，存储通过对应陈列商品的多个区所分别设置的摄像头所摄像的通过该区的人物的图像信息;存储部，将所述各区和该区内所陈列的全部的商品的商品信息进行对应来存储;接收部，接收销售数据处理装置已交易处理的商品的所述商品信息及摄像购买了所述商品的顾客的摄像信息；区选定部，将包含接收到的所述商品信息的所述存储部所存储的区全部进行选定;人脸图像抽出部，基于在根据已选定的区的所述图像信息识别出的该区所摄像的人物的人脸图像和所述摄像图像，抽出在最多的所述区中所摄像的一位人物的人脸图像信息；以及发送部，将抽出的人脸图像信息发送给所述销售数据处理装置。
[0013]根据这样的构成，通过设置人脸图像抽出部，能够抽出用于人脸检测的最接近的人物的人脸图像信息，从而以更高概率取得人物的属性信息。
[0014]在本发明第五方面涉及的服务器中，所述人脸图像抽出部当最多的所述区中所摄像的人物为多位时，采用所述摄像图像抽出最多的所述区中所摄像的一位人物的人脸图像
?目息O
[0015]根据这样的构成，通过当最多的所述区中所摄像的人物为多位时采用摄像图像，能够容易抽出最多的所述区中所摄像的一位人物的人脸图像信息，从而在服务器中不涉及有过量的负担。
[0016]在本发明第六方面涉及的服务器中，所述人脸图像抽出部，参照所述摄像信息所包含的已交易的人物的人脸的器官、服装，抽出在最多的所述区中所摄像的一位人物的人脸图像信息。
[0017]根据这样的设置，通过参照摄像图像所包含的已交易的人物的人脸的器官、服装，能够更可靠地抽出最多的所述区中所摄像的一位人物的人脸图像信息。
[0018]在本发明第七方面涉及的服务器中，所述图像存储部消除大于等于规定小时前的所述图像信息，即只存储小于规定小时的所述图像信息。
[0019]根据这样的设置，通过消除大于等于规定小时前的所述图像信息，图像存储部能够存储最恰当的规定小时的所述图像信息，从而能够不需要较大存储容量的图像存储部。
[0020]本发明第八方面涉及的基于销售数据处理装置的控制方法，该控制方法包括以下步骤:商品信息存储步骤，将已交易处理的商品的商品信息存储在存储部中；第一属性存储步骤，当基于通过摄像头摄像的摄像图像能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将表示基于检测出的人脸的人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中；摄像图像存储步骤，存储所述摄像图像;发送步骤，当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将通过所述商品信息存储步骤所存储的所述商品信息及所述摄像图像存储步骤所存储的所述摄像图像发送给服务器；以及第二属性存储步骤，将表示基于一位顾客的所述人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中，其中，所述一位顾客的所述人脸图像信息是从基于已发送的所述商品信息及所述摄像图像抽出了一位顾客的所述服务器发送来的信息。
[0021]根据这样的构成，通过发送步骤将商品信息和摄像图像发送给服务器，能够以更高概率取得顾客的属性信息。
[0022]在本发明第九方面涉及的控制方法中，所述发送步骤当基于所述摄像图像不能检测出能够判断购买了所述商品的顾客的属性的人脸时，将该顾客的属性不明的不明信息存储在所述存储部中，所述第二属性存储步骤将表示基于从所述服务器接收到的所述一人的人脸图像信息判断出的顾客的属性的属性信息替代所述不明信息存储在所述存储部中。
[0023]根据这样的构成，通过发送步骤将不明信息存储在所述存储部中，即使当销售数据处理装置不能进行人脸检测而不能取得属性信息时，也能够基于从服务器接收到的人脸图像信息，更可靠地取得顾客的属性信息。
[0024]在本发明第十方面涉及的控制方法中，所述发送步骤当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，并判断出顾客所购买的商品的数量为小于规定数量时，将通过所述商品信息存储步骤所存储的所述商品信息及所述摄像图像存储步骤所存储的所述摄像图像发送给服务器。
[0025]根据这样的构成，通过发送步骤判断商品的数量为小于规定数量时向服务器发送商品信息和摄像图像，能够在销售数据处理装置中不涉及过量的负担。
【附图说明】
[0026]下面，参照附图对本发明所涉及的销售数据处理装置及其控制方法、服务器进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中:
[0027]图1是模拟地示出店铺内的各装置的配置的平面图；
[0028]图2是表示从顾客侧角度看实施例的POS终端的外观的立体图；
[0029]图3是表示POS终端的硬件构成的框图；
[0030]图4是表示POS终端的人脸主文件的一例的存储分配图；
[0031 ]图5是表示摄像头服务器的硬件构成的框图；
[0032]图6是表示摄像头服务器的区存储部的一例的存储分配图；
[0033]图7是表示POS终端的功能构成的功能框图；
[0034]图8是表示POS终端的控制处理的流程的流程图；
[0035]图9是表示POS终端的控制处理的流程的流程图；
[0036]图10是表示POS终端的控制处理的流程的流程图；
[0037]图11是表示摄像头服务器的功能构成的功能框图；
[0038]图12是表示摄像头服务器的控制处理的流程的流程图；以及
[0039]图13是示意地示出摄像头服务器的人脸集聚的一例图。
[0040]附图标记说明
[0041]I POS终端4摄像头服务器
[0042]100 控制部101商品信息存储部
[0043]102 摄像图像存储部103第一属性存储部
[0044]104 发送部105第二属性存储部
[0045]142 人脸主文件143属性汇总部
[0046]401 图像存储部402接收部
[0047]403 区选定部404人脸图像抽出部
[0048]405 发送部442区图像部
【具体实施方式】
[0049]以下，参照图1至图13，对实施例所涉及的销售数据处理装置、服务器及程序进行详细地说明。在实施例中，作为销售数据处理装置使用P0S(Point Of Sales:销售点)终端来进行说明。此外，在实施例中，作为服务器采用摄像头服务器来进行说明。另外，本发明并不因以下说明的实施例而被限定。
[0050]图1是表示实施例的POS终端I及摄像头服务器4被设置在店铺内的状态的平面示意图。在图1中，店铺P内具有销售商品的销售区Pl和作为后院的事务区P2。销售区Pl具有多列货架S(S1?S5)、摄像头C(C1?C5)及POS终端I。另外，当总体的指货架时使用参照符号“S”，当个别地指各货架时使用个别参照符号“SI?S5”。此外，当总体的指摄像头时使用参照符号Y’，当个别地指各摄像头时使用个别参照符号“Cl?C5”。此外，在事务区P2中，具有摄像头服务器4。
[0051]POS终端1、摄像头Cl?C4及摄像头服务器4通过通信线路5相互电气连接。摄像头C5内置在POS终端I中。
[0052]各货架S被分隔成多段，很多商品被陈列在各段中。各货架S之间分别设置有区E(El?E4)。另外，当总体的指区时使用参照符号?”，当个别指各区时使用个别参照符号?1?E4”。区E设置在货架S之间，并是顾客能够相互通过的充分空间。顾客在通过区E的同时观察货架所陈列的商品、或者从货架S将商品移动到购物筐或推车中来购买商品。
[0053]摄像头Cl?C4安装在店铺P的销售区Pl的天棚上。摄像头Cl?C4从天棚朝向各区E设置。摄像头Cl?C4由CCD等构成，摄像顾客H等的被拍摄体的连续静止画或者视频(统称为“图像”)。在实施例中，摄像头Cl?C4对通过各区E的顾客H诸如每秒摄像10张连续静止画。摄像头Cl摄像通过区El的顾客的图像。摄像头C2摄像通过区E2的顾客的图像。摄像头C3摄像通过区E3的顾客的图像。摄像头C4摄像通过区E4的顾客的图像。摄像头Cl?C4所摄像的图像通过通信线路5被发送给摄像头服务器4。
[0054]POS终端I进行在店内销售的商品的销售所涉及的销售登记。通过作为操作员的操作员CH操作POS终端I，P0S终端I执行所销售的商品的销售登记处理及结算处理。销售登记处理是指光学地读取附加在被销售的商品上的条形码等的代码从而输入商品代码，并显示基于已输入的商品代码读出的该商品的商品名、价格(商品信息)，而且将商品信息存储在缓冲器中的处理。结算处理是指基于随着销售登记处理被存储在缓冲器中的商品信息，显示该交易所涉及的合计金额及基于从顾客预收的预收款计算找零并显示的处理、向找零机指示发放找零的处理、以及发放打印了商品信息和结算信息(合计金额、预收金额、找零额等)的票据的处理等。另外，将合并销售登记处理和结算处理的处理称为交易处理。
[0055]摄像头C5在POS终端I的顾客用显示部(参照图2)中朝向购买商品的顾客而设置。摄像头C5摄像购买商品(即进行交易)的顾客H的图像。在实施例中，摄像头C5诸如每秒摄像10张顾客H的连续静止画。
[0056]图2是表示从顾客H侧角度看实施例的POS终端I的外观的立体图。在图2中，P0S终端I具有本体2和钱币收纳箱3。钱币收纳箱3具有钱箱，收纳有从顾客H预收的纸币或货币的钱币、商品券等的有价证券类及递交给顾客H的找零等。
[0057]本体2设置有输入信息的键盘等的操作部17、由液晶显示器等构成并向操作者显示信息的店员用显示部18以及由液晶显示器等构成并向顾客H显示信息的顾客用显示部19。此外，本体2具有读取附加在商品上的条形码、二维代码等的代码的读取部20。读取部20通过CCD线性传感器等读取附加在商品上的条形码、二维代码来进行输入。此外，本体2在内部具有POS终端I的控制部100(参照图3)、打印商品信息并发放票据的打印部21。
[0058]此外，在POS终端I的顾客用显示部19的显示面侧的上部设置有由CCD图像传感器等构成的摄像头C5。该摄像头C5对大致正对POS终端I的顾客H侧的顾客H以人脸为中心摄像图像。
[0059]接着，参照图3及图4，对POS终端I的硬件进行说明。图3是表示POS终端I的硬件构成的框图。在图3中，POS终端I具有CPU(Central Processing Unit:中央处理器)11、R0M(Read Only Memory:只读存储器)12、RAM(Random Access Memory:随机存取存储器)13 以及存储器部14等。CPUll为控制主体。R0M12存储各种程序。RAM13展开程序、各种数据。存储器部14存储各种程序。CPUll、R0M12、RAM13及存储器部14相互通过数据总线15连接。CPUll、R0M12及RAM13构成控制部100。也就是说，控制部100通过CPUll按照R0M12或存储器部14所存储并在RAM13中展开的控制程序141进行动作，执行后述的控制处理。
[0060]RAM13具有商品信息部131、图像存储部132及图像信息部133。商品信息部131与通过读取部20读取的商品代码对应存储已被销售登记处理的商品的商品信息(商品名、商品的价格等)。图像存储部132存储从摄像头5所摄像的摄像图像检测出人脸的顾客H的图像。检测人脸的人脸检测技术是通过从摄像头C所摄像的图像检测后述的人脸的各器官(眼睛、鼻子、嘴、耳朵、下颚等)的全部，从而检测出是人物的人脸的公知技术。图像信息部133存储摄像头C5所摄像的顾客H的摄像图像。图像信息部133所存储的摄像图像是未人脸检测出顾客H的人脸的图像(例如，象人脸没有朝向正面的图像或戴太阳镜、口罩的图像那样)。因此，图像信息部133所存储的摄像图像虽然没有映入有构成人脸的所有器官，但是往往映入有顾客H的人脸的一部分器官。
[0061 ] 存储器部14由即使断电也保持存储信息的HDD(Hard Disc Drive:硬盘驱动器)、闪存器等非易失性存储器构成，并存储包含控制程序141的程序等。此外，存储器部14具有人脸主文件142(参照图4)、属性汇总部143。
[0062]属性汇总部143使在POS终端I中已销售登记处理的商品(即顾客所购买的商品)的商品信息与购买了商品的顾客的属性信息对应并按属性(按性别、年龄层)汇总存储。基于属性汇总部143所存储的商品信息，能够分析按属性的购买商品的倾向、趋势。
[0063]此外，数据总线15通过控制器16连接有操作部17、店员用显示部18、顾客用显示部19、读取部20、打印部21及摄像头C5 ο控制器16接受来自控制部100的指示，对操作部17、店员用显示部18、顾客用显示部19、读取部20、打印部21及摄像头C5进行控制。不过，为了便于说明，将控制器16所进行的控制视为由控制部100进行来说明。
[0064]操作部17具有包含置数键、功能键等的各种键。小计是为了结束所购买的商品的销售登记处理并广播开始结算处理而进行操作的键。当小计键被操作时，则开始该交易的结算处理。预收/当前合计键171是用于广播交易结束，而且用现金对交易进行结算处理的键。当预收/当前合计键171被操作时，则执行现金的结算处理。
[0065]店员用显示部18将显示面朝向店员等操作者而设置，并向操作者显示信息。顾客用显示部19将显示面朝向顾客H而设置，并向顾客H显示信息。另外，店员用显示部18及顾客用显示部19上所设置并通过触摸起到键的作用的触摸键(未图示)是操作部17的一部分。
[0066]读取部20由CCD图像传感器等构成，并通过CCD读取附加在商品上的条形码或二维代码等代码从而输入商品代码。在实施例中，采用手持式的读取部20，店员通过将拿到手中的读取部20靠近或接触附加在商品上的代码来读取代码。另外，读取部20也可以是通过多面反射镜等扫描所发光的光，并接受通过代码反射的光的构成的扫描仪。
[0067]打印部21拉出本体2内所收纳的辊状的票据纸张，诸如用具有热转印型的打印头的热敏打印机等打印商品信息、结算信息等，并作为票据进行发放。摄像头C5由CCD等构成，摄像要交易的顾客H等的图像。在实施例中，诸如每秒连续地摄像10张顾客H的图像。摄像头C5所摄像的顾客H的图像，除人脸外还摄像顾客H所穿着的衣服等。
[0068]此外，数据总线15连接有与店铺内的事务区P2所设置的摄像头服务器4、店铺服务器(未图示)电气连接的通信I/F(Inter Face:接口)24。通信I/F24与通信电路5连接。店铺服务器与店铺所设置的所有的POS终端I电气连接，并从各POS终端I收集商品信息、结算信息。店铺服务器将从POS终端I收集的商品信息、结算信息发送给本部所设置的本部服务器(未图示)。
[0069]图4是表示存储器部14的人脸主文件142的存储分配图。在图4中，人脸主文件142具有对应从10岁到70岁以上的每个性别、每个年龄层存储人脸器官信息的人脸器官信息部1421。各人脸器官信息部1421存储有能够指定各自的属性(年龄层、性别)的人脸器官信息。
[0070]人脸器官信息就是表示与器官、特征一致来分类人的人脸的每个属性的各器官、特征的数据，诸如指表示人的眼睛、鼻子、嘴、耳朵、下颚等的器官的特征、以及笑脸、认真表情、闭上眼睛、睁开眼睛等的人脸的变形特征的数据。对应每个属性存储的人脸器官信息是表示与其他属性不同的其属性的特征的信息。例如，10岁至19岁(男子)的人脸器官信息部1421存储有表示10岁至19岁男性的特征的眼睛、鼻子、嘴、耳朵的信息、以及表示10岁至19岁男性的特征的笑脸、认真的脸的信息。按该属性的人脸器官信息是基于多数的统计数据编制的显著地表示其属性的信息。
[0071]接着，参照图5对摄像头服务器4的硬件进行说明。在图5中，摄像头服务器4具有作为控制主体的CPU41、存储各种程序的R0M42、展开各种数据的RAM43及存储各种程序的存储器部44等。031]41、如142、1^143及存储器部44相互通过数据总线45连接。0?1]41、1?0142及RAM43构成控制部400。也就是说，控制部400通过CPU41按照R0M42或存储器部44所存储并在RAM43中展开的控制程序441进行动作，来执行后述的控制处理(参照图11及图12)。
[0072]存储器部44由即使断电也保持存储信息的HDD(Hard Disc Drive:硬盘驱动器)、闪存器等非易失性存储器构成，并存储包含控制程序441的程序等。此外，存储器部44具有区图像部442(参照图6)。
[0073]此外，数据总线45通过控制器46连接有操作部47和显示部48。操作部47是具有进行各种操作的键的键盘。显示部48诸如是液晶显示器，显示信息。此外，数据总线45连接有通信I/F49 ο通信I/F49通过通信线路5与POS终端I和摄像头Cl?C4电气连接。
[0074]接着，参照图6对存储器部44所存储的区图像部442进行说明。区图像部442存储摄像头Cl?C4分别摄像的区E的图像。区图像部442具有存储指定所摄像的摄像头C的摄像头代码的摄像头部442a以及存储通过各摄像头C摄像的图像的图像信息的区图像部442b。摄像头CI的摄像头代码被存储在摄像头部442aI中，通过摄像头Cl摄像的图像被存储在区El图像部442bl中。摄像头C2的摄像头代码被存储在摄像头部442a2中，通过摄像头C2摄像的图像被存储在区E2图像部442b2中。摄像头C3的摄像头代码被存储在摄像头部442a3中，通过摄像头C3摄像的图像被存储在区E3图像部442b3中。摄像头C4的摄像头代码被存储在摄像头部442a4中，通过摄像头C4摄像的图像被存储在区E4图像部442b4中。
[0075 ]另外，在实施例中，区图像部44 2b存储有摄像头C所摄像的最近的2小时的图像，在此之前的图像依次被消除。据统计，大部分的顾客在2小时以内完成购物，区图像部442b如果存储对应2小时的图像则能够充分对应。
[0076]接着，参照图7至图1O对POS终端I的控制处理进行说明。图7是表示POS终端I的功能构成的功能框图。控制部100通过按照R0M12或存储器部14所存储的包含控制程序141的各种程序，使其具有商品信息存储部101、第一属性存储部102、摄像图像存储部103、发送部104以及第二属性存储部105的功能。
[0077]商品信息存储部1I具有将已交易处理的商品的商品信息存储在存储部中的功會K。
[0078]第一属性存储部102具有当基于通过摄像头所摄像的摄像图像，能够检测出可判断购买了商品的顾客的属性的人脸时，将表示基于检测出的人脸的人脸图像信息判断出的属性的属性信息与商品信息关联存储在所述存储部中的功能。
[0079 ]摄像图像存储部103具有存储摄像图像的功能。
[0080]发送部104具有当基于摄像图像不能检测出可判断购买了商品的顾客的属性的人脸时，将通过商品信息存储部101存储的商品信息及通过摄像图像存储部103存储的摄像图像发送给服务器的功能。
[0081]第二属性存储部105具有将表示基于一位顾客的人脸图像信息判断出的属性的属性信息与商品信息关联存储在存储部中的功能，所述一位顾客的人脸图像信息是从基于已发送的商品信息及摄像图像抽出一位顾客的服务器发送来的的信息。
[0082]图8至图10是表示POS终端I的控制处理的流程的流程图。首先，在图8中，控制部100判断是否通过读取部20读取有附加在商品上的代码而输入有商品代码(步骤Sll)。当判断为已读取有商品代码时(步骤Sll的是)，控制部100判断在Sll中所输入的商品代码是否是该交易中的最初(第一个)商品的商品代码(S12)。控制部100当在商品信息部131中未存储有商品的商品信息时判断为是该交易中的最初输入。
[0083]当判断为是该交易中的最初输入时(S12的是)，控制部100起动图9所示的人脸检测线程(程序)(S13)。而且，控制部100(商品信息存储部101)执行在Sll中已输入的商品代码的商品的销售登记处理并在商品信息部中存储商品信息(S14)。此外，当判断出不是在该交易中的最初输入时(S12的否)，由于人脸检测线程已经起动，所以控制部100不执行S13而执行S14。而且，控制部100返回到Sll。
[0084]在这里，参照图9对控制部100在S13中起动的人脸检测线程的控制处理的流程进行说明。人脸检测线程是采用POS终端I所设置的摄像头C5摄像位于顾客用显示部19前面的顾客H的图像，并从所摄像的图像进行人脸检测的程序。
[0085]在图9中，控制部100起动摄像头C5开始摄像(S41)。接着，控制部100判断采用上述的人脸检测技术，从摄像头C5所摄像的进行了交易的顾客的图像是否已人脸检测(S42)。当判断为已人脸检测时(S42的是)，控制部100将已人脸检测出的进行了交易的顾客的人脸图像存储在图像存储部132中(S43)。另一方面，当判断出未检测出人脸时(S42的否)，控制部100(摄像图像存储部102)将摄像头C5所摄像的进行了交易的顾客的图像存储在图像信息部133(S46)。
[0086]在执行S43的处理或者S46的处理后，控制部100判断后述的控制部100是否输出人脸检测线程的结束信号(S44)。当判断出输出人脸检测线程的结束信号时(S44的是)，控制部100使摄像头C5停止从而结束通过摄像头C5所进行的摄像(S45)。
[0087]另外，当在S44中判断出未输出人脸检测线程的结束信号时(S44的否)，控制部100返回到S42。
[0088]返回到图8的说明。另一方面，当在Sll中判断出未输入有商品代码时(Sll的否)，控制部100判断在广播交易结束的同时，用现金对交易进行结算处理用的预收/当前合计键171是否被操作(S21)。当判断出被操作时(S21的是)，控制部100输出使在S13中起动的人脸检测线程结束用的结束信号(S22)。接着，控制部100执行从顾客接受的预收款的处理、找零的支付等结算处理(S23)。
[0089]接着，控制部100判断是否在图像存储部132中存储有人脸图像(S24)。当判断出已存储时(S24的是)，控制部100基于图像存储部132所存储的人脸图像判断顾客的属性(性另IJ、年龄层等)(S25)。也就是说，控制部100对应所存储的顾客的人脸图像的各器官(眼睛、鼻子、耳朵、下颚等)，与存储在人脸主文件142的人脸器官信息部1421中的人脸器官信息进行对比。而且，控制部100基于对比的结果，判断该顾客的属性。具体地说，判断在图像存储部132所存储的人脸图像的各人脸器官信息中，包含较多最接近的人脸器官信息的属性。例如，当图像存储部132所存储的人脸图像的各人脸器官信息中，眼睛、鼻子、嘴及耳朵的器官信息与40岁至49岁男性的人脸器官信息接近时，即使下颚的信息与其他年龄(年代)接近，控制部100也判断该顾客的属性为40岁?49岁男性。
[0090]接着，控制部100(第一属性存储部103)将与通过S25判断的属性对应的属性信息与该顾客所购买的商品的商品信息对应存储在属性汇总部143(S26)。而且，控制部100清除商品信息部131和图像存储部132的信息(S27)。
[0091]另一方面，当判断出在图像存储部132中未存储有人脸图像时(S24的否)，控制部100起动图10所示的人脸查询线程(S32)。人脸查询线程的详细在图10中进行说明。
[0092]接着，控制部100将属性不明的不明信息与该顾客所购买的商品的商品信息对应汇总在属性汇总部143中(S33)。而且，控制部100执行S27。
[0093]在这里，参照图10，对控制部100在S32中起动的人脸查询线程的控制处理的流程进行说明。人脸查询线程是基于顾客H所购买的商品的商品信息、图像信息部133所存储的摄像图像，向摄像头服务器4查询人脸图像，并基于从摄像头服务器4接收到的人脸图像判断属性的程序。
[0094]控制部100(发送部104)基于在S32中取得的商品信息和查询编号，判断在S14中已销售登记的商品是大于等于三个品种还是小于三个品种(S51)。当判断为小于三个品种(也就是说小于等于两个品种)时(S51的否)，控制部100(发送部104)将附有商品信息部131所存储的商品信息、图像信息部133所存储的摄像信息及查询编号的查询信息发送给摄像头服务器4(S52)。另一方面，当判断为大于等于三个品种时(S51的是)，控制部100将附有商品信息部131所存储的商品信息和查询编号的查询信号发送给摄像头服务器4(S53)。
[0095]当已销售登记的商品为小于三个品种时，由于顾客H所购买的商品的数量较少，所以往往很难在摄像头服务器4中将购买了该商品的顾客指定为一人。因此，当已销售登记的商品为小于三个品种时，通过除商品信息外还附加摄像信息发送给摄像头服务器4，从而易于将购买了该商品的顾客指定为一人。
[0096]在对S52或者S53进行了处理后，控制部100判断从摄像头服务器4有无接收与该查询对应的人脸图像(S54)。进行待机直到接收(S54的否)，当判断出接收到人脸图像时(S54的是)，控制部100基于接收到的人脸图像，判断顾客的属性(性别、年龄层等)(S55)。而且，控制部100(第二属性存储部105)替代在S26中存储的不明信息，将判断出的属性的属性信息与该顾客所购买的商品的商品信息对应存储在属性汇总部143中(S56)。而且，控制部100结束处理。
[0097]返回到图8的说明。当在S21中判断出预收/当前合计键171未被操作时(S21的否)，控制部100判断查询线程是否取得了基于从摄像头服务器4接收到的人脸图像判断出的属性的属性信息(S36)。当判断出已取得时(S36的是)，控制部100将在S33中属性汇总部143所存储的不明信息更换(改写)成已取得的属性信息(S37)。也就是说，存储属性不明的商品的属性。而且，控制部100返回到S11。另外，当判断出未取得基于从摄像头服务器4接收到的人脸图像判断出的属性的属性信息时(S36的否)，控制部100返回到S11。
[0098]在这样的实施例中，控制部100当不能进行顾客的人脸检测时，存储表示属性不明的不明信息。而且，控制部100将顾客H所购买的商品的商品信息、摄像图像及查询编号发送给摄像头服务器4从而查询人脸图像。而且，控制部100接收与查询对应的一位顾客的人脸图像信息。而且，控制部100基于接收到的该人脸图像信息判断属性，并替代不明信息存储表示判断出的属性的属性信息。因此，POS终端I当不能人脸检测而不能取得顾客的属性信息时，也能够基于从摄像头服务器4接收到的人脸图像信息更可靠地取得顾客的属性信息。其结果，基于已销售的商品的商品信息，能够准确地进行顾客层分析、商品的销售分析。
[0099]此外，当商品的购买数量为小于三个(即购买的商品较少)时，购买了该全部商品的顾客就会较多。因此，往往很难在摄像头服务器4中抽出一位顾客的人脸图像，所以控制部100附加摄像图像向摄像头服务器4进行查询。另一方面，当商品的购买数量大于等于3个(即已购买的商品较多)时，购买了该全部商品的顾客被限制，在摄像头服务器4中抽出一位顾客的人脸图像并不困难，所以控制部100在查询时不附加摄像图像。因此，POS终端I不涉及有过量的负担。
[0100]接着，参照图11至图13对摄像头服务器4的控制处理进行说明。图11是表示摄像头服务器4的功能构成的功能框图。控制部400通过按照R0M42或存储器部44所存储的包含控制程序441的各种程序，使其具有图像存储部401、接收部402、区选定部403、人脸图像抽出部404及发送部405。
[0101]图像存储部401具有存储通过对应多个陈列有商品的区所分别设置的摄像头摄像的通过该区的人物的图像信息的功能。
[0102]接收部402具有接收POS终端I已交易处理的商品的商品信息及摄像了购买商品的顾客的摄像信息的功能。
[0103]区选定部403具有全部选定包含接收到的商品信息的存储部所存储的区的功能。
[0104]人脸图像抽出部404具有基于根据已选定的区的图像信息识别出的该区中所摄像的人物的人脸图像和摄像图像，抽出最多的区所摄像的一位人物的人脸图像信息的功能。
[0105]发送部405具有将已抽出的人脸图像信息发送给POS终端I的功能。
[0106]图12是表示摄像头服务器4的控制处理的流程的流程图。在图12中，控制部400判断是否从POS终端I有随着S51的处理的查询(S61)。当判断为没有查询时(S61的否)，控制部400使摄像头Cl?C4动作，摄像通行各区E的顾客的图像(S62)。而且，控制部400(图像存储部401)将所摄像的图像存储在区图像部442中(S63)。接着，控制部400在区图像部442所存储的图像中，消除大于等于2小时之前的图像(S64)。而且，控制部400返回到S61。
[0107]另一方面，当判断出从POS终端I来查询时(S61的是)，并当该查询为基于S52的查询时，控制部400 (接收部402)将在查询的同时接收到的商品信息、摄像图像及查询编号存储在RAM43中(S71)。此外，当该查询为基于S53的查询时，控制部400将接收到的商品信息和查询编号存储在RAM43中(S71)。
[0108]而且，控制部400基于已存储的商品信息选定被认为顾客H已通过的区E。也就是说，控制部400根据RAM43所存储的商品信息指定商品。而且，控制部400 (区选定部403)选定包含有陈列已指定的商品的货架S的区E(S72)。例如视为顾客H购买商品A和商品B的两种类商品，并在S71中所存储的商品信息中包含有商品A和商品B的商品信息。这时，该顾客H至少通行过包含有陈列商品A的货架SI的区El和包含有陈列商品B的货架S3的区E3。因此，控制部400选定区El和区E3。
[0109]接着，控制部400从区图像部442b抽出摄像已选定的区E的摄像头C的图像(S73)。也就是说，控制部400从区EI图像部442b I抽出摄像已选定的区EI的摄像头Cl的图像。此外，从区E3图像部442b3抽出摄像已选定的区E3的摄像头C3的图像。
[0110]接着，控制部400对已抽出的图像所包含的人脸图像进行人脸识别处理从而识别各个人的人脸，进行共同映入到区El和区E3的同一人的人脸图像的关联(称为集聚)(S74)。人脸识别处理就是使用公知的人脸识别技术，从所摄像的图像识别人物的人脸的处理。控制部400对映入到已抽出的区El的图像、区E3的图像及区E4的图像中的所有人脸进行人脸识别处理。而且，控制部400基于已人脸识别的人脸图像，集聚区El的图像、区E3的图像及区E4的全部或多个区中所摄像的同一顾客的人脸图像。
[0111]参照图13对人脸图像的集聚的例子进行说明。在图13中，在区El中映入有4位顾客的人脸图像(E11、E12、E13、E14)。此外，区E3中映入有4位顾客的人脸图像(E31、E32、E33、E34)。作为针对各个人脸图像执行人脸识别处理的结果，区El的人脸图像E12和区E3的人脸图像E33被识别为是同一顾客的人脸图像，并对人脸图像E12和人脸图像E33(统称为“人脸图像组A”)进行集聚。此外，区El的人脸图像E14和区E3的人脸图像E34被识别为同一顾客的人脸图像，并对人脸图像E14和人脸图像E34(统称为“人脸图像组B”)进行集聚。
[0112]接着，控制部400(人脸图像抽出部404)基于人脸图像组A的人脸图像的数量和人脸图像组B的人脸图像的数量(此外，当有已集聚的人脸图像组时也包含有该组的人脸图像的数量)，判断将摄像图像存储在RAM43中且最多的区E摄像的顾客H是否有多位(S75)。当判断存储有摄像图像且最多的区E摄像的顾客H有多位时(S75的是)，控制部400对组A及组B的人脸图像的各自图像和RAM43所存储的摄像图像进行核对(S76)。也就是说，控制部400关于组A及组B的人脸图像的各个图像，对人脸图像的器官和摄像图像所包含的顾客H的人脸的器官进行核对。而且，控制部400对包含较多一致的人脸的器官的组的人脸图像抽出在最多的区E中摄像的一位顾客的人脸图像(S77)。采用图13的例子，对S76的处理及S77的处理进行说明。
[0113]图13的例子中，人脸图像组A是已被集聚的共同的人脸图像。此外，人脸图像组B也是已被集聚的共同的人脸图像。而且，人脸图像组A和人脸图像组B均共同的人脸图像的数量为“2”是最多的。因此，控制部400对人脸图像组A的人脸图像及人脸图像组B的人脸图像所包含的人脸的器官和摄像图像所包含的人脸的器官进行核对(至此为S76的处理)。而且，控制部400抽出包含较多一致的人脸的器官的组的人脸图像(在实施例中为人脸图像组A)，作为在最多的区E中所摄像的一位顾客的人脸图像(至此为S77的处理)。
[0114]而且，控制部400(发送部405)将已抽出的人脸图像的人脸图像信息发送给通过接收到的查询编号指定的POS终端I (S78)。而且，控制部400返回到S61 JOS终端I基于接收到的人脸图像信息判断属性。另外，当在S75中判断出人脸图像的数量最多的顾客H是一个人时(S75的否)，控制部400不执行S76的处理而执行S77的处理。
[0115]另外，当在RAM43中未存储有摄像图像时，在最多的区E中摄像的顾客H有多位时，控制部400也在S75中判定为NO(否)。这时，控制部400基于规定方法选定一位顾客H。另外，区图像部442仅存储有最近2小时的图像，所以如果购买三个品种以上的商品，则作为已集聚的结果，人脸图像的数量最多的顾客H为多位的情况很少。
[0116]根据这样的实施例，摄像头服务器4的控制部400，基于从POS终端I接收到的商品信息选定区E，识别在已选定的各区E中摄像的顾客H的人脸图像，基于已识别的人脸图像的数量和摄像图像，抽出在最多的区E中所摄像的一位顾客H的人脸图像。该人脸图像是购买了已接收的商品信息的商品的顾客的可能性高。而且，控制部400将已抽出的人脸图像的人脸图像信息发送给POS终端UPOS终端I能够基于接收到的人脸图像信息判断属性从而存储该属性信息。因此，当POS终端I不能取得已人脸检测的人脸图像而不能取得顾客的属性信息时，基于摄像头服务器4发送来的人脸图像信息，也能够以较高的概率取得顾客的属性信息。换句话说，摄像头服务器4，能够去除因通过POS终端I检测不出人脸导致的属性信息不明的结果。其结果，能够基于已销售的商品的商品信息准确地进行顾客层分析、商品的销售分析。
[0117]此外，根据实施例，当作为已集聚的结果，人脸图像的数量最多的顾客H为多位时，控制部400对已集聚的顾客H的图像的人脸图像所包含的人脸的器官和摄像图像所包含的人脸的器官进行核对。而且，控制部400抽出包含较多一致的人脸的器官的组的人脸图像，作为在最多的区E中摄像的一位顾客的人脸图像。因此，仅当作为已集聚的结果，人脸图像的数量最多的顾客H为多位时对人脸图像和摄像图像进行核对，所以摄像头服务器4不涉及有过量的负担。
[0118]以上，虽然对本发明的实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更、组合。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
[0119]例如，在实施例中，虽然POS终端I当已销售登记的商品的数量小于3个时，附加商品信息和摄像图像进行了人脸图像的查询，但是也可以不限定于商品的数量而附加商品信息和摄像图像进行人脸图像的查询。
[0120]此外，在实施例中，虽然摄像头服务器4在最多的人脸图像的数量为数量相同时参照摄像图像，抽出在最多的区E中所摄像的一位顾客的人脸图像，但是也可以在最多的人脸图像的数量为一人时，也参照摄像图像，抽出在最多的区E中摄像的一位的顾客的人脸图像。通过这样做，能够确认在最多的区E中所摄像的一位顾客是已交易的顾客的可能性从而抽出人脸图像。
[0121]此外，在实施例中，在店铺P的天棚上设置了摄像头Cl?摄像头C4。此外，在POS终端I的顾客用显示部19中设置了摄像头C5。不过，摄像头Cl?摄像头C4只要在能够从正面摄像通行区E的顾客的人脸图像的地方，则在哪里设置都可以。此外，摄像头C5只要在能够从正面摄像观察顾客用显示部19的顾客的人脸图像的地方，则在哪里设置都可以。
[0122]在本发明中，通过发送部或发送步骤的设置，将商品信息和摄像图像发送给服务器，能够以更高概率取得顾客的属性信息。
[0123]此外，在本发明中，通过发送部或者发送步骤的设置，将不明信息存储在所述存储部中，即使当销售数据处理装置不能进行人脸检测而不能取得属性信息时，也能够基于从服务器接收到的人脸图像信息，更可靠地取得顾客的属性信息
[0124]在本发明中，所述发送部或者发送步骤当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，并判断出顾客所购买的商品的数量为小于规定数量时，将通过所述商品信息存储部所存储的所述商品信息及所述摄像图像存储部所存储的所述摄像图像发送给服务器。
[0125]根据这样的构成，通过在发送部或者发送步骤判断商品的数量为小于规定数量时向服务器发送商品信息和摄像图像，能够在销售数据处理装置中不涉及过量的负担。
[0126]在本发明中，通过设置人脸图像抽出部，能够抽出用于人脸检测的最接近的人物的人脸图像信息，从而以更高概率取得人物的属性信息。
[0127]在本发明中，通过当最多的所述区中所摄像的人物为多位时采用摄像图像，能够容易抽出最多的所述区中所摄像的一位人物的人脸图像信息，从而在服务器中不涉及有过量的负担。
[0128]在本发明中，通过参照摄像图像所包含的已交易的人物的人脸的器官、服装，能够更可靠地抽出最多的所述区中所摄像的一位人物的人脸图像信息。
[0129]在本发明中，所述图像存储部消除大于等于规定小时前的所述图像信息，即只存储小于规定小时的所述图像信息。
[0130]根据这样的设置，通过消除大于等于规定小时前的所述图像信息，图像存储部能够存储最恰当的规定小时的所述图像信息，从而能够不需要较大存储容量的图像存储部。
[0131]另外，在上述实施例的销售数据处理装置中执行的程序用可安装的形式或者可执行的形式的文件记录在CD-ROM、软磁盘(FD)、CD-R、DVD(Digital Versatile Disk:数字多功能光盘)等计算机可读的存储介质中而提供。
[0132]此外，也可以将在实施例的销售数据处理装置中执行的程序存储在与互联网等网络连接的计算机上，并通过经由网络下载来提供。此外，也可以将在实施例的销售数据处理装置中执行的程序经由互联网等的网络提供或配置。
[0133]此外，也可以将在实施例的销售数据处理装置中执行的程序预先安装在ROM等中而提供。
【主权项】
1.一种销售数据处理装置，包括: 商品信息存储部，将已交易处理的商品的商品信息存储在存储部中； 第一属性存储部，当基于通过摄像头摄像的摄像图像能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将表示基于检测出的人脸的人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中； 摄像图像存储部，存储所述摄像图像； 发送部，当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将通过所述商品信息存储部所存储的所述商品信息及所述摄像图像存储部所存储的所述摄像图像发送给服务器;以及 第二属性存储部，将表示基于一位顾客的所述人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中，其中，所述一位顾客的所述人脸图像信息是从基于已发送的所述商品信息及所述摄像图像抽出了一位顾客的所述服务器发送来的信息。2.根据权利要求1所述的销售数据处理装置，其中， 所述发送部当基于所述摄像图像不能检测出能够判断购买了所述商品的顾客的属性的人脸时，将该顾客的属性不明的不明信息存储在所述存储部中， 所述第二属性存储部将表示基于从所述服务器接收到的所述一人的人脸图像信息判断出的顾客的属性的属性信息替代所述不明信息存储在所述存储部中。3.根据权利要求1所述的销售数据处理装置，其中， 所述发送部当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，并判断出顾客所购买的商品的数量为小于规定数量时，将通过所述商品信息存储部所存储的所述商品信息及所述摄像图像存储部所存储的所述摄像图像发送给服务器。4.一种服务器，包括: 图像存储部，存储通过对应多个陈列商品的区所分别设置的摄像头所摄像的通过该区的人物的图像信息； 存储部，将所述各区和该区内所陈列的全部的商品的商品信息进行对应来存储； 接收部，接收销售数据处理装置已交易处理的商品的所述商品信息及摄像购买了所述商品的顾客的摄像图像； 区选定部，将包含接收到的所述商品信息的所述存储部所存储的区全部进行选定； 人脸图像抽出部，基于根据已选定的区的所述图像信息识别出的该区所摄像的人物的人脸图像和所述摄像图像，抽出最多的所述区中所摄像的一位人物的人脸图像信息；以及发送部，将抽出的人脸图像信息发送给所述销售数据处理装置。5.根据权利要求3所述的服务器，其中， 所述人脸图像抽出部当最多的所述区中所摄像的人物为多位时，采用所述摄像图像抽出最多的所述区中所摄像的一位人物的人脸图像信息。6.根据权利要求3或4所述的服务器，其中， 所述人脸图像抽出部，参照所述摄像图像所包含的已交易的人物的人脸的器官、服装，抽出在最多的所述区中所摄像的一位人物的人脸图像信息。7.根据权利要求4所述的服务器，其中， 所述图像存储部消除大于等于规定小时前的所述图像信息，即只存储小于规定小时的所述图像信息。8.一种基于销售数据处理装置的控制方法，该控制方法包括以下步骤: 商品信息存储步骤，将已交易处理的商品的商品信息存储在存储部中； 第一属性存储步骤，当基于通过摄像头摄像的摄像图像能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将表示基于检测出的人脸的人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中； 摄像图像存储步骤，存储所述摄像图像； 发送步骤，当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，将通过所述商品信息存储步骤所存储的所述商品信息及所述摄像图像存储步骤所存储的所述摄像图像发送给服务器;以及 第二属性存储步骤，将表示基于一位顾客的所述人脸图像信息判断出的属性的属性信息与所述商品信息关联存储在所述存储部中，其中，所述一位顾客的所述人脸图像信息是从基于已发送的所述商品信息及所述摄像图像抽出了一位顾客的所述服务器发送来的信息。9.根据权利要求8所述的控制方法，其中， 所述发送步骤当基于所述摄像图像不能检测出能够判断购买了所述商品的顾客的属性的人脸时，将该顾客的属性不明的不明信息存储在所述存储部中， 所述第二属性存储步骤将表示基于从所述服务器接收到的所述一人的人脸图像信息判断出的顾客的属性的属性信息替代所述不明信息存储在所述存储部中。10.根据权利要求8所述的控制方法，其中， 所述发送步骤当基于所述摄像图像不能够检测出能够判断购买了所述商品的顾客的属性的人脸时，并判断出顾客所购买的商品的数量为小于规定数量时，将通过所述商品信息存储步骤所存储的所述商品信息及所述摄像图像存储步骤所存储的所述摄像图像发送给服务器。
【文档编号】G06K9/00GK106056397SQ201610208180
【公开日】2016年10月26日
【申请日】2016年4月6日 公开号201610208180.1, CN 106056397 A, CN 106056397A, CN 201610208180, CN-A-106056397, CN106056397 A, CN106056397A, CN201610208180, CN201610208180.1
【发明人】西川泰司
【申请人】东芝泰格有限公司