顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法

顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法
【专利摘要】本发明涉及顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法。一种顾客类别分析装置包括：顾客类别标识单元，其标识出现在成像区中的每个人的顾客类别，并且获得指示顾客类别标识的结果的顾客类别信息，成像区被定义为使得从在商业机构的等待区域朝就座区域移动的每个顾客的图像被从顾客的前面捕获；以及过滤单元，其基于出现在成像区中的每个人的行为模式、根据用于将要被包括在分析中的人限制于展示出朝就座区域移动的行为的顾客的预定准则来确定该人是否将被包括在分析中，并且如果该人被确定成不被包括在分析中则从分析排除该人。
【专利说明】顾客类别分析装置、顾客类别分析系统以及顾客类别分析 方法

【技术领域】
[0001]本发明涉及一种用于分析光顾商业机构的顾客的顾客类别的顾客类别分析装置、 顾客类别分析系统以及顾客类别分析方法。

【背景技术】
[0002]存在包括诸如休闲餐厅的餐馆、诸如便利店的零售店等的各种类型的商业机构。 不管商业机构的类型如何，不同的顾客类别（性别、年龄等）的顾客往往更喜欢不同的食品 或货品，并且因此，开发用于基于对光顾商业机构的顾客的顾客类别的分析的结果来改进 在商业机构处所提供的货品的菜单或分类的措施有益于提高顾客满意度并且增加商业机 构的销售额。
[0003]为了满足这样的需要，按照惯例已知使用图像识别技术来标识在诸如便利店的零 3店里的每个顾客的类别并且生成顾客类别附加的销售信息，其中顾客类别被与由顾客所 采购的个别货品的销售信息相关联（见JP2010-055248A)。与其中销售员确定并且键入每 个顾客的类别的方法相比，这种技术能够减少销售员的负担并且避免由销售员所进行的确 定中的变化。
[0004] 在诸如便利店的零售店里，顾客一次一个顾客地在销售员前面的结账柜台处为他 们的购买物而付钱，并且正当顾客在结账柜台前面以大体上不动的状态下支付时，对每个 顾客执行常规技术的用于顾客类别标识的图像捕获。因此，能够高准确地执行顾客类别标 识并且能够在没有实质错误的情况下获得每个类别中的顾客数。另一方面，对于诸如休闲 餐厅的餐馆，在顾客成群光顾餐厅的情况下，情况常常是群中的某个（某些）成员为包括该 群中的其它成员的那些订单的所有他们的订单而付钱，并且因此，在结账时执行的顾客类 别标识可能未能检测到不必在结账柜台结账的顾客。因此，无法足够准确地获得顾客类别 数据。
[0005] 为了防止未能在顾客类别标识中检测到顾客，可以设想对通过餐馆的出入口进入 的每个顾客执行顾客类别标识。然而，在诸如休闲餐厅的餐馆里，餐馆职员可能在出入口周 围进出，已经被引领到餐桌的顾客可能在出入口附近经过或者顾客可能在结账期间在出入 口附近停留一会儿。在这样的情况下，对其执行了顾客类别标识的人将包括不应该对其执 行顾客类别标识的职员和顾客，并且因此，不能够高准确地执行顾客的顾客类别的分析。
[0006] 为了解决这样的问题，有必要检测不应该对其执行顾客类别标识的人，并且作为 涉及这样的需求的技术，按照惯例已知将在指定区域中保持静止持续超过预定时间段的人 确定为职员，从而区分职员和顾客（见JP2011-086045A)。在另一已知技术中，人的面部的 特征被提取并且与彼此相比较以避免对同一人进行计数超过一次（见JP2005-234947)。另 夕卜，通过利用多个成像装置之间的视差来高准确地获得路过人数来区分重叠人的技术是已 知的（见JPH10-049718A)。又另外，基于出现和消失的位置来确定出现在捕获的图像中和 从捕获的图像消失的人是否对应于同一人还是不同的人，以从而避免对同一人进行计数超 过一次或者未能对不同的人计数的技术是已知的（见JP2008-035095A)。
[0007] 然而，在诸如休闲餐厅的餐馆里，在餐馆里移动的顾客和职员可能混合。当应用前 述的常规技术时，有必要遍及广泛区域跟踪在餐馆里移动的每个人，并且这使过程变得相 当复杂。另外，即便跟踪区域被限于在餐馆的出入口周围的区域，也仍然存在问题，即在职 员可能在出入口周围进出，已经被引领到餐桌的顾客可能在出入口附近经过或者顾客可能 在结账期间在出入口附近停留一会儿的情况下，如上所述，前述的常规技术不能够令人满 意地满足高准确地检测要被从分析中排除的职员和顾客的需求。


【发明内容】

[0008] 鉴于现有技术中的前述问题，本发明的主要目的是提供顾客类别分析装置、顾客 类别分析系统以及顾客类别分析方法，其被配置成能够避免将商业机构的职员包括在分析 中并且避免将同一顾客包括在分析中超过一次，使得光顾商业机构的顾客的顾客类别被高 准确地执行。
[0009]为了实现前述目的，在本发明的第一方面，提供了用于分析光顾商业机构的顾客 的顾客类别的顾客类别分析装置，包括：顾客类别标识单元，该顾客类别标识单元被配置成 标识出现在成像区中的每个人的顾客类别，并且获得指示顾客类别标识的结果的顾客类别 信息，该成像区被定义以使得从在商业机构的出入口附近的等待区域朝就座区域移动的每 个顾客的图像被从顾客的前面捕获；过滤单元，该过滤单元被配置成基于出现在成像区中 的每个人的行为模式，根据预定确定准则来确定该人是否是要被包括在分析中的顾客，并 且如果该人被确定成不被包括在分析中则从分析中排除该人，该预定确定准则用于将要被 包括在分析中的人限制于展示出朝就座区域移动的行为模式的顾客；总计单元，该总计单 元被配置成总计由顾客类别标识单元针对于由过滤单元所选择的人所获得的顾客类别信 息；以及输出信息生成单元，该输出信息生成单元被配置成基于由总计单元总计的结果来 生成表示分析的结果的输出信息。
[0010] 从在商业机构的出入口附近的等待区域移动到就座区域的行为是必定会由已进 入商业机构的每个顾客展示出仅一次的行为。在上述结构中，展示出除这样的行为以外的 行为的人被检测并且被从分析中排除，借此有可能避免将不是顾客的人（诸如职员）包括 在分析中以及将同一顾客包括在分析超过一次。这允许顾客类别的分析被高准确地执行， 从而提供在开发用于提高顾客满意度并且增加销售额和利润的措施时有用的信息。
[0011] 在本发明的第二方面，过滤单元通过进行停留确定来确定出现在成像区中的每个 人是否是要被包括在分析中的顾客，该停留确定是出现在成像区中的每个人是否处于停留 状态的确定。
[0012]很可遗的是，处于停留状态的人是存在于等待区域中同时等待就座的顾客或在结 账柜台附近等待结账的顾客等。因此，通过确定处于停留状态的人是要被从分析中排除的 人，有可能避免将同一顾客包括在分析中超过一次。
[0013] 在本发明的第三方面，过滤单元通过进行移动路径确定来确定出现在成像区中的 每个人是否是要被包括在分析中的顾客，该移动路径确定是出现在成像区中的人的移动路 径是否不同于对要被包括在分析中的顾客假定的移动路径的确定。
[0014] 在出现在成像区中的人的移动路径不同于对要被包括在分析中的顾客假定的移 动路径的情况下，很可能的是该人不是顾客或要被从分析中排除的顾客。因此，通过确定具 有这样的移动路径的人是要被从分析中排除的人，有可能防止不是顾客或要被从分析中排 除的顾客的人被包括在分析中。
[0015] 在本发明的第四方面，过滤单元将出现在成像区中的人划分成群并且基于每个群 是否由单个人组成的确定来确定出现在成像区中的每个人是否是要被包括在分析中的顾 客。
[0016] 很可能的是，单独组成群的人或单独移动的人不是正被职员引领到就座区域的顾 客。因此，通过确定单独移动的人是要被从分析中排除的人，有可能防止不是顾客或要被从 分析中排除的顾客的人被包括在分析中。
[0017] 在本发明的第五方面，过滤单元将出现在成像区中的人划分成群并且通过进行群 前确定来确定出现在成像区中的每个人是否是要被包括在分析中的顾客，在群前确定中， 当由多个人组成的群被检测到时，确定了该群中的每个人是否是在该群中首先退出成像区 的人。
[0018] 很可能的是，在群中首先退出成像区的人是在该群的前面移动以将该群中的（一 个或多个）顾客引领到就座区域的职员。因此，通过确定这样的人是要被从分析中排除的 人，有可能避免将职员包括在分析中。
[0019] 在本发明的第六方面，过滤单元基于人是否退出在成像区中定义的确定区域的确 定来进行停留确定。
[0020] 根据这种结构，通过适当地依照在成像区中和成像区周围的环境在成像区中定义 用于停留确定的确定区域，能够高准确地从分析中排除不应该被包括在分析中的顾客。
[0021] 在本发明的第七方面，过滤单元基于出现在成像区中的每个人的移动路径与在成 像区的边界上定义的确定线的相交的状态来进行移动路径确定。
[0022] 根据这种结构，能够简单地通过参考人的移动路径与（一个或多个）确定线的相 交的状态来进行移动路径确定，并且因此，有可能容易地执行移动路径确定，同时确保足够 的准确性。
[0023] 在本发明的第八方面，过滤单元获得每个人紧接在该人已进入成像区之后的移动 的方向，并且基于移动的方向，估计到成像区的进入点，其中过滤单元获得每个人紧接在该 人离开成像区之前的移动的方向，并且基于移动的方向，估计从成像区起的退出点，并且其 中，过滤单元通过确定所获得的进入点和退出点是否在确定线上来进行移动路径确定。 [0024] 根据这种结构，能够通过估计到成像区的进入点和从成像区起的退出点并且确定 进入点和退出点是否位于确定线上来进行移动路径确定，并且因此，有可能甚至更容易地 执行移动路径确定同时确保足够的准确性。
[0025] 在本发明的第九方面，过滤单元基于在成像区中顺序地检测到的人的检测时间之 间的间隔，将出现在成像区中的人划分成群。
[0026] 根据这种结构，有可能容易地足够准确地执行人的分群。在这种结构中，优选地， 在成像区中连续地检测到的每两个人的检测时间之间的间隔被与预定阈值相比较，使得当 间隔超过阈值时，确定了两个人属于不同的群。
[0027] 在本发明的第十方面，过滤单元获得每个人紧接在退出成像区之前的移动量，并 且基于移动量，估计当该人退出成像区时的时间。
[0028] 根据这种结构，能够容易地足够准确地估计当人退出成像区时的时间。在这种结 构中，优选地，基于所关注人在成像区中最后被检测到的位置和该人紧接在最后检测之前 在成像区中被检测到的位置获得每单位时间的移动量，并且基于每单位时间的移动量估计 当该人离开成像区时的时间。
[0029] 在本发明的第十一方面，输出信息生成单元基于针对每个预定时间段所获得的每 个类别中的顾客数的时间序列，来生成涉及每个类别中的顾客数的改变的趋势的顾客类别 趋势信息，作为输出信息。
[0030] 根据这种结构，用户能够知道顾客类别特性取决于时隙（预定时间段）如何改变。 因此，通过依照顾客类别特性中的改变在商业机构处进行准备，有可能提高顾客满意度并 且增加销售和利润。
[0031] 在本发明的第十二方面，顾客类别趋势信息表示在商业机构的每日营业时间内的 每个所述预定时间段所获得的每个类别中的顾客数与顾客的总数的比。
[0032] 根据这种结构，用户能够知道顾客的总数和每个类别中的顾客数取决于时间段如 何改变，其中每个类别中的顾客数提供顾客的总数的分解。
[0033] 在本发明的第十三方面，顾客类别信息包括性别和年龄中的至少一个。
[0034] 根据这种结构，能够根据基于性别或年龄或者基于性别和年龄两者定义的顾客类 别高准确地执行顾客类别分析。
[0035] 在本发明的第十四方面，提供了用于分析光顾商业机构的顾客的顾客类别的顾客 类别分析系统，包括：捕获顾客的图像的成像装置；以及多个信息处理装置，其中该多个信 息处理装置共同地包括：顾客类别标识单元，该顾客类别标识单元被配置成标识出现在成 像区中的每个人的顾客类别，并且获得指示顾客类别标识的结果的顾客类别信息，成像区 被定义以使得从在商业机构的出入口附近的等待区域朝就座区域移动的每个顾客的图像 被从顾客的前面捕获；过滤单元，该过滤单元被配置成基于出现在成像区中的每个人的行 为模式，根据预定确定准则来确定该人是否是要被包括在分析中的顾客，并且如果该人被 确定成不被包括在分析中则从分析中排除该人，该预定确定准则用于将要被包括在分析中 的人限制于展示出朝就座区域移动的行为模式的顾客；总计单元，该总计单元被配置成总 计由顾客类别标识单元针对于由过滤单元所选择的人所获得的顾客类别信息；以及输出信 息生成单元，该输出信息生成单元被配置成基于由总计单元总计的结果来生成表示分析的 结果的输出信息。
[0036] 根据这种结构，有可能与在本发明的第一方面的结构类似地高准确地对顾客的顾 客类别执行分析。
[0037] 在本发明的第十五方面，用于通过利用设置在商业机构内部或外部的信息处理装 置来分析光顾商业机构的顾客的顾客类别的顾客类别分析方法，包括：标识出现在成像区 中的每个人的顾客类别，并且获得指示顾客类别标识的结果的顾客类别信息，成像区被定 义以使得从在商业机构的出入口附近的等待区域朝就座区域移动的每个顾客的图像被从 顾客的前面捕获；基于出现在成像区中的每个人的行为模式，根据预定确定准则来确定该 人是否是要被包括在分析中的顾客，并且如果该人被确定成不被包括在分析中则从分析中 排除该人，预定确定准则用于将要被包括在分析中的人限制于展示出朝所述就座区域移动 的行为模式的顾客；总计由顾客类别标识单元针对被确定要被包括在分析中的人所获得的 顾客类别信息；以及基于总计的结果来生成表示分析的结果的输出信息。
[0038]根据这种结构，有可能与在本发明的第一方面的结构类似地高准确地对顾客的顾 客类别执行分析。 '

【专利附图】

【附图说明】
[0039] 现参考附图根据其优选实施例在下文中对本发明进行描述，在附图中：
[0040]图1是根据本发明的实施例的顾客类别分析系统的总体结构的图；
[0041] 图2是示出餐馆的内部布局的示例的平面图；
[0042] 图3是用于说明要被包括在分析中的顾客的移动路径的平面图；
[0043]图4是示出由相机1所捕获的图像的说明性图；
[0044] 图5是示意性地示出设置在餐馆处的PC3的功能结构的框图；
[0045]图6是示出显示顾客类别趋势信息的分析结果画面的示例的说明性图；
[0046] 图7是示意性示出图像分析单元33和过滤单元35的结构的框图；
[0047]图8是示出包括在从图像分析单元33所输出的日志数据中的一组跟踪ID数据的 示例的说明性图；
[0048]图9是示出包括在从个体行为评价单元56所输出的日志数据中的一组跟踪瓜数 据的示例的说明性图；
[0049] 图10A和10B是用于说明要被包括在分析中的顾客的行为模式的说明性图； [0050] 图11A和11B是用于说明要被从分析中排除的人的行为模式的说明性图；
[0051]图12A-12C是用于说明要被从分析中排除的人的行为模式的说明性图；
[0052]图13是示出在成像区中定义以执行停留确定的确定区域的示例的说明性图； [0053]图14是示出在成像区中定义以执行移动路径确定的确定线的示例的说明性图； [0054]图15是示出使用确定线所执行的移动路径确定的结果的示例的说明性图；
[0055]图16A和16B是用于说明如何执行估计进入点和退出点的过程的说明性图； [0056]图Π 是用于说明由分群单元63所执行的分群过程的模式的说明性图；
[0057]图18A-1SC是用于说明人从出入口附近朝就座区域的移动的模式的说明性图；以 及 ，
[0058] 图I9是用于说明由群前确定单元6δ所执行的估计帧离开时间的过程的说明性 图。

【具体实施方式】
[0059] 在下文中，将参考图给出本发明的示例性实施例的描述。
[0060]图1是示出根据这种实施例的顾客类别分析系统的总体结构的图。这种顾客类别 分析系统是针对例如休闲餐厅连锁而设计的，并且包括在连锁内的多个餐馆中的每一个处 设置的相机（成像装置）1、记录器（图像记录装置） 2、个人计算机（PC)(顾客类别分析装 置、浏览器装置）3、销售点（P0S)工作站（销售信息管理装置）4、便携式终端（订单输入装 置）5以及打印机 6。另外，顾客类别分析系统包括在监管多个餐馆的管理办公室处设置的 PC(浏览器装置）7和P0S服务器（销售信息管理装置）8。
[0061] 在每个餐馆中，相机1、记录器2、PC3、P0S工作站4以及打印机6连同无线中继装 置11 一起被连接到局域网（LAN)，该无线中继装置11中继便携式终端5和用于与网际协 议（IP)网络连接的路由器12的通信。PC3和POS工作站4具有被连接到的相应的显示单 元（显示装置）13、14。在管理办公室中，PC7和POS服务器8连同用于与IP网络连接的路 由器16 -起被连接到LAN。PC7和POS服务器8具有连接到其的相应的显示单元（显示装 置）17、18。
[0062] 设置在每个餐馆处的相机1、记录器2、PC3和设置在管理办公室处的PC7构成监视 系统以用于监视餐馆的内部。相机1被设置在餐馆中的适当位置处来捕获餐馆中的各种区 域的图像，并且由此所获得的图像信息被记录器2记录。设置在餐馆处的PC3和设置在管 理办公室处的PC7能够显示由相机1所捕获的餐馆中的各种区域的实时图像或由记录器2 所记录的餐馆中的各种区域的过去的图像，并且这允许在餐馆或管理办公室处的用户检查 餐馆中的情形。
[0063] 设置在每个餐馆处的便携式终端5、无线中继装置11以及打印机6构成用于接受 顾客订单的订单输入系统。每个便携式终端5都将由餐馆职员（诸如服务员或女服务员） 携带，借此职员在从顾客取得订单时，能够将订单的内容（订购的菜单项、每个菜单项的订 单数）键入到便携式终端5中。打印机6被设置在厨房中，并且当职员将订单内容键入到 便携式终端5中时，订单内容被从打印机6输出以便订单内容被传递给厨房员工。
[0064] 设置在每个餐馆处的P0S工作站4和订单输入系统以及设置在管理办公室处的 P0S服务器8构成管理涉及每个餐馆的销售的销售信息的P0S(销售点）系统。这种P0S系 统将订单内容、订单时间、结账时间、订单方法、顾客数等作为销售信息来管理。这种销售信 息在P0S工作站4与P0S服务器8之间被共享。P0S工作站4管理设置了 P0S工作站4的 餐馆的销售信息，并且P0S服务器8管理在其管理下的所有成员餐馆的销售信息。
[0065]构成订单输入系统的每个便携式终端5都被适配成允许餐馆职员键入除订单内 容（订购的菜单项、每个菜单项的订单数）以外的订单信息，诸如坐在餐桌处的顾客的数 目、餐桌号（座位号）等，并且所键入的订单信息被发送到P0S工作站4。除用于管理销售 信息的功能之外，P0S工作站4具有用于执行结账的登记功能，并且被设置在结账柜台处。 这种P0S工作站4被与未在图中示出的收银机和票据打印机连接。P0S工作站4基于从便 携式终端5所发送的订单信息和在结账时所获得的结账信息来生成销售信息。
[0066]设置在餐馆处的PC3被配置成实现执行光顾餐馆的顾客的顾客类别的分析的顾 客类别分析装置。由设置在餐馆处的PC3所生成的分析结果信息能够被显示在PC3本身上， 并且同样，被发送到设置在管理办公室处的PC7,使得该信息能够被显示在PC7上。因此， PC3和7每个都被配置成用作允许用户查看分析结果信息的浏览器装置。
[0067] 图2是示出餐馆的内部布局的示例的平面图。餐馆包括出入口、等待区域、结账柜 台、布置在就座区域中的餐桌、沙拉吧、饮料吧以及厨房。沙拉吧和饮料吧是在其上分别提 供沙拉成分和饮料的自助式餐桌或柜台，以便用户自服务。另外，多个相机1被设置在餐馆 中的适当位置处。具体地，在图2中所示出的示例中，相机1被设置为捕获在出入口、餐桌、 沙拉吧以及厨房处的图像。
[0068]图3是用于说明要被包括在分析中的顾客的移动路径的平面图。已通过餐馆的出 入口进入餐馆的顾客像由箭头A所指示的那样向等待区域前进，并且如果所有餐桌都被占 据，则坐在等待区域中的座位中的同时等待就座。当餐桌变得可用时，顾客由职员来引领并 且像由箭头B所指示的那样移动，并且其后，取决于待就座的餐桌的位置，可以像由箭头c 所指不的那样直线前进或者可以像由箭头D所指示的那样转弯。
[0069]在本实施例中，相机1中的一个被设置为从就座区域侧捕获覆盖等待区域的图 像，借此每个顾客在如由箭头B所指示的从等待区域到就座区域的移动期间的面部的图像 由相机1从顾客的前面捕获到，并且从等待区域朝就座区域移动的顾客被选择为要被包括 在分析中的顾客。
[0070]图4是不出由图3中示出的相机1所捕获的图像的说明性图。如所示，在相机丄 的成像区的中央部处的是设置在等待区域中的座位，并且在座位的右部前面的是用于显示 菜单项的陈列橱的一部分，并且在座位的左部前面的是结账柜台的一部分。如由图 3中的 箭头A所指示的，当顾客通餐馆的出入口进入餐馆时，顾客进入在左边的成像区。另外，如 由图3中的箭头B所指示的，当顾客从等待区域朝就座区域移动时，顾客在成像区中向下移 动并且离开成像区。
[0071]接下来，将给出像如图1中所示出的那样设置在餐馆处的PC3(顾客类别分析装 置）的描述。图5是示意性地示出设置在餐馆处的PC3的功能结构的框图。
[0072] PC3包括监视单元31和顾客类别分析单元32。监视单元31允许PC3起用于监视 餐馆的内部的监视系统的作用。监视单元32控制相机1和记录器2的操作并且使得用户 能够具有由相机1所捕获的餐馆中的各种区域的图像的实时视图，并且能够查看在记录器 2中记录的餐馆中的各种区域的图像。顾客类别分析单元 32执行光顾餐馆的顾客的顾客类 别的分析。
[0073] 应当注意的是，监视单元31和顾客类别分析单元32通过由PC3的CPU来执行用 于监视和顾客类别分析的程序来实现。这些程序可以被预先安装在用作信息处理装置以实 现专用于监视和顾客类别分析功能的装置的PC3中，或者可以以作为能够在通用0S上运行 的应用程序而被存储在适当的记录介质中的形式被提供给用户。
[0074] 接下来，将给出由设置在餐馆处的PC3的顾客类别分析单元32所执行的顾客类别 趋势获得过程的描述。顾客类别趋势获得过程被执行以指示每个类别中的顾客数获得取决 于时隙（预定时间段）的改变趋势的顾客类别趋势信息。
[0075] 图6是示出显示顾客类别趋势信息的分析结果画面的示例的说明性图。这种分析 结果画面将被显示在设置在餐馆处的PC3的显示单元13和设置在管理办公室处的PC7的 显示单元17上。这种分析结果画面包括堆叠式条形图，该堆叠式条形图将针对于指定日期 在餐馆的营业时间（1〇:〇〇ΑΜ至1:00AM)期间的每个时隙相对于顾客的总数的每个类别中 的顾客数作为顾客类别趋势信息来示出。根据这种分析结果画面，用户能够理解顾客的总 数以及每个类别中的顾客数中取决于时隙的改变的特性，其中每个类别中的顾客数提供顾 客的总数的分解。
[0076] 这种分析结果画面进一步包括用于指定年、月以及日的操作元素71以便用户能 够通过操作操作元素71来选取日期并且查看由所选日期得到的分析结果。应当注意的是， 在分析结果画面被显示在设置在管理办公室处的 PC7的显示单元17上的情况下，用于允许 用户选择餐馆的操作元素被优选地显示在分析结果画面中。
[0077] 这种分析结果画面通过由PC3的顾客类别分析单元32所执行的顾客类别趋势获 得过程来生成。作为涉及顾客类别趋势获得过程的单元，顾客类别分析单元 32包括图像分 析单元33、图像信息存储单元34、过滤单元35、总计单元36以及输出信息生成单元37,如 图5中所示。
[0078]图像分析单元33检测每个帧（捕获的图像）中的（一个或多个）人并且标识出 现在成像区中的每个人的顾客类别（性别和年龄）。由图像分析单元33所获得的图像分析 信息（日志数据）被累积地存储在图像分析信息存储单元34中。过滤单元35在由图像分 析单元33所检测到的人之中检测应该依照预定准则被从分析中排除的人，并且根据分析 排除所检测到的人。
[0079]总计单元36总计由图像分析单元33针对于由过滤单元35所选择的顾客所获得 的每个人的顾客类别信息。具体地，在本实施例中，总计单元36通过基于针对每个时隙（一 个小时）在顾客类别信息中包括的每个顾客的顾客类别对每个顾客类别中的顾客数进行 计数，来获得针对每个时隙（预定单位时间段）的每个类别中的顾客数，该时隙定义用于总 计的单位时间段。
[0080] 输出信息生成单元37基于由总计单元36总计的结果来生成表示分析的结果的输 出信息。具体地，在本实施例中，输出信息生成单元37基于针对每个时隙（预定单位时间 段）所获得的每个类别中的顾客数的时间序列来生成涉及每个类别中的顾客数中的改变 的趋势的顾客类别趋势信息（输出信息），使得依照这种顾客类别趋势信息的分析结果画 面（见图6)被显示在PC3和7的显示单元13和17上。
[0081] 应当注意的是，总计单元36可以通过从由图像分析单元33针对每个人所获得的 顾客类别信息中提取由过滤单元35所选择的顾客的顾客类别信息、并且基于所提取的顾 客类别信息对每个时隙中的每个类别中的顾客数进行计数，来获得每个类别中的顾客数。 然而，同样有可能在获得每个类别中的顾客数时使用由P0S系统所提供的销售信息。
[0082] 即，有可能基于涉及由过滤单元35所选择的顾客的顾客类别信息来获得每个时 隙的顾客类别比，同时基于从P0S工作站4的销售信息存储单元41 (见图5)中检索到的销 售信息来获得每个时隙的顾客数（顾客的总数），借此通过将每个时隙的顾客类别比反映 在所对应时隙的顾客数上，即通过将每个时隙的顾客数（顾客的总数）乘以所对应时隙的 每个顾客类别的比，来获得每个时隙的每个类别中的顾客数。以这种方式，能够进一步通 过利用具有高准确性的、由P0S系统所提供的销售信息来提高每个类别中的顾客数的准确 性。
[0083] 接下来，将给出图5中所示出的图像分析单元33和过滤单元35的描述。图7是 示意性示出图像分析单元33和过滤单元35的结构的框图。
[0084]图像分析单元33检测帧（捕获的图像）中的（一个或多个）人并且标识出现在 其成像区中的每个人的顾客类别。图像分析单元33包括人检测单元51和顾客类别标识单 元52。在图像分析单元33中，可以使用已知的图像识别技术（人识别技术、人跟踪技术、面 部识别技术、性别和年龄估计技术等）。
[0085] 人检测单元51通过利用已知的人识别技术来确定在由相机1所捕获的每个帧中 检测到的（一个或多个）对象是否是人，并且执行通过利用已知的人跟踪技术来跟踪在多 个帧之间移动的（一个或多个）人的过程。
[0086] 顾客类别标识单元52检测由人检测单元51所检测到的每个人的面部图像的区域 并且基于该面部图像来估计人的性别和年龄。在面部检测过程中，已知的面部识别技术被 用来基于由人检测单元51所执行的人跟踪的结果从多个帧收集每个人的多个面部图像。 在性别和年龄估计过程中，已知的性别和年龄估计技术被用来从由面部检测过程所收集到 的人的面部图像估计每个人的顾客类别（性别和年龄）。
[0087]图8是示出包括在从图7中示出的图像分析单元33所输出的日志数据中的一组 跟踪ID数据的示例的说明性图。
[0088]从图像分析单元33所输出的日志数据由每当在顺序帧（捕获的图像）的时间序 列中检测到人对象时所生成的跟踪ID数据组构成，其中每一组跟踪ID数据都包括跟踪ID、 人计数ID、顾客类别信息、时间戳（时间信息）以及位置信息。这种日志数据作为预定格式 (例如，CSV)的日志文件被输出并且存储在评价结果信息存储单元 58中。
[0089] 跟踪ID被分配给在每个帧（捕获的图像）中所检测到的每个人对象。当基于人 对象的面部的特征确定了在不同帧中所检测到的两个或更多个人对象表示同一人时，相同 的跟踪ID被分配给这些人对象。当分配了跟踪ID的人对象被连续地检测到三次时，人计 数ID被分配给跟踪ID。顾客类别信息表示作为通过顾客类别标识单元 52确定的结果所获 得的人的年龄和性别（例如，对于男性来说为0,对于女性来说为1)并且年龄和性别信息的 平均值被包含在过去针对同一跟踪ID所收集到的跟踪ID数据组中。时间戳指示帧（捕获 的图像）的捕获时间，即，当检测到人时的时间（年、月、日、时、分、秒、毫秒）。位置信息指 示在帧（捕获的图像）中所检测到的面部图像帧的位置。在本实施例中，位置信息包括面 部图像帧（矩形区）的中心的X坐标值和Y坐标值以及面部图像帧的宽度和高度。
[0090] 接下来，将给出图7中所示出的过滤单元35的描述。
[0091] 过滤单元35根据预定准则来检测在由图像分析单元33所检测到的人之中要被从 分析排除的人，并且从分析排除所检测到的人。过滤单元35包括行为模式评价单元54和 人选择单元55。
[0092] 行为模式评价单元54根据基于要被包括在分析中的顾客的行为模式的预定确定 准则，来基于出现在成像区中的每个人的行为模式确定该人是否将被包括在分析中。行为 模式评价单元54包括个体行为评价单元56和群行为评价单元57。个体行为评价单元56 评价出现在成像区中的每个人的行为的个体模式。群行为评价单元57将出现在成像区中 的人划分成群，并且评价包括在每个群中的每个人的行为模式。
[0093] 人选择单元55基于从行为模式评价单元54所输出的日志数据从分析中排除应该 被从分析中排除的人。换句话说，人选择单元55执行选择要被包括在分析中的人的过程。 从行为模式评价单元54所输出的日志数据包含涉及由行为模式评价单元54所执行的评价 的结果的信息，并且基于包括在日志数据中的评价结果信息，根据用户定义准则检测要被 从分析中排除的人。
[0094] 应当注意的是，在行为模式评价单元54中，可能的是个体行为评价单元56和群行 为评价单元57分别针对于由图像分析单元33所检测到人分开地执行个体行为评价和群行 为评价，并且人选择单元55基于由这些单元56和57评价的结果来选择要被包括在分析中 的人。然而，优选的是群行为评价单元57在基于由个体行为评价单元 56评价的结果而移 除要被从分析中排除的人之后执行群行为评价；即，针对通过个体行为评价而被确定为要 被包括在分析中的顾客的人执行群行为评价。以这种方式，能够减少在执行群行为评价时 的计算负荷并且能够提高执行群行为评价的准确性。
[0095] 将同样优选的是，能够由用户在初始设定中改变在个体行为评价单元56和群行 为评价单元57中的每一个中的确定准则。
[0096] 接下来，将说明图7中所示出的个体行为评价单元56。
[0097] 个体行为评价单元56个别地评价每个人的行为模式。在这种实施例中，个体行为 评价单元56集中于己进入餐馆的任何顾客必定展示出仅一次的特定行为，并且将展示出 个行为的顾客检测为要被包括在分析中的那些，从而使得有可能避免将同一顾客包括在分 析中超过一次，并且避免将餐馆职员包括在分析中。具体地，在本实施例中，如图 3中所示， 执行图像捕获，使得从餐馆的出入口附近（即，从在出入口附近的等待区域）朝就座区域移 动的顾客的图像被从顾客的前面捕获到，并且从出入口附近朝就座区域移动的顾客被确定 为要被包括在分析中的那些，并且个体行为评价单元56检测从出入口附近朝就座区域移 动的顾客。
[0098] 个体行为评价单元56包括停留确定单元61和移动路径确定单元62。停留确定单 元61执行确定出现在成像区中的每个人是否处于停留状态的过程，该停留状态即在同一 位置处大体上静止的状态。移动路径确定单元62执行确定出现在成像区中的每个人的移 动路径是否不同于要被包括在分析中的顾客的假定移动路径的过程。
[0099] 图9是示出包括在从图7中所示出的图像分析单元56所输出的日志数据中的一 组跟踪ID数据的示例的说明性图。
[0100] 从个体行为评价单元56所输出的日志数据的每一组跟踪ID数据都包含跟踪ID、 人计数ID、顾客类别信息、时间戳（时间信息）、位置信息、出现区域信息、评价结果信息以 及移动量信息。在从个体行为评价单元56所输出的跟踪ID数据中，跟踪ID、人ID、顾客类 别信息、时间戳以及位置信息与包括在输入到个体行为评价单元56的跟踪ID数据中的那 些相同，同时附加地包含作为由个体行为评价单元56评价的结果所获得的出现区域信息、 评价结果信息以及移动量信息。将稍后详细地描述出现区域信息、评价结果信息以及移动 量信息。这种日志数据作为预定格式（例如，CSV)的日志文件被输出并且累积地存储在评 价结果信息存储单元59中。
[0101] 接下来，将给出由图7中所示出的个体行为评价单元56所执行的过程的描述。图 10A和10B是用于说明要被包括在分析中的顾客的行为模式的说明性图。图11A和11B以 及图12A-12C是用于说明要被从分析中排除的人的行为模式的说明性图。
[0102] 在本实施例中，如图3中所示，执行图像捕获使得从餐馆的出入口附近（即，从在 出入口附近的等待区域）朝就座区域移动的顾客的图像被从顾客的前面捕获到，并且从出 入口附近朝就座区域移动的顾客被确定为要被包括在分析中的那些。如图10A中所示，从 出入口附近朝就座区域移动的顾客通常从成像区的中心部分朝成像区的下边界移动。然 而，应当注意的是,顾客的移动的方向和顾客离开成像区的位置可以稍微从顾客到顾客变 动；例如，在一些情况下顾客可以从在成像区的下边界的左部上的位置离开成像区，如图 10B中所示。
[0103] 另一方面，在人如图11A中所示出的那样在成像区域的上部中保持大体上静止的 情况下，或者在人如图11B中所示出的那样在成像区域的下部中保持大体上静止的情况 下，该人不被认为是从出入口附近朝就座区域移动的顾客。例如，在人是坐在等待区域中的 座位中同时等待就座的顾客的情况下，该人展示出图11A中所示出的行为模式，然而在人 是在结账柜台前面等待结账的顾客的情况下，该人展示出图11B中所示出的行为模式。因 此，在同一位置处大体上静止的人不是从出入口附近朝就座区域移动的顾客；即，不是要被 包括在分析中的顾客，并且因此，在本实施例中，处于这样的停留状态的人被个体行为评价 单元56的停留确定单元61检测到。
[0104] 另外，在人如图12A中所示出的那样水平地横穿成像区的情况下，或者在人如图 12B中所示出的那样在成像区的右边界上进入成像区并且倾斜地横穿成像区的情况下，或 者在人如图12C中所示出的那样在其成像区的左边界上离开成像区的情况下，该人不被认 为是从出入口附近朝就座区域移动的顾客。在人是在餐馆里四处移动的餐馆职员，诸如在 厨房与就座区域之间重复地移动以递送菜单并且清理餐桌的餐馆职员的情况下，例如，该 人展示出图12A中所示出的行为模式。另外，在人是在已被引领到餐桌之后在餐馆里移动 的顾客，诸如从沙拉吧或盥洗室来回的顾客的情况下，该人展示出图12B中所示出的行为 模式。在人是正在离开餐馆的人的情况下，该人展示出图12C中所示出的行为模式。在每 种情况下，移动路径不同于如图10中所示出的要被包括在分析中的顾客的预期移动路径， 并且在本实施例中，沿着不同于要被包括在分析中的顾客的移动路径的移动路径移动的人 被个体行为评价单元56的移动路径确定单元62检测到。
[0105] 接下来，将给出由图1中所示出的停留确定单元61所执行的停留确定的描述。图 13是示出在成像区中定义以执行停留确定的确定区域的示例的说明性图。
[0106] 停留确定单元61进行停留确定，该停留确定是出现在成像区中的每个人是否是 处于停留状态或者处于在同一位置处大体上静止的状态的确定，并且从而确定该人是否是 要被包括在分析中的顾客。具体地，在本实施例中，确定区域被定义在成像区中并且基于人 是否退出确定区域执行停留确定。换句话说，未从确定区域移动出的人被确定为处于停留 状态的人。
[0107] 具体地，当人重新出现在一个确定区域中之后该人在相同的确定区域中消失时， 即，当检测到该人的位置全部是在相同的确定区域中时，确定了该人处于停留状态。
[0108] 在图13中所示出的示例中，移动开始区域被定义在成像区的中心部分中，并且第 一确定区域和第二确定区域分别被定义在移动开始区域上面和下面。
[0109] 每个确定区域都具有由与分别沿着矩形捕获的图像的两个相互垂直的边延伸的 坐标轴（X轴和y轴）中的任何一个平行的边（边界线）形成的多边形形状，使得在执行停 留确定过程时的计算负荷被减少。在本实施例中，每个确定区域的边的最大数目是8 (八）， 并且能够定义多达两个确定区域。在图13中所示出的示例中，成像区被定义成具有4个 VGA(1280x960)的图像尺寸，其中成像区的左上角点是原点。
[0110] 第一确定区域被定义成检测正停留在等待区域中同时等待就座的顾客。在本实施 例中，如图13中所示，等待区域被设置在出入口附近，并且第一确定区域被定义为使得为 在等待区域中同时等待就座的顾客的面部被定位于第一确定区域中。
[0111] 第二确定区域被定义成检测正停留在等待区域前面的位置处的顾客。在本实施例 中，如图3中所示，结账柜台和陈列橱位于在如从相机1看在左侧和右侧的等待区域前面， 并且第二确定区域被定义为使得在结账柜台前面等待结账的顾客的面部和看陈列橱的顾 客的面部被定位于第二确定区域中。结果，在本实施例中，成像区包括顾客可以停留在的左 区域或右区域，并且第二确定区域被定义成使凹形状包括这些区域。
[0112] 应当注意的是，在图13中所示的示例中，第一确定区域被定义为以便在成像区的 上部的整个宽度上延伸，然而在图4中所示出的示例中，第一确定区域被定义在成像区的 左上部分中。因此，确定区域的位置和延伸可以由用户取决于在成像区中和周围的环境来 适当地定义。
[0113] 针对每个人（跟踪ID)执行了由停留确定单元61所执行的过程，并且由停留确定 单元61所进行的确定的结果被反映在出现区域信息（第一标志（l nareai，x)和第二标志 (Inarea2, X))和日志数据的每一组跟S示ID数据的评价结果7[旨息的第一标志（Fig a, x, y) 上，如图9中所示。
[0114]出现区域?η息涉及人（跟!?示ID)第一次出现的确定区域。第一标志（Inareal, X) 指示人第一次出现的位置是否是在第一确定区域内，并且当人第一次出现的位置是在第一 确定区内时，其X值被设定为1 ( 一），并且当不是时设定为0 (零）。第二标志（Inarea2, X) 指示人第一次出现的位置是否是在第二确定区域内，并且当人第一次出现的位置是在第二 确定区内时，其X值被设定为1 ( 一），并且当不是时设定为0 (零）。
[0115] 评价结果信息的第一标志（Fig a，X，y)涉及停留确定。该第一标志的X值指示是 否满足停留确定准则，并且当满足停留确定准则时被设定为1 ( 一），并且当不是时设定为 〇 (零）。第一标志的y值指定满足停留确定准则的确定区域，并且被设定为与满足停留确 定准则的确定区域相对应的值。在这种实施例中，能够定义多达两个确定区域，并且y值被 设定为分别与两个确定区域相对应的1或2。如果不满足停留确定准则，则y值被设定为 〇(零）。
[0116] 如上所述，在本实施例中，处于停留状态的人能够被确定为存在于等待区域中同 时等待就座的顾客或在结账柜台附近等待结账等的顾客，并且通过在分析在排除这些顾 客，有可能避免将同一顾客包括在分析中超过一次。
[0117]另外，在本实施例中，依照成像区的环境在成像区中定义用于确定人是否处于停 留状态的（一个或多个）确定区域，并且因此，能够高准确地检测到要被从分析中排除的顾 客。
[0118]接下来，将给出由图7中所示出的移动路径确定单元62所执行的移动路径确定的 描述。图14是示出在成像区中定义以执行移动路径确定的确定线的示例的说明性图。图 15是示出使用确定线所执行的移动路径确定的结果的示例的说明性图。
[0119] 移动路径确定单元62进行移动路径确定，所述移动路径确定是出现在成像区中 的人的移动路径是否不同于对要被包括在分析中的顾客假定的移动路径的确定，并且从而 确定该人是否是要被包括在分析中的顾客。具体地，在本实施例中，如图14中所示，确定线 被定义在成像区的外边界上并且基于出现在成像区中的人的移动路径与确定线的相交状 态来进行移动路径确定。
[0120] 在本实施例中，确定线被定义在成像区的下、左以及右边界上。即，第一确定线、 第二确定线以及第三确定线被定义在矩形捕获的图像的四条边中的三条边（除上边以外） 上。
[0121]在图14中所示出的示例中，在左边的第一确定线被定义成在成像区的左边界上 从中上位置（0,200)延伸到下端位置（0, 960)。在右边的第二确定线被定义成在成像区的 右边界的全体上延伸。在下侧的第三确定线被定义成在成像区的下边界的全体上延伸。
[0122] 在本实施例中，如图3中所示，从出入口附近朝就座区域移动的顾客被确定为要 被包括在分析中的那些。如图10中所示，要被包括在分析中的每个顾客，即从出入口附近 移动到就座区域的顾客，开始从在成像区的中央部分中定义的移动开始区域移动并且通过 在成像区的下边界上定义的第三确定线退出成像区。
[0123] 因此,在要被包括在分析中的顾客，即从出入口附近朝就座区域移动的顾客的情 况下，该顾客的移动路径必定跨越在下侧的第三确定线，并且不跨越在左边的第一确定线 也不跨越在右边的第二确定线。换句话说，在从出入口附近朝就座区域移动的顾客的情况 下，该顾客离开成像区的退出点必定是在第三确定线上而决不是在左边的第一确定线或在 右边的第二确定线上。
[0124] 另一方面，在餐馆里四处移动以直线诸如将菜单递送到餐桌的工作的职员的情况 下，如果该职员像图12A中所示出的那样从左向右水平地跨越成像区移动，则移动路径与 在左边的第一确定线及在右边的第二确定线相交，并且进入点是在第一确定线上并且退出 点是在第二确定线上。在已被引领到餐桌之后在餐馆里移动的顾客的情况下，如果顾客像 图12B中所示出的那样从右侧向下侧倾斜地横过成像区，则移动路径和在右边的第二确定 线及在下侧的第三确定线相交，并且进入点是在第二确定线上并且退出点是在第三确定线 上。另外，在顾客离开餐馆的情况下，因为出入口在本实施例中是在成像区的左边，所以移 动路径跨越在左边的第一确定线并且退出点是在第一确定线上，如图12C中所示。
[0125] 如上所述，当退出点不是在第三确定线上时，能够确定的是人不是从出入口附近 朝就座区域移动的顾客，即，该人不是要被包括在分析中的顾客。另外，当进入点是在第一 至第三确定线中的一个上时，能够确定的是人不是从出入口附近朝就座区域移动的顾客， 艮P，该人是要被从分析中排除的顾客（见图15)。
[0126] 应当注意的是在本实施例中，基于紧接在当人离开成像区时的时间（帧离开时 间）之前的预定参考时间段（例如，2秒）内的该人的位置而进行移动路径确定，并且因此， 仅当从当人进入了成像区时到当人离开成像区时的时间段不超过参考时间段时，即，当人 在进入成像区之后不久离开成像区时，才在移动路径确定中评价进入点。另一方面，在要被 包括在分析中的顾客，即从出入口附近朝就座区域移动的顾客的情况下，该顾客通常在出 入口附近停留超过参考时间段，并且因此，在移动路径确定中不评价顾客在开始从移动开 始区域移动之前的行为以及进入点。因此，其进入点在移动路径确定中被评价的人能够被 认为不是要被包括在分析中的顾客。
[0127] 如在前文所描述的，在本实施例中，虽然基于确定线评价进入点能够检测要被从 分析中排除的人，但是不能够确实地标识要被包括在分析中的顾客。然而，在特定环境下在 成像区中和周围，如果在成像区的边界上定义的确定线被适当地定义，则基于确定线评价 进入点可以显著地有助于标识要被包括在分析中的顾客。
[0128] 应当注意的是，用于基于进入点和/或退出点与第一至第三确定线的关系来确定 人是否将被包括在分析中的适当的确定准则可以取决于在成像区中和周围的环境变化，并 且因此，优选的是确定准则能够由用户来定义。另外，在成像区的边界上定义的每个确定线 的适当延伸可以取决于在成像区中和周围的环境而变化，并且因此，优选的是每个确定线 的延伸能够由用户来设定。
[0129] 接下来，将给出由图7中所示出的移动路径确定单元62所执行的估计进入点和退 出点的过程的描述。图16A和16B是用于说明如何执行估计进入点和退出点的过程的说明 性图。
[0130] 移动路径确定单元62获得检测到的人紧接在该人己进入成像区之后的移动方 向，并且基于该移动方向，估计到成像区的进入点。此外，移动路径确定单元62获得人在 紧接在该人离开成像区之前的移动方向，并且基于该移动方向，估计从成像区的退出点。然 后，移动路径确定单元62通过确定所获得的进入点和退出点是否在确定线上来进行移动 路径确定。
[0131] 图16A涉及当人进入帧或成像区时的进入点，并且基于人重新出现在成像区中的 位置，即，人在成像区中第一次被检测到的位置P0,和同一人下一次被检测到的位置P1，来 估计这个进入点。具体地，计算从第一检测的位置P0到后续检测的位置P1的移动向量V， 并且计算在与移动向量v的方向相反的方向上延伸的延伸线与成像区的边界之间的交点， 使得这个交点被设定为估计的进入点。
[0132] 图16B涉及当人离开帧或者退出成像区时的进入点，并且基于人从成像区消失的 位置，即，人在成像区中被最后检测到的位置P0,和同一人紧接在最后检测之前被检测到 的位置Pn-1，来估计这个退出点。具体地，计算从人紧接在最后检测之前被检测到的位置 Pn-1到最后检测的位置Ρη的移动向量V，并且计算在与移动向量V的方向相同的方向上延 伸的延伸线与成像区的边界之间的交点，使得这个交点被设定为估计的退出点。
[0133] 针对每个跟踪ID执行了估计进入点和退出点的这个过程，并且估计的结果和基 于该估计的确定被反映在日志数据的每一组跟踪ID数据的评价结果信息的第二标志（Fig b, X，y)、第三标志（Fig c，X, y)以及移动量信息（dV，xxxx. XX)上，如图9中所示。
[0134] 第二标志（Fig b，X，y)涉及对进入点的确定，并且第三标志（Fig c，X, y)涉及对退 出点的确定。第二标志和第三标志的X值指示是否满足规定的准则，并且当满足准则时被 设定为1 (一），并且及当不满足时被设定为0 (零）。y值指定相对于其满足准则的确定线， 并且被设定为与相对于其满足准则的确定线相对应的值。在该实施例中，能够定义多达四 条确定线，并且y值被设定为分别与四条确定线相对应的1、2、3以及4中的一个。如果不 满足准则，则y值被设定为0(零）。移动量信息（dV，xxx X.xx)表示移动的量。当人计数 ID未被分配给人（跟踪ID)时，不针对该人执行移动量（或移动向量V)的计算，并且移动 量信息的值被设定为〇(零）。
[0135] 如上所述，在本实施例中，通过进行移动路径确定，即，确定出现在成像区中的人 的移动路径是否不同于对要被包括在分析中的顾客假定的移动路径，则有可能高准确地确 定所关注人是否是要被包括在分析中的人。具体地，在本实施例中，能够简单地通过参考人 的移动路径与确定线的相交状态来进行移动路径确定，并且因此，有可能容易地执行移动 路径确定，同时确保足够的准确性。另外，在本实施例中，能够通过估计到成像区的进入点 和从成像区的退出点并且确定该进入点和退出点是否位于确定线上来进行移动路径确定， 并且因此，有可能甚至更容易地执行移动路径确定同时确保足够的准确性。
[0136] 在本实施例中，成像区被设定为使得从在餐馆的出入口附近的等待区域朝就座区 域移动的顾客的图像被从顾客的前面捕获到，并且朝就座区域移动的顾客从成像区的中心 部分向下移动。因此，通过在成像区的下边界上设定确定线，有可能标识朝就座区域移动的 顾客。另外，因为不是顾客的职员和要被从分析中排除的顾客，诸如在已被引领到餐桌之后 在餐馆里移动的顾客往往移动以水平地横过成像区，通过在成像区的左边界和右边界上提 供确定线，有可能检测到不是顾客的人以及应该被从分析中排除的顾客的人。
[0137] 接下来，将给出图7中所示出的群行为评价单元57的描述。
[0138] 群行为评价单元57将出现在成像区中的人划分成群，并且基于该群中的人的出 现状态和行为模式来确定每个人是否将被包括在分析中。群行为评价单元57包括分群单 元63、单成员群确定单元 64以及群前确定单元65,如图7中所示。
[0139] 分群单元63执行将出现在成像区中的人划分成群的过程。单成员群确定单元64 执行基于由分群单元65所获得的每个群的成员数来确定每个群是否是单成员群，即由单 独四处移动的人构成的群的过程。群前确定单元65执行当检测到由多个人构成的群时确 定该群中的每个人是否是在该群中首先离开帧的人，即在该群中首先退出成像区的人的过 程。
[0140] 优选地，执行这种群行为评价使得通过停留确定和移动路径确定被确定要被从分 析中排除的人被提前从分群中排除。
[0141] 接下来，将给出由图7中所示出的分群单元63所执行的分群过程的描述。图17 是用于说明由分群单元63所执行的分群过程的模式的说明性图。在所图示的示例中，群1 和群3每个都由单个成员构成，而群2由两个成员构成。应当注意的是，在人计数ID的字 段中所示出的"HID，00000"是在跟踪ID被连续地检测到三次之前的未确定状态下所被分 配给每个跟踪ID的临时ID。
[0142] 分群单元63基于从个体行为评价单元56所输出的日志数据将人（跟踪ID)划 分成群。基于在成像区中顺序地检测到的人的检测的时间之间的间隔来执行分群。即，曰 志数据包括每当人在连续帧（捕获的图像）的时间序列中被检测到时所生成的跟踪ID数 据组，并且包括在每一组跟踪ID数据中的时间戳指示人的检测的时间。在分群过程中，计 算在时间序列中的每个相邻跟踪ID之间的检测时间之间的间隔，并且将检测时间之间的 每个间隔与预定阈值相比较，使得当间隔不超过阈值时，确定对应的两个跟踪ID属于同一 群，以及当间隔超过阈值时，确定对应的两个跟踪ID属于不同的群。
[0143] 在图17中所示出的示例中，在阈值被设定在2. 5秒的情况下执行分群。同样应当 注意的是，如果包括在群中的跟踪ID中的任何一个都没有被分配人计数ID，即该群中的跟 踪ID中的任何一个都没有被连续地检测到三次并且该群中的每个跟踪ID保持为被分配临 时ID (HID，00000)，该群组中的跟踪ID (或人）被确定成被从分析中排除，并且不对该群执 行进一步处理。
[0144] 如上所述，在本实施例中，基于人的检测时间之间的间隔执行人的分群，有可能容 易地足够准确地执行人的分组。
[0145] 接下来，将给出由图7中所示出的单成员群确定单元64和群前确定单元65所执 行的过程的描述。图18A-18C是用于说明人从出入口附近朝就座区域的移动的模式的说明 性图。
[0146] 在图18A中所示出的示例中，群由单人构成，并且该单人单独移动。在图18B和 1SC中所示出的示例中，群由多个人构成，并且多个人一起移动。
[0147] 在本实施例中，从出入口附近朝就座区域移动的顾客将被包括在分析中。当顾客 从出入口附近朝就座区域移动时，通常顾客跟随将该顾客引领到餐桌的职员，并且因此，当 人被划分成群时，要被包括在分析中的顾客即从出入口附近朝就座区域移动的顾客总是属 于具有两个或更多个成员的群。
[0148]因此，在本实施例中，当作为将人分群的结果，由单个成员（g卩，单独移动的人）构 成的群如图1SA中所示出的那样被检测到时，单成员群确定单元64确定该人是要被从分析 中排除的人。应当注意的是，未分配人计数的跟踪ID(或分配了临时ID的跟踪ID)将 被从分析中排除，即便当群包含多个跟踪ID时，如果该群包含分配了人计数ID的仅一个跟 踪ID，则该群被确定为由单个成员构成的群。
[0149] 例如，在职员在餐馆里四处移动的情况下,该职员通常单独移动。并且，在等待就 座的顾客设法看看餐馆的就座区域的情况下，该顾客往往在出入口附近单独移动。在这些 情况下，该人的移动路径与要被包括在分析中的人的预期移动路径可能是不可区分的，但 是因为人单独移动，所以有可能确定该人不是从出入口附近朝就座区域移动的顾客，g卩，不 是要被包括在分析中的顾客。
[0150]另外，当顾客从出入口附近朝就座区域移动时，常见的是顾客跟随将该顾客引领 到餐桌的职员，并且因此，当人被划分成群时，在每个群的前面移动并且在该群中首先离开 帧或者退出成像区的人能够被确定为将（一个或多个）顾客引领到就座区域的职员。
[0151] 因此，在本实施例中，当作为对人分群的结果，由多个人构成的群如图18B和18C 中所示出的那样被检测到时，群前确定单元65从属于该群的人之中检测首先离开帧的人， 艮P，首先退出成像区的人，并且确定所检测到的人是要被从分析中排除的人。在这种群前确 定过程中，估计群中的每个人的帧离开时间，并且在所估计的该人的帧离开时间之间进行 比较，以便确定首先离开帧的人。
[0152] 如上所述，在本实施例中，因为高度可能的是，单独构成群的人，即单独移动的人， 不是正被职员引领到就座区域的顾客，所以独立移动的人被确定为要被从分析中排除的 人，借此有可能防止不是顾客或应该被从分析中排除的顾客的人被包括在分析中。
[0153] 另外，在本实施例中，因为高度可能的是在群中首先离开帧或者退出成像区的人 是在该群的前面移动以将该群中的（一个或多个）顾客引领到就座区域的职员，所以在这 个群中首先离开帧的人被确定为要被从分析中排除的人，借此有可能避免将职员包括在分 析中。
[0154] 接下来，将给出由图7中所示出的群前确定单元65所执行的估计帧离开时间的过 程的描述。图19是用于说明由群前确定单元65所执行的估计帧离开时间的过程的说明性 图。
[0155] 在帧离开时间估计过程中，获得每个人紧接在从成像区退出之前的移动量，并且 基于移动量，估计帧离开时间，即当人退出成像区时的时间。具体地，在本实施例中，基于所 关注人在成像区中最后被检测到的位置和该人紧接在最后检测之前在成像区中被检测到 的位置来获得每单位时间的移动量，并且基于每单位时间的移动量以及该人的最后检测的 位置和时间来估计帧离开时间。
[0156] 在图19中所示出的示例中，计算在X方向和Y方向上从该人紧接在最后检测之前 被检测到的位置到该人被最后检测到的位置的移动量（向量X，向量Y)，该移动量被重复地 加到最后检测的位置以获得直到由加法得到的位置离开帧为止，即，直到X坐标值和Y坐标 值中的一个到达成像区外为止的移动量的加法的次数N，并且通过将次数N乘以帧间隔（例 如，当帧速率是5fps时为200msec)所获得的时间段被加到最后检测的时间以获得帧离开 时间。
[0157] 如上所述，在本实施例中，基于紧接在人离开成像区之前的移动量来估计每个人 的帧离开时间，并且因此，能够容易地足够准确地估计帧离开时间，即，当人退出成像区时 的时间。
[0158] 应当注意的是在图19中所示出的示例中，成像区具有4个VGA(128〇X%0)的图像 尺寸，使得成像区的X坐标值是在从〇到1280的范围内，同时成像区的Y坐标值是在从〇到 960的范围内，并且当通过重复地将移动量加到最后检测的位置所获得的X坐标值和/或Y 坐标值到达成像区的X坐标值和Y坐标值的相应范围外时，确定人离开帧。
[0159] 应当注意的是，可以连同上面参考图16所描述的进入点和退出点估计过程一起 执行这种帧离开时间估计过程。
[0160] 在己经像在前文所描述的那样估计了每个群中的每个人的帧离开时间之后，在每 个群中的人的帧离开时间之间进行比较以确定首先离开帧的人。在图19中所示出的示例 中，人A、人C以及人B按该次序离开帧，并且首先离开帧的人A被确定为要被从分析中排除 的人。
[0161] 应当注意的是，在帧离开时间对于多个人来说相同的情况下，移动量最小的人被 确定为首先离开帧（成像区）的人。即，当顾客被职员引领到就座区域时，通常该顾客不移 动到职员前面并且大体上以相同的移动速度跟随职员，即，平均移动速度被认为对于同一 组中的每个人来说是基本上上相同的。因此，如果两个人以相同的速度移动，则能够认为紧 接在离开帧之前的移动量较小的人较早地离开帧。
[0162] 尽管已经根据其具体实施例描述了本发明，但是这些实施例是出于说明性目的而 提供的，并且本发明不被实施例限制。应当注意的是，并非如本发明的实施例中所示出的 顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法中的全部都是必定不可缺少 的，并且在不背离本发明的精神的情况下，可以适当地选择性地使用它们。
[0163] 例如，在本实施例中，描述了本发明被应用于诸如休闲餐厅的餐馆的示例性情况。 然而，本发明可以被应用于除餐馆以外的商业机构，诸如零售店，其可以是便利店等。
[0164]另外，例如，虽然在本实施例中，描述了顾客类别分析过程的全体由设置在如图3 中所示出的餐馆处的PC3来执行的示例，但是顾客类别分析过程的全体可以由诸如pC7的、 设置在管理办公室处的另一信息处理装置或形成云计算系统的云计算机21来执行，如图1 中所示。另外，顾客类别分析过程可以通过多个信息处理装置的协作来执行，在这种情况 下，多个信息处理装置被配置成能够经由诸如IP网络或LAN的通信介质或者经由诸如硬盘 或存储器卡的存储介质与彼此进行通信或者共享信息。因此，共同地执行顾客类别分析过 程的多个信息处理装置构成顾客类别分析系统。
[0165]在这种情况下，优选的是，设置在餐馆处的PC3被配置成至少执行顾客类别标识 过程。在这样的结构中，因为由顾客类别标识过程所获得的顾客类别信息具有少量的数据， 所以即使剩余的过程由设置在除餐馆以外的场所的信息处理装置，诸如设置在管理办公室 处的PC 7来执行，通信负荷也可能是小的，并且因此，易于以广域网的形式操作该系统。 [0166]同样可能优选的是，云计算机21被配置成至少执行顾客类别标识过程。在这样的 结构中，尽管顾客类别标识过程需要大量的计算，但是这由构成云计算系统的信息处理装 置来实现，并且因此，没有必要在用户侧，即在餐馆等处准备高速信息处理装置；另外，因为 剩余的过程需要少量的计算，所以剩余的过程能够作为设置在餐馆处以用作销售信息管理 装置的信息处理装置的扩展功能来执行，并且这能够减少由用户所负担的成本。
[0167] 云计算机21可以被配置成执行顾客类别分析过程的全体。在这样的结构中，在除 设置在餐馆处的PC3和设置在管理办公室处的PC3之外的、诸如智能电话22的移动终端 上查看分析结果成为可能，并且这允许用户不仅在餐馆或管理办公室处而且在任何其它场 所，诸如用户正在商业访问的场所查看顾客类别的分析的结果。
[0168] 另外，虽然在本实施例中，设置在餐馆处的PC3和设置在管理办公室处的PC7被用 来查看顾客类别分析结果，但是有可能提供浏览器装置以用于与PC3和7分别地查看顾客 类别分析结果。例如，有可能将智能电话22用作用于像在前文所描述的那样查看顾客列表 分析结果的浏览器装置，或者有可能向POS工作站4提供浏览器装置的功能以用于查看顾 客类别分析结果。另外，虽然在本实施例中，顾客类别分析结果被显示在显示单元13和17 上以使得用户能够查看顾客类别分析结果，但是有可能通过打印机来输出顾客类别分析结 果。
[0169]另外，虽然在本实施例中，关于性别和年龄两者定义了顾客类别，但是有可能基于 性别或年龄或者基于诸如种族的（一个或多个）任何其它属性来定义顾客类别。另外，在 本实施例中，每个顾客类别都具有10岁年龄范围（除最高和最低顾客类别外），但是顾客类 别可以被定义成具有不同于实施例中所图示的那些的年龄范围。
[0170]又另外，虽然在本实施例中，每个都具有一个小时的持续时间的时隙定义用于总 计的时间段，但是用于总计的时间段不限于所图示的实施例，并且取决于用户需要，可以具 有任何持续时间，诸如一个小时到数个小时、一天到数天、一个星期到数个星期、一个月到 数个月等。
[0171] 根据本发明的顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法具有 能够避免将职员包括在分析中以及将同一顾客包括在分析中超过一次的优点，使得高准确 地执行光顾商业机构的顾客的顾客类别的分析，并且因此，可用作用于分析光顾商业机构 的顾客的顾客类别的顾客类别分析装置、顾客类别分析系统以及顾客类别分析方法。
[0172] 针对本申请提出巴黎公约优先权要求所针对的（一个或多个）原始日本专利申请 的内容以及在本申请中提到的现有技术参考的内容通过引用被结合在本申请中。
【权利要求】
1. 一种用于分析光顾商业机构的顾客的顾客类别的顾客类别分析装置（32)，包括： 顾客类别标识单元（33)，所述顾客类别标识单元（33)被配置成标识出现在成像区中 的每个人的顾客类别，并且获得指示顾客类别标识的结果的顾客类别信息，所述成像区被 定义以使得从在所述商业机构的出入口附近的等待区域朝就座区域移动的每个顾客的图 像被从所述顾客的前面捕获； 过滤单元（35)，所述过滤单元（35)被配置成基于出现在所述成像区中的每个人的行 为模式，根据预定确定准则来确定该人是否是要被包括在所述分析中的顾客，并且如果该 人被确定成不被包括在所述分析中则从所述分析排除该人，所述预定确定准则用于将要被 包括在所述分析中的人限制于展示出朝所述就座区域移动的行为模式的顾客； 总计单元（36)，所述总计单元（36)被配置成总计由所述顾客类别标识单元针对于由 所述过滤单元所选择的人所获得的所述顾客类别信息；以及 输出信息生成单元（37)，所述输出信息生成单元（37)被配置成基于由所述总计单元 总计的结果来生成表示分析结果的输出信息。
2. 根据权利要求1所述的顾客类别分析装置，其中，所述过滤单元（61)通过进行停留 确定来确定出现在所述成像区中的每个人是否是要被包括在所述分析中的顾客，所述停留 确定是出现在所述成像区中的每个人是否处于停留状态的确定。
3. 根据权利要求1或2所述的顾客类别分析装置，其中，所述过滤单元（62)通过进行 移动路径确定来确定出现在所述成像区中的每个人是否是要被包括在所述分析中的顾客， 所述移动路径确定是出现在所述成像区中的人的移动路径是否不同于对要被包括在所述 分析中的顾客假定的移动路径的确定。
4. 根据权利要求1至3中的任何一项所述的顾客类别分析装置，其中，所述过滤单元 (63.64) 将出现在所述成像区中的人划分成群并且基于每个群是否由单个人组成的确定来 确定出现在所述成像区中的每个人是否是要被包括在所述分析中的顾客。
5. 根据权利要求1至4中的任何一项所述的顾客类别分析装置，其中，所述过滤单元 (63.65) 将出现在所述成像区中的人划分成群并且通过进行群前确定来确定出现在所述成 像区中的每个人是否是要被包括在所述分析中的顾客，在所述群前确定中，当由多个人组 成的群被检测到时，确定所述群中的每个人是否是在所述群中首先退出所述成像区的人。
6. 根据权利要求2所述的顾客类别分析装置，其中，所述过滤单元（61)基于人是否退 出在所述成像区中定义的确定区域的确定来进行所述停留确定。
7. 根据权利要求3所述的顾客类别分析装置，其中，所述过滤单元（62)基于出现在所 述成像区中的每个人的移动路径与在所述成像区的边界上定义的确定线的相交状态来进 行所述移动路径确定。
8. 根据权利要求7所述的顾客类别分析装置，其中，所述过滤单元（62)获得每个人紧 接在该人己进入所述成像区之后的移动方向，并且基于该移动方向估计到所述成像区的进 入点，其中，所述过滤单元获得每个人紧接在该人离开所述成像区之前的移动方向，并且基 于该移动方向估计从所述成像区的退出点，并且其中，所述过滤单元通过确定所获得的进 入点和退出点是否在所述确定线上来进行所述移动路径确定。
9. 根据权利要求4或5所述的顾客类别分析装置，其中，所述过滤单元（63)基于在所 述成像区中顺序地检测到的人的检测时间之间的间隔，将出现在所述成像区中的人划分成 群。
10. 根据权利要求5所述的顾客类别分析装置，其中，所述过滤单元（62)获得每个人紧 接在退出所述成像区之前的移动量，并且基于所述移动量估计当该人退出所述成像区时的 时间。
11. 根据权利要求1至10中的任何一项所述的顾客类别分析装置，其中，所述输出信息 生成单元（37)基于针对每个预定时间段所获得的每个类别中的顾客数的时间序列，来生 成涉及每个类别中的顾客数的改变趋势的顾客类别趋势信息，作为所述输出信息。
12. 根据权利要求11所述的顾客类别分析装置，其中，所述顾客类别趋势信息表示在 所述商业机构的每日营业时间内的每个所述预定时间段所获得的每个类别中的顾客数与 顾客的总数的比。
13. 根据权利要求1至12中的任何一项所述的顾客类别分析装置，所述顾客类别信息 包括性别和年龄中的至少一个。
14. 一种用于分析光顾商业机构的顾客的顾客类别的顾客类别分析系统，包括： 成像装置（1)，所述成像装置（1)捕获顾客的图像；以及 多个信息处理装置（7,8)， 其中，所述多个信息处理装置共同地包括： 顾客类别标识单元（33)，所述顾客类别标识单元（33)被配置成标识出现在成像区中 的每个人的顾客类别，并且获得指示顾客类别标识的结果的顾客类别信息，所述成像区被 定义以使得从在所述商业机构的出入口附近的等待区域朝就座区域移动的每个顾客的图 像被从所述顾客的前面捕获； 过滤单元（35)，所述过滤单元（35)被配置成基于出现在所述成像区中的每个人的行 为模式，根据预定确定准则来确定该人是否是要被包括在所述分析中的顾客，并且如果该 人被确定成不被包括在所述分析中则从所述分析排除该人，所述预定确定准则用于将要被 包括在所述分析中的人限制于展示出朝所述就座区域移动的行为模式的顾客； 总计单元（36)，所述总计单元（36)被配置成总计由所述顾客类别标识单元针对于由 所述过滤单元所选择的人所获得的所述顾客类别信息；以及 输出信息生成单元（37)，所述输出信息生成单元（37)被配置成基于由所述总计单元 总计的结果来生成表示分析结果的输出信息。
15. -种用于通过使用设置在商业机构内部或外部的信息处理装置来分析光顾所述商 业机构的顾客的顾客类别的顾客类别分析方法，包括： 标识出现在成像区中的每个人的顾客类别，并且获得指示顾客类别标识的结果的顾客 类别信息，所述成像区被定义以使得从在所述商业机构的出入口附近的等待区域朝就座区 域移动的每个顾客的图像被从所述顾客的前面捕获； 基于出现在所述成像区中的每个人的行为模式，根据预定确定准则来确定该人是否是 要被包括在所述分析中的顾客，并且如果该人被确定成不被包括在所述分析中则从所述分 析排除该人，所述预定确定准则用于将要被包括在所述分析中的人限制于展示出朝所述就 座区域移动的行为模式的顾客； 总计由顾客类别标识单元针对于被确定为要被包括在所述分析中的人所获得的所述 顾客类别信息；以及 基于总计的结果来生成表示分析结果的输出信息。
【文档编号】G06Q30/02GK104217348SQ201410238845
【公开日】2014年12月17日 申请日期:2014年5月30日 优先权日:2013年5月30日
【发明者】竹本勇一郎, 平川邦雄, 宇野嘉修, 中畑裕一 申请人:松下电器产业株式会社