个部分的图像来分析了客户的移动历史，并且检测客户交通流，并由此把握客户的购买行为。然后，重复在S103之后的处理，并且当客户在他/她已经移动到的部分中拿起产品时，向客户呈现与基于客户交通流(购买行为)的产品相关的?目息O
[0069]图6示出了图5的S104中的距离图像分析单元110所执行的识别处理(跟踪处理)的细节。注意，图6中所示的图像分析处理是其一个示例，并且可以由另一图像分析处理来识别手部的动作、视线的动作和产品。
[0070]如图6中所示，距离图像获取单元111首先从3D相机210获取包含客户和产品的距离图像(S201)。接下来，区域检测单元112检测包含在S201中所获取的距离图像中的人物和货架(S202)，并且进一步检测人物和货架的每个区域(S203)。例如，区域检测单元112通过使用诸如SVM(支持向量机)的鉴别电路，基于包含在距离图像中的图像和距离，来检测到人物(客户)，并且估计检测到的人物的关节，并由此检测人物的骨结构。区域检测单元112基于检测到的骨结构来检测到诸如人物的手部或者面部(眼睛)的每个部分的区域。而且，区域检测单元112检测货架和货架的每个板子，并且通过使用鉴别电路，基于包含在距离图像中的图像和距离来进一步检测产品在每个货架上的放置区域。
[0071]然后，手部跟踪单元113跟踪在S203中检测到的客户的手部的动作(S204)。手部跟踪单元113跟踪客户的手部及其附近的骨结构，并且基于包含在距离图像中的图像和距离来检测手部的手指或手掌的动作。
[0072]此后，手部动作识别单元114基于S204中所跟踪的手部动作来提取手部动作的特征(S205)，并且基于所提取的特征来识别对产品的客户手部的动作，该动作是拿着产品的动作或查看产品的动作(S206)。手部动作识别单元114提取手指或手掌(手腕)的方向、角度和移动的改变，作为特征量。例如，手部动作识别单元114从手指的角度检测到客户正拿着产品，并且当垂直于手掌的方向朝着面部时，检测到客户正查看产品。而且，可以预先获悉拿着产品的状态或者拿起并查看产品的状态，并且可以通过与获悉的特征量相比较来识别手部的动作。
[0073]在S203之后，视线跟踪单元115跟踪在3203中检测到的客户的视线的动作(3207)。视线跟踪单元115跟踪客户的面部及其附近的骨结构，并且基于包含在距离图像中的图像和距离来检测面部、眼睛和瞳孔的动作。
[0074]此后，视线动作识别单元116基于S207中跟踪的视线的动作来提取视线动作的特征(S208)，并且基于所提取的特征来识别对产品的客户视线的动作，该动作为客户正在查看产品的动作(S209)。视线动作识别单元116提取面部、眼睛和瞳孔的方向、角度和移动的改变作为特征量。例如，视线动作识别单元116基于面部、眼睛和瞳孔的动作来检测到视线的方向，并且检测视线的方向是否朝着产品。而且，可以预先获悉查看产品的状态，可以通过与获悉的特征量的比较来识别视线的动作。
[0075]在S203之后，产品跟踪单元117跟踪在S203中检测到的产品的动作(状态)(S210)。而且，产品跟踪单元117跟踪在S206中确定的客户拿起的产品和在S209中确定的客户查看的产品。产品跟踪单元117基于包含在距离图像中的图像和距离来检测到产品的朝向、位置等。
[0076]然后，产品识别单元118提取S210中跟踪的产品的特征(S211)，并且基于所提取的特征来从产品信息DB 150中识别对应的产品(S212)。产品识别单元118提取产品上的标签的文字或图像，作为特征量。例如，产品识别单元118将所提取的标签的特征量与在产品信息DB 150中的标签的特征量作比较，并且检索特征量匹配的产品，并由此识别产品。而且，在货架上的放置位置和产品之间的关系被存储在产品信息DB 150中的情况下，获取客户拿起或查看的产品在货架上的位置，并且从产品信息DB 150中检索货架的位置，以由此检测匹配的产品。
[0077]图7示出了图5的S104和S105中执行的信息呈现处理的细节。
[0078]如图7中所示，距离图像分析单元110确定客户是拿起并且查看产品还是客户查看产品(S301)。例如，确定诸如手掌面向面部、拿起并查看盒子、瓶子等、保持查看达特定时间段、或者以双手拿起并查看两个产品的动作。当客户执行对应动作时，执行根据动作来显示促进信息的处理。
[0079]具体地，呈现信息生成单元140获取客户信息(S302)并且获取流信息(S303)。呈现信息生成单元140从客户识别单元120获取客户信息，以向客户提供基于通过面部识别相机220的面部图像的客户识别结果的信息。而且，呈现信息生成单元140从流分析单元130获取流信息，以向客户提供基于通过商店内相机230的客户交通流分析结果的信息。注意，在识别客户之前，在客户移动之前，并且当每个信息都不是必要的时，可以省略客户信息的获取和流ig息的获取。
[0080]然后，在S304至S306中，呈现信息生成单元140生成促进信息(产品相关信息)，并且将其呈现给客户。注意，S304至S306示出了要被呈现的信息的一个示例，并且可以呈现其他促进信息。S304至S306的呈现可以同时或者以任意顺序进行。而且，S304至S306中任意选择的信息可以被呈现，或者可以与其他信息一起被呈现。
[0081 ]在S304中，呈现信息生成单元140参考产品信息DB 150，并且获取与客户拿起/查看的对象产品相关的特性/同时购买信息152，将所获取的特性/同时购买信息152生成为呈现信息，并且向信息呈现设备240输出该呈现信息。
[0082]例如，呈现信息生成单元140生成以下信息:诸如客户拿起的产品的生产地区或原材、与客户拿起的产品组合食用的食物(当拿起红酒时，与红酒很搭配的奶酪)、类似生产地区或原材料的食物、使用该产品作为配料的食谱(当拿起奶酪时的披萨)、包括在食谱中的配料和炊具(披萨饼皮或浇头、炉灶等)、协调产品(衣服、鞋子、腰带、包等)等。而且，对于相关产品，呈现指令路线或指导在商店内购物的方式的信息。
[0083]而且，在特性/同时购买信息152中，诸如通过S302中获取的客户信息缩小的信息、或者通过S303中获取的流信息缩小的信息的适配信息被用作呈现信息。例如，通过诸如性别和年龄或会员客户ID的所识别的客户属性来适配所提供的信息，并且通过客户交通流分析发现另一部分的购买或兴趣来适配所提供的信息。例如，可以基于属性、偏好、历史等来呈现与饮食、过敏信息和健康状况相关的信息。当多个数字标牌被放置于商店内时，例如，促进信息可以与所识别的客户交通流相结合地一起在多个数字标牌中被呈现。
[0084]在S305中，呈现信息生成单元140参考产品信息DB150，并且获取与客户拿起/查看的对象产品相关的推送信息153，将所获取的推送信息153生成为呈现信息，并且向信息呈现设备240输出该呈现信息。具体地，当客户保持查看产品达指定时间段时，假设客户正在考虑是否购买产品，并且优选地呈现推送信息(鼓励信息)。
[0085]例如，呈现信息生成单元140生成用于客户拿起的产品的诸如“第二件五折优惠”的折扣方案、折扣优惠券、口碑信息、排名信息等。可以显示折扣优惠券的信息，并且可以通过与智能手机配合来使优惠券可用。可以通过购物车等的读取器设备来读取产品的条形码，并且显示当前小计，并且进一步可以显示折扣后的金额。
[0086]而且，如S304，在推送信息153当中，诸如通过在S302中获取的客户信息缩小的信息或者通过S303中获取的流信息缩小的信息的适配的信息被用作呈现信息。
[0087]在S306中，呈现信息生成单元140参考产品信息DB150，并且获取与客户拿起/查看的对象产品相关的比较信息154，将所获取的比较信息154生成为呈现信息来生成，并且向信息呈现设备240输出该呈现信息。
[0088]例如，当客户拿起两个产品时，呈现信息生成单元140生成比较这两个产品的特性、功能、价格、折扣和排名的信息。在这两个产品当中存在其购买要被推荐的产品的情况下，以与S305中相同的方式呈现诸如折扣信息的推送信息。当检测到客户正在查看产品标签上的最佳食用期限的显示时，可以显示较早一个(具有较早最佳食用期限的一个)的折扣
?目息O
[0089]而且，如S304中，在比较信息154当中，诸如通过S302中获取的客户信息缩小的信息或者通过S303中获取的流信息缩小的信息的适配的信息被用作呈现信息。
[0090]如上所述，在该示例性实施例中，由放置于产品货架和货架前的客户(顾客)能够从其中看见的位置处的3D相机观察客户的手部动作，以识别客户拿起哪个产品。然后，在产品附近的信息呈现设备(显示设备)上，显示诸如关于产品的信息、折扣方案或者相关推荐?目息的促进?目息
[0091]因为3D相机可以精确地把握手部动作，并且由此把握关于诸如触摸产品、拿起产品或翻转产品以读取标签的对产品的动作，所以与运动适配的促进信息可以被及时地(实时)显示。具体地，因为可以基于这样的动作来精确地检测到客户对产品有兴趣，所以能够针对对产品有兴趣的客户来有效地进行促进，由此促进了产品的购买并且增加销售。
[0092]例如，当检测到客户在双手中具有两个产品并且在比较它们时，可以显示这两个产品的比较信息、对期待被售出的产品的折扣呈现等，以由此鼓励(推动)正在考虑是否购买产品的客户确定购买该产品。
[0093]而且，通过将促进信息与使用面部识别相机所识别的客户信息相适配，或者将促进信息与使用商店内相机分析的客户交通流相适配，可以呈现更多有效的信息。
[0094](第二示例性实施例)
[0095]下文通过参考附图描述了第二示例性实施例。在该示例性实施例中，描述了第一示例性实施例被应用于一个货架系统