姿势识别装置及姿势识别装置的控制方法
【技术领域】
[0001]本发明涉及一种用于识别根据姿势的输入操作的姿势识别装置。
【背景技术】
[0002]旨在普及一种针对计算机或电子设备，能够通过姿势进行输入的装置。
[0003]例如，专利文献I记载了一种通过摄像头等拍摄使用者在空间上摆出的姿势，并将该姿势变换为输入命令的输入装置。该装置将特定的姿势和特定的输入命令相关联并进行存储，其具有识别姿势的单元和将识别出的姿势变换为输入命令的单元。由此，使用者仅在设备前摆出姿势，不直接操作输入设备，就能够输入任意命令。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本专利4031255号公报
[0007]在用于识别姿势的输入装置中，存在根据使用者的喜好，想要对于某一个姿势分配不同的输入命令的情况。例如，针对“左右移动手”这一姿势，会存在想分配“变换电视机频道”这一操作的使用者和想分配“改变电视机音量”这一操作的使用者。
[0008]为了应对这种情况，在专利文献I所记载的装置中，根据摄像头拍摄到的图像进一步检测面部，从而识别摆出姿势的使用者。由此，能够将姿势、输入命令与每个使用者对应关联，能够实现符合个人喜好的个性化定制。
[0009]但是，虽然专利文献I所记载的装置能够根据面部进行个人识别，但是，当图像中出现多个面部时，无法正确识别检测出的姿势是谁摆出的。
[0010]例如，假设在使用者A和使用者B在电视机正面的情况下，装置通过设置在电视机正面的摄像头检测出姿势。在这样的状况下，在根据使用者对该姿势分配了不同的命令(例如，使用者A为“调高频道”，使用者B为“调大音量”)时，装置不能确定摆出姿势的使用者，所以，不能决定执行哪个命令为好。
【发明内容】
[0011]本发明是考虑上述课题而做成的，其目的在于，提供一种即使在进行姿势输入的使用者的周围存在多个使用者的情况下也能够正确获取对每个使用者制定的个性化的姿势输入的姿势识别装置。
[0012]为了解决上述课题，本发明的姿势识别装置采用如下结构:使用表示人体形状的人体模型，将图像所包含的面部和摆出姿势的对象部位进行对应关联，并识别摆出姿势的人物。
[0013]具体来讲，本发明的姿势识别装置根据获取的图像检测姿势，并生成与该姿势相对应的针对控制对象设备的命令，其具有:图像获取单元，其用于获取图像；姿势获取单元，其用于根据所获取的所述图像检测摆出姿势的对象部位，并根据检测出的对象部位的动作或者形状来获取姿势；面部检测单元，其用于检测包含于所获取的所述图像中的面部；对应关联单元，其用于使用表示人体形状的人体模型，将所检测出的所述对象部位和所检测出的所述面部进行对应关联；个人识别单元，其用于识别与所检测出的所述面部相对应的使用者；命令生成单元，其用于根据所识别出的所述使用者和所获取的所述姿势，生成针对控制对象设备的命令。
[0014]这样一来，本发明的姿势识别装置分别检测摆出姿势的对象部位和使用者的面部，并将二者进行对应关联，从而确定摆出姿势的使用者。此外，所谓对象部位，是使用者摆出姿势的部位，典型地是人的手，但也可以是输入姿势用的指示器等。
[0015]对象部位和面部的对应关联是通过使用作为表示人体形状的模型的人体模型来进行的。即，仅在检测出的面部和对象部位处于自然位置关系时，进行对应关联，处于非自然位置关系时，不进行对应关联。就该对应关联而言，只要能够使用人体模型来进行，可以使用任意的方法。例如，可以以检测出的面部为起点，推测躯体及胳膊、肘部、手腕等的位置，并根据推测结果计算手的可动范围，判断在该可动范围内是否包含有对象部位。
[0016]另外，人体模型不必要是仅表示人体形状的模型。例如，在使用输入姿势用的指示器来进行输入的情况下，可以使用表示包含指示器在内的形状的模型。这样，人体模型可以是包括用于摆出姿势的器具等的形状的模型。
[0017]通过这样构成，能够将对象部位与使用者个人相关联，即使在图像中包含多个人物的情况下，也能够高精度地判断摆出姿势的人物。
[0018]另外，本发明的姿势识别装置也可以还具有:姿势存储单元，其用于存储个人设定数据，该个人设定数据是将姿势和针对控制对象设备的命令的组与每个使用者进行对应关联的数据；所述命令生成单元进一步根据所述个人设定数据来生成针对控制对象设备的命令。
[0019]这样，优选地，将姿势、与姿势对应的命令与每个使用者对应关联并存储。
[0020]另外，所述对应关联单元也可以使用所检测出的所述面部的坐标和所述人体模型，针对所检测出的每个所述面部，计算推测为存在对象部位的范围，在所计算出的所述范围内存在所述对象部位的情况下，将该对象部位和该面部进行对应关联。
[0021]通过对检测出的每个面部应用人体模型，并分别计算推测为存在对象部位的范围，能够高精度地将检测出的面部和对象部位进行对应关联。
[0022]另外，所述姿势存储单元也可以进一步存储与使用者相对应的优先级，在同一时间段内，所述姿势获取单元获取的姿势有两个以上的情况下，所述命令生成单元优先处理与优先级更高的使用者相对应的姿势。
[0023]本发明的姿势识别装置能够识别摆出姿势的人物，但是，当多个人物同时摆出姿势时，有时无法确定应生成的命令。为了应对这样的情形，可以定义每个使用者的优先级，依据该优先级进行处理。例如，可以与其他使用者所摆出的姿势相比先处理优先级高的使用者摆出的姿势，也可以不处理优先级低的使用者摆出的姿势。
[0024]另外，在所述对应关联单元将所检测出的所述对象部位和所检测出的所述面部对应关联失败的情况下，所述命令生成单元也可以不考虑摆出姿势的使用者，而生成与所述姿势相对应的既定的命令。
[0025]这样，在对象部位和面部的对应关联失败时，可以生成未与特定的使用者关联的默认的输入命令。
[0026]另外，本发明的姿势识别装置也可以进一步具有使用者推测单元，该使用者推测单元用于不使用面部的检测结果，而推测摆出姿势的使用者；在所述对应关联单元所进行的、所检测出的所述对象部位和所检测出的所述面部的对应关联失败的情况下，所述使用者推测单元推测摆出姿势的使用者。
[0027]就人物的推测而言，例如可以根据过去获取的图像来进行，也可以从其他单元获取信息来进行。例如，在根据过去获取的图像，能够推测出有使用者位于设备附近时，可以推测为该使用者摆出了姿势；在控制对象设备为电视机，且能够获取每个使用者的视听履历的情况下，可以根据该视听履历，推测摆出姿势的使用者。
[0028]此外，能够将本发明体现为包括上述单元的至少一部分的姿势识别装置。另外，也能够将本发明体现为所述姿势识别装置的控制方法、用于使所述姿势识别装置动作的程序、记录有该程序的记录介质。只要上述处理、单元在技术上不发生矛盾，就能够进行自由组合来实施。
[0029]根据本发明，能够提供一种姿势识别装置，即使在进行姿势输入的使用者的周围存在多个使用者的情况下，也能够正确获取对每个使用者制定的姿势输入。
【附图说明】
[0030]图1是第一实施方式的姿势识别系统的结构图。
[0031]图2A、图2B是示出个人设定数据的例子的图。
[0032]图3是示出姿势定义数据的例子的图。
[0033]图4是用于说