专利名称：姿势识别装置、姿势识别方法和程序的制作方法
技术领域：
本发明涉及一种姿势识别装置、姿势识别方法和程序。
背景技术：
当用户执行相关领域中的装置操作时，用户通常确认待操作的软件键或硬件键并且随后执行预定操作。因此，对于操作需要执行麻烦的工作并且难于在不确认键的情况下，例如在从键的远处观看时，执行操作。然而，为了提高装置的可操作性，利用诸如手的物体遮挡传感器的姿势被视为被 识别。该姿势操作使得用户能够在从键远处观看的同时执行操作，而无需麻烦的任务。引用文献列表专利文献专利文献I JP H7-146749A非专利文献非专利文献I : Ike 等人的“Hand Gesture User Interface Using CellBroadbandEngineTM”，Toshiba Review，Vol. 62，No. 6，pp. 52to 55,200
发明内容
技术问题通常，通过从成像传感器的拍摄图像检测检测物体的形状，并且对检测结果执行模式识别的处理来执行姿势识别(参照非专利文献I)。因此，即使在试图识别利用诸如手等的物体遮挡成像传感器的前面的姿势之后，由于不能检测位于成像传感器的前面附近的物体的形状，因此仍不能适当地识别姿势。此外，在一些情况下使用发射红外光的装置和接收红外光的装置来执行姿势识别(参照非专利文献I)。在该情况下，当从光发射装置发射的红外光被检测物体反射并且随后反射的红外光被光接收装置接收时，识别遮挡成像传感器的前面的物体。然而，除非使用诸如红外光发射装置和红外光接收装置的特殊装置，否则不能适当地识别姿势。因此，本发明提供了一种能够在不使用任何特殊装置的情况下识别遮挡成像传感器的传感器表面的姿势的姿势识别装置、姿势识别方法和程序。对问题的解决方案根据本发明的一个方面，提供了一种识别遮挡成像传感器的前面的姿势的姿势识别装置，该姿势识别装置包括第一检测单元，检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及第二检测单元，在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。第一检测单元可以基于拍摄图像中的特征点的跟踪结果来检测拍摄图像的改变。第一检测单元可以检测在其中成像传感器的前面未被遮挡的状态下的拍摄图像中跟踪的特征点在其中成像传感器的前面被手遮蔽的状态下的拍摄图像中丢失。第一检测单元可以确定在跟踪期间丢失的特征点与在预定时段中在多个拍摄图像中跟踪的特征点的比是否等于或大于阈值。姿势识别装置可以进一步包括移动确定单元，其基于多个特征点的移动趋势来确定成像传感器的移动，并且预定时段可以被设定为其中成像传感器不移动的时段。第二检测单元可以基于与拍摄图像相关的亮度值直方图的计算结果来检测其中拍摄图像的亮度值的梯度小于阈值的区域。第二检测单元可以使用与在预定时段中的多个拍摄图像相关的亮度值直方图来确定通过将最大频率附近的频率和归一化为频率的总和而获得的值是否在预定时段期间等于或大于阈值。
第二检测单元可以基于与拍摄图像相关的边缘图像检测其中拍摄图像的亮度值的梯度小于阈值的区域。第二检测单元可以使用与在预定时段中的多个拍摄图像相关的边缘图像来确定边缘图像中的边缘区域的比是否在预定时段期间小于阈值。第一和第二检测单元可以针对拍摄图像的部分区域而非针对拍摄图像执行处理。第一和第二检测单元可以针对从拍摄图像生成的分辨率小于拍摄图像的分辨率的灰阶图像执行处理。姿势识别装置可以识别通过组合遮挡成像传感器的前面的姿势和暴露成像传感器的前面的姿势而提供的姿势。姿势识别装置可以进一步包括成像传感器，其拍摄前面的图像。此外，根据本发明的另一方面，提供了一种姿势识别方法，包括检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。此外，根据本发明的另一方面，提供了一种用于使计算机执行如下操作的程序检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。这里，可以使用计算机可读存储介质提供程序，或者可以经由通信工具等提供程序。本发明的有利效果根据上述本发明，可以提供一种能够在不使用特殊装置的情况下识别遮挡成像传感器的传感器表面的姿势的姿势识别装置、姿势识别方法和程序。
图I是根据本发明的实施例的姿势识别装置的概况的图示。图2是根据第一实施例的姿势识别装置的主要功能配置的框图。图3是姿势识别装置的主要操作顺序的流程图。图4是遮挡姿势的识别顺序的流程图。图5是在执行姿势之前的特征点的检测结果的示图。
图6是在执行姿势之前的灰阶图像和亮度值直方图的计算结果的示图。图7是当成像传感器移动时的特征点的检测结果的示图。图8是当执行姿势时的特征点的检测结果的示图。图9是当执行姿势时的灰阶图像和亮度值直方图的计算结果的示图。
图10是根据第二实施例的姿势识别装置的主要功能配置的框图。图11是遮挡姿势的识别顺序的流程图。图12是在执行姿势之前的灰阶图像和边缘图像的示图。图13是当执行姿势时的灰阶图像和边缘图像的示图。图14是根据第一和第二实施例的修改示例的、当执行姿势时的特征点的检测结果的示图。
具体实施例方式在下文中，将参照附图详细描述本发明的优选实施例。注意，在这里的说明书和附图中，具有基本上相同的功能和结构的元件由相同的附图标记表示，并且重复的解释被省略。[I.姿势识别装置I的概况]首先，将参照图I描述根据本发明的实施例的姿势识别装置I的概况。如图I中所示，姿势识别装置I能够在不使用特殊装置的情况下识别遮挡成像传感器3的传感器表面的姿势。在下文中，假设传感器面将在成像传感器3的前面形成。然而，传感器表面可以在另一表面中形成。姿势识别装置I是信息处理装置，诸如个人计算机、电视机接收器、便携式信息终端或者移动电话。在姿势识别装置I中，从安装在姿势识别装置I上或者连接到姿势识别装置I的诸如视频相机的成像传感器3输入视频信号。下文将描述其中姿势识别装置I和成像传感器3分离配置的情况，但是姿势识别装置I和成像传感器3可以集成地配置。当用户U在成像传感器3的前面执行预定动作时，姿势识别装置I基于从成像传感器3输入的视频信号识别姿势。姿势的示例包括利用诸如手的物体遮挡成像传感器3的前面的遮挡姿势以及使物体在成像传感器3的前面左右移动的拂动姿势。例如，当姿势识别装置I被应用于音乐再现应用时，遮挡姿势对应于停止音乐再现的操作，并且左右轻拂姿势分别对应于再现前进和后退操作。当姿势被识别时，姿势识别装置I向用户U通知姿势的识别结果并且执行与识别的姿势对应的处理。姿势识别装置I以如下顺序识别遮挡姿势。当用户U执行遮挡姿势时，检测其中成像传感器3的前面未被遮挡的状态下的(在执行姿势之前)拍摄图像Pa和其中成像传感器3的前面被遮挡的状态下的(在姿势时)拍摄图像Pb之间的拍摄图像的改变(第一检测)。从遮挡状态下的(在姿势时)拍摄图像Pb检测其中拍摄图像的亮度值i的梯度小于阈值的区域(第二检测)。这里，当执行利用诸如手的物体遮挡成像传感器3的前面的姿势时，其中拍摄成像传感器3的前面的图像的图像Pa较之其中拍摄物体的图像Pb极大地改变。因此，检测到拍摄图像改变。此外，由于在其中接近地拍摄遮挡成像传感器3的前面的物体的拍摄图像Pb中亮度值i的梯度下降，因此检测到其中亮度值i的梯度小于阈值的区域。
因此，通过满足第一和第二检测条件，可以识别遮挡成像传感器3的前面的姿势。这里，由于成像传感器3检测拍摄图像改变以及亮度值i的梯度，因此成像传感器3可以不检测位于成像传感器3的前面附近的物体的形状。此外，由于基于成像传感器3的拍摄图像识别姿势，因此可以不使用特殊装置。<第一实施例>[2.姿势识别装置I的配置]接下来，将参照图2描述根据第一实施例的姿势识别装置I的配置。如图2中所示，根据第一实施例的姿势识别装置I包括帧图像生成单元11、灰阶图像生成单元13、特征点检测单元15、特征点处理单元17、传感器移动确定单元19、直方图计算单元21、直方图处理单元23、姿势确定单元25、运动区域检测单元27、运动区域处理单元29、识别结果通知单元31、特征点存储单元33、直方图存储单元35和运动区域存储单元 37。帧图像生成单元11基于从成像传感器3输入的视频信号生成帧图像。帧图像生成单元11可以安装在成像传感器3中。灰阶图像生成单元13基于从帧图像生成单元11提供的帧图像生成分辨率低于帧图像的分辨率的灰阶图像M (其是灰阶图像的统称)。灰阶图像M被生成为通过将帧图像压缩到例如1/256的分辨率而获得的无色彩图像。特征点检测单元15基于从灰阶图像生成单元13提供的灰阶图像M检测灰阶图像M中的特征点。例如，灰阶图像M中的特征点意指与成像传感器3拍摄的诸如物体的角的特征部分对应的像素图案。特征点的检测结果作为特征点数据临时存储在特征点存储单元33中。特征点处理单元17将与数个先前紧邻的帧至数十个先前紧邻的帧对应的确定时段中包括的多个灰阶图像M设定为对象并且处理特征点数据。特征点处理单元17基于从特征点存储单元33读取的特征点数据根据灰阶图像M中的特征点。计算特征点的移动向量。移动向量在特征点的移动方向上聚类。特征点处理单元17将在预定时段中的多个灰阶图像M设定为对象，计算跟踪期间丢失的特征点(丢失特征点)与在灰阶图像M中跟踪的特征点的比，并且将该比与预定阈值比较。预定时段被设定为比确定时段短。丢失特征点意指在预定时段的跟踪期间已丢失并且因此可不跟踪的特征点。丢失特征点的比较结果被提供给姿势确定单元25。传感器移动确定单元19基于从特征点处理单元17提供的聚类结果确定成像传感器3 (或者其上安装成像传感器3的姿势识别装置I)是否移动。传感器移动确定单元19计算指示给定方向上的移动的移动向量与特征点的移动向量的比并且将该比与预定阈值比较。当计算结果大于或等于预定阈值时，确定成像传感器3移动。当计算结果小于预定阈值时，确定成像传感器3不移动。传感器移动的确定结果被提供给姿势确定单元25。基于从灰阶图像生成单元13提供的灰阶图像M，直方图计算单元21计算指示形成灰阶图像M的像素的亮度值i的频率分布的直方图H (其是直方图的统称)。直方图H的计算结果作为直方图数据被临时存储在直方图存储单元35中。基于从直方图存储单元35读取的直方图数据，直方图处理单元23将预定时段中的多个灰阶图像M存储为对象并且计算具有给定亮度值i的像素的比。直方图处理单元23确定具有给定亮度值i的像素的比是否在预定时段期间大于或等于预定阈值。预定时段被设定为比确定时段短的时段。像素的比的确定结果被提供给姿势确定单元25。从特征点处理单元17向姿势确定单元25提供丢失特征点的比较结果并且从直方图处理单元23向姿势确定单元25提供像素的比的确定结果。姿势确定单元25确定丢失特征点的比是否大于或等于预定阈值并且具有给定亮度值i的像素的比是否在预定时段期间大于或等于预定值。这里，当确定结果是肯定时，识别到遮挡姿势。遮挡确定结果被提供给识别结果通知单元31。仅当成像传感器3不移动时，姿势确定单元25基于从传感器移动确定单元19提供的成像传感器的移动的确定结果来识别遮挡姿势。运动区域检测单元27基于从灰阶图像生成单元13提供的灰阶图像M之间的帧差异来确定运动区域。运动区域的检测结果作为运动区域数据被临时存储在运动区域存储单元37中。运动区域指的是指示物体在灰阶图像M中移动的区域。运动区域处理单元29将预定时段中的多个灰阶图像设定为对象并且处理灰阶图 像M的运动区域数据。基于从运动区域存储单元37读取的运动区域数据，运动区域处理单元29计算运动区域的中心位置并且计算运动区域在连续的灰阶图像M中的移动轨迹。预定时段被设定为比确定时段短。上述姿势确定单元25基于从运动区域处理单元29提供的移动轨迹的计算结果来计算运动区域的移动量(或者按照需要，速度)。姿势确定单元25确定运动区域的移动量(或者按照需要，速度)是否满足预定参考。这里，当确定结果是肯定时，识别到轻拂姿势。轻拂姿势的确定结果被提供给识别结果通知单元31。识别结果通知单元31基于从姿势确定单元25提供的确定结果向用户U通知姿势的识别结果。例如，通过连接到姿势识别装置I的显示器、扬声器等通知作为文本信息、图像信息、声音信息等的姿势的识别结果。用于特征点处理、直方图处理和运动区域处理的预定时段可以被设定为相同的时段或者相对彼此略微移位的时段。此外，用于特征点处理、直方图处理和移动确定处理的预定阈值都是根据所需的检测精度而设定的。特征点检测单元15和特征点处理单元17用作第一检测单元。直方图计算单元21和直方图处理单元23用作第二检测单元。特征点存储单元33、直方图存储单元35和运动区域存储单元37被配置为例如由处理器等控制的内部存储装置或者外部存储装置。巾贞图像生成单元U、灰阶图像生成单元13、特征点检测单元15、特征点处理单元17、传感器移动确定单元19、直方图计算单元21、直方图处理单元23、姿势确定单元25、运动区域检测单元27、运动区域处理单元29和识别结果通知单元31被配置为例如包括诸如CPU或DSP的处理器的信息处理装置。上述构成元件的至少一些功能可以被实现为诸如电路的硬件或者诸如程序的软件。当每个构成元件被实现为软件时，通过在处理器上执行的程序来实现每个构成元件的功能。[3.姿势识别装置I的处理]接下来，将参照图3至9描述根据第一实施例的姿势识别装置I的处理。首先，将描述姿势识别装置I的整体处理。如图3中所示，姿势识别装置I执行识别遮挡姿势和轻拂姿势的识别处理(步骤SI)。后面将详细描述该识别处理。当识别到遮挡姿势或轻拂姿势时(S3或S5中的“是”)，向用户U通知识别结果(S7)并且执行与识别姿势对应的处理(S8)。重复识别处理直至识别处理结束(S9)。当没有识别到姿势时，可以通知识别结果。(遮挡姿势) 接下来，将描述识别遮挡姿势的识别处理。当识别处理开始时，如图4中所示，帧图像生成单元11基于从成像传感器3输入的视频信号生成帧图像(S11)。可以针对每个帧生成帧图像或者可以通过间开视频信号按数个帧的间隔生成帧图像。灰阶图像生成单元13基于从帧图像生成单元11提供的帧图像生成灰阶图像M(S13)。这里，通过使用分辨率低于帧图像的分辨率的灰阶图像M来执行检测处理，，可以高效地检测帧图像的改变和亮度值i的梯度。此外，通过使用无色彩图像，即使在其中阴影相对不足的环境下，仍可以以相对高的精度检测帧图像的改变和亮度值i的梯度。特征点检测单元15基于从灰阶图像生成单元13提供的灰阶图像M检测灰阶图像M中的特征点(S15)。特征点的检测结果作为特征点数据与帧编号相关联地被临时存储在特征点存储单元33中，该特征点数据包括特征点的像素图案、检测位置等。图5示出了在执行姿势之前的特征点的检测结果。在图5中所示的示例中，连同灰阶图像Ml—起显示指示从图像检测到的多个特征点的标志C，该灰阶图像Ml包括其中拍摄用户U的上身和背景的图像。如图5中所示，与用户U和背景的特征部分对应的像素图案被检测为特征点。直方图计算单元21基于从灰阶图像生成单元13提供的灰阶图像M计算形成灰阶图像M的像素的亮度值i的直方图H (S17)。直方图H的计算结果作为直方图数据与帧编号相关联地被存储在直方图存储单元35中，该直方图数据指示亮度值i的频率分布。此外，当生成灰阶图像M时可以计算直方图H。图6示出了在执行姿势之前的灰阶图像Ml和亮度值直方图Hl的计算结果。直方图H指示亮度值i的频率分布，其中水平轴表示亮度值i (刻度值)并且竖直轴表示亮度值i的频率hi。这里，可以使用下式的归一化索引r来表述亮度值i的分布。在直方图H上，假设hsum是频率hi的总和，imax是最大频率的亮度值i，并且w是最大频率的亮度值imax附近的预定范围。此外，根据所需的检测精度设定预定范围W。归一化索引r是其中最大频率的亮度值imax附近的预定范围w中的频率hi的和利用频率的总和hsum进行归一化的索引。归一化索引r被计算为较大的值，因为灰阶图像M由具有给定亮度值i的像素形成，就是说，具有亮度值i的小梯度的区域的数目是较大的。[数学式I]
权利要求
1.一种姿势识别装置，包括 第一检测单元，检测其中成像传感器的前面未被遮挡的状态和其中所述成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及 第二检测单元，在其中所述成像传感器的前面被遮挡的状态下的所述拍摄图像中，检测其中所述拍摄图像的亮度值的梯度小于阈值的区域。
2.根据权利要求I所述的姿势识别装置， 其中所述第一检测单元基于所述拍摄图像中的特征点的跟踪结果来检测所述拍摄图像的改变。
3.根据权利要求2所述的姿势识别装置， 其中所述第一检测单元检测在其中所述成像传感器的前面未被遮挡的状态下的所述拍摄图像中跟踪的所述特征点在其中所述成像传感器的前面被手遮蔽的状态下的所述拍摄图像中丢失。
4.根据权利要求3所述的姿势识别装置， 其中所述第一检测单元确定在跟踪期间丢失的所述特征点与在预定时段中在多个所述拍摄图像中跟踪的所述特征点的比是否等于或大于阈值。
5.根据权利要求4所述的姿势识别装置，进一步包括 移动确定单元，其基于多个所述特征点的移动趋势来确定所述成像传感器的移动， 其中所述预定时段被设定为其中所述成像传感器不移动的时段。
6.根据权利要求I所述的姿势识别装置， 其中所述第二检测单元基于与所述拍摄图像相关的亮度值直方图的计算结果来检测其中所述拍摄图像的亮度值的梯度小于所述阈值的区域。
7.根据权利要求6所述的姿势识别装置， 其中所述第二检测单元使用与在所述预定时段中的多个所述拍摄图像相关的亮度值直方图来确定通过将最大频率附近的频率和归一化为频率的总和而获得的值是否在所述预定时段期间等于或大于阈值。
8.根据权利要求I所述的姿势识别装置， 其中所述第二检测单元基于与所述拍摄图像相关的边缘图像检测其中所述拍摄图像的亮度值的梯度小于所述阈值的区域。
9.根据权利要求8所述的姿势识别装置， 其中所述第二检测单元使用与在所述预定时段中的多个所述拍摄图像相关的所述边缘图像来确定所述边缘图像中的边缘区域的比是否在所述预定时段期间小于阈值。
10.根据权利要求I所述的姿势识别装置， 其中所述第一检测单元和所述第二检测单元针对所述拍摄图像的部分区域而非针对拍摄图像执行处理。
11.根据权利要求I所述的姿势识别装置， 其中所述第一检测单元和所述第二检测单元针对从所述拍摄图像生成的分辨率小于所述拍摄图像的分辨率的灰阶图像执行处理。
12.根据权利要求I所述的姿势识别装置， 其中识别通过组合遮挡所述成像传感器的前面的姿势和暴露所述成像传感器的前面的姿势而提供的姿势。
13.根据权利要求I所述的姿势识别装置，进一步包括 所述成像传感器，其拍摄前面的图像。
14.一种姿势识别方法,包括 检测其中成像传感器的前面未被遮挡的状态和其中所述成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及 在其中所述成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中所述拍摄图像的亮度值的梯度小于阈值的区域。
15.一种用于使计算机执行如下操作的程序 检测其中成像传感器的前面未被遮挡的状态和其中所述成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及 在其中所述成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中所述拍摄图像的亮度值的梯度小于阈值的区域。
全文摘要
一种识别遮挡成像传感器(3)的前表面的姿势的姿势识别装置(1)配备有第一检测单元(特征点检测单元(15)、特征点处理单元(17))，其检测当成像传感器的前表面被遮挡时和当成像传感器的前表面未被遮挡时的拍摄图像(Pa、Pb)之间的改变；以及第二检测单元(直方图计算单元(21)、直方图处理单元(23))，当在成像传感器的前表面被遮挡时拍摄图像时，检测拍摄图像的其中亮度值的梯度未达到阈值的区域。
文档编号G06F3/01GK102939617SQ20118002834
公开日2013年2月20日 申请日期2011年3月30日 优先权日2010年6月15日
发明者繁田修, 野田卓郎 申请人:索尼公司