专利名称：识别用户的动态器官姿势的方法和接口以及用电装置的制作方法
技术领域：
本发明涉及识别用户的动态器官(dynamic organ)姿势的方法，更具体地说，涉及识别用户的动态器官姿势的方法和接口以及使用该接口的用电(electric-using)装置。
背景技术：
由于各种多媒体系统基于图像信息来开发，因而针对理解图像中所包括的信息并将该信息应用至各种领域的技术的需求增加。具体来说，通过识别图像中人的姿势(如手移动)来建立更容易的接口环境受到了更多关注。然而，在现有技术中，当背景较复杂或者存在除了手以外的其它肤色区域时，难于准确地识别手。现有技术中识别手势的方法简要说明如下。利用多个数据集在标准化RGB颜色空间中进行基于高斯混合模型的学习。利用与通过学习而生成的模型的相似度，在帧图像中检测肤色图像。而且，利用多个帧图像之间的亮度差异来生成手移动图像。通过向所检测肤色图像应用手移动图像，生成手似然图像。利用综合图像特征，从手似然图像检测手候选区域。利用手候选区域的中心坐标和光流分量，最终判断手势。如上所述的现有技术方法具有以下问题。当图像中存在手区域以外的肤色区域时，难于在二者之间进行区分。而且，当背景中存在类似人的移动的某物时，难于检测手移动。而且，需要大量的数据集，并且需要许多时间和努力，以制成基于数据集的可靠模型。而且，该方法对室内光线变化敏感，并且因用于拍摄图像的摄像机的噪声而频繁出现手移动的错误检测。如上所述，现有技术方法造成效率和可靠性降低。
发明内容
因此，本发明致力于提供一种识别用户的动态器官姿势的方法和接口以及利用该接口的用电装置，其大致上消除了因现有技术的局限性和优点而造成的一个或更多个问题。本发明的优点是提供一种可以改进效率和可靠性的、识别用户的动态器官姿势的方法和接口以及利用该接口的用电装置。本发明的附加特征和优点将在下面的描述中加以阐述，并且根据该描述将部分地明显，或者可以通过本发明的实践而获知。本发明的这些和其它优点通过在书面说明及其权利要求书以及附图中具体指出的结构而认识到并获得。为实现这些和其它优点并且根据本发明的目的，如在此具体实施和广泛描述的， 一种用于在用电装置中使用的识别用户的动态器官的方法包括以下步骤利用窗口扫描差异图像，该差异图像反映了通过成像元件输入的目标图像与比较图像之间的亮度差异；当判断所述差异图像的被扫描区域包括动态器官时，生成所述被扫描区域的HOG(方向梯度直方图)描述符；测量所述被扫描区域的HOG描述符与针对所述动态器官的姿势的查询模板的HOG描述符之间的相似值；以及当所述相似值满足预定条件时，判断所述被扫描区域包括所述动态器官的所述姿势，其中，所述比较图像是所述目标图像之前的帧图像中的一个帧图像。在另一方面，一种用于在用电装置中使用的接口包括成像元件；以及动态器官姿势识别部，该动态器官姿势识别部利用窗口扫描差异图像，该差异图像反映了通过所述成像元件输入的目标图像与比较图像之间的亮度差异；当判断所述差异图像的被扫描区域包括动态器官时，生成所述被扫描区域的HOG(方向梯度直方图)描述符；测量所述被扫描区域的HOG描述符与针对所述动态器官的姿势的查询模板的HOG描述符之间的相似值；以及当所述相似值满足预定条件时，判断所述被扫描区域包括所述动态器官的所述姿势，其中，所述比较图像是所述目标图像之前的帧图像中的一个帧图像。在又一方面，一种用电装置包括接口，该接口包括动态器官姿势识别部，该动态器官姿势识别部利用窗口扫描差异图像，该差异图像反映了通过成像元件输入的目标图像与比较图像之间的亮度差异；当判断所述差异图像的被扫描区域包括动态器官时，生成所述被扫描区域的HOG(方向梯度直方图)描述符；测量所述被扫描区域的HOG描述符与针对所述动态器官的姿势的查询模板的HOG描述符之间的相似值；以及当所述相似值满足预定条件时，判断所述被扫描区域包括所述动态器官的所述姿势；以及控制电路，该控制电路根据来自所述接口的、所述动态器官的所述姿势的识别结果来控制所述用电装置的操作，其中，所述比较图像是所述目标图像之前的帧图像中的一个帧图像。应当明白，前面的一般描述和下面的详细描述都是示例性和解释性的，并且旨在提供对如要求保护的本发明的进一步阐释。
附图被包括进来以提供对本发明的进一步理解，并且被并入并构成本说明书的一部分，附图例示了本发明的实施方式，并与本描述一起用于说明本发明的原理。在附图中图1是例示根据本发明实施方式的包括用于识别手姿势的接口的装置的示意图；图2是例示根据本发明实施方式的用于识别手姿势的方法的示意图；图3是例示根据本发明实施方式生成的差异图像的示例的图片；图4是例示根据本发明实施方式的针对图3的图片的二值化图的示例的图片；图5是例示根据本发明实施方式的窗口扫描的示例的视图；图6是例示其中出现噪声的目标图像的示例的图片；图7是例示针对图6的目标图像的边缘幅值(magnitude)图的图片；图8是例示根据本发明实施方式所生成的针对图6的目标图像的HOS图的图片；图9是例示根据本发明实施方式的生成HOG描述符的过程的示例的视图；以及图10至13是例示根据本发明实施方式的各种环境下的手姿势识别结果的图片。
具体实施例方式下面，对本发明所示实施方式进行详细说明，这些实施方式在附图中进行了例示。图1是例示根据本发明实施方式的包括用于识别手姿势的接口的装置的示意图，
7而图2是例示根据本发明实施方式的用于识别手姿势的方法的示意图。参照图1，装置10可以包括接口 100和控制电路200。装置10可以限定为基于通过接口 100输入的信息控制和操作并且在操作中使用电力的所有类型的装置中的一种。例如，可以将各种类型的装置(例如，显示装置(如等离子显示板、液晶显示器或有机发光二极管)、洗衣机、冰箱、空调、工业设备等)用作根据本实施方式的装置10。因此，装置10可以被称为用电装置10。接口 100可以包括成像元件110和手姿势识别部120。摄像机可以被用作成像元件110。成像元件110拍摄其前面的图像，并且所拍摄的图像按帧输入到手姿势识别部120中。手姿势识别部120从所输入的图像中检测并识别手姿势。手姿势识别结果被传送至控制电路200。控制电路200生成并输出与手姿势识别结果相对应的控制指令。根据该控制指令，控制并操作用电装置10。例如，当将显示装置用作装置10时，可以传达诸如断开电源、改变频道、调节音量等的各种指令。进一步参照图2至9说明根据本发明实施方式的识别手姿势的方法。执行第一步骤STl 通过成像元件110拍摄图像，并将其输入至手姿势识别部120。 为便于说明，假定作为针对当前帧输入以识别手姿势的图像的帧图像可以被称为目标图像。而且，假定作为要与目标图像比较的图像的帧图像可以被称为比较图像，并且该比较图像可以是目标图像之前的帧图像中的一个，例如，紧挨在目标图像之前的帧图像。接着，执行第二步骤ST2 生成目标图像与比较图像之间的差异图像。该差异图像可以反映目标图像与比较图像之间的亮度差异。图3示出了根据本发明实施方式所生成的差异图像的示例。参照图3，比较目标图像和比较图像，示出了用户的手等处于运动中。进行运动的地方存在像素值差异，而不进行运动的地方不存在像素值差异。利用这个情况，可以生成本实施方式的差异图像。接着，执行第三步骤ST3 生成针对差异图像的二值化图。可以通过参照临界值而二值化像素差异来制成二值化图。换句话说，参照临界值将亮度差异分组成两个值。例如，可以利用下面第一表达式来生成二值化图|ln(x，7)-1^ (x, y)| >TH1。 In (X，y)和Ilri (X，y)分别是目标图像(即，第η帧图像)与比较图像(即，第(η-1)帧图像)在坐标(X，y)处的像素亮度，并且THl是第一临界值。根据第一表达式，当像素亮度差异大于第一临界值THl时，可以将二进制值中的高值分配给对应像素。当像素亮度差异是第一临界值THl或更小时，可以将二进制值中的低值分配给对
应像素。通过将二进制值分配给像素，最终可以生成二值化图。图4示出了根据本发明实施方式的针对图3的图片的二值化图的示例。在图4中， 假定在大于第一临界值THl (即，> THl)时将“1”分配为高值，而在等于或小于第一临界值 THl (即，彡THl)时将“0”分配为低值。如上所述，通过生成二值化图，可以进一步突出目标图像的因运动而与比较图像不同的部分。这使得更有效地检测手运动，并由此可以提高手姿势识别速率。接着，执行第四步骤ST4:通过具有预定尺寸的窗口 WD来扫描二值化图，并接着执行第五步骤ST5 判断属于通过窗口 WD扫描的区域的像素当中的、具有二进制值之一(例如，高值)的像素的数量是否大于第二临界值TH2。参照图5对窗口扫描进行说明，图5是例示根据本发明实施方式的窗口扫描的示例的视图。参照图5，具有宽度W和高度H的窗口 WD沿一方向(例如，行方向(即，χ方向)) 移动，并且执行扫描。完成一行(即，扫描了一扫描行)，接着执行扫描下一扫描行。窗口 WD由于扫描的移动距离D(即，沿行方向的相邻窗口扫描之间的距离)可以小于窗口 WD的宽度W。例如，扫描当前扫描区域，接着，窗口 WD移动小于与宽度W相对应的像素数的像素数，并接着扫描下一个扫描区域。因此，沿行方向的相邻扫描区域可以彼此交叠。而且，沿列方向(即，y方向)的相邻扫描区域可以彼此交叠。例如，完成扫描一扫描行，接着，窗口 WD移位小于与高度H相对应的像素数的像素数，接着扫描下一扫描行。 因此，沿列方向的相邻扫描区域可以彼此交叠。优选的是，窗口 WD的尺寸被设置成与针对手姿势的查询模板的尺寸相同。针对手姿势的查询模板是特定的手形状模型，以识别目标图像中的对应手姿势。如上所述，针对扫描区域，判断属于扫描区域的像素当中的、具有高值的像素的数量是否大于第二临界值TH2。当具有高值的像素的数量大于第二临界值TH2时，执行作为下一步骤的第六步骤 ST6 生成HOS (高阶统计)图。然而，当具有高值的像素的数量为第二临界值TH2或更小时，不移动到第六步骤 ST6，而是返回至第四步骤ST4。在这种情况下，窗口 WD移动并且扫描下一个扫描区域。如上所述，第二临界值TH2被视为初步确定扫描区域包括手图像的可能性的基准。具体来说，当像素的数量为第二临界值TH2或更小时，判断扫描区域不包括手图像，因此，返回至先前步骤ST4，而非移动至下一步骤ST6，并且再次执行窗口扫描。通过具有高值的像素的数量是否满足如上预定条件来初步判断存在手图像，不再针对不包括手图像的区域执行随后的步骤。因此，能够加快手姿势识别速率。接着，执行第六步骤ST6:当扫描区域中具有高值的像素的数量大于第二临界值 TH2时，生成针对扫描区域的HOS图。利用HOS (高阶统计)信息来生成HOS图。换句话说，找出针对属于目标图像的整个区域当中的扫描区域的像素的亮度的HOS信息，并由此改变特征空间。为了找出针对每一个像素的HOS信息，利用下面的第二表达式来计算二阶矩
m(2)(x,y,n) = ^- ^(I(x,y,n)-m(x,y,n)f 在第二表达式中，B(x，y)是坐标(x，y)处的像
B (xy)GB(xy)。
素及其周围像素的集合，而队是80^，7)的幅值。I(x，y，n)是第η帧中坐标(x，y)处的像
素的亮度，而是第η帧中B(x，y)的平均亮度。关于第一表达式，因为二阶矩的范围
可能大大超过图像亮度的最大值，所以可以将该范围的上限值限制成预定值，例如，图像亮度的最大值。例如，当将该上限值限制成“255”时，通过下面的第三表达式找出HOS信息
权利要求
1.一种用于在用电装置中使用的识别用户的动态器官的方法，该方法包括以下步骤 利用窗口扫描差异图像，该差异图像反映了通过成像元件输入的目标图像与比较图像之间的亮度差异；当判断所述差异图像的被扫描区域包括动态器官时，生成所述被扫描区域的方向梯度直方图HOG描述符；测量所述被扫描区域的HOG描述符与针对所述动态器官的姿势的查询模板的HOG描述符之间的相似值；以及当所述相似值满足预定条件时，判断所述被扫描区域包括所述动态器官的所述姿势， 其中，所述比较图像是所述目标图像之前的帧图像中的其中一幅帧图像。
2.根据权利要求1所述的方法，其中，利用窗口扫描差异图像的步骤包括以下步骤 通过参照临界值将所述亮度差异二值化为高值和低值来生成针对所述差异图像的二值化图；以及利用所述窗口扫描所述二值化图。
3.根据权利要求2所述的方法，其中，当属于所述被扫描区域的多个像素之中的、具有所述高值的像素的数量满足预定条件时，判断所述被扫描区域包括所述动态器官。
4.根据权利要求1所述的方法，其中，生成所述被扫描区域的HOG描述符的步骤包括以下步骤利用针对所述被扫描区域的亮度的高阶统计HOS信息来生成针对所述被扫描区域的 HOS图；以及基于所述HOS图来生成所述被扫描区域的HOG描述符。
5.根据权利要求4所述的方法，其中，基于所述HOS图来生成所述被扫描区域的HOG描述符的步骤包括以下步骤利用所述被扫描区域的像素的亮度梯度的幅值和方向来生成针对各个块的直方图；以及通过连接这些直方图来生成所述被扫描区域的HOG描述符， 其中，所述块具有比所述窗口的尺寸小的尺寸，并且相邻块彼此交叠。
6.根据权利要求1所述的方法，其中，利用所述被扫描区域的HOG描述符与所述查询模板的HOG描述符之间的余弦相似度，通过第一表达式来测量所述相似值，并且(HqSr Ht其中，所述第一表达式是/C^ = ，其中代，Rtr) = HI矿||，其中，Htl是所述查询模板的HOG描述符，坎是所述被扫描区域的HOG描述符，0f)T是Htl的置换矩阵，P r是余弦相似度，并且f( P》是相似值测量函数。
7.根据权利要求4所述的方法，其中，通过第二表达式和第三表达式来求解所述HOS信息？其中，所述第二表达式是 (2)(χ，>0 = + ^(Ι(χ^)-πι(χ,γ)Υ，其中，B(x, y)是坐标(x, y)处的像素和周围像素的集合，队是80^，y)的幅值，I(x, y)是坐标(X，y)处的像素的亮度，《(υ)是B(x，y)的平均亮度，m⑵(x，y)是二阶矩，并且其中，所述第三表达式是
8.根据权利要求1所述的方法，其中，在通过所述窗口扫描的所述目标图像的多个区域之中，沿所述窗口的宽度方向的相邻区域彼此交叠，并且沿所述窗口的长度方向的相邻区域彼此交叠。
9.根据权利要求1所述的方法，其中，所述动态器官是手、脚、头、臂以及腿中的一种。
10.一种用于在用电装置中使用的接口，所述接口包括 成像元件；以及动态器官姿势识别部，该动态器官姿势识别部利用窗口扫描差异图像，该差异图像反映了通过所述成像元件输入的目标图像与比较图像之间的亮度差异；当判断所述差异图像的被扫描区域包括动态器官时，生成所述被扫描区域的方向梯度直方图HOG描述符；测量所述被扫描区域的HOG描述符与针对所述动态器官的姿势的查询模板的HOG描述符之间的相似值；以及当所述相似值满足预定条件时，判断所述被扫描区域包括所述动态器官的所述姿势，其中，所述比较图像是所述目标图像之前的帧图像中的其中一幅帧图像。
11.根据权利要求10所述的接口，其中，所述动态器官姿势识别部通过参照临界值将所述亮度差异二值化为高值和低值来生成针对所述差异图像的二值化图，并且利用所述窗口扫描所述二值化图。
12.根据权利要求11所述的接口，其中，当属于所述被扫描区域的多个像素之中的、具有所述高值的像素的数量满足预定条件时，所述动态器官姿势识别部判断所述被扫描区域包括所述动态器官。
13.根据权利要求10所述的接口，其中，所述动态器官姿势识别部利用针对所述被扫描区域的亮度的高阶统计HOS信息来生成针对所述被扫描区域的HOS图，并且基于所述HOS 图来生成所述被扫描区域的HOG描述符。
14.根据权利要求13所述的接口，其中，所述动态器官姿势识别部利用所述被扫描区域的像素的亮度梯度的幅值和方向来生成针对各个块的直方图，并且通过连接这些直方图来生成所述被扫描区域的HOG描述符，并且其中，所述块具有比所述窗口的尺寸小的尺寸，并且相邻块彼此交叠。
15.根据权利要求10所述的接口，其中，利用所述被扫描区域的HOG描述符与所述查询模板的HOG描述符之间的余弦相似度，通过第一表达式来测量所述相似值，并且(HqSr Ht其中，所述第一表达式是
16.根据权利要求13所述的接口，其中，通过第二表达式和第三表达式来求解所述HOS fn息，其中，所述第二表达式是
17.根据权利要求10所述的接口，其中，在通过所述窗口扫描的所述目标图像的多个区域之中，沿所述窗口的宽度方向的相邻区域彼此交叠，并且沿所述窗口的长度方向的相邻区域彼此交叠。
18.根据权利要求10所述的接口，其中，所述动态器官是手、脚、头、臂以及腿中的一种。
19.一种用电装置，该用电装置包括接口，该接口包括动态器官姿势识别部，该动态器官姿势识别部利用窗口扫描差异图像，该差异图像反映了通过成像元件输入的目标图像与比较图像之间的亮度差异；当判断所述差异图像的被扫描区域包括动态器官时，生成所述被扫描区域的方向梯度直方图HOG 描述符；测量所述被扫描区域的HOG描述符与针对所述动态器官的姿势的查询模板的HOG 描述符之间的相似值；以及当所述相似值满足预定条件时，判断所述被扫描区域包括所述动态器官的所述姿势；以及控制电路，该控制电路根据来自所述接口的所述动态器官的所述姿势的识别结果来控制所述用电装置的操作，其中，所述比较图像是所述目标图像之前的帧图像中的其中一幅帧图像。
20.根据权利要求19所述的装置，其中，所述动态器官姿势识别部通过参照临界值将所述亮度差异二值化为高值和低值来生成针对所述差异图像的二值化图，并且利用所述窗口扫描所述二值化图。
21.根据权利要求20所述的装置，其中，当属于所述被扫描区域的多个像素之中的、具有所述高值的像素的数量满足预定条件时，所述动态器官姿势识别部判断所述被扫描区域包括所述动态器官。
22.根据权利要求19所述的装置，其中，所述动态器官姿势识别部利用针对所述被扫描区域的亮度的高阶统计HOS信息来生成针对所述被扫描区域的HOS图，并且基于所述HOS 图来生成所述被扫描区域的HOG描述符。
23.根据权利要求22所述的装置，其中，所述动态器官姿势识别部利用所述被扫描区域的像素的亮度梯度的幅值和方向来生成针对各个块的直方图，并且通过连接这些直方图来生成所述被扫描区域的HOG描述符，并且其中，所述块具有比所述窗口的尺寸小的尺寸，并且相邻块彼此交叠。
24.根据权利要求19所述的装置，其中，利用所述被扫描区域的HOG描述符与所述查询模板的HOG描述符之间的余弦相似度，通过第一表达式来测量所述相似值，并且 其中，所述第一表达式
25.根据权利要求22所述的装置，其中通过第二表达式和第三表达式来求解所述HOS fn息，其中，所述第二表达式是 (2)(χ，>0 = + ^{1{χ,γ)-πι{χ,γ))2，其中，B(x，y)是坐标(x, y)处的像素和周围像素的集合，队是80^，y)的幅值，I(x, y)是坐标(X，y)处的像素的亮度，《(υ)是B(x，y)的平均亮度，m⑵(x，y)是二阶矩，并且其中，所述第三表达式是//ay(x，y) = MINiPL,爪⑶y))，其中，UL是上限值，并且DSFDSF是缩小因子。
26.根据权利要求19所述的装置，其中，在通过所述窗口扫描的所述目标图像的多个区域之中，沿所述窗口的宽度方向的相邻区域彼此交叠，并且沿所述窗口的长度方向的相邻区域彼此交叠。
27.根据权利要求19所述的装置，其中，所述动态器官是手、脚、头、臂以及腿中的一种。
全文摘要
本发明涉及识别用户的动态器官姿势的方法和接口以及使用该接口的用电装置。一种用于在用电装置中使用的识别用户的动态器官的方法，包括利用窗口扫描差异图像，该差异图像反映了通过成像元件输入的目标图像与比较图像之间的亮度差异；当判断所述差异图像的被扫描区域包括动态器官时，生成所述被扫描区域的HOG(方向梯度直方图)描述符；测量所述被扫描区域的HOG描述符与针对所述动态器官的姿势的查询模板的HOG描述符之间的相似值；以及当所述相似值满足预定条件时，判断所述被扫描区域包括所述动态器官的所述姿势，其中，所述比较图像是所述目标图像之前的帧图像中的一个帧图像。
文档编号G06F3/01GK102411706SQ20111027335
公开日2012年4月11日 申请日期2011年9月15日 优先权日2010年9月17日
发明者李承启 申请人:乐金显示有限公司