专利名称：一种人手定位方法及系统的制作方法
技术领域：
本发明属于图像识别技术领域，尤其涉及一种人手定位方法及系统。
背景技术：
随着技术的发展，人手识别作为人机交互必不可少的一环而备受重视。而人手运动的定位和跟踪是准确提取和识别人手手势的先决条件，传统的人手定位方式需要附加特定的传感器(如手柄、遥控器、数据手套等)来实现，操作繁琐。为此，现有技术提供的一种人手定位方法是利用人手手型模板进行人手定位的， 通过预存若干人手手型模板，在采集到的视频图像中提取模板相应的人手。由于人手的活动自由度较大，形状变化大，因此该方法无法适应复杂自然场景下的人手定位，定位可靠性差。针对此情况，现有技术提供的另一种人手定位方法是利用人手肤色模型进行人手定位的，通过预存人手肤色模型，在采集到的视频图像中提取模型范围内的肤色区域即为人手区域。该方法在光线变化较大的环境下，无法准确的提取出人手区域，同样存在定位可靠性差的问题。在本背景技术本部分所公开的上述信息仅仅用于增加对本发明背景技术的理解， 因此其可能包括不构成对该国的本领域普通技术人员已知的现有技术。
发明内容
本发明实施例的目的在于提供一种人手定位方法，旨在解决现有技术提供的人手定位方法利用人手肤色模型实现对人手的定位，在光线变化较大的环境下，定位可靠性差的问题。本发明实施例是这样实现的，一种人手定位方法，所述方法包括以下步骤接收视频图像，并提取接收到的所述视频图像中的人脸区域；根据提取出的所述人脸区域建立肤色模型；根据建立的所述肤色模型提取所述视频图像中的肤色区域；在提取到的所述肤色区域中提取人手区域。本发明实施例的另一目的在于提供一种人手定位系统，所述系统包括人脸区域提取模块，用于接收视频图像，并提取接收到的所述视频图像中的人脸区域；肤色模型建立模块，用于根据所述人脸区域提取模块提取出的所述人脸区域建立肤色模型；肤色区域提取模块，用于根据所述肤色模型建立模块建立的肤色模型提取所述视频图像中的肤色区域；第一人手区域提取模块，用于在所述肤色区域提取模块提取到的所述肤色区域中提取人手区域。
本发明实施例提供的人手定位方法是利用人脸与人手的关联性，将人脸识别技术与肤色识别技术相结合，在采集的视频图像中提取出人脸后建立人脸肤色模型，并利用该人脸肤色模型在采集的视频图像中提取出人手区域。相对于现有技术，该方法不受光线变化的影响，灵活性强，定位可靠性高。
图I是本发明实施例提供的人手定位方法的流程图；图2是本发明实施例提供的人手定位系统的原理结构图；图3是图2所示第二人手区域提取模块的详细原理结构图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。针对现有技术存在的问题，本发明实施例提供的人手定位方法是利用人脸与人手的关联性，将人脸识别技术与肤色识别技术相结合，在采集的视频图像中提取出人脸后建立人脸肤色模型，并利用该人脸肤色模型在采集的视频图像中提取出人手区域。图I示出了本发明实施例提供的人手定位方法的流程。在步骤SlOl中，接收视频图像，并提取接收到的该视频图像中的人脸区域。优选地，本发明实施例采用Adaboost人脸检测算法实现对人脸区域的提取，此时，提取该视频图像中的人脸区域的步骤可以包括以下步骤计算该视频图像的积分图，提取类矩形特征；对提取的类矩形特征进行训练，得到人脸分类器特征库；根据人脸分类器特征库，在接收到的视频图像中提取人脸区域。进一步地，对提取的类矩形特征进行训练，得到人脸分类器特征库的步骤可以包括以下步骤分别计算若干视频图像的积分图，提取该积分图中的类矩形特征；根据 Adaboost算法，在提取出的类矩形特征中筛选出有效的特征，构成多个弱分类器；将构成的多个弱分类器进行组合，构成多个强分类器；将构成的多个强分类器进行级联，得到人脸分类器特征库。在步骤S102中，根据提取出的人脸区域建立肤色模型。优选地，本发明实施例采用RGB颜色模型建立肤色模型，此时，该根据提取出的人脸区域建立肤色模型的步骤可以包括以下步骤计算提取出的人脸区域中，图像像素的 RGB颜色值；通过对该RGB颜色值的计算得到颜色值分布的阈值参数，进而统计得到RGB平均值的分布范围作为肤色模型。举例来说，假设提取出的人脸区域中，任意位置上的R通道亮度值是RU，y)，任意位置上的G通道亮度值是G (X，y)，任意位置上的B通道亮度值是B (X，y)，颜色值分布的阈值参数是THp TH2、TH3、TH4,则得到的RGB平均值的分布范围可以表示为TH1 < B(x, y) < TH2 TH3 < R(X，y) -G (x, y) < TH4当然，在实际应用时，还可以采用其它的颜色模型建立肤色模型，例如采用YCbCr颜色模型建立肤色模型、利用高斯分布模型建立肤色模型等。在步骤S103中，根据建立的肤色模型提取该视频图像中的肤色区域，以滤除提取的视频图像中的大量背景区域。其中，当采用RGB颜色模型建立肤色模型时，根据建立的肤色模型提取该视频图像中的肤色区域的步骤具体是将接收到的视频图像中每一像素的R通道、G通道、B通道的亮度值与得到的RGB平均值的分布范围进行比较，若像素的R通道、G通道、B通道的亮度值在RGB平均值的分布范围内，则确定相应像素属于肤色区域。在步骤S104中，在提取到的肤色区域中提取人手区域。优选地，本发明实施例采用Adaboost目标检测算法实现对人手区域的提取，此时，在提取到的肤色区域中提取人手区域的步骤可以包括以下步骤计算提取出的肤色区域的积分图，以提取类矩形特征；对提取的类矩形特征进行训练，得到人手分类器特征库； 根据人手分类器特征库，在提取出的肤色区域中提取人脸区域。进一步地，对提取的类矩形特征进行训练，得到人手分类器特征库的步骤可以包括以下步骤分别计算若干提取出的肤色区域的积分图，提取该积分图中的类矩形特征； 根据Adaboost算法，在提取出的类矩形特征中筛选出有效的特征，构成多个弱分类器；将构成的多个弱分类器进行组合，构成多个强分类器；将构成的多个强分类器进行级联，得到人手分类器特征库。更进一步地，若无法在提取到的肤色区域中提取人手区域，则本发明实施例在步骤S104之后，还可以包括以下步骤在提取到的肤色区域中提取上肢区域；在提取出的上肢区域中进行上肢轮廓提取，得到上肢轮廓图像；对得到的上肢图像轮廓上的点集进行最小二乘法直线拟合，得到该上肢轮廓的主方向直线，该主方向直线即上肢的自然延伸方向； 计算该上肢轮廓的主方向直线与该上肢轮廓的交点，该交点即为上肢末端，之后将以该交点为中心的一预设边长的矩形区域确定为人手区域。为了提高人手区域的确定精度，本发明实施例中，在得到上肢轮廓图像的步骤以及对得到的上肢图像轮廓上的点集进行最小二乘法直线拟合的步骤之间，还可以包括以下步骤对得到上肢轮廓图像进行形态学开、闭、腐蚀、膨胀计算，以去掉得到的上肢轮廓图像中的孤立轮廓点，使得轮廓圆滑连贯。其中，优选地，本发明实施例采用Adaboost目标检测算法或人体区域分割方法实现对上肢区域的提取的。当采用Adaboost目标检测算法实现对上肢区域提取时，在提取到的肤色区域中提取上肢区域的步骤可以包括以下步骤计算提取出的肤色区域的积分图， 以提取类矩形特征；对提取的类矩形特征进行训练，得到上肢分类器特征库；根据上肢分类器特征库，在提取出的肤色区域中提取上肢区域。而对提取的类矩形特征进行训练，得到上肢分类器特征库的步骤与对提取的类矩形特征进行训练，得到人手分类器特征库的步骤相似，在此不再赘述。当采用人体区域分割方法实现对上肢区域提取时，在提取到的肤色区域中提取上肢区域的步骤具体是将提取到的肤色区域进行人体分割，以得到人体的头部、 左上肢、右上肢、躯干、左腿、右腿五个区域，从而确定上肢区域。其中，在提取出的上肢区域中进行上肢轮廓提取，得到上肢轮廓图像的步骤具体包括以下步骤根据提取到的上肢区域以及肤色区域，计算上肢区域的肤色比例；判断该肤色比例是否大于预设阈值，是则进行上肢轮廓提取，得到上肢轮廓图像，从而去除提取出的上肢区域中可能存在的错误提取区域，提高提取精度。其中计算上肢区域的肤色比例的步骤可以表示为上肢区域的肤色比例=上肢区域肤色像素个数/上肢区域像素总个数。其中，对得到的上肢图像轮廓上的点集进行最小二乘法直线拟合，得到该上肢轮廓的主方向直线的步骤具体包括以下步骤将得到的上肢图像轮廓上的点集的实际坐标分别代入一预存的误差公式并求和，得到一总误差；通过求解使得该总误差最小化，以得到相应的拟合直线方程的待定系数，进而确定表征主方向直线的拟合直线方程。例如假设拟合直线方程为F (X) = ax+b,误差公式为yi-F (xi)，总误差为e = Σ (yi_F (xi)) ~2,其中i为正整数，则将得到的上肢图像轮廓上的点集的实际坐标{(xi，yi) |i = 1,2,...η}分别代入误差公式，进而求得总误差e，通过求解使得总误差e最小化时，相应的待定系数a和b即可确定，从而得到表征主方向直线的拟合直线方程。图2示出了本发明实施例提供的人手定位系统的原理结构，为了便于说明，仅示出了与本发明实施例相关的部分。本发明实施例提供的人手定位系统包括人脸区域提取模块11，用于接收视频图像，并提取接收到的该视频图像中的人脸区域；肤色模型建立模块12，用于根据人脸区域提取模块11提取出的人脸区域建立肤色模型；肤色区域提取模块13，用于根据肤色模型建立模块12建立的肤色模型提取该视频图像中的肤色区域；第一人手区域提取模块14，用于在肤色区域提取模块13提取到的肤色区域中提取人手区域。其中，人脸区域提取模块11优选是采用Adaboost人脸检测算法实现对人脸区域的提取的，具体的提取过程如上所述，在此不再赘述。其中，肤色模型建立模块12优选是采用RGB颜色模型建立肤色模型的，具体的建立过程如上所述，在此不再赘述。其中，肤色区域提取模块13提取肤色区域的过程如上所述，在此不再赘述。其中，第一人手区域提取模块14优选是采用Adaboost目标检测算法实现对人手区域的提取的，具体的提取过程如上所述，在此不再赘述。本发明实施例提供的人手定位系统还可以包括第二人手区域提取模块15，图3示出了第二人手区域提取模块15的结构。具体地，第二人手区域提取模块15可以包括上肢区域提取模块151，用于当第一人手区域提取模块14无法在肤色区域提取模块13提取到的肤色区域中提取到人手区域时，在肤色区域提取模块13提取到的肤色区域中提取上肢区域；上肢轮廓提取模块152，用于在上肢区域提取模块151提取出的上肢区域中进行上肢轮廓提取，得到上肢轮廓图像； 拟合模块153，用于对上肢轮廓提取模块152得到的上肢图像轮廓上的点集进行最小二乘法直线拟合，得到该上肢轮廓的主方向直线；交点计算模块154，用于计算拟合模块153得到的上肢轮廓的主方向直线与上肢轮廓提取模块152提取出的上肢轮廓的交点；人手确认模块155，用于将以交点计算模块154计算得到的交点为中心的一预设边长的矩形区域确定为人手区域。其中，上肢区域提取模块151优选是采用Adaboost目标检测算法或人体区域分割方法实现对上肢区域的提取的，具体提取过程如上所述，在此不再赘述。其中，上肢轮廓提取模块152的提取过程如上所述，在此不再赘述。其中，拟合模块153的拟合过程如上所述，在此不再赘述。
本发明实施例提供的人手定位方法是利用人脸与人手的关联性，将人脸识别技术与肤色识别技术相结合，在采集的视频图像中提取出人脸后建立人脸肤色模型，并利用该人脸肤色模型在采集的视频图像中提取出人手区域。相对于现有技术，该方法不受光线变化的影响，灵活性强，定位可靠性高。另外，本发明实施例提供的人手定位方法还在单纯应用人脸与人手的关联性无法提取出人手区域的情况下，利用上肢与人手的关联性进一步在提取出的肤色区域中提取出人手区域，进一步提高了人手定位的可靠性。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于一计算机可读取存储介质中， 所述的存储介质，如R0M/RAM、磁盘、光盘等。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种人手定位方法，其特征在于，所述方法包括以下步骤接收视频图像，并提取接收到的所述视频图像中的人脸区域；根据提取出的所述人脸区域建立肤色模型；根据建立的所述肤色模型提取所述视频图像中的肤色区域；在提取到的所述肤色区域中提取人手区域。
2.如权利要求I所述的人手定位方法，其特征在于，所述提取接收到的所述视频图像中的人脸区域的步骤具体包括以下步骤计算所述视频图像的积分图，提取类矩形特征；对提取的所述类矩形特征进行训练，得到人脸分类器特征库；根据所述人脸分类器特征库，在所述视频图像中提取人脸区域。
3.如权利要求I所述的人手定位方法，其特征在于，所述根据提取出的所述人脸区域建立肤色模型的步骤具体包括以下步骤计算提取出的所述人脸区域中，图像像素的RGB颜色值；通过对所述RGB颜色值的计算得到颜色值分布的阈值参数，进而统计得到所述RGB平均值的分布范围作为所述肤色模型。
4.如权利要求3所述的人手定位方法，其特征在于，所述RGB平均值的分布范围表示为TH1 < B(x, y) < TH2TH3 < R(x，y) -G (x, y) < TH4其中，R(x，y)是所述人脸区域一位置上的R通道亮度值，G(x，y)是所述人脸区域一位置上的G通道亮度值，B (X，y)是所述人脸区域一位置上的B通道亮度值，TH1, TH2, TH3> TH4 分别是所述颜色值分布的阈值参数。
5.如权利要求3所述的人手定位方法，其特征在于，所述根据建立的所述肤色模型提取所述视频图像中的肤色区域的步骤具体是将所述视频图像中每一像素的R通道、G通道、B通道的亮度值与得到的所述RGB平均值的分布范围进行比较，若像素的所述R通道、G通道、B通道的亮度值在所述RGB平均值的分布范围内，则确定相应像素属于肤色区域。
6.如权利要求I所述的人手定位方法，其特征在于，所述在提取到的所述肤色区域中提取人手区域的步骤具体是采用Adaboost目标检测算法在提取到的所述肤色区域中提取人手区域，包括以下步骤计算提取出的所述肤色区域的积分图，以提取类矩形特征；对提取的所述类矩形特征进行训练，得到人手分类器特征库；根据所述人手分类器特征库，在提取出的肤色区域中提取人脸区域。
7.如权利要求I所述的人手定位方法，其特征在于，当无法在提取到的所述肤色区域中提取人手区域时，所述在提取到的所述肤色区域中提取人手区域的步骤之后，还包括以下步骤在提取到的所述肤色区域中提取上肢区域；在提取出的所述上肢区域中进行上肢轮廓提取，得到上肢轮廓图像；对得到的所述上肢图像轮廓上的点集进行最小二乘法直线拟合，得到所述上肢轮廓的主方向直线；计算所述主方向直线与所述上肢轮廓的交点，之后将以所述交点为中心的一预设边长的矩形区域确定为人手区域。
8.如权利要求7所述的人手定位方法，其特征在于，在所述得到上肢轮廓图像的步骤和所述对得到的所述上肢图像轮廓上的点集进行最小二乘法直线拟合的步骤之间，所述方法还包括以下步骤对得到所述上肢轮廓图像进行形态学开、闭、腐蚀、膨胀计算，以去掉得到的所述上肢轮廓图像中的孤立轮廓点。
9.一种人手定位系统，其特征在于，所述系统包括人脸区域提取模块，用于接收视频图像，并提取接收到的所述视频图像中的人脸区域；肤色模型建立模块，用于根据所述人脸区域提取模块提取出的所述人脸区域建立肤色模型；肤色区域提取模块，用于根据所述肤色模型建立模块建立的肤色模型提取所述视频图像中的肤色区域；第一人手区域提取模块，用于在所述肤色区域提取模块提取到的所述肤色区域中提取人手区域。
10.如权利要求9所述的人手定位系统，其特征在于，所述系统还包括第二人手区域提取模块，所述第二人手区域提取模块包括上肢区域提取模块，用于当所述第一人手区域提取模块无法在所述肤色区域提取模块提取到的所述肤色区域中提取到人手区域时，在所述肤色区域提取模块提取到的所述肤色区域中提取上肢区域；上肢轮廓提取模块，用于在所述上肢区域提取模块提取出的所述上肢区域中进行上肢轮廓提取，得到上肢轮廓图像；拟合模块，用于对所述上肢轮廓提取模块得到的所述上肢图像轮廓上的点集进行最小二乘法直线拟合，得到所述上肢轮廓的主方向直线；交点计算模块，用于计算所述拟合模块得到的所述上肢轮廓的主方向直线与所述上肢轮廓提取模块提取出的所述上肢轮廓的交点；人手确认模块，用于将以所述交点计算模块计算得到的所述交点为中心的一预设边长的矩形区域确定为人手区域。
全文摘要
本发明于图像识别技术领域，提供了一种人手定位方法及系统。其中的方法包括接收视频图像，并提取接收到的视频图像中的人脸区域；根据提取出的人脸区域建立肤色模型；根据建立的肤色模型提取视频图像中的肤色区域；在提取到的肤色区域中提取人手区域。本发明实施例提供的人手定位方法是利用人脸与人手的关联性，将人脸识别技术与肤色识别技术相结合，从而该方法不受光线变化的影响，灵活性强，定位可靠性高。另外，本发明实施例提供的人手定位方法还在单纯应用人脸与人手的关联性无法提取出人手区域的情况下，利用上肢与人手的关联性进一步在提取出的肤色区域中提取出人手区域，进一步提高了人手定位的可靠性。
文档编号G06K9/66GK102592115SQ20111044368
公开日2012年7月18日 申请日期2011年12月26日 优先权日2011年12月26日
发明者付东, 谭文伟, 邵诗强 申请人:Tcl集团股份有限公司