专利名称：一种人机交互的指尖检测方法、装置及电视机的制作方法
技术领域：
本发明属于人机交互领域，尤其涉及一种人机交互的指尖检测方法、装置及电视机。
背景技术：
随着模式识别技术的发展，市面上出现了越来越多的人机交互产品，该人机交互产品通过识别用户的指尖并进行定位，利用指尖的位置实现人机交互，例如图标点击、菜单确认等。现有的指尖检测方法主要是通过数据手套或者指尖上的标记进行指尖检测的，由于该方法需要增加额外的硬件，因此成本过高，且用户的手指也难以灵活运动，给用户带来不便；而不通过指尖上的标记进行指尖检测的方法对手势的轮廓精度要求较高，往往只能得到指尖的大致位置，若使用该方法检测多手指的指尖，则检测的位置不够准确，适用范围较小，且难以适应各种系统平台和场合。
发明内容
本发明实施例提供了一种人机交互的指尖检测方法，旨在解决现有的指尖检测方法在检测多手指的指尖所存在的检测位置不准确的问题。本发明实施例是这样实现的，一种人机交互的指尖检测方法，所述方法包括下述步骤获取输入的视频图像帧的感兴趣区域，提取所述感兴趣区域的二值化运动信息和二值化肤色信息；根据二值化运动信息和二值化肤色信息划分手掌区域，获取包括所述手掌区域的
二值图像；获取所述二值图像中手掌区域的中心坐标，并以所述中心坐标为圆心，预设的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定；获取圆路径上像素的像素值，并根据获取的像素值检测指尖。本发明实施例的另一目的在于提供一种人机交互的指尖检测装置，所述装置包括感兴趣区域获取单元，用于获取输入的视频图像帧的感兴趣区域，提取所述感兴趣区域的二值化运动信息和二值化肤色信息；手掌区域获取单元，用于根据二值化运动信息和二值化肤色信息划分手掌区域， 获取包括所述手掌区域的二值图像；圆路径获取单元，用于获取所述二值图像中手掌区域的中心坐标，并以所述中心坐标为圆心，预设的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定；指尖检测单元，用于获取圆路径上像素的像素值，并根据获取的像素值检测指尖。
本发明实施例的另一目的在于提供一种包含上述人机交互的指尖检测装置的电视机。本发明实施例通过获取视频图像系列的感兴趣区域，并根据该感兴趣区域获取二值化运动信息和二值化肤色信息，根据获取的二值化运动信息和二值化肤色信息提取包含手掌区域的二值图像，再从提取的包含手掌区域的二值图像检测用户的指尖。由于本发明实施例是通过结合二值化运动信息和二值化肤色信息划分手掌区域提取手掌区域的二值图像，因此能够有效剔除背景中类肤色区域的干扰，使提取的手掌区域更准确，从而提高检查指尖的准确性，并且在检测指尖的过程中，无需手指指向正上方，也能正确检测到指尖， 扩大了应用范围。
图1是本发明第一实施例提供的人机交互的指尖检测方法的流程图；图2是本发明第二实施例提供的人机交互的指尖检测方法中确定的感兴趣区域图；图3是本发明第二实施例提供的人机交互的指尖检测方法中根据图2转换得到的
二值化运动信息图；图4是本发明第二实施例提供的人机交互的指尖检测方法中根据图2的HSV色彩空间的肤色信息转换得到的二值化肤色信息图；图5是本发明第三实施例提供的人机交互的指尖检测方法中根据图3和图4得到的包含手掌区域二值图；图6是本发明第三实施例提供的人机交互的指尖检测方法中对图5划分的多个子区域重新执行二值化处理后得到的二值图；图7是本发明第四实施例提供的人机交互的指尖检测方法中在图6的基础上增加了圆路径二值图；图8是本发明第五实施例提供的人机交互的指尖检测方法的流程图；图9是本发明第六实施例提供的人机交互的指尖检测装置的结构示意图；图10是本发明第七实施例提供的人机交互的指尖检测装置的结构示意图；图11是本发明第八实施例提供的人机交互的指尖检测装置的结构示意图；图12是本发明第九实施例提供的人机交互的指尖检测装置的结构示意图；图13是本发明第十实施例提供的人机交互的指尖检测装置的结构示意图；图14是本发明第十一实施例提供的人机交互的指尖检测装置的结构示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明实施例，根据获取的感兴趣区域提取运动信息以及肤色信息，融合该运动信息和肤色信息以获取包含手部区域的二值图像，再从包含手部区域的二值图像中检测手指的指尖。
本发明实施例提供了一种人机交互的指尖检测方法、装置及电视机。所述方法包括获取输入的视频图像帧的感兴趣区域，提取所述感兴趣区域的二值化运动信息和二值化肤色信息；根据二值化运动信息和二值化肤色信息划分手掌区域，获取包括所述手掌区域的
二值图像；获取所述二值图像中手掌区域的中心坐标，并以所述中心坐标为圆心，预设的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定；获取圆路径上像素的像素值，并根据获取的像素值检测指尖。所述装置包括感兴趣区域获取单元，用于获取输入的视频图像帧的感兴趣区域， 提取所述感兴趣区域的二值化运动信息和二值化肤色信息；手掌区域获取单元，用于根据二值化运动信息和二值化肤色信息划分手掌区域， 获取包括所述手掌区域的二值图像；圆路径获取单元，用于获取所述二值图像中手掌区域的中心坐标，并以所述中心坐标为圆心，预设的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定；指尖检测单元，用于获取圆路径上像素的像素值，并根据获取的像素值检测指尖。所述设备包括一种包含上述人机交互的指尖检测装置的电视机。本发明实施例通过获取视频图像系列的感兴趣区域，并根据该感兴趣区域获取二值化运动信息和二值化肤色信息，根据获取的二值化运动信息和二值化肤色信息提取包含手掌区域的二值图像，再从提取的包含手掌区域的二值图像检测用户的指尖。由于本发明实施例是通过结合二值化运动信息和二值化肤色信息划分手掌区域提取手掌区域的二值图像，因此能够有效剔除背景中类肤色区域的干扰，使提取的手掌区域更准确，从而提高检查指尖的准确性，并且在检测指尖的过程中，无需手指指向正上方，也能正确检测到指尖， 扩大了应用范围。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。实施例一图1示出了本发明第一实施例提供的人机交互的指尖检测方法的流程图，在本实施例中，根据获取的感兴趣区域提取运动信息以及肤色信息，融合该运动信息和肤色信息以获取包含手部区域的二值图像，再从包含手部区域的二值图像中检测手指的指尖。详述如下步骤S11，获取输入的视频图像帧的感兴趣区域，提取该感兴趣区域的二值化运动
信息和二值化肤色信息。本发明实施例中，输入的视频图像帧主要为彩色图像，在获取了视频图像帧的感兴趣区域之后，根据感兴趣区域的运动特征、肤色特征分别提取该感兴趣区域的二值化运动信息和二值化肤色信息。步骤S12，根据二值化运动信息和二值化肤色信息划分手掌区域，获取包括该手掌区域的二值图像。在本实施例中，利用二值化运动信息得到的手掌位置信息以及二值化肤色信息将手掌区域分割开来，得到包含该手掌区域的二值(0、1)图像。
步骤S13，获取二值图像中手掌区域的中心坐标，并以该中心坐标为圆心，预设的圆半径长度为半径作圆，该圆半径长度根据预设的初始长度和预设的迭代步长确定。步骤S14，获取圆路径上像素的像素值，并根据获取的像素值检测指尖。在本实施例中，根据预设初始长度和迭代步长确定预设的圆半径。以该预设的圆半径和手掌区域的中心坐标为圆心作圆，并获取所作圆的圆路径上像素的像素值，再根据获取的像素值判断该像素值对应的位置是否为指尖。在本发明第一实施例中，获取视频图像系列的感兴趣区域，并根据该感兴趣区域获取二值化运动信息和二值化肤色信息，根据获取的二值化运动信息和二值化肤色信息提取包含手掌区域的二值图像，再从提取的包含手掌区域的二值图像检测用户的指尖。由于本发明实施例是通过结合二值化运动信息和二值化肤色信息划分手掌区域提取手掌区域的二值图像，因此能够有效剔除背景中类肤色区域的干扰，使提取的手掌区域更准确，从而提高检测指尖的准确性，并且在检测指尖的过程中，无需手指指向正上方，也能正确检测到指尖，扩大了应用范围。实施例二 本发明第二实施例主要对实施例一的步骤Sll作更详尽地描述，其余步骤与实施例一的相同，此处不再赘述。其中步骤Sll具体为Al、确定视频图像帧的感兴趣区域。在本实施例中，对输入的视频图像系列划定一块感兴趣区域，比如，当输入的彩色视频图像系列包括人的所有特征时，根据人机交互是依据人的指尖运动执行相应命令的情况，则划定的感兴趣区域通常为排除了肤色信息与手掌肤色信息不同的区域以及肤色信息与手掌肤色信息相同但为静止的区域，比如，划定的感兴趣区域可以为包括运动指尖的整个手臂区域，该手臂区域排除了人脸区域和另一个手臂区域，具体如图2所示。A2、将视频图像帧的感兴趣区域转换为灰度图像，并采用三帧差分法检测灰度图像的运动目标区域，再根据该运动目标区域提取二值化运动信息。在本实施例中，对视频图像帧的感兴趣区域转换为灰度图像，再利用该灰度图像的所有连续三帧视频图像进行三帧差分法，以检测运动目标本身的变化区域，最后将检测出运动目标本身的变化区域的灰度图像转换为二值图像，并从该二值图像提取二值化运动信息，该二值化运动信息包括手掌区域的位置信息等。其中，感兴趣区域根据运动目标本身的变化区域转换得到的二值化运动信息图像具体如图3所示。A3、根据预设的转换公式将获取的感兴趣区域从红绿蓝RGB色彩空间转换为色调饱和值HSV色彩空间，提取该HSV色彩空间的肤色信息，再根据该肤色信息提取二值化肤色
fn息ο在本实施例中，HSV色彩空间模型是由色调(Hue，H)、色饱和度(Saturation，S)， 以及明度值(Value，V) 3个颜色的基本属性来描述物体的颜色，H表示所处光谱颜色的位置，范围为W，360] ；S为一个比例值，范围为W，1]，它表示所选颜色的纯度和该颜色最大的纯度之间的比率；V表示色彩的明亮程度，范围为W，1]。HSV彩色空间属于非线性色彩表示空间，它的饱和度和色度可以准确的反映目标的色彩性质，并与人体对色彩的感知一致。 根据预设的转换公式，将输入的视频图像从RGB色彩空间转换为HSV色彩空间，转换的公式具体为
权利要求
1.一种人机交互的指尖检测方法，其特征在于，所述方法包括下述步骤获取输入的视频图像帧的感兴趣区域，提取所述感兴趣区域的二值化运动信息和二值化肤色信息；根据二值化运动信息和二值化肤色信息划分手掌区域，获取包括所述手掌区域的二值图像；获取所述二值图像中手掌区域的中心坐标，并以所述中心坐标为圆心，预设的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定；获取圆路径上像素的像素值，并根据获取的像素值检测指尖。
2.如权利要求1所述的方法，其特征在于，所述获取输入的视频图像帧的感兴趣区域， 提取所述感兴趣区域的二值化运动信息和二值化肤色信息的步骤具体为确定视频图像帧的感兴趣区域；将视频图像帧的感兴趣区域转换为灰度图像，并采用三帧差分法检测灰度图像的运动目标区域，再根据所述运动目标区域提取二值化运动信息；根据预设的转换公式将获取的感兴趣区域从红绿蓝RGB色彩空间转换为色调饱和值 HSV色彩空间，提取所述HSV色彩空间的肤色信息，再根据所述肤色信息提取二值化肤色信肩、ο
3.如权利要求1所述的方法，其特征在于，所述根据二值化运动信息和二值化肤色信息划分手掌区域，获取包括所述手掌区域的二值图像的步骤具体为根据二值化运动信息和二值化肤色信息划分手掌区域；将划分的手掌区域对应的二值图像划分成多个子区域，并对划分的多个子区域执行形态学处理。
4.如权利要求3所述的方法，其特征在于，所述将划分的手掌区域对应的二值图像划分成多个子区域，并对划分的多个子区域执行形态学处理的步骤具体为将获取的包含手掌区域的二值图像划分成预设的多个子区域，并对划分的多个子区域重新执行二值化处理；采用预定义的核消除手掌区域的孤立子区域，或者填充手掌区域的小间隙。
5.如权利要求1或2所述的方法，其特征在于，所述获取圆半径长度和手掌区域的中心坐标，并以所述中心坐标为圆心，获取的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定的步骤具体为通过预设的初始长度和迭代步长相加确定圆半径长度，或通过预设初始长度和迭代步长相减确定圆半径长度；逐点扫描手掌区域的像素值，根据获取的像素值以及像素值所在位置确定手掌区域的中心坐标；以手掌区域的中心坐标为圆心，以确定的所述圆半径长度为半径作圆。
6.如权利要求1所述的方法，其特征在于，所述获取圆路径上像素的像素值，并根据获取的像素值检测指尖的步骤具体为逐个获取圆路径上像素的像素值；在获取的像素值为1时，判断所述像素的左右相邻像素的像素值是否都为0，在像素值为1的像素的左右相邻像素的像素值都为0时，判定所述像素所在的子区域为指尖；在获取的像素值为0时，继续获取圆路径上的下一个像素的像素值，直到获取圆路径上所有像素的像素值为止。
7.如权利要求6所述的方法，其特征在于，所述在像素值为1的像素的左右相邻像素的像素值都为0时，判定所述像素所在的子区域为指尖的步骤之后，进一步包括下述步骤判断已判定为指尖的子区域与所述子区域的左右相邻区域的距离是否都大于预设的距离阈值，所述子区域的左右相邻区域与所述子区域之间的像素的像素值为0 ；在已判定为指尖的子区域与所述子区域的左右相邻区域的距离都大于预设的距离阈值时，剔除所述已判定为指尖的指尖。
8.—种人机交互的指尖检测装置，其特征在于，所述装置包括感兴趣区域获取单元，用于获取输入的视频图像帧的感兴趣区域，提取所述感兴趣区域的二值化运动信息和二值化肤色信息；手掌区域获取单元，用于根据二值化运动信息和二值化肤色信息划分手掌区域，获取包括所述手掌区域的二值图像；圆路径获取单元，用于获取所述二值图像中手掌区域的中心坐标，并以所述中心坐标为圆心，预设的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定；指尖检测单元，用于获取圆路径上像素的像素值，并根据获取的像素值检测指尖。
9.如权利要求8所述的装置，其特征在于，所述手掌区域获取单元包括二值手掌区域确定模块，用于根据二值化运动信息和二值化肤色信息划分手掌区域； 去噪处理模块，用于将划分的手掌区域对应的二值图像划分成多个子区域，并对划分的多个子区域执行形态学处理。
10.如权利要求8所述的装置，其特征在于，所述圆路径获取单元包括圆半径确定模块，用于通过预设的初始长度和迭代步长相加确定圆半径长度，或通过预设初始长度和迭代步长相减确定圆半径长度；圆心确定模块，用于逐点扫描手掌区域的像素值，根据获取的像素值以及像素值所在位置确定手掌区域的中心坐标；圆路径确定模块，用于以手掌区域的中心坐标为圆心，以确定的所述圆半径长度为半径作圆。
11.如权利要求8所述的装置，其特征在于，所述指尖检测单元包括 像素值获取模块，用于逐个获取圆路径上像素的像素值；第一指尖判断模块，用于在获取的像素值为1时，判断所述像素的左右相邻像素的像素值是否都为0，在像素值为1的像素的左右相邻像素的像素值都为0时，判定所述像素所在的子区域为指尖；触发模块，用于在获取的像素值为0时，触发所述像素值获取模块继续获取圆路径上的下一个像素的像素值，直到获取圆路径上所有像素的像素值为止。
12.如权利要求8所述的装置，其特征在于，还包括区域距离判断单元，用于判断已判定为指尖的子区域与所述子区域的左右相邻区域的距离是否都大于预设的距离阈值，所述子区域的左右相邻区域与该子区域之间的像素的像素值为0;指尖剔除单元，用于在已判定为指尖的子区域与该子区域的左右相邻区域的距离都大于预设的距离阈值时，剔除该已判定为指尖的指尖。
13. 一种电视机，其特征在于，所述电视机包括8至12任一项权利要求所述的人机交互的指尖检测装置。
全文摘要
本发明适用于人机交互，提供了一种人机交互的指尖检测方法、装置及电视机。所述方法包括下述步骤获取输入的视频图像帧的感兴趣区域，提取所述感兴趣区域的二值化运动信息和二值化肤色信息；根据二值化运动信息和二值化肤色信息划分手掌区域，获取包括所述手掌区域的二值图像；获取所述二值图像中手掌区域的中心坐标，并以所述中心坐标为圆心，预设的圆半径长度为半径作圆，所述圆半径长度根据预设的初始长度和预设的迭代步长确定；获取圆路径上像素的像素值，并根据获取的像素值检测指尖。本发明实施例能够提高检测手指指尖的准确性，扩大应用范围。
文档编号G06K9/00GK102521567SQ20111038810
公开日2012年6月27日 申请日期2011年11月29日 优先权日2011年11月29日
发明者张登康, 邵诗强 申请人:Tcl集团股份有限公司