专利名称：一种基于人手手势的交互命令识别方法及系统的制作方法
技术领域：
本发明属于电视机技术领域，尤其涉及一种基于人手手势的交互命令识别方法及系统。
背景技术：
目前，各种消费电子产品的功能越来越强大，交互命令也越来越多，越来越复杂。对于用户来说，也增加了交互的复杂性。因此，更加自然的人机交互技术成为消费电子产品交互的重要方式之一。在各种自然的人机交互方式中，手势操作是一种非常方便快捷的方式。然而，现有技术中对人手手势进行识别的三维手势识别技术识别速度慢、识别率低，导致用户的手势操作的响应时间过长，降低了用户体验。
发明内容
本发明实施例的目的在于提供一种三维手势识别方法及系统，旨在解决由于现有技术无法提供一种有效的手势识别方法，导致手势的识别速度慢、识别率低的问题。本发明实施例是这样实现的，一种基于人手手势的交互命令识别方法，所述方法包括下述步骤步骤A、对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵；步骤B、分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近；步骤C、在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至步骤B。本发明实施例的另一目的在于提供一种基于人手手势的交互命令识别系统，其特征在于，所述系统包括摄像头标定单元，用于对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵；图像对获取单元，用于分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近；以及交互命令识别单元，用于在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至触发图像对获取单元，以分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取下一张图像，组成一个图像对。本发明实施例分别从预设的第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，当在图像对中检测到匹配的人手图像时，根据第一摄像头和第二摄像头的投影矩阵，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，当检测到坐标存储区存储的人手三维坐标形成的人手运动轨迹包含预设的人手运动轨迹，获取该人手运动轨迹对应的交互命令，从而实现了基于人手手势的交互命令的识别，提高了人手手势的识别速度以及识别率。
图I是本发明基于人手手势的交互命令识别方法的较佳实施例的实现流程图； 图2是本发明基于人手手势的交互命令识别系统的较佳实施例的结构图；以及图3是图2所示交互命令识别单元的结构图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合具体实施例对本发明的具体实现进行详细描述实施例一:图I示出了本发明基于人手手势的交互命令识别方法的较佳实施例的实现流程，详述如下在步骤SlOl中，对预设的第一摄像头和第二摄像头分别进行标定，以获取第一摄像头和第二摄像头的投影矩阵。在本发明实施例中，在交互终端上预先设置两个摄像头，记为第一摄像头、第二摄像头，对第一摄像头和第二摄像头分别进行标定，以获取第一摄像头和第二摄像头的投影矩阵。其中，交互终端可以是电视机等显示装置。摄像头标定是指通过实验和计算获取到摄像头成像的几何模型，即获取到真实世界中的物点(X，1，Z)与其图像平面中的像点(U，V)的几何映射关系。在具体实施过程中，对第一摄像头和第二摄像头进行标定时，可以采用传统标定方法、自标定方法以及基于主动视觉的标定方法。物点的三维坐标(x，y，z)通
Γ V
U
过一个投影矩阵M映射成图像平面像点的二维坐标(u，v)，存在如下关系叉V =MYZ ,
I
L1-
其中Z。是一个比例因子，M为投影矩阵。对预设的第一摄像头和第二摄像头分别进行标定后，就可以获取第一摄像头和第二摄像头的投影矩阵W、M2。在步骤S102中，分别从第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，该图像对中的两张图像拍摄时间最接近。在本发明实施例中，第一摄像头和第二摄像头同步连续地拍摄图像，拍摄的图像被分别存储到各自对应的图像缓存区中。因此，两个摄像头拍摄的图像是一一对应的，在同一时间点两个摄像头拍摄的两张图像为用户输入的同一个手势在该时间点的位置图像。由于机械误差或其它原因，同步拍摄的两张图像在拍摄时间上可能存在一定的差异，但该图像对中的两张图像拍摄时间是最接近的。在具体实施过程中，可以采用两个队列分别来缓存两个摄像头拍摄的图像，进而可采用先进先出的方式分别从两个队列的相同位置获取一张图像，以组成一个图像对，从而减少图像对的获取时间。当然也可以采用其它方式，在此不用限制本发明。在步骤S103中，在图像对中检测匹配的人手图像，当在图像对中检测到匹配的人手图像时，根据第一摄像头和第二摄像头的投影矩阵，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区。在本发明实施例中，在图像对中通过相应的图像处理方式检测匹配的人手图像，即在第一摄像头和第二摄像头在同一时间点拍摄的两张图像中，识别出同一只手。在本发明实施的一实施例中，可以采用下述方式在图像对中检测匹配的人手图像I)将从第一摄像头的图像缓存区获取的一张图像设置为第一图像，将从第二摄像头的图像缓存区获取的一张与第一图像拍摄时间最接近的图像设置为第二图像。2)通过预设的运动检测算法分别获取第一图像和第二图像中人手的候选区域，在候选区域检测人手图像。在本发明实施例中，可以采用背景减法、帧差法等算法来分别获取第一图像和第二图像中人手的候选区域，以提高图像的处理速度。为了适应复杂背景和快速变化的背景，优选地，采用三帧差法检测人手。例如，设其中一幅图像的序列表示为=Ii(UV),其中(UV)表示图像中像素点的位置坐标，i表示本幅图像(或者称为i时间点的图像)。选取图像序列中连续的三幅图像Ip1 (Uv)、Ii (Uv)、Ii+1 (Uv),分别计算相邻两幅图像的插值图像(Ii,
「0029]
权利要求
1.一种基于人手手势的交互命令识别方法，其特征在于，所述方法包括下述步骤 步骤A、对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵； 步骤B、分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近； 步骤C、在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至步骤B。
2.如权利要求I所述的方法，其特征在于，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标的步骤包括 在所述检测到的匹配的人手图像中选择表征人手的预设位置的匹配点，计算所述预设位置的匹配点对应的人手三维坐标。
3.如权利要求I或2所述的方法，其特征在于，所述在所述图像对中检测匹配的人手图像的步骤包括 将从所述第一摄像头的图像缓存区获取的一张图像设置为第一图像，将从所述第二摄像头的图像缓存区获取的一张与所述第一图像拍摄时间最接近的图像设置为第二图像； 通过预设的运动检测算法分别获取所述第一图像和第二图像中人手的候选区域，在所述候选区域检测人手图像； 根据所述第一摄像头和第二摄像头的投影矩阵，对在所述第一图像中人手的候选区域检测到的人手图像以及在所述第二图像中人手的候选区域检测到的人手图像进行匹配，获取所述第一图像与所述第二图像匹配的人手图像。
4.如权利要求3所述的方法，其特征在于，所述通过预设的运动检测算法分别获取所述第一图像和第二图像中人手的候选区域的步骤包括 对在分别获取的上一张图像组成一个图像对中检测到的匹配的人手图像进行图像跟踪，将跟踪得到的图像区域设置为所述第一图像和第二图像中人手的候选区域。
5.如权利要求3所述的方法，其特征在于，所述预设的运动检测算法为三帧差法。
6.一种基于人手手势的交互命令识别系统，其特征在于，所述系统包括 摄像头标定单元，用于对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵； 图像对获取单元，用于分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近；以及 交互命令识别单元，用于在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至触发图像对获取单元，以分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取下一张图像，组成一个图像对。
7.如权利要求6所述的系统，其特征在于，所述交互命令识别单元包括 三维坐标计算单元，用于在所述检测到的匹配的人手图像中选择表征人手的预设位置的匹配点，计算所述预设位置的匹配点对应的人手三维坐标。
8.如权利要求6或7所述的系统，其特征在于，所述交互命令识别单元包括 图像设置单元，用于将从所述第一摄像头的图像缓存区获取的一张图像设置为第一图像，将从所述第二摄像头的图像缓存区获取的一张与所述第一图像拍摄时间最接近的图像设置为第二图像； 图像检测单元，用于通过预设的运动检测算法分别获取所述第一图像和第二图像中人手的候选区域，在所述候选区域检测人手图像；以及 图像获取单元，用于根据所述第一摄像头和第二摄像头的投影矩阵，对在所述第一图像中人手的候选区域检测到的人手图像以及在所述第二图像中人手的候选区域检测到的人手图像进行匹配，获取所述第一图像与所述第二图像匹配的人手图像。
9.如权利要求8所述的系统，其特征在于，所述图像检测单元包括 候选区域设置单元，用于对在分别获取的上一张图像组成一个图像对中检测到的匹配的人手图像进行图像跟踪，将跟踪得到的图像区域设置为所述第一图像和第二图像中人手的候选区域。
10.如权利要求8所述的系统，其特征在于，所述预设的运动检测算法为三帧差法。
全文摘要
本发明适用电视机技术领域，提供了一种基于人手手势的交互命令识别方法及系统，包括步骤A、对预设的第一摄像头和第二摄像头分别进行标定，以获取投影矩阵；步骤B、分别从第一摄像头和第二摄像头对应的图像缓存区获取一张图像，组成一个图像对；步骤C、当在图像对中检测到匹配的人手图像时，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至步骤B。
文档编号H04N21/422GK102799271SQ20121023182
公开日2012年11月28日 申请日期2012年7月2日 优先权日2012年7月2日
发明者李相涛, 费华靓, 邵诗强, 付东 申请人:Tcl集团股份有限公司