专利名称：用于3d系统中推&拉动作识别的方法和装置的制作方法
技术领域：
本发明总体上涉及三维(3D)技术，具体而言，本发明涉及用于3D系统中“推(PUSH)”& “拉(PULL)”动作识别的方法和装置。
背景技术：
随着越来越多的3D电影的出现，由家庭用户进行3D绘制的装置变得越来越普遍。在3D用户界面(UI)出现后，很明显利用动作识别进行3D Π控制是一种最直接的方式。“推”和“拉”是需要识别的动作中两个常见动作。“拉”动作可以理解为用户向着靠近自己的方向拿物体，而“推”动作可以理解为用户将物体推开。传统的“拉”和“推”动作判断基于用户手与摄像机之间的距离变化。具体而言，如果摄像机探测到上述距离减小，则将动作判断为“推”;如果所述距离增加，则将动作判断 为“拉”。图I是现有技术中双摄像机动作识别系统的示意图。如图I所示，采用两个摄像机进行动作识别。所述摄像机可以是摄像头、WiiMote红外(IR)摄像机或者能够探测用户手指轨迹的任何类型的摄像机。例如，IR摄像机可以用于跟踪用户手中的IR发射器。请注意，虽然手指轨迹探测也是动作识别中的一项重要技术，但其不是本发明所谈论的主题。因此，在本说明书中将假设用户的手指轨迹可以很容易由每个摄像机探测到。另外，在整个说明书中，假设摄像机采用左上坐标系统。图2是通过图I所示双摄像机动作识别系统进行深度信息探测的几何原理的示意图。请注意，术语深度在此处是指发出需要识别的动作的物体与摄像机的成像面之间的距离。具有相同光学参数的左摄像机L和右摄像机R分别位于01和Or，两个摄像机的透镜轴垂直于01和Or之间的连接线。点P是将要识别的物体，在本例中为用户的手指。点P需要位于两个摄像机的透镜范围内以能够进行识别。图2中的参数f是两个摄像机的焦距。图2中的pi和pr分别表示左、右摄像机的垂直虚拟投影面。T是两个摄像机之间的距离。Z是点P与两个摄像机的连接线之间的垂直距离。在系统操作期间，点P将在两个摄像机的虚拟投影面上分别成像。由于两个摄像机正平(frontal parallel)设置(图像行对齐并且一个摄像机的每个像素行与另一个摄像机的对应行精确对齐)，xr和xl是点P在左、右摄像机中的χ轴坐标。根据三角原理，图2中的参数的关系可以由下述等式描述
T _ T-{x, -xr) 7'. /· '/'. f7 = ~~ Z 二 ———=~—
^z - /; X1- Xr d在上述等式中，d称为视差，可以简单定义为d = xl — XI*。但是，在3D用户界面中，有许多动作需要识别，例如“向右(RIGHT)”、“向左(LEFT)”、“向上(UP)”、“向下(DOWN)” “胜利(VICT0RY)”、“画圈(CIRCLE)”、“推”、“拉”和“按压(PRESS)”，这些动作有可能导致摄像机中的深度变化。因此，仅基于深度信息确定“拉”和“推”动作的传统技术很可能产生错误识别。
发明内容
根据本发明的一个方面，提出了一种通过两个摄像机进行动作识别的方法，包括根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”。根据本发明的另一个方面，提出了一种通过两个摄像机进行动作识别的装置，包括根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”的装置。
通过下面结合附图的详细说明，本发明的上述及其他方面、特征和优点讲更为明显,其中 图I是现有技术中双摄像机动作识别系统的示意图；图2是通过图I所示双摄像机动作识别系统进行深度信息探测的几何原理的示意图；图3是“推”动作在左、右摄像机中的手指轨迹的示意图；图4是“拉”动作在左、右摄像机中的手指轨迹的示意图；图5 — 8是“向左”、“向右”、“向上”和“向下”动作分别在左、右摄像机中的手指轨迹的示意图；图9是根据本发明实施方式的动作识别方法的流程图；图10是在不同设置的立体摄像机中的立体视野范围的示意图；图11是以α角度放置的立体摄像机的临界线估计法的示意图；和图12是用于判断逻辑左、右摄像机的方法的流程图。
具体实施例方式下面将对本发明的多个实施方式进行详细说明。出于解释的目的，下面将对具体结构进行详细说明以使本发明得到更好的理解。但是，本领域普通技术人员可以理解，也可以不采用所述具体细节来实施本发明。考虑到上述现有技术的缺点，本发明的实施方式提供了一种用于3D系统中“推(PUSH)” & “拉(PULL)”动作识别的方法和装置，其根据深度变化和在垂直于两个摄像机的深度方向的平面中成像的移动轨迹识别“推”和& “拉”动作。首先，将结合附图3 — 8描述发明人关于多个动作在左、右摄像机中的手指轨迹的研究。在图3 - 8中，水平和垂直线是作为一个动作的中点的基础的坐标轴，箭头线表示该动作在对应的摄像机中的运动方向。在图3 — 8中，坐标原点位于左上角。X轴坐标在向右的方向上增加，Y轴左边在向下的方向上增加。在图3 — 8中未示出Z坐标轴，其垂直于由X轴和Y轴确定的平面。图3是“推”动作在左、右摄像机中的手指轨迹的示意图。如图3所示，对于“推”动作，除了深度变化(减小)之外，手指轨迹在左、右摄像机中是彼此相向运动的。图4是“拉”动作在左、右摄像机中的手指轨迹的示意图。如图4所示，对于“拉”动作，除了深度变化(增加)之外，手指轨迹在左、右摄像机中是彼此背向运动的。图5-8是“向左”、“向右”、“向上”和“向下”动作分别在左、右摄像机中的手指轨迹的示意图。如图所示，对于“向左”、“向右”、“向上”和“向下”动作，手指轨迹在左、右摄像机中是朝着相同方向运动的，虽然这些动作也能引起深度变化。因此可以看出，除了深度变化之外，“推”和“拉”动作在左、右摄像机的X轴上的手指轨迹的运动方向与“向左”、“向右”、“向上”和“向下”动作存在很大不同。另外，手指轨迹在左、右摄像机的X轴和Y轴上的运动比率在“推”和“拉”动作与其他上述动作之间也存在不同。由于“向左”、“向右”、“向上”和“向下”动作也可能引起在Z轴上的变化，在这种情况下如果只基于深度变化(即Λ Z (终点的ζ减去起点的ζ))对“推”和“拉”动作进行判断，则“向左”、“向右”、“向上”和“向下”动作也可能被判断为“推”或“拉”动作。考虑到上述因素，本发明的实施方式提出基于Λ Z和手指轨迹在左、右摄像机的X轴上的运动方向来识别“推”或“拉”动作。另外，X轴和Y轴上的比例也可以用于动作识别。下面的表格示出了基于上述参数的动作识别标准。
权利要求
1.一种通过两个摄像机进行动作识别的方法，包括 根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”。
2.根据权利要求I所述方法，其中所述物体在摄像机的成像面中的移动轨迹的特征包括其在成像面的移动方向。
3.根据权利要求2所述方法，其中当所述距离的减小大于预定阈值并且所述物体在一个摄像机中沿X轴移动方向与另外一个摄像机中的该方向不同时判断为“推”动作。
4.根据权利要求3所述的方法，其中两个摄像机中的移动轨迹沿着X轴相向运动。
5.根据权利要求I所述的方法，其中当所述距离的增加大于预定阈值并且所述物体在一个摄像机中沿X轴移动方向与另外一个摄像机中的该方向不同时判断为“拉”动作。
6.根据权利要求5所述的方法，其中两个摄像机中的移动轨迹沿着X轴背向运动。
7.根据权利要求I所述的方法，其中所述物体在摄像机的成像面中的移动轨迹的特征包括移动轨迹的X轴与Y轴坐标的比率。
8.—种通过两个摄像机进行动作识别的装置，包括 根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”的装置。
全文摘要
本发明提出了一种通过两个摄像机进行动作识别的方法和装置。所述方法包括根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”。
文档编号G06K9/00GK102870122SQ201080066519
公开日2013年1月9日 申请日期2010年4月30日 优先权日2010年4月30日
发明者秦鹏, 杜琳, 上官思楠 申请人:汤姆森特许公司