改进的手势的识别的制作方法_4

文档序号:8269308阅读:来源:国知局
象01和02每者是以三点识别,第一对象01是以P1、P2和P3识别,第二对象02是以P4、 P5和P6识别。如上所揭示,参照图4至图7,对应于影像的数据集已经减小。
[0131] 在图11中,当控制器确定第一和第二对象01和02的所有点对的相对距离时,它 产生如图12所示的直方图(一维),显示图11中6个点P1-P6的相对距离的范例直方图。 为了清楚起见,假移动的相对距离尚未于图12的描点中识别。此外,图11和图12的相对 距离是仅供说明之用,图11的距离和图12中的描点之间的相关性可能不准确。
[0132] 在图12中可以识别两个极大值,一个用于第一对象01,一个用于第二对象02。由 此可以确定,01已经移动一定的距离,02已经移动另一距离,其中第一对象01较第二对象 02移动得更远。
[0133] 因此,使用此处的教示,可能追踪多于一个的对象,而且除了找第二最大值的简单 运算之外,不需要大量的额外计算。追踪多个对象可利于用来实现用于装置的多手势控制 系统。它也可以被用来向视频游戏提供多个播放器的功能或为控制系统提供多个运算输 入。
[0134] 例如,要在手势控制的操作系统中能够点击或选择动作或变焦操作,知道对象在 影像深度上的移动或对象在影像串流中与视线平行的维度上的移动是有利的。在现有技术 系统中,已经通过使用例如立体声或双摄影机或使用也称为测距摄影机的深度摄影机来确 定深度。这对所使用的摄影机提出了特殊的要求,造成计算装置的成本增加,也限制配备有 此种摄影机之装置或适合于处理此种摄影机所提供之延伸数据之装置的可用性。
[0135] 本文之教示揭示了适用于使用任何摄影机的方式,并可能因此利于使用于智能型 手机、笔记型计算机、因特网平板、游戏机和其它计算装置。
[0136] 图13示意性地绘示对应对象(未具体绘示)的点P1、P2的范例移动。可以看出, 这些点已经从第一位置PI、P2移到之后的第二位置PI'、P2'。每个点PI、P2的移动长度 Arl,Ar2是与自焦点F的对象距离R1、R2成正比。如果距离R1、R2增加,它表示朝向 摄影机的移动,如果距离Rl、R2减小,它表示远离摄影机的移动。由于距离R也可以通过R 2 =X2+Y2表示,其中X和Y是直角坐标或每个点的元素,本文教示之作者在深度推理后已经 理解到,即使坐标系统的原点不与焦点F配合,可以使用X和Y元素而非半径R。这简化了 将要执行的大量计算。
[0137] 在一个实施例中,控制器被设置成确定属于已根据上述而减少之数据集的点对 pi、pi'和P2、P2'的平均位置。这将产生用于点对的平均位置阵列。
[0138] 可选地,控制器可被设置成过滤掉与根据上述所揭示方式确定的检测的总移动相 差太大的那些点。图9所示的例子中,总移动为X = -12, Y = 0。
[0139] P1M的平均位置通过P1M= (Pl+Pl')/2确定。
[0140] 控制器进一步被设置成产生用于点对PI、P1'和P2、P2'的相对距离Arl、Ar2 的对应阵列,并将相对距离A rl、A r2与平均位置Plm、P2m比较。图14绘示了相对距离 A r与距离R至焦点F的绘图,图15A和图15B显示X和Y分量或坐标的对应图。
[0141] 控制器被设置成通过执行阵列中数据的线拟合,确定对应线LR、LX和LY的斜率。 对于图14中的描点,产生的线LR可表示为:Ar = a+bR,其中a是截距,b是线LR的斜率。
[0142] 斜率b是与影像的深度方向的移动成比例,并可以用来追踪在深度方向移动的对 象,深度方向也称为Z方向。正斜率(b>0)表示向摄影机移动,负斜率(b〈=)表示背离摄 影机移动。
[0143] 在一个实施例中,控制器被设置成执行这种线拟合,以基于点对PI ;P1',P2 ;P2' 的X和Y分量决定斜率。图15A和15B绘示了得到的X和Y分量或坐标的线LX和LY,经确 定的用于线LX和LY的斜率可以由控制器使用以确定在Z方向的移动。对于仅在Z方向上 的移动,在X和Y分量的线性拟合LX和LY的斜率是相同的。
[0144] 可以由X和Y分量的线拟合确定焦点F。在图15A和15B中,焦点F的坐标在相对 距离为零时可以被确定,即当A X = 0得到PX,A Y = 0得到PY,其中F = (PX ;PY)。
[0145] 焦点F可用于识别对象并与其它的对象区别,因为F表示对象的中心点。因此,追 踪多个对象时,焦点F可以用于识别对象,如参照图11和图12于上之揭示。
[0146] 应当注意到,通过从直角坐标到极坐标的有效转换,距离R和距离变化A r可以用 来计算斜率及在Z方向的移动。
[0147] 在追踪多个对象时,R、X和Y分量的点会显示几个趋势,一趋势将与每个对象关 联,并将由控制器执行多个线拟合。每个线拟合的斜率对应相关联对象的移动。
[0148] 图16绘示了根据本文教示之追踪对象的概略方法。在1610,接收包括点对的数据 集。数据集优选根据上文教示而已经减小,但本文揭示之用来决定z方向移动的方法和方 式也可用于以其它方式产生和减小的数据集。
[0149] 在1620确定点对的平均位置,以及在1630确定点对的相对距离,在1640确定斜 率,例如通过执行相对距离与平均位置的线拟合。
[0150] 在1650,根据斜率来确定Z方向上的移动。
[0151] 根据本文而追踪对象在z方向的移动方式是有益的,因为它需要很少的计算资 源。再一主要的好处是它不要求特殊的摄影机或多个摄影机,并可用于被配置成接收影像 的数据集或例如来自摄影机、内部或外部的影像串流的任何计算装置。
[0152] 通过结合上述揭示用于在垂直和水平方向上追踪对象的方法和方式及如何在与 视线平行之方向追踪对象之教示,实现在三维空间中追踪对象的方式。这种结合可通过结 合图10和图16的方法而达成,使得在1610收到的点对是过滤后所余的点对,例如在1048 过滤表现出过大移动的点对。
[0153] 为了确定和识别由诸如手之追踪对象所执行的手势,控制器被设置成确定追踪对 象的移动向量并将移动向量与向量库进行比较。
[0154] 图17绘示了手H的示意图,手H通过在三个方向上、右、下移动而执行手势。在图 17中,手势由三个部分动作代表,1710上、1720右、1730下。对于每个移动,部分移动的方 向1710-1730在图17中是通过在括号内的方向(度)所示。移动向量因此包括每者具有 一方向的至少一部分移动。在图17中,手势的移动向量有三个分量,可通过部分移动方向 来表示,例如{90,0, 270},该方向是以该方向的角度识别。将手势描述为方向序列是有存储 器空间效率的,同时还允许执行简单而快速的比较以识别手势。
[0155] 图17的范例是两维,但应指出的是,参照图17-23,本文所教示的概念可以很容易 地扩展到三维或更多维度,将讨论如下。
[0156] 此外,应当指出的是,为了使装置即使在摄像机和待被追踪的对象对于它们相应 的上下方向不对准时仍能工作,本文所披露的方式披露了通过相对的方向和角度工作。
[0157] 例如,如果用户正在媒体站例如电视机上看电影,他可能不会坐直而是例如躺在 沙发中。如果用户躺着但作了一个姿势如向上和向左(利用绝对值由〇和270度方向组 成),以便他的手相对于摄像机的垂直线成一角度移动。如果角度大于容许误差(容许误差 的进一步细节见下文),比如说30度,则检测的角度或方向将分别是30和300度而不是0 和270度,因此控制器不能够正确地确定事实上使用者所做的手势。这对于使用者来说是 烦人的,因为在他认为他正在做一正确的手势并且不愿意太多地改变他的位置。
[0158] 当如果装置未被正确固定、摆放在不平的表面上或其它这样的情况而出现摄像机 稍微未对准时,同样的问题会产生。
[0159] 因此,下文中所有涉及检测的方向涉及相对方向。
[0160] 为了利用相对方向来扩大可用手势的数量,控制器可被设置成确定基线或基线方 向。可以在开始时、启动新程序时或定时或间歇地确定基线或基线方向以适应使用者移动。
[0161] 可以为用户或摄像机或者两者确定基线方向。
[0162] 在一个实施例中,控制器被设置成为待被追踪的对象确定基线方向。在一个实施 例中,这可以在检测待被追踪对象的每次进行。对象的当前定向随后被确定并与一般定向 进行比较,基此可确定偏移值。通过将待追踪对象的结构与模型结构进行比较可以确定当 前的定向。在追踪手的示例中,手指的方向可用于确定当前的定向。
[0163] 因此,控制器被设置成根据下式适应所有检测到的角度: a 1 = a +偏移量 其中,a为检测到的角度,而a 1为待比较的经调整的角度。在一个实施例中,控制器 被设置成确定摄像机的基线方向。在一个实施例中,这可以在开始时进行。摄像机的当前 定向例如通过识别应当是垂直的或水平的直线确定并相应地调整视角。随后可相应调整参 照角。如果许多线几乎是垂直的(水平的),则控制器可假设它们应该是垂直的(水平的) 并设定一偏移量使得线是垂直的(平行的)。应当意识到,在现代社会中,许多直线自然出 现在通常的住处或其它现代环境中。例如,拐角几乎总是直的,在两壁相交或者一壁与地面 和/或天花板交汇处提供直线。像框和窗框也几乎总是垂直的/水平的。应当清楚,存在 许多其它的示例。因此,通过设置控制器以在待被追踪对象的影像的背景中检测直线,可检 测摄像机的定向。
[0164] 因此,控制器被设置成根据下式调整所有检测到的角度: 3 1 = 3 +偏移量 其中0是待比较的参照角;而0 1是待比较的经调整的参照角。
[0165] 可替换地,如上文所述调整检测到的角度。
[0166] 为了允许使用者移动不准确,控制器被设置成确定,如果比较的角度是在被比较 角度的范围或容许误差内,则有匹配。被比较的角度在下文中将称为参考角或参照角。换 句话说,控制器被设置成确定如果P_9<a<P+(p,则存在部分移动的匹配。其中0是参照角, a是比较角,而q>是容许误差。
[0167] 为了过滤出非主动移动,控制器可能设置成,除了移动的角度之外,还确定移动的 距离,并且只有当距离(dist)高于阈值(VI)时,才将移动角度与参考角比较。换言之,如 果dist> = VI,则部分移动会被检测到并进行比较。
[0168] 通过结合距离的测量和角度的容许误差,控制器被设置成通过区分手势(或手势 的一部分)与被追踪对象的随机移动而检测到手势(或手势的一部分)。距离和角度容许 误差的结合限定一锥形(其顶部被截掉),在此锥形内,任何产生的移动将被检测为沿该角 度方向的移动。
[0169] 在一个实施例中,载有摄像机的装置的定向可利用陀螺仪或其它水平测量装置确 定。如果摄像机和装置的定向是已知的,则定向可被添加至检测到的角度或从检测到的角 度减去。不过,在所述实施例中,本文所揭示的方式仍可被用为未知的用户和/或用户运动 的定向。知道摄像
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1