用于手势辨识的平移和尺度不变特征的制作方法_2

文档序号:9756825阅读:来源:国知局
手部动作的模式)以便识别手势。举 例来说,为了检测移动到右方的轻扫手部运动,预编程规则或试探法可以现场以特定量寻 找右方向上的手部运动,例如,200毫秒内20cm的移位。因此,必须针对每一不同的手势预编 程至少一种试探法,以便检测许多不同的手势。相反,如果现场没有用于特定手势的试探 法,那么随后手势辨识系统将不能够检测到所述特定手势。另外,如果需要检测任何新手 势,那么随后通过用户或开发者的额外编程为设计链接到新手势的新试探法所必需的。
[0029] 相比之下,本发明的方面可以消除对手工设计的需要或每一手势的数据特性的选 择。实情为,手势辨识系统使用训练数据来训练自身。在一些实施例中,手势辨识系统产生 其自身的手势的模型或签名,使得在用户执行手势时,系统可以在手势匹配模型或签名中 的一者的情况下辨识手势。
[0030] 参考图2,实例情境展示用户可以如何利用本发明的至少一些方面。此处,用户可 以在图像记录装置200前方执行手势210,图像记录装置200经配置以实施各种实施例。装置 200可以记录随时间而被连续记录的一系列数据对象中的手势210。数据对象可以具有能够 在每一数据对象随时间执行手势时识别每一数据对象中的手势对象的位置的各种媒体。在 一些实施例中,数据对象可以是数字相片。在其它实施例中,数据对象可以是基于红外的图 像。在其它实施例中,数据对象可以是超声波对象等等。因此,在一些实施例中,装置200可 以不是图像记录装置,但实情为可以是经配置以记录不同媒体的数据对象(例如,红外图 像,超声波对象等等)的装置。
[0031] 仍参考图2,在一些实施例中,在执行手势210之前,装置200可以不经配置以辨识 手势210。然而,装置200可以经配置以在记录手势210之后"学习"手势210,分析关于手势 210的某些特性且基于所述特性产生表示手势210的签名或模型。换句话说,装置200可以 "经训练"以基于执行初始手势210将手势210辨识为训练数据。下文将更多地论述关于手势 210的特性的实例。一旦装置210已产生手势210的签名或模型,随后装置210可记录后续手 势,分析那些手势的特性且确定那些手势是否匹配或实质上类似于手势210的模型或签名 的性质。如果是,那么随后可以将后续手势辨识为手势210。在一些实施例中,动作或命令可 以与手势210相关联,使得每当手势210被辨识时,装置200可以经配置以执行所述动作或命 令。
[0032] 手势220可以是与手势210不同的手势,且类似地可以不被装置200首先辨识。装置 200可以经训练以用类似方法将手势220辨识为上文所描述的那些手势。接着,在已产生两 个手势210和220的模型或签名的情况下,装置200将经配置以在实时环境中记录手势对象 数据,分析手势对象数据的特性,且在实时手势对象数据的特性分别匹配或实质上类似于 手势210或手势220的模型或签名的性质的情况下将手势对象数据辨识为匹配手势210或手 势 220〇
[0033]参考图3A,框300中所含有的曲线图说明可以被分析以便最初首先学习手势的一 组实例特性,且随后以便将在实时环境中执行的手势与习得手势的经训练模型或签名比 较。举例来说,曲线图300(a)可以表示由手势对象执行的手势的二维路径。每一圆形可以表 示在一组所记录数据对象的特定帧处的手势对象的位置。手势对象的实例可以包含张开的 手、手指、紧握的拳头、棒或旗的顶端。这些实例手势对象中的一些可以不遵循圆形形状,曲 线图300(a)中的圆形可以基于手势对象上的中心、中点、顶端或一些其它不变的位置。所记 录的数据对象的实例可以包含一系列数字图像、超声波图像、红外图像或能够记录手势对 象的位置的任何其它类型的数据对象。圆形中的每一者中间的单向箭头可以象征数据对象 的时间方面,因为由箭头指向的圆形指示手势对象在数据对象组中的下一连续帧中已移动 到的位置。因此,曲线图300(a)展示所执行的手势可以看起来像移动到右方的一种挥动运 动。由于存在十三个圆形,所以此挥动手势已被记录在十三个所记录的数据对象中。显然, 取决于手势的速度和数据对象记录装置的帧率,可以记录手势的更高或更低拆分。在其它 实施例中,仅使用所有所记录数据对象的子集来映射手势,例如,使用每个其它数据对象, 或每三个中的一个。
[0034]在一些实施例中,可以记录三维位置,且实施例不限于此。出于解释的目的,本文 中仅描述二维实例,但所属领域的技术人员将易于理解如何视需要将这些揭示内容扩展到 三维空间。
[0035]参考图300(b),分析手势的额外特性,所述特性可以用于产生手势的模型或签名。 举例来说,如圆形305和310中所展示,在记录于数据对象组的两个连续帧中的手势的位置 之间测量角度。在此情况下,从中心定在第一圆形305处的水平(X)轴,通过从所述X轴逆时 针旋转直到达到第二圆形310来测量角度西塔(Θ)。可以以度或弧度或用于可靠地测量角度 的任何其它数字系统来测量Θ。举例来说,在此情况下,角度Θ可以估计为约60度。此角度测 量值在本文中可以被称作"手势角度"。可以使用用于测量手势角度的其它方法。举例来说, 可以从第二圆形310开始且旋转到第一圆形305来测量两个连续圆形之间的角度。在一些实 施例中,手势角度可以在〇度到360度范围内。在其它情况下,手势角度可以在-180度到180 度范围内。
[0036] 可以针对每对连续的圆形重复用于测量角度的同一方法,以计算一组手势角度。 以此方式,以图形方式表示于曲线图300(a)中的手势可以描述为在连续数据对象中记录的 手势的每对位置的手势角度组。一般来说,因此可以看出,任何手势可以描述为根据本发明 中所描述的概念测量的一组手势角度。换句话说,可以基于此组手势角度确定唯一地表征 或识别手势的模型或签名。
[0037] 根据一些实施例,虽然在这些实例中,所记录数据对象的连续帧被用于测量所述 手势的两个位置之间的角度,但可以在测量手势角度时跳过一些帧。一般来说,如本发明中 所使用的术语"连续"意图包含以下情况:只要从下一手势角度的前一帧不出现在先前手势 角度的后一帧之前的两个帧测量下一手势角度,就可以在测量手势角度时跳过中间的一些 帧。
[0038]在一些实施例中,在已根据刚才描述的概念由其手势角度组表征手势的情况下, 手势角度组可以用于产生手势的签名或模型,所述签名或模型可以随后与在实时环境中执 行的手势比较。举例来说,使用上文所描述的技术根据在实时环境中执行的手势计算的一 组实时或同时手势角度可以与先前所记录的手势角度组比较。如果两组匹配或实质上类 似,那么可以确定在实时环境中执行的手势与经记录以创建签名或模型的手势为同一手 势。因此,实时环境中执行的手势可以在其匹配或实质上类似于先前所记录或"经训练"手 势的签名或模型的情况下被辨识。
[0039] 在一些实施例中,构成匹配或实质上类似于所记录手势模型的实时手势的要素可 以变化。举例来说,实时手势的手势角度组可能需要准确匹配手势模型的手势角度组。在其 它情况下,角度中的一些可以稍微不同,例如,手势角度的25%可以与手势模型中的手势角 度相差+/-15度。这些灵敏度和硬度设置可以高度可配置,且实施例不限于此。
[0040] 随后可以看出,本发明可以经训练以使用本文中所描述的技术辨识任何和所有类 型的手势。另外,不需要编程,因为本发明可以仅记录表示手势的时间排序路径的一系列数 据对象且自行执行以上分析。
[0041] 另外,无论在何处执行所记录数据对象中的手势,都可以辨识手势。举例来说,可 以在数据对象的中心、朝向侧面或在数据对象的拐角中记录手势。以所述方式,各种实施例 可以描述为"平移不变"。另外,因为利用角度量测值而非距离或移位中的变化,小手势可以 与大手势一样被辨识,只要手势的形状相同或实质上类似。换句话说,本手势辨识技术可以 描述为"尺度不变"。此外,手势可以在其缓慢或快速执行的情况下被辨识,因为角度量测值 可以通过跳过帧或使用其它各种技术被归一化。因此,各种实施例可以描述为"时不变"。 [0042]参考图3A中的曲线图300(c),在一些实施例中,充当手势的唯一模型或签名的手 势角度组可以表达为展示所述手势的角度频率的直方图。曲线图300(c)展示表示于曲线图 300(a)和300(b)中的手势的实例直方图。水平轴表示手势角度的度的范围,在此情况下为 从0度到360度。在一些实施例中,尺度可以在-180度到180度范围内或其其它变体。虽然此 处使用度,但还可以使用其它可比单元,例如,弧度。垂直轴表达落入水平轴中所表达的范 围中的手势角度的数目。举例来说,直方图300(c)表示曲线图300(a)中的手势可以具有测 得为〇度与30度之间的2个手势角度和测得为60度与90度之间的1个手势角度。另外,根据曲 线图300(b),由于0度表示水平线,因此可能存在测得为300度与330度之间的4个手势角度, 此被提及以意指角度向下倾斜。因此,曲线图300(a)中的手势可以被称为具有表达为直方 图300(c)的唯一签名或模型。
[0043]类似地,随后在实时环境中执行的手势的特征可在于其手势角度组,且在一些实 施例中,其表达为类似于曲线图300(c)的直方图。在一些实施例中,在实时环境中执行的手 势可以随后通过将其直方图与所记录手势的直方图比较来辨识。如果直方图根据某种灵敏 度准则匹配或实质上类似,例如,手势角度可以各自在+/_5度之间变化,那么随后可以辨识 在实时环境中执行的手势是所记录模型中的手势。
[0044]参考图3B,展示另一实例手势,其中分析其对应手势角度特性。图示330揭露圆形 手势,而曲线图330(a)展示手势对象可以用来执行所述圆形手势的实例路径。举例来说,手 势对象可以在数据对象335的位置处开始且进行顺时针方向上的圆形运动,最后返回数据 对象335的位置处。
[0045]参考曲线图330(b),可以使用如图3A中所论述的那些的技术和概念来测量一组手 势角度。举例来说,可以从数据对象335的水平轴开始且逆时针旋转直到达到数据对象340 来测量第一数据对象335与下一所记录的数据对象340之间的角度。在此情况下,数据对象 335与340之间的手势角度可以测得为70度。可以获得其它对连续的所记录位置中的每一者 之间的手势角度,其中手势角度组可以表示圆形手势的唯一签名或模型。
[0046] 参考曲线图330(c),如图所示的直方图可以是用以表达唯一地表征圆形手势的手 势角度组的一种方式。举例来说,在此情况下,圆形手势可以被表征为各自具有手势角度的 所有范围(例如,〇度到30度,30度到60度等)的相等数目(即,2),此应由于手势为均匀圆形 运动而被预期。因此,在一些实施例中
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1