用于手势辨识的平移和尺度不变特征的制作方法
【专利说明】用于手势辨识的平移和尺度不变特征
【背景技术】
[0001] 本发明大体上涉及用户装置或系统，且更确切来说涉及手势辨识。
[0002] 技术正朝着无接触人机交互快速前进。可以不需要按键或按钮按压，而实际上，可 以经由手势实现人机交互。目前可用的许多手势辨识系统能够辨识有限、预编程数目的手 势。可以由基于辨识关于手势的一组预编程特性的机器(例如)使用一系列试探法来辨识这 些预编程手势。然而，这些方法存在许多缺点，例如，需要对手势中的每一者预编程试探法， 且不能产生新的手势。在一些情况下，需要预先精确地调节手势辨识技术，这需要繁琐的定 时和校准。
[0003] 因此，在所属领域中需要用于辨识手势的经改良方法和系统。
【发明内容】
[0004] 呈现方法和系统以用于手势辨识系统的自动化训练。在一些实施例中，系统可以 经训练以检测手势而不需要预编程规则或试探法来检测所述手势。在已经由训练数据习得 手势的情况下，系统可以随后在实时环境(live setting)中检测所述手势。
[0005] 在一些实施例中，呈现一种方法以用于辨识多个所记录数据对象中的手势对象的 手势，所记录的数据对象随时间而被记录。所述方法可以包含使用多个所记录的数据对象 计算至少一组手势角度，其中至少一组中的手势角度中的每一者包括手势对象的两个位置 之间的角度测量值，所述两个位置记录于多个所记录的数据对象中的连续数据对象中。所 述方法还可以包含基于至少一组手势角度辨识手势。在一些实施例中，辨识手势进一步基 于将至少一组手势角度与手势模型比较。
[0006] 在一些实施例中，所述方法进一步包含基于至少一组手势角度计算表示角度频率 的直方图，其中辨识手势进一步基于所计算的直方图与各自表示可辨识手势的一或多个直 方图的比较。
[0007] 在一些实施例中，至少一组手势角度为时间排序的。在一些实施例中，至少一组时 间排序的手势角度进一步包含第一组时间排序的手势角度和第二组时间排序的手势角度， 且第二组时间排序的手势角度包含第一组时间排序的手势角度的子部分。在一些实施例 中，辨识手势进一步基于:将第一组时间排序的手势角度与手势模型比较；以及将第二组时 间排序的手势角度与手势模型的第一子部分比较。在一些实施例中，至少一组时间排序的 手势角度进一步包含第三组时间排序的手势角度，且第三组时间排序的手势角度包含第二 组时间排序的手势角度的子部分。在一些实施例中，辨识手势进一步基于将第三组时间排 序的手势角度与手势模型的第一子部分的子部分比较。
[0008] 在一些实施例中，第一组时间排序的手势角度进一步包含第三组时间排序的手势 角度，且第三组时间排序的手势角度包含第一组时间排序的手势角度的子部分，所述子部 分不包含第二组时间排序的手势角度中包含的手势角度中的任一者。在一些实施例中，辨 识手势进一步基于将第三组时间排序的手势角度与手势模型的第二子部分比较，所述第二 子部分不包含手势模型的第一子部分中的任一者。在一些实施例中，辨识手势进一步基于： 将第二组时间排序的手势角度与第三组时间排序的手势角度级联，以产生一组级联的时间 排序手势角度;将手势模型的第一子部分与手势模型的第二子部分级联，以产生手势模型 的级联子部分；以及将所述组级联的时间排序手势角度与手势模型的级联子部分比较。
[0009] 在一些实施例中，手势模型包含至少一组经训练的时间排序手势角度，所述组经 训练的时间排序手势角度在辨识手势对象的手势之前被产生。
[0010] 在一些实施例中，呈现一种设备。所述设备可以包含经配置以随时间记录多个数 据对象中的手势对象的至少一个记录装置。所述设备还可以包含经配置以进行以下操作的 处理器:使用多个所记录的数据对象计算至少一组手势角度，其中至少一组中的手势角度 中的每一者包括手势对象的两个位置之间的角度测量值，所述两个位置记录于多个所记录 的数据对象中的连续数据对象中；且基于至少一组手势角度辨识手势。在一些实施例中，处 理器经进一步配置以将至少一组手势角度与手势模型比较。
[0011] 在一些实施例中，呈现另一设备。所述设备可以包含：用于使用多个所记录的数据 对象计算至少一组手势角度的装置，其中至少一组中的手势角度中的每一者包括手势对象 的两个位置之间的角度测量值，所述两个位置记录于多个所记录的数据对象中的连续数据 对象中；以及用于基于至少一组手势角度辨识手势的装置。在一些实施例中，用于辨识手势 的装置进一步基于用于将至少一组手势角度与手势模型比较的装置。
[0012] 在一些实施例中，呈现一种非暂时性处理器可读媒体。处理器可读媒体可以包含 经配置以致使处理器进行以下操作的处理器可读指令:随时间记录多个数据对象中的手势 对象;使用多个所记录的数据对象计算至少一组手势角度，其中至少一组中的手势角度中 的每一者包括手势对象的两个位置之间的角度测量值，所述两个位置记录于多个所记录的 数据对象中的连续数据对象中；且基于至少一组手势角度辨识手势。在一些实施例中，指令 经进一步配置以致使处理器将至少一组手势角度与手势模型比较。
【附图说明】
[0013] 可以通过参考以下各图来实现对各种实施例的性质和优点的理解。在附图中，类 似的组件或特征可以具有相同的参考标签。此外，可以通过在参考标签后面跟着短划线和 区分类似组件的第二标签来区分相同类型的各种组件。如果在说明书中仅使用第一参考标 签，那么描述适用于具有相同的第一参考标签的类似组件中的任一者，而与第二参考标签 无关。
[0014] 图1为可以实施本发明的各种实施例的实例装置。
[0015]图2说明根据一些实施例的与实例装置交互的用户。
[0016] 图3A、3B和3C说明根据一些实施例的手势的实例数据分析。
[0017] 图4说明根据一些实施例的可以被解决的手势辨识中的实例问题。
[0018] 图5说明根据一些实施例的手势的额外实例数据分析。
[0019] 图6说明根据一些实施例的可以被解决的手势辨识中的另一实例问题。
[0020] 图7A和7B为说明根据一些实施例的方法的实例流程图。
[0021 ]图8为根据一些实施例的计算装置的框图。
【具体实施方式】
[0022] 现在将关于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可 以实施本发明的一或多个方面的特定实施例，但可以使用其它实施例，且可以在不脱离本 发明的范围或所附权利要求书的精神的情况下进行各种修改。
[0023] 参考图1，实例计算装置100可以经配置以实施本发明的一个或多个方面。举例来 说，计算装置1〇〇可以是智能电话、平板计算机、个人数字助理或装备有允许计算装置1〇〇以 用户输入的形式捕捉运动和/或其它所感测到的状况的一或多个传感器的其它移动装置。 在一些实施例中，计算装置100不是移动装置，且可以是(例如）台式计算机、游戏机、静止传 感器或摄像机，或无线或有线地耦合在一起的机器的系统。计算装置100可以装备有、以通 信方式耦合到和/或以其它方式包含一或多个摄影机、麦克风、接近度传感器、陀螺仪、加速 计、压力传感器、手握感测器、触摸屏、电流或电容式传感器、超声波传感器、运动传感器和/ 或其它传感器。除包含一或多个传感器以外，计算装置100还可以包含一或多个处理器、存 储器单元和/或其它硬件组件，如下文更详细描述。
[0024] 在一或多个布置中，计算装置100可以单独或组合使用这些传感器中的任一者和/ 或全部来辨识由装置的一或多个用户执行的手势。举例来说，计算装置100可以使用一或多 个摄影机来捕捉由用户执行的手部和/或臂部移动，例如手部挥动或轻扫运动，以及其它可 能的移动。另外，例如，例如由用户执行的全身移动(例如，行走、跳舞等)等更复杂和/或大 尺度的移动同样可以由一或多个摄像机(和/或其它传感器)来捕捉且随后由计算装置100 辨识为手势。在又一实例中，计算装置100可以使用一或多个触摸屏来捕捉由用户提供的基 于触摸的用户输入，例如，收缩、轻扫和扭转，以及其它可能的移动。虽然此处将可以单独被 视为手势和/或可以与其它移动或动作组合以形成更复杂手势的这些样本移动作为实例加 以描述，但运动、移动、动作或其它传感器捕捉的用户输入的任何其它排序同样可以被实施 本发明的一或多个方面的计算装置(例如，计算装置100)作为手势输入加以接收和/或将作 为手势加以辨识。
[0025] 在一些布置中，举例来说，例如运动传感器、摄影机或超声波传感器等传感器可以 用于基于辨识出用户的手势或手势的变化而控制计算机或集线器。不同于可能受指纹的有 害遮蔽影响的一些触摸屏系统，基于传感器的手势输入可以允许基于用户的自然的身体移 动或姿势清晰地显示或以其它方式输出照片、视频或其它图像。记住此优点，可以辨识允许 用户观察、镜头移动（即，移动）、设定大小、旋转和对图像对象执行其它操纵的手势。
[0026] 如本文中所使用，"手势"希望指代用人体的部分或"手势对象"进行的非言语交流 形式，且与例如话语等言语交流形成对比。还可以从作为人体的部分或从人体的一部分延 伸的工具或仪器(例如，旗、杆、棒等等)来辨识手势。因此，手势对象可以包含人体的一部分 和/或由人体握持或附接于人体的对象。可以通过第一位置、姿势或表情与第二姿势、位置 或表情之间的移动、改变或变换来定义手势。日常交谈中所使用的常见手势包含(例如）"两 手在空中比兔子耳朵"手势、鞠躬、屈膝礼、亲面颊、手指或手部运动、屈膝、头部摇动或移 动、举手击掌、点头、苦脸、举起拳头、敬礼、竖大拇指运动、收缩手势、手部或身体扭动或指 手指手势。可以使用图像传感器(例如通过分析用户的图像），使用倾斜传感器(例如通过检 测用户握持或倾斜装置的角度），使用超声波传感器或通过任何其它方法检测手势。
[0027] 手势对象可以通过改变其位置（即，挥动运动)做出手势（或"打手势"），或手势对 象可以在不改变其位置的情况下（即，通过做出握紧拳头的手势)打手势。在一些布置中，手 部和臂部手势可以用于经由摄影机输入影响功能性的控制，而在其它布置中，还可以使用 其它类型的手势。另外或替代地，可以在做出和/或检测一或多个手势时移动手和/或其它 身体部分(例如，臂、头、躯干、腿、脚等）。举例来说，一些手势可以通过移动一或多个手来执 行，而其它手势可通过移动一或多个手并移动一或多个臂、一或多个腿等等来执行。
[0028] 呈现方法和设备以用于手势辨识系统的自动化训练。典型手势辨识算法时常基于 经预编程的试探法寻找输入数据中的一些特性(例如，