快速姿势检测器的制造方法

快速姿势检测器的制造方法
【专利摘要】本发明呈现用于在一源图像序列中确定是否执行手势的方法及设备。在一些实施例中，一种方法包含使用多个手势模型中的一或多个手势模型检测一或多个参考图像中的每一者中的手势。所述方法还可包含从所述一或多个手势模型中选择最接近地匹配所述所检测到的手势的第一手势模型，优先于所述多个手势模型中的其它手势模型对所述第一手势模型进行优先级排序以用于在所述源图像序列中搜索所述手势，及使用所述经优先级排序的第一手势模型扫描所述源图像序列以确定是否执行所述手势。在执行所述手势的情况下，所述方法可在使用所述多个手势模型中的另一手势模型确定是否执行所述手势之前结束扫描。
【专利说明】快速姿势检测器

【背景技术】
[0001] 本发明涉及所记录图像中的手势检测。更具体来说，本发明论述用于改善在检测 第一图像及一图像序列中的手势时的速度、精确度及消耗的资源的有效的方法及设备。所 属领域中已知用于检测手势的数种技术，例如手姿势、臂运动及其类似者。然而，许多技术 可能依赖于仅可见于大型耗电机器中的高性能处理器。手势检测方法可能不会非常有效， 从而使得此类方法难W用于较小移动装置中，及/或用于恒定的实时图像记录中。因而需 要实施不太耗时且功率更有效的手势检测方法。


【发明内容】

[0002] 可根据本文所描述的各种实施例来解决该些问题及其它问题。
[0003] 在一些实施例中，呈现一种用于确定是否在一源图像序列中执行手势的方法。所 述方法可包含使用多个手势模型中的一或多个手势模型检测一或多个参考图像中的每一 者中的手势。所述方法可进一步包含从所述一或多个手势模型中选择最接近地匹配所述所 检测到的手势的第一手势模型，优先于所述多个手势模型中的其它手势模型对所述第一手 势模型进行优先级排序W用于在所述源图像序列中搜索所述手势，及使用所述经优先级排 序的第一手势模型扫描所述源图像序列W确定是否执行所述手势。在执行所述手势的情况 下，所述方法还可包含在使用所述多个手势模型中的另一手势模型确定是否执行所述手势 之前结束扫描。
[0004] 在一些实施例中，所述参考图像包含所述源图像序列中的先前图像。在一些实施 例中，所述多个手势模型包含手姿势。在一些实施例中，所述多个手势模型包含面部表情。 在一些实施例中，所述多个手势模型包含左手摊开的手模型、右手摊开的手模型或拳头模 型。
[0005] 在一些实施例中，所述方法进一步包含优先于其它位置对所述一或多个参考图像 中的所述所检测到的手势的位置进行优先级排序W用于在所述源图像序列中搜索所述手 势，及使用所述所检测到的手势的所述经优先级排序的位置扫描所述源图像序列W确定是 否执行所述手势。
[0006] 在一些实施例中，所述方法进一步包含优先于其它比例对所述一或多个参考图像 中的所述所检测到的手势的比例进行优先级排序W用于在所述源图像序列中搜索所述手 势，及使用所述所检测到的手势的所述经优先级排序的比例扫描所述源图像序列W确定是 否执行所述手势。
[0007] 在一些实施例中，所述方法进一步包含优先于其它位置对所述一或多个参考图像 中的所述所检测到的手势的位置进行优先级排序W用于在所述源图像序列中搜索所述手 势，优先于其它比例对所述一或多个参考图像中的所述所检测到的手势的比例进行优先级 排序W用于在所述源图像序列中搜索所述手势，及使用所述所检测到的手势的所述经优先 级排序的位置、所述所检测到的手势的所述经优先级排序的比例及所述经优先级排序的第 一手势模型的组合扫描所述源图像序列W确定是否执行所述手势。
[0008] 在一些实施例中，所述方法进一步包含在于所述源图像序列中检测到预定数目个 手势的情况下，在完成对所述源图像序列的完全扫描之前结束对所述源图像序列中的所述 手势的扫描。
[0009] 在一些实施例中，所述方法进一步包含确定与所述手势相比较来说不太可能在所 述一或多个参考图像中检测到第二手势。所述方法还可包含在检测到所述手势之后基于确 定不太可能检测到所述第二手势而检测所述一或多个参考图像W查找所述第二手势。
[0010] 在一些实施例中，所述方法进一步包含在按级的连续编号排序的多个级联级中扫 描所述一或多个参考图像W查找所述手势，及改进对所述一或多个参考图像的用W查找所 述手势的所述扫描。所述级联级中的每一级可包含扫描所述图像中的周期性编号的像素W 检测所述手势。所述周期性编号的像素可与所述周期性编号的像素中的每隔一个像素相距 恒定的垂直及水平距离，且任一级中的像素的所述周期性编号可小于或等于前一级中的像 素的所述周期性编号。所述方法还可包含通过确定所述连续编号的级中的最后一级是否检 测到所述手势的至少一部分识别所述手势。
[0011] 在一些实施例中，呈现一种用于确定是否在一源图像序列中执行手势的设备。所 述设备可包含存储器，所述存储器经配置W存储一或多个参考图像及所述图像序列。所述 设备还可包含通信地禪合到所述存储器的处理器。所述处理器可经配置W;使用多个手势 模型中的一或多个手势模型检测一或多个参考图像中的每一者中的手势；从所述一或多个 手势模型中选择最接近地匹配所述所检测到的手势的第一手势模型；优先于所述多个手势 模型中的其它手势模型对所述第一手势模型进行优先级排序W用于在所述源图像序列中 搜索所述手势；使用所述经优先级排序的第一手势模型扫描所述源图像序列W确定是否执 行所述手势；及在执行所述手势的情况下，在使用另一手势模式之前结束扫描。
[0012] 在一些实施例中，呈现一种设备。所述设备可包含；用于使用多个手势模型中的一 或多个手势模型检测一或多个参考图像中的每一者中的手势的装置；用于从所述一或多个 手势模型中选择最接近地匹配所述所检测到的手势的第一手势模型的装置；用于优先于所 述多个手势模型中的其它手势模型对所述第一手势模型进行优先级排序W用于在所述源 图像序列中搜索所述手势的装置；用于使用所述经优先级排序的第一手势模型扫描所述源 图像序列W确定是否执行所述手势的装置；及在执行所述手势的情况下，用于在使用所述 多个手势模型中的另一手势模型确定是否执行所述手势之前结束扫描的装置。
[0013] 在一些实施例中，呈现一种非暂时性处理器可读媒体。所述非暂时性处理器可读 媒体可包含经配置W致使处理器进行W下操作的处理器可读指令；使用多个手势模型中的 一或多个手势模型检测一或多个参考图像中的每一者中的手势；从所述一或多个手势模型 中选择最接近地匹配所述所检测到的手势的第一手势模型；优先于所述多个手势模型中 的其它手势模型对所述第一手势模型进行优先级排序W用于在一源图像序列中搜索所述 手势；使用所述经优先级排序的第一手势模型扫描所述源图像序列W确定是否执行所述手 势；及在执行所述手势的情况下，在使用所述多个手势模型中的另一手势模型确定是否执 行所述手势之前结束扫描。
[0014] 在一些实施例中，呈现用W检测例如手姿势等一或多个手势的方法及设备。在一 些实施例中，方法包含检测摊开的手掌，例如，在摄像机或视觉装置前方伸展的摊开的手 掌。然而，该些实施例并非限制性的，且所属领域的技术人员将认识到，下文所描述的实施 例可用W检测其它姿势及/或手势或运动。在一些实施例中，级联的弱分类器用于检测姿 势或手势。在一些实施例中，所述检测方法可为循环密集型，例如，检测可集中于多比例视 频中贞上及每一峽的每一像素上。
[0015] 在一些实施例中，所述所呈现的方法可为手跟踪器算法中的第一步骤。举例来说， 在一些实施例中，可提供初始约定位置或重新约定位置及/或相对于所述初始约定位置的 当前位置的跟踪。在一些实施例中，如果在一段时间内（例如，500毫砂）姿势为静止的，那 么辨识约定。在一些实施例中，甚至在用于查看的装置处于待用模式从而使得可辨识手势 用于接通所述装置时，所述方法也可运行。另外，一些方法可按低周期性运行W从假及/或 丢失跟踪恢复（重新约定）。
[0016] 在一些实施例中，方法可包含至少四个部分：按比例调整、预先处理、响应计算及 矩形结果处理。

【专利附图】

【附图说明】
[0017] 可通过参考W下各图来实现对各种实施例的性质及优点的理解。在附图中，类似 组件或特征可W具有相同参考标签。另外，可通过在参考标签之后跟着短划线及在类似组 件当中进行区分的第二标签来区分相同类型的各种组件。如果说明书中只使用第一参考标 签，那么描述适用于具有相同的第一参考标签的类似组件中的任一者，与第二参考标签无 关。
[0018] 图1为根据一些实施例的实例装置的说明。
[0019] 图2A及2B为由根据一些实施例的图像记录装置检测到的手势的实例情境。
[0020] 图3说明根据一些实施例的实例手势及手势模型。
[0021] 图4说明根据一些实施例的示例性过程流程。
[0022] 图5说明根据一些实施例的用于检测手势的示例性流程图。
[0023] 图6说明根据一些实施例的用于检测手势的另一示例性流程图。
[0024] 图7说明根据一些实施例的实例级联级样本分布。
[0025] 图8说明根据一些实施例的视频峽上的实例模型滑动。
[0026] 图9A及9B说明根据一些实施例的示例性流程图。
[0027] 图10说明可在其中实施本发明的一或多个方面的实例计算系统。

【具体实施方式】
[002引词语"示例性"在本文中用W意味着"充当实例、例子或说明"。本文中描述为"示 例性"的任何实施例或设计未必应被解释为比其它实施例或设计优选或有利。
[0029] 如本文所使用，"手势"可指通过人体的部分做出的非口头通信的形式，且与例如 话语等口头通信形成对比。举例来说，可通过第一位置、姿势或表情与第二姿势、位置或表 情之间的移动、改变或变换来定义手势。如本文所使用，"手势"还可包含通过人体的部分做 出的静态姿势。举例来说，"手势"可包含仅展示所做出的运动的部分的静态姿势。日常言 语中所使用的常见手势可包含（例如）"兔耳"手势、鞠躬手势、屈膝礼、颊吻、手指或手运 动、屈膝、摇头或移动、举手击掌、点头、愁容、举起拳头、敬礼、竖起大拇指运动、捏夹手势、 摊开的手掌、握拳、摇动拳头、指着的手指、"和平"标志，或任何手或身体扭转运动。可使用 摄像机（例如，通过分析用户的图像）、使用倾斜传感器（例如，通过检测用户握持或倾斜装 置的角度）或通过任何其它方法来检测手势。如所属领域的技术人员将从上述描述及下文 的进一步描述了解，例如，手势可包括非触摸、不触摸或无触摸手势，例如在半空中执行的 手移动。例如，在一些实施例中，此类非触摸、不触摸或无触摸手势可区分于可能通过在触 摸屏上绘制图案来执行的各种"手势"。在一些实施例中，可在握持装置的同时在半空中执 行手势，且可使用装置中的一或多个传感器（例如，加速度计）来检测手势。
[0030] 用户可通过改变身体部分的位置（即，挥手运动）来做出手势（或"打手势"），或 可在保持身体部分处于恒定位置的同时打手势（即，通过做出握紧拳头手势）。在一些布置 中，可使用手及臂手势来经由摄像机输入控制功能性，而在其它布置中，可另外或替代地使 用其它类型的手势。另外或替代地，可在做出一或多个手势中移动手及/或其它身体部分 (例如，臂、头、面部、躯体、腿、脚等）。举例来说，一些手势可通过移动一或多个手来执行， 而其它手势可通过结合一或多个臂、一或多个腿等移动一或多个手来执行。在一些实施例 中，手势可包括在阔值时间量内维持某一姿势（例如，手或身体姿势）。
[0031] 呈现用于鉴于成像装置有效地检测目标的手势或姿势的方法及设备。检测目标的 手势或姿势的步骤可为使用传统方法进行的处理器及存储器密集型方法。举例来说，当试 图跟踪单个手时，使用手势算法及方法的一些可供使用的手势装置为CPU极密集型。归因 于高CPU使用情况，试图使用手势检测方法的移动装置可能为用户提供不良体验。高CPU使 用率可导致手势检测的较低峽速率，从而可能导致缓慢的不可用的且甚至不可靠的跟踪结 果、高电池消耗及过热装置。然而，根据各种实施例，检测手势或姿势可消耗较少功率且成 功地在较少时间内检测到手势或姿势。举例来说，实施例可能能够使用30%的较少时间在 176X144像素峽中检测到用户的右手的摊开的手掌运动，而准确度与传统方法相比较未减 少。
[0032] 在一些实施例中，可使用姿势或手势的模型来更有效地检测姿势或手势。举例来 说，在与所讨论的当前图像（被称为源图像）相关的先前参考图像中，可使用更缓慢或处理 器更密集型图像辨识技术来识别姿势或手势。可接着识别在参考图像中检测到的姿势或手 势的模型。本文中的发明可将此模型称作手势模型。手势模型可为所述相同姿势或手势 的数百个或数千个图像的复合。在一些实施例中，手势模型为基于所述相同姿势或手势的 数百个或数千个图像的理想姿势或手势。可接着使用所识别的手势模型来在源图像中检 测所述相同类型的手势或姿势。在一些实施例中，此技术可节省50%的资源，该是因为在 许多情况下，在参考图像中检测到的手势或姿势很可能与在源图像中检测到的手势或姿势 相同。在一些实施例中，可针对一源图像序列发生使用手势模型及所描述的技术进行的检 巧IJ。举例来说，在一些实施例中，一旦选择了手势模型，便可在比较图像的部分与其它模型 之前，通过比较图像的那些部分与整个手势模型或手势模型的特征来扫描源图像。举例来 说，如果比较的类似性上升到高于某一阔值，或比较属于预定义的约束内，那么该些比较可 确定在图像中执行所述手势。所述比较可与用W使用手势模型检测参考图像中的手势的技 术类型相同。然而，用经优先级排序的手势模型扫描源图像时的一个优点在于：经优先级排 序的手势模型更有可能匹配源图像中的手势，且因此可通过不必从其它模型开始扫描图像 来节省资源。
[0033] 参看图1，说明可实施本发明的一或多个方面的实例装置。举例来说，计算装置 100可为个人计算机、机顶盒、摄像机、电子游戏控制台装置、膝上型计算机、智能电话、平板 计算机、个人数字助理，或装备有一或多个传感器（所述传感器允许计算装置100俘获运动 及/或其它所感测到的状况作为一种形式的用户输入）的其它移动装置。举例来说，计算 装置100可装备有W下各者、通信地禪合到W下各者及/或另外包含W下各者：一或多个摄 像机、麦克风、接近度传感器、巧螺仪、加速度计、压力传感器、手握传感器、触摸屏及/或其 它传感器。除包含一或多个传感器之外，计算装置100还可包含一或多个处理器、存储器单 元及/或其它硬件组件，如下文更详细描述。在一些实施例中，将装置100并入到汽车中， 例如，并入到汽车的中央控制台中。
[0034] 在一或多个布置中，计算装置100可独自地或组合地使用该些传感器中的任一者 及/或全部W辨识由装置的一或多个用户执行的手势，例如，可能不包含用户触摸装置100 的手势。举例来说，计算装置100可使用一或多个摄像机（例如，摄像机110)来俘获由用 户执行的手及/或臂移动，例如挥手或滑动运动，W及其它可能的移动。另外，例如，同样可 通过一或多个摄像机（及/或其它传感器）来俘获更复杂及/或大比例的移动，例如由用 户执行的整个身体移动（例如，步行、跳舞等），且随后通过计算装置100将所述移动辨识为 手势。在又一实例中，计算装置100可使用一或多个触摸屏（例如，触摸屏120)来俘获由 用户提供的基于触摸的用户输入，例如夹捏、滑动及旋转扭曲W及其它可能的移动。虽然此 处将该些样本移动（所述样本移动可独自被视为手势及/或可与其它移动或动作组合W形 成更复杂手势）作为实例加W描述，但同样可通过实施本发明的一或多个方面的计算装置 (例如，计算装置100)来接收运动、移动、动作或其它传感器俘获的用户输入的任何其它排 序作为手势输入及/或将其辨识为手势。
[0035] 在一些实施例中，例如，可使用例如深度摄像机等摄像机基于对手势的辨识或用 户的手势的改变来控制计算机或媒体中也。不同于可能遭受指纹的有害的混淆效果的一些 触摸屏系统，基于摄像机的手势输入可允许基于用户固有的身体移动或姿势清楚地显示或 W其它方式输出照片、视频或其它图像。记住此优点，可辨识允许用户观察、平移（即，移 动）、设定大小、旋转及对图像目标执行其它操纵的手势。
[0036] 深度摄像机（例如，结构光摄像机或飞行时间摄像机）可包含红外线发射器及传 感器。深度摄像机可产生红外光脉冲且随后测量光行进到目标且返回到传感器所花费的时 间。可基于行进时间计算距离。如下文更详细描述，可使用其它输入装置及/或传感器来 检测或接收输入及/或辅助检测手势。
[0037] 参看图2A及2B，实例情境展示根据一些实施例的记录用户做出手势的图像记录 装置200。图像记录装置可与图1中的描述及装置100-致。在图2A中，在记录时，用户正 朝向摄像机200做出手势210。举例来说，手势210可为用户的左手指向摄像机的指向运 动。摄像机200可仅记录用户做出手势的单个图像，或可记录用户举起手做出手势210的 图像序列。在记录之后或在记录期间，摄像机200可执行根据一些实施例的用于检测用户 是否执行手势210的方法。
[0038] 在图2B中，用户做出不同手势220,此时举起其右手。用户可举起臂并按摊开的手 掌运动向摄像机200展示其右手。在其它情况下，图2B中的用户可能用其右手向摄像机挥 手。根据一些实施例的方法可能能够区分用右手做出的手势与用左手做出的手势。根据一 些实施例的方法可检测用户的手势是何手势。图2A及2B仅为手势的类型的单个实例。
[0039] 用于检测一图像序列中的手势210或220的实例过程可如下。在一些实施例中，可 在一或多个参考图像中检测第一手势。参考图像可为一图像序列的第一图像，例如，在通过 摄像机200记录的一图像序列的第一图像中检测的手势210。在一些实施例中，下文更多地 描述用于有效地检测第一手势的方法。在其它情况下，可根据所属领域中已知的用于单个 图像的手势检测方法来执行用于检测参考图像中的第一手势的方法。在确定第一手势（例 女口，左手指向摄像机）之后，在一些实施例中，选择最接近地匹配所确定的第一手势的手势 模型。模型手势可为基于所述相同类型的手势的数百个或数千个样本图像或姿势的合成图 像或模型。举例来说，左手指向的手势模型可基于做出指向运动的数百个或数千个不同的 左手。可接着使用最接近地类似于用户的手势210的手势模型来更有效地检测所述图像序 列中的稍后图像中的手势。举例来说，在通过图2A中的摄像机200记录的所述图像序列中， 方法可开始扫描剩余图像W查找看起来类似或相同于左手指向的手势模型的手势。可优先 于用于检测剩余图像中的手势的其它手势模型，对左手指向的手势模型进行优先级排序使 其作为第一手势模型，W用于与所述图像序列进行比较。通过对在参考图像中选定的手势 模型进行优先级排序，根据一些实施例的用于检测手势的方法可通过更迅速地检测所述图 像序列中的剩余图像中的手势而节省能量及时间。
[0040] 在一些实施例中，使用其它类型的优先级排序来进一步改善性能及效率。实例优 先级排序包含对第二手势模型进行优先级排序使其在第一手势模型之后，基于其中检测到 手势的参考图像中的位置对后续图像上的位置进行优先级排序，基于在参考图像中检测到 的手势的大小对后续图像的大小进行优先级排序，及使用统计分析确定哪些类型的手势与 其它手势相比较更有可能被检测到。下文将更多地论述所述方法。
[0041] 参看图3,根据一些实施例，可使用模型手势的数据库300来更有效地检测手势。 此处，存储在数据库300中的实例手势302、204、306、308、310、312、314、216、318、及320仅 说明根据一些实施例的可检测的手势的许多模型中的几个。如上文所提及，在一些实施例 中，数据库300可由手势模型组成，其中每一手势模型可为不同类型的手势（例如，手势302 到320)的基于相同类型的手势的数百个或数千个不同图像的理想化复合。在一些实施例 中，模型手势可包含不只是手姿势的模型。举例来说，模型手势可包含臂姿势、面部表情、整 个人的姿势及由一姿势序列组成的运动的理想化复合。实施例不限于此。
[0042] 在一些实施例中，对与模型相同的手势的搜索可简单地为更有效地检测手势的第 一技术。如果此技术未能检测到手势，那么可使用下文所论述的其它技术。因此，在一些实 施例中，优先于其它技术对此模型使用情况技术进行优先级排序。在一些实施例中，优先于 使用其它模型进行的检测对使用手势模型进行的检测进行优先级排序。在一些实施例中， 可使用其它类型的优先级排序技术来更有效地检测手势。下文更多地论述一些实例。
[0043] 在一些实施例中，可使用数据库或查找表（LUT)来存储待在跟踪目标时进行比较 的不同模型。举例来说，左手摊开的手掌可具有不同于右手摊开的手掌的所存储图像。
[0044] 在一些实施例中，可使用从先前峽中的先前检测获得的信息来对针对关于当前峽 的特征的某些搜索进行优先级排序。对于跟踪器约定，姿势及位置可为静止的。此情形可 提供深入了解基于先前信息进行的操作模式优先级排序的机会。如果先前检测到左手摊开 的手掌，那么可在类似右手摊开的手掌等任何其它模式响应之前执行对左手摊开的手掌的 搜索。类似地，可选择其中矩形含有匹配的位置作为用于后续搜索的开始点。另外，可选择 先前具有匹配的比例作为开始点。
[0045] 在一些实施例中，可将预定像素块指明为用于模型的模型大小（例如，确定右手 摊开的手掌的模型大小为40 X 40像素）。可使用此模型大小作为垂直地及水平地在峽上滑 动W更好地检测手势或姿势的块。在一些实施例中，可接着将在源图像中识别的手势或姿 势进行按比例调整W匹配模型大小，W便适当地与手势模型进行比较。
[0046] 在一些实施例中，利用来自先前峽的检测W便辅助了解当前峽中最有可能的手势 或姿势在何处。举例来说，可接着对其中检测到先前手势或姿势的像素的位置进行优先级 排序。因此可节省处理及存储器使用情况。在一些实施例中，可对先前检测到手势所用的 给定比例内的位置进行优先级排序。举例来说，可选择环绕此位置的某一百分比区域（例 女口，10%) W考虑小目标运动。可将最后的目标限界框按比例调整到不同比例且执行搜索。 此情形可避免一些比例被消除。
[0047] 在一些实施例中，可在对当前源图像的搜索中对先前所检测到的手势或姿势的比 例或大小进行优先级排序。举例来说，如果先前检测到大小为40X40像素的摊开的手掌， 那么第一次可在当前源图像中搜索大小为40X40像素的摊开的手掌的尺寸。举例来说，接 下来可对大小接近40X40像素的摊开的手掌进行优先级排序。此技术可被称作比例优先 级排序。
[0048] 在一些实施例中，可对先前准确地检测到手势的比例进行优先级排序。提供对给 定比例的匹配的矩形的数目及/或参照含有手势的矩形的矩形位置可用作用于此情形的 措施。可允许高于及低于所选比例的一个比例（例如）W允许检测/跟踪目标的小运动 (沿着摄像机轴线）。
[0049] 在一些实施例中，可实施概率使用情况统计W更迅速地确定更有可能的手势或姿 势。举例来说，如果概率使用情况统计展示右手摊开的手掌比左手摊开的手掌更有可能显 现，那么第一次可搜索右手摊开的手掌手势或姿势。
[0050] 通常手持式装置为单个用户装置。且用户可具有与使用情况相关联的特定统计性 质，使用情况类似左手/右手、从某一距离操作装置及/或摊开的手掌的大小。可在执行更 广泛搜索之前针对该些特性对所描述的过程进行优先级排序。此模型可从概率上使用于针 对每一约定执行的第一次目标检测的处理时间最小化。
[0051] 可将针对用户的每一特性的概率模型维持在装置上。可在每次使用之后更新概率 模型。举例来说，如果用户对大于50 %的约定使用右手摊开的手掌，那么在搜索左手摊开的 手掌之前搜索右手摊开的手掌。使用摊开的手掌大小或按比例调整等级概率，可对比例等 级进行优先级排序W进行搜索。
[0052] 在一些实施例中，可将对手势或姿势的搜索指明为在已经检测到预定数目个手势 或姿势之前结束。举例来说，一旦在峽中找到3个摊开的手掌图像，跟踪设备便可停止扫 描。此过程可通过无需扫描峽的其余部分而节省处理及存储器使用情况。
[0053] 举例来说，在手的最大数目经指定为1的情况下，检测器可能一找到匹配就返回。 在一些实施例中，在移动装置中的手势辨识的情况下，约定可包含仅寻找一个手势。举例来 说，对于TV应用程序，所检测的及跟踪的手的数目可高达10。在一些实施例中，可检测及/ 或跟踪不同数目个手。
[0054] 可使用待检测的手势的优先级排序及最大数目的组合、用于峽的搜索像素位置及 /或遵循其中获得第一模型匹配的峽，（例如）W减少处理及/或节省功率。在一些实施例 中，目标检测器可执行过多计算，直到其中针对约定及/或重新约定情境检测到目标/模型 的第一峽为止。第一峽处理时间可取决于使用情况统计或用户的习惯。实际上，第一检测 处理负荷可随时间降低（例如，当充分的使用情况统计可供使用时）。
[00巧]如果对所有比例的检测的数目小于阔值，那么可执行完全搜索而不是经优先级排 序的搜索。另外，如果随时间存在矩形的数目的减少（例如，在多个峽内），那么当符合阔值 时，可执行完全搜索。此情形可避免归因于目标移位或定向改变产生的假否定。可检测到 多个矩形，该是因为在每一比例的空间邻域上可能存在许多匹配且另外可能存在来自多个 相邻比例的匹配。可通过优先级搜索来避免搜索已经被搜索到的位置。
[0056] 类似地，如果肯定搜索结果大于阔值，那么可执行优先级搜索而不是完全搜索。
[0057] 在一些实施例中，可实施该些优先级排序中的任一者或全部的组合W更有效地检 测图像中的目标的手势或姿势。举例来说，在一些实施例中，可使用经优先级排序的手势模 型、经优先级排序的位置及经优先级排序的比例的组合来确定是否在所述源图像序列中执 行手势。举例来说，所述组合可包含所有H种类型的优先级排序或仅H种类型中的两种类 型。举例来说，当使用优先级排序的组合确定是否执行手势时，可首先使用第一手势模型扫 描源图像，按经优先级排序的比例对源图像进行按比例调整，及在经优先级排序的位置的 位置处扫描源图像。替代地，例如，如果组合仅包含第一手势模型及经优先级排序的比例， 那么可使用第一手势模型，按经优先级排序的比例设定大小，且可在某一默认位置处（例 女口，源图像的左上角）开始扫描。所属领域的技术人员将容易理解，可如何使用其它组合来 确定是否在源图像中执行手势。
[0058] 参看图4,框图400说明根据一些实施例的用于检测参考图像中的手势的实例方 法流程。本文中所展示的样本技术可为最初用于检测手势的过程，在所述过程之后，上文描 述的模型优先级排序或其它类型的优先级排序可基于所述过程来检测后续图像中的手势。 此实例流程可包含如所展示的四个过程；按比例调整、预先处理、响应计算，及矩形结果处 理。按比例调整可处置对不同大小的摊开的手掌或其它手势或控制的检测。可将对被视为 手势的图像的部分的检测按比例调整为更大或更小W适应用于进行比较的预定大小的手 势模型或其它类型的数据库图像。预先处理级可产生特征，例如皱纹、阴影及做出手势的身 体部分所共同的其它线。第H级可计算对特定分类器级的所选定特征的响应。最后一级可 消除任何假检测及/或重复检测。前两级可为用于（例如）使用存在于SIMD DSP及GPU中 的数学硬件单元进行加速的候选者。在一些实施例中，第H级（例如，级联分类器）可包含 经定向的过多数据提取且可消耗大部分处理功率及存储器带宽。下文更多地论述第H级。 使用快速存储器及高速缓冲存储器预先提取可使与数据提取相关的CPU停滞最小化。最后 一级包含将所检测到的手势矩形位置分群，且可消除假/重复矩形并提供含有手势的最后 的矩形位置。可实施此级W便在CPU及存储器使用情况方面较低。
[0059] 实施例可在各种设备内执行图4中所描述的方法。举例来说，输入可包括视频峽 或其它图像，例如，如通过手势检测系统的摄像机俘获的视频峽或其它图像。举例来说，可 通过图1的设备或图2的摄像机来实施图4。并且，可将某一运动或姿势用作约定手势。用 户可执行可通过一些实施例的设备来检测的各种手势、运动或姿势。设备可接着进行本文 中所描述的方法中的至少一些方法。
[0060] 参看图5,框图500展示用于计算响应的过程的示例性过程流程。举例来说，此框 图500可为用于实施图4中的响应计算器块的实例过程。一般来说，框图500说明用于确 定手势是否在图像中的方法。图5可描述用于使用两级方法检测手势的有效方法。第二级 可涉及细节等级比第一级增加的跟踪。举例来说，第一级检测涉及水平地及垂直地每n个 像素搜索一个像素（例如，在（x+/-4，y+/-4)型样中，巾贞的每4个像素搜索一次）。此情形 展示在框505及510中。框510进行阔值测试W确定根据计算响应函数的手势检测分析是 否检测到用户的手或其它身体部分的标志。过程流程500可对每个阔值大小的区域（例 如，4X4像素区域、3X3像素区域等）中的像素循环进行框505及510,直到对于每一区域 获得响应为止。
[0061] 第二级可仅集中于其中检测到所要手势或姿势的区域或像素，借此减少所需的扫 描的次数。因此，第二级可按增加等级的细节在更集中的区域中搜索，例如，每2个像素 (X+/-2, y+/-2)或每单个像素（X+/-1，y+/-l)。框515及520表示涉及另一迭代循环的此 分析。此处，仅在第一级中检测到手势的像素周围使用更精细等级的手势检测。W此方式， 第二级具有更精细等级的细节，但仅集中在来自第一级的图像的一部分上（此情形导致肯 定检测）。在框520处，如果确定计算响应函数大于某一最大阔值，从而指示对身体的一部 分的肯定检测，那么可在框525处推断：在经扫描的像素处执行手势。
[0062] 在一些实施例中，可使用多级级联过程。举例来说，可使用8级级联过程，其中级1 到4每4个像素搜索一次，级5到6仅在级1到4中具有肯定检测的像素周围每2个像素 搜索一次，且级7到8仅在级5到6中具有肯定检测的像素周围每一像素搜索一次。接着， 如果最后的级联级导致某些像素处的肯定检测，那么可确定：在所述某些像素处，所要手势 或姿势存在于峽中。因为每一级按增加等级的细节仅集中在具有高置信度的手势/姿势检 测的那些像素周围，所W通过对于其中未检测到手势或姿势的像素不跟踪高级细节来节省 处理及时间。
[0063] 参看图6,图600说明利用根据本文中所描述的多级级联过程的级联算法的一些 实施例的示例性过程流程。举例来说，如果对于级联级0及1可每4个位置执行一次计算 响应，那么与对每个像素执行级0及1计算时的情形相比较，可节省大约72%的循环。在图 6中，在一些实施例中，可按第一步长（例如，步长为4)对每一像素执行框605、610及615。 在一些实施例中，可接着按第二步长（例如，步长为2)对每一像素执行框605、610及615， 且在某些实施例中，可接着按第H步长（例如，步长为1)执行框605、610及615。
[0064] 在图6中，多个步长可包括4、2、1，（例如）如上文所论述。在一些实施例中，步长 包括8、4、2、1。在一些实施例中，可使用其它步长。在一些实施例中，与用于相同检测准确 度的传统方法相比较，利用搜索步长4、2、1提供大约30%的加速。
[0065] 在本发明方法中，可保持或改善检测准确度，该是因为随着级联分类器上关于存 在可能的摊开的手掌或目标的置信度增加，步长逐渐减小。举例来说，传回真正否定的前两 级可保持最大步长，例如，在4-2-1搜索的情况下，最大步长为4。也就是说，当在前两级上 传回位置时，跳过3个位置W用于进行进一步搜索。如果级联分类器使得进行到级3到8， 那么可在使得进行到级3到8的位置周围执行+/-2搜索。最后，如果从检测器检测到手势， 那么可将搜索位置改进为其中检测到目标的位置周围的+/-1。因此，在目标或摊开的手掌 之外的区域中，搜索步长可为4,借此避免过多计算。另外，应注意，在含有被检测到的手势 的区域中，可搜索每个像素位置。W此方式，与传统手势检测方法相比较，图6中所说明的 过程可保持检测准确度，同时将循环节省30%。
[0066] 在一些实施例中，存在8个级联级。先前级联级使所有摊开的手掌矩形及其它矩 形通过W供下一级来处理。随着级进展，假肯定的量减少。并且，当最后一级完成时，如果 存在手势，那么传回所检测到的手势。在任何像素位置处，所有级可退出，借此指示图像并 不具有手势。
[0067] 另外，可缩减步长W适应视频峽的四个边界上的峽边界。举例来说，如果步长为4 将超出作用中像素区域之外，那么可缩减步长W将搜索像素位置保持到作用中区中的最后 的可能像素。此情形可改善对边界框边缘接近于作用中像素区域边界的目标的检测准确 度。
[0068] 参看图7,曲线图700说明可在每一级联级处发生的处理的实例量。在此实例中， 对于一些实施例，在级0上传回86%的像素位置，从而指示未检测到摊开的手掌。在此情 况下，经扫描的图像含有单个手势、摊开的手掌。在级1上传回另外10%的像素位置，从而 指示所述位置并不具有摊开的手掌。剩余的级2到级7传回较小数目个位置，无摊开的手 掌。当所有级通过摊开的手掌时，在X轴标签8上显示传回摊开的手掌位置的位置。如图 7展示，因为级0处的大部分像素并不具有所要姿势的任何标志，所W不需要在那些像素周 围搜索，从而节省处理及时间。图7给出一种想法；大部分时间花费在级0及级1上，该是 因为所述级处理最多数目的像素位置（40 X 40维度的矩形）。可能需要减少通过级0及1 处理的像素的量，而不影响检测准确度，借此节省循环。一些实施例实施用变窄的步长搜索 或进行模型匹配的想法。
[0069] 参看图8,图800展示水平地及垂直地在视频峽上滑动的40X40模型维度块810。 在一些实施例中，块（40X40)可表示在级联级中的第一级检测中使用的增量区域。模型维 度块810可通过垂直地及水平地跨越图像滑动而递增地扫描图像W查找手势。一旦块810 在其维度内检测到手势，便可执行在块810找到所述手势的位置内的具更精细分辨率的扫 描。此扫描可与上文所描述的级联级一致。举例来说，块810可仅执行级0扫描，直到块 810找到手势820为止。当块810垂直地及水平地滑动到摊开的手掌手势820所位于的位 置时，可执行更高级扫描W更准确地确定手势事实上位于所述位置。在一些实施例中，为了 匹配模型维度，可将视频峽归一化W使得视频中的摊开的手掌大小匹配通过模型表示的摊 开的手掌。
[0070] 根据各种实施例的方法及设备可提供W下优点：
[0071] 1.通过4、2、1步长适应及改进，使用级联分类器的响应，实现超出30%的循环及 带宽节省，而检测准确度并不降低。
[0072] 2.在第一目标检测之后，其中约定包含在一段时间内（例如，500毫砂）目标为静 止的，循环、带宽及功率节省可超出90%。
[0073] 3.从先前使用情况/约定统计来看，第一次目标检测性能得W改善。取决于用户 特性，处理时间可减少高达50%。
[0074] 4.实施例对于硬件开发及平行处理来说为友好的。
[00巧]5.实施例快速且使得手势辨识在移动电池操作装置上为可行的。
[0076] 参看图9A，流程图900说明根据一些实施例的示例性方法。在框902处开始，在一 些实施例中，可使用来自多个手势模型的一或多个手势模型检测一或多个参考图像中的每 一者中的手势。举例来说，所述检测可通过上文所描述的过程中的任一者来执行。所述一 或多个手势模型可为图2或3中所描述的实例手势或基于任何数目个手势的任何其它类型 的手势模型中的任一者。框902中的检测可通过比较所述一或多个参考图像中经扫描的手 势与多个手势模型来使用所述一或多个手势模型。举例来说，如果参考图像中记录右手摊 开的手掌，那么可首先将经扫描的手势与左手摊开的手掌的模型进行比较，接着与左握拳 的模型进行比较，接着与右手摊开的手掌的模型进行比较，等等，直到找到最佳匹配手势模 型为止。在一些实施例中，可首先将参考图像中经扫描的手势按比例调整到手势模型的相 当的大小，W便执行适当比较。框902可由（例如）装置100或摄像机200来实施。
[0077] 在框904处，可选择最接近地匹配框902中的所检测到的手势的第一手势模型。 第一手势模型可为所述一或多个手势模型当中供在框902中进行比较的手势模型。举例来 说，可选择右手摊开的手掌手势模型作为用于为右手摊开的手掌的所检测到的手势的第一 手势模型。框904可由（例如）装置100或摄像机200来实施。
[0078] 在框906处，可优先于其它手势模型对第一手势模型进行优先级排序W用于在所 述图像序列中搜索手势。一旦在所述一或多个参考图像中检测到手势，那么在框904中选 择的第一手势模型便可为供在源图像中搜索手势时进行比较的第一模型。在一些实施例 中，所述一或多个参考图像为所述源图像序列中的先前图像。举例来说，所述一或多个参考 图像可为视频的初始峽，且视频的剩余峽可为经受手势检测的后续图像。因此，在参考图像 中检测到的手势更有可能为存在于后续源图像中的手势，从而使得对第一手势模型的优先 级排序高度有效。框906可由（例如）装置100或摄像机200来实施。
[0079] 在框908处，可使用第一手势模型扫描所述源图像序列W确定是否在源图像中执 行手势。换句话说，因为第一手势模型是优先于其它手势模型进行优先级排序，所W使用第 一手势模型扫描所述源图像序列。框908可由（例如）装置100或摄像机200来实施。
[0080] 在框910处，如果确定在所述源图像序列中执行手势，那么可在使用另一手势模 型进行手势检测之前结束扫描。在一些实施例中，如果根据第一手势模型未检测到手势，那 么扫描可继续。框910可由（例如）装置100或摄像机200来实施。
[0081] 参看图9B，流程图950说明根据一些实施例的另一示例性方法。框952、954及956 可分别与关于框902、904及906论述的描述一致。框952、954及956可由（例如）装置 100或摄像机200来实施。
[0082] 在一些实施例中，还可对所述一或多个参考图像中的所检测到的手势的其它特性 进行优先级排序。可取决于实施例而实施该些优先级排序中的一些、全部或无一者，且实施 例不限于此。举例来说，在框958处，可优先于图像中的其它位置对所述一或多个参考图像 中的所检测到的手势的位置进行优先级排序。举例来说，当开始扫描源图像W查找手势时， 可首先优先于其它位置扫描所述一或多个参考图像中其中检测到手势的位置。框958可由 (例如）装置100或摄像机200来实施。
[0083] 在框960处，可优先于源图像中的其它比例对所述一或多个参考图像中的所检测 到的手势的比例进行优先级排序。举例来说，如果所述一或多个参考图像中的所检测到的 手势的大小近似为40X40像素，那么当扫描源图像W查找手势时，首先可使用40X40比 例。框960可由（例如）装置100或摄像机200来实施。
[0084] 在框962处，可在第一手势模型之后但优先于其它手势模型对第二手势模型进行 优先级排序。举例来说，如果第一手势模型为右手摊开的手掌，那么可将第二手势模型指明 为右手握拳。第二手势模型的选择可基于统计方法或分析、基于在某一初始手势之后接下 来将显现的最有可能的手势。举例来说，在其它情况下，可选择第二手势为先前已记录或检 测到的、在参考图像的不同位置中找到的或基于用户输入的手势。在第一手势模型之后但 优先于其它手势模型的第二手势模型的优先级排序可指示：在第一手势模型在检测手势中 不成功的情况下，使用第二手势模型来搜索手势。框962可由（例如）装置100或摄像机 200来实施。
[0085] 在框964处，可使用优先级排序（例如，框956、958、960或962)中的任一者扫描 所述源图像序列W确定是否在所述源图像序列中执行手势。此外，可使用该些优先级排序 中的一些、全部或无一者。可使用与该些掲露内容中所论述的描述中的任一者一致的其它 优先级排序，该是因为该些优先级排序仅为几个实例。框964可由（例如）装置100或摄 像机200来实施。
[0086] 在决策框966处，方法可确定是否在所述源图像序列中检测到手势。所述检测可 基于框964中所论述的优先级排序，及基于该些掲露内容中所论述的检测方法中的任一者 (例如，级联级等）。在一些实施例中，可结合本文所论述的优先级排序使用所属领域中已 知的其它检测方法。决策框966可由（例如）装置100或摄像机200来实施。
[0087] 如果框966处的确定为是，那么在框968处，可在使用另一手势模型进行手势检测 之前结束扫描。在框970处，如果确定为否，那么可使用第二手势模型扫描所述源图像序列 W确定是否执行手势。举例来说，右手握拳可为用W扫描所述源图像序列W查找手势的第 二手势模型。另外，还可结合第二手势模型使用其它优先级排序。在其它情况下，可能不使 用例如位置优先级排序、比例优先级排序等其它优先级排序，或可修改所述其它优先级排 序W对不同位置或比例进行优先级排序，等等。所属领域的技术人员将了解，根据本文的掲 露内容，优先级排序的许多组合是可能的，且实施例不限于此。
[0088] 上文所论述的方法、系统及装置为实例。各种实施例可在适当时省略、取代或添加 各种程序或组件。举例来说，在替代配置中，所描述的方法可W不同于所描述的次序来执 行，及/或可添加、省略及/或组合各级。并且，可在各种其它实施例中组合关于某些实施 例描述的特征。可W类似方式组合实施例的不同方面及元件。并且，技术演进且，因此，许 多元件为实例，其并不将本发明的范围限于那些特定实例。
[0089] 在描述中给出特定细节W提供对实施例的透彻理解。然而，可在没有该些特定细 节的情况下实践实施例。举例来说，在没有不必要的细节的情况下展示熟知电路、过程、算 法、结构及技术W便避免混淆所述实施例。此描述仅提供实例实施例，且不希望限制本发明 的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员提供用于实 施本发明的实施例的启迪性描述。可在不脱离本发明的精神及范围的情况下对元件的功能 及布置做出各种改变。
[0090] 并且，将一些实施例描述为W流程图或框图形式描绘的过程。尽管每一流程图或 框图可能将操作描述为顺序过程，但许多操作可并行地或同时地来执行。另外，可W重新布 置操作的次序。过程可具有不包含在图中的额外步骤。此外，可通过硬件、软件、固件、中间 件、微码、硬件描述语言或其任何组合来实施方法的实施例。当W软件、固件、中间件或微码 来实施时，用W执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读 媒体中。处理器可执行相关联任务。
[0091] 在不脱离本发明的精神的情况下可使用各种修改、替代构造及等效物。举例来说， W上元件可仅为较大系统的组件，其中其它规则可优先于本发明的应用或W其它方式修改 本发明的应用。并且，可在考虑W上元件之前、期间或之后进行数个步骤。因此，W上描述 并不限制本发明的范围。
[0092] 上文已描述多个方面，现在可关于图10描述可在其中实施此类方面的计算系统 的实例。根据一或多个方面，如图10中所说明的计算机系统可作为计算装置的部分而并 入，所述计算装置可实施、执行及/或实行本文所描述的特征、方法及/或方法步骤中的任 一者及/或全部。举例来说，处理器1010、存储器1035及通信子系统1030中的一或多者 可用W实施如图4、5、6、9A及9B中所展示的框中的任一者或全部。举例来说，计算机系统 1000可表示手持式装置的组件中的一些组件。手持式装置可为具有输入感官单元（例如， 摄像机及/或显示单元）的任何计算装置。手持式装置的实例包含（但不限于）视频游戏 控制台、平板计算机、智能电话及移动装置。在一些实施例中，系统1000经配置W实施上文 所描述的装置100或200。图10提供计算机系统1000的一个实施例的示意性说明，所述 计算机系统1000可执行如本文所描述的通过各种其他实施例提供的方法，及/或可充当主 控计算机系统、远程查询一体机/终端、销售点装置、移动装置、机顶盒及/或计算机系统。 图10仅希望提供对各种组件的一般化说明，可在适当时利用所述组件中的任一者及/或全 部。因此，图10广泛地说明可如何W相对分离或相对更集成的方式实施个别系统元件。
[0093] 展示计算机系统1000包括可经由总线1005电禪合（或可另外在适当时进行通 信）的硬件元件。硬件元件可包含；一或多个处理器1010,包含（但不限于）一或多个通用 处理器及/或一或多个专用处理器（例如，数字信号处理芯片、图形加速处理器，及/或其 类似者）；一或多个输入装置1015,其可包含（但不限于）摄像机、鼠标、键盘及/或其类似 者；及一或多个输出装置1020,其可包含（但不限于）显示单元、打印机及/或其类似者。
[0094] 计算机系统1000可进一步包含W下各者（及/或与W下各者通信）；一或多个非 暂时性存储装置1025,所述非暂时性存储装置1025可包括（但不限于）本地及/或网络可 存取的存储装置，及/或可包含（但不限于）磁盘驱动器、驱动阵列、光学存储装置、例如随 机存取存储器（"RAM")及/或只读存储器（"ROM")等固态存储装置，其可为可编程的、 可快闪更新的及/或其类似者。此类存储装置可经配置W实施任何适当数据存储装置，包 含（但不限于）各种文件系统、数据库结构及/或其类似者。
[0095] 计算机系统1000还可能包含通信子系统1030,其可包含（但不限于）调制解调 器、网卡（无线或有线）、红外线通信装置、无线通信装置及/或芯片组（例如，Bluetoo化度 装置、802. 11装置、WiFi装置、WiMax装置、蜂窝式通信设施等）及/或其类似者。通信子 系统1030可准许与网络（例如，作为一个实例，下文所描述的网络）、其它计算机系统及/ 或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统1000可进一步包 括非暂时性工作存储器1035,其可包含RAM或ROM装置，如上文所描述。
[0096] 计算机系统1000还可包括展示为当前位于工作存储器1035内的软件元件，包含 操作系统1040、装置驱动器、可执行库及/或例如一或多个应用程序1045等其它代码，其可 包括通过各种实施例提供及/或可经设计W实施方法及/或配置系统、通过其它实施例提 供的计算机程序，如本文中所描述。仅W实例说明，关于上文所论述的方法描述的一或多个 程序（例如，如关于图4、5、6、9A及9B描述的程序）可能实施为可由计算机（及/或计算 机内的处理器）执行的代码及/或指令；在一方面中，接着，可使用此类代码及/或指令来 配置及/或调适通用计算机（或其它装置）W执行根据所描述方法的一或多个操作。
[0097] 一组该些指令及/或代码可能存储在计算机可读存储媒体（例如，上文所描述的 存储装置1025)上。在一些情况下，存储媒体可能并入于计算机系统（例如，计算机系统 1000)内。在其它实施例中，存储媒体可能与计算机系统（例如，可卸除式媒体（例如，压 缩光盘））分离，及/或提供于安装包中，使得存储媒体可用W编程、配置及/或调适其上存 储有指令/代码的通用计算机。该些指令可能呈可由计算机系统1000执行的可执行代码 形式，及/或可能呈源及/或可安装代码的形式，所述源及/或可安装代码在于计算机系统 1000上编译及/或安装于计算机系统1000上（例如，使用多种大体可用编译程序、安装程 序、压缩/解压缩公用程序等中的任一者）后，接着呈可执行代码的形式。
[0098] 可根据特定要求做出实质性变化。举例来说，还可能使用定制硬件，及/或可能将 特定元件实施于硬件、软件（包含便携式软件，例如小程序等）或两者中。另外，可使用到 其它计算装置（例如，网络输入/输出装置）的连接。
[0099] 一些实施例可使用计算机系统（例如，计算机系统1000)来执行根据本发明的方 法。举例来说，所描述方法的程序中的一些程序或全部可由计算机系统1000响应于处理器 1010执行工作存储器1035中所含有的一或多个指令（其可能并入到操作系统1040及/或 其它代码中，例如，应用程序1045)的一或多个序列来执行。可将此类指令从另一计算机可 读媒体读取到工作存储器1035中，另一计算机可读媒体例如存储装置1025中的一或多者。 仅W实例说明，工作存储器1035中所含有的所述序列的指令的执行可能致使处理器1010 执行本文中所描述的方法的一或多个程序，例如，关于图4、5、6、9A及9B中的任一者描述的 方法的元件中的一或多者。
[0100] 如本文中所使用，术语"机器可读媒体"及"计算机可读媒体"是指参与提供致使 机器W特定方式操作的数据的任何媒体。在使用计算机系统1000实施的实施例中，在将指 令/代码提供到处理器1010 W用于执行中可能涉及各种计算机可读媒体，及/或各种计算 机可读媒体可能用W存储及/或携载此类指令/代码（例如，作为信号）。在许多实施方案 中，计算机可读媒体为物理及/或有形存储媒体。此类媒体可呈许多形式，包含（但不限于） 非易失性媒体、易失性媒体及传输媒体。非易失性媒体包含（例如）光盘及/或磁盘，例如 存储装置1025。易失性媒体包含（但不限于）例如工作存储器1035等动态存储器。传输 媒体包含（但不限于）同轴电缆、铜线及光纤，包含包括总线1005的电线，W及通信子系统 1030的各种组件（及/或通信子系统1030借W提供与其它装置的通信的媒体）。因此，传 输媒体还可呈波的形式（包含（但不限于）无线电、声波及/或光波，例如，在无线电-波 及红外线数据通信期间产生的那些波）。
[0101] 在一或多个实例中，所描述功能可W硬件、软件、固件或其任何组合来实施。如果 实施于软件中，那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计 算机可读媒体进行传输。计算机可读媒体可包含计算机数据存储媒体。数据存储媒体可 W是可由一或多个计算机或一或多个处理器存取W检索用于实施本发明中描述的技术的 指令、代码及/或数据结构的任何可用媒体。如本文所使用的"数据存储媒体"是指制成 品且并不指暂时性传播信号。W实例说明而非限制，此类计算机可读媒体可包括RAM、ROM、 EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或 可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒 体。如本文所使用的磁盘及光盘包含压缩光盘（CD)、激光光盘、光学光盘、数字影音光盘 值VD)、软磁盘及蓝光光盘，其中磁盘通常是W磁性方式再现数据，而光盘是用激光W光学 方式再现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
[0102] 代码可W由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处 理器值SP)、通用微处理器、专用集成电路（ASIC)、现场可编程逻辑阵列（FPGA)、或其它等 效的集成或离散逻辑电路。因此，如本文中所使用的术语"处理器"可指上述结构或适合于 实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的 功能性可W提供于经配置W用于编码及解码的专用硬件及/或软件模块内，或者并入于组 合编码解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
[0103] 本发明的技术可W在广泛多种装置或设备中实施，包含无线手持机、集成电路 (IC)或一组IC(例如，芯片组）。本发明中描述各种组件、模块或单元是为了强调经配置W 执行所掲示技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文 所描述，各种单元可组合在编码解码器硬件单元中或由可交互操作硬件单元的集合（包含 如上文所描述的一或多个处理器）结合存储在计算机可读媒体上的合适的软件及/或固件 来提供。
[0104] 已描述各种实例。该些及其它实例在所附权利要求书的范围内。
【权利要求】
1. 一种用于确定是否在一源图像序列中执行手势的方法，所述方法包括： 使用多个手势模型中的一或多个手势模型检测一或多个参考图像中的每一者中的所 述手势； 从所述一或多个手势模型中选择最接近地匹配所述所检测到的手势的第一手势模 型； 优先于所述多个手势模型中的其它手势模型对所述第一手势模型进行优先级排序以 用于在所述源图像序列中搜索所述手势； 使用所述经优先级排序的第一手势模型扫描所述源图像序列以确定是否执行所述手 势；以及 在执行所述手势的情况下，在使用所述多个手势模型中的另一手势模型确定是否执行 所述手势之前结束扫描。
2. 根据权利要求1所述的方法，其中所述一或多个参考图像包括所述源图像序列中的 先前图像。
3. 根据权利要求2所述的方法，其中所述多个手势模型包括手姿势。
4. 根据权利要求2所述的方法，其中所述多个手势模型包括面部表情。
5. 根据权利要求2所述的方法，其中所述多个手势模型包括左手摊开的手模型、右手 摊开的手模型或拳头模型。
6. 根据权利要求1所述的方法，其进一步包括： 优先于其它位置对所述一或多个参考图像中的所述所检测到的手势的位置进行优先 级排序以用于在所述源图像序列中搜索所述手势；以及 使用所述所检测到的手势的所述经优先级排序的位置扫描所述源图像序列以确定是 否执行所述手势。
7. 根据权利要求1所述的方法，其进一步包括： 优先于其它比例对所述一或多个参考图像中的所述所检测到的手势的比例进行优先 级排序以用于在所述源图像序列中搜索所述手势；以及 使用所述所检测到的手势的所述经优先级排序的比例扫描所述源图像序列以确定是 否执行所述手势。
8. 根据权利要求1所述的方法，其进一步包括： 优先于其它位置对所述一或多个参考图像中的所述所检测到的手势的位置进行优先 级排序以用于在所述源图像序列中搜索所述手势； 优先于其它比例对所述一或多个参考图像中的所述所检测到的手势的比例进行优先 级排序以用于在所述源图像序列中搜索所述手势；以及 使用所述所检测到的手势的所述经优先级排序的位置、所述所检测到的手势的所述经 优先级排序的比例及所述经优先级排序的第一手势模型的组合扫描所述源图像序列以确 定是否执行所述手势。
9. 根据权利要求1所述的方法，其进一步包括在于所述源图像序列中检测到预定数目 个手势的情况下，在完成对所述源图像序列的完全扫描之前结束对所述源图像序列中的所 述手势的扫描。
10. 根据权利要求1所述的方法，其进一步包括确定与所述手势相比较来说不太可能 在所述一或多个参考图像中检测到第二手势；以及 在检测到所述手势之后基于确定不太可能检测到所述第二手势而扫描所述一或多个 参考图像以查找所述第二手势。
11. 根据权利要求1所述的方法，其进一步包括： 扫描所述一或多个参考图像以查找所述手势； 改进在按级的连续编号排序的多个级联级中对所述一或多个参考图像的用以查找所 述手势的所述扫描，其中所述级联级中的每一级包括扫描所述源图像序列中的至少一个图 像中的周期性编号的像素以检测所述手势，所述周期性编号的像素与所述周期性编号的像 素中的每隔一个像素相距恒定的垂直及水平距离，且其中任一级中的像素的所述周期性编 号小于或等于前一级中的像素的所述周期性编号；以及 通过确定所述连续编号的级中的最后一级是否检测到所述手势的至少一部分识别所 述手势。
12. -种用于确定是否在一源图像序列中执行手势的设备，所述设备包括： 存储器，其经配置以存储一或多个参考图像及所述源图像序列；以及 处理器，其通信地耦合到所述存储器且经配置以： 使用多个手势模型中的一或多个手势模型检测一或多个参考图像中的每一者中的所 述手势； 从所述一或多个手势模型中选择最接近地匹配所述所检测到的手势的第一手势模 型； 优先于所述多个手势模型中的其它手势模型对所述第一手势模型进行优先级排序以 用于在所述源图像序列中搜索所述手势； 使用所述经优先级排序的第一手势模型扫描所述源图像序列以确定是否执行所述手 势；以及 在执行所述手势的情况下，在使用所述多个手势模型中的另一手势模型确定是否执行 所述手势之前结束扫描。
13. 根据权利要求12所述的设备，其中所述一或多个参考图像包括所述源图像序列中 的先前图像。
14. 根据权利要求13所述的设备，其中所述多个手势模型包括手姿势。
15. 根据权利要求13所述的设备，其中所述多个手势模型包括面部表情。
16. 根据权利要求13所述的设备，其中所述多个手势模型包括左手摊开的手模型、右 手摊开的手模型或拳头模型。
17. 根据权利要求12所述的设备，其中所述处理器经进一步配置以： 优先于其它位置对所述一或多个参考图像中的所述所检测到的手势的位置进行优先 级排序以用于在所述源图像序列中搜索所述手势；以及 使用所述所检测到的手势的所述经优先级排序的位置扫描所述源图像序列以确定是 否执行所述手势。
18. 根据权利要求12所述的设备，其中所述处理器经进一步配置以： 优先于其它比例对所述一或多个参考图像中的所述所检测到的手势的比例进行优先 级排序以用于在所述源图像序列中搜索所述手势；以及 使用所述所检测到的手势的所述经优先级排序的比例扫描所述源图像序列以确定是 否执行所述手势。
19. 根据权利要求12所述的设备，其中所述处理器经进一步配置以： 优先于其它位置对所述一或多个参考图像中的所述所检测到的手势的位置进行优先 级排序以用于在所述源图像序列中搜索所述手势； 优先于其它比例对所述一或多个参考图像中的所述所检测到的手势的比例进行优先 级排序以用于在所述源图像序列中搜索所述手势；以及 使用所述所检测到的手势的所述经优先级排序的位置、所述所检测到的手势的所述经 优先级排序的比例及所述经优先级排序的第一手势模型的组合扫描所述源图像序列以确 定是否执行所述手势。
20. 根据权利要求12所述的设备，其中所述处理器经进一步配置以在于所述源图像序 列中检测到预定数目个手势的情况下，在完成对所述源图像序列的完全扫描之前结束对所 述源图像序列中的所述手势的扫描。
21. 根据权利要求12所述的设备，其中所述处理器经进一步配置以： 确定与所述手势相比较来说不太可能在所述一或多个参考图像中检测到第二手势；以 及 在检测到所述手势之后基于确定不太可能检测到所述第二手势而扫描所述一或多个 参考图像以查找所述第二手势。
22. 根据权利要求12所述的设备，其中所述处理器经进一步配置以： 扫描所述一或多个参考图像以查找所述手势； 改进在按级的连续编号排序的多个级联级中对所述一或多个参考图像的用以查找所 述手势的所述扫描，其中所述级联级中的每一级包括扫描所述源图像序列中的至少一个图 像中的周期性编号的像素以检测所述手势，所述周期性编号的像素与所述周期性编号的像 素中的每隔一个像素相距恒定的垂直及水平距离，且其中任一级中的像素的所述周期性编 号小于或等于前一级中的像素的所述周期性编号；以及 通过确定所述连续编号的级中的最后一级是否检测到所述手势的至少一部分识别所 述手势。
23. -种用于确定是否在一源图像序列中执行手势的设备，所述设备包括： 用于使用多个手势模型中的一或多个手势模型检测一或多个参考图像中的每一者中 的所述手势的装置； 用于从所述一或多个手势模型中选择最接近地匹配所述所检测到的手势的第一手势 模型的装置； 用于优先于所述多个手势模型中的其它手势模型对所述第一手势模型进行优先级排 序以用于在所述源图像序列中搜索所述手势的装置； 用于使用所述经优先级排序的第一手势模型扫描所述源图像序列以确定是否执行所 述手势的装置；以及 用于在执行所述手势的情况下在使用所述多个手势模型中的另一手势模型确定是否 执行所述手势之前结束扫描的装置。
24. 根据权利要求23所述的设备，其中所述一或多个参考图像包括所述源图像序列中 的先前图像。
25. 根据权利要求24所述的设备，其中所述多个手势模型包括手姿势。
26. 根据权利要求24所述的设备，其中所述多个手势模型包括面部表情。
27. 根据权利要求24所述的设备，其中所述多个手势模型包括左手摊开的手模型、右 手摊开的手模型或拳头模型。
28. 根据权利要求23所述的设备，其进一步包括： 用于优先于其它位置对所述一或多个参考图像中的所述所检测到的手势的位置进行 优先级排序以用于在所述源图像序列中搜索所述手势的装置；以及 用于使用所述所检测到的手势的所述经优先级排序的位置扫描所述源图像序列以确 定是否执行所述手势的装置。
29. 根据权利要求23所述的设备，其进一步包括： 用于优先于其它比例对所述一或多个参考图像中的所述所检测到的手势的比例进行 优先级排序以用于在所述源图像序列中搜索所述手势的装置；以及 用于使用所述所检测到的手势的所述经优先级排序的比例扫描所述源图像序列以确 定是否执行所述手势的装置。
30. 根据权利要求23所述的设备，其进一步包括： 用于优先于其它位置对所述一或多个参考图像中的所述所检测到的手势的位置进行 优先级排序以用于在所述源图像序列中搜索所述手势的装置； 用于优先于其它比例对所述一或多个参考图像中的所述所检测到的手势的比例进行 优先级排序以用于在所述源图像序列中搜索所述手势的装置；以及 用于使用所述所检测到的手势的所述经优先级排序的位置、所述所检测到的手势的所 述经优先级排序的比例及所述经优先级排序的第一手势模型的组合扫描所述源图像序列 以确定是否执行所述手势的装置。
31. 根据权利要求23所述的设备，其进一步包括用于在于所述源图像序列中检测到预 定数目个手势的情况下，在完成对所述源图像序列的完全扫描之前结束对所述源图像序列 中的所述手势的扫描的装置。
32. 根据权利要求23所述的设备，其进一步包括： 用于确定与所述手势相比较来说不太可能在所述一或多个参考图像中检测到第二手 势的装置；以及 用于在检测到所述手势之后基于确定不太可能检测到所述第二手势而扫描所述一或 多个参考图像以查找所述第二手势的装置。
33. 根据权利要求23所述的设备，其进一步包括： 用于扫描所述一或多个参考图像以查找所述手势的装置； 用于改进在按级的连续编号排序的多个级联级中对所述一或多个参考图像的用以查 找所述手势的所述扫描的装置，其中所述级联级中的每一级包括扫描所述源图像序列中的 至少一个图像中的周期性编号的像素以检测所述手势，所述周期性编号的像素与所述周期 性编号的像素中的每隔一个像素相距恒定的垂直及水平距离，且其中任一级中的像素的所 述周期性编号小于或等于前一级中的像素的所述周期性编号；以及 用于通过确定所述连续编号的级中的最后一级是否检测到所述手势的至少一部分识 别所述手势的装置。
34. -种非暂时性处理器可读媒体，其包括处理器可读指令，所述处理器可读指令经配 置以致使处理器进行以下操作： 使用多个手势模型中的一或多个手势模型检测一或多个参考图像中的每一者中的手 势； 从所述一或多个手势模型中选择最接近地匹配所述所检测到的手势的第一手势模 型； 优先于所述多个手势模型中的其它手势模型对所述第一手势模型进行优先级排序以 用于在一源图像序列中搜索所述手势； 使用所述经优先级排序的第一手势模型扫描所述源图像序列以确定是否执行所述手 势；以及 在执行所述手势的情况下，在使用所述多个手势模型中的另一手势模型确定是否执行 所述手势之前结束扫描。
【文档编号】G06K9/00GK104350509SQ201380029750
【公开日】2015年2月11日 申请日期:2013年5月20日 优先权日:2012年6月8日
【发明者】菲茨杰拉德·约翰·阿奇博尔德, 弗朗西斯·B·麦克杜格尔 申请人:高通股份有限公司