象，如参照图11至12和13 至15所揭示。可以通过状态图或杜林机识别每个对象的移动（图11和图12中的01和 02)如参照附图18至20所揭示，其中图18、19和20的杜林机1800、1900、2000之每者（或 其组合）的杜林机实例系产生并执行用于每个对象。这允许多个对象进行同时或并行的手 势。识别用于每个对象的手势可以组合为对应的动作，或者每个手势可有每者为一动作的 结果。这允许使用多个并行手势进行同步操作或处理。这种多对象手势的范例使用是一手 控制第一应用程序或在游戏应用程序中的第一游戏者，另一手控制第二应用程序或游戏应 用程序中的第二游戏者，藉此赋能多执行绪之执行，亦赋能多人游戏。
[0203] 图22绘示了用于识别多个对象执行之复杂手势的杜林机2200。这样的手势可 以用于控制一个并且相同应用程序，藉此提供或赋能更丰富的手势库给应用程序的开发人 员。图21绘示了两个对象的示意图，在这个例子中，两只手H1和H2执行复杂的、多个对象 的手势。第一手（左手）H1向右移动（以（0/-)来表不第一对象移动的方向为0度）到第 二位置H1'，而第二手（右手）H2向下移动（以（_/270)来表示第二对象移动的方向为270 度）到第二位置H2'。
[0204] 对于复杂的手势，杜林机2200具有三种状态，这取决于哪只手先移动，第一（左） 手H1或第二（右）手H2。手势与对应的动作绘示于表2。范例手势和对应的多个动作只 是为了说明的目的，应该清楚的是，范例本身不应被解释为限制本文之教示。杜林机2200 中的每个转变对应于至少一对象的移动。
[0205] 如果第一（左）手H1先移动，控制器将结束于状态{0/-;-/270}，对应于带出下 一页面及删除该页面（或前者）的动作。如果第二（右）手H2先移动，控制器将结束于状 态{0/270 ;0/-}，对应于删除现有页面及带出下一页面的动作。根据所删除页面（之前的 或下一页面），这两个动作可能提供不同的最终结果。另外，此顺序提供使用者在删除前页 之前预览下一页面的可能性（状态{〇/_ ;_/270})。
[0206] 如果第一手H1和第二手H2基本上同时移动，第三多个动作会被执行。在这个例 子中，同时动作对应缩放操作。
[0207] 在一个实施例中，对象被检测以移进的顺序是没有结果的。这减少了一些可用的 手势，但简化了正确手势的输入，因为使用者不需要执行移动的确切时间。
[0208] 具有多个对象手势使得手势库更为丰富，也使得手势库对于应用程序设计者及应 用程序的需求而言更加灵活。
[0209] 为了进一步简化使用者的手势输入，控制器可以被设置成在手势识别阶段提供使 用者回馈，其通过显示所检测移动的指针或状态（例如通过小图标、箭头、文字或角落里的 进度指示，例如显示器的右上角）。每次已成功检测到一移动方向时即更新指示。这使得使 用者能够理解手势进展。这特别有利于复杂的手势（含有许多移动方向或移动组合）。
[0210] 图23绘示了根据本文教示之识别手势的概略方法。在2310,计算装置接收数据， 识别被追踪对象之移动，例如通过对象移动方向的角度。在2330,该角度与参照手势的参 考角或参照角比较，以确定是否识别出手势。如果是这样，在2340,计算装置执行对应的动 作。
[0211] 通过遍历状态图，将角度与参照角进行比较，其中该角度是角度序列的一部分，在 2320,序列中的每个角度与状态图中两个状态之间的转换进行匹配。如果到达对应一动作 的状态，在2340执行动作。
[0212] 识别本文所揭示手势的方式是有利的，因为它是基于方向而不是绝对位置，对于 对象和摄影机之间的距离较不敏感。也不需要缩放所追踪对象以适于参照或参考对象。这 是特别有用的，因为相同的手势设定可用于不同的装置（例如但不限于电视机、行动电话 和固定的计算机）。
[0213] 此外，手势库只需要最少的数据，因而易于储存和快速地操作，因此只需要最少的 计算资源。
[0214] 本文所揭示的方式也能够处理缩放变化，因为当一方向的手势与视线平行时，可 解释缩放变化或者忽略这种移动。这提供识别手势的强大方式。
[0215] 本文之教示提供的优点是比较角度及可能距离的简单操作不需要任何巨大的计 算资源以有效地实施。例如，教导的方式并不需要作出任何缩放、旋转或变形操作，曲率的 确定确实是简单和优雅的。因此，本文所教示的方式适合于使用在低或不利的光照条件下， 这也使得它非常适合于可携式装置和娱乐系统。
[0216] 另一好处在于，不需要训练追踪系统或手势识别。
[0217] 另外一优点在于，本文所教示的方式很容易整合于现有的装置中，因为需要的输 入是影像串流，其可为来自摄影机的视频流（内部或外部），或通过另一视频来源提供，例 如影片或串流式视频流。所提供的输出是相对移动的坐标，其与输入结合时，建立与本文所 教示方式的简单接口，很容易整合到现有的装置以及到要生产装置的设计中。
[0218] 本发明主要已经参照一些实施例描述于上。然而，如熟习本技术领域者所容易理 解，除上述所揭示的其它实施例在本发明范围内的可能性相等，如所附专利权利要求所界 定。
【主权项】
1. 一种用于识别由影像流中被追踪的对象（H，H'，01，02)所作的手势的计算装置 (100, 200)，所述计算装置（100, 200)包括存储器（240)和控制器（210)，其中所述控制器 (210)被设置成： 确定被追踪对象（H，H'，01，02)的移动向量； 将移动向量与手势的参考库进行比较；并由此识别匹配移动向量的手势； 其中所述移动向量包括具有由相对角（a)所识别的方向的至少一部分移动，并且其 中所述比较基于所述相对角（a)。
2. 根据权利要求1所述的计算装置（100, 200)，其中所述控制器（210)还被设置成确 定基线方向，用于适应所述相对角或用于适应待比较的参照角（3 )。
3. 根据权利要求1所述的计算装置（100, 200)，其中所述控制器（210)还被设置成遍 及状态图例如杜林机（1800, 1900, 2000, 2200)，其中转换对应于所述移动向量的元素并且 至少一个状态对应一动作；其中控制器根据移动向量的兀素执行从一状态到另一状态的转 换，直到通过到达对应的状态来识别手势。
4. 根据权利要求3所述的计算装置（100, 200)，其中所述状态图包括至少一个稳定状 态，其中稳定状态是对应一动作的状态或初始状态，和 其中所述控制器（210)还被设置成当状态图中对于移动向量的元素不存在其它转换 时返回之前的稳定状态。
5. 根据权利要求4所述的计算装置（100, 200)，其中所述控制器（210)还被设置成若 没有其它部分移动在超时阈值（T1)内被检测到。
6. 根据权利要求1-5中任一权利要求所述的计算装置（100, 200)，其中所述控制器 (210)还被设置成当检测到手势时预先执行对应假设手势的动作，其中控制器（210)被设 置成假设被检测的手势是假设的手势，如果目前可见的状态图的状态在待检测的手势的转 换途中。
7. 根据权利要求6所述的计算装置（100, 200)，其中所述控制器（210)还被设置成当 达到待检测的手势的状态时呈现或产生对应于所假设手势的动作的结果。
8. 根据权利要求1-7中任一权利要求所述的计算装置（100, 200)，其中所述状态转换 图包括至少一个稳定状态在通往另一个稳定状态的途中，使得第一手势能够由用于第二手 势的移动的子序列限定。
9. 根据权利要求3-8中任一权利要求所述的计算装置（100, 200)，其中所述控制器 (210)还被设置成通过遍及各自与多个对象的每一个有关联的多个状态图来识别多个对象 的手势，其中所述控制器（210)还被设置成通过遍及所关联的状态图来识别所述多个被追 踪对象的手势，其中，所关联的状态图中的转换对应所关联的待追踪对象的移动向量的元 素。
10. 根据权利要求3-8中任一权利要求所述的计算装置（100, 200)，其中所述控制器 (210)还被设置成通过遍及状态图来识别多个对象的手势，其中每个转换对应于多个对象 的移动。
11. 根据权利要求1-10中任一权利要求所述的计算装置（100, 200)，其中所述控制器 (210)还被设置成确定匹配被比较的参照角（@)的角（a)，如果被比较的角（a)在所述 参照角（@)的容许误差（cp)内。
12. 根据权利要求1-11中任一权利要求所述的计算装置（100, 200)，其中所述控制器 (210)还被设置成： 确定移动的距离（dist); 确定移动的距离是否在第一距离阈值（VI)之上；如果是， 将移动的角（a)与参照角（P)进行比较。
13. 根据权利要求1到12中任一权利要求所述的计算装置（100, 200)，其中所述移动 向量还包括取自由下述构成的组的至少另一量度：深度、旋转、转动角度、移动的距离和移 动的速度。
14. 根据权利要求12所述的计算装置（100, 200)，其中所述控制器被设置成区分快速 移移动和慢速移动。
15. 根据权利要求12或13所述的计算装置（100, 200)，其中所述控制器被设置成区分 短移动和长移动。
16. 根据权利要求1-15中任一权利要求所述的计算装置（100, 200)，其中所述控制器 被设置成根据待追踪对象的大小、与待追踪对象的距离、显示屏的大小和摄像机的视野确 定距离。
17. -种用在计算装置中用于识别由影像流中被追踪的对象（H，H'，01，02)所作的手 势的方法，所述方法包括： 确定被追踪的对象（H，H'，01，02)的移动向量； 将移动向量与手势的参考库进行比较；并借此识别匹配移动向量的手势， 其中所述移动向量包括具有由相对角（a)识别的方向的至少一部分移动，并且其中 所述比较基于所述相对角（a)。
18. -种编码有指令（31)的计算机可读存储介质（30)，其中当被加载到处理器上或在 处理器上执行时，执行权利要求17所述的方法。
【专利摘要】本发明披露了一种用于识别由影像流中被追踪的对象所作的手势的计算装置，所述计算装置包括存储器和控制器，其中所述控制器被设置成：确定被追踪对象的移动向量；将移动向量与手势的参考库进行比较；并由此识别匹配移动向量的手势；其中所述移动向量包括至少一部分具有由相对角识别的方向的移动，并且其中所述比较是基于所述相对角的。摘要附图为图23。
【IPC分类】G06F17-30, G06K9-00, G06F3-01, G06F9-445
【公开号】CN104583902
【申请号】CN201380040370
【发明人】P·克隆霍尔姆
【申请人】科智库公司
【公开日】2015年4月29日
【申请日】2013年7月8日
【公告号】EP2880508A2, US20150220776, WO2014021760A2, WO2014021760A3