改进的手势的识别的制作方法
【技术领域】
[0001] 本申请涉及用于识别对象所做手势的方法、计算机可读介质和计算装置，特别涉 及用于改进识别视频流中由对象所做手势的方法、计算机可读介质和计算装置。本申请还 涉及用于识别由多个对象所做的手势的方法、计算机可读介质和计算装置。 技术背景
[0002] 开发人员一直试图在诸如游戏机、计算机和智能手机的当代设备成功地实现基于 视觉的控制。大多数的尝试在提供充分有效的实际操作于所有现实生活场景的控制系统上 并不成功。下文给出了所述系统的一些示例。
[0003] 美国公开号US2011299737的美国专利申请披露了基于视觉的手部动作识别系统 及其方法。在一实施例中，首先根据连续的手部影像识别手部姿势。如果手部姿势匹配起 始姿势，系统随后将连续手部影像分成多个影像群组并计算这些影像群组的运动向量。这 些运动向量的分布与多个三维运动向量的直方图等化进行比较，以确定每个影像群组的对 应运动。例如，对应的运动可以是左移的动作、右移的动作、上移的动作或下移的动作。最 后，这些对应运动的组合被定义为姿势，并且然后执行映射该姿势的指令。
[0004][0005] 美国专利号US7, 970, 176的美国专利披露了一种识别使用者姿势以便用于交互 式游戏应用的方法。获得了使用者的视频摄像机影像，并且在影像中识别出使用者身体的 特征点位置。相似性测度用于将影像中的特征点位置和手势库进行比较。库中的手势对应 最大计算的相似性测度，其大于被识别为使用者的手势的手势的阈值。所识别的手势可与 虚拟游戏环境中使用者的运动成一体，并且向使用者提供视觉反馈。
[0006][0007] 由所述系统提供的手势识别太慢而没有效果。
[0008] 此外，现有技术没有考虑摄影机尤其是在移动装置中可能不会与使用者完美地对 准，这可导致手势的错误解释。
[0009] 另一主要缺点是现有技术系统中所涉及的计算的复杂性，需要大量的计算资源。
[0010] 因此，需要一种识别由视频流中的对象所作手势的方式，能够适应摄像机和使用 者之间的失调。
[0011] 此外，极需要追踪在影像串流中的对象而并不需要庞大的计算资源的方式。
【发明内容】
[0012] 本申请的一个目的是通过提供用于识别由影像串流中被追踪的对象所作的手势 的计算装置来克服上述问题，所述计算装置包括存储器和控制器，其中控制器被设置成：确 定被追踪对象的移动向量，将移动向量与手势的参考库进行比较，并借此识别匹配移动向 量的手势，其中所述移动向量包括至少一部分具有由角度识别的方向的移动，并且其中所 述比较是基于所述角度的。应当指出，在一个实施例中，角度或方向是相对于其它向量的且 并非是绝对角度或方向。这解决了必须将摄影机与待追踪的对象对准或者根据摄影机和待 追踪的对象的当前对准调整手势的问题。应当了解，存在该问题并且识别该问题也需要创 造性的推理。
[0013] 所述计算装置不需要大量的计算资源，这是因为通过使用（部分）移动的方向的 角度来识别和存储手势这一巧妙的方式。
[0014] 在一个实施例中，控制器还被设置成穿过状态图，例如杜林机，其中转换对应于所 述移动向量的元素，并且至少一个状态对应于一动作；借此控制器根据移动向量的元素执 行从一状态到另一状态的转换，直到识别到手势到达对应的状态。
[0015] 在一个实施例中，计算装置是移动通讯终端。
[0016] 在一个实施例中，计算装置是因特网平板电脑或便携式电脑。
[0017] 在一个实施例中，计算装置是游戏机。
[0018] 在其它实施例中，计算装置是具有用户界面的打印机、具有非接触式用于界面的 摄影机，例如水下摄影机，其中触摸显示或其他用户界面不会工作（由于防水壳或由于水 的物理特性），具有非接触式用户界面的（智能）表。
[0019] 视频流也可通过下载的或串流的视频流提供，可能不源于装置的摄影机。
[0020] 本申请的另一目的是通过提供一种用于计算装置用于识别影像串流中由被追踪 的对象所作的手势的方法来克服上述问题，所述方法包括：确定被追踪对象的移动向量，将 移动向量与手势的参考库进行比较，并借此识别匹配移动向量的手势，其中所述移动向量 包括至少一部分具有由角度识别的方向的移动，并且其中所述比较是基于所述角度的。
[0021] 本申请的另一目的是通过提供一种计算机可读介质来克服上述问题，所述计算机 可读介质包括指令，所述指令当被加载到控制器（例如处理器）和由控制器（例如处理器） 执行时执行本文所述的方法。
[0022] 本发明的发明人在创造性和仔细推理后认识到，透过巧妙的主要聚焦于（部分） 移动的方向和状态图的使用，可以实时快速地识别手势而不需要大量的计算资源。巧妙地 聚焦于（部分）移动的方向是主要比较方向的相对角度，不像现有技术的系统比较绝对角 度。这使得能够独立于摄像机和待追踪的对象的当前对准来识别手势。
[0023] 本发明可用于具有用户界面的计算装置的控制系统，例如智能手机、因特网平板 电脑、电脑和游戏机。
[0024] 所披露实施例的其它特征和优点会由下文的详细描述、由所附权利要求以及附图 揭示。一般而言，权利要求中使用的所有术语将根据其技术领域中的普通含义来解释，除非 本文另有明确定义。
[0025] 所有提及"元件、装置/设备、部件、方法、步骤等"之处被公开解释为是指元件、装 置/设备、部件、方法、步骤等的至少一实例，除非另有明确描述。本文所披露的任何方法的 步骤不必然按所披露的确切顺序执行，除非有明确说明。
【附图说明】
[0026] 参考附图，将进一步详细描述本发明，其中：
[0027] 图1A和1B是根据本发明的每一计算装置的示意图；
[0028] 图2是根据本发明的计算装置的部件的示意图；
[0029] 图3是根据本发明的计算机可读存储器的示意图；
[0030] 图4A示出了待被追踪对象的示例影像，图4B、4C和4D各自示出了根据本发明的 经处理对象版本的表示；
[0031] 图5示出了根据本发明的实施例的如何可确定描述符的示意图；
[0032] 图6示出了根据本发明的实施例已被分配描述符的待被追踪对象的示图；
[0033] 图7示出了根据本发明实施例的已被分配描述符的待被追踪移动对象的示图；
[0034] 图8示出了根据本发明实施例确定相对距离的直方图；
[0035] 图9示出了根据本发明的示例实施例在实验中确定相对距离的直方图；
[0036] 图10示出了根据本发明实施例的示出一般方法的流程图；
[0037] 图11示出了根据本发明实施例已被分配描述符的待被追踪的两移动对象的示 图；
[0038] 图12示出了根据本发明实施例确定两对象相对距离的直方图；
[0039] 图13示出了根据本发明实施例已被分配描述符的待被追踪的移动对象沿着与视 线平行的方向的示图；
[0040] 图14示出了根据本发明实施例确定平均位置和相对距离的线性拟合的示图；
[0041] 图15A和15B分别示出了根据本发明实施例基于直角坐标确定平均位置和相对距 离的线性拟合的示图；
[0042] 图16示出了根据本发明实施例用于追踪对象的一般方法的流程图；
[0043] 图17示出了对象作手势的示意性示图；
[0044] 图18示出了根据本发明实施例用于识别手势的状态图或杜林机的示意性示图；
[0045] 图19示出了根据本发明实施例用于识别手势的状态图或杜林机的示意性示图；
[0046] 图20示出了根据本发明实施例用于识别手势的状态图或杜林机的示意性示图；
[0047] 图21示出了两对象作手势的示意性示图；
[0048] 图22示出了根据本发明实施例用于识别手势的状态图或杜林机的示意性示图；
[0049] 图23示出了根据本发明实施例用于识别手势的一般方法的流程图。
【具体实施方式】
[0050] 现在将参照附图在下文更充分地描述本发明揭示的实施例，其中示出了本发明的 某些实施例。然而，本发明可以许多不同的形式来实施，并且不应该被解释为限于这里所阐 述的实施例，而是通过示例的方式提供这些实施例，以使本本发明将是彻底和完整的，并且 将充分地传达本发明范围给本领域技术人员。相同的数字代表相似的组件。
[0051] 图1总体示出了根据本文实施例的计算装置100。在一实施例中，计算装置100被 配置用于网络通讯，无线或有线。这样的计算装置100的例子是：个人计算机、桌上型或笔 记型计算机、因特网平板计算机、移动通讯终端诸如移动电话、智能电话、个人数字助理、游 戏控制台。两个实施例将被作为范例和描述为图1A中的智能手机和图1B中的便携式电脑 100。
[0052] 参照图1A，形式为智能手机100的移动通讯终端包括壳体110,其中配置有显示器 120。在一个实施例中，显示器120是触控显示屏。在其它实施例中，显示器120是非触控式 显示器。此外，智能型手机100包括两个键130a、130b。在本实施例中，有两个键130,但是 任何数量的键是可能且取决于智能型手机100的设计。在一实施例中，智能型手机100被 设置成显示和操作触控显示器120上的虚拟键135。应当注意，虚拟键135的数量依赖于智 能型手机100的设计和智能型手机100上执行的应用程序。智能型手机100还配备了摄影 机160。摄影机160是数字摄影机，被设置成通过将影像记录于电子影像传感器（未绘示） 来取得视频或静止照片。在一个实施例中，摄影机160是外部摄影机。在一个实施例中，摄 影机可替换为提供影像串流的来源。
[0053] 参照图1B，笔记型计算机100包括显示器120和壳体110。壳体包括控制器或 CPU(未绘示）和一或更多个计算机可读取储存媒体（未绘示），如储存单元和内部存储器。 储存单元的范例是磁盘驱动器或硬盘驱动器。计算装置100还包括至少一数据端口。数据 端口可以是有线的和/或无线的。数据端口的范例是USB(通用串行总线）端口、以太网络 端口或WiFi (根据IEEE 802. 11标准）端口。数据端口被配置成使得计算装置100能够与 其它计算装置或服务器连接。
[0054] 笔记型计算机100还包括至少一个输入单元，如键盘130。输入单元的其它例子是 计算机鼠标、触控板、触控屏幕或操纵杆等。
[0055] 笔记型计算机100还配备有摄影机160。摄影机160是数字摄影机，配置成通过将 影像记录在电子影像传感器上来取得（图中未绘示）视频或静止影像。在一个实施例中， 摄影机160是外部摄影机。在一个实施例中，摄影机可替换为提供影像串流的来源。
[0056] 图2绘示了根据图1的计算装置的总体结构示意图。计算装置100包括控制器 210,其负责计算装置200的整体运作且优选通过任何商业上可用的CPU( "中央处理单 元