用于基于多个传感器信号的融合识别手势的方法和设备的制作方法

用于基于多个传感器信号的融合识别手势的方法和设备的制作方法
【专利摘要】提供一种允许基于不同类型的传感器信号的融合来改进手势识别的方法、设备和计算机程序产品。在一种方法的情境中，接收一系列图像帧和雷达信号序列。该方法确定指示手势的针对一系列图像帧的评估分数。该评估分数的确定可以基于图像区域中的运动块和运动块在图像帧之间的移位。该方法也确定指示手势的针对雷达信号序列的评估分数。该评估分数的确定可以基于序列中的符号分布和序列中的强度分布。该方法对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数以识别手势。
【专利说明】用于基于多个传感器信号的融合识别手势的方法和设备

【技术领域】
[0001] 本发明的一示例实施例一般涉及用户界面技术并且更具体地涉及一种用于识别 手势的方法、设备和计算机程序产品。

【背景技术】
[0002] 为了有助于用户与计算设备交互，已经开发了用户界面以对用户的手势做出响 应。通常，这些手势是直观的并且因此用于有助于使用计算设备并且改善总体用户体验。计 算设备可以识别的手势可以服务于许多功能、诸如打开文件、关闭文件、移到文件内的不同 位置、增加音量等。计算设备可以识别的一种类型的手势是挥手（hand-wave)。可以定义挥 手以提供各种类型的用户输入、例如包括用于控制媒体播放器的导航命令、图库浏览或者 幻灯片演示。
[0003] 计算设备一般提供基于由单个传感器、诸如相机、加速度计或者雷达传感器提供 的信号的手势识别。然而通过依赖于单个传感器，计算设备就识别手势而言可能有些受限。 例如依赖于相机以捕获从其识别手势的图像的计算设备可能难以适应照明改变以及在相 机捕获的图像内的白平衡。而且，依赖于加速度计或者陀螺仪以提供从其识别手势的信号 的计算设备不能在计算设备本身固定就位的实例中检测手势。此外，依赖于雷达传感器以 提供从其识别手势的信号的计算设备可能难以确定产生手势的对象实际上是什么。


【发明内容】

[0004] 因此根据一示例实施例提供一种方法、设备和计算机程序产品以便提供基于不同 类型的传感器所提供的信号的融合的改进的手势识别。在一个实施例中，例如提供一种方 法、设备和计算机程序产品以便基于相机或者其它图像捕获设备和雷达传感器所提供的信 号的融合识别手势。通过依赖于不同类型的传感器所提供的信号并且通过对与不同类型的 传感器所提供的信号关联的评估分数适当加权，可以用比依赖于单个传感器以用于识别手 势的计算设备更可靠的方式以更少的限制来识别手势。
[0005] 在一个实施例中，提供一种方法，该方法包括接收一系列图像帧并且接收雷达信 号序列。这一实施例的该方法还确定指示手势的针对一系列图像帧的评估分数。就这一点 而言，确定评估分数可以包括基于在图像区域中的运动块和运动块在图像帧之间的移位确 定评估分数。这一实施例的该方法也包括确定指示手势的针对雷达信号序列的评估分数。 就这一点而言，确定评估分数可以包括基于序列中的符号分布和序列中的强度分布确定评 估分数。这一实施例的该方法还对评估分数中的每个评估分数进行加权并且在加权之后融 合评估分数，以识别手势。
[0006] 该方法可以通过对图像数据进行下采样以生成针对一系列图像帧的下采样图像 块，从下采样图像块提取多个特征并且确定下采样图像块的移动状态以便基于连续图像帧 中的相应特征的值的改变而确定运动块来确定针对一系列图像帧的评估分数。就这一点而 言，该方法也可以基于投影直方图的第一边界和第二边界的基于相应下采样图像块的移动 状态确定的移动来确定手势的运动方向。
[0007] -个实施例的该方法可以通过基于图像区域中的平均运动块比率确定评估分数 来确定针对一系列图像帧的评估分数。雷达信号的强度可以取决于产生手势的对象与雷达 传感器之间的距离，而与雷达信号关联的符号可以取决于对象相对于雷达传感器的运动方 向。对评估分数中的每个评估分数加权可以包括基于线性判别分析、Fisher判别分析或者 线性支持向量机确定将与评估分数关联的权重。一个实施例的该方法还可以包括在识别手 势的实例中基于一系列图像帧确定该手势的运动方向。
[0008] 在另一实施例中，提供一种设备，该设备包括至少一个处理器和包括计算机程序 代码的至少一个存储器，其中存储器和计算机程序代码被配置成，通过处理器，使该设备接 收一系列图像帧并且接收雷达信号序列。这一实施例的至少一个存储器和计算机程序代码 还被配置成，通过处理器，使该设备通过基于图像区域中的运动块和运动块在图像帧之间 的移位确定指示手势的针对一系列图像帧的评估分数来确定该评估分数。这一实施例的至 少一个存储器和计算机程序代码还被配置成，通过处理器，使该设备通过基于雷达信号序 列中的符号分布和雷达信号序列中的强度分布确定指示手势的针对雷达信号序列的评估 分数来确定该评估分数。这一实施例的至少一个存储器和计算机程序代码还被配置成，通 过处理器，使该设备对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数 以识别手势。
[0009] 至少一个存储器和计算机程序代码还被配置成，通过处理器，使一个实施例的该 设备通过对图像数据进行下采样以生成针对一系列图像帧的下采样图像块、从下采样图像 块提取多个特征并且确定下采样图像块的移动状态以便基于连续图像帧中的相应特征的 值的改变确定运动块来确定针对一系列图像帧的评估分数。这一实施例的至少一个存储器 和计算机程序代码还可以被配置成，通过处理器，使该设备基于投影直方图的第一边界和 第二边界的基于相应下采样图像块的移动状态确定的移动来确定手势的运动方向。
[0010] 一个实施例的至少一个存储器和计算机程序代码可以被配置成，通过处理器，使 该设备通过基于图像区域中的平均运动块的比率确定评估分数来从一系列图像帧确定该 评估分数。雷达信号的强度可以取决于产生手势的对象与雷达传感器之间的距离，而与雷 达信号关联的符号可以取决于对象相对于雷达传感器的运动方向。至少一个存储器和计算 机程序代码被配置成，通过处理器，使一个实施例的该设备通过基于线性判别分析、Fisher 判别分析或者线性支持向量机确定将与评估分数关联的权重来对评估分数中的每个评估 分数进行加权。至少一个存储器和计算机程序代码还被配置成，通过处理器，使一个实施例 的该设备在识别手势的实例中基于一系列图像帧确定手势的运动方向。一个实施例的该设 备还可以包括：用户界面电路，该用户界面电路被配置成有助于用户通过使用显示器来控 制该设备的至少一些功能并且使该设备的用户界面的至少一部分被显示于显示器上以有 助于用户控制该设备的至少一些功能。
[0011] 在又一实施例中，提供一种包括至少一个计算机可读存储介质的计算机程序产 品，至少一个计算机可读存储介质中存储有计算机可执行程序代码部分，其中该计算机可 执行程序代码部分包括被配置为接收一系列图像帧并且接收雷达信号序列的程序指令。这 一实施例的程序指令还被配置为通过基于图像区域中的运动块和运动块在图像帧之间的 移位确定指示手势的针对一系列图像帧的评估分数来确定该评估分数。这一实施例的程序 指令还被配置为通过基于雷达信号序列中的符号分布和雷达信号序列中的强度分布确定 指示手势的针对雷达信号序列的评估分数来确定该评估分数。这一实施例的程序指令还 被配置为对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数，以识别手 势。
[0012] 根据一个实施例的计算机可执行程序部分还可以包括被配置为通过对图像数据 进行下采样以生成针对一系列图像帧的下采样图像块、从下采样图像块提取多个特征并且 确定下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确定运动块 来针对一系列图像帧确定评估分数的程序指令。这一实施例的计算机可执行程序部分还可 以包括被配置为基于投影直方图的第一边界和第二边界的基于相应下采样图像块的移动 状态确定的移动来确定手势的运动方向的程序指令。
[0013] 根据一个实施例的被配置为针对一系列图像帧确定评估分数的程序指令可以包 括被配置为基于图像区域中的平均运动块比率确定评估分数的程序指令。雷达信号可以具 有强度和符号，该强度取决于产生手势的对象与雷达传感器之间的距离，该符号取决于对 象相对于雷达传感器的运动方向。被配置为对评估分数中的每个评估分数进行加权的程序 指令可以在一个实施例中包括被配置为基于线性判别分析、Fisher判别分析或者线性支持 向量机确定将与评估分数关联的权重的程序指令。一个实施例的计算机可执行程序代码部 分还可以包括被配置为在识别手势的实例中基于一系列图像帧确定手势的运动方向的程 序指令。
[0014] 在再另一个实施例中，提供一种设备，该设备包括用于接收一系列图像帧的装置 和用于接收雷达信号序列的装置。这一实施例的该设备还包括用于确定指示手势的针对一 系列图像帧的评估分数的装置。就这一点而言，用于确定评估分数的装置可以基于图像区 域中的运动块和运动块在图像帧之间的移位确定评估分数。这一实施例的该设备还包括用 于确定作为手势的指示的针对雷达信号序列的评估分数的装置。就这一点而言，用于确定 评估分数的装置可以基于序列中的符号分布和序列中的强度分布确定评估分数。这一实施 例的该设备还包括用于对评估分数中的每个评估分数进行加权的装置和用于在加权之后 融合评估分数以识别手势的装置。

【专利附图】

【附图说明】
[0015] 因此已经概括地描述了本发明的某些示例实施例，现在将参照附图，附图未必按 比例绘制并且在附图中：
[0016] 图1是根据本发明的一示例实施例的用于基于来自至少两个传感器的信号识别 手势的设备的框图；
[0017] 图2是根据本发明的一示例实施例执行的操作的流程图；
[0018] 图3是为了评估一系列图像帧而执行的操作的流程图；
[0019] 图4图示了均包括多个运动块的三个连续图像帧，其中图像帧在图像帧之间从右 向左移位；
[0020] 图5是相对于如根据本发明的一示例实施例的设备所限定的显示平面的各种手 势的图示；以及
[0021] 图6是相对于雷达传感器的手势平面的图示。

【具体实施方式】
[0022] 现在将在下文参照附图更充分地描述本发明的一些实施例，在附图中示出了本发 明的一些、但是并非所有实施例。实际上，本发明的各种实施例可以用许多不同形式来体现 并且不应被解释为限于本文所阐述的实施例；相反地，提供这些实施例使得本公开将满足 适用法律要求。在全部内容中相似附图标记指代相似元件。如这里所用的，术语"数据"、 "内容"、"信息"和相似术语可以可互换地用来指代能够根据本发明的实施例被发送、接收 和/或存储的数据。因此，使用任何这样的术语不应被理解为限制本发明的实施例的精神 和范围。
[0023] 另外地，如本文所用的，术语'电路'指代（a)仅硬件电路实现方式（例如模拟电路 和/或数字电路中的实现方式）；(b)电路与计算机程序产品的组合，该计算机程序产品包 括在一个或者多个计算机可读存储器上存储的软件和/或固件指令，这些电路与计算机程 序产品一起工作以使设备执行本文描述的一个或者多个功能；以及（c)电路、例如微处理 器或者微处理器的部分，这些电路需要用于操作的软件或者固件，即使该软件或者固件未 在物理上存在也是如此。'电路'的这一定义适用于这一术语在本文、包括在任何权利要求 中的所有使用。作为另一示例，如本文所用的，术语'电路'还包括如下实现方式，该实现方 式包括一个或者多个处理器和/或其部分以及附随的软件和/或固件。作为另一示例，如 本文所用的术语'电路'还例如包括用于移动电话的基带集成电路或者应用处理器集成电 路或者在服务器、蜂窝网络设备、其它网络设备、和/或其它计算设备中的相似集成电路。
[0024] 如本文所定义的，指代非瞬态物理存储介质（例如易失性或者非易失性存储器设 备）的"计算机可读存储介质"可以有别于指代电磁信号的"计算机可读传输介质"。
[0025] 如以下描述的，提供一种允许基于多个且不同类型的传感器信号的融合识别手 势、诸如挥手的方法、设备和计算机程序产品。例如，一个实施例的该方法、设备和计算机程 序产品可以基于来自相机或者其它图像捕获设备的传感器信号和来自雷达传感器的传感 器信号的融合识别手势。如以下描述的，在一个示例实施例中，可以如图1中所示配置可以 基于传感器信号的融合识别手势的设备。尽管可以在移动终端，诸如便携数字助理（PDA)、 移动电话、寻呼机、移动电视、游戏设备、膝上型计算机、相机、平板计算机、触摸表面、可佩 戴设备、视频记录器、音频/视频播放器、无线电、电子书、定位设备（例如全球定位系统 (GPS)设备）或者前述移动终端的任何组合，以及其它类型的语音和文本通信系统中体现 图1的设备，但是应当注意的是，也可以在移动和固定的各种其它设备中体现图1的设备， 并且因此本发明的实施例不应限于在移动终端上应用。
[0026] 也应当注意的是，尽管图1图示了用于基于传感器信号的融合识别手势的设备10 的配置的一个实施例，但是许多其它配置也可以用来实施本发明的实施例。因此，在一些实 施例中，虽然设备或者元件被示出为相互通信，但是在下文中应当认为这样的设备或者元 件能够被体现于相同设备或者元件内，因此应当理解被示出处于通信的设备或者元件另选 地是相同设备或者元件的部分。
[0027] 现在参照图1，用于基于传感器信号的融合识别手势的设备10可以包括处理器 12、存储器14、通信接口 16以及可选地包括用户界面18或者以其他方式与它们通信。在一 些实施例中，处理器12(和/或辅助处理器或者以其他方式与处理器关联的协同处理器或 者任何其它处理电路）可以经由用于在设备10的部件之中传递信息的总线与存储器14通 信。存储器14可以例如包括一个或者多个易失性和/或非易失性存储器。换言之，例如，存 储器14可以是包括门的电子存储设备（例如计算机可读存储介质），这些门被配置为存储 通过机器（例如计算设备、诸如处理器12)可以可取回的数据（例如，位）。存储器14可以 被配置为存储用于使设备10能够根据本发明的一示例实施例执行各种功能的信息、数据、 内容、应用、指令等。例如，存储器14可以被配置为缓冲用于由处理器12处理的输入数据。 另外地或者另选地，存储器14可以被配置为存储用于由处理器12执行的指令。
[0028] 设备10在一些实施例中可以是被配置为采用本发明的一示例实施例的用户终端 (例如，移动终端）或者固定通信设备或者计算设备。然而，在一些实施例中，设备10或者 至少该设备的部件、诸如处理器12可以被体现为芯片或者芯片组。换言之，设备10可以包 括一个或者多个物理封装（例如，芯片），该一个或者多个物理封装包括在结构组件（例如， 基板）上的材料、部件和/或线。结构组件可以为在其上包括的部件电路提供物理强度、尺 寸守恒和/或电相互作用的限制。设备10因此可以在一些情况下被配置为在单个芯片上 或者作为单个"芯片上的系统"实施本发明的一实施例。因此，在一些情况下，芯片或者芯 片组可以构成用于执行一个或者多个操作以提供本文所述的功能性的装置。
[0029] 可以用多个不同方式体现处理器12。例如，处理器12可以被体现为各种硬件处 理装置中的一个或多个硬件处理装置，，诸如协同处理器、微处理器、控制器、数字信号处理 器（DSP)、有或者无附带DSP的处理元件，或者各种其它处理电路，这些其它处理电路包括 集成电路，诸如ASIC(专用集成电路）、FPGA (现场可编程门阵列）、微控制器单元（MCU)、硬 件加速器、专用计算机芯片等。因此，在一些实施例中，处理器12可以包括被配置为独立执 行的一个或者多个处理核心。多核心处理器可以在单个物理封装内实现多处理。另外地或 者另选地，处理器12可以包括经由总线被串接配置以能够独立执行指令、流水线操作和/ 或多线程的一个或者多个处理器。
[0030] 在一示例实施例中，处理器22可以被配置为执行存储器14中所存储的或者以其 他方式对于处理器可访问的指令。另选地或者另外地，处理器12可以被配置为执行硬编码 的功能。因此，无论是通过硬件或软件方法，或者通过其组合来配置，处理器12都可以代表 能够在被因此配置时根据本发明的一个实施例执行操作的（例如在电路中物理地体现的） 实体。因此，例如，在处理器12被体现为ASIC、FPGA等时，处理器可以是用于进行本文描 述的操作的特定配置的硬件。可选地，作为另一示例，在处理器12被体现为软件指令的执 行器时，指令可以特定配置处理器12以在执行指令时履行本文描述的算法和/或操作。然 而，在一些情况下，处理器12可以是特定设备（例如，移动终端）的处理器，该处理器被配 置为通过按照指令进一步配置处理器12来采用本发明的一个实施例，这些指令用于执行 本文描述的算法和/或操作。除了其他部件以外，处理器12可以包括被配置为支持处理器 的操作的时钟、算术逻辑单元（ALU)和逻辑门。
[0031] 同时，通信接口 16可以是在硬件或者硬件与软件的组合中体现的任何装置、诸如 设备或者电路，该装置被配置为从/向与设备10通信的网络和/或任何其它设备或者模块 接收和/或传输数据。就这一点而言，通信接口 16可以例如包括用于实现与无线通信网络 的通信的天线（或者多个天线）以及支持硬件和/或软件。另外地或者另选地，通信接口 16可以包括用于与天线交互以引起经由天线传输信号或者处置经由天线接收的信号的接 收的电路。在一些环境中，通信接口 16可以可选地或者也支持有线通信。因此，例如，通信 接口 16可以包括用于支持经由线缆、数字用户线（DSL)、通用串行总线（USB)或者其它机构 的通信的通信调制解调器和/或其它硬件/软件。
[0032] 在一些实施例、诸如其中设备10由用户设备体现的实例中，该设备可以包括用户 界面18,该用户界面继而可以与处理器12通信以接收用户输入的指示和/或引起向用户 提供可听、可视、机械或者其它输出。因此，用户界面18可以例如包括键盘、鼠标、操纵杆、 显示器、触屏、触摸区域、软键、麦克风、扬声器或者其它输入/输出机构。另外地或者另选 地，处理器12可以包括被配置为控制一个或者多个用户界面元件、诸如扬声器、振铃器、麦 克风、显示器等的至少一些功能的用户界面电路。处理器12和/或包括处理器的用户界面 电路可以被配置为通过在对于处理器可访问的存储器（例如，存储器14,和/或等等）上存 储的计算机程序指令（例如，软件和/或固件）控制一个或者多个用户界面元件的一个或 者多个功能。然而在其它实施例中，设备10可以未包括用户界面18。
[0033] 设备10可以包括被配置为捕获包括手势、诸如挥手的图像的一系列图像帧的相 机20或者其它图像捕获元件或者以其他方式与该相机20或其它图像捕获元件关联或者通 信。在一个示例实施例中，相机20与处理器12通信。如上所述，相机20可以是用于捕获 图像以分析、显示和/或传输的任何装置。例如，相机20可以包括能够从捕获的图像形成 数字图像文件的数码相机。因此，相机20包括为了从捕获的图像创建数字图像文件而必需 的所有硬件、诸如透镜或者其它光学器件以及软件。可选地，相机20可以仅包括为了观看 图像而需要的硬件，而存储器14存储呈为了从捕获的图像创建数字图像文件而必需的软 件的形式的用于由处理器12执行的指令。在一个示例实施例中，相机20还可以包括辅助 处理器12处理图像数据的处理元件、诸如协同处理器以及用于压缩和/或解压图像数据的 编码器和/或解码器。编码器和/或解码器可以根据联合图像专家组（JPEG)标准格式编 码和/或解码。可以在存储器14中存储记录的图像以用于将来观看和/或操纵。
[0034] 设备10也可以包括被配置为捕获雷达信号序列的雷达处理器22或者以其他方式 与雷达处理器关联或者通信，该雷达信号序列指示对象，诸如产生手势（诸如挥手）的用户 的手的存在和移动。雷达支持对象检测系统，该对象检测系统利用电磁波、诸如无线电波以 检测对象的存在、它们的移动速度和方向、以及它们距雷达传感器22的范围。从对象弹回、 例如反射的发射波被雷达传感器22检测到。在一些雷达系统中，可以基于发射波与反射波 之间的时间差确定至对象的范围。另外，可以通过检测多普勒频移来检测对象朝着或者远 离雷达传感器22的移动。此外，可以通过具有两个或者更多接收器信道的雷达传感器22 借助角度估计方法、例如波束成形来确定至对象的方向。雷达传感器22可以由多种雷达设 备，诸如多普勒雷达系统、调频连续波（FMCW)雷达或者脉冲/超宽带雷达中的任何雷达设 备体现。
[0035] 可以参照图2的流程图描述由一个示例实施例的方法、设备和计算机程序产品执 行的操作。就这一点而言，图2的块30图示了设备10可以包括用于接收一系列图像帧的 装置，诸如图像捕获设备，例如相机20、处理器12等。就这一点而言，一系列图像帧可以是 一系列连续的图像帧。如图2的块32中所示，这一实施例的设备10还可以包括用于接收 雷达信号序列的装置，诸如雷达传感器22、处理器12等。雷达传感器22和图像捕获设备 (诸如相机20) -般同时操作并且通常具有公共视野，使得所得图像帧和雷达信号提供关 于相同手势的信息。
[0036] 然后可以处理一系列图像帧和雷达信号序列，并且可以针对一系列图像帧和针对 雷达信号序列确定相应评估分数。就这一点而言，针对一系列图像帧的评估分数可以指示 手势，这是因为评估分数提供关于在一系列图像帧内识别手势的可能性的指示。相似地，针 对雷达信号序列确定的评估分数提供关于在雷达信号序列内识别手势的可能性的指示。
[0037] 就这一点而言并且如图2的块34中所示，设备10还可以包括用于确定指示手势 的针对一系列图像帧的评估分数的装置，诸如处理器12等。就这一点而言，针对一系列图 像帧确定评估分数可以基于图像区域中的运动块和运动块在图像帧之间的移位。为了针对 一系列图像帧确定评估分数，一个实施例的设备10,诸如处理器12可以执行运动块分析以 便识别图像区域中的运动块其中运动块然后被用来确定评估分数。尽管可以根据各种技术 分析图像帧并且识别运动块，但是一个实施例的设备10,诸如处理器12可以以图3中图示 的和在以下描述的方式识别图像区域中的运动块。
[0038] 就这一点而言并且如图3中所示，可以如图3中的虚线块所示接收输入数据序列 (例如图3中的η至n-3所示）以用于预处理。预处理可以一般包括操作50处的下采样和 操作52处的特征提取（例如逐块特征提取）的操作。在特征提取之后，可以在操作54处 关于各种不同特征（例如特征F n、Fn_i、Fn_2、Fn_ 3等）中的每个特征进行移动块估计。此后， 在操作56处，可以基于投影直方图执行运动检测。在一些实施例中，可以针对各种不同的 运动方向（例如，完全水平或者〇度运动、45度运动、135度运动和/或可以遇到的任何其 它适当或者预期方向）计算直方图。在操作58处，可以精化结果以验证检测结果。在一个 示例实施例中，可以在操作62处利用色直方图分析以辅助结果精化。此后，在操作60处， 可以识别有效手势（例如挥手）。
[0039] 在一些实施例中，预处理可以包括如以上指示的下采样以便减少可以以其他方式 由逐像素噪声引起的影响。在一个示例实施例中，可以对每个输入图像进行平滑和下采样 使得可以向下采样图像的对应像素分配预定数目的像素（例如具有4个像素高度的补丁） 的平均值。因此，在示例中，工作分辨率将是输入分辨率的1/16。在示例情况下，对于工作 图像Fi，」，其中1 < i <H，1 < j <W，其中W和Η分别是图像的宽度和高度，如果给定长度 λ (在一个示例中为10)，可以将图像分割成ΜΧΝ个方块Zi;j，而1彡i 并且1彡j彡Ν， 其中Μ = Η/ λ并且N = W/ λ，则对于每个块，可以关于描述下采样图像内的像素值的红色、 绿色和蓝色通道计算各种统计特性。然后可以从下采样图像提取多个特征。在一个示例实 施例中，可以计算以下6个统计特性（或者特征），包括：亮度的均值L、亮度的方差LV、红 色通道的均值R、绿色通道的均值G、蓝色通道的均值Β和归一化的红色通道的均值NR。可 以如下面的公式1中所示计算归一化的红色值：
[0040] nr = 255*r/ (r+g+b) (1)
[0041] 其r、g和b分别是原有三个通道的值。一个示例实施例已经示出归一化的红色值 可以经常是可以用来近似地描述在电话相机环境中的皮肤颜色的最简单值。正常地，对于 图像中的典型皮肤区域（例如手部和/或脸部），归一化的红色值与背景对象的那些值比较 将是相当大的值。
[0042] 然后可以关于与在以上描述的示例中提取的6个统计特性（或者特征）对应的数 据执行移动块估计。对于手势检测，诸如挥手检测，可以通过校查在当前帧和先前帧的块之 间的改变来确定块的移动状态。
[0043] 更具体而言，如果以下条件成立则可以将块Zi;j，t(其中t表示帧的索引）视为移 动块：
[0044] (1) | Li;y-Li，」，t-l | > Θ i或者NRut-NRwH > Θ 2。这一条件强调在连续帧之间的 差值。
[0045] (2)LVu' Θ 3。这一条件基于手部区域通常具有均匀颜色分布的事实。
[0046] (3)RiJt>04
[0047]⑷ Ri, t> Θ 5*Gi, t 并且 Ri, t> Θ 5*Bi,丄 t
[0048] (5) Ri;」，t> Θ 6*Gi;」，t 或者 Ri;」，t> Θ 6*Bi; J; t
[0049] 注意条件（3-5)表明红色通道与蓝色和绿色通道比较通常具有相对更大值。
[0050] (6) Θ 7 < Li;j;t < Θ 8。这是用于丢弃最明显背景对象的经验条件。在一个示例实 施例中，可以分别将以上Θ厂Θ 8设置为15、10、30、10、0. 6、0. 8、10和240。
[0051] 图4图示了根据一个示例实施例的采样图像序列和对应图像结果。基于采样图像 序列，然后可以进行移动块（例如在图4的每个差分图像中的白色块）的确定，使得可以 确定一系列直方图以图示手部从图像的右侧向图像的左侧的移动。就这一点而言，图4描 绘了具有在t、t-1、t-2、t-3和t-4捕获的移动块的五个图像帧的序列以及对应坚直直方 图。可以在一些情况下精化运动检测，这是因为手部的区域通常可以大于块大小。就这一 点而言，例如移动块可以基于它们的拓扑被进一步精化。在一个示例实施例中，在其8个连 接块邻域中无任何移动块的块可以视为非移动块。因此，例如，在具有用于当前帧的移动块 = {ZilMovO = 1}的情况下，其中Mov(Z) = 1意指块Z是移动块，可以采用直方图分 析以确定不同类型的手势（例如不同类型的挥手，诸如左到右、上到下、前到后或者反之亦 然）。然而，以下描述用于左到右检测的具体示例；可以基于所示示例推导用于在其它类型 的情况下采用的修改。对于右挥手，可以计算Ν维坚直投影直方图为：
[0052]

【权利要求】
1. 一种方法，包括： 接收一系列图像帧； 接收雷达信号序列； 确定指示手势的针对所述一系列图像帧的评估分数，其中确定所述评估分数包括基于 图像区域中的运动块和运动块在图像帧之间的移位确定所述评估分数； 确定指示所述手势的针对所述雷达信号序列的评估分数，其中确定所述评估分数包括 基于所述序列中的符号分布和所述序列中的强度分布确定所述评估分数； 对所述评估分数中的每个评估分数进行加权；以及 在所述加权之后融合所述评估分数以识别所述手势。
2. 根据权利要求1所述的方法，其中确定针对所述一系列图像帧的所述评估分数包 括： 对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块； 从所述下采样图像块提取多个特征；以及 确定所述下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确 定所述运动块。
3. 根据权利要求2所述的方法，还包括基于投影直方图的第一边界和第二边界的基于 相应下采样图像块的所述移动状态确定的移动来确定所述手势的运动方向。
4. 根据权利要求1-3中的任一权利要求所述的方法，其中确定针对所述一系列图像帧 的评估分数包括基于所述图像区域中的平均运动块比率确定所述评估分数。
5. 根据权利要求1-4中的任一权利要求所述的方法，其中所述雷达信号的幅值取决于 产生所述手势的对象与雷达传感器之间的距离，并且与所述雷达信号关联的符号取决于所 述对象相对于所述雷达传感器的运动方向。
6. 根据权利要求1-5中的任一权利要求所述的方法，其中对所述评估分数中的每个评 估分数进行加权包括基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与所 述评估分数关联的权重。
7. 根据权利要求1-6中的任一权利要求所述的方法，还包括在识别所述手势的实例中 基于所述一系列图像帧确定所述手势的运动方向。
8. -种设备，包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中所 述至少一个存储器和所述计算机程序代码被配置成，通过所述处理器，使所述设备： 接收一系列图像帧； 接收雷达信号序列； 通过基于图像区域中的运动块和运动块在图像帧之间的移位确定指示手势的针对所 述一系列图像帧的评估分数来确定所述评估分数； 通过基于所述序列中的符号分布和所述序列中的强度分布确定指示所述手势的针对 所述雷达信号序列的评估分数来确定所述评估分数； 对所述评估分数中的每个评估分数进行加权；并且 在所述加权之后融合所述评估分数以识别所述手势。
9. 根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码被配 置成，通过所述处理器，使所述设备通过以下操作确定针对所述一系列图像帧的所述评估 分数： 对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块； 从所述下采样图像块提取多个特征；以及 确定所述下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确 定所述运动块。
10. 根据权利要求9所述的设备，其中所述至少一个存储器和所述计算机程序代码还 被配置成，通过所述处理器，使所述设备基于投影直方图的第一边界和第二边界的基于相 应下采样图像块的所述移动状态确定的移动来确定所述手势的运动方向。
11. 根据权利要求8-10中的任一权利要求所述的设备，其中所述至少一个存储器和所 述计算机程序代码还被配置成，通过所述处理器，使所述设备通过基于所述图像区域中的 平均运动块比率确定针对所述一系列图像帧的评估分数来确定所述评估分数。
12. 根据权利要求8-11中的任一权利要求所述的设备，其中所述雷达信号的幅值取决 于产生所述手势的对象与雷达传感器之间的距离，并且与所述雷达信号关联的符号取决于 所述对象相对于所述雷达传感器的运动方向。
13. 根据权利要求8-12中的任一权利要求所述的设备，其中所述至少一个存储器和所 述计算机程序代码被配置成，通过所述处理器，使所述设备通过基于线性判别分析、Fisher 判别分析或者线性支持向量机确定将与所述评估分数关联的权重来对所述评估分数中的 每个评估分数进行加权。
14. 根据权利要求8-13中的任一权利要求所述的设备，其中所述至少一个存储器和所 述计算机程序代码还被配置成，通过所述处理器，使所述设备在识别所述手势的实例中基 于所述一系列图像帧确定所述手势的运动方向。
15. 根据权利要求8-14中的任一权利要求所述的设备，还包括：用户界面电路，其被配 置成： 有助于用户通过使用显示器来控制所述设备的至少一些功能；并且 使所述设备的用户界面的至少一部分显示于所述显示器上以有助于用户控制所述设 备的至少一些功能。
16. -种包括至少一个计算机可读存储介质的计算机程序产品，所述至少一个计算机 可读存储介质具有在其中存储的计算机可执行程序代码部分，所述计算机可执行程序代码 部分包括被配置成执行以下操作的程序指令： 接收一系列图像帧； 接收雷达信号序列； 通过基于图像区域中的运动块和运动块在图像帧之间的移位确定指示手势的针对所 述一系列图像帧的评估分数来确定所述评估分数； 通过基于所述序列中的符号分布和所述序列中的强度分布确定指示所述手势的针对 所述雷达信号序列的评估分数来确定所述评估分数； 对所述评估分数中的每个评估分数进行加权；以及 在所述加权之后融合所述评估分数以识别所述手势。
17. 根据权利要求16所述的计算机程序产品，其中被配置成确定针对所述一系列图像 帧的所述评估分数的所述程序指令包括被配置成执行以下操作的程序指令： 对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块； 从所述下采样图像块提取多个特征；以及 确定所述下采样图像块的移动状态以便基于在连续图像帧中的相应特征的值的改变 确定所述运动块。
18. 根据权利要求17所述的计算机程序产品，其中所述计算机可执行程序代码部分还 包括被配置成基于投影直方图的第一边界和第二边界的基于相应下采样图像块的所述移 动状态确定的移动来确定所述手势的运动方向的程序指令。
19. 根据权利要求16-18中的任一权利要求所述的计算机程序产品，其中被配置成确 定针对所述一系列图像帧的评估分数的所述程序指令包括被配置成基于在所述图像区域 中的平均运动块的比率确定所述评估分数的程序指令。
20. 根据权利要求16-19中的任一权利要求所述的计算机程序产品，其中所述雷达信 号的幅值取决于产生所述手势的对象与雷达传感器之间的距离，并且与所述雷达信号关联 的符号取决于所述对象相对于所述雷达传感器的运动方向。
21. 根据权利要求16-20中的任一权利要求所述的计算机程序产品，其中被配置成对 所述评估分数中的每个评估分数进行加权的所述程序指令包括被配置成基于线性判别分 析、Fisher判别分析或者线性支持向量机确定将与所述评估分数关联的权重的程序指令。
22. 根据权利要求16-21中的任一权利要求所述的计算机程序产品，其中所述计算机 可执行程序代码部分还包括被配置成在识别所述手势的实例中基于所述一系列图像帧确 定所述手势的运动方向的程序指令。
【文档编号】G06F3/01GK104094194SQ201180076318
【公开日】2014年10月8日 申请日期:2011年12月9日 优先权日:2011年12月9日
【发明者】谢晓辉, 方亦凯, 汪孔桥, T·T·劳蒂艾南 申请人:诺基亚公司