用于手势识别的方法和设备的制作方法
【专利摘要】本文提供了用于使得能够使用示例红外（IR）使能的移动终端进行手部手势识别的方法、装置和计算机程序产品。一种示例方法可以包括使用自适应全方向边缘算子（AOEO）确定至少一个所捕捉的帧中的手部区域。该方法可以进一步包括使用递归二值化方案确定用于手部区域提取的阈值。该方法还可以包括使用针对至少一个所捕捉的帧中所提取手部区域所确定的阈值来确定手部位置。该方法还可以包括基于所确定的手部位置确定指尖位置。还提供了类似及相关的示例装置和示例计算机程序产品。
【专利说明】用于手势识别的方法和设备
【技术领域】
[0001]本发明的实施例总体上涉及手势识别技术，尤其涉及一种用于使用诸如移动终端的移动视觉系统而有助于手势识别的方法、设备和计算机程序产品。
【背景技术】
[0002]随着移动终端的能力和处理功率的继续提高，移动终端越来越多地被用于之前为更大且较少移动的装备所保留的大量服务。一种这样的服务可以包括基于所捕捉的图像和/或视频的手势识别。然而，由于移动终端中相机的复杂的成像条件以及高度集成，在及时处理数据并最终进行手指分割和追踪方面存在着挑战。例如，指尖很小并且通常处于具有低图像对比度的阴影目标区域之中，并且还可能存在过度图像噪声。另外，移动终端的形状因子可能无法被配置以高功率的红外发光二极管和高功率相机。
【发明内容】
[0003]本文提供了用于使能使用示例的支持红外(IR)的移动终端进行手部手势识别的方法、设备和计算机程序产品。如这里所描述的这样的方法、设备和计算机程序产品进一步被配置为确定手部区域和指尖位置以使得能够与投影图像进行基于手势的交互。在一些实施例中，周边确定可以基于各种成像条件而被自动确定。
[0004]一种示例方法可以包括使用自适应全向方边缘算子(AOEO)确定至少一个所捕捉帧中的手部区域。该方法可以进一步包括使用递归二值化方案确定用于手部区域提取的阈值。该方法还可以包括使用至少一个所捕捉帧中的所提取手部区域的所确定阈值来确定手部位置。该方法还可以包括基于所确定的手部位置确定指尖位置。
[0005]一种示例设备可以包括至少一个处理器和至少一个存储计算机程序代码的存储器，其中该至少一个存储器和所存储的计算机程序代码被配置为利用该至少一个处理器而使得该设备至少使用AOEO确定至少一个所捕捉帧中的手部区域。该至少一个存储器和所存储的计算机程序代码进一步被配置为利用该至少一个处理器而使得该设备使用递归二值化方案确定用于手部区域提取的阈值。该至少一个存储器和所存储的计算机程序代码进一步被配置为利用该至少一个处理器而使得该设备使用针对至少一个所捕捉帧中的所提取手部区域所确定的阈值来确定手部位置。该至少一个存储器和所存储的计算机程序代码进一步被配置为利用该至少一个处理器而使得该设备基于所确定的手部位置确定指尖位置。
[0006]在另外的实施例中，提供了一种计算机程序产品，其包括具有存储于其中的计算机可读程序指令的至少一个非瞬时计算机可读存储介质，该计算机可读程序指令包括被配置为使用AOEO确定至少一个所捕捉帧中的手部区域的程序指令。该计算机可读程序指令还包括被配置为使用递归二值化方案确定用于手部区域提取的阈值的程序指令。该计算机可读程序指令还包括被配置为使用针对至少一个所捕捉帧中的所提取手部区域所确定的阈值来确定手部位置的程序指令。该计算机可读程序指令还包括被配置为基于所确定的手部位置确定指尖位置的程序指令。
[0007]—种示例设备可以包括用于使用AOEO确定至少一个所捕捉帧中的手部区域的装置。该设备可以进一步包括用于使用递归二值化方案确定用于手部区域提取的阈值的装置。该设备可以进一步包括用于使用针对至少一个所捕捉帧中的所提取手部区域所确定的阈值来确定手部位置的装置。该设备可以进一步包括用于基于所确定的手部位置确定指尖位置的装置。
【专利附图】
【附图说明】
[0008]已经总体上对本发明的实施例进行了描述，现在将参考附图，附图并不必依比例绘制，其中:
[0009]图1图示了根据本发明的示例实施例的示例手势识别设备的示例框图；
[0010]图2是根据本发明示例实施例的示例移动终端的示例示意性框图；
[0011]图3图示了根据本发明示例实施例的用于执行示例手势识别的系统；
[0012]图4图示了根据本发明示例实施例的用于手势识别的示例方法的流程图；
[0013]图5a-5e、6a_6b、7图示了根据本发明示例实施例的示例手势识别系统的示例实施例；以及
[0014]图8图示了根据本发明示例实施例的示例方法手势识别系统的流程图。
【具体实施方式】
[0015]现在将参考附图对本发明的一些实施例进行更为全面地描述，附图中示出了本发明的一些而非全部实施例。实际上，本发明的各个实施例可以以许多不同方式来实现，并不应当被理解为局限于这里所阐述的实施例；而是提供这些实施例使得本公开将满足适用的法律要求。相同的附图标记通篇指代相同元件。如这里所使用的，术语“数据”、“内容”、“信息”以及类似术语可以互换使用以指代能够依据本发明的一些实施例而被传送、接收、操作和/或存储的数据。此外，如本文所使用的术语“示例性”并非被提供用于传递任何定性声明，而是仅被用来传递示例的说明。因此，使用这样的术语并不应当被理解为对本发明实施例的精神和范围进行限制。
[0016]如本文所使用的，术语“电路”是指以下各项的全部:(a)仅硬件的电路实施方式实现(例如仅以模拟和/或数字电路的实施方式);(b)电路和软件(和/或固件)的组合，诸如(如可应用的):(i)(多个)处理器的组合或者(ii)(多个)处理器/软件的一部分(包括共同工作而使得诸如移动电话或服务器的设备执行各种功能的(多个)数字信号处理器、软件和(多个)存储器)JP(C)电路，诸如(多个)微处理器或者(多个)微处理器的一部分，其需要软件或固件进行操作，即使该软件或固件并非物理存在。
[0017]“电路”的这个定义应用于本申请中使用该术语的所有情况，包括任意权利要求。作为另外的示例，如本申请中所使用的，术语“电路”还将覆盖仅一个处理器(或多个处理器)或者处理器的一部分及其伴随的软件和/或固件的实施方式。作为示例并且如果可应用于特定的权利要求要素，术语“电路”还将覆盖包括用于移动电话的基带集成电路或应用特定集成电路，或者服务器、蜂窝网络装备或其它网络装备的类似集成电路。
[0018]图1图示了根据本发明示例实施例的手势识别设备102的框图，其用于识别图像或一系列图像(例如，媒体片段、视频、视频流等)中的手势。将要意识到的是，手势识别设备102被提供为本发明第一个实施例而并不应当被理解为以任何方式收窄本发明的范围和精神。在这方面，本公开的范围包含除这里所图示和描述的那些以外的许多可能实施例。因此，虽然图1图示了用于确定图像或一系列图像中的手势的设备的配置的一个示例，但是也可以使用其它配置来实施本发明的实施例。
[0019]手势识别设备102可以被实施为台式计算机、膝上计算机、移动终端、移动计算机、平板电脑、移动电话、移动通信装备、一个或多个服务器、一个或多个网络节点、游戏装备、数码相机/摄像机、音/视频播放器、电视装备、无线电接收器、数字视频录影机、定位装备、它们的任意组合等。在示例实施例中，手势识别设备102可以被实施为诸如图2所示的移动终端。除此之外或可替换地，手势识别设备102可以被实施为诸如图3所示的远离移动终端的远程服务器、远程网络节点等。
[0020]在这方面，图2图示了代表手势识别设备102的一个实施例的移动终端10的框图。然而，应当理解的是，所图示及随后描述的移动终端10仅是可以实施本发明的实施例和/或从其获益的一种类型的手势识别设备102的说明，而并不应当被理解为对本发明的范围进行限制。虽然出于示例的目的图示了移动终端(例如，移动终端10)的若干实施例并且将在随后进行描述，但是诸如移动电话、移动计算机、便携式数字助理(PDA)、传呼机、膝上计算机、台式计算机、游戏装备、电视和其它类型的电子系统可以采用本发明的实施例。
[0021]如所示出的，移动终端10可以包括与发射器14和接收器16进行通信的天线12(或多个天线12)。移动终端10还可以包括处理器20，其被配置为分别向发射器提供信号以及从接收器接收信号。处理器20例如可以被实现为包括电路的各种装置、具有所附(多个)数字信号处理器的一个或多个微处理器、没有所附数字信号处理器的一个或多个处理器、一个或多个协同处理器、一个或多个多核处理器、一个或多个控制器、处理电路、一个或多个计算机、包括诸如ASIC (专用集成电路)或FPGA (现场可编程门阵列)的集成电路的各种其它处理元件，或者其一些组合。因此，虽然在图2中被示为单个处理器，但是在一些实施例中，处理器20包括多个处理器。处理器20所发送并接收的这些信号可以包括根据可应用蜂窝系统的空中接口标准和/或任意多种不同的有线或无线联网技术的信令信息，有线或无线联网技术包括但并不局限于无线保真(W1-Fi )、诸如电气与电子工程师协会(IEEE)802.11,802.16的无线局域网(WLAN)技术，等等。此外，这些信号可以包括话音数据、用户生成数据、用户请求数据等。就此而言，移动终端能够利用一种或多种空中接口标准、通信协议、调制类型、访问类型等进行操作。更具体地，移动终端10能够根据各种第一代(1G)、第二代(2G)、2.5G、第三代(3G)通信协议、第四代(4G)通信协议、互联网协议多媒体子系统(IMS)通信协议(例如，会话发起协议(SIP))等进行操作。例如，移动终端能够根据2G无线通信协议IS-136 (时分多址(TDMA))、全球移动通信系统(GSM)、IS-95 (码分多址(CDMA))等进行操作。而且，例如，移动终端能够根据2.5G无线通信协议通用分组无线服务(GPRS)JI强数据GSM环境(EDGE)等进行操作。另外，例如，移动终端能够根据3G无线通信协议进行操作，诸如通用移动电信系统(UMTS)、码分多址2000 (CDMA2000 )、宽带码分多址(WCDMA)、时分同步码分多址(TD-SCDMA)等。移动终端还能够根据3.9G无线通信协议进行操作，诸如长期演进(LTE)或演进通用陆地无线接入网(E-UTRAN)等。此外，例如，移动终端能够根据第四代(4G)无线通信协议等以及未来可能研发的类似无线通信协议进行操作。[0022]一些窄带高级移动电话系统(NAMPS)以及全接入通信系统(TACS)移动终端也可以从本发明的一些实施例获益，如双模或更高模式的电话(例如，数字/模拟或TDMA/CDMA/模拟电话)。此外，移动终端10能够根据无线保真(W1-Fi)或全球微波接入互操作性(WiMAX)协议进行操作。
[0023]所要理解的是，处理器20可以包括用于实施移动终端10的音频/视频和逻辑功能的电路。例如，处理器20可以包括数字信号处理器装备、微处理器装备、模数转换器、数模转换器等。移动终端10的控制和信号处理功能可以根据其相应能力在这些装备之间进行分配。另外，处理器可以包括对可以存储在存储器中的一个或多个软件程序进行操作的功能。例如，处理器20能够操作诸如web浏览器的连接程序。该连接程序可以允许移动终端10根据协议传送和接收诸如基于位置的内容的web内容，上述协议诸如无线应用协议(WAP)、超文本传输协议(HTTP)等。移动终端10能够使用传输控制协议/互联网协议(TCP/IP)以跨互联网或其它网络传送和接收web内容。
[0024]移动终端10还可以包括用户接口，用户接口例如包括耳机或扬声器24、振铃器
22、麦克风26、显示器28、用户输入接口等，它们可操作耦合至处理器20。就此而言，处理器20可以包括被配置为对用户接口的一个或多个元件的至少一些功能进行控制的用户接口电路，上述元件例如扬声器24、振铃器22、麦克风26、显示器28等。处理器20和/或包括处理器20的用户接口电路可以被配置为通过存储在可接入处理器20的存储器(例如，易失性存储器40、非易失性存储器42等)上的计算机程序指令(例如，软件和/或固件)对用户接口的一个或多个元件的一个或多个功能进行控制。虽然并未示出，但是移动终端可以包括用于对与移动终端相关的各个电路进行供电的电池，例如用于提供机械振动作为可检测输出的电路。用户输入接口可以包括允许移动终端接收数据的装备，诸如键盘30、触摸显示器(未示出)、操纵杆(未示出)和/或其它输入装备。在包括键盘的一些实施例中，键盘可以包括数字(0-9)和相关按键(#、*)和/或用于操作移动终端的其它按键。
[0025]移动终端10可以包括与处理器20进行通信的媒体捕捉元件，诸如相机、视频和/或音频模块。媒体捕捉元件可以包括用于捕捉图像、视频和/或音频以便进行手势识别、存储、显示或传输的任意装置。例如，在媒体捕捉元件包括相机电路36的示例实施例中,相机电路36可以包括被配置为从所捕捉的图像形成数字图像的数字相机。此外，相机电路36的数字相机可以被配置为捕捉视频片段。这样，相机电路36可以包括从所捕捉图像创建数字图像文件以及从所捕捉视频片段创建数字视频文件所必需的诸如镜头或其它(多种)光学组件的全部硬件和软件。可替换地，相机电路36可以仅包括观看图像所需的硬件，而移动终端10的存储器装备则以从所捕捉图像创建数字图像文件所必需的软件的形式存储用于由处理器20执行的指令。作为又另一种替换形式，相机电路36的视场内的一个或多个对象可以被显示在移动终端10的显示器28上以图示出当前所显示图像的视图，如果用户期望则可以捕捉该图像。这样，所捕捉图像例如可以包括由相机电路36所捕捉的图像并且被存储在图像文件中。作为另一个示例，所捕捉图像可以包括当前由移动终端10的显示器或取景器所显示而并不必存储在图像文件中的一个或多个对象。在示例实施例中，相机电路36可以进一步包括诸如协同处理器之类的被配置为在处理图像数据时对处理器20进行辅助的处理元件，以及用于压缩和/或解压缩图像数据的编码器和/或解码器。该编码器和/或解码器例如可以根据联合图像专家组(JPEG)标准、运动图像专家组(MPEG)标准或其它格式进行编码和/或解码。
[0026]移动终端10可以包括存储器，诸如客户识别模块(SM) 38、可移除用户识别模块(R-UIM)等，它们可以存储与移动客户相关的信息元素。除了 SIM之外，移动终端可以包括其它可移除和/或固定存储器。移动终端10可以包括其它非瞬时存储器，诸如易失性存储器40和/或非易失性存储器42。例如，易失性存储器40可以包括随机访问存储器(RAM)、片上或片下高速缓存存储器等，其中随机访问存储器包括动态和/或静态RAM。可以是嵌入式和/或可移除的非易失性存储器42例如可以包括只读存储器、闪存、磁性存储装备(例如，硬盘、软盘驱动器、磁带等)、光盘驱动器和/或媒体、非易失性随机访问存储器(NVRAM)等。与易失性存储器40 —样，非易失性存储器42可以包括用于数据的临时存储的高速缓存区域。存储器可以存储一个或多个软件程序、指令、信息条目、数据等，它们可以被移动终端用于执行移动终端的功能。例如，存储器可以包括能够唯一识别移动终端10的诸如国际移动装备标识αΜΕΙ)码的标识符。
[0027]返回图1，在示例实施例中，手势识别设备102包括用于执行本文所描述的各种功能的各种装置。这些装置可以包括处理器110、存储器112、通信接口 114、用户接口 116、图像捕捉电路118和/或手势识别模块120中的一个或多个。如本文所描述的手势识别设备102例如可以被实现为电路、硬件元件(例如，适当的编程的处理器、组合逻辑电路等)、包括存储在计算机可读介质(例如，存储器112)上的可由适当配置的处理装备(例如，处理器110)所执行的计算机可读程序指令(例如，软件或固件)的计算机程序产品，或者他们的一些组合。
[0028]处理器110例如可以被实现为各种装置、包括具有所附(多个)数字信号处理器的一个或多个微处理器、没有所附数字信号处理器的一个或多个处理器、一个或多个协同处理器、一个或多个多核处理器、一个或多个控制器、处理电路、一个或多个计算机、包括例如ASIC或FPGA的集成电路的各种其它处理元件，或者其一些组合。因此，虽然在图1中被图示为单个处理器，但是在一些实施例中，处理器110包括多个处理器。多个处理器可以彼此可操作地通信，并且可以共同地被配置为执行本文所描述的手势识别设备102的一个或多个功能。多个处理器可以在单个计算装备上实现，或者跨共同被配置为作为手势识别设备102进行工作的多个计算装备进行分布。在其中手势识别设备102被实现为移动终端10的实施例中，处理器110可以被实现为或者包括处理器20。在一个示例实施例中，处理器110被配置为执行存储在存储器112中或者能够以其它方式可接入处理器110的指令。当被处理器110执行时，这些指令可以使得手势识别设备102执行如本文所描述的一个或多个功能。这样，无论是通过硬件还是软件方法进行配置，或者通过其组合进行配置，处理器110可以包括在相应配置时能够执行根据本发明实施例的操作的实体。因此，例如当处理器110被实现为ASIC、FPGA等时，处理器110可以包括专门配置的用于进行本文所描述的一个或多个操作的硬件。可替换地，作为另一个示例，当处理器110被实现为诸如可以存储在存储器112中的指令的执行器时，该指令可以对处理器110进行特殊配置以执行本文所描述的一个或多个算法和操作。
[0029]存储器112例如可以包括非瞬时存储器，诸如易失性存储器、非易失性存储器或者其一些组合。虽然在图1中被图示为单个存储器，但是存储器112可以包括多个存储器。多个存储器可以在单个计算装备上实现，或者跨共同被配置为作为手势识别设备102进行工作的多个计算装备进行分布。在各个示例实施例中，随存储器112例如可以包括硬盘、随机访问存储器、高速缓存存储器、闪存、紧致盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)、光盘、被配置为存储信息的电路，或者它们的一些组合。在其中手势识别设备102被实现为移动终端10的实施例中，存储器112可以包括易失性存储器40和/或非易失性存储器42。存储器112可以被配置为存储使得手势识别设备102能够执行根据各个示例实施例的各种功能的信息、数据、应用、指令等。例如，在至少一些实施例中，存储器112被配置为对输入数据进行缓存以便由处理器110处理。除此之外或可替换地，在至少一些实施例中，存储器112被配置为存储程序指令以便由处理器110执行。存储器112可以以静态和/或动态信息的形式存储信息。所存储的信息例如可以包括用于手势识别、手部识别等的模型。该存储信息可以由图像捕捉电路118和/或手部手势识别模块120在执行其工作的过程期间进行存储和/或使用。
[0030]通信接口 114可以被实现为以电路、硬件、计算机程序产品或者其组合所实现的任意设备或装置，计算机程序产品包括存储在计算机可读介质(例如，存储器112)上并且由处理器装备(例如，存储器110)所执行的计算机可读程序指令，其被配置为向/至另一计算装备接收和/或传送数据。例如，通信接口 114可以被配置为通过网络接收表示图像的数据。就此而言，在其中手势识别设备102包括服务器、网络节点等的实施例中，通信接口 114可以被配置为与远程移动终端(例如，远程终端304)进行通信以允许移动终端和/或其用户访问由手势识别设备102所提供的手势识别功能。在示例实施例中，通信接口 114至少部分被实现为处理器110或者以其它方式被其所控制。就此而言，通信接口 114诸如可以经由总线与处理器110进行通信。通信接口 114例如可以包括天线、发射器、接收器、收发器和/或用于使得能够与一个或多个远程计算装备进行通信的支持硬件或软件。通信接口114可以被配置为使用可用于计算装备间的通信的任意协议来接收和/或传送数据。就此而言，通信接口 114可以被配置为使用可用于通过手势识别设备102与一个或多个计算装备通过其进行通信的无线网络、有线网络、其一些组合等进行数据传输的任意协议来接收和/或传送数据。通信接口 114诸如还可以经由总线与存储器112、用户接口 116、图像捕捉电路118和/或手部手势识别模块120进行通信。
[0031]用户接口 116可以与处理器110进行通信以接收用户输入的指示和/或向用户提供听觉、视觉、机械或其它输出。这样，用户接口 116例如可以包括键盘、鼠标、操纵杆、显示器、触摸屏显示器、麦克风、扬声器和/或其它输入/输出机制。在其中手势识别设备102被实现为一个或多个服务器的实施例中，用户接口 116的各方面可以有所减少或者甚至可以省略用户接口 116。用户接口 116诸如可以经由总线与存储器112、通信接口 114、图像捕捉电路118和/或手部手势识别模块120进行通信。
[0032]图像捕捉电路118可以被实现为各种装置，诸如电路、硬件、计算机程序产品或者其一些组合，计算机程序产品包括存储在计算机可读介质(例如，存储器112)上并且由处理器装备(例如，存储器110)所执行的计算机可读程序指令，因此在一个实施例中，其被实现为处理器110或者以其它方式被处理器110所控制。在其中图像捕捉电路118独立于处理器110实现的实施例中，图像捕捉电路118可以与处理器110进行通信。图像捕捉电路118诸如可以经由总线与存储器112、通信接口 114、用户接口 116和/或手部手势识别模块120中的一个或多个进行通信。[0033]图像捕捉电路118可以包括被配置为捕捉图像的硬件。在这方面，图像捕捉电路118可以包括相机镜头、IR镜头和/或用于捕捉数字图像的其它光学组件。作为另一个示例，图像捕捉电路118可以包括被配置为指示由实现在手势识别设备102上或者以其它方式与之操作连接的单独相机进行图像捕捉的电路、硬件、计算机程序产品或者其组合。在其中手势识别设备102被实现为移动终端10的实施例中，图像捕捉电路118可以包括相机电路36。在其中手势识别设备102被实现为远离移动终端的被配置为向手势识别设备102提供图像或视频而使得手势识别设备102能够在图像或视频上执行手势识别的一个或多个服务器或者其它网络节点的实施例中，图像捕捉电路118的各方面可以有所减少或者甚至可以省略图像捕捉电路118。
[0034]手部手势识别模块120可以被实施为各种装置，诸如电路、硬件、计算机程序产品或者其一些组合，计算机程序产品包括存储在计算机可读介质(例如，存储器112)上并且由处理器装备(例如，存储器110)所执行的计算机可读程序指令，并且在一个实施例中被实现为处理器110或者以其它方式被处理器110所控制。在其中手部手势识别模块120独立于处理器110实现的实施例中，手部手势识别模块120可以与处理器110进行通信。手部手势识别模块120诸如可以经由总线进一步与存储器112、通信接口 114、用户接口 116和/或图像捕捉电路中的一个或多个进行通信。
[0035]手部手势识别模块120可以被配置为提供指尖在图像、一系列图像、视频帧、媒体内容事件等中的位置信息。可以基于手部区域或指尖移动的各种轨迹并且基于各种语义来确定各种手势。特别地并且如参考图4所示，相机、图像捕捉电路118可以位于稳定位置以便能够进行所捕捉图像和/或所捕捉的系列图像的前景和背景(例如，图像中描绘主题之后或之前的情景的部分)提取。另外，背景图像一致性可以导致在前景中提取那些项目的能力。这样的前景提取可以使得手部手势识别模块10能够确定可能的手部区域和指尖位置。
[0036]现在参考图4，图1的处理器110、手部手势识别模块120等可以被配置为例如从图像捕捉电路118接收视频流。手部手势识别模块120随后可以捕捉当前帧。见操作402。在一个实施例中，确定背景。见操作405。随后可以使用自适应全方向边缘算子(AOEO)提取前景。见操作404。随后可以由手部手势识别模块例如使用递归二值化而基于所提取的前景确定手部候选506。见操作406。例如通过使用本文所描述的形状先验，可以基于所确定的手部候选定位指尖位置。见操作408。
[0037]再次参考图1，在一个实施例中，手部手势识别模块120被配置为利用AOEO执行前景提取。在一些实施例中，强度和边缘是可以在前景提取中使用的两种低层图像特征，然而在可替换实施例中可以使用其它图像特征。在一些示例实施例中，由于边缘往往相对随机噪声和照明变化更为稳定，所以AOEO的边缘运算可以被用来确定快速边缘图形计算和自适应门限。
[0038]在一个实施例中，手部手势识别模块120可以被配置为确定全方向边缘运算。为了例如使用处理器110以虽少的方向边缘信息损失来执行快速计算，因此使用图5a中所引用的边缘算子AOEO的全方向边缘算子。像素的边缘量级e可以被计算为:
[0039]
【权利要求】
1.一种方法，包括: 使用自适应全方向边缘算子(AOEO)确定至少一个所捕捉的帧中的手部区域； 使用递归二值化方案确定用于手部区域提取的阈值； 使用针对在所述至少一个所捕捉的帧中的所提取的手部区域的所确定的阈值来确定手部位置；以及 基于所确定的手部位置确定指尖位置。
2.根据权利要求1所述的方法，其中确定所述手部区域进一步包括: 确定全方向边缘算子； 确定所述至少一个所捕捉的帧与背景之间的图像差异；以及 使用周边学习确定用于输出二值化的自适应阈值。
3.根据权利要求2所述的方法，其中确定用于输出二值化的所述阈值是基于所述至少一个所捕捉的帧的对比度。
4.根据权利要求2或3中任一项所述的方法，其中确定用于手部区域提取的所述阈值进一步包括基于图像亮度确定初始阈值。
5.根据权利要求1至4中任一项所述的方法，其中确定用于手部区域提取的所述阈值进一步包括: 确定目标比率； 从所述至少一个捕捉的帧提取前景； 通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率；以及 基于所述目标比率与所述当前比率之间的比较而对阈值进行调节。
6.根据权利要求1至5中任一项所述的方法，其中确定所述手部位置进一步包括使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证。
7.根据权利要求1至6中任一项所述的方法，其中确定所述指尖位置进一步包括使得所捕捉的至少一个。
8.—种设备,包括: 处理器，以及 包括软件的存储器，其中所述存储器和所述软件被配置为与所述处理器一起而使得所述设备至少: 使用自适应全方向边缘算子(AOEO)确定至少一个所捕捉的帧中的手部区域； 使用递归二值化方案确定用于手部区域提取的阈值； 使用针对在所述至少一个 所捕捉的帧中的所提取的手部区域的所确定的阈值来确定手部位直；并且 基于所确定的手部位置确定指尖位置。
9.根据权利要求8所述的设备，其中包括计算机程序代码的至少一个存储器进一步被配置为利用至少一个处理器而使得所述设备用以: 确定全方向边缘算子； 确定所述至少一个所捕捉的帧与背景之间的图像差异；并且 使用周边学习确定用于输出二值化的自适应阈值。
10.根据权利要求9所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备基于所述至少一个所捕捉的帧的对比度确定用于输出二值化的所述阈值。
11.根据权利要求9或10中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备基于图像亮度确定初始阈值。
12.根据权利要求8至11中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备用以: 确定目标比率； 从所述至少一个所捕捉的帧提取前景； 通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率；并且 基于所述目标比率与所述当前比率之间的比较而对阈值进行调节。
13.根据权利要求8至12中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证。
14.根据权利要求8至13中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使所述设备使得所捕捉的至少一个帧骨架化。
15.一种计算机程序产品，包括: 至少一个计算机可读非瞬 时存储器介质，具有存储于其上的程序代码，所述程序代码在被设备执行时使得所述设备至少用以: 使用自适应全方向边缘算子(AOEO)确定至少一个所捕捉 的帧中的手部区域； 使用递归二值化方案确定用于手部区域提取的阈值； 使用针对在所述至少一个所捕捉的帧中的所提取的手部区域 的所确定的阈值来确定手部位置；并且 基于所确定的手部位置确定指尖位置。
16.根据权利要求15所述的计算机程序产品，进一步包括用于下列操作的程序代码指令: 确定全方向边缘算子； 确定所述至少一个所捕捉的帧与背景之间的图像差异；并且 使用周边学习确定用于输出二值化的阈值。
17.根据权利要求16所述的计算机程序产品，其中确定用于输出二值化的所述阈值是基于所述至少一个所捕捉的帧的对比度。
18.根据权利要求16或17中任一项所述的计算机程序产品，进一步包括用于基于图像亮度而确定的初始阈值程序代码指令。
19.根据权利要求15至18中任一项所述的计算机程序产品，进一步包括用于下列操作的程序代码指令: 确定目标比率； 从所述至少一个所捕捉的帧提 取前景；并且通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率。
20.根据权利要求15至19中任一项所述的计算机程序产品，进一步包括用于使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证的程序代码指令。
21.根据权利要求15至20中任一项所述的方法，进一步包括程序代码指令以用于使得所捕捉的至少一个帧骨架化。
22.—种设备,包括: 用于使用自适应全方向边缘算子(AOEO)确定至少一个所捕捉的帧中的手部区域的装置； 用于使用递归二值化方案确定用于手部区域提取的阈值的装置； 用于使用针对所述至少一个所捕捉的帧中的所提取的手部区域的所确定的阈值来确定手部位置的装置；以及 用于基于所确定的手部位置确定指尖位置的装置。
23.根据权利要求22所述的设备，其中用于确定所述手部区域的所述装置包括: 用于确定全方向边缘算子的装置； 用于确定所述至少一个所捕捉的帧与背景之间的图像差异的装置；以及 用于使用周边学习确定用于输出二值化的阈值的装置。
24.根据权利要求23所述的设备，其中用于确定用于输出二值化的所述阈值的装置是基于所述至少一个所捕捉的帧的对比度。
25.根据权利要求23或24中任一项所述的设备，其中用于确定用于手部区域提取的所述阈值的所述装置包括用于基于图像亮度确定初始阈值的装置。
26.根据权利要求22至25中任一项所述的设备，其中用于确定用于手部区域提取的所述阈值的所述装置包括: 用于确定目标比率的装置； 用于从所述至少一个所捕捉的帧提取前景的装置；以及 用于通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率的装置。
27.根据权利要求22至26中任一项所述的设备，其中用于确定所述手部位置的所述装置包括用于使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证的装置。
28.根据权利要求22至27中任一项所述的设备，其中用于确定所述指尖位置的所述装置包括用于使得所捕捉的至 少一个帧骨架化的装置。
【文档编号】G06K9/00GK103890782SQ201180074232
【公开日】2014年6月25日 申请日期:2011年10月18日 优先权日:2011年10月18日
【发明者】李江伟, 汪孔桥, 徐磊, 方亦凯 申请人:诺基亚公司