利用选择性照明来识别手势的方法和系统的制作方法
【专利摘要】本发明提供利用选择性照明来识别手势的方法和系统，其能够通过有效地移除包括静态干扰光和动态干扰光的不必要图像和噪声来可靠地执行手势识别。识别手势的方法包括，通过控制器，从成像设备获取作为识别目标的手部的图像。静态背景图像和动态背景图像通过控制器从手部图像中移除。方法还包括：通过控制器，通过从已移除动态背景图像的手部图像中提取特征点，从而识别手势。
【专利说明】利用选择性照明来识别手势的方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求2012年12月28日在韩国知识产权局提交的韩国专利申请第10-2012-0157478号优先权及其利益，其全部内容通过引用的方式并入本文。
【技术领域】
[0003]本发明涉及利用选择性照明来识别手势的方法及系统，能够通过有效地移除包括静态干扰光和动态干扰光的不必要图像和噪声，可靠地执行手势识别。
【背景技术】
[0004]目前，识别(或检测)手势的手势识别技术被应用于各种领域(例如，游戏、车辆)。识别手势的系统包括基于颜色信息的手部识别系统、基于形状的手部识别系统、和基于三维信息的手部识别系统。
[0005]基于颜色信息的手部识别系统是在所存储的颜色信息中搜索颜色例如皮肤颜色并基于手的尺寸和形状来识别手的系统。基于颜色信息的手部识别系统采用简单的识别算法，然而，该系统受到周围环境诸如人与人之间不同的皮肤颜色的影响并基于光线变化，并且该系统不能在无法确定颜色差异的晚上进行使用。
[0006]基于形状的手部识别系统是例如通过对来自现有数据库(DB)的模板与图像进行匹配来识别手的系统。基于形状的手部识别系统可能需要增加数量的模板，计算量呈指数方式增长，且基于形状的手部识别系统取决于手的尺寸和手的形状。
[0007]基于三维信息的手部识别系统是活跃的研究区域，利用成像设备获取三维图像，并基于深度信息来识别手部。基于三维信息的手部识别系统能够使用三维信息，然而，该系统的低成本竞争力受到干扰光的影响，并且该系统具有在用户与成像设备之间的障碍物的限制。
[0008]上述手部识别系统受外部光源的影响，物体的颜色和阴影也因此改变，导致可能出现识别错误的概率增大。
[0009]在这部分公开的以上信息仅用于增进对本发明背景的理解，因此，可能包含不构成该国本领域普通技术人员已知的现有技术的信息。
【发明内容】
[0010]本发明提供利用选择性照明来识别手势的方法和系统，其具有通过有效移除包括静态干扰光和动态干扰光的不必要图像和噪声来可靠地识别手势的优点。
[0011]本发明的示例性实施方式提供一种识别手势的方法，该方法可以包括:获取作为识别目标的手部的图像；从所获取的手部图像中移除静态背景图像；从已移除静态背景图像的手部图像中移除动态背景图像；以及通过从已移除动态背景图像的手部图像中提取特征点来识别手势。
[0012]静态背景图像可以是外部光源的静态干扰光，而动态背景图像可以是外部光源的动态干扰光。
[0013]此外，手部图像的获取可以包括:通过使用预定规则在每预定帧单元执行照明设备的开和关控制，以获取手部图像。预定帧单元可以是三帧单元；预定规则可以在三帧单元的第一帧开启照明设备，并在三帧单元的第二帧和第三帧关闭照明设备。
[0014]配置成获取手部图像的成像设备可以是红外相机，且照明设备可以是红外照明设备。
[0015]此外，静态背景图像的移除可以包括:通过从第一帧减去第二帧，获取静态干扰光移除图像。动态背景图像的移除包括:通过从第二帧减去第三帧，获取动态干扰光图像，并且基于所获取的动态干扰光图像，通过从静态干扰光移除图像中移除动态干扰光图像，获取动态干扰光移除图像。
[0016]本发明的另一个实施方式提供一种识别手势的系统，包含:成像设备，配置成获取作为识别目标的手部的图像；照明设备，配置成照射光，使得成像设备获取手部图像；以及手势识别单元，配置成通过从成像设备所获取的手部图像中移除静态背景图像和动态背景图像来识别手势。
[0017]手势识别单元可以由控制器执行，控制器包含至少一个由预定程序操作的微处理器或包括微处理器的硬件，并且程序可以由执行识别手势的方法的一系列命令形成。
[0018]如上所述，根据本发明的示例性实施方式，通过使用预定规则，在每预定帧单元执行照明设备的开和关控制，经所获取的手势，有效地移除静态背景图像(例如，干扰光)和动态背景图像(例如，干扰光)，可以执行可靠的手势识别。
【专利附图】
【附图说明】
[0019]图1是根据本发明示例性实施方式的手势识别系统的示例性示意图；
[0020]图2是示出根据本发明示例性实施方式的识别手势的方法的示例性流程图；
[0021]图3是示出根据本发明示例性实施方式的使用预定规则在每预定帧单元开启和关闭照明设备的过程的示例性视图；
[0022]图4是示出根据本发明示例性实施方式的移除静态背景图像(干扰光)的过程的示例性视图；以及
[0023]图5是示出根据本发明示例性实施方式的移除动态背景图像(干扰光)的过程的示例性视图。
[0024]【附图标记】
[0025]10:识别目标(手部) 100:成像设备
[0026]150:照明设备200:手势识别单元
[0027]300:控制目标
【具体实施方式】
[0028]应理解，本文使用的术语“车辆”或“车辆的”或其他类似术语包括通常的机动车，例如，包括多功能运动车(SUV)、公共汽车、卡车 、各种商务车的客车，包括各种船只和船舶的水运工具，飞行器等等，并且包括混合动力车、电动车、插入式混合电动车、氢动力车和其他代用燃料车(例如，来源于石油以外的资源的燃料)。[0029]尽管示例性实施方式被描述为使用多个单元以执行示例性进程，但应明白的是，示例性进程还可以由一个或多个模块执行。另外，应当理解的是，术语控制器是指包括存储器和处理器的硬件装置。存储器配置成存储模块，处理器具体配置成执行该模块以进行将在以下进一步描述的一个或更多个进程。
[0030]此外，本发明的控制逻辑可以具体表现为，在含有由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的例子包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光数据存储装置。计算机可读记录介质也可以在连接网络的计算机系统中分布，从而计算机可读介质可以通过例如远程信息处理服务器或控制器局域网络(CAN)以分布方式进行存储并执行。
[0031]本文使用的术语仅为说明【具体实施方式】，而不是意在限制本发明。如本文所使用的，单数形式“一个、一种、该”也意在包括复数形式，除非上下文中另外明确指明。还应当理解的是，当用在说明书中时，术语“包括、包含、含有”是指存在所述特征、整数、步骤、操作、元素和/或部件，但是不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件和/或其群组。如本文所使用的，术语“和/或”包括一个或多个相关所列项的任何和所有结合。
[0032]在下文中，本发明将参照附图进行更充分的描述，其中示出本发明的示例性实施方式。本领域技术人员将意识到，所描述的实施方式可以按多种不同方式修改而均不偏离本发明的精神或范围。
[0033]在整个说明书中，相同的附图标记指代相同的元件。
[0034]图1是根据本发明示例性实施方式的手势识别系统的示例性示意图。根据本发明示例性实施方式的手势识别系统是利用成像设备所获取的手部图像来识别手势的系统。
[0035]根据本发明示例性实施方式的手势识别系统可以包含:成像设备(例如，相机)100，配置成获取作为识别目标的手部图像10 ;照明设备150，配置成照射手部10以使得成像设备100获取手部10的图像；和手势识别单元200，配置成产生信号，该信号通过从成像设备100所获取的手部10的图像中移除静态背景图像和动态背景图像来识别手部10的姿势，从而对控制目标300进行控制。
[0036]在本发明的示例性实施方式中，成像设备100是例如配置成有效移除外部光源(例如，路灯、日光)的干扰光的红外相机，但应该理解，本发明不限于此。换言之，当成像设备100对应于红外相机时，本发明可应用于此。
[0037]在本发明的示例性实施方式中，照明设备150可以是例如配置成产生适合于红外相机的照明的红外照明设备，但应该理解本发明不限于此。换言之，当照明设备150对应于红外照明设备时，本发明可以应用于此。
[0038]手势识别单元200可以由控制器执行，控制器包含至少一个由预定程序操作的微处理器或包括微处理器的硬件。预定程序可以由执行后述的根据本发明示例性实施方式的识别手势的方法的一系列命令形成。
[0039]在下文中，根据本发明示例性实施方式的识别手势的方法将参照附图进行详细描述。
[0040]图2是示出根据本发明示例性实施方式的识别手势的方法的示例性流程图。如图
2所示，手势识别单元200可以配置成，通过操作成像设备100和照明设备150来获取作为识别目标的手部10的图像(S100)。为获取手部10的图像，手势识别单元200可以配置成使用预定规则在每预定帧单元，例如每3帧，开启和关闭照明设备150。
[0041]在本发明的示例性实施方式中，预定规则是，例如，在三帧的第一帧开启照明设备150，并在三帧的第二帧和第三帧关闭照明设备150，如图3所示。
[0042]在图3中，I和4巾贞表不照明设备150被开启，2、3和5巾贞表不照明设备150被关闭。因此，当手部10的图像被获取时，为仅获取单纯的手部10的姿势，手势识别单元200可以配置成移除静态背景图像，更具体地，移除外部光源(例如，路灯、日光)的静态干扰光(S200)。
[0043]为移除静态干扰光，手势识别单元200可以配置成从手部图像的第一帧中减去第二帧，如图4所示。换言之，手势识别单元200可以配置成获取可以通过从手部图像的第一帧中减去第二帧来移除静态背景图像(例如，干扰光)的手部图像，如图4所示。
[0044]当静态干扰光在步骤S200被移除时，在手部图像中，动态背景图像，更具体地，夕卜部光源的动态干扰光可能不被移除，如图5A所示。因此，手势识别单元200可以配置成从已移除静态干扰光的手部图像中移除动态干扰光(S300)。换言之，如图5B所示，手势识别单元200可以配置成，通过从手部10的图像的第二帧中减去第三帧，仅提取受到动态干扰光影响的图像(例如，模式)。
[0045]当受到动态干扰光影响的图像被提取时，手势识别单元200可以配置成使用所提取的受动态干扰光影响的图像来移除留在已除去图5A所示的静态干扰光的手部图像中的动态干扰光。
[0046]使用所提取的受动态干扰光影响的图像来移除留在已除去图5A所示的静态干扰光的手部图像中的动态干扰光的方法可以通过一般的图像移除技术来执行。
[0047]当受到动态干扰光影响的图像在步骤S300从手部图像移除时，手势识别单元200可以配置成，使用现有方法来提取手部图像的特征点，基于所提取的特征点来识别手势，并且基于所识别的手势来产生执行控制目标300的功能的信号(S400、S500和S600)。
[0048]因此，根据本发明的示例性实施方式，通过使用预定规则，在每预定帧单元执行照明设备的开和关控制，经所获取的手势，通过有效地移除静态背景图像(例如，干扰光)和动态背景图像(例如，干扰光)，可以识别可靠的手势。
[0049]尽管本发明已经结合当前被认为是实用的示例性实施方式进行了描述，应当理解，本发明不限于所公开的实施方式，相反，旨在涵盖包括在所附权利要求的精神和范围内的各种修改和等效配置。
【权利要求】
1.一种识别手势的方法，所述方法包括: 通过控制器，从成像设备获取手部图像，其中所述手部图像中的手部是识别目标； 通过所述控制器，从所获取的手部图像中移除静态背景图像； 通过所述控制器，从已移除所述静态背景图像的手部图像中移除动态背景图像；以及通过所述控制器，通过从已移除所述动态背景图像的手部图像中提取特征点，来识别所述手部的姿势。
2.根据权利要求1所述的方法，其中， 所述静态背景图像是外部光源的静态干扰光，所述动态背景图像是外部光源的动态干扰光。
3.根据权利要求2所述的方法，其中， 所述手部图像的获取还包括: 通过所述 控制器，使用预定规则在每预定帧单元开启和关闭照明设备，从所述成像设备获取手部图像。
4.根据权利要求3所述的方法，其中， 所述预定帧单元是三帧单元，所述预定规则在所述三帧单元的第一帧开启所述照明设备，并在所述三帧单元的第二帧和第三帧关闭所述照明设备。
5.根据权利要求4所述的方法，其中， 配置成获取手部的图像的所述成像设备是红外相机，且所述照明设备是红外照明设备。
6.根据权利要求5所述的方法，其中， 所述静态背景图像的移除还包括: 通过所述控制器，从所述第一帧中减去所述第二帧来获取静态干扰光移除图像。
7.根据权利要求6所述的方法，其中， 所述动态背景图像的移除还包括: 通过所述控制器，从所述第二帧减去所述第三帧来获取动态干扰光图像；以及通过所述控制器，基于所获取的动态干扰光图像，从所述静态干扰光移除图像中移除所述动态干扰光图像，来获取动态干扰光移除图像。
8.一种识别手势的系统，所述系统包含: 成像设备，配置成获取作为识别目标的手部图像； 照明设备，配置成照射光，使得所述成像设备获取手部的图像；以及控制器，配置成，通过从所述成像设备所获取的手部的图像中移除静态背景图像和动态背景图像，来识别所述手部的姿势，其中所述控制器配置成: 从所述成像设备获取作为识别目标的手部图像； 从所获取的手部图像中移除所述静态背景图像； 从已移除所述静态背景图像的手部图像中移除所述动态背景图像；以及 通过从已移除所述动态背景图像的手部图像中提取特征点，来识别所述手部的姿势。
9.根据权利要求8所述的系统，其中， 所述成像设备是红外相机，所述照明设备是配置成照射红外线的红外照明设备。
10.根据权利要求8所述的系统，其中，所述静态背景图像是外部光源的静态干扰光，所述动态背景图像是外部光源的动态干扰光。
11.根据权利要求10所述的系统，其中， 所述控制器还配置成: 通过使用预定规则，在每预定帧单元开启和关闭所述照明设备，来从所述成像设备获取手部的图像。
12.根据权利要求11所述的系统，其中， 所述预定帧单元是三帧单元，所述预定规则在所述三帧单元的第一帧开启所述照明设备并在所述三帧单元的第二帧和第三帧关闭所述照明设备。
13.根据权利要求8所述的系统，其中， 所述控制器还配置成: 通过从所述第一帧中减去所述第二帧，来获取静态干扰光移除图像。
14.根据权利要求13所述的系统，其中， 所述控制器还配置成: 通过从所述第二帧中 减去所述第三帧，来获取动态干扰光图像；以及通过基于所获取的动态干扰光图像，从所述静态干扰光移除图像中移除所述动态干扰光图像，来获取动态干扰光移除图像。
15.一种识别手势的系统，所述系统包含: 成像设备，配置成获取作为识别目标的手部图像； 照明设备，配置成照射光，使得所述成像设备获取手部的图像；以及控制器，配置成，通过从所述成像设备所获取的手部的图像中移除静态背景图像和动态背景图像来识别手部的姿势，其中，所述控制器配置成: 从所述成像设备获取手部图像； 从已移除所述静态背景图像的手部图像中移除所述动态背景图像；以及 通过从已移除所述动态背景图像的手部图像中提取特征点来识别手部的姿势。
16.一种包含由处理器或控制器执行的程序指令的非瞬时计算机可读介质，所述计算机可读介质包括: 控制成像设备获取作为识别目标的手部图像的程序指令； 控制配置成照射光的照明设备以使得所述成像设备获取手部的图像的程序指令； 从所述成像设备获取作为识别目标的手部图像的程序指令； 从所获取的手部图像中移除静态背景图像的程序指令； 从已移除所述静态背景图像的手部图像中移除动态背景图像的程序指令；以及通过从已移除所述动态背景图像的手部图像中提取特征点来识别手部的姿势的程序指令。
17.根据权利要求16所述的非瞬时计算机可读介质，其中， 所述静态背景图像是外部光源的静态干扰光，所述动态背景图像是外部光源的动态干扰光。
18.根据权利要求17所述的非瞬时计算机可读介质，还包括: 使用预定规则，在每预定帧单元开启和关闭所述照明设备，来从所述成像设备获取手部的图像的程序指令。
19.根据权利要求18所述的非瞬时计算机可读介质，其中， 所述预定 帧单元是三帧单元，所述预定规则在所述三帧单元的第一帧开启所述照明设备并在所述三帧单元的第二帧和第三帧关闭所述照明设备。
【文档编号】G06K9/46GK103914684SQ201310757103
【公开日】2014年7月9日 申请日期:2013年12月25日 优先权日:2012年12月28日
【发明者】金圣云, 朱时鋧 申请人:现代自动车株式会社