车辆内使用手形痕迹识别提供用户界面的系统和方法
【专利摘要】本发明涉及一种车辆内使用手形痕迹识别操作用户界面的系统和方法，其包括通过控制器接收乘客图像输入并识别来自乘客图像的手形痕迹信息。另外，所述控制器被配置成选择对应于所识别的手形痕迹的车辆设备操作。因此，当乘客使用一只手操作方向盘同时观察前方时，车辆内各种电子设备可以由一只手的动作控制。
【专利说明】车辆内使用手形痕迹识别提供用户界面的系统和方法
[0001]相关申请的交叉参考
[0002]本申请要求于2012年12月5日在韩国知识产权局提交的韩国专利申请N0.10-2012-0140589的优先权和利益，该申请的全部内容包括在此以供参考。
【技术领域】
[0003]本发明涉及一种通过识别车辆乘客的手形痕迹操纵控制车辆内部设备的用户界面的系统和方法。
【背景技术】
[0004]为了方便乘客，近期研发的车辆中安装了各种电子设备。在车辆内部，除了现有的无线接收器和空调器的电子设备，还安装了如导航系统和移动电话免提系统的电子设备。车辆中的现有电子设备通过指定按钮向提供用户界面，并且最近，触屏作为用户界面被广泛使用。这类设备应该由乘客直接接触并操作。进一步地，由于这种操作通常通过乘客的观察和手上操作执行，可能会干扰安全驾驶。因此，当乘客执行这类操作时，应当考虑足够充分的视觉范围和用户界面的位置以促进安全驾驶。
[0005]研发了一种识别乘客的手部图像并控制车辆功能的系统，并且该系统不需要乘客从驾驶中分散注意力并控制车辆功能，因此促进安全驾驶。
[0006]然而，当提取手部图像的特征点时，常规系统受到干扰光的影响且有由于手的形状导致的手部图像变化的影响，并且由于该系统是基于二维图像，因而难以获得在各种条件下的有意义的特征点。因此，特征点仅发现有颜色和亮度信息，并且由于外部光照导致特征点的确定受到影响。
[0007]本部分中公开的上述信息只是用于增强对本发明背景的理解，因此可能包含不构成在本国对本领域的技术人员已知的现有技术的信息。
【发明内容】
[0008]本发明提供一种操纵用户界面的系统和方法，其具有通过识别乘客的手形痕迹(例如，手上动作的路径)控制车辆内的各种电子设备的优点。
[0009]本发明的示范性实施例提供了一种在车辆内使用手形痕迹识别来操作用户界面的方法，该方法包括:接收乘客图像的输入；识别来自该乘客图像的乘客手形痕迹信息；以及选择对应于所识别的手形痕迹信息的车辆设备操作。
[0010]接收输入的步骤可包括接收来自图像拍摄单元的乘客手部图像的输入，且在图像存储单元中累积并存储该图像；以及计算所拍摄的图像的当前帧和前一帧之间的差异并获得乘客手形痕迹信息。识别乘客的手形痕迹信息的步骤可包括确定与该手形痕迹信息匹配的手形痕迹信息是否存储到信息数据库中；并且当与手形痕迹信息匹配的手形痕迹信息存储在信息数据库中时识别该手形痕迹信息。
[0011]该方法可进一步包括在接收输入之前确定是否存在手形痕迹识别功能使用请求，其中当存在手形痕迹识别功能使用请求时执行乘客图像输入的接收。
[0012]该方法可进一步包括:确定是否存在手形痕迹识别功能使用终止请求；并且当存在手形痕迹识别功能使用终止请求时终止该手形痕迹识别功能的使用。
[0013]本发明的另一个实施例提供一种车辆内使用手形痕迹识别的用户界面操作系统，该用户界面操作系统包括:图像拍摄单元，捕捉乘客图像；图像存储单元，存储所捕捉的乘客图像；信息数据库，存储可识别的手形痕迹信息；以及电子控制单元，根据来自图像拍摄单元的输入信号和存储在图像存储单元中的累积图像信息执行车辆设备操作，其中电子控制单元执行一系列的指令用于执行用户界面操作方法。
[0014]用户界面操作系统可进一步包括:输入单元，接收来自乘客的手形痕迹识别功能的使用的请求信号，将该请求信号传输到电子控制单元；以及输出单元，显示电子控制单元的车辆设备操作内容。
[0015]在根据本发明的示范性实施例使用手形痕迹识别的操作用户界面的方法中，通过图像拍摄单元提取乘客的手形痕迹并且可以确定手形痕迹信息是否匹配存储在信息数据库中的手形痕迹，并且通过识别所匹配的手形痕迹信息选择对应车辆设备的操作。
[0016]因此，即便存在外部光照的影响，由于可以更精确地识别痕迹信息，当乘客使用一只手操作方向盘并观察前方时，另一只手的简单动作可以控制车辆内的各种电子设备，因此更加方便乘客并提高驾驶的安全性。
【专利附图】
【附图说明】
[0017]图1是示出根据本发明的示范性实施例的车辆内使用手形痕迹识别的用户界面系统的不意图；
[0018]图2是根据本发明的示范性实施例的车辆内使用手形痕迹识别操作用户界面的方法的示范性流程图；
[0019]图3是示出根据本发明的示范性实施例的对应于手形痕迹的操作的示意图；以及
[0020]图4是示出根据本发明的示范性实施例的手形痕迹生成的示意图。
[0021]符号描述
[0022]100:输入单元 110:图像拍摄单元
[0023]120:信息数据库 130:电子控制单元(ECU)
[0024]140:输出单元 150:图像存储单元
[0025]160:定时器
【具体实施方式】
[0026]应当理解，术语“车辆”或“车辆的”或者其它类似术语包括通常的机动车辆，比如包括运动型多用途车(SUV)的客车，公共汽车，卡车，各种商用车辆，包括各种小舟和轮船的船只，飞机等，并且包括混合动力汽车，纯电动汽车，插电式混合动力汽车，氢动力汽车、燃料电池汽车和其它替代燃料汽车(例如，从除石油以外的资源得到的燃料)。。
[0027]尽管示范性实施例被描述成利用多个单元进行示范性处理，不过，应当理解示范性处理显然也可利用一个或多个模块进行。另外，术语“控制器/控制单元”显然指的是包括存储器和处理器的硬件设备。存储器被配置成保存所述模块，处理器被特定地配置成执行所述模块，以进行下面进一步说明的一个或多个处理。
[0028]此外，本发明的控制逻辑可被体现成计算机可读介质上的非临时性计算机可读媒介，所述计算机可读介质包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的例子包括(但不限于)ROM、RAM、光盘(CD) -ROM、磁带、软盘、闪速驱动器、智能卡和光学数据存储设备。计算机可读记录媒介也可分布在网络耦接的计算机系统中，以致通过例如远程信息处理服务器或控制器局域网络(CAN)，分布地保存和执行计算机可读媒介。
[0029]这里使用的术语只是用于说明特定的实施例，并不意图限制本发明。这里使用的单数形式，“一个”，“一”以及“该”意图还包括复数形式，除非上下文明确地另有说明。另夕卜要明白当用在本说明书中时，术语“包括”和/或“包含”指定陈述的特征、整数、步骤、操作、元件和/或组件的存在，不过并不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组合的存在或增加。这里使用的术语“和/或”包括相关的列举项目中的一个或多个项目的随便什么组合。
[0030]在下文中将参考附图对本发明进行更全面地描述。本领域技术人员应当理解所描述的示范性实施例可以做出多种方式的修改，且都不脱离本发明的精神和范围。进一步地，在图中，每个元件的尺寸和厚度被随机表示以便更好地理解和便于描述，并且本发明不被限制于此。
[0031]图1是示出根据本发明的示范性实施例的使用手形痕迹识别的用户界面设备的示意图。
[0032]参考图1，使用手形痕迹的用户界面(UI)设备可包括多个由电子控制单元(E⑶，控制器)130执行的单元。该多个单元可包括输入单元100，图像存储单元150，计时器160，图像拍摄单元110 (例如，成像设备)，信息数据库120，以及输出单元140。
[0033]输入单元100可包括按钮和触屏。具体地，通过按钮或触屏输入可以产生输入信号，而另一种输入方法使用语音或手势。图像拍摄单元110可包括摄像机，光传感器，超声波传感器，和图像传感器，并且为了精确的手形识别，图像传感器是最有利的。图像拍摄单元Iio的位置可以在方向盘的下面或上面。另外，图像存储单元150可以被配置成累积并存储由图像拍摄单元110捕捉的图像。计时器160可被配置成确定时间。
[0034]另外，信息数据库120被配置成存储预先定义的手形痕迹信息。所存储的手形痕迹信息可以被预设为用于一般定义的痕迹。例如，预设手形痕迹信息可以是如图3的形式并且可以具有其他各种手形痕迹。在图3中，向右，向左，摆动，向下，向上，以及画圆的手上动作被定义为音乐播放，音乐停止，音乐选择，声音加，声音减和暂停，但是这种定义可以做出各种变化。
[0035]进一步地，信息数据库120可以被配置成存储由乘客记录的手形痕迹信息。乘客可以选择并存储各种手形痕迹信息。换言之，为了能够在最少的错误下识别每个乘客的不同手形痕迹信息，每个乘客可以直接输入乘客的手形痕迹。
[0036]ECU130可以被配置成比较所捕捉的乘客手部图像的当前帧和存储在图像存储单元150中的累积图像帧并且可以被配置成获得在预定时间形成的手形痕迹信息。预定时间可以是手形痕迹形成的时间段并且可以由计时器160设置。
[0037]必要时可以根据人体图像执行图像处理。即可以从乘客的人体图像移除人体周边图像，并且提取的图像可以分类为头部，中间部分，每个手臂，每只手，和每条腿，且可以在模型中形成。通过跟踪模型化的手部图像可以获得手形痕迹信息。
[0038]进一步地，E⑶130可以被配置成确定与所获得的手部图像痕迹信息匹配的手部图像痕迹信息是否存储在信息数据库120中。当与所获得的手部图像痕迹信息匹配的手部图像痕迹信息存储在信息数据库120中时，E⑶130可以被配置成识别存储的手部图像痕迹信息作为乘客的手部图像痕迹。当匹配所获得的手部图像痕迹信息的手图像痕迹信息未存储在信息数据库120中时，乘客的手部图像信息作为不能识别的信息而可能不被识别。
[0039]另外，E⑶130可以被配置成根据输入单元100的输入信号确定是否使用手形痕迹识别功能。换言之，当E⑶接收指令使用或者终止手形痕迹识别功能的输入信号时，E⑶130可以被配置成操作图像拍摄单元110以启动或者终止捕捉乘客图像。具体地,E⑶130可以被配置成操作图像拍摄单元110以捕捉用户的手移动区域的图像。
[0040]另外，E⑶130可以被配置成选择对应于所识别的手形痕迹的车辆设备操作。对应的车辆设备操作列表可以在数据库中形成并存储。ECU130可以被配置成根据所选择的的车辆设备操作生成控制信号并提供预期的操作。例如，可选择的车辆设备操作可以是接收/关闭移动电话的呼入电话，音乐播放/停止/静音，声音加/减，以及遮阳板操作。
[0041]输出单元140可包括作为车辆设备操作目标的触屏，扬声器，以及移动电话，音乐设备，空调，和遮阳板。进一步地，输出单元140可被配置成在显示器(例如，屏幕)上输出车辆设备操作内容。
[0042]图2是示出根据本发明的示范性实施例的使用手形痕迹识别操作用户界面的方法的示范性流程图。
[0043]参考图2，乘客可以通过输入单元100请求手形痕迹识别功能(S100)。当乘客请求使用手形痕迹识别功能时，E⑶130可经配置捕捉乘客的手部图像(S110)。具体地，图像拍摄单元110 (例如，成像设备)可以由ECU操作拍摄乘客的整个身体。
[0044]然后，通过E⑶在图像存储单元150中存储所捕捉的图像。这种图像可以累积并存储预定的时间(S120)。E⑶130可经配置比较乘客的手部图像的当前帧和存储在图像存储单元150中的累积图像帧，并且可以经配置获得在预定时间形成的手形痕迹信息(S130)。具体地，通过收集比较当前图像和以前图像的处理可以生成手形痕迹信息。例如，这类似于当用手擦干净蒙雾的窗户时痕迹的形状的手的动作。
[0045]例如，如图4所示，当空间地结合通过比较当前图像和以前的图像而改变的像素时，可以检测到一个包络线。通过重复这个过程可以获得手形痕迹。
[0046]通过实际比较当前图像和以前的图像，发生动作的屏幕的像素值可以显示为I并且未发生动作的屏幕的像素值显示为0，并且当跟踪发生动作的区域I的形状变化时，可以获得手形痕迹。用于获得这种手形痕迹的图像帧的数量可以是对应预定时间的数量并且必要时可以预先确定。根据需要也可以通过另一种取代比较当前帧和前一帧的方法获得手形痕迹信息。预定时间可以是手形痕迹形成的时间段并且可以由定时器160设定。
[0047]必要时根据人体图像可以执行图像处理。换言之，可以从乘客的人体图像中移除人体周围图像，并且所提取的图像可以分类为头部，中间部分，每个手臂，每只手，和每条腿并且可以在模型中形成。通过跟踪模块化的手部图像可以获得手形痕迹信息。
[0048]然后，E⑶130可经配置比较所获得的手部图像痕迹信息和存储在信息数据库120(S140)中的匹配的手部图像痕迹信息。E⑶130可经配置确定与所获得的手部图像痕迹信息匹配的手部图像痕迹信息是否存储在信息数据库120 (S150)，并且当与所获得的手部图像痕迹信息匹配的手部图像痕迹信息存储在信息数据库120中时，E⑶130可经配置识别所存储的手部图像痕迹信息作为乘客的手部图像痕迹(S160)。当与所获得的手部图像痕迹信息匹配的手部图像痕迹信息未存储在信息数据库120中时，作为不可识别的信息，不能识别乘客的手部图像痕迹信息。
[0049]接着，E⑶130可经配置选择对应于所识别的手形痕迹信息的车辆设备操作。E⑶130可经配置根据所选择的车辆设备操作生成控制信号并提供所请求的操作(S170)。这种车辆设备操作可包括操作，例如，车辆内的空调设备和音频系统，并且可以应用到信息(如内容或媒体)的传输，复制，存储，和校正。操作结果可以由ECU通过输出单元140显示。并且根据驾驶员的手形痕迹识别功能终止的请求可以终止使用手形痕迹识别的用户界面(S180)。
[0050]在本发明的示范性实施例中，由于可以使用累积的痕迹，通过消除由外部环境因素导致的影响可以获得手形痕迹。
[0051]尽管本发明已结合目前被认为是示范性实施例的实施例描述，仍应理解本发明不限制于所公开的实施例。相反，本发明旨在涵盖各种修改和等同设置，以上均在所属权利要求的精神和范围之内。
【权利要求】
1.一种在车辆内使用手形痕迹识别来操作用户界面的方法，所述方法包括: 通过控制器接收乘客图像的输入； 通过所述控制器识别来自所述乘客图像的手形痕迹信息；以及 通过所述控制器选择对应于所识别的手形痕迹信息的车辆设备操作。
2.根据权利要求1所述的方法，其中接收输入的步骤包括: 通过所述控制器接收来自成像设备的乘客手部图像的输入以及累积并存储所述乘客手部图像；以及 通过所述控制器计算所述乘客手部图像的当前帧和前一帧之间的差异并获得手形痕迹信息。
3.根据权利要求2所述的方法，其中识别手形痕迹信息的步骤包括: 通过所述控制器确定与所述手形痕迹信息匹配的手形痕迹信息是否存储在信息数据库中；以及 当与所述手形痕迹信息匹配的手形痕迹信息存储在所述信息数据库中时，通过所述控制器识别所述手形痕迹信息。
4.根据权利要求1所述的方法，其进一步包括: 在所述接收输入的步骤之前通过所述控制器确定是否存在手形痕迹识别功能使用请求，· 其中当手形痕迹识别功能使用请求存在时，执行所述接收乘客图像的输入的步骤。
5.根据权利要求4所述的方法，其进一步包括: 通过所述控制器确定手形痕迹识别功能使用终止请求是否存在；以及当手形痕迹识别功能使用终止请求存在时，通过所述控制器终止所述手形痕迹识别功能使用。
6.一种在车辆内使用手形痕迹识别的用户界面操作系统，所述用户界面操作系统包括: 成像设备，被配置成捕捉乘客图像；以及 控制器，被配置成: 存储所述乘客图像； 将可识别的手形痕迹信息存储在信息数据库中；以及 接收捕捉的乘客图像的输入； 识别来自所捕捉的乘客图像的手形痕迹信息；以及 选择对应于所识别的手形痕迹信息的车辆设备操作。
7.根据权利要求6所述的用户界面操作系统，其中所述控制器被进一步配置成: 接收来自所述成像设备的乘客手部图像的输入以及累积并存储所述乘客手部图像；以及 计算所述乘客手部图像的当前帧和前一帧之间的差异并获得手形痕迹信息。
8.根据权利要求7所述的用户界面操作系统，其中所述控制器被进一步配置成: 确定与所述手形痕迹信息匹配的手形痕迹信息是否存储在信息数据库中；以及 当与所述手形痕迹信息匹配的手形痕迹信息存储在所述信息数据库中时，识别所述手形痕迹信息。
9.根据权利要求6所述的用户界面操作系统，其中所述控制器被进一步配置成: 在接收所述输入之前确定手形痕迹识别功能使用请求是否存在， 当手形痕迹识别功能使用请求存在时接收乘客图像输入。
10.根据权利要求9所述的用户界面操作系统，其中所述控制器被进一步配置成: 确定手形痕迹识别功能使用终止请求是否存在；以及 当手形痕迹识别功能使用终止请求存在时终止所述手形痕迹识别功能的使用。
11.一种包含由控制器执行的程序指令的非临时性计算机可读介质，所述计算机可读介质包括: 控制成像设备捕捉乘客图像的程序指令； 存储所述乘客图像的程序指令； 在信息数据库中存储可识别手形痕迹信息的程序指令； 接收所捕捉的乘客图像输入的程序指令； 识别来自所捕捉的乘客图像的手形痕迹信息的程序指令；以及 选择对应所述识别的手形痕迹信息的车辆设备操作的程序指令。
12.根据权利要求11所述的非临时性计算机可读介质，其进一步包括: 接收来自所述成像设备的乘客手 部图像输入以及累积并存储所述乘客手部图像的程序指令；以及 计算所述乘客手部图像的当前帧和前一帧之间的差异并获得手形痕迹信息的程序指令。
13.根据权利要求12所述的非临时性计算机可读介质，其进一步包括: 确定与所述手形痕迹信息匹配的手形痕迹信息是否存储在所述信息数据库中的程序指令；以及 当与所述手形痕迹信息匹配的手形痕迹信息存储在所述信息数据库中时识别所述手形痕迹信息的程序指令。
14.根据权利要求11所述的非临时性计算机可读介质，其进一步包括: 在接收所述输入之前确定手形痕迹识别功能使用请求是否存在的程序指令； 当手形痕迹识别功能使用请求存在时接收乘客图像输入的程序指令。
15.根据权利要求14所述的非临时性计算机可读介质，其进一步包括: 确定手形痕迹识别功能使用终止请求是否存在的程序指令；以及 当手形痕迹识别功能使用终止请求存在时终止所述手形痕迹识别功能的使用的程序指令。
【文档编号】G06F3/0487GK103853462SQ201310537990
【公开日】2014年6月11日 申请日期:2013年11月4日 优先权日:2012年12月5日
【发明者】金圣云 申请人:现代自动车株式会社