车辆中利用手腕角度操作用户界面的系统和方法
【专利摘要】一种利用手腕角度来操作用户界面的方法和系统，其包括由控制器接收由图像拍摄单元拍摄的图像；和根据所拍摄的图像检测乘客的手臂和手的形状以计算手腕角度。另外，该方法包括由上述控制器识别与所计算的手腕角度的变化对应的手腕姿势信息；和选择与所识别的手腕姿势信息对应的车辆设备操作。
【专利说明】车辆中利用手腕角度操作用户界面的系统和方法
【技术领域】
[0001]本发明涉及一种在车辆内利用手腕角度对可识别乘客姿势(gesture、动作)的用户界面(User Interface)进行操作以便控制设备的方法。
【背景技术】
[0002]近来，为使乘客方便，在车辆内安装有各种电子设备。具体而言，例如收音机和空气调节器之类的电子设备安装在传统车辆中，而且近来，例如导航系统和移动电话免提系统之类的电子设备安装在车辆内。
[0003]传统车辆中的电子设备通过指定按钮提供用户界面。乘客必须直接用手接触电子设备来操作该电子设备。另外，因为这种操作是基于乘客的眼睛和手操作而进行的，所以可能影响安全驾驶。因此，需要研发在不影响驾驶的情况下方便用户的界面技术。于是，在现有技术中，利用超声波传感器测量距离和检测速度从而识别手的位置或移动。
[0004]另外，利用红外线束检测反射信号从而间接地检测手的存在或位置。进而，利用电容传感器对手的接近进行电识别，从而在一小段距离处识别手。
[0005]近来，已研发出一种通过发送和接收无线电波识别姿势的技术，例如使用身体导电性的天线。在一种使用成像设备(例如，摄像机)的方法中，检测手的形状或运动，从而识别手势。
[0006]上述识别姿势的传统方法包括观测手的形状或检测手并且识别手的运动的技术。然而，传统方法具有识别率低的缺点，这是因为手的形状的自由度很高而且手的亮度或颜色与手的外围相似。
[0007]本部分公开的上述信息仅用于增强对本发明【背景技术】的理解，因此其可能包括不构成本国家本领域技术人员所已知的现有技术的信息。
【发明内容】
[0008]本发明提供一种用于在车辆内从成像设备(例如，摄像机)拍摄的图像信息中提取乘客的手腕角度，利用手腕角度识别姿势，并且在车辆内控制各种电子设备的系统和方法。
[0009]在车辆中利用手腕角度操作用户界面的方法可以包括:从成像设备接收图像:从图像中检测乘客的手臂和手的形状以计算手腕角度，并且识别与所计算的手腕角度的变化对应的手腕姿势信息；和选择与所识别的手腕姿势信息对应的车辆设备操作。
[0010]识别图像中的手腕姿势信息的步骤可包括:从图像中检测乘客的手臂和手的形状；根据所检测的手臂和手的位置计算手腕角度；在预定时间内反复进行上述步骤，以生成所计算的手腕角度的变化；和识别与所计算的手腕角度的变化对应的手腕姿势信息。
[0011]此外，识别与所计算的手腕角度的变化对应的手腕姿势信息的步骤可以包括:确定与所计算的手腕角度的变化匹配的手腕姿势信息是否存储在信息数据库中；和当确定与所计算的手腕角度的变化匹配的手腕姿势信息存储在信息数据库中时，识别所存储的手腕姿势信息作为乘客的手腕姿势信息。
[0012]上述方法还可以包括:在从成像设备接收图像之前，确定手腕姿势识别功能是否被请求。当确定手腕姿势识别功能被请求使用时，可从成像设备接收图像。另外，上述方法可包括:确定是否被请求终止手腕姿势识别功能，并且当确定被请求终止手腕姿势识别功能时，手腕姿势识别功能可被终止。
[0013]用于在车辆中利用手腕角度操作用户界面的系统可以包括:拍摄图像的图像拍摄单元；存储所拍摄的图像的图像存储单元；信息数据库，其存储可识别的手腕姿势信息和与手腕姿势信息对应的设备操作信息；和电子控制单元(EOJ electronic control unit),其基于来自图像拍摄单元的输入信号和存储在图像存储单元中的累积图像信息控制车辆设备操作。ECU可执行用于执行上述方法的一系列命令。
[0014]上述系统还可以包括:输入单元，其从乘客处接收用于请求手腕姿势识别功能的信号，并将该信号发送至ECU ;和输出单元，其显示ECU的车辆设备操作内容。
【专利附图】
【附图说明】
[0015]图1是示意性地示出本发明的示例性实施例的在车辆中利用手腕角度的用户界面系统的示例性视图；
[0016]图2是本发明的示例性实施例的图1的电子控制单元(ECU)的示例性框图；
[0017]图3是示出本发明的示例性实施例的手腕角度和指尖向量的测量的示例的示例性视图；
[0018]图4是本发明的示例性实施例的与手腕姿势对应的控制的示例性视图；以及
[0019]图5是示出本发明的示例性实施例的在车辆中利用手腕角度操作用户界面的方法的示例性流程图。
[0020]附图标记
[0021]100:输入单元 110:图像拍摄单元
[0022]120:信息数据库130:电子控制单元
[0023]140:输出单元 150:图像存储单元
[0024]160:定时器
【具体实施方式】
[0025]应理解，本文使用的术语“车辆”(vehicle)或“车辆的”(vehicular)或其它类似术语包括通常的机动车，例如，包括多功能运动车(SUV)在内的乘用车、公交车、卡车、各种商务车、包括各种船只和船舶的水运工具、飞行器等等，并且包括混合动力车、电动车、插入式混合电动车、氢动力车、燃料电池车和其它代用燃料车(例如，来源于石油以外的资源的燃料)。
[0026]虽然示例性实施例被描述为利用多个单元来执行上述示例性进程，但应该理解，示例性进程也可以由一个活多个模块执行。此外，应该理解术语“控制器/控制单元”是指包括存储器和处理器的硬件装置。该存储器配置为存储上述模块，而处理器具体配置为执行上述模块，以便执行下面进一步描述的一个或多个进程。
[0027]此外，本发明的控制逻辑也可具体化为计算机可读介质上的非瞬时性计算机可读介质，该计算机可读介质包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的例子包括但不限于ROM、RAM、CD-ROM(只读光盘)，磁带、软盘、闪盘(flashdrive)、智能卡和光学数据存储装置。计算机可读记录介质也可分布在连接网络(networkcoupled)的计算机系统中，以便例如通过远程服务器或控制器区域网络(CAN ControllerArea Network)以分布形式存储和执行计算机可读介质。
[0028]本文使用的术语仅仅是为了说明示例性实施方式的目的而不是意在限制本发明。如本文所使用的，单数形式“一个、一种(a、an和the)”也意在包括复数形式，除非上下文中清楚指明。还可以理解的是，在说明书中使用的术语“包括(comprises和/或comprising) ”是指存在所述特征、整数(Integer,整体)、步骤、操作、元件和/或部件,但是不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其群组。如本文所使用的，术语“和/或”包括一个或多个相关所列项目的任何和所有组合。
[0029]下文中，本发明的示例性实施例将结合附图进行描述。本领域技术人员将会理解，所描述的示例性实施例可按各种不同的方式修改，而不脱离本发明的精神或范围。另外，因为附图中的元件是为了方便起见任意示出的，因此本发明并不一定限于这些附图。
[0030]图1是示意性地示出本发明的示例性实施例的在车辆中利用手腕角度的用户界面系统的示例性视图。参见图1，本发明的示例性实施例的利用手腕角度的用户界面(UI:user interface)系统可包括由电子控制单元(E⑶)130执行的多个单元。多个单元可包括输入单元100、图像拍摄单元110、信息数据库120、定时器160、图像存储单元150和输出单元 140。
[0031]输入单元100可包括按钮和触摸屏。具体而言，输入信号被描述为由按钮或触摸屏产生。但是，声音和姿势也适用于作为其他输入方法。图像拍摄单元110可包括成像设备(例如，摄像机)、光传感器(photo sensor)、超声波传感器和图像传感器，并且可被配置为拍摄图像。另外，图像拍摄单元110可位于方向盘(steering wheel)附近、方向盘下方或方向盘上，并且位于用户身体的图像，例如用户的手和腿，可被容易拍摄的位置。
[0032]而且，图像存储单元150可配置为累积由图像拍摄单元110拍摄的图像的帧，从而存储所累积的帧，或可以存储经ECU130处理的图像。定时器160可配置为核对所拍摄的每个图像的时间。信息数据库120可配置为存储与预定的各个手腕角度的变化对应的手腕姿势信息。另外，与手腕姿势信息对应的设备操作信息可按需存储。
[0033]例如，如图4所示，当手腕执行例如左摇(left flicking)、右摇、挥动和旋转之类的动作时，可选的车辆设备操作可以为左歌曲和右歌曲选择、电源开/关、和音量升/降。除了上述情况之外，可由各种手腕姿势执行音乐停止、音乐开/关、音乐暂时停止、和空气调节器开/关。
[0034]所存储的手腕姿势信息可预定为通常定义的姿势。另外，信息数据库120可配置为存储由乘客注册的手腕姿势信息。乘客可选择各种手腕角度变化信息项目来存储所选的信息项目作为手腕姿势。换句话说，乘客可直接输入他或她的手腕角度变化信息作为手腕姿势，因此，关于身体一部分的变化的信息对每个乘客来说可以是不同的，例如，手腕角度可无误地识别为手腕姿势。
[0035]E⑶130可配置为从来自图像拍摄单元110的图像输入，检测手和手臂，并且根据所检测的手和手臂计算手腕角度。所计算的手腕角度可反复累积，以计算手腕角度的变化。另外，可由ECU130比较存储在图像存储单元150中的当前图像帧和先前图像帧，以检测手腕角度的变化。手腕角度变化生成方法可有各种变形，手腕角度变化信息可通过其他方法检测。
[0036]参考图2，E⑶130可包括全由E⑶130控制(operate)的图像处理模块132、手腕角度提取模块133、姿势识别模块134、和设备操作模块135。
[0037]图像处理模块132可配置为处理成像设备的图像。另外，图像处理模块132可配置为确定手腕姿势识别功能是否基于输入单元100的输入信号使用。换句话说，当指示手腕姿势识别功能被使用或终止的输入信号被输入时，E⑶130的图像处理模块132可配置为控制图像拍摄单元110来开始或终止图像的拍摄。另外，用户的手移动的区域可被拍摄。
[0038]手腕角度提取模块133可配置为基于身体图像处理图像。换句话说，身体外围图像(peripheral image)可从乘客的身体图像的真实图像和虚拟图像中移除,而且所提取的图像可分割为有待建模的头部、身体、手臂、手和腿。可从建模后的手和手臂图像中的窄和宽的形状中获取线性分量。图3示出了这样的示例。
[0039]参考图3，手与手臂的线性分量之间的角度可被定义为手腕角度。当手与手臂被区分后，可从图3的手臂起点沿着手臂的轮廓测量距离，这样最远点可被视作指尖。指尖的轮廓的曲率大幅增加的部分可被检测为腕点。
[0040]在获取手腕角度的另一方法中，对于指尖，当手臂起点向量形成在手臂图像向量的左边时，可确定左移动，而当手臂起点向量形成在手臂图像向量的右边时，可确定右移动。
[0041]姿势识别模块134可配置为参考信息数据库120在预定时间，根据手腕角度的变化来识别手腕姿势。根据手腕角度的变化识别手腕姿势的预定时间可参考定时器160核对。随后，姿势识别模块134可配置为确定与所获取的手腕角度的变化匹配的手腕姿势信息是否存储在信息数据库120中。当存储有与手腕角度的变化匹配的手腕姿势时，姿势识别模块134可配置为识别该手腕姿势作为乘客的手腕姿势。
[0042]另外，设备操作模块135可配置为选择与所识别的手腕姿势对应的车辆设备操作。换句话说，ECU130的设备操作模块135可配置为基于所选的车辆设备操作，生成控制信号来控制期望的操作。例如，可选的车辆设备操作可以是歌曲选择、电源开和关、音量增加和减少、移动电话接听和挂断、音乐重放/停止/静音、空气调节器开和关、加热器开和关、和遮阳板操作。
[0043]输出单元140可包括触摸屏、扬声器、作为车辆设备操作的对象的移动电话、音乐设备、空气调节器、加热器、遮阳板和内容操作(content manipulation)。另外,车辆设备操作内容(content)可输出至显示屏。
[0044]图5是示出本发明的示例性实施例的在车辆中使用二维成像设备(例如，摄像机)操作用户界面的方法的示例性流程图。参见图5，乘客可通过输入单元100请求手腕姿势识别功能S100。
[0045]当手腕姿势识别功能被请求时，E⑶130的图像处理模块132可配置为开始通过图像拍摄单元110拍摄乘客的身体或手的图像S110。随后，由图像拍摄单元110拍摄的图像可输出至E⑶130而由图像处理模块132处理，并且可被累积而存储在图像存储单元150中S120。[0046]手腕角度提取模块133可配置为从所拍摄的图像中移除身体外围图像S120。另夕卜，手腕角度提取模块133可配置为将所提取的图像分割为有待建模的身体、手臂和手S130，并且仅提取手和手臂图像来计算手腕角度。通过这样的方法，可在预定时间内计算手腕角度，而且可提取手腕角度的变化S140。提取手腕角度的变化的方法可具有各种变形。
[0047]随后，姿势识别模块134可配置为确定与所提取的手腕角度的变化匹配等的手腕姿势是否存储在信息数据库120中S150。当由姿势识别模块134确定与上述手腕角度的变化匹配的手腕姿势存储在信息数据库130中时，该匹配的手腕姿势可识别为乘客的手腕姿势 S160。
[0048]而且，设备操作模块135可配置为选择与所识别的手腕姿势对应的车辆设备操作。设备操作模块135可配置为基于所选的车辆设备操作生成控制信号来提供期望的操作S170。车辆设备操作可包括车辆内的空气调节系统和音频系统的操作，并且可应用于例如内容(contents、目录)或媒体之类的信息的发送、复制、存储和校正。
[0049]操作结果可通过输出单元140输出，而利用手腕姿势的识别的用户界面可基于驾驶员是否请求终止手腕姿势识别功能，来终止S180。
[0050]根据本发明的示例性实施例，因为可使用手腕表达姿势，所以乘客可方便地表达姿势。另外，根据本发明的示例性实施例，手的形状的识别并不限于允许姿势被自由地识另O。另外，根据本发明的示例性实施例，因为乘客可用手操作方向盘，并且可容易地用另一只手控制车辆内的各种电子设备的同时保持目光前视，因此能够改善乘客的便利性和驾驶安全。
[0051]虽然本发明已结合目前被认为是示例性实施例的实施例进行了描述，但可以理解的是，本发明不限于上述公开的实施例，而相反，其可以覆盖被包含在所附权利要求的精神和范围内的各种修改或等同配置。
【权利要求】
1.一种在车辆中利用手腕角度操作用户界面的方法，其特征在于，包括: 由控制器，接收由图像拍摄单元拍摄的图像； 由所述控制器，从所拍摄的图像中检测乘客的手臂和手的形状来计算所述手腕角度； 由所述控制器，识别与所计算的手腕角度的变化对应的手腕姿势信息；和 由所述控制器，选择与所识别的手腕姿势信息对应的车辆设备操作。
2.如权利要求1所述的方法，其特征在于，所述在所拍摄到的图像中识别所述手腕姿势信息的步骤，还包括: 由所述控制器，从所拍摄的图像中，检测乘客的手臂和手的形状； 由所述控制器，根据所检测的手臂和手的位置，计算手腕角度； 由所述控制器，在预定时间内反复进行所述检测步骤和所述计算步骤，以生成所计算的手腕角度的变化；和 由所述控制器，识别与所计算的手腕角度的变化对应的手腕姿势信息。
3.如权利要求2所述的方法，其特征在于，所述识别与所计算的手腕角度的变化对应的手腕姿势信息的步骤，还包括: 由所述控制器，确定与所计算的手腕角度的变化匹配的所述手腕姿势信息是否存储在信息数据库中；和 响应于确定与所计算的手腕角度的变化匹配的所述手腕姿势信息存储在所述信息数据库中，由所述控制器，识别所存储的手腕姿势信息作为所述乘客的手腕姿势信息。
4.如权利要求1所述的方法，`其特征在于，还包括: 在接收所拍摄的图像前，由所述控制器，确定手腕姿势识别功能是否被请求；和 响应于确定所述手腕姿势识别功能被请求使用，由所述控制器，接收所拍摄的图像。
5.如权利要求1所述的方法，其特征在于，还包括: 由所述控制器，确定终止所述手腕姿势识别功能的请求；和 响应于接收到所述终止手腕姿势识别功能的请求，由所述控制器，终止所述手腕姿势识别功能。
6.一种在车辆中利用手腕角度操作用户界面的系统，其特征在于，包括: 图像拍摄单元，配置为拍摄图像； 图像存储单元，配置为存储由所述图像拍摄单元拍摄的图像； 信息数据库，配置为存储可识别的手腕姿势信息和与所述手腕姿势信息对应的设备操作信息；和 控制器，配置为基于来自所述图像拍摄单元的输入信号和存储在所述图像存储单元中的所累积的图像信息来控制车辆设备操作。
7.如权利要求6所述的系统，其特征在于，所述控制器进一步配置为: 接收请求手腕姿势识别功能的信号；和 显示车辆设备操作内容。
8.一种包含由处理器或控制器执行的程序指令的非瞬时性计算机可读介质，其特征在于，所述计算机可读介质包括: 接收由图像拍摄单元拍摄的图像的程序指令； 从所拍摄的图像中检测乘客的手臂和手的形状来计算手腕角度的程序指令；识别与所计算的手腕角度的变化对应的手腕姿势信息的程序指令；和 选择与所识别的手腕姿势信息对应的车辆设备操作的程序指令。
9.如权利要求8所述的非瞬时性计算机可读介质，其特征在于，还包括: 从所拍摄的图像中，检测乘客的手臂和手的形状的程序指令； 根据所检测的手臂和手的位置，计算手腕角度的程序指令； 在预定时间内反复进行所述检测处理和所述计算处理，以生成所计算的手腕角度的变化的程序指令；和 识别与所计算的手腕角度的变化对应的手腕姿势信息的程序指令。
10.如权利要求9所述的非瞬时性计算机可读介质，其特征在于，还包括: 确定与所计算的手腕角度的变化匹配的所述手腕姿势信息是否存储在信息数据库中的程序指令；和 响应于确定与所计算的手腕角度的变化匹配的所述手腕姿势信息存储在所述信息数据库中，识别所存储的手腕姿势信息作为所述乘客的手腕姿势信息的程序指令。
11.如权利要求8所述的非瞬时性计算机可读介质，其特征在于，还包括: 在接收所拍摄的图像前，确定手腕姿势识别功能是否被请求的程序指令；和 响应于确定所述手腕姿势`识别功能被请求使用，接收所拍摄的图像的程序指令。
【文档编号】G06F3/01GK103869975SQ201310757066
【公开日】2014年6月18日 申请日期:2013年12月13日 优先权日:2012年12月18日
【发明者】金圣云 申请人:现代自动车株式会社