通过2d相机操作用户界面的系统和方法
【专利摘要】本发明公开了通过2D相机操作用户界面的系统和方法，其中，该方法包括：接收所获取的乘客的图像和所获取的反射镜上的乘客的反射的图像；从所获取的图像中提取乘客的实像和虚像，并且通过实像和虚像之间的相关性来识别手势；以及选择与所识别的手势对应的车载设备作业。因此，乘客能够在利用一只手操作方向盘并且保持他们的眼睛向前的同时利用另一只手的简单运动来控制多个车载电子设备，从而使乘客更加方便并提高行车安全。
【专利说明】通过2D相机操作用户界面的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2012年12月18日提交给韩国知识产权局的韩国专利申请第10-2012-0148814号的优先权和权益，通过引用将其全部内容结合于此。
【技术领域】
[0003]本发明涉及一种通过由2D相机识别乘客的手势来操作控制车载设备的用户界面的系统和方法。
【背景技术】
[0004]现代车辆配备有方便乘客的许多电子设备。这些电子设备包括:导航系统、免提移动电话系统等、以及诸如收音机和空调器等常规电子设备。
[0005]常规车载电子设备提供经由指派按钮的用户界面，并且近几年触屏的使用已经普及。乘客可以通过利用他们的手直接触摸这些设备而操作它们。然而，基于乘客的视线和手运动的操作可能妨碍安全驾驶。因此，有必要开发提供用户方便而并不妨碍驾驶的用户界面技术。
[0006]为了解决这个问题，超声波传感器常用于通过距离和速度检测来识别手的位置和
/或运动。
[0007]此外，手的存在或不存在和/或手的位置已经通过利用手遮断红外光束或者检测反射信号来间接地检测。
[0008]近距离接近电子设备的手已经通过由静电电容式传感器电识别手的接近来检测。
[0009]最近已经公开了利用人体导电性的手势识别技术，其通过类似天线一样发射和接收无线电波来识别手势。
[0010]然而，利用静电电容式传感器的常规方法仅提供诸如距离等的一维信息，并且即使使用多个传感器，才可以识别一些运动，而未考虑手势。
[0011]此外，即使当使用诸如网络摄像头等2D相机时，仅操作由相机看见的二维图像，因此使得难于测量面向相机的运动。
[0012]所公开的上述信息仅用于增强对本发明的【背景技术】的理解，并因此上述信息包含的信息并不形成为该国的本领域的普通技术人员所已知的现有技术。
【发明内容】
[0013]进行本发明以致力于提供一种从由车载的反射镜和2D相机获取的图像信息中识别手势并因此控制多个车载电子设备的系统和方法。
[0014]一种通过车载的2D相机操作用户界面的方法，包括:
[0015]接收所获取的乘客图像和所获取的反射镜上的乘客的反射的图像；从所获取的图像中提取乘客的实像和虚像，并且通过在实像和虚像之间的相关性来识别手势；以及选择与识别的手势对应的车载设备作业。[0016]从所获取的图像中对乘客的实像和虚像进行提取，以及通过实像和虚像之间的相关性对手势进行识别可以包括:
[0017]从所获取的乘客图像中提取乘客的手的实像和虚像；从所获取的乘客图像中提取乘客的手的图像；生成实像和虚像的轨迹；以及从实像和虚像的轨迹中识别手势。
[0018]从实像和虚像的轨迹中对手势的识别可以包括:确定匹配实像和虚像的轨迹的手势是否存储在信息数据库中；以及如果匹配手势存储在信息数据库中，则将实像和虚像的轨迹识别为手势。
[0019]该方法可以进一步包括:确定在接收获取的乘客图像之前是否存在使用手势识别功能的请求；以及如果存在使用手势识别功能的请求，则接收获取的乘客图像。
[0020]该方法可以进一步包括:确定是否存在终止手势识别功能的请求；以及如果存在终止手势识别功能的请求，则终止手势识别功能。
[0021]一种用于具有反射镜的车内通过2D相机操作用户界面的系统，包括:
[0022]图像获取器，用于获取乘客的图像；图像存储器，用于存储由图像获取器获取的图像；信息数据库，存储可识别的手势和相应的车载设备信息；以及电子控制单元(本文中也称作电子控制器)，用于基于来自图像获取器的输入信号和图像存储器中存储的蓄积图像信息来控制车载设备作业，其中，电子控制器执行一系列用于执行该方法的命令。
[0023]该系统可以进一步包括:信号接收器，用于从乘客接收请求信号以使用手势识别功能，并且将请求信号传递至电子控制器；以及输出展示器，用于显示电子控制器的车载设备作业的内容。
[0024]根据本发明的示例性实施方式，由于能够通过由2D相机获取的实像和虚像之间的相关性来提取乘客的手势，因此可实现成本降低。
[0025]此外，根据本发明的示例性实施方式，由于使用了车载的常规2D相机和反射镜，所以可以在没有额外努力的情况下，可以识别3D运动或手势。
[0026]此外，根据本发明的示例性实施方式，识别出的手的向上运动、向下运动、向左运动、以及向右运动的3D运动使乘客的自然手势能够操作相应的设备，从而实现改进使用性倉泛。
[0027]因此，乘客能够在利用一只手操作方向盘并且保持他们的眼睛向前的同时利用另一只手的简单运动来控制多个车载电子设备，从而提高乘客的便利的同时提高行车安全。
【专利附图】
【附图说明】
[0028]图1是示意性地示出了根据本发明的示例性实施方式的利用2D相机的用户界面系统的不图。
[0029]图2是根据本发明的示例性实施方式的由车载的2D相机操作用户界面的方法的顺序图。
[0030]图3是与根据本发明的示例性实施方式的手势对应的操作的说明。
【具体实施方式】
[0031]在下文中，将参考附图详细地描述本发明的示例性实施方式。
[0032]如本领域的技术人员应当理解的，在不偏离本发明的精神或范围的情况下，可以以各种不同的方式对所描述的实施方式进行修改。
[0033]图1是示意性地示出了根据本发明的示例性实施方式的利用2D相机的用户界面系统的不图。
[0034]参考图1，利用2D相机的用户界面(UI)系统包括:信号接收器100、图像获取器110、信息数据库120、定时器160、图像存储器150、电子控制单元(ECT) 130、以及输出展示器 140。
[0035]信号接收器100包括:按钮、触屏等。本文中所使用的输入指代通过按钮或触屏生成输入信号，但也可以使用诸如声音、手势等的其他输入方法。
[0036]图像获取器110包括:2D相机、光学传感器、超声波传感器、图像传感器等。图像获取器Iio能够将人体部分的实像和反射镜200上反射的虚像获取为彩色图像或黑白图像。只要图像获取器110定位为获取包括用户的手、腿等人体的图像的位置，图像获取器110可以位于紧挨着方向盘、方向盘以下、或方向盘以上的位置。
[0037]反射镜200可以是显示器，诸如AVN、挡风玻璃、客厢内后视镜(room mirror)、中央仪表板的内部、变速杆侧的内部、或人造镜面。
[0038]图像存储单元150可以蓄积地存储由图像获取器110获取的图像帧，或者存储电子控制单元130中处理的图像。
[0039]定时器160校对时间。
[0040]信息数据库120存储与多个预定的人体部分的实像和虚像的轨迹对应的手势。此夕卜，信息数据库120根据需要存储与手势对应的设备操作信息。例如，如图3所示，车载设备作业可以针对各种手势进行操作，诸如当实像和虚像中的手掌靠近时、实像和虚像中的手掌向左移动或向上移动时，用于在行车时接电话、播放音乐、停止音乐、打开/关闭音乐、暂停音乐、以及打开/关闭空调器。
[0041]优选地，存储的手势针对通常定义的手势而预设。
[0042]信息数据库120存储由乘客登记的手势。乘客可以选择各种人体部分的实像和虚像的轨迹并将它们存储为手势。
[0043]优选每个乘客输入诸如手等他们自己身体部分的实像和虚像的轨迹，以便将不同身体部分的实像和虚像的轨迹没有误差地识别为手势。
[0044]电子控制单元130从图像获取器110获取的图像中提取手的实像和反射镜200上反射的手的虚像。这样，通过重复提取实像和虚像并且蓄积它们可以生成实像和虚像的轨迹。
[0045]此外，可通过将当前图像帧与存储在图像存储单元150中的先前图像帧进行比较来检测手的实像和手的虚像的轨迹。
[0046]可以以各种方式对生成实像和虚像的轨迹的方法进行修改，但也可以使用其他方法来检测实像和虚像的轨迹。
[0047]例如，电子控制单元130可以基于人体图像执行图像处理。即，将外围图像从乘客的身体的实像和虚像移除，并对提取的图像中的头、躯干、每只胳膊、每只手、以及每条腿分别建模。实像和虚像的轨迹从手的建模图像中来检测。
[0048]此外，电子控制单元130通过参考信息数据库120从针对预定时段创建的实像和虚像的轨迹中识别手势。[0049]预定时段指代需要形成实像和虚像的轨迹所需的时间，该时段足够识别手势，并可以参考定时器160进行校正。
[0050]此外，电子控制单元130确定匹配所检测的实像和虚像的轨迹的手势是否存储在信息数据库120中。如果匹配手势存储在信息数据库120中，则电子控制单元130将实像和虚像的轨迹识别为乘客的手势。另一方面，如果匹配手势未存储在信息数据库120中，则致使乘客的身体的实像和虚像的轨迹无法识别，并因此手势不被识别。
[0051]利用实像和虚像之间相关性的手势识别原理如下。
[0052]例如，如果手接近反射镜200，实像和虚像变得彼此罪近，而如果手远尚反射镜200移动，实像和虚像变得彼此疏远。基于实像和虚像之间的距离来推定(估计)Z轴运动。
[0053]在诸如向上、向下、向左、向右和旋转等手势的情况下，实像和虚像之间的距离改变不大，并且实像和虚像朝着同一方向移动。利用这种关系，推定X轴运动和Y轴运动。
[0054]此外，电子控制单元130根据来自信号接收器100的输入信号来确定是否使用手势识别功能。即，当接收开始或终止手势识别功能的输入信号时，电子控制单元130控制图像获取器110开始或终止获取图像。这时，图像获取器110可以被控制为获取用户的一只手运动的活动区域。
[0055]此外，电子控制单元130选择与识别的手势对应的车载设备作业。
[0056]电子控制单元130根据所选择的车载设备作业来生成控制信号，并且呈现乘客期望执行的作业。乘客可以选择的车载设备作业的实例包括:切换AVN的频道/模式、接听/挂电话、播放/停止/静音音乐、调高/调低音量、打开/关闭空调器、打开/关闭取暖器、遮阳板操作等。
[0057]输出展不器140包括:触屏、扬声器、以及诸如AVN、移动电话、音乐播放器、空调器、取暖器、遮阳板和内容显示器等要被操作的车载设备。输出展示器140将车载设备作业的内容显示在屏幕上。
[0058]图2是根据本发明的示例性实施方式的由车载的2D相机操作用户界面的方法的顺序图。
[0059]参考图2，乘客通过信号接收器100发送使用手势识别功能的请求(S100)。
[0060]然后，当接收来自乘客的使用手势识别功能的请求时，电子控制器130开始通过图像获取器110来获取诸如手等乘客身体的图像(S110)。
[0061]接下来，将由图像获取器110获取的图像传递至电子控制单元130，在图像存储器150中蓄积并进行存储。
[0062]电子控制单元130从获取的乘客身体的图像移除外围图像(S120)。此外，电子控制单元130分别对提取的图像中的躯干、每只胳膊以及每只手建模(S130)，并且单独追踪手的图像。同样地，仅针对手追踪由反射镜200反射的虚像。
[0063]然后，基于手的实像和虚像提取实像和虚像的轨迹(S140 )。
[0064]可以以各种方式对这种提取实像和虚像的方法进行修改。
[0065]例如，电子控制单元130从自图像获取器110输入的图像中提取手的实像和反射镜200上反射的手的虚像。这样，通过重复并蓄积实像和虚像的提取可以生成实像和虚像的轨迹。
[0066]此外，通过将当前图像帧与存储在图像存储器150中的先前图像帧进行比较可以检测手的实像和虚像的轨迹。
[0067]电子控制单元130确定匹配所检测的手的实像和虚像的轨迹的手势是否存储在信息数据库120中(S150)。
[0068]如果匹配手势存储在信息数据库130中，电子控制单元130将匹配手势识别为乘客的手势(S160)。
[0069]此外，电子控制单元130选择与所识别的手势对应的车载设备作业。电子控制单元130根据所选择的车载设备作业生成控制信号，并呈现乘客期望执行的作业(S170)。
[0070]这种车载设备作业包括诸如车载空调器和音频系统等设备的操作，并也可适于对类似内容、媒体等信息进行传送、复制、存储以及修改的操作。
[0071]操作结果通过输出展示器140来显示，并且如果驾驶员发送终止手势识别功能的请求，用户界面对手势识别的使用结束(S180 )。
[0072]因为乘客的手势能够通过2D相机进行提取，所以本发明的示例性实施方式能够实现成本降低。
[0073]虽然已结合目前被视为实用的示例性实施方式对本发明进行了描述，但应当理解，本发明不限于所公开的实施方式。相反，本发明旨在涵盖包含在所附权利要求的精神和范围内的各种修改和等同配置。
【权利要求】
1.一种通过车载的2D相机操作用户界面的方法，包括: 接收所获取的乘客的图像和所获取的反射镜上所述乘客的反射的图像； 从所获取的图像中提取所述乘客的实像和虚像，并且通过所述实像和所述虚像之间的相关性来识别手势；以及 选择与所识别的手势对应的车载设备作业。
2.根据权利要求1所述的方法，其中，从所获取的图像中提取所述乘客的实像和虚像、并且通过所述实像和所述虚像之间的相关性来识别手势包括: 从所获取的所述乘客的图像中提取乘客的手的实像和虚像； 从所获取的所述乘客的图像中提取所述乘客的手的图像； 生成所述实像和所述虚像的轨迹；以及 从所述实像和所述虚像的所述轨迹识别所述手势。
3.根据权利要求2所述的方法，其中，从所述实像和所述虚像的所述轨迹识别所述手势包括: 确定与所述实像和所述虚像的所述轨迹匹配的所述手势是否存储在信息数据库中；以及 如果匹配的手势存储在所述信息数据库中，则将所述实像和所述虚像的所述轨迹识别为手势。
4.根据权利要求1所述的方法，进一步包括: 在接收所获取的所述乘客的图像之前，确定是否存在使用手势识别功能的请求，以及 如果存在使用所述手势识别功能的请求，则接收所获取的所述乘客的图像。
5.根据权利要求4所述的方法，进一步包括: 确定是否存在终止所述手势识别功能的请求，以及 如果存在终止所述手势识别功能的请求，则终止所述手势识别功能。
6.一种用于在具有反射镜的车内通过2D相机操作用户界面的系统，包括: 图像获取器，用于获取乘客的图像； 图像存储器，用于存储由所述图像获取器获取的所述图像； 信息数据库，存储可识别的手势和相应的车载设备信息；以及电子控制器，用于基于来自所述图像获取器的输入信号和所述图像存储器中存储的蓄积图像信息来控制车载设备作业， 其中，所述电子控制器执行用于实现权利要求1至5中任一项所述的方法的一系列命令。
7.根据权利要求6所述的系统，进一步包括: 信号接收器，用于接收来自所述乘客的请求信号以使用手势识别功能，并且将所述请求信号传送至所述电子控制器；以及 输出展示器，用于显示所述电子控制器的车载设备作业的内容。
【文档编号】G06F3/01GK103869970SQ201310655463
【公开日】2014年6月18日 申请日期:2013年12月5日 优先权日:2012年12月18日
【发明者】金圣云 申请人:现代自动车株式会社