专利名称：将注视位置映射到车辆中的信息显示器的方法
技术领域：
本发明涉及用于使用驾驶员注视来控制车辆系统的方法、系统和计算机程序产品O
背景技术：
用于车辆娱乐系统的主要控制器通常位于车辆仪表板的中心。为了操纵娱乐系统以执行某一功能，驾驶员暂时地将他们的注意焦点从道路改变到娱乐系统。因此，期望的是提供用于在不改变驾驶员的焦点的情况下操纵车辆功能的系统和方法
发明内容
在一个示例性实施例中，提供了一种控制车辆的车辆系统的方法。所述方法包括接收从所述车辆的乘员捕获的图像数据；基于所述图像数据确定所述车辆的所述乘员的焦点；以及基于所述乘员的所述焦点生成用户指令，以控制所述车辆系统。在另一示例性实施例中，提供了一种用于车辆的控制系统。所述控制系统包括第一模块，所述第一模块基于图像数据确定所述车辆的乘员的焦点，其中，使用图像处理器从所述乘员捕获所述图像数据。第二模块基于所述乘员的所述焦点生成用户指令，以控制车辆系统。在又一示例性实施例中，提供了一种车辆。所述车辆包括捕获所述车辆的乘员的图像数据的图像处理器。人机界面模块处理所述图像数据，并基于所述图像数据生成用户指令。车辆系统接收所述用户指令并基于所述用户指令控制所述车辆系统的功能。本发明还提供如下方案
I、一种控制车辆的车辆系统的方法，其包括
接收从所述车辆的乘员捕获的图像数据；
基于所述图像数据确定所述车辆的所述乘员的焦点；以及 基于所述乘员的所述焦点生成用户指令，以控制所述车辆系统。2、根据方案I所述的方法，其还包括分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。3、根据方案2所述的方法，其中，确定所述乘员的所述焦点是基于眼睛数据和面部数据中的所述至少一个。4、根据方案I所述的方法，其还包括生成用于显示与所述车辆系统相关联的用户界面的显示数据。5、根据方案4所述的方法，其还包括基于相对于所述用户界面的焦点确定所述乘员的选择，其中，所述生成所述用户指令基于所述选择。6、根据方案5所述的方法，其还包括基于所述选择修改所述显示数据。7、根据方案I所述的方法，其还包括捕获所述乘员的所述图像数据。
8、一种用于车辆的控制系统,其包括
第一模块，所述第一模块基于图像数据确定所述车辆的乘员的焦点，其中，使用图像处理器从所述乘员捕获所述图像数据；以及
第二模块，所述第二模块基于所述乘员的所述焦点生成用户指令，以控制车辆系统。9、根据方案8所述的系统，其还包括第三模块，所述第三模块分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。10、根据方案9所述的系统，其中，所述第一模块基于眼睛数据和面部数据中的所述至少一个来确定所述乘员的所述焦点。11、根据方案8所述的系统，其还包括第四模块，所述第四模块生成用于显示与所述车辆系统相关联的用户界面的显示数据。
12、根据方案11所述的系统，其中，所述第二模块基于相对于所述用户界面的所述焦点确定所述乘员的选择，其中，所述第二模块基于所述选择生成所述用户指令。13、根据方案12所述的系统，其中，所述第四模块基于所述选择修改所述显示数据。14、根据方案8所述的系统，其还包括所述图像处理器，所述图像处理器捕获所述乘员的所述图像数据。15、一种车辆，所述车辆包括
图像处理器，所述图像处理器捕获所述车辆的乘员的图像数据；
人机界面模块，所述人机界面模块处理所述图像数据并基于所述图像数据生成用户指令；以及
车辆系统，所述车辆系统接收所述用户指令并基于所述用户指令控制所述车辆系统的功能。16、根据方案15所述的车辆，其还包括显示系统，所述显示系统在所述乘员的视线内显示用户界面。17、根据方案16所述的车辆，其中，所述人机界面模块相对于所述用户界面处理所述图像数据。18、根据方案16所述的车辆，其中，所述人机界面模块基于所述用户指令将界面数据传输到所述显示系统。19、根据方案15所述的车辆，其中，所述人机界面模块基于所述确定所述图像数据的所述车辆的焦点；并基于所述乘员的所述焦点生成所述用户指令。根据结合附图进行的本发明的以下详细描述，本发明的以上特征和优点以及其它特征和优点将更加明显。
其它特征、优点和细节在实施例的以下详细描述中仅通过举例方法呈现，参照附图进行了详细描述，附图中
图I是示出根据示例性实施例的包括驾驶员注视控制系统的车辆的功能框 图2是示出根据示例性实施例的驾驶员注视控制模块的数据流图示；以及 图3是示出根据示例性实施例的驾驶员注视控制方法的流程图。
具体实施例方式下面的描述本质上仅是示例性的并且决不是要限制本发明、其应用或用途。应当理解的是，在整个附图中，相应的附图标记指示相同的或相应的部件和特征。如这里所使用的，术语模块是指专用集成电路(ASIC)、电子电路、执行一个或多个软件程序或固件程序的处理器(共用的、专用的、或成组的)和存储器、组合逻辑电路、和/或提供所描述功能的其它适合组件。根据示例性实施例，总体上用10示出的基于注视的控制系统被示为包括在车辆12内。基于注视的控制系统10处理车辆12的驾驶员13或其他乘员的视网膜信息，并基于此生成用于控制车辆系统16a-16n的功能的控制信号。例如，这些车辆系统16a_16n可以包括、但不限于娱乐系统、导航系统、远程信息处理系统和/或车辆内的任何其它系统。可以认识到，控制信号可以通过车辆网络20(如总体上用22示出的)传输到与车辆系统16a-16n
相关联的控制模块18a-18n，和/或可以直接传输到车辆系统16η’ (如总体上用24示出的)。在各个实施例中，基于注视的控制系统10包括捕获驾驶员13的图像数据的图像处理器26和处理捕获的图像数据的人机界面(HMI)模块28。基于处理的图像数据，HMI模块28生成控制信号以控制车辆系统16a-16n中的一个或多个。在各个实施例中，HMI模块与显示系统30通信。显示系统30显示与将被控制的车辆系统16a-16n对应的用户界面。在各个实施例中，在驾驶员13的视线内或附近显示用户界面。例如，用户界面可以通过平视显示器(HUD)系统显示在车辆12的挡风玻璃(未示出)上。HMI模块28处理与显示的用户界面有关的图像数据。现在参照图2，数据流图示出了根据各个实施例的HMI模块28。可以认识到，根据本发明，HMI模块28的各个实施例可以包括任何数量的子模块。在图2中示出的子模块可以组合和/或进一步划分，从而类似地识别用户的注视，并基于此来控制一个或多个车辆系统16a-16n’(图I)的功能。对HMI模块28的输入可以从车辆12 (图I)的一个或多个感测输入来接收，从车辆12 (图I)内的其它模块(未示出)来接收，由HMI模块28内的其它模块(未示出)来确定/建模，和/或通过网络(例如，因特网)从外部源接收。在图2的示例中，HMI模块28包括图像处理模块32、注视分析模块34、显示模块36和指令模块38。图像处理模块32接收作为输入的图像数据40。图像处理模块32处理图像数据40，以区分驾驶员13(图I)的面部和眼睛，并基于此生成眼睛数据42和面部数据44。可以认识到，图像处理模块32可以执行各种分析方法，以从图像数据40区分眼睛和面部。这样的分析方法可以包括、但不限于对眼睛使用红外线照明，以生成在瞳孔和面部的其它部分之间产生高对比度的亮瞳效应，从而提供眼睛跟踪稳健性和精确性。使用Viola-Jones目标检测框架来执行面部检测。注视分析模块34接收作为输入的眼睛数据42和面部数据44。注视分析模块34基于眼睛数据42和/或面部数据44确定驾驶员13 (图I)的焦点，并基于此生成焦点数据46。可以认识到，注视分析模块34可以执行各种分析方法，以确定驾驶员13 (图I)的焦点。这样的分析方法可以包括、但不限于使用来自注视分析模块的驾驶员的自对准静息状态数据(self calibrated resting stated data)并确定相对的眼睛(瞳孔)和面部位置，驾驶员聚焦算法能够确定驾驶员的焦点。
在各个实施例中，注视分析模块34可以使用分析方法分析面部数据44，以确定面部的位置。然后，注视分析模块34可以使用分析方法并基于面部位置分析眼睛数据42，以确定眼睛的焦点。在各个实施例中，眼睛的焦点可以由例如一般位置或二维平面内的X、y坐标表示。显示模块36接收作为输入的系统数据48。系统数据48可以由将被控制的车辆系统16a-16n (图I)生成，并可以指示车辆系统16a_16n (图I)的当前状态。基于系统数据48，显示模块36管理将经由显示数据50显示的用户界面。例如，显示模块36可以生成可由显示系统30使用的显示数据50，以显示与将被控制的车辆系统16a-16n (图I)相关联的用户界面的特定屏幕或通知。然后，显示模块36使得显示数据或其它显示/功能数据52对于指令模块38可用。显示/功能数据52指示与正被显示的特定屏幕或通知相关联的任何功能和功能到显示有用户界面的二维平面的映射。例如，功能X、y和z由正被显示的屏幕提供。功能X被映射到用户界面的坐标((a,b)、(c,d)、(e, f )等);功能Y被映射到用户界面的坐标((g,h)、(i, j)、(k, I)等);功能z被映射到用户界面的坐标((m, n)、(o,p)、(q, r)等)。在各个实施例中，显示模块36还接收作为输入的选择54。如将关于指令模块38更详细地讨论的，当选择的功能与用户界面的新的屏幕或通知相关联时，可以生成选择54。基于选择54，显示模块36可以修改显示数据50 (例如，以显示新的屏幕或通知)和显示/功能数据52。指令模块38接收作为输入的显示/功能数据52和焦点数据46。基于输入46、52,指令模块38确定驾驶员的选择54,并在一些情况下基于此生成用户指令56。例如,指令模块38将焦点数据46的坐标映射到显示/功能数据52的坐标，并确定与坐标相关联的功能。然后，指令模块38确定用于该功能的适当指令，并基于此生成用户指令56。用户指令56可以由车辆系统16a_16n’接收，以控制系统特征。用户指令可以返回提供给显示模块，以引发用户界面的改变。现在参照图3，并继续参照图2，流程图示出了根据本发明的可以由基于注视的控制系统执行的基于注视的控制方法。根据本发明可以认识到，方法内的操作的顺序不限于如在图3中示出的顺序执行，而是如果适用且根据本发明可以一种或多种不同的次序执行。可以进一步认识到，在不改变方法的精神的情况下，可以添加或去除一个或多个步骤。在各个实施例中，方法可以被调度以基于预定的事件运行，和/或可以在车辆12(图I)的操作期间连续地运行(如所示)。在一个示例中，方法可以在100开始。在110确定基于注视的控制是否是活跃的(例如，由驾驶员选择开关，以激活基于注视的控制系统)。如果在110，基于注视的控制是活跃的，则在130基于控制系统数据和任何选择确定用户界面。在140，基于系统数据和任何指令数据生成显示数据，以例如通过HUD显示用户界面。在150分析来自图像处理器的图像数据，以确定眼睛数据和/或面部数据。在160分析眼睛数据和/或面部数据，以确定焦点。在170，基于焦点和与正在显示的当前用户界面(如由显示/功能数据指示的)相关联的功能来确定选择。可选地，在180，可以通过来自用户界面的提示来确认选择。如果在180确认选择，则在190基于选择和与选择相关联的功能生成用户指令。然后，该方法在110继续监测基于注视的控制系统是否是活跃的。然而，如果基于注视的控制系统不是活跃的，或者基于注视的控制系统变成了非活跃(例如，随后被切断)，则该方法可以在120结束。尽管已经参照示例性实施例描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以做出各种改变，并且等价物可以代替其元件。另外，在不脱 离本发明的实质范围的情况下，可以进行许多修改，以使具体的情形或材料适应本发明的教导。因此，本发明并不意图局限于所公开的具体实施例，而是本发明将包括落在当前应用的范围内的所有实施例。
权利要求
1.一种控制车辆的车辆系统的方法，其包括 接收从所述车辆的乘员捕获的图像数据； 基于所述图像数据确定所述车辆的所述乘员的焦点；以及 基于所述乘员的所述焦点生成用户指令，以控制所述车辆系统。
2.根据权利要求I所述的方法，其还包括分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。
3.根据权利要求2所述的方法，其中，确定所述乘员的所述焦点是基于眼睛数据和面部数据中的所述至少一个。
4.根据权利要求I所述的方法，其还包括生成用于显示与所述车辆系统相关联的用户界面的显示数据。
5.根据权利要求4所述的方法，其还包括基于相对于所述用户界面的焦点确定所述乘员的选择，其中，所述生成所述用户指令基于所述选择。
6.根据权利要求5所述的方法，其还包括基于所述选择修改所述显示数据。
7.根据权利要求I所述的方法，其还包括捕获所述乘员的所述图像数据。
8.一种用于车辆的控制系统，其包括 第一模块，所述第一模块基于图像数据确定所述车辆的乘员的焦点，其中，使用图像处理器从所述乘员捕获所述图像数据；以及 第二模块，所述第二模块基于所述乘员的所述焦点生成用户指令，以控制车辆系统。
9.根据权利要求8所述的系统，其还包括第三模块，所述第三模块分析所述图像数据，以从所述图像数据确定眼睛数据和面部数据中的至少一个。
10.一种车辆，所述车辆包括 图像处理器，所述图像处理器捕获所述车辆的乘员的图像数据； 人机界面模块，所述人机界面模块处理所述图像数据并基于所述图像数据生成用户指令；以及 车辆系统，所述车辆系统接收所述用户指令并基于所述用户指令控制所述车辆系统的功能。
全文摘要
本发明涉及将注视位置映射到车辆中的信息显示器的方法，具体地提供了一种控制车辆的车辆系统的方法。所述方法包括接收从所述车辆的乘员捕获的图像数据；基于所述图像数据确定所述车辆的所述乘员的焦点；以及基于所述乘员的所述焦点生成用户指令，以控制所述车辆系统。
文档编号B60R16/02GK102887121SQ201210250329
公开日2013年1月23日 申请日期2012年7月19日 优先权日2011年7月19日
发明者A.J.卡尔霍斯, F.阿尔-阿明, J.曹, N.J.维格特 申请人:通用汽车环球科技运作有限责任公司