用于控制机动车辆的装备的系统和方法与流程

本发明涉及控制机动车辆的至少一个装备的系统。

背景技术：

传统机动车辆设置有多个装备和功能，用于改善驾驶员的舒适性或安全性，包括例如加热和空调系统、汽车音响、免提电话设备、定位和道路导航系统等。这些装备的增加导致车辆中被设计为调节或配置这些多个功能和装备的控制器的数量的增加，所述控制器通常采用推压按钮、旋钮等形式。

存在于转向轮附近、仪表盘附件、或在乘客舱室的中间部分中的较多数量的控制器可导致安全问题的增加，因为驾驶员不得不把视线移开道路，以便找到与驾驶员希望调节的功能或装备有关的控制器，并随后根据他希望的调节方式对控制器进行调节。

在现有技术中，手势识别设备不能可靠地识别做出的手势，部分是因为所使用的识别技术，部分是因为驾驶员做出的手势的不准确性。因而，这些设备的操作不能满足驾驶员的安全性和舒适性要求。

技术实现要素：

本发明旨在克服已知的机动车辆控制系统的至少一些缺陷。

特别地，本发明还旨在提供一种控制系统，其包括用于告知驾驶员其做出的手势的正确或不正确识别的手势识别设备。

本发明还旨在提供一种控制系统，其允许驾驶员能够在不将视线移开道路的情况下调节车辆的装备和功能。

为了这一目的，本发明涉及一种用于控制机动车辆的至少一个装备的系统，所述车辆包括平视类型的显示设备，所述系统包括手势识别设备，其能够提供表示车辆的驾驶员做出的手势的数据，以及控制模块，其能够处理所述数据，其特征在于，所述控制模块配置为当其接收到表示驾驶员做出的手势的所述数据时，控制至少一个视觉反馈在所述显示设备上的显示。

采用术语“手势”意思是意指特定静态位置的手语和意指空间中的运动的手势二者。

采用术语“视觉反馈”指在显示设备上要显示给驾驶员的信息，其使得驾驶员能够被告知做出的手势的正确识别。

本发明还使得驾驶员能够得益于有关做出的手势的识别或未识别的视觉反馈，以便在驾驶员做出的手势实际上已经被识别时，驾驶员不会错误地认为他的手势没有被系统识别，并且，在驾驶员做出的手势没有被识别时，不会错误地认为他的手势已经被识别。本发明还可用于补偿由手势检测或由驾驶员对手势的实际执行而导致的现有技术系统的不准确性。

另外，因为这一视觉反馈设置在平视显示器上，因此驾驶员可控制他的装备而不需把视线移开道路。

有利地并根据本发明，手势识别设备能够提供表示车辆驾驶员的手部做出的手势的数据。

根据本发明的这一方面，手势识别关于驾驶员手部发生，手部是出于姿势识别目的最易于识别的驾驶员身体的部分之一。而且，手部可容易地用于做出任何手语(手部握紧、手部打开、弯曲/打开的手指的不同组合等)和各种手势(在三维空间中)。最后，通过利用他的手部，驾驶员可做出手势而无需把视线移开道路。

有利地并根据本发明的这一最后方面，控制模块配置为在其接收到表示手势识别设备检测到驾驶员的手部存在的数据时，控制称为第一视觉反馈的一视觉反馈在显示设备上的显示。

根据本发明的这一方面，这一第一视觉反馈使得驾驶员能够(甚至在他做出手势之前)知道是否检测到他的手部的存在，使得他可以确保后续做出的可能手势可以被识别。这是因为，如果驾驶员在他的手没有被检测到到时做出手势，则他不能知道他的手部或手势是否已经被检测。这一第一视觉反馈使得这一问题被克服。

有利地并根据本发明，控制设备配置为控制辅助图像在显示设备上的显示，以告知驾驶员能被手势识别设备识别的各种手势类型。

根据本发明的这一方面，驾驶员可以从辅助图像获益，辅助图像提醒他关于他可做出的、并将被手势识别设备识别的全部或一些手势。这一辅助图像仅在驾驶员手部被检测到时出现，以便避免在其他时间由于在显示设备上显示可用手势而干扰驾驶员，这可能会使该设备过度拥挤。

有利地并根据本发明，控制模块配置为在其接收到表示从手势识别设备能识别的多个手势类型中识别出驾驶员做出的手势类型的数据时，控制被称为第二视觉反馈的一个视觉反馈在显示设备上的显示。

根据本发明的这一方面，控制模块通过使用第二视觉反馈提供有关驾驶员做出的手势的检测的信息。仅在这一手势形成由手势识别设备识别的手势的部分时、且因此在其包括在这一设备可识别的手势类型中时，这一手势才是有意义的。显示模块因此使驾驶员确认他做出的手势已经被正确识别。

有利地并根据本发明，控制模块配置为控制第一视觉反馈和第二视觉反馈的显示。

根据本发明的这一方面，驾驶员可在知道以下情况时做出手势：

-他的手部是否已经实际上被检测到，从而如果他的手部未被检测到时他可避免做出手势，该手势不会被检测到；

-该手势是否已经实际上被检测到，从而可避免他多次重复他的手势，而不知道其是否已经被检测到。

这一组合可很大程度上增加驾驶员手势的效率，以使驾驶员免于在检测不成功时、或在检测已经发生但没有视觉反馈的确认(这会导致他不必要地重复已经被识别的手势)时，由于做出不必要的手势而减少他对道路和他的行程的注意。

有利地并根据本发明，控制模块配置为控制车辆的至少一个装备，所述装备与来自手势识别设备能识别的多个手势类型中的驾驶员做出的手势类型相关联。

根据发明的这一方面，控制模块接收来自识别设备的数据，并使得能够进行视觉反馈在显示设备上显示以及控制信号朝向车辆装备传输二者，以执行关联于检测的手势的动作。

有利地并根据本发明，控制模块包括数据库，数据库包括手势识别设备可识别的手势类型。

有利地并根据本发明，手势识别设备包括非接触的检测器，其配置为检测驾驶员做出的手势。

有利地并根据本发明的这一最后提及的方面，非接触检测器是以下检测器中的一种或它们的组合：

-视频摄像头；

-飞行时间摄像头；

-超声检测器；

-红外检测器；

-电容式检测器。

有利地并根据本发明，控制模块配置为控制以下装备中的至少一个装备：

-车辆空调/加热系统，

-车辆的汽车音响，

-免提电话设备，

-定位和道路导航系统，例如gps系统。

本发明还涉及一种用于控制机动车辆的至少一个装备的方法，其特征在于，所述车辆包括平视类型的显示设备，所述方法依次包括步骤：识别车辆的驾驶员做出的手势的步骤，传输表示所述手势的数据的步骤，处理所述数据的步骤，以及控制表示在处理步骤中处理的数据的至少一个视觉反馈在显示设备上的显示的步骤。

有利地，根据本发明的方法通过根据发明的系统执行。

有利地，根据本发明的系统执行根据本发明的方法。

附图说明

通过细读以下仅以非限制性方式提供并参考附图的描述，本发明的其它目的、特征和优势将显而易见，在附图中：

-图1是设置有根据本发明的实施例的控制系统的车辆内部的示意图；

-图2是根据本发明的实施例的控制系统的示意图；

-图3是根据本发明的实施例的控制系统的示意图。

具体实施方式

应理解，附图针对应用本发明的目的以详细方式示出本发明，必要时，所述附图显然可用于更具体地限定本发明。

图1是设置有根据本发明的系统的车辆内部10的示意图。车辆驾驶员由他的头部12表示，头部面向车辆的前风挡14，图像16通过平视(head-up)显示器显示在前风挡上。在这一情况下，图像16直接显示在风挡14上，但是，其可例如显示在放置于车辆驾驶员12和风挡14之间的半透明屏幕上。

在本发明的情况中，并且出于控制车辆的不同装备(例如空调/加热、汽车音响或免提电话设备)的目的，驾驶员12可使用其手部18做出不同的手势(gesture)和/或手语(sign)(二者由术语“手势”涵盖)。每个手势关联于一个装备和/或要传输至这一装备的控制信号，例如，打开或关闭空调/加热、提高或降低温度、回答电话呼叫等。驾驶员12使用手部18而不是其身体的其它部分(头部、眼部跟随等)特别地使得驾驶员12能够在不把视线移开道路的情况下做出手势。

手势通过安装在车辆10中的手势识别设备识别。该手势识别设备包括非接触式检测器20，例如摄像头(视频摄像头或飞行时间摄像头)、超声或红外检测器、电容式检测器等(或前述这些示例的组合)，其例如如图1所示地放置在风挡的顶部和中间。图1还显示摄像头20的视场22，当根据本发明的该实施例使用该系统时，驾驶员12的手部18置于该视场中。

根据本发明，手势识别设备对驾驶员12的手势的识别致使数据传输至控制模块，该控制模块继而可控制在显示设备上的视觉反馈23的显示。

图2是根据本发明的实施例的控制系统24的示意图，该系统包括以26标记的手势识别设备和以28标记的控制模块。包括图1的检测器20的手势识别设备26传输表示车辆驾驶员12做出的手势的数据至控制模块28。控制模块28随后可控制视觉反馈30或32在显示设备34上的显示，且还可控制车辆的一个或多个装备36。

实际中，手势识别设备26和控制模块28可以是两个分离的部件，或可以形成同一部件(例如诸如计算机)的部分，控制模块28例如是以软件形式安装在计算机中的模块。

手势识别设备26使得能够识别由检测器20检测的驾驶员12的手部18，并且能够识别由这一手部做出的任意手势。由识别设备26传输的表示数据包含使得控制模块28能够控制视觉反馈30、32在显示设备34上的显示以及控制装备36的信息。在本发明的各种实施例中，由识别设备26发送的数据类似于原始数据，例如从飞行时间摄像头获得的深度数据，其可控制模块28解译从而执行其控制信号；替代地，识别设备26发送其本身已部分解译的更丰富的数据，例如识别的手势的类型、做出手势持续的时间等。

控制模块28将这些识别的手势翻译成控制信号，用于控制一个或多个视觉反馈30、32在显示设备34上的显示以及用于控制装备36二者。为了每个手势与控制信号的关联，控制模块28有利地包括数据库38，其包括可由手势识别设备26识别的不同类型的手势。每个手势关联于由车辆制造商预先编制的、或由车辆用户在系统配置期间记录的功能或装备36。

控制模块28随后传输控制信号。发送至显示设备的用于视觉反馈的控制信号通过链路40(其可以是有线的或无线的)传输。在接收到该控制信号时，显示设备34显示一个或多个视觉反馈30、32。例如，该视觉反馈30、32可以是：

-第一视觉反馈30，其用于告知驾驶员12手势识别设备26正确识别出驾驶员12的手部18的存在。这使得驾驶员12不能做出手势，直到他的手部18已经被手势识别设备26检测到。有利地，该第一视觉反馈30是不显眼的，从而避免过度拥挤显示设备34显示的图像16；例如，其可以是显示设备34上显示的整个图像16周围的弱光的晕圈(diffusedhalo)或照亮的轮廓，其使得可以提供不重叠在显示设备34上的图像16的其它信息上的视觉反馈。在图2中，第一视觉反馈30以具有圆角的虚线矩形表示，其沿着显示设备的轮廓延伸，如弱光的晕圈或照亮的轮廓可能实现的。

-第二视觉反馈32可告知驾驶员12对做出的手势的正确识别，所述手势是手势识别设备26可识别的手势中的一个。有利地，表示关联于这一手势的装备36的图标显示为第二视觉反馈32。例如，在图2中，第二视觉反馈32由太阳图标表示，其可对应负责加热的车辆的装备，且其使得驾驶员12能够检查检测到的控制信号是否是他做出手势时意图的一个。

为了确保驾驶员12不忘记他能够做出以控制装备36的手势的类型，第一视觉反馈30可以使用辅助图像而伴随有可用手势的显示，所述辅助图像设置有表示做出一手势的手部的图标，且如果必要，设置有表示关联于这一手势的装备的图标。可以一检测到手部就显示这一辅助图像，或在优选为在3到4秒的时间延迟之后显示这一辅助图像。

控制模块28传输的另一控制信号是待发送到关联于驾驶员做出的手势类型的一个或多个装备36的控制信号。可以由系统24的控制模块28控制的装备36的示例例如是空调/加热系统42、汽车音响43、免提电话设备44、定位和道路导航系统45等。手势可以同时控制多于一个装备36；例如，激活空调/加热42的控制信号也可以控制车辆窗口的关闭。

到这一装备36的控制信号可以在两个阶段中被执行：驾驶员可做出意指特定静态位置的手语，和/或意指空间中的运动的手势。手语可关联于要被控制的装备36，且在识别这一手语之后做出的手势可执行关联于这一装备的特定功能。例如，打开的手部(换言之，五个手指打开)可以是关联于加热/空调42的手语，且向上移动的手势随后指示驾驶员12想提高温度，而向下的手势指示驾驶员12想降低温度。

手语的其它示例、其关联的装备和可用的功能有：

-空调/加热42：手语：打开的手部；功能：打开、关闭、提高/降低温度，循环空气等。

-汽车音响43：手语：握紧的拳头；功能：静音、提高/降低音量、改变无线电台等。

-免提电话设备44：手语：拇指和食指打开；功能：静音、接听电话、挂断电话等。

作为通用的规则，关联于这些功能的手势应该是简单的，以避免驾驶员12的任意分心。例如，从右向左的移动可用于接听电话，而从左向右的移动可用于挂断电话。

与辅助图像使得驾驶员12能够被告知关联于每一个装备的手势的方式类似，在显示设备34上的辅助图像还可用于告知驾驶员12关联于选定的装备的功能的手势。

图3是根据本发明的实施例的方法的示意图，其形式为包括关联至驾驶员12的动作的步骤的流程图。第一步骤是初始休止状态46，其中，关联于系统的方法未被启用，且系统没有进行动作。这一步骤链接至检测手部的步骤48，其形式为决定框，包括测试：“检测到驾驶员12的手部18？”。如果答案是否(以字母n表示)，则方法循环到初始状态46，且如果答案是是(以字母o表示)，则方法进入控制第一视觉反馈的步骤50。该测试链接到通过手势检测设备26检测手部18，而非手部18的实际存在：如果驾驶员12将他的手部18放置在识别设备26的前方，但是其未被检测到时，则方法循环至初始状态46，直到检测已经发生。

控制第一视觉反馈的步骤50随后使得驾驶员能够被告知他的手部已实际上被检测到。这一控制步骤包括将由手势识别设备26提供的表示数据传输到控制模块28的步骤51；通过控制模块28处理所述数据的步骤52；和控制第一视觉反馈30在显示设备34上显示的步骤53，其对应于检测到驾驶员12的手部18的存在。

这一控制第一视觉反馈的步骤50之后是等待驾驶员12做出手势的步骤54。其链接至从手势识别设备26可识别的多个手势类型中识别驾驶员12做出的所述手势的步骤56，这一步骤采用决定框的形式，包括测试：“检测到已知手部18的手势？”如果答案是否，则方法进入检查手部18存在的步骤58。如果答案是是，则方法执行两个同时的控制步骤，即控制第二视觉反馈32的步骤60和控制设备36的步骤62。

在更通常的意义上，检测手部的步骤48和从手势识别设备26可识别的多个手势类型中识别驾驶员12做出的手势的步骤56是在根据本发明的方法内识别驾驶员做出的手势的步骤的两种形式。

检查手部18存在的步骤58可用于检查驾驶员12的手部18是否仍然由识别设备26检测到。如果是这种情况，则方法循环至等待步骤54；否则，其返回到初始状态46。

在这一实施例中，同时进行两个控制步骤：控制第二视觉反馈32的步骤60类似于控制第一视觉反馈的步骤50：其包括将由手势识别设备26提供的表示数据传输至控制模块28的步骤51’，通过控制模块28处理所述数据的步骤52’，以及控制对应于检测到驾驶员12做出的手势的第二视觉反馈32在显示设备上的显示的步骤53’。

控制装备36的步骤58对应于通过控制模块28将控制信号发送至关联于所检测的手势的一个或多个装备36。