用于车辆对驾驶员状态进行自适应的设备和方法与流程

说明性实施例总体上涉及一种用于车辆对驾驶员状态进行自适应的方法和设备。

背景技术：

随着车辆计算系统的半自主式进步，制造商正在采取越来越多的措施来帮助对变化的车辆环境进行自动情境自适应。自适应巡航控制是很好的情境自适应的示例，原因在于巡航控制功能使在巡航控制中运行的车辆在过快地接近前方车辆的情况下自适应地减速。

对车辆环境的其它自动调整可包括例如在开始下雨时自动地打开挡风玻璃上的雨刷器，或者基于占用情况启用/禁用安全功能(诸如，安全气囊)。随着驾驶员越来越放松自在地将车辆视为“具有思维能力的”机器，这种思维上的转变为车辆功能发展提供了新的机会。

技术实现要素：

在第一说明性实施例中，一种系统包括处理器，所述处理器被配置为：基于从车辆传感器收集的信息来确定车辆乘员的情绪状态。所述处理器还被配置为：确定是否已经预先指定状态响应动作以用于对所述情绪状态做出响应，并且执行预先指定的状态响应动作以改变车辆的物理特性。

在第二说明性实施例中，一种计算机实现的方法包括：响应于使用车辆传感器检测到乘员的情绪状态而执行针对车辆环境的预定义改变，所述针对车辆环境的预定义改变响应于特定情绪状态而被指定用于执行，其中，多个预定义改变被本地存储在车辆上并且与不同的情绪状态相关联。

在第三说明性实施例中，一种计算机实现的方法包括：响应于使用车辆传感器检测到预定义的乘客情绪状态，在靠近产生检测到的情绪状态的乘客的位置的预定义接近度内执行针对车辆环境的预定义改变。

附图说明

图1示出了说明性的车辆计算系统；

图2示出了用于驾驶员状态的检测和响应的说明性处理；

图3a示出了用于第一情绪状态操纵的说明性处理；

图3b示出了用于事故预调整的说明性处理；

图4示出了用于选择性的情绪状态操纵的说明性处理；

图5示出了用于乘客情绪状态操纵的说明性处理。

具体实施方式

根据需要，在此公开具体的实施例；然而，应理解的是，所公开的实施例仅为说明性的，并且可以以多种可替代形式来实施。附图无需按比例绘制；可夸大或最小化一些特征以示出特定组件的细节。因此，在此公开的具体结构和功能细节不应被解释为具有限制性，而仅仅作为用于教导本领域技术人员以多种形式利用所要求保护的主题的代表性基础。

图1示出了用于车辆31的基于车辆的计算系统(vcs)1的示例框式拓扑图。这种基于车辆的计算系统1的示例为由福特汽车公司制造的sync系统。设置有基于车辆的计算系统的车辆可包含位于车辆中的可视前端界面4。如果所述界面设置有例如触摸敏感屏幕，则用户还能够与所述界面进行交互。在另一说明性实施例中，通过按钮按压、具有自动语音识别和语音合成的口语会话系统来进行交互。

在图1所示的说明性实施例1中，处理器3控制基于车辆的计算系统的至少一部分操作。设置在车辆内的处理器允许对命令和例程进行车载处理。另外，处理器连接到非持久性存储器5和持久性存储器7两者。在此说明性实施例中，非持久性存储器是随机存取存储器(ram)，持久性存储器是硬盘驱动器(hdd)或闪存。一般说来，持久性(非暂时性)存储器可包括当计算机或其它装置掉电时保持数据的所有形式的存储器。这些存储器包括但不限于：hdd、cd、dvd、磁带、固态驱动器、便携式usb驱动器以及任何其它适当形式的持久性存储器。

处理器还设置有允许用户与处理器进行交互的多个不同的输入。在此说明性实施例中，麦克风29、辅助输入25(用于输入33)、usb输入23、gps输入24、屏幕4(其可为触摸屏显示器)和蓝牙输入15全部被设置。还设置了输入选择器51，以允许用户在各种输入之间进行切换。对麦克风和辅助连接器两者的输入在被传送到处理器之前，由转换器27对所述输入进行模数转换。尽管未示出，但是与vcs进行通信的众多车辆组件和辅助组件可使用车辆网络(诸如但不限于can总线)向vcs(或其组件)传送数据并传送来自vcs(或其组件)的数据。

系统的输出可包括但不限于视觉显示器4以及扬声器13或立体声系统输出。扬声器连接到放大器11，并通过数模转换器9从处理器3接收其信号。还可分别沿19和21所示的双向数据流产生到远程蓝牙装置(诸如，个人导航装置(pnd)54)或usb装置(诸如，车辆导航装置60)的输出。

在一个说明性实施例中，系统1使用蓝牙收发器15与用户的移动装置53(例如，蜂窝电话、智能电话、pda或具有无线远程网络连接功能的任何其它装置)进行通信(17)。移动装置随后可被用于通过例如与蜂窝塔57的通信(55)来与车辆31外的网络61进行通信(59)。在一些实施例中，蜂窝塔57可以是wifi接入点。

移动装置与蓝牙收发器之间的说明性通信由信号14表示。

可通过按钮52或类似的输入来指示将移动装置53与蓝牙收发器15进行配对。相应地，cpu被指示使得车载蓝牙收发器将与移动装置中的蓝牙收发器进行配对。

可利用例如与移动装置53关联的数据计划、话上数据或dtmf音在cpu3与网络61之间传送数据。可选地，可期望包括具有天线18的车载调制解调器63，以便通过语音频带在cpu3与网络61之间传送数据(16)。移动装置53随后可被用于通过例如与蜂窝塔57的通信(55)来与车辆31外的网络61进行通信(59)。在一些实施例中，调制解调器63可与蜂窝塔57建立通信20，以与网络61进行通信。作为非限制性示例，调制解调器63可以是usb蜂窝调制解调器，并且通信20可以是蜂窝通信。

在一个说明性实施例中，处理器设置有包括用于与调制解调器应用软件进行通信的api的操作系统。调制解调器应用软件可访问蓝牙收发器上的嵌入式模块或固件，以完成与(诸如，在移动装置中设置的)远程蓝牙收发器的无线通信。蓝牙是ieee802pan(个域网)协议的子集。ieee802lan(局域网)协议包括wifi并与ieee802pan具有相当多的交叉功能。两者都适合于车辆内的无线通信。可在该领域使用的另一通信方式是自由空间光通信(诸如，irda)和非标准化消费者红外(ir)协议。

在另一实施例中，移动装置53包括用于语音频带或宽带数据通信的调制解调器。在话上数据的实施例中，当移动装置的所有者可在数据被传送的同时通过装置说话时，可实施已知为频分复用的技术。在其它时间，当所有者没有在使用装置时，数据传送可使用整个带宽(在一个示例中是300hz至3.4khz)。尽管频分复用对于车辆与互联网之间的模拟蜂窝通信而言会是常见的并仍在被使用，但是其已经在很大程度上被用于数字蜂窝通信的码域多址(cdma)、时域多址(tdma)、空域多址(sdma)的混合体所替代。如果用户具有与移动装置关联的数据计划，则所述数据计划可允许宽带传输且系统可使用宽得多的带宽(加速数据传送)。在另一实施例中，移动装置53被安装至车辆31的蜂窝通信装置(未示出)所替代。在另一实施例中，移动装置(nd)53可以是能够通过例如(而不限于)802.11g网络(即，wifi)或wimax网络进行通信的无线局域网(lan)装置。

在一个实施例中，传入数据可经由话上数据或数据计划通过移动装置，通过车载蓝牙收发器，进入到车辆的内部处理器3中。例如，在特定临时数据的情况下，数据可被存储在hdd或其它存储介质7上，直至不再需要所述数据时为止。

可与车辆进行交互的其它源包括：具有例如usb连接56和/或天线58的个人导航装置54、具有usb62或其它连接的车辆导航装置60、车载gps装置24或具有与网络61的连接的远程导航系统(未示出)。usb是一类串行联网协议中的一种。ieee1394(火线^tm(苹果)、i.link^tm(索尼)和lynx^tm(德州仪器))、eia(电子工业协会)串行协议、ieee1284(centronics端口)、s/pdif(索尼/飞利浦数字互连格式)和usb-if(usb开发者论坛)形成了装置-装置串行标准的骨干。多数协议可针对电通信或光通信来被实施。

此外，cpu可与各种其它的辅助装置65进行通信。这些装置可通过无线连接67或有线连接69来连接。辅助装置65可包括但不限于个人媒体播放器、无线保健装置、便携式计算机等。

此外或可选地，可使用例如wifi(ieee802.11)收发器71将cpu连接到基于车辆的无线路由器73。这可允许cpu在本地路由器73的范围内连接到远程网络。

除了由位于车辆中的车辆计算系统执行示例性处理之外，在特定实施例中，还可由与车辆计算系统通信的计算系统来执行示例性处理。这样的系统可包括但不限于无线装置(例如但不限于，移动电话)或通过无线装置连接的远程计算系统(例如但不限于，服务器)。这样的系统可被统称为车辆关联的计算系统(vacs)。在特定实施例中，vacs的特定组件可根据系统的特定实施方式来执行处理的特定部分。通过示例而并非限制的方式，如果处理具有与配对的无线装置进行发送或者接收信息的步骤，则很可能由于无线装置不会与自身进行信息的“发送和接收”而使得无线装置不执行该处理的这一部分。本领域的普通技术人员将理解何时不适合将特定的计算系统应用于给定解决方案。

在在此讨论的每个说明性实施例中，示出了可由计算系统执行的处理的示例性的非限制性示例。针对每个处理，执行该处理的计算系统为了执行该处理的有限的目的而变为被配置为用于执行该处理的专用处理器是可行的。所有处理不需要被全部执行，并且应被理解为是可被执行以实现本发明的要素的多种类型的处理的示例。可根据需要添加额外的步骤或从示例性处理中去除额外的步骤。

针对在示出说明性处理流程的附图中描述的说明性实施例，应当注意的是，为了执行由这些附图示出的示例性方法中的一些或全部的目的，通用处理器可被暂时用作专用处理器。当执行提供用于执行所述方法的一些或全部步骤的指令的代码时，所述处理器可被暂时改用作专用处理器，直到所述方法完成时为止。在另一示例中，在适当的程度上，根据预先配置的处理器运行的固件可使得所述处理器充当为了执行所述方法和所述方法的某种合理变型的目的而被提供的专用处理器。

随着用户利用自适应“思维(thinking)”技术而变得更加舒适，这为改进机器功能提供了新的机会。在说明性实施例中，例如，车辆将对用户情绪状态的变化做出响应。这种响应中的一部分是完全透明的，例如，如果检测到恐惧情绪，则将牵引力控制改变为操纵状态(希望高级操纵有助于缓解潜在事故)。另一方面，一些可能的响应是有意引起用户注意的。例如，可能存在这样的情况，车辆尝试通过调整照明或音乐来使生气的驾驶员“冷静”。

在某一时间点，人们可能会发现这种来自车辆的“行为”是高度干预的。然而，随着人们变得更习惯于以更综合的水平与机器进行交互，与让车辆使驾驶员或乘客“冷静”有关的心态(mindset)可能会改变。如果用户知道他们不想生气地驾驶，但有时会在驾驶时发脾气，则用户可预先设置用于在车辆检测到用户生气时的情绪照明和情绪音乐的选择。由于用户向车辆明确地请求了这种行为，所以例如与车辆尝试自主地使用户冷静相比，这可能看起来不太进行干预。然而，当人们变得习惯于这种首次迭代时，人们很快会发现可以通过其车辆使人们冷静，从而打开了获得更自主的、非请求的体验的大门。说明性示例涵盖了两种情况：代表乘员采取的非请求行为和动作的情况以及在乘员的命令下采取的请求行为和动作的情况。

车辆可使用多个车辆传感器功能来确定驾驶员或乘员的情绪状态。例如，车辆可拍摄特定面部的基准图像，并且将该基准图像用作参考以确定什么改变等同于“生气”或“悲伤”或其它情绪。与每个状态相对应的面部特征中的已知方差可应用于所述基准，并且可与当前状态进行比较，以确定来自所述基准的当前状态的任何偏差是否表示可能的情绪状态。

车载麦克风可对驾驶员的声音和/或大声输入(诸如，大喊或哭泣)中的压力水平进行检测。生物测定传感器可对与用户情绪状态的变化对应的生物节律的变化进行检测。车辆可单独或组合地获取这种信息和类似的信息，并且确定大致的用户情绪状态。根据用户是乘客还是驾驶员以及动作是否已被预先配置或者是否应该自动应用，车辆随后可采取响应动作来改善、缓解或者以其它方式解决所检测到的情绪状态。

在一些示例中，可自动采取特定动作(诸如，与安全有关的动作)。例如，如果车辆检测到驾驶员的恐惧状态(可通过心率的激增或快速变为已知的恐惧表情来表示驾驶员的恐惧状态)，则这可指示即将发生的事故。车辆可减速(如果车后没有紧跟着车辆)，车辆可改变牵引控制设置以提供更好的操纵，车辆可拉紧安全带，并且采取任何其它数量的动作。影响车辆操纵的动作可由驾驶员预先请求或者以其它方式被启用，这是因为这些动作可能会成为阻碍，而不是帮助(在意外情况下)。仅提高安全性的动作(诸如，拉紧安全带)无论在何种情况下均可被启用。

是自动利用特定状态的改变还是明确地要求用户启动可能主要是目标群众和实施方式的问题。说明性实施例预期到这两种情况，并且仅因为说明性动作被描述为自动的动作或请求的动作并不意味着其它范例无法被应用于任何相应的动作。

通过自适应地修改车辆的物理特性(车辆的物理特性包括但不限于速度、操纵、照明、音乐等)，可实现对驾驶员情绪状态的积极响应。这样可以改善整体的驾驶体验，并且为所有乘员创造更有意义的车辆体验。

图2示出了用于驾驶员状态的检测和响应的说明性处理。在该说明性示例中，在操作201，所述处理观察(或以其它方式感测)驾驶员。如果在操作203所述处理检测到“快速表情变化”，则假设这与情绪状态的变化相关。在其它示例中，可单独使用其它传感器或结合相机使用其它传感器来检测情绪状态的发作(onset)。

在操作205，所述处理分析收集的任何传感器输入(麦克风、相机、生物特征等)并确定可能的情绪状态。针对每个示例性状态，预期示例性动作。操作207中的生气状态对应于操作217的生气动作，类似地，操作209中的恐惧状态对应于操作219的恐惧动作，操作211中的震惊状态对应于操作221的震惊动作，操作213中的悲伤状态对应于操作223的悲伤动作。还预期了操作215中的其它情绪和操作225中的相应动作。

如果所述动作被设计为缓解状态或者解决由状态所表示的可能事件，则在操作227，所述处理随后确定是否已经达到期望的结果。如果没有达到期望的结果，则所述动作保持或继续执行，否则，如果状态/事件已经被解决，则所述处理可返回到监测。

仅为了说明性目的而提供了若干个基于状态的反应的示例。应当理解的是，在不同的情况下，不同的动作可针对不同的乘员而被请求或者可以是自动的。还应当理解的是，基于状态的动作不需要分散地(discretely)被分配给特定状态，对于一些动作，例如，可使用多状态触发(例如，恐惧或震惊可触发事故避免和预调整响应)。

图3a示出了用于第一情绪状态操纵的说明性处理。在该示例中，所述处理在操作301检测恐惧或震惊状态，并在操作303，启用车辆外部传感器。所述处理使用该传感器输入来确定下一动作，诸如在操作305，确定是否检测到前方障碍物。如果存在即将临近的前方障碍物(很可能发生碰撞)，则在操作307，所述处理确定是否存在接近的后方车辆。如果在预定义距离内不存在车辆和/或不存在以预定义速度在后方行驶的车辆，则在操作309，所述处理使车辆激进地制动以停止向前行进。此外，在该示例中，在操作313，所述处理鸣响喇叭以向障碍物警告潜在的即将发生的碰撞。

在可选的示例中，所述处理可确定如果存在接近的后方车辆，但是没有前方车辆，则使车辆略微或激进地加速。这样可以避免后方碰撞，所述后方碰撞的迫近导致了恐惧/震惊状态。

如果存在后方车辆，则在操作311，所述处理可使车辆略微减速，但不会使车辆激进地减速，以便给紧跟在后方的车辆反应的时间。在这种情况下，由于目标车辆没有停下来，所以在操作315，所述处理还可确定避免是否是可能的。这可包括例如使用车辆传感器来确定是否存在侧方障碍物。如果避免看起来是可能的，则在操作317，基于合理的传感器数据，所述处理可自动调整车辆路径以绕过所检测到的障碍物。再次，在这种情况下，在操作313，所述处理也鸣响喇叭。

如果没有避免的可能性(例如，因为数据的置信度低或者存在侧方障碍物)，则在操作319，所述处理可针对可能的碰撞对车辆进行预调整(例如，鸣响喇叭、收紧约束以及启用任何事故缓解功能)。

如果针对多个车辆乘员启用情绪状态检测和响应，则可基于在不同的乘员之间观测到的不同状态而采取不同的动作。例如，驾驶员或前排乘客的恐惧/震惊状态可能导致特定的影响较少的缓解响应，但是影响操纵的其它缓解响应可能仅发生在例如驾驶员没有向前看(通过相机可检测到)并且乘客表现出恐惧/震惊时，或者仅发生在向前看的驾驶员表现出恐惧/震惊时。这可能是因为乘客可能对驾驶员感觉能够掌控的情况反应过度。另一方面，如果驾驶员没有向前看，则乘客的表情可用作对可能的事故情况的早期预警。

恐惧和震惊也可指示需要呼叫或联系紧急服务。特定的面部形态可能与特定医疗状况的发作一致，并且这些形态可被观测到，并且可导致对紧急服务的相应呼叫或通信。在其它情况下，可能最好是等到实际事故发生以查看实际事故是否发生，对情绪状态的检测至少可使得系统确保与紧急情况操作人员进行通信的功能被启用。如果与紧急情况操作人员进行通信的功能没有被启用，则可采取措施来尝试启用或加强这种通信。例如，如果观测到恐惧，则系统可确定通过用户装置的蜂窝连接是否是可用的，以及通过车辆调制解调器的蜂窝连接是否是可用的。如果仅车辆调制解调器是可用的，则车辆调制解调器可向用户电话发送远程配对指令，以在紧急情况下使电话进行配对以提供辅助备用通信信道。

如果用户电话是唯一的通信方式(因此不能发送远程配对请求)，则所述处理可指示用户进行电话配对(尽管在瞬时反应情况下，但是这可能不是真正的选项)。另外，可缓解没有进行紧急通信的可能性的合理动作也可被采取。

针对其它乘客检测到的其它情绪状态可能具有针对有情绪的乘客所在的车辆位置而定制的类似响应(在可确定的情况下)。例如，后排座椅上的正在哭泣的儿童可导致通过后置扬声器播放预先选择的舒缓音乐。

图3b示出了用于事故预调整的说明性处理。在该说明性示例中，车辆(基于预先配置的参数)检测指示可能即将发生的事故的情绪状态(例如，恐惧、震惊等)。在操作319，所述处理首先启用任何主动的安全功能，以帮助减轻损坏和/或完全避免事故。

此外，在该示例中，所述处理在操作321尝试连接到车载装置以使用该车载装置的蜂窝信号。即使车辆装备有车载调制解调器，车载调制解调器也可能在事故中被损坏，因此这种与车载装置的连接提供了用于拨打紧急援助呼叫的主要连接选项或备用连接选项。

在操作323，如果装置与车辆之间的连接尝试成功，则在操作327，所述处理确定是否可以通过装置建立车辆与远程源(例如，蜂窝源)之间的连接。如果车辆无法连接到本地装置(例如，如果蓝牙在装置上被禁用)，则在操作325，车辆可发送远程配对请求。远程配对请求是通过车辆调制解调器经由蜂窝网络发送的请求，所述请求指示车辆正在尝试连接的装置启用蓝牙功能。

如果没有可用的通过驾驶员装置或其它乘员装置的蜂窝连接，则在操作329，车辆将车载调制解调器指定为主要的用于通信的源。此外，在该示例中，车辆采取其它机械措施(诸如在操作331鸣响喇叭、在操作333使危险警告持续闪烁、在操作335拉紧安全带等)来缓解或避免事故。

图4示出了选择性的情绪状态操纵的说明性处理。在该示例中，在操作401，车辆对没有指示事故或其它危险情况但仍可能期望进行缓解的状态进行检测。例如，一些驾驶员可能会认识到驾驶员在开车时会生气，并且可能想要在驾驶员生气时出现使人放松的音乐或者车厢环境状况发生改变。

在其它示例中，当驾驶员很兴奋并且正在驾驶时，驾驶员可能想要播放节奏强烈的音乐。在操作403，设置可针对检测到的任何情绪状态而被预先设置，并且如果在操作403设置被预先设置，则当检测到情绪状态时，可在操作405采取预定义动作(例如，生气缓解)。

图5示出了用于乘客情绪状态操纵的说明性处理。在该示例中，在操作501，除驾驶员以外的乘员正在经历可检测到的情绪状态。状态检测的一个有用方面将是有助于避免父母在带着儿童驾驶时分心，因此在操作503，所述处理确定状态被检测的实体是否是儿童。这可以通过对先前指定的实体的识别或者通过对面部大小的识别或者甚至对重量的识别来完成。

如果所述处理检测到儿童的情绪状态(诸如，悲伤)，并且还在操作505检测到来自儿童的噪声，则所述处理将尝试将所检测到的信息与预定义缓解动作关联。这里，如果在操作507检测到实际正在哭泣，则在操作509，所述处理可在儿童所在的车内位置(例如，一个或两个扬声器或优选地使用所有扬声器)播放一些音乐。如果安全性适当，则在操作511，所述处理还可使车辆内部车灯闪烁，以分散和吸引儿童注意力。对于较大的儿童，如果有合适的输出可用并且播放已被预先设置，则车辆可播放本地媒体内容(诸如，电影或游戏)。

如果没有哭泣，但是在操作513儿童表现出悲伤或以其它方式将要转变为可能使驾驶员分心的状态，则在操作515所述处理可以以某种方式来尝试改变车辆环境(例如但不限于，改变温度、改变车窗状态、改变照明等)。再次，驾驶员或乘员可预先设置这些改变，以确定车辆采取什么措施来尝试缓解这种情况。车辆还可学习驾驶员采取什么动作来缓解个人或者儿童的情绪状态，存储这些与用户配置文件有关的动作，并且在以后的某一时间点检测到类似的情绪状态时提议采取这些动作。

还存在利用情绪状态的其它机会。例如，特定的情绪状态可与饥饿相对应，或者特定的情绪状态可被观测为通过让操作者进餐而被缓解。在这些情况下，可提供与用于进食的一个或更多个选项相关的目标广告或路线规划建议。情绪状态的类似改变可通过其它购物行为来表现，并且通过与在特定情绪状态之后的用户动作相关的记录数据被观测到是有效的广告相关性可被保存。这些相关性可用于进行广告选择和/或路线规划建议，以缓解所观测到的状态或解决所观测到的状态。

尽管以上描述了示例性实施例，但并不意在这些实施例描述了本发明的所有可能形式。更确切地，说明书中使用的词语为描述性词语而非限制性词语，并且应理解的是，可在不脱离本发明的精神和范围的情况下做出各种改变。此外，可以以逻辑方式组合各种实现的实施例的特征，以产生在此描述的实施例的情境合适的变型。