驾驶员分心检测系统的制作方法
【专利摘要】描述了用于确定并响应驾驶员分心的实施方案。车辆的实例车载计算系统包括将车载计算系统通信连接至移动装置的外部装置接口、将所述车载计算系统通信连接至所述车辆的一个或多个车辆系统的车辆间系统通信模块、处理器和存储可供所述处理器执行以从所述移动装置接收图像数据并基于所述接收的图像数据确定驾驶员状态的指令的存储装置。所述指令还可执行以从所述车辆系统中的一个或多个接收车辆数据、基于所述车辆数据确定车辆状态、基于所述驾驶员状态和所述车辆状态确定分心严重程度水平且基于所述分心严重程度水平控制所述车辆的一个或多个装置实施所选择动作。
【专利说明】
驾驶员分心检测系统
技术领域
[0001]本发明涉及基于可穿戴装置和其它传感器的输出评估驾驶员分心。
[0002]发明背景
[0003]分心驾驶可包括可使个人注意力从主要驾驶任务转移开的任何活动。所有分心均会危及驾驶员、乘客和旁人安全并可增加机动车碰撞的机会。一些分心类型包括视觉分心， 此时驾驶员会将其眼睛从道路移开;行为分心，此时驾驶员会将其手从方向盘移开;和认知分心，此时驾驶员会将其注意力从驾驶移开。分心的严重程度可取决于这些分心的水平和持续时间且可受外部因素例如车辆速度和位置及在车辆路径上的物体所影响。发明概要
[0004]描述了用于确定并响应驾驶员分心的实施方案。车辆的实例车载计算系统包括将车载计算系统通信连接至移动装置的外部装置接口、将车载计算系统通信连接至车辆的一个或多个车辆系统的车辆间系统通信模块、处理器和存储可供处理器执行的指令以从移动装置经由外部装置接口接收图像数据的存储装置，所述图像数据对驾驶员和驾驶员环境成像，并基于所接收的图像数据确定驾驶员状态。所述指令还可执行以响应确定指示驾驶员分心的驾驶员状态、从车辆系统中的一个或多个经由车辆间系统通信模块接收车辆数据、 基于所述车辆数据确定车辆状态、基于所述驾驶员状态和所述车辆状态确定分心严重程度水平并基于所述分心严重程度水平控制车辆的一个或多个装置以实施所选择动作。
[0005]确定驾驶员分心的实例方法包括从可穿戴装置接收驾驶员数据，所述驾驶员数据包括来自面向驾驶员照相机的图像数据;从所述可穿戴装置和所述车辆中的至少一个的一个或多个成像装置接收物体数据，所述物体数据包括车辆环境的图像数据;和从一个或多个车辆系统接收车辆数据，所述车辆数据包括车辆操作条件的指示。所述实例方法还包括通过将所述驾驶员数据与所述物体数据关联确定驾驶员是否分心、对确定驾驶员分心作出响应、基于将所述驾驶员数据与所述物体数据和所述车辆数据关联选择动作并实施所选择动作;和对确定驾驶员未被分心作出响应，维持当前操作参数。
[0006]实例分心监测系统包括可穿戴装置，其包括面向驾驶员照相机、面向外照相机和一个或多个传感器;通信连接至所述可穿戴装置和一个或多个车辆系统的车载计算系统， 所述车载计算系统包括第一处理器和第一存储装置;和远离所述车载计算系统且经由网络通信连接至所述车载计算系统的云计算装置，所述云计算装置包括第二处理器和第二存储装置。所述第一存储装置和所述第二存储装置中的一个或多个存储可由所述第一处理器和所述第二处理器中的相应一个或多个执行的第一指令以从所述面向驾驶员照相机接收图像数据和从所述可穿戴装置的一个或多个传感器接收指示驾驶员状态的传感器数据，从所述可穿戴装置的面向外照相机接收指示一个或多个物体的物体状态的图像数据，从一个或多个车辆系统接收指示车辆状态的车辆数据，并基于所指示驾驶员状态、物体状态和车辆状态选择需实施的动作。所述第一存储装置可存储可由所述第一处理器执行的第二指令以将命令发送给车载计算系统的显示装置、车辆的音频装置和车辆的发动机控制单元中的一个或多个来实施所选择的动作。
[0007]附图简述
[0008]通过阅读以下非限制实施方案的描述并参考附图可以更好地理解本发明，其中:
[0009]图1示出根据本发明一个或多个实施方案的车厢的实例局部视图；
[0010]图2是示出根据本发明一个或多个实施方案的实例车载计算系统；
[0011]图3A示出根据本发明一个或多个实施方案的实例分心确定系统的方块图；
[0012]图3B示出根据本发明一个或多个实施方案的实例分心确定系统的方块图；
[0013]图4是根据本发明一个或多个实施方案基于来自头部单元视场计算的严重程度等级范围生成警告的实例方法的流程图；
[0014]图5是根据本发明一个或多个实施方案确定驾驶员分心水平的实例方法的流程图；
[0015]图6是根据本发明一个或多个实施方案确定分心严重程度等级的实例方法的流程图；
[0016]图7示出根据本发明一个或多个实施方案将严重程度等级R映射至驾驶员状态和车辆条件的实例表。
[0017]图8是根据本发明一个或多个实施方案响应实例驾驶员状态和车辆条件确定需实施动作的实例方法的流程图；且
[0018]图9是根据本发明一个或多个实施方案响应实例驾驶员状态、物体状态和车辆条件确定需实施动作的实例方法的流程图。【具体实施方式】
[0019]如上所述，驾驶员分心可危及车辆使用者以及车辆附近人员。然而，仅仅通过监测驾驶员状态或仅仅通过监测驾驶员的少数分心相关行为，有可能提供对分心驾驶员的不适当响应。例如，如果驾驶员正在打瞌睡，视觉警告可能不足以纠正分心行为。作为另一实例， 如果驾驶员仅仅是望向路旁但车辆路径上无物体，那么针对驾驶员分心的响亮音频警告是不必要的而且会惊吓驾驶员，导致驾驶员丧失车辆的控制。不仅监测驾驶员分心水平，而且还及时地有效响应这类分心的分心监测系统可以解决分心驾驶问题和这类驾驶所造成的重大交通安全性问题。
[0020]因此，本发明提供一种分心监测系统，其包括车载计算系统和云计算装置中的一个或多个，所述装置从可穿戴装置和/或其它传感器装置接收传感器数据以确定驾驶员状态和车辆环境中的物体的状态。所述车载计算系统和/或云计算装置还可从车辆系统接收数据以确定车辆状态。通过关联驾驶员、物体和车辆状态，所述分心监测系统可首先确定驾驶员是否分心，并随后确定那个分心的严重程度。所述分心监测系统可实施不同动作(例如提供视觉警报、提供音频警报和/或实施车辆控制)以响应不同水平的分心严重程度，因为不同类型的分心可从不同类型的警告/响应获益。如此一来，可以基于不同类型数据的智能组合按合适方式将分心告知驾驶员。
[0021]图1示出通信系统的一类环境的实例局部视图:车辆102的车厢100的内部，其中可乘坐驾驶员和/或一名或多名乘客。图1的车辆102可以是包括驱动轮(未示出)和内燃发动机104的机动车辆。内燃发动机104可包括一个或多个燃烧室，其可经由进气通道接收进入空气并经由排气通道排出燃烧气体。在其它类型车辆中，车辆102可以是公路汽车。在一些实例中，车辆102可以包括混合推进系统，其包括可操作以从车辆运动和/或发动机吸收能量并将所吸收能量转换为适合能量存储装置存储的能量形式的能量转换装置。车辆102可包括全电动车辆，其合并了燃料电池、太阳能捕捉元件和/或用于给车辆供能的其它能量存储系统。[〇〇22]如图所示，仪表面板106可包括可供车辆102的驾驶员(还称为用户)访问的各种显示器和控件。例如，仪表面板106可包括车载计算系统109的触摸屏108(例如信息娱乐系统)、音频系统控制面板和仪表组110。虽然图1所示实例系统包括可经由车载计算系统109 的用户界面实施的音频系统控件，如不具有独立音频系统控制面板的触摸屏108,但在其它实施方案中，车辆可包括音频系统控制面板，其可包括用于常见车辆音频系统(如广播、光盘播放机、MP3播放机等)的控件。所述音频系统控件可包括用于经由车辆扬声器系统的扬声器112控制音频输出的一个或多个方面的部件。例如，所述车载计算系统或所述音频系统控件可控制音频输出的音量、车辆扬声器系统的各个扬声器的声音分布、音频信号的均衡和/或音频输出的任何其它方面。在其它实例中，车载计算系统109可基于直接经由触摸屏 108接收的用户输入或基于经由外部装置150和/或移动装置128接收的关于用户的数据(如物理状态和/或用户环境)调节无线电台选择、播放列表选择、音频输出源(例如无线电或CD 或MP3)等。[〇〇23]在一些实施方案中，车载计算系统109的一个或多个硬件元件如触摸屏108、显示屏、各种控制转盘、旋钮和按钮、存储器、处理器和任何接口元件(例如连接器或端口)可形成安装于车辆的仪表面板106中的集成头部单元。所述头部单元可牢固或可拆除地附接于仪表面板106中。在其它或替代实施方案中，车载计算系统的一个或多个硬件元件可以呈模块化且可安装于车辆的多个位置。
[0024]车厢100可包括用于监测车辆、用户和/或环境的一个或多个传感器。例如，车厢 100可包括被配置以测定施加于座位的压力从而确定用户存在的一个或多个座位安置压力传感器、被配置以监测车门活动的车门传感器、测定车厢湿度的湿度传感器、以语音命令形式接收用户输入、支持用户进行电话呼叫和/或测定车厢1〇〇中的环境噪音的麦克风等。应理解上述传感器和/或一个或多个额外或替代传感器可安置于车辆的任何合适位置。例如， 传感器可安置于发动机房中、车厢的外表面上和/或其它合适位置用于提供关于车辆操作、 车辆环境条件、车辆用户等信息。关于车辆环境条件、车辆状态或车辆驾驶员的信息还可从车辆外部/与车辆分离(即不构成车辆系统的一部分)的传感器，如从耦接至外部装置150 和/或移动装置128的传感器接收。
[0025]车厢100还可包括在行驶之前、期间和/或之后存放在车辆中的一个或多个用户物体，如移动装置128。所述移动装置可包括智能电话、平板电脑、膝上型计算机、便携式媒体播放器和/或任何合适移动计算装置。所述移动装置128可经由通信链路130连接至车载计算系统。所述通信链路130可以是有线(例如经由通用串行总线[USB]、移动高清晰度链路 [MHL]、高清晰度多媒体接口 [HDMI]、以太网等)或无线(例如经由蓝牙、W1-F1、近场通信 [NFC]、蜂窝连接等)且被配置以在移动装置与车载计算系统之间提供双向通信。例如，通信链路130可将来自各个车辆系统(如车辆音频系统、气候控制系统等)和触摸屏108的传感器和/或控制信号提供给移动装置128且可将来自移动装置128的控制和/或显示信号提供给车载系统和触摸屏108。所述通信链路130还可将来自车载能源的能量提供给移动装置128 以给移动装置的内置电池充电。
[0026]车载计算系统109还可通信耦接至供用户操作和/或访问但位于车辆102外部的其它装置，如一个或多个外部装置150。在所描绘的实施方案中，外部装置150位于车辆102外侦L但将明白在其它实施方案中，外部装置可位于车厢100内侧。所述外部装置可包括服务器计算系统、个人计算系统、便携式电子装置、电子腕带、电子头带、便携式音乐播放器、电子活动跟踪装置、计步器、智能手表、GPS系统等。外部装置150可经由可以是有线或无线(如参考通信链路130所论述)且被配置以在外部装置与车载计算系统之间提供双向通信的通信链路136连接至车载计算系统。例如，外部装置150可包括一个或多个传感器且通信链路 136可将来自外部装置150的传感器输出发送至车载计算系统109和触摸屏108。外部装置 150还可存储和/或接收关于文本数据、用户行为/偏好、操作规则等的信息且可将这类信息从外部装置150发送至车载计算系统109和触摸屏108。
[0027]车载计算系统109可分析从外部装置150、移动装置128和/或其它输入源接收的输入并选择各个车载系统(如气候控制系统或音频系统)的设置、经由触摸屏108和/或扬声器 112提供输出、与移动装置128和/或外部装置150通信和/或基于评估实施其它动作。在一些实施方案中，所有或一部分评估可由移动装置128和/或外部装置150实施。
[0028]在一些实施方案中，外部装置150中的一个或多个可经由移动装置128和/或外部装置150中的另一个间接通信耦接至车载计算系统109。例如，通信链路136可将外部装置 150通信耦接至移动装置128以将来自外部装置150的输出中继到移动装置128。随后可在移动装置128将从外部装置150接收的数据与移动装置128所收集的数据集合，随后经由通信链路130将集合数据发送至车载计算系统109和触摸屏108。类似数据集合可发生在服务器系统且随后经由通信链路136/130发送至车载计算系统109和触摸屏108。
[0029]在图1图示的实例环境中，所述车载计算系统109可经由任何合适网络连接至一个或多个车辆系统，如扬声器112、显不器108、车辆传感器和/或其它合适车辆系统。在一些实例中，所述车载计算系统109包括被配置以经由网络将音频/视频数据发送至收听装置如扬声器112和显示器108的送话装置。网络可根据开放式系统互连(0SI)模块的层2配置，其中在网络中的路由和转发决定或判定可基于媒体访问控制(MAC)寻址方式实施。实例层2网络可以是以太网音频/视频桥接(AVB)网络。对于被配置成AVB网络的层2网络来说，送话器和收听器可被配置以在AVB网络上利用各种AVB标准和协议通信，包括用于网络定时和同步的电气和电子工程师协会(IEEE)802.1AS-2011(gPTP)、用于排队和转发流化数据的IEEE 802.1Q-2011条款34、用于保留网络连接或路径和/或资源如网络连接的通信带宽的IEEE 802.1Q-2011条款35(流保留协议(SRP))和/或与可行数据流化格式相关的IEEE 1722-2011。可另外或替代地使用其它AVB相关标准和协议和/或先前、现用或后续开发的AVB标准和协议的其它版本。
[0030]应理解图1描绘了一种实例环境，然而本文所描述的通信系统和方法可用于任何合适环境。可将发送和/或接收信息、感测数据和/或以其它方式帮助驾驶员分心检测和/或警报系统的任何合适装置用作本文所描述的系统和/或用于实施本文所描述的方法。
[0031]图2示出被配置和/或集成在车辆201内的车载计算系统200的方块图。车载计算系统200可以是图1车载计算系统109的实例和/或可实施在本文一些实施方案中所描述的方法中的一个或多个。在一些实例中，所述车载计算系统可以是车辆信息娱乐系统，其被配置以将基于信息的媒体内容(音频和/或视觉媒体内容，包括娱乐内容、导航服务等)提供给车辆用户以增强操作人的车载体验。所述车辆信息娱乐系统可包括或耦接至各种车辆系统、 子系统、硬件组件以及集成于或可集成于车辆201中以增强驾驶员和/或乘客的车载体验的软件应用程序和系统。[〇〇32] 车载计算系统200可包括一个或多个处理器，包括操作系统处理器214和接口处理器220。操作系统处理器214可执行车载计算系统上的操作系统并控制车载计算系统的输入/输出、显示、回放和其它操作。接口处理器220可经由车辆间系统通信模块222与车辆控制系统230介接。[〇〇33]车辆间系统通信模块222可将数据输出至其它车辆系统231和车辆控制元件261， 同时还例如通过车辆控制系统230从其它车辆组件和系统231、261接收数据输入。当输出数据时，车辆间系统通信模块222可经由总线提供对应于任何车辆状态、车辆周围环境或连接至车辆的任何其它信息源的输出的信号。车辆数据输出可包括例如模拟信号(如当前速度)、由各个信息源(如时钟、温度计、位置传感器如全球定位系统[GPS]传感器等)提供的数字信号、通过车辆数据网络(如可用于通信发动机相关信息的发动机控制器局域网[CAN]总线、可用于通信气候控制相关信息的气候控制CAN总线和供车辆中的多媒体组件之间通信多媒体数据用的多媒体数据网络)传播的数字信号。例如，所述车载计算系统可从发动机 CAN总线检索由车轮传感器估算的当前车辆速度、由车辆的电池和/或能量分配系统提供的车辆能量状态、车辆点火状态等。此外，在不脱离本发明精神下还可以使用其它介接方式， 如以太网。[〇〇34]在车载计算系统200中可包括非易失性存储装置208以按非易失形式存储数据，如可由处理器214和处理器220执行的指令。存储装置208可存储应用程序数据以支持车载计算系统200运行用于连接云服务器和/或收集传输至云服务器的信息的应用程序。所述应用程序可检索由车辆系统/传感器、输入装置(例如用户界面218)、与车载计算系统通信的装置(例如经由蓝牙链路连接的移动装置)等收集的信息。车载计算系统200还可包括易失性存储器216。易失性存储器216可以是随机访问存储器(RAM)。非暂时性存储装置如非易失性存储装置208和/或易失性存储器216可存储指令和/或代码，当被处理器(例如操作系统处理器214和/或接口处理器220)执行时，其控制车载计算系统200实施本发明所描述动作中的一个或多个。[〇〇35]车载计算系统200可包括麦克风202以接收来自用户的语音命令、测定车辆中的环境噪音、根据车辆的声学环境决定是否调谐来自车辆扬声器的音频等。语音处理单元204可处理语音命令，如从麦克风202接收的语音命令。在一些实施方案中，车载计算系统200还能够接收语音命令并利用包括于车辆的音频系统232中的麦克风对环境车辆噪音进行采样。 [〇〇36]在车载计算系统200的传感器子系统210中可包括一个或多个额外传感器。例如， 传感器子系统210可包括照相机，如辅助用户停泊车辆的后视照相机和/或用于识别用户 (例如利用面部认知和/或用户姿势)的车厢照相机。车载计算系统200的传感器子系统210 可与各个车辆传感器通信并接收输入且还可接收用户输入。例如，由传感器子系统210接收的输入可包括传动齿轮位置、传动离合器位置、油门踏板输入、制动输入、传动选择器位置、 车辆速度、发动机速度、通过发动机的空气流量、环境温度、输入空气温度等以及来自气候控制系统传感器(如热传递流体温度、防冻液温度、风扇速度、乘客舱温度、所需乘客舱温度、环境湿度等)、检测用户所发起的语音命令的音频传感器、接收来自车辆钥匙的命令且任选跟踪其地理位置/远近的钥匙传感器等的输入。虽然某些车辆系统传感器可与传感器子系统210单独通信，但其它传感器可与传感器子系统210和车辆控制系统230通信，或可经由车辆控制系统230间接与传感器子系统210通信。车载计算系统200的导航子系统211可生成和/或接收导航信息，如位置信息(例如经由GPS传感器和/或传感器子系统210的其它传感器)、路径指导、交通信息、关注点(POI)识别，和/或给驾驶员提供其它导航服务。[〇〇37]车载计算系统200的外部装置接口 212可耦接和/或与位于车辆201外部的一个或多个外部装置240通信。虽然图示外部装置位于车辆201外部，但应理解它们可以暂时容置于车辆201中，如当用户操作外部装置同时操作车辆201时。换句话说，外部装置240不集成于车辆201。外部装置240可包括移动装置242(例如经由蓝牙连接)或另一种蓝牙支持装置 252。移动装置242可以是移动电话、智能电话、可经由有线和/或无线通信与车载计算系统通信的可穿戴装置/传感器或其它便携式电子装置。其它外部装置包括外部服务246。例如， 所述外部装置可包括与车辆分离且位于车辆外部的车外装置。另外其它外部装置包括外部存储装置254,如固态驱动器、随身驱动器、USB驱动器等。在不脱离本发明的范围下，外部装置240可无线或经由连接器与车载计算系统200通信。例如，外部装置240可通过网络260上的外部装置接口 212、通用串行总线(USB)连接、直接有线连接、直接无线连接和/或其它通信链路与车载计算系统200通信。外部装置接口 212可提供通信接口来支持车载计算系统与驾驶员联系有关的移动装置通信。例如，外部装置接口 212可支持向驾驶员联系有关的移动装置建立电话呼叫和/或发送(例如，经由蜂窝通信网络)文本消息(例如SMS、MMS等)。[〇〇38]可在移动装置242上操作一个或多个应用程序244。作为实例，移动装置应用程序 244可操作以集合关于用户与移动装置交互的用户数据。例如，移动装置应用程序244可集合关于用户在移动装置上收听的音乐播放列表、电话呼叫日志(包括用户接听电话呼叫的频率和时长)、位置信息包括用户常去的位置和在每个位置所花费的时间量等的数据。所收集的数据可通过应用程序244经网络260传送至外部装置接口 212。此外，移动装置242可从车载计算系统200经由外部装置接口 212接收特定用户数据请求。所述特定数据请求可包括确定用户所处地理位置、用户所在位置的环境噪声水平和/或音乐流派、用户所在位置的环境天气条件(温度、湿度等)等的请求。移动装置应用程序244可将控制指令发送给移动装置 242的组件(例如麦克风等)或其它应用程序(例如导航应用程序)以支持将请求数据收集于移动装置上。随后移动装置应用程序244可将所收集的信息中继返回至车载计算系统200。 [0〇39]类似地，可在外部服务246上操作一个或多个应用程序248。作为实例，外部服务应用程序248可操作以集合和/或分析来自多个数据源的数据。例如，外部服务应用程序248可集合来自用户的一个或多个社交媒体账户的数据、来自车载计算系统的数据(例如传感器数据、日志文件、用户输入等)、来自互联网查询的数据(例如天气数据、P0I数据)等。所收集的数据可传送至另一装置和/或供应用程序分析以确定驾驶员、车辆和环境的状态并基于所述状态实施动作(例如向其它装置请求/发送数据)。
[0040]车辆控制系统230可包括用于控制不同车载功能所涉及的各个车辆系统231的方面的控件。这些可包括例如控制向车辆使用人提供音频娱乐的车辆音频系统232的方面、满足车辆使用人的车辆制冷或制热需求的气候控制系统234的方面以及支持车辆使用人与其他人建立电信连接的电信系统236的方面。
[0041]音频系统232可包括一个或多个声学再现装置，包括电磁换能器如扬声器。车辆音频系统232可通过如包括功率放大器而为无源或有源的。在一些实例中，车载计算系统200 可以是声学再现装置的唯一音频源或可以存在连接至音频再现系统的其它音频源(例如外部装置如移动电话)。任何这种外部装置对音频再现装置的连接可以是模拟、数字或数字与模拟技术的任何组合。[〇〇42]气候控制系统234可被配置以在车辆201的车厢或乘客舱内提供舒适环境。气候控制系统234包括支持控制通风的组件，如通气口、加热器、空气调节器、集成加热器与空气调节器系统等。链接至加热与空气调节设备的其它组件可包括能够清洁挡风板的挡风除霜与除雾系统和用于清洁经新风入口进入乘客舱的外侧空气的通风空气过滤器。[〇〇43]车辆控制系统230还可包括用于调节与发动机和/或车辆车厢内的附属元件相关的各个车辆空间261 (或车辆系统控制元件)的设置的控件，如方向盘控件262(方向盘安置的音频系统控件、巡航控件、挡风刮条控件、头灯控件、转向信号灯控件等)、仪表面板控件、 麦克风、加速器/制动/离合器踏板、换挡器、安置于驾驶员或乘客车门的门/窗控件、座位控件、车厢灯控件、音频系统控件、车厢温度控件等。车辆控件261还可包括内部发动机和车辆操作控件(例如发动机控制器模块、致动器、阀门等)，其被配置以经由车辆的CAN总线接收指令来改变发动机、排气系统、传动和/或其它车辆系统中的一个或多个的操作。所述控制信号还可控制车辆音频系统232的一个或多个扬声器的音频输出。例如，控制信号可调节音频输出特性如音量、均衡、音频图像(例如产生从一个或多个确定位置呈现给用户的音频输出的音频信号的配置)、多个扬声器的音频分布等。类似地，控制信号可控制气候控制系统 234的通风、空调调节器和/或加热器。例如，控制信号可增大向车厢特定部分的冷空气递送。
[0044]安置于车辆外侧的控制元件(例如安全系统的控件)还可例如经由通信模块222连接至计算系统200。车辆控制系统的控制元件可实体且永久地安置于车辆上和/或中用于接收用户输入。除了接收来自车载计算系统200的控制指令外，车辆控制系统230还可接收来自由用户操作的一个或多个外部装置240,如来自移动装置242的输入。这允许基于从外部装置240接收的用户输入控制车辆系统231和车辆控件261的方面。[〇〇45]车载计算系统200还可包括天线206。天线206示出为单个天线，但在一些实施方案中可包括一个或多个天线。车载计算系统可经由天线206获得宽带无线互联网接入，且还可接收广播信号如无线电、电视、天气、交通和类似信号。车载计算系统可经由一个或多个天线206接收定位信号如GPS信号。车载计算系统还可经由RF如经由天线206或经由红外或其它方式通过适当接收装置接收无线命令。在一些实施方案中，天线206可构成音频系统232 或电信系统236的一部分。此外，天线206可将AM/FM无线电信号经由外部装置接口 212提供给外部装置240(如给移动装置242)。
[0046]用户可经由用户界面218控制车载计算系统200的一个或多个元件。用户界面218 可包括呈现在触摸屏(如图1触摸屏108)上的图形用户界面和/或用户启动按钮、开关、旋钮、拨号盘、滑块等。例如，用户启动元件可包括方向盘控件、门和/或窗控件、仪表面板控件、音频系统设置、气候控制系统设置和类似元件。用户还可经由用户界面218与车载计算系统200和移动装置242的一个或多个应用程序交互。除了在用户界面218上接收用户的车辆设置偏好外，还可在用户界面218上将车载控制系统所选择的车辆设置显示给用户。可在用户界面的显示器上将通知和其它消息(例如接收的消息)以及导航辅助显示给用户。可经由向用户界面的用户输入实施用户偏好/信息和/或对呈现消息的响应。[〇〇47]图3A示出分心监测系统300a的方块图，其包括被配置和/或集成在车辆(如图1车辆102)内的车载计算系统(本文还称为头部单元)304a。分心监测系统300a还可包括移动装置，如例如可穿戴装置302。在一些实例实施方案中，可穿戴装置302可包括头置式显示系统，其借助驾驶员鼻子和耳朵被安置于驾驶员面部。在其他或替代实例中，可穿戴装置302 可包括智能手表或其它腕戴或体戴式计算装置。可穿戴装置302可另外或替代地是自含式单元，其可例如夹持于现有眼镜框架或另一附件上。虽然图3A只示出一个可穿戴装置302， 但应理解在分心监测系统300a中可包括任何数量的可穿戴或其它移动装置。
[0048]可穿戴装置302可与麦克风配合以检测车辆环境内的音频信号且可包括其它传感器如生物计量传感器、出汗水平传感器、体温、心电图、血糖仪、血压、肌肉传感器、天气传感器等。可穿戴装置302可另外包括多个照相机，其中一个或多个照相机向内面向穿戴所述装置的驾驶员(内向或面向驾驶员照相机)，且一个或多个照相机面向驾驶员/车辆的外侧(面向前或面向外照相机)。可穿戴装置302中的面向驾驶员照相机可监测驾驶员在车辆内时的运动且面向前照相机可捕捉车辆周围环境(例如车辆环境，其可包括车辆的车厢和/或车辆外部周围的区域)的图像。还可装备可穿戴装置302的照相机以捕捉原始静态和/或动作图像帧且可穿戴装置302能够经W1-Fi (例如向头部单元304a的W1-Fi接口 310)、蓝牙(例如向头部单元的蓝牙接口 312)和/或任何其它合适通信机构向头部单元304流化原始图像帧和/ 或压缩视频图像。[〇〇49] 在图3A所示实施方案中的头部单元304可包括W1-Fi接口 310、蓝牙接口 312、视频解压器314、分心分析块306、分心严重程度分析块308、显示子系统316、音频子系统318和控制器局域网(CAN)接口 320。分心分析块306可包括用于实施视频场景分析、视频增强、视频修正、动作分析和/或任何其它合适数据处理和分析以确定驾驶员是否分心的指令。
[0050]在操作中，来自可穿戴装置302的任何原始视频信号可被头部单元304a中的W1-Fi 接口 310和/或蓝牙接口 312接收并传递至分心分析块306。任何压缩视频信号可经由头部单元304a中的W1-Fi接口 310和/或蓝牙接口 312接收并随后在视频解压器单元314中解压。在一些实例中，由于相对于未压缩/原始数据的带宽用量减少，压缩视频信号可经由蓝牙发送。[〇〇51]分心分析块306所接收的数据可在图像修正单元进行修正，如视频稳像。作为实例，道路颠簸可导致信号振动、模糊或失真。作为实例，图像修正单元可针对水平和/或竖直振动稳定图像，和/或可对平移、旋转和/或缩放进行修正。分心分析块306的视频增强单元可在光照不良或高压缩情况下实施额外增强。视频处理和增强可包括y修正、去雾和/或去模糊，且视频处理增强算法可操作以减小对比度增强技术如色调映射、直方图拉伸和均衡及Y修正所造成的低光照视频输入噪声从而修复低光照视频的视觉信息。分心分析块306 的视频场景分析单元可识别来自可穿戴装置302的视频内容，其还可用于分心严重程度分析块306。视频顺序分析可涉及大范围的技术，从低水平内容分析如特征提取、结构分析、物体检测和跟踪到高层语义分析如场景分析、事件检测和视频挖掘。例如，通过识别输入视频信号的内容，可确定车辆处于高速公路或是在城市限区内、道路上是否存在任何行人、动物或其它物体/障碍物等。动作分析单元可确定自我动作和在车辆路径中的物体的动作。自我动作估算包括估算车辆相对于从车辆本身观察到的道路或街道标志上的线条的移动位置且可通过分析有关照相机图像加以确定。通过在实施图像分析(例如视频场景分析、动作分析等)之前或同时实施图像处理(例如，图像修正、视频增强等)，可按照针对所实施的分析类型予以优化的合适方式制备图像数据。例如，减小模糊的图像修正可通过清除用于物体识别的边缘线外观而允许更准确地实施视频场景分析。
[0052]在信号进行如上所述的处理和分析后，分心严重程度分析块308可接收分心分析块306的输出且可利用从头部单元304a的控制器局域网(CAN)接口 320获得的其它参数如车辆速度、车辆照明(内部和/或外部)和车辆位置估算分心的严重程度。严重程度分级可取决于驾驶员的分心水平。驾驶员分心的一些实例包括驾驶员在驾驶时长时间不望向道路、驾驶员在即将转弯时不望向道路、驾驶员被音乐分心等。其它实例可包括驾驶员长时间段操作(例如提供用户输入至)信息单元而被分心、驾驶员困乏或疲倦和/或其它驾驶员状态。一旦确定驾驶员分心水平，分心严重程度分析块308确定严重程度分级R。系统所实施的动作可根据分心的严重程度而变化。严重程度分级R还可取决于各种因素，如事件的危急程度和驾驶员分心的持续时间。一些实例情形和所生成的最终严重程度等级R示于图7并描述于下文。[〇〇53]如果严重程度等级R处于第一范围(例如为低)，那么可指示视觉警报，其可显示于头部单元304a的显示子系统316中和/或向外发送至能够给驾驶员显示视觉警告的任何系统(例如车辆中的另一个显示器、可穿戴装置302上的显示器、车辆中另一个移动装置的显示器等)。如果严重程度等级R处于第二范围(例如中等)，那么可指示音频警报。音频警报信号可用于生成头部单元304a的音频子系统中的音频信号或还可用于在能够给驾驶员生成音频警告的任何系统(例如车辆的扬声器系统、可穿戴装置302的扬声器系统、车辆中另一个移动装置的扬声器等)中生成音频警报。在图3A所示的实施方案中，大部分数据处理可发生于头部单元304a中。然而，有可能在头部单元304a以外的系统中实施至少一些数据处理和/或分析。[〇〇54]图3B示出可用于这一实例情形的分心监测系统300b的实例方块图，其中一些数据处理可发生于云计算装置322中。图3B中具有与图3A相应元件的相同数字的元件在所有方面类似于图3A中所描述的那些元件，除了在云计算装置322中可存在负责单元定位的其它元件来代替头部单元304b。虽然示出为包括比图3A的头部单元304a少的元件，但应理解头部单元304b可另外包括图3A的304a中所包括的一个或多个数据处理/分析单元(例如分心分析块306、视频解压器314和/或分心严重程度分析块308)。例如，如图3B所示的分心监测系统300b可表示当在云计算装置322中实施实质上所有处理/分析时所使用的单元。然而， 在其它情形中，数据处理/分析可为云计算装置322和头部单元304b所共有。例如，来自可穿戴装置302的数据的第一部分可由云计算装置322处理并分析且来自可穿戴装置302的数据的第二部分可由头部单元304b处理并分析。在其它实例中，可由云计算装置322和头部单元 304b中的一个实施所有数据的某类处理和/或分析且可由云计算装置322和头部单元304b 中的另一个实施所有数据的某些其它类型的处理和/或分析。
[0055]可穿戴装置302可包括能够类似于图3A所描述那样流化原始或压缩视频图像的多个照相机和麦克风。来自可穿戴装置的原始图像可经由W1-Fi接口 310和/或蓝牙接口 312发送至云计算装置322。另外或替代地，来自可穿戴装置302的数据可经由蓝牙接口 312和/或 W1-Fi接口 310发送至头部单元304b。头部单元304b所接收的数据可另外由视频压缩器324 压缩，随后可通过云端接口 326发送至云计算装置322。头部单元304b中的云端接口 326能够与位于云计算装置的头部单元接口 328双向通信。由云计算装置中的头部单元接口 328接收到的压缩数据可如图3A所解释那样经由视频解压器314进行解压缩。类似于图3A所示的实施方案，从W1-Fi接口 310和/或蓝牙接口 312接收的数据和从视频解压器314接收的解压数据(各自位于云计算装置322)可由分心分析块306按十分类似于如图3A所描述的方式进行进一步处理并分析。此外，同样位于云计算装置322中的分心严重程度分析单元308可实施其它分析并生成严重程度分级R。取决于严重程度分级，可发起不同警告信号，随后可通过头部单元接口 328反向通信给头部单元304b，且可如图3A所解释般在各个系统中生成相应敏出吕口 〇[〇〇56]图4是操作车载计算系统基于从车辆头部单元角度计算得到的严重程度等级范围生成警告的方法400的流程图。例如，方法400可由图2的车载计算系统200基于移动装置242 (例如可穿戴装置，如图3A和图3B的可穿戴装置302)的输出实施。[〇〇57]方法400包括在402从移动装置接收数据。在一个实例中，所述移动装置可以是图 3A和图3B中描述的可穿戴装置302。所述数据可包括来自例如面向前照相机和面向驾驶员照相机的图像数据。具体来说，车载计算系统可以从一个或多个可穿戴装置接收数据。车辆驾驶员所穿戴的可穿戴装置可包括一个或多个传感器，如生物计量传感器、温度传感器、出汗水平传感器等。[〇〇58]在404,所述方法包括处理数据，所述数据可如图3A所描述般在头部单元(图3A的头部单元304a)自身处理或可如图3B所解释那样发送到云端用于进一步处理，在这种情况中，经处理的数据从云端接收返回至头部单元(例如图3B的头部单元304b)。在406,所述方法包括确定驾驶员分心(正如下文将参考图5所解释那样)。在408,所述方法检查驾驶员是否分心。如果驾驶员分心，那么所述方法行进至410,在此计算严重程度等级R(例如基于来自各个源的数据的修正，如下文参考图6所解释那样)。如果在408确定驾驶员未分心，那么所述方法返回至继续接收图像数据并监测驾驶员分心。[〇〇59]在412,所述方法检查计得的严重程度等级R是否在第一范围内。所述第一范围可以是严重程度等级R的值，其指示驾驶员分心的严重程度处于相对低水平。例如，第一范围可对应于当车辆不处于立即碰撞危险时的驾驶员分心指示、预计是短暂的驾驶员分心指示等。如果严重程度分级处于第一范围内(例如在412处为“是”)，那么所述方法行进至414,在此头部单元命令显示装置展示视觉警告。视觉警告可包括但不限制于显示于抬头显示器或主要信息娱乐屏幕上的警告。如果严重程度等级R不处于第一范围内，那么所述方法行进至 416,在此系统确定R是否处于第二范围内。例如，第二范围可对应于相对中等水平的驾驶员分心严重程度。实例中等水平严重程度可包括当车辆处于其它方面为安全的环境(例如在车辆的轨迹/路径内无物体、以低速度驾驶等)时的严重驾驶员分心(例如，展示睡意的眼睛下垂)。如果严重程度等级R处于第二范围内(例如在416处为“是”)，那么所述方法行进至 418,在此头部单元命令音频回放装置展示音频警告。在一个实例中，音频警告可在系统的所有可用音频区播放。如果在416处确定R不处于第二范围内，那么所述方法行进至420,在此系统检查R是否处于第三范围内。第三范围可对应于相对高水平的驾驶员分心严重程度。高水平驾驶员分心严重程度实例可包括当车辆环境中的物体处于与车辆对撞的进程(例如物体的估计轨迹与车辆的估计轨迹相交)时的任何驾驶员分心。如果严重程度分级R处于第三范围内(例如在420处为“是”)，那么所述方法行进至422,在此头部单元命令车辆系统实施发动机控制操作或其它车辆控制操作。发动机操作可包括例如自动控制车辆速度或制动 (例如无需驾驶员或其它用户指令下实施这类车辆控制)，而其它车辆控制操作可包括例如降低多媒体相关系统音量。对于极端情况来说，在422实施的发动机控制操作可包括在无驾驶员或其它用户介入下自动引导车辆完全停止。如果当420检查时R不处于第三范围内，那么所述方法返回。例如，第一范围可对应于最低范围的严重程度分级，且第二范围可对应于较高范围的严重程度分级，从刚好高于第一范围内的最高严重程度分级开始。第三范围可对应于从第二范围最高严重程度等级到最大可能严重程度等级的严重程度分级范围。因此，在所述三个范围以外的任何严重程度等级可对应于低得足以放弃任何警告的严重程度分级。在其它实例中，在所检查严重程度等级以外的严重程度等级可导致实施默认动作(例如音频和/或视觉警告)。虽然图4图示了三个范围，但应理解在方法400实施时可分析任何数量的范围和相关动作类型。
[0060]图5是处理并分析从移动装置(例如图3A和图3B的可穿戴装置302)接收的数据的方法500的流程图且包括从移动装置的角度进一步确定驾驶员的分心水平。在方法500的 502处，移动装置向外发送来自移动装置的面向驾驶员照相机的数据。在一个实例中，这可包括来自图3A和图3B的可穿戴装置302的数据。面向驾驶员照相机数据可包括提供关于驾驶员头部位置、其姿态、其眼睛位置的细节的图像且甚至可包括诸如凝视方向、瞳孔位置等能够基于在头部单元(例如图3A的头部单元304a)和云计算装置(例如图3B的云计算装置 322)中的一个或多个处实施的图像分析确定的细节。图像数据可发送至头部单元和/或云端供处理并分析。在方法500的504处，移动装置向外发送来自其它传感器的数据。这些其它传感器可包括一个或多个可穿戴传感器，如生物计量传感器、心率传感器、温度传感器、出汗水平传感器等。这个数据可发送至头部单元和/或云端用于进一步处理并分析。在方法 500的506处，可命令移动装置发送来自面向前照相机的数据。这个数据包括提供关于车辆外部环境的信息的数据。例如，这个数据可包括在车辆周围的景观、停车标志和信号灯的位置、在受关注的车辆路径中的其它车辆、在受关注的车辆路径中的物体、能够基于在头部单元和云计算装置中的一个或多个处实施的图像分析予以确定的物体(包括人、动物等)的图像。这个数据再次被发送到头部单元和/或云端。在方法500的508处，来自502、504和506的数据按下文所解释般加以处理。[0061 ] 来自方法500的502的面向驾驶员照相机数据可在508处进行处理。在508处的数据处理可包括实施数据修正、数据增强、实施饱和水平修正、数据平滑化等。实施数据修正可包括实施针对修正图像中的例如局部缺陷而设计的图像处理。例如，这可包括移除图像的极小部分，所述部分可以是被认为是错误或灰尘颗粒或并非实际图像数据一部分的任何其它内容。另外，数据修正可包括亮度修正、色彩修正、光圈和曝光修正、白平衡修正等。在508 处，来自面向前照相机的数据可进行数据增强，以清晰识别驾驶员的面部特征。数据增强可包括调节例如对比度、增益、阈值等。来自502的数据还可进行饱和水平修正和平滑化。在 508实施的数据处理步骤可使得来自面向驾驶员照相机的图像数据适合在510和512进一步分析。
[0062] 在504处发送的来自传感器的数据可进行在508处的类似处理。如图3A和图3B中所描述，可穿戴装置可包括其它传感器，如生物计量传感器、出汗水平传感器等。例如生物计量传感器或出汗水平传感器可提供关于穿戴人的一系列实时医学信息。出汗水平传感器监测其在小贴片中收集的汗液，对其加以分析且还可将其用于监测体力疲劳水平并提示驾驶员例如是否过度劳累。生物计量传感器可用于监测脉搏或心率，而且同样可用于确定驾驶员的健康状况。其它传感器如体温传感器、心电图、血糖仪等也可用于监测驾驶员的健康状况。来自这些传感器的信息可用于实时监测驾驶员的状态，其可在508中利用各种信号处理技术进行进一步处理以从这些测定提取有用数据。[〇〇63] 来自方法500的506的面向前照相机数据可在508处加以处理。在508处的数据处理可包括如上文所解释的实施数据修正、数据增强、实施饱和水平修正、数据平滑化等。所述数据可包括例如关于车辆轨迹、车辆路径中的物体、车辆路径中的物体的轨迹的信息。另夕卜，其还可包括关于即将到来的信号灯/停车标志、速度限制、学校区域/医院区域等的信息。在508中实施的数据处理步骤使得来自面向驾驶员照相机的图像数据适合在510和512 中进行进一步分析。[〇〇64]在502从面向驾驶员照相机接收的数据、在504来自其它传感器的数据和在506来自面向前照相机的数据可如上文所解释那样在508进行处理并在510和512处进行进一步分析。例如，在508处理的来自面向驾驶员照相机的数据可用于确定例如驾驶员的面部特征。 这可包括确定例如眼皮是否长时间闭合或部分闭合。如果与历史数据相比时，眼皮位置相比于较早时间保持闭合，那么在514可确定驾驶员分心。作为另一实例，驾驶员数据可包括头部的位置。如果在510通过与历史数据比较确定头部位置持续移动(在一个实例中，这可能是由于点头)，那么可在514确定驾驶员分心。在另一实例中，如果驾驶员数据指示驾驶员眼睛长时间望向车辆轨迹以外的方向(通过在510处与历史数据比较获得)，那么可在514确定驾驶员分心。[〇〇65]从504接收的来自其它传感器的数据可包括关于例如驾驶员健康状况或天气条件 (作为另一实例)的信息。来自生物计量传感器的信息可用于实时监测驾驶员的状态，其可在514进一步用于确定驾驶员是否分心。心率或脉搏率监测器可确定心脏跳动的速率。健康成年人的心脏在平息时按每分钟60至100次的范围跳动，且异常高脉搏率可包括高于每分钟100次跳动的速率。长时间快速心率可导致头晕、目眩、眩晕、心悸、胸痛和呼吸短促。通过在510将脉搏率与历史数据比较并在512加以分析以确定驾驶员的状态，且还可在514用于确定驾驶员是否分心。作为另一实例，从天气传感器确定的天气条件信息可用于确定驾驶条件。
[0066]从506接收的来自面向前照相机的数据可包括如上文所解释关于车辆轨迹、车辆路径中的物体、车辆路径中的物体的轨迹等的信息。另外，所述数据还可包括关于即将到来的信号灯/停车标志、速度限制、学校区域/医院区域等的信息。在512处，这个数据可通过例如实施视频场景分析、实施动作分析、检测物体、确定物体和车辆轨迹、比较物体和车辆轨迹和实施与历史数据比较进行进一步分析。作为实例，如果来自面向前照相机的数据指示驾驶员处于城市限区(通过例如视频场景分析)内且存在即将到来的停车信号灯(通过物体检测)且行人正在穿过道路(通过物体检测)，那么须在停车信号灯处等待穿过的行人。在 512处，可确定车辆和行人的轨迹并进一步比较且随后可在实施图6图示的流程图时加以分析以按下文参考图6解释那样确定分心严重程度等级R。作为另一实例，如果确定车辆处于高速公路上(通过视频场景分析)，且在邻近车道上存在车辆(物体检测)，同时指示灯闪烁以指示车道改变(视频场景分析)，那么可确定所有车辆的轨迹并加以比较且随后可在实施图6图示的流程图时进行分析。在516处，可检查驾驶员是否分心，如果是，那么方法500行进至图6图示的方法，如果否，方法500返回。[〇〇67]图6是确定分心严重程度等级的方法600的流程图。在方法600的602处，可检索来自图5的被分析数据。这个数据可包括来自面向驾驶员照相机的数据、来自其它传感器的数据和来自面向前照相机的数据，这些数据被进一步处理并分析。在604处，可确定驾驶员分心的类型。例如，可从面向驾驶员的照相机确定驾驶员不望向车辆路径，说明他/她可能具有视觉分心。例如，如果驾驶员正在看广告牌或蜂窝电话，或望向车辆内的物体，那么可确定驾驶员分心。或者，驾驶员可能将其手从方向盘移开，这可通过例如面向前照相机确定， 说明驾驶员可具有动作分心。其它实例动作分心可包括驾驶员使用蜂窝电话输入文字或拨号，或拾起可能已跌落车辆地板的物体。驾驶员可另外或替代地将其注意力从驾驶移开，说明认知分心。例如，驾驶员可在听响亮音乐的同时点头，这两种行为可从面向驾驶员的照相机和移动装置中的麦克风确定。在方法600的606处，数据可加以分析或可用于预测环境危险或风险。在一个实例中，环境危险或风险可包括在分心监测系统的头部单元/可穿戴装置所在的车辆前方的车辆的数量。另外或替代地，环境危险或风险可包括例如车辆是否在学校或医院区域。环境危险或风险还可包括由天气传感器确定的天气条件，且可指示例如是否正在下雨或下雪，或外侧温度是否寒冷。另外或替代地，环境风险或危险可包括确定在车辆路径中是否存在物体，和确定物体与车辆的轨迹是否有可能相交。在方法600的608处，可确定驾驶员分心的数量。例如，驾驶员可能正在其电话上输入文字，这可包括视觉和动作分心。在任何指定时间可存在多于一种分心，且驾驶员分心的总数可在608确定。类似地，可存在几种环境风险或危险且在610处，可确定环境风险或危险的总数。例如，可在610处确定在车辆路径中(或具有与车辆轨迹相交的轨迹)的物体的数量。在方法600的612处，可基于在图6的604至610处实施的分析通过排序并计算严重程度等级R确定分心严重程度，其实例示于图7中。排序和分级可得到整数严重程度等级R，其可具有映射到不同动作(例如展示视觉警报、音频警报、实施车辆控制等)的值和/或值范围。在614处，所述方法包括基于严重程度等级实施动作(例如如上文参考图4所描述般)。[〇〇68]图7是基于如上所述的驾驶员分心和环境风险/危险计算严重程度等级R的表700。 作为实例情形，如果确定驾驶员不望向前方(说明视觉分心)且车辆停在交通信号灯处，那么所分配的严重程度等级为低，例如即R=l。然而，如果确定驾驶员不望向前方，且车辆正在以高速接近城市内的转弯，那么严重程度等级被定为高，例如R=8。作为另一实例，如果驾驶员正在使用电话，但正在使用免提且在高速公路上，那么可确定是中等严重程度等级， 如R = 4。然而，如果驾驶员正在使用电话，但不使用免提且正在以高速接近城市内的转弯， 那么可确定是高严重程度等级，如R=8。更多实例情形和相应严重程度等级示于图7中。在方法600的612处，按解释那样确定严重程度等级并排序且方法600行进至614,在此可基于如图4所解释的严重程度等级R实施适宜动作。简而言之，如果严重程度等级R处于第一范围内(即为低)，那么可向驾驶员展示视觉警告。如果严重程度等级R处于第二范围内，那么可向驾驶员展示音频警告。如果严重程度等级处于第三范围内，那么可如图4所解释般实施发动机控制操作。应理解图7中描述的值和情形是实例且不希望加以限制。可将任何合适动作映射到任何合适严重程度分级，其可映射到驾驶员状态、物体状态和车辆状态的任何合适组合。[〇〇69]图8是确定严重程度等级R并实施相关动作的实例方法800的流程图。方法800可由分心监测系统如图3A和图3B的系统300a和系统300b实施。方法800包括在802处从照相机和传感器接收数据，并按图5所解释般进一步分析数据。在804处，可确定车辆是否位于城市限区内。这可通过对从例如面向前照相机接收的数据实施视频场景分析确定。如果车辆不位于城市限区内，那么方法800返回至802,在此系统继续接收并分析数据。如果在方法800的 804处确定车辆位于城市限区内，那么方法800行进至806,在此可监测驾驶员数据、车辆数据和CAN(例如车辆)数据。在808处，方法800包括确定车辆速度和位置信息。例如，可从CAN 确定车辆速度信息且可从对来自面向前照相机的图像实施的视频场景分析确定车辆位置。 方法800的810包括检查驾驶员是不是没有向前看。这可通过分析来自例如面向驾驶员照相机的图像确定。如果确定驾驶员正望向前方，那么方法800行进至802,在此其继续如先前那样接收并分析数据。如果在810处确定驾驶员没有向前看，那么方法800行进至812,在此检查车辆是否位于停止信号灯或在车库中。如果从面向前照相机和CAN数据确定车辆位于车库中或在停车信号灯处，那么方法800行进至818,在此可指示严重程度等级处于第一范围 (低)且可向驾驶员展示视觉警告。所述视觉警告充当对驾驶员的第一水平警告，尤其是当车辆位于停车信号灯处时，指示驾驶员，希望他开始向前看。如果车辆位于车库中，那么视觉警告可充当提醒，让驾驶员检查车辆是否处于例如倒车档。替代地，驾驶员可坐在车辆中并查看例如地图，在这种情况中，视觉警告可充当提醒，让驾驶员关闭所述单元。在812处， 如果确定车辆不位于停车信号灯或车库中，那么方法800行进至814,在此可将从CAN数据确定的车辆速度与阈值比较。所述阈值可从城市速度限制，结合作为实例关于交通条件的额外信息予以确定。如果车辆速度小于阈值速度，那么方法800行进至820,在此可指示严重程度等级处于第二范围内(中等)，且可展示音频警告。当展示音频警告时，可警告驾驶员采取适当动作，在这种情况中，所述动作可以是开始向前看，以避免例如事故。如果在814处确定车辆速度不小于阈值，那么方法800行进至816,在此检查车辆速度是否大于阈值。如果否， 那么方法800返回。如果是，那么方法800行进至822,在此可指示严重程度等级R处于第三范围内(高)且可实施发动机控制动作。这可包括例如降低车辆速度。
[0070]图9是确定一组驾驶员、物体和车辆数据的严重程度等级的另一个实例方法900的流程图。例如，方法900可由图3A和图3B的分心监测系统300a/300b实施。在902处，所述方法包括从移动装置接收数据。例如，如果在分心监测系统的云计算装置(例如图3B的云计算装置322)实施，那么所述方法可包括从分心监测系统的头部单元(例如图3B的头部单元302b) 接收压缩数据。在904处，所述方法包括处理所接收的数据以确定车辆数据/状态、物体数据/状态和驾驶员数据/状态。在906处，所述方法包括确定驾驶员是否正在使用电话。例如， 所述系统可评价驾驶员数据以确定驾驶员是否正在通话和/或评价车辆数据以确定是否检测到电话呼叫(例如，驾驶员的电话是否通信连接至头部单元)。如果驾驶员不在使用电话 (且如果未检测到其它驾驶员分心)那么方法返回至继续监测来自移动装置的数据而不实施动作。因此，如果未检测到分心，那么所述系统不实施基于关联车辆、物体和驾驶员数据/ 状态所选择的动作。
[0071]相对地，如果确定驾驶员正在使用电话，那么所述方法行进至908以确定车辆是否位于城市限区内。如果车辆不位于城市限区内，那么所述方法行进至910以确定车辆是否位于高速道路上。如果车辆不位于高速道路上，那么可确定车辆停止和/或在固定位置，并因此驾驶员分心没有严重到必须采取动作。应理解可评价其它参数如发动机状态(例如发动机是否停止)以验证车辆停止且远离危险的判定。然而，如果确定车辆位于城市限区内或在高速道路上，那么方法行进至912以计算车辆和在车辆环境中成像的任何物体的轨迹。在 914处，所述方法包括确定估计轨迹是否在阈值时间内相交。例如，估计在相对邻近时间相交的轨迹可导致比估计在相对较远时间相交的轨迹所得到的严重程度分级更高的严重程度分级。在914处，如果轨迹在阈值时间内不相交，那么方法行进至将R设定为在第二(例如中等)范围内的值，并在916处发送音频警报。例如，云计算装置可向头部单元发送发出音频警报的命令。[〇〇72]如果轨迹在阈值时间内相交，那么将分级设定为第三范围(例如高)并在918处实施发动机控制。例如，云计算装置可向头部单元发送命令以经由CAN总线对车辆控制系统发出控制指令从而改变发动机操作条件。在916处如果指示严重程度分级处于第二范围内，那么方法还包括在920处确定驾驶员是否放下电话。例如，在展示音频警报后，系统可等待阈值时间，随后确定驾驶员是否通过挂断电话呼叫来响应所述警报。如果驾驶员响应警报挂断电话呼叫，那么方法返回至继续监测驾驶员、物体和车辆状态。相对地，如果驾驶员未挂断电话呼叫，那么方法行进至918以将严重程度分级从第二范围升级至第三范围。应理解在其它实例中，所述升级可以是不同类型的音频警报(例如高音量、不同记录音调或消息、不同频率等)、音频与视频警报的组合和/或警报的任何其它合适变化。
[0073]通过关联来自如上所述多个源的数据，本发明分心监测系统可对驾驶员分心的类型和严重程度提供适宜响应。如此一来，相对于只依赖一类数据驱动分心警报的系统，驾驶员更可能积极修正分心。
[0074]在一个实例中，车辆的车载计算系统包括将车载计算系统通信连接至移动装置的外部装置接口、将车载计算系统通信连接至车辆的一个或多个车辆系统的车辆间系统通信模块、处理器和存储装置。所述存储装置存储可供处理器执行的指令以经由外部装置接口从移动装置接收图像数据，所述图像数据成像驾驶员和驾驶员环境，基于所接收的图像数据确定驾驶员状态，并响应确定指示驾驶员分心的驾驶员状态，经由车辆间系统通信模块从车辆系统中的一个或多个接收车辆数据，基于车辆数据确定车辆状态、基于驾驶员状态和车辆状态确定分心严重程度水平且基于分心严重程度水平控制车辆的一个或多个装置实施所选择动作。
[0075]在以上实例中，车载计算系统的指令可另外或替代地进一步执行以实施所选择动作，方式为:响应在第一范围内的分心严重程度水平展示视觉警告、响应在第二范围内的分心严重程度水平展示音频警告，且实施所选择动作包括响应在第三范围内的分心严重程度水平实施车辆控制警告的自动调节。[〇〇76]在以上任一实例中，车载计算系统可另外或替代地进一步包括显示装置，且视觉警告可另外或替代地包括经由所述显示装置展示的视觉警报。
[0077]在任何以上实例中，所述音频警告可另外或替代地包括经由车辆中的一个或多个扬声器展示的音频警报。
[0078]在任何以上实例中，车辆控制的自动调节可另外或替代地包括发动机操作的自动调节。
[0079]在任何以上实例中，所述移动装置可另外或替代地包括可穿戴装置，其至少包括具有包括车辆环境的视野的面向外照相机和具有包括车辆驾驶员的视野的面向用户照相机。
[0080]在任何以上实例中，所述指令可另外或替代地进一步执行以从头置式装置接收位置和动作数据、基于图像数据和所述位置和动作数据确定驾驶员状态并发射包含视频数据的图像数据，所述视频数据包括从面向用户照相机成像的驾驶员和从面向外照相机成像的车辆环境中的一个或多个。
[0081]在任何以上实例中，所述图像数据可另外或替代地包括驾驶员凝视和车辆行驶路径上的受关注物体的指示，且驾驶员状态可另外或替代地响应确定驾驶员凝视指向受关注的一个或多个物体持续阈值时间段而指示驾驶员分心。
[0082]在另一实例中，用于车辆车载计算系统的方法包括从可穿戴装置接收驾驶员数据，所述驾驶员数据包括来自面向驾驶员照相机的图像数据;从可穿戴装置和车辆中的至少一个的一个或多个成像装置接收物体数据，所述物体数据包括车辆环境的图像数据;从一个或多个车辆系统接收车辆数据，所述车辆数据包括车辆操作条件的指示;且通过将驾驶员数据与物体数据关联确定驾驶员是否分心。所述方法还包括响应确定驾驶员分心，基于将驾驶员数据与物体数据和车辆数据关联选择动作并实施所选择动作，和响应确定驾驶员不分心，维持当前操作参数。
[0083]在以上实例中，所述物体数据可另外或替代地包括从来自一个或多个面向外照相机的图像数据确定的在车辆环境中的物体总数和通过比较来自一个或多个面向外照相机的多个图像数据帧确定的在车辆环境中的每个物体的物体轨迹信息，所述物体轨迹信息指示每个物体的估计轨迹。
[0084]在以上任一实例中，车辆数据可另外或替代地包括从车辆的导航系统、可穿戴装置的传感器输出和来自一个或多个面向外照相机的图像数据中的一种或多种确定的车辆轨迹信息，所述车辆轨迹信息指示车辆的估计轨迹。
[0085]在任何以上实例中，所述方法可另外或替代地进一步包括比较每个物体的估计轨迹与车辆的估计轨迹以确定物体的估计轨迹与车辆的估计轨迹之间的相交，其中所选择动作是基于物体的估计轨迹与车辆的估计轨迹之间的相交数目予以选择。
[0086]在任何以上实例中，所选择动作可另外或替代地基于车辆速度和驾驶员凝视方向进行进一步选择。
[0087]在任何以上实例中，第一动作可另外或替代地响应确定物体中的至少一个的估计轨迹与车辆的估计轨迹相交且车辆速度低于速度阈值予以选择，且第二动作可另外或替代地响应确定物体中的至少一个的估计轨迹与车辆的估计轨迹相交、车辆速度高于速度阈值且驾驶员凝视方向在阈值时间段内与所述至少一个物体中的每一个的当前位置相交且持续阈值持续时间予以选择。[〇〇88]在任何以上实例中，第三动作可另外或替代地响应确定物体中的至少一个的估计轨迹与车辆的估计轨迹相交、车辆速度高于速度阈值且驾驶员凝视方向在阈值时间段内不与所述至少一个物体中的每一个的当前位置相交或持续阈值持续时间予以选择。
[0089]在任何以上实例中，所述第一动作可另外或替代地是经由车辆中的显示器展示的视觉警报，第二动作可另外或替代地是经由车辆中的一个或多个扬声器展示的音频警报， 且第三动作可另外或替代地是从车载计算系统向车辆系统发出以控制车辆的发动机操作的车辆控制命令。
[0090]在任何以上实例中，维持当前操作参数可另外或替代地包括基于将驾驶员数据与物体数据和车辆数据关联不实施动作。
[0091]在另外一个实例中，用于识别驾驶员分心的系统包括可穿戴装置，其包括面向驾驶员照相机、面向外照相机和一个或多个传感器;通信连接至所述可穿戴装置和一个或多个车辆系统的车载计算系统，所述车载计算系统包括第一处理器和第一存储装置;和远离所述车载计算系统且经由网络通信连接至所述车载计算系统的云计算装置。所述云计算装置包括第二处理器和第二存储装置，且所述第一存储装置和所述第二存储装置中的一个或多个存储可供所述第一处理器和所述第二处理器中的相应一个或多个执行的第一指令以: 接收指示驾驶员状态的来自可穿戴装置的面向驾驶员照相机的图像数据和来自一个或多个传感器的传感器数据、接收指示一个或多个物体的物体状态的来自可穿戴装置的面向外照相机的图像数据且接收指示车辆状态的来自一个或多个车辆系统的车辆数据。所述第一指令还可供所述第一处理器和所述第二处理器中的相应一个或多个执行以基于所指示驾驶员状态、物体状态和车辆状态选择动作。所述第一存储装置存储可供所述第一处理器执行的第二指令以将命令发送给车载计算系统的显示装置、车辆的音频装置和车辆的发动机控制单元中的一个或多个以实施所选择动作。
[0092]在以上实例中，所述车辆状态可另外或替代地包括车辆的轨迹，所述物体状态可另外或替代地包括所述一个或多个物体的轨迹，且所述驾驶员状态可另外或替代地包括驾驶员凝视方向。
[0093]已出于说明和描述的目的提供了实施方案的描述。可鉴于以上描述实施或从实践所述方法获得对实施方案的合适修改和变化。例如，除非另外说明，否则所描述方法中的一个或多个可由合适装置和/或装置组合实施，如参考图3A和图3B描述的分心监测系统300a/ 300b、头部单元304a/304b和/或云计算装置322。所述方法可通过用一个或多个逻辑装置 (例如处理器)，结合一个或多个其它硬件元件如存储装置、存储器、硬件网络接口 /天线、开关、致动器、时钟电路等执行所存储的指令来实施。所描述方法和相关动作还可按照除本申请描述顺序以外的各种顺序、平行和/或同时地实施。所描述系统具有例示属性，且可包括其它元件和/或删减元件。本发明的主题包括公开的各种系统和配置，和其它特征、功能和/ 或性质的所有新颖和非显然组合和子组合。
[0094]如本申请所使用，以单数形式引述且以词语“一”为前缀的元件或步骤应理解为不排除所述元件或步骤的复数形式，除非另外说明。此外，本发明关于“一个实施方案”或“一个实例”的陈述不希望解释为排除同样合并所引述特征的其它实施方案的存在性。术语“第一”、“第二”和“第三”等只用作标签且不希望对其宾语施加数字要求或特定位置顺序。以下权利要求特别指出了被认为是新颖且非显然的来自以上公开内容的主题。
【主权项】
1.一种车辆的车载计算系统，所述车载计算系统包括:将所述车载计算系统通信连接至移动装置的外部装置接口；将所述车载计算系统通信连接至所述车辆的一个或多个车辆系统的车辆间系统通信 模块；处理器;和存储可供所述处理器执行的指令的存储装置，所述指令用以:经由所述外部装置接口从所述移动装置接收图像数据，所述图像数据成像驾驶员和驾 驶员环境；基于所述所接收图像数据确定驾驶员状态；响应确定指示驾驶员分心的驾驶员状态:经由所述车辆间系统通信模块从所述车辆系统中的一个或多个接收车辆数据；基于所述车辆数据确定车辆状态；基于所述驾驶员状态和所述车辆状态确定分心严重程度水平;且 基于所述分心严重程度水平控制所述车辆的一个或多个装置实施所选择动作。2.根据权利要求1所述的车载计算系统，其中实施所选择动作包括响应在第一范围内的分心严重程度水平展示视觉警告；实施所选择动作包括响应在第二范围内的分心严重程度水平展示音频警告;且 实施所选择动作包括响应在第三范围内的分心严重程度水平实施车辆控制警告的自 动调节。3.根据权利要求2所述的车载计算系统，其还包括显示装置，其中所述视觉警告包括经 由所述显示装置展示的视觉警报。4.根据权利要求2所述的车载计算系统，其中所述音频警告包括经由所述车辆中的一 个或多个扬声器展示的音频警报。5.根据权利要求2所述的车载计算系统，其中所述车辆控制的自动调节包括发动机操 作的自动调节。6.根据权利要求1所述的车载计算系统，其中所述移动装置包括可穿戴装置，其至少包 括具有包括车辆环境的视野的面向外照相机和具有包括所述车辆的驾驶员的视野的面向 用户照相机。7.根据权利要求6所述的车载计算系统，其中所述指令还可执行以从头置式装置接收 位置和动作数据、基于图像数据和所述位置和动作数据确定所述驾驶员状态并发送包含视 频数据的图像数据，所述视频数据包括从所述面向用户照相机成像的驾驶员和从所述面向 外照相机成像的车辆环境中的一个或多个。8.根据权利要求7所述的车载计算系统，其中所述图像数据包括驾驶员凝视和在所述 车辆的行驶路径中的受关注物体的指示，且其中，响应于确定驾驶员凝视指向一个或多个 受关注物体持续阈值时间段，该驾驶员状态指示所述驾驶员分心。9.根据权利要求8所述的车载计算系统，其中所述图像数据包括所述受关注物体的轨 迹的指示，且其中所述分心严重程度水平是基于所述受关注物体轨迹与所述车辆行驶路径 的比较。10.—种用于车辆的车载计算系统的方法，所述方法包括:从可穿戴装置接收驾驶员数据，所述驾驶员数据包括来自面向驾驶员照相机的图像数 据；从所述可穿戴装置和所述车辆中的至少一个的一个或多个成像装置接收物体数据，所 述物体数据包括车辆环境的图像数据；从一个或多个车辆系统接收车辆数据，所述车辆数据包括所述车辆的操作条件的指 示；通过将所述驾驶员数据与所述物体数据关联确定驾驶员是否分心；响应确定所述驾驶员分心，基于将所述驾驶员数据与所述物体数据和所述车辆数据关 联选择动作并实施所选择动作;且响应确定所述驾驶员不分心，维持当前操作参数。11.根据权利要求10所述的方法，其中所述物体数据包括:从来自所述一个或多个面向外照相机的所述图像数据确定的在车辆环境中的物体的 总数，和通过比较来自所述一个或多个面向外照相机的多个图像数据帧确定的在所述车辆环 境中的每个物体的物体轨迹信息，所述物体轨迹信息指示每个所述物体的估计轨迹。12.根据权利要求11所述的方法，其中所述车辆数据包括从所述车辆的导航系统、所述 可穿戴装置的传感器输出和来自所述一个或多个面向外照相机的图像数据中的一个或多 个确定的车辆轨迹信息，所述车辆轨迹信息指示所述车辆的估计轨迹。13.根据权利要求12所述的方法，其还包括比较每个所述物体的所述估计轨迹与所述 车辆的所述估计轨迹以确定所述物体估计轨迹与所述车辆的估计轨迹之间的相交，其中所 述所选择动作是基于所述物体的估计轨迹与所述车辆的估计轨迹之间的相交次数予以选 择。14.根据权利要求13所述的方法，其中所述所选择动作还基于车辆速度和所述驾驶员 的凝视方向予以选择。15.根据权利要求13所述的方法，其中第一动作是响应确定所述物体中的至少一个的 估计轨迹与所述车辆的估计轨迹相交且所述车辆速度低于速度阈值予以选择，且第二动作 是响应确定所述物体中的至少一个的估计轨迹与所述车辆的估计轨迹相交、所述车辆速度 高于速度阈值且所述驾驶员的凝视方向在阈值时间段内与所述至少一个物体中的每一个 的当前位置相交且持续阈值持续时间予以选择。16.根据权利要求15所述的方法，其中第三动作是响应确定所述物体中的至少一个的 估计轨迹与所述车辆的估计轨迹相交、所述车辆速度高于所述速度阈值且所述驾驶员的凝 视方向在所述阈值时间段内不与所述至少一个物体中每一个的当前位置相交或持续所述 阈值持续时间予以选择。17.根据权利要求16所述的方法，其中所述第一动作是经由在所述车辆中的显示器展 示的视觉警报，所述第二动作是经由在所述车辆中的一个或多个扬声器展示的音响警报， 且所述第三动作是从所述车载计算系统向车辆系统发出以控制所述车辆的发动机操作的 车辆控制命令。18.根据权利要求10所述的方法，其中维持所述当前操作参数包括不实施基于将所述 驾驶员数据与所述物体数据和所述车辆数据关联的动作。19.一种用于识别驾驶员分心的系统，所述系统包括:可穿戴装置，其包括面向驾驶员照相机、面向外照相机和一个或多个传感器；通信连接至所述可穿戴装置和一个或多个车辆系统的车载计算系统，所述车载计算系 统包括第一处理器和第一存储装置;和远离所述车载计算系统且经由网络被通信连接至所述车载计算系统的云计算装置，所 述云计算装置包括第二处理器和第二存储装置，所述第一存储装置和所述第二存储装置中的一个或多个存储供所述第一处理器和所 述第二处理器中的相应一个或多个执行的第一指令以:接收指示驾驶员状态的来自所述可穿戴装置的所述面向驾驶员照相机的图像数据和 来自所述一个或多个传感器的传感器数据，接收指示一个或多个物体的物体状态的来自所述可穿戴装置的所述面向外照相机的 图像数据，接收指示车辆状态的来自一个或多个车辆系统的车辆数据，且 基于所指示驾驶员状态、物体状态和车辆状态选择待实施动作，所述第一存储装置存储供所述第一处理器执行的第二指令以将命令发送给所述车载 计算系统的显示装置、所述车辆的音频装置和所述车辆的发动机控制单元中的一个或多个 以实施所述所选择动作。20.根据权利要求19所述的系统，其中所述车辆状态包括所述车辆的轨迹，所述物体状 态包括所述一个或多个物体的轨迹，且所述驾驶员状态包括所述驾驶员的凝视方向。
【文档编号】B60W50/14GK105966405SQ201610134450
【公开日】2016年9月28日
【申请日】2016年3月10日
【发明人】V.V.哈姆皮霍利
【申请人】哈曼国际工业有限公司