用于驾驶员状态评估的移动电话摄像头的制作方法

用于驾驶员状态评估的移动电话摄像头的制作方法
【专利摘要】一种监测车辆驾驶员的方法，包括定位车辆中的移动电话，以使得移动电话的摄像头观察驾驶员的头部，执行移动电话的应用软件，以利用摄像头来捕捉头部图像，从捕捉到的图像中分类头部的姿态，并且基于该分类影响至少一个车辆的安全系统。
【专利说明】用于驾驶员状态评估的移动电话摄像头

【技术领域】
[0001]本发明涉及一种移动电话摄像头，特别地涉及一种用于驾驶员状态评估的移动电话摄像头。

【背景技术】
[0002]在夜间行驶或长途驾驶时，驾驶员注意力分散和疲劳会导致意外事故或未遂事故。通过检测离开道路的眼睛扫视行为或眼睑的闭合能够检测到驾驶员注意力分散和疲劳。然而，这些行为在黑暗的环境中或者当驾驶员佩戴例如墨镜、帽子或棒球帽时难以被检测到。或者，头部转动或低头可以代替离开道路的眼睛扫视的情况被检测为驾驶员疲劳的指示。因此，已经开发了头部姿势追踪系统用于提供驾驶员可能疲劳的指示。但是，这样的系统往往都花费昂贵并且在制造和运转上很繁琐。


【发明内容】

[0003]一种监测车辆驾驶员的方法，包括:定位车辆内的移动电话，以便该移动电话的摄像头观察驾驶员的头部；执行移动电话中的应用软件以利用摄像头捕捉头部图像；从捕捉到的图像中对头部姿势进行分类；并且根据该分类影响车辆中至少一个的安全系统。
[0004]—种车辆，其包括移动电话的固定器，其中当移动电话放置在固定器中时，移动电话中的摄像头就指向驾驶员的头部区域。该移动电话包括一种软件应用程序，其编程为应用摄像头来捕捉驾驶员头部区域的图像，并向计算设备传输图像。该计算设备被编程为使用捕捉到的图像分类头部姿势，并且向车辆的安全系统传递指令，以基于该分类影响安全系统的运行。
[0005]一种用于监测车辆驾驶员的系统，其包括固定器、计算装置以及放置在固定器中的移动电话。该移动电话包括摄像头和编程为获取车辆驾驶员头部图像并向计算装置传递图像的应用软件。该计算装置编程为从图像进行头部姿势的分类，并且基于该分类影响至少一个车辆的安全系统。

【专利附图】

【附图说明】
[0006]图1示出的是一种包括所披露的系统的实施例的车辆；
[0007]图2示出的是仪表板元件以及所披露的系统替换实施例；以及
[0008]图3示出的是一种根据示例性实施例监测驾驶员的方法。

【具体实施方式】
[0009]示例性实施例包括使用车辆上的工作负荷估计器监测驾驶员，该工作负荷估计器利用控制器监测驾驶员的健康状态，该控制器包括但并不限制于:存在于车辆中的或可以方便地连接至车辆的现有系统的感应器、单片机(microcontroller units, MCU)、微处理机、数位讯号处理器(Digital Signal Processors, DSP)、模拟前端、储存设备、功率集成电路(Integrated Circuits, IC)以及信号传送器和接收器。
[0010]评价或估计驾驶员的生理和情绪状态是基于车辆的工作负荷估计器的一种潜在应用。一种综合的车辆生物计量系统允许推断或估计驾驶员的状态，包括但不限制于:可以增强决策制定的认知、情绪、工作负荷和疲劳。这些监测可以有助于改进驾驶员的安全措施。驾驶员的状态可被用作例如提醒驾驶员和/或其他车辆用户的输入，以及/或者通过例如无线通讯向合适的健康护理人员传递信息。这些数据可以用于必要时向驾驶员提供帮助。
[0011]说明性实施例可以用于以医疗器械为目标，提供驾驶员健康监测。在一个实例中，该系统利用病人已经具有的便携式家庭医疗器械。在病人驾驶或乘坐车辆时可以随身携带该器械。被监测到的健康状况可以通过蓝牙系统、物联网(ZigBee)或其他恰当的协议传输至 MCU。
[0012]警报阈值可以预先设定并储存在装置的储存器中，或该阈值可以储存在本地车辆计算系统或远程服务器中。在一种实例中，一旦检测到存在某一装置，车辆计算系统可以可操作地下载相应的阈值，该阈值可以是预先设定的或者甚至是基于特定病人的设置。
[0013]MCU可以依据预设的阈值监测健康状况。如果超过了警报阈值，MCU会通过车辆计算系统或其他设备向驾驶员呈递警报信息。该数据同样可以通过到远程服务器的无线连接传输/上传至远程源。此外或可替换地，在极端情况中，例如，如果驾驶员有紧急事故发生，车辆控制可以被自动驾驶系统指挥并且车辆可以被安全地引导到路旁。
[0014]在进一步的示例性实施例中，该系统可以监控内置非入侵式健康监测装置来监测驾驶员的针对安全驾驶的良好状态。这些设备可以包括但不限制于，心率监视器、体温检测仪、呼吸检测器等等。这样的健康监测以及健康系统可以用于例如提醒驾驶员、叫醒驾驶员，甚至例如在危机情况下首先防止车辆启动。正如将进一步示出的，这些装置可以用于监测驾驶员的疲劳，如果监测到疲劳信号该装置会影响系统安全性参数以及其他车辆的装置。
[0015]图1示出车辆10，其包括一种监测车辆驾驶员疲劳的系统以及方法。车辆10如图所示为典型地4门轿车，但是也可以是在路上行驶的任何车辆，例如小型轿车、小货车或半拖挂车。车辆10包括用于驾驶员的座椅12，以使驾驶员的头部或头部区域14在驾驶时面向前方。车辆10包括仪表盘16，该仪表盘通常包括用于启动车辆10的多种设备的控制按钮或开关。安置方向盘16以便驾驶员可以在行驶时操纵车辆10。
[0016]车辆10包括若干安全设备，这些设备包括但不限制于，安全气囊系统18、遍及车辆10的多种传感器20以及音频/视频系统22。安置在车辆10中的控制器或计算机或计算装置24典型地控制安全气囊系统18，并且系统18控制置于驾驶员和乘客乘坐的舱室内的安全气囊(未示出)的展开。传感器20可以置于车辆10的外部，并可以用于检测邻近车辆10的其他车辆，或者可以用于监测车辆突然的减速，例如在可能触发安全气囊的事件过程中。系统22可以包括音频和/或视频装置，该装置用于例如提醒驾驶员或车里的其他乘客存在危险。
[0017]这就是说，系统22可以耦接至整体车辆系统或者是整体车辆系统的一部分，来监测驾驶员并推断驾驶员的状态，以增强操纵车辆的决策制定，这样的状态可以包括例如认知、情绪、工作负荷和疲劳。这样的监测有助于提高驾驶员安全性措施，并且推断的驾驶员状态可用做输入，来提醒驾驶员、车辆内的其他乘客，或向车辆外传递无线警报信号26，例如向“云计算”装置或计算机或计算装置的集合28。此外，推测的驾驶员状态可以用于改变安全装置或这些装置的设置，例如安全气囊设置、车辆传感器配置20以及警报系统。
[0018]参照图2，仪表盘16包括方向盘200以及显示车速、发动机转速等的仪器202 (例如，转速器)。仪表盘16包括可以附接移动电话206的固定器204。固定器204包括用于保持移动电话206的任意装置，例如夹持装置、尼龙搭扣或具有移动电话滑入的卡槽的装置。除了传统移动电话的通讯功能(例如，拨打电话)，移动电话206还包括无线通讯装置，例如蓝牙或其他已知的与本地装置一例如车辆10—进行通信的方法。这些装置可以用于传递使用在车辆10的音响系统上的音乐或其他信息，或者用于与车辆10的安全系统通讯。
[0019]在一个实施例中，移动电话206是“智能手机”，其可以执行软件应用程序或执行通过触摸屏或其他已知方式连接互联网的“app (应用程序)”。移动电话206包括可以观察驾驶员头部的摄像头208，例如如图1中描述的头部14。在一个实施例中，移动电话206包括具有位于该移动电话的第一面210上的镜头的摄像头208，该摄像头朝向驾驶员的头部14，以及位于该移动电话的与第一面相对的第二面上的键盘或显示屏中的至少一个。
[0020]参照图3，示出了用于监测车辆驾驶员的方法300。以步骤302为开始，在步骤304激活或执行移动电话206上的应用程序。该执行的应用程序导致摄像头208被激活并且观察周围环境。同样地，在步骤306中，移动电话206被置于固定器204中，使得车辆10内的头部14对摄像头208可见，并通过摄像头208捕捉到图像(作为视频流或作为一系列静止的图像)。在步骤308中，通过捕捉的图像来监测驾驶员的头部姿态或动作，并在步骤310中评价头部的运动。头部姿态评价可以利用软件来执行，该软件识别或分类图像，以使用头部的图像来检测驾驶员的疲劳信号，例如长时间没有头部运动、头部位置下垂(通过下巴、鼻子或头部14的其他可识别的脸部特征来识别)、头部14的倾斜等等。就是说，在步骤310中评价图像，以用做步骤312中的疲劳信号。这些评价可以是作为移动电话206的应用程序本身的一部分的算法，或者可以是与移动电话206通讯的其他计算装置中的算法。这样的计算装置可以是车辆10的计算机24或车辆10外部的计算装置28。如果评价或分类被车辆10的计算机24执行，那么捕捉到的图像将从移动电话206无线传输至计算机24。如果评价或分类被在车辆外部计算机中执行的算法所执行，那么头部图像无线传输至车辆外部的计算机。
[0021]如果检测到疲劳信号314，那么在步骤316中可以影响或以另外方式改变车辆10的安全系统来将驾驶员的疲劳纳入考虑。这样的系统可以包括安全气囊设置或传感器配置。例如，当影响安全气囊设置时，安全气囊的反应时间或其他参数可以作为当前车辆运行的状况(例如，车速)而被改变。当影响传感器配置时，例如，如果车辆以相对较高的速度行驶，可以改变传感器20以检测更宽的扫描观察窗口。因此，如果检测到驾驶员疲劳，车辆系统的参数可以被影响，并且这些参数并不限制于此处所列举的，可以适用于当检测到驾驶员疲劳时需要改变的任意安全系统。
[0022]此外，如果检测到驾驶员疲劳，将会向驾驶员或车辆外部的其他人传递警报。例如，可以在系统22中显示可视警报和/或激活音频警报信号。这样的警报可以是例如计算机产生的声音的形式或者警报的形式。在一个实例中，激活自动拨号功能以使用移动电话206来拨打求助电话。
[0023]进一步地，在一个实施例中，车辆10可以在自主模式下运行并且无驾驶员直接交互。在自主模式下，车辆10的驾驶员可以激活自主操作，其中传感器一例如传感器20等——检测车辆在路上的位置并且同样可以基于获得的路径图、实时天气状况等访问计算机。在这样的操作中，车辆通过例如计算机24 “自我驾驶”和控制车辆加速器、车辆制动器以及车辆转向装置。驾驶员因此移交车辆控制给计算机以及不对车辆进行直接控制。驾驶员可以通过若干方法来超控自主操作，包括但并不限制于触碰制动器、握住方向盘、接触加速器或通过声音指令。
[0024]因此，在步骤316中，如果检测到疲劳信号，那么可以通过改变车辆的安全设置、提醒驾驶员或取消车辆的自主操作以将车辆转变为主动驾驶员操作，以此来影响车辆的操作。
[0025]如果已经检测到疲劳信号，如果驾驶员命令程序或app结束这样的监测，可以对方法300进行评估是否在步骤318结束，并且如果是320，那么该方法在步骤322结束。如果在已经检测到疲劳信号之后没有指向结束324，那么该程序继续并控制返回步骤308。进一步地，返回步骤312，如果没有检测到疲劳信号326，那么同样在步骤328中进行评估来决定是否结束330或继续疲劳检测并使控制返回步骤308。
[0026]计算机24和/或28可以包括计算机或计算机可读存储媒介，其执行方法或算法300的全部或部分。例如，一旦通过移动电话206获得了图像，那么方法300的进一步的步骤可以通过移动电话206内或者计算机24和/或28内的app本身执行。
[0027]大体上，计算机系统和/或设备，例如处理器和用户输入装置，可以使用任意数量的计算机操作系统，包括但不旨在限制于:微软操作系统(Microsoft Windows? ), Unix操作系统(例如:加州红木滩的甲骨文公司发布的Solaris操作系统)、纽约阿蒙克市的IBM公司发布的AIX UNIX操作系统、Linux操作系统、加利福尼亚库比蒂诺苹果电脑公司发布的Mac OS X和1S操作系统、加拿大滑铁卢RM公司发布的黑莓OS (BlackBerry OS)系统以及开放手机联盟开发的安卓(Android)操作系统的版本和/或品种。
[0028]计算设备通常包括计算机可执行指令，指令可以被诸如上面列出的那些中的一个或更多个计算设备所执行。计算机可执行的指令可根据使用各种编程语言和/或技术创建的计算机程序编译或解释，编程语言和/或技术包括但不限于以下的单独或组合，Java?, C，C++，Visual Basic, Java Script, Perl等。通常，处理器(例如微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，从而执行一个或更多个过程，包括这里描述的一个或更多个过程。使用各种计算机可读的介质可存储和传输这样的指令和其他的数据。
[0029]计算机可读的介质(也称为处理器可读的介质)包括参与提供可被计算机(例如计算机的处理器)读出的数据(例如，指令)的任何非暂时性(例如，有形)的介质。这样的介质可采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他持久存储器。易失性介质可包括例如通常构成主存储器的动态随机存储器(DRAM)。这样的指令可以被一个或更多个传输介质所传输，传输介质包括同轴电缆、铜线和光纤，包括包含耦合到计算机处理器的系统总线的导线。计算机可读的介质的通用形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPR0M、任何其他存储器芯片或盒或计算机能够从中读取的任何其他介质。
[0030]数据库、数据存储库或这里描述的其他数据存储可包括用于存储、访问以及检索各种类型数据的各种机制，包括层次型数据库、文件系统中的文件集合、专用格式的应用数据库、关系数据库管理系统(RDBMS)等。各个这样的数据存储通常被包括在部署计算机操作系统——诸如上述提到的那些中的一个——的计算设备中并且以多种方式中的一个或更多个方式经由网络被访问。文件系统可以从计算机操作系统中被访问，并且可以包括以各种格式存储的文件。RDBMS通常部署除了用于建立、存储、编辑并且执行所存储的过程的语言之外的结构化的查询语言(SQL)，诸如上面提到的PL/SQL语言。
[0031]在一些示例中，系统元素可被实现为一个或更多个计算设备(例如，服务器、个人计算机等)上、存储在相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可包含用于执行这里描述的功能的存储在计算机可读介质上的这样的指令。关于这里描述的处理、系统、方法、探索法等，应该理解，虽然这样处理的步骤等已经被描述为根据某个顺序的序列发生，但是这样的处理可以使用除了这里描述的顺序之外的顺序执行的所描述的步骤来实践。还应理解:某些步骤可被同时执行、其他的步骤可被加入或这里描述的某些步骤可被忽略。换句话说，这里的处理描述以示出某个实施例的目的被提供，并且不应以任何方式被解释为限制权利要求。
[0032]因此，可理解上面的描述旨在说明性而非限制性。除了所提供的示例之外的许多实施例和应用将通过阅读上面的描述而变得显而易见。不应该参考上面的描述，而应该参考所附的权利要求以及该权利要求所享有的全部等效范围来确定保护范围。可以预见未来的进展将出现在这里所讨论的技术中，并且所公开的系统和方法将被并入这些未来的实施例。总之，应该理解，该申请能够修改和变型。
[0033]除非本发明另有明确相反的指示，使用在权利要求书中的所有的术语旨在被赋予它们最广义的合理解释以及本领域的技术人员所理解的通常含义。特别地，除非权利要求书详述出明确相反的限制，使用的单个冠词一例如“一个”、“这个”、“所述”等一应该理解为叙述一个或多个所示的元件。
【权利要求】
1.一种监测车辆驾驶员的方法，其特征在于，包括: 定位车辆中的移动电话，以使得移动电话的摄像头观察驾驶员的头部； 执行移动电话中的应用软件，以利用摄像头捕捉头部图像； 从捕捉到的图像中分类头部的姿态； 基于所述分类影响至少一个车辆的安全系统。
2.根据权利要求1所述的方法，其特征在于，进一步包括: 将头部图像无线传输至车辆；并且 应用车辆计算机中执行的算法来分类头部姿态。
3.根据权利要求1所述的方法，其特征在于，进一步包括: 将头部图像无线传输至车辆外部的系统；并且 应用车辆外部的计算机中执行的算法来分类头部姿态。
4.根据权利要求3所述的方法，其特征在于，其中车辆外部的计算机是一个或多个计算机的云网络。
5.根据权利要求1所述的方法，其中，影响至少一个安全系统包括改变安全气囊设置、车辆传感器配置以及警报系统中的至少一个。
6.一种车辆，其特征在于，包括: 移动电话的固定器，其中: 当移动电话置于固定器中时，移动电话内的摄像头对准驾驶员的头部区域；并且 所述移动电话包括软件应用程序，所述软件应用程序编程为: 利用摄像头捕捉驾驶员头部区域的图像； 向计算装置传输图像；以及 其中计算装置编程为: 利用捕捉到的图像分类头部姿态；并且 向车辆的安全系统传输命令，以基于所述分类来影响安全系统的操作。
7.根据权利要求6所述的车辆，其特征在于，其中移动电话包括位于朝向驾驶员头部的移动电话第一面的摄像头镜头，以及位于与第一面相对的移动电话第二面上的键盘或显示屏中的至少一个。
8.根据权利要求6所述的车辆，其特征在于，其中所述计算装置位于车辆的外部。
9.根据权利要求6所述的车辆，其特征在于，其中车辆配置为自主地以及非人为地运行，并且其中传输至安全系统的命令包括停止车辆的自主操作，以使车辆控制转交至驾驶员。
10.根据权利要求6所述的车辆，其特征在于，其中所述安全系统包括安全气囊设置、车辆传感器配置以及警报系统的至少一个。
【文档编号】H04M1/725GK104184989SQ201410221725
【公开日】2014年12月3日 申请日期:2014年5月23日 优先权日:2013年5月23日
【发明者】路易斯·蒂赫里纳, 德夫·辛格·科克哈尔, 沃尔特·约瑟夫·塔拉蒙蒂 申请人:福特全球技术公司