用于检测驾驶员状况的集成系统的制作方法

相关申请案交叉申请

本发明要求2017年7月12日递交的发明名称为“用于检测驾驶员状况的集成系统”的第15/647748号美国申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文中。

本发明涉及车辆安全系统，尤其涉及用于基于驾驶员表情和各种具有自主系统的车辆内部环境的集成信息检测驾驶员状况的系统和方法。

背景技术：

各种具有自主系统的车辆正在进行开发以在公共道路上行驶，所述车辆需要具有多层安全特征来防止与其它车辆或固定物体发生碰撞。具有自治系统的车辆的驾驶员可能保留对所述车辆的控制能力，因此安全特征应考虑驾驶员输入如何影响总体车辆安全。

技术实现要素：

为了安全起见，提供了一种用于检测驾驶员状况的集成检测系统的方法、装置和系统。现描述各种示例从而以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本发明内容的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。

根据本发明的一方面，一种计算机实现的告警方法包括：一个或多个处理器获取车辆驾驶员的至少一个图像；所述一个或多个处理器获取所述车辆的内部环境的至少一个图像。根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类。将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策。当无法根据现有信息做出决策时，请求有关驾驶员表情的其它信息。在各种实施例中，根据所述组合的分类结果确定所述车辆的安全情况；所述一个或多个处理器根据所述安全确定情况向所述驾驶员提供告警。

可选地，在上述任一方面中，所述机器学习方法包括通用卷积神经网络(convolutionalneuralnetwork，简称cnn)和使用自适应滤波器的cnn，其中所述自适应滤波器的使用基于参数的训练结果，所述自适应滤波器应用于所述车辆的所述内部环境的所述至少一个图像，也应用于所述cnn中上层的激活映射。

可选地，在上述任一方面中，所述方法包括计算给定驾驶员状况的所述内部环境状况的状况概率；确定cnn中在所述输出中具有小于规定影响的滤波器；根据所述确定减少并调整所述cnn中滤波器的使用；确定在处理实时数据时是否应使用带自适应滤波器的cnn。

在上述任一方面中，所述方法还包括使用反向传播和链式法则来确定对于给定驾驶员状况在所述输出中具有小于所述规定影响的滤波器。

在上述任一方面中，所述方法还包括将每层的所述输出与阈值进行比较，如果这些参数的所述输出小于所述阈值，则将参数设置为零。

可选地，在上述任一方面中，所述方法包括：当给定驾驶员状况的内部环境状况的状况概率高于所述阈值时，使用包含驾驶员状况和相应内部环境状况的查找表。

可选地，在上述任一方面中，所述方法包括使用所述带自适应滤波器的cnn处理内部环境状况的实时数据。在各方面中，所述实时数据包括驾驶员状况的至少一个图像和内部环境状况的至少一个图像，所述驾驶员的所述至少一个图像是视频的一部分，所述至少一个图像的所述处理是处理所述视频的一部分，和/或所述车辆的所述内部环境的所述至少一个图像是视频的一部分，所述至少一个图像的所述处理是处理所述视频的一部分。

可选地，在上述任一方面中，所述方法包括使用车辆内部环境数据和驾驶员面部表情数据获取危险概率；比较所述概率与阈值；如果所述概率超出所述阈值，则确定动作；确定是否达到最大尝试次数；如果未达到所述最大尝试次数，请求更多的驾驶员表情数据；如果达到所述最大尝试次数，则将所述概率设置为上限阈值。

可选地，在上述任一方面中，所述方法包括将所述概率与从驾驶员表情的更多数据获取的概率组合；如果所述概率等于或大于所述上限阈值，则提供告警；如果所述概率等于或小于下限阈值，则不提供所述告警。

根据本发明的另一方面，告警设备包括非瞬时性存储器，包含指令；一个或多个处理器，与所述存储器通信。所述一个或多个处理器执行以下指令：获取车辆驾驶员的至少一个图像；获取所述车辆的内部环境的至少一个图像；根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类；将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策；当无法根据现有信息做出决策时，请求有关驾驶员表情的更多信息。根据所述组合的分类结果确定所述车辆的安全情况；根据所述安全确定情况向所述驾驶员提供告警。

可选地，在上述任一方面中，所述机器学习方法包括通用cnn和使用自适应滤波器的cnn，其中所述自适应滤波器的使用基于参数的训练结果进行调整，所述自适应滤波器应用于所述车辆的所述内部环境的所述至少一个图像，也应用于所述cnn中上层的激活映射。

可选地，在上述任一方面中，所述机器学习方法用于处理所述内部环境图像，以对所述内部环境进行分类，包括识别显示屏上显示有文字的手机、酒、毒品或武器。

根据本发明的另一方面，车辆包括多个传感器，用于获取图像；非瞬时性存储器，包含指令；一个或多个处理器，与所述存储器和所述多个传感器通信。根据各种实施例，所述一个或多个处理器执行以下指令：从所述多个传感器中的至少一个获取所述车辆的驾驶员的至少一个图像；从所述多个传感器中的至少一个获取所述车辆的内部环境的至少一个图像；根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类；将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策；当无法根据现有信息做出决策时，请求有关驾驶员表情的更多信息；根据所述组合的分类结果确定所述车辆的安全情况；根据所述安全确定情况向所述驾驶员提供告警。

可选地，在上述任一方面中，所述方法包括使用第一机器学习方法处理所述驾驶员的所述至少一个图像，并使用第二机器学习方法处理所述车辆的所述内部环境的所述图像。

可选地，在上述任一方面中，所述车辆是具有自治系统的车辆。

可选地，在上述任一方面中，使用所述机器学习方法处理所述驾驶员的所述图像包括使用所述驾驶员的语音、所述驾驶员的面部表情、所述驾驶员的手势和/或所述驾驶员的生理信息。

可选地，在上述任一方面中，所述机器学习方法包括通用cnn和使用自适应滤波器的cnn，其中所述自适应滤波器的使用基于参数的训练结果进行调整，所述自适应滤波器应用于所述车辆的所述内部环境的所述至少一个图像，也应用于所述cnn中上层的激活映射。

可选地，在上述任一方面中，自主算法用于获取用于所述机器学习方法的更多数据。

可选地，在上述任一方面中，对所述车辆的所述驾驶员的状况进行分类包括识别分心驾驶员、醉酒驾驶员、困倦驾驶员和/或沮丧驾驶员中的至少一种。

在不脱离本发明范围的前提下，任何一个前述示例都可以与任何一个或多个其它前述示例结合以创建新的实施例。

本发明内容概述了本申请的一些指导，并非意在对本主题进行排他性或穷举处理。有关本主题的进一步细节，请参见具体实施方式和所附的权利要求。本发明主题的范围通过所附的权利要求及其合法等效物定义。

附图说明

图1a-1b是根据各种实施例的用于基于驾驶员表情和内部环境的集成信息检测驾驶员状况以检测驾驶员状况安全情况的系统框图；

图2是示出了根据各种实施例的用于根据基于驾驶员表情和车辆内部环境的集成信息检测驾驶员状况的情况提供告警的计算机实现方法的流程图；

图3a是示出了根据各种实施例的用于对内部车辆驾驶环境进行分类的方法的流程图；

图3b是示出了根据各种实施例的用于对驾驶员面部表情进行分类的方法的流程图；

图4是示出了根据各种实施例的使用机器学习方法处理驾驶员图像和内部车辆环境图像的框图；

图5a-5c是示出了根据各种实施例的用于为车辆集成的驾驶员表情识别和车辆内部车辆环境分类的推理和决策的流程图；

图6是示出了根据各种实施例的用于为车辆集成的驾驶员表情识别和内部车辆环境分类的自适应自动机学习的流程图；

图7是示出了根据各种实施例的用于集成驾驶员表情识别和内部车辆环境分类的数据的框图；

图8是示出了根据示例实施例的用于实现设备执行方法的电路图；

图9是示出了根据各种实施例的带自适应滤波器的cnn设计的流程图；

图10是示出了根据各种实施例的计算给定驾驶员状况的内部环境状况的状况概率的流程图；

图11是示出了根据各种实施例的使用带自适应滤波器的cnn处理内部车辆环境图像的框图；

图12是示出了根据各种实施例的使用带自适应滤波器的cnn处理实时数据的方法的流程图。

具体实施方式

以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体实施例。这些实施例将充分详细描述使本领域技术人员能够实施本发明主题而且应该明白的是可以使用其它实施例并且在不脱离本发明主题的范围的情况下可以做出结构上、逻辑上、电学上的改变。因此，以下描述的示例性实施例并不当作限定，本发明主题的范围由所附权利要求书界定。

各种具有自主系统的车辆正在进行开发以在公共道路上行驶，所述车辆需要具有多层安全特征来防止与其它车辆或固定物体发生碰撞。具有自治系统的车辆的驾驶员可能保留对所述车辆的控制能力，因此安全特征应考虑驾驶员输入如何影响总体车辆安全。

以前的工作重点是了解外部驾驶环境(例如，交通、信号和行人)，以增强自动驾驶的安全性。但是，本主题涉及使用驾驶员表情和车辆内部图像了解驾驶员状况，这在所述驾驶员能够控制的车辆中非常重要。在大多数具有自治系统的车辆中，所述驾驶员仍然可以完全控制所述车辆，并且可能对安全性减少注意，因此驾驶员状况仍然是一个重要考虑因素。此外，与之前的努力不同，本主题考虑所述车辆的所述内部环境特征与驾驶员状况之间的关系。在确定驾驶状况时考虑的其它因素包括(但不限于)面部表情、手势、语音和生理数据。

本主题集成驾驶员图像和车辆内部环境的图像，以确定和增强车辆(例如各种具有自治系统的车辆)的安全性。在一实施例中，通过训练决策系统，根据车辆的内部环境特征识别驾驶员表情并决定是否应发出告警。各种实施例包括(但不限于)集成车辆内部面部表情和环境特征检测结果的方法，所述方法包括计算成本函数以最大限度提高总体安全，并向驾驶员提供安全告警。本主题根据驾驶员状况预测驾驶意图，减少不安全的驾驶员进行控制，并促进对自动驾驶车辆的适当使用。因此，本主题提供了以下优点：更好地了解驾驶员状况，为所述驾驶员、乘客和与所述车辆共享道路的其他人提供了更安全的车辆出行。其它优点还可能包括提升用户体验、开发驾驶员体验数据库，以及为所述车主提供更低的保险费和更少的潜在责任。

图1a-1b是根据各种实施例的用于基于驾驶员表情和内部环境的集成信息检测驾驶员状况以检测驾驶员状况安全情况的系统框图。在图1a的实施例中，结合有关驾驶员104的数据(例如，面部表情、手势和生理数据)分析汽车内部环境102的图像(例如，包括可疑物体或环境变化的图像)，以了解所述驾驶员的意图和状况106。机器学习方法112或算法或网络用于确定驾驶员状况或意图，并对安全108做出决策，包括是否采取行动110。可能的行动110包括提供告警、限制驾驶员对所述车辆控制的访问、拨打911以及提供口头告警(包括识别的危险类型或其任何适当组合)。在不脱离本主题范围的情况下，可以提供其它行动或告警。在各种实施例中，所述驾驶员确定的状况可包括多种分类，例如醉酒和困倦。本主题提供系统集成、自适应推理和决策以及交互式警报系统。

在图1b中，车辆内部环境152使用车辆内部162的图像进行分类，并在164处进行处理，以获取所述车辆内部检测和分类的结果166。使用所述驾驶员172的图像(和/或其它传感器信息)对所述驾驶员的表情154进行分类，并对驾驶员状况识别174进行处理，以获取驾驶员状况检测和分类的结果176。在一实施例中，所述结果166和176使用推理和决策158(例如通过使用机器学习方法或网络)进行组合，以确定是否提供告警150。在各种实施例中，提供了对更多数据180的自动机请求，以更新和细化所述分类。在各种实施例中，自动机学习包括根据自兴趣自动机学习的系统或方法，包括请求数据、处理所述数据和做出决策。

图2是示出了根据各种实施例的用于根据为车辆集成的驾驶员状况识别和内部车辆环境提供告警的计算机实现方法的流程图。所述方法200包括操作202、204、206、208、210、212、214、216和218。在操作202中，所述方法包括一个或多个处理器获取车辆驾驶员的至少一个图像；在操作204中，所述一个或多个处理器获取所述车辆的内部环境的至少一个图像。使用在所述一个或多个处理器上执行的机器学习方法，在操作206中，处理所述驾驶员的所述至少一个图像以对所述驾驶员状况进行分类；在操作208中，处理所述车辆内部环境的所述至少一个图像以对所述车辆内部环境进行分类。在操作210中，将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的所述分类结果进行组合。在操作212中，将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策，如果需要，在操作214中请求有关驾驶员表情的更多信息。在各种实施例中，在操作216中，根据所述组合的分类结果确定所述车辆的安全情况；在操作218中，所述一个或多个处理器根据所述安全确定情况向所述驾驶员提供告警。

在各种实施例中，所述方法包括使用第一机器学习方法处理所述驾驶员的所述至少一个图像，并使用第二机器学习方法处理所述车辆的所述内部环境的所述图像。在一实施例中，所述驾驶员的所述图像是视频的一部分，所述图像的所述处理是处理所述视频的一部分。在一实施例中，所述车辆内部环境的所述图像是视频的一部分，所述图像的所述处理是处理所述视频的一部分。在各种实施例中，使用机器学习方法处理所述驾驶员的所述图像和所述车辆内部环境的所述图像包括使用分层激活映射。在各种实施例中，所述车辆是具有自治系统的车辆，获取所述车辆驾驶员的所述图像包括获取具有所述自治系统的所述车辆驾驶员的所述图像。在各种实施例中，所述方法还包括使用自主算法获取所述机器学习方法的更多数据。在一实施例中，使用所述机器学习方法处理所述驾驶员的所述图像包括使用所述驾驶员的语音。在一实施例中，使用所述机器学习方法处理所述驾驶员的所述图像包括使用所述驾驶员的面部表情。在一实施例中，使用所述机器学习方法处理所述驾驶员的所述图像包括使用所述驾驶员的手势。在一实施例中，使用所述机器学习方法处理所述驾驶员的所述图像包括使用所述驾驶员的生理信息。

本主题的另一方面提供了一种告警设备，所述设备包括非瞬时性存储器，包含指令；一个或多个处理器，与所述存储器通信。所述一个或多个处理器执行以下指令：获取车辆驾驶员的图像；获取车辆内部环境的图像；使用机器学习方法处理所述驾驶员的所述图像和所述内部环境的所述图像，以对所述驾驶员的状况或状态进行分类并达到安全确定情况；根据所述安全确定情况向所述驾驶员提供告警。

在各种实施例中，所述机器学习方法用于处理所述内部环境图像，以对所述内部环境进行分类，包括识别显示屏上显示有文字的手机。在各种实施例中，所述机器学习方法用于处理所述内部环境图像，以对所述内部环境进行分类，包括识别酒或毒品。在一实施例中，所述机器学习方法用于处理所述内部环境图像，以对所述内部环境进行分类，包括识别武器。

本主题的另一方面提供一种非瞬时性计算机可读介质，所述非瞬时性计算机可读介质存储用于提供告警的计算机指令，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行方法的步骤。这些步骤包括：处理具有自治系统的车辆的内部环境的图像，以对所述环境进行分类；处理具有所述自治系统的所述车辆的驾驶员的图像，以对所述驾驶员进行状况识别。在各种实施例中，这些步骤还包括使用机器学习方法根据所述环境分类和所述状况识别的结果来预测所述驾驶员的意图；使用自主算法来获取用于环境分类和状况识别的更多数据；根据所述驾驶员的所述预测意图向所述驾驶员提供告警。

在一实施例中，处理所述具有自治系统的车辆的驾驶员的图像对所述驾驶员进行状况识别包括识别分心驾驶员。在一实施例中，处理驾驶员的图像包括识别醉酒驾驶员。在一实施例中，处理驾驶员的图像包括识别困倦驾驶员。在一实施例中，处理驾驶员图像包括识别沮丧驾驶员。

图3a是示出了根据各种实施例的用于对内部车辆驾驶环境进行分类的方法的流程图。图3a包括图像302、机器学习系统304、激活映射305、类别306、正常指示307、问题指示308和问题指示309。所述机器学习系统304(或者网络或方法)用于使用所述车辆内部的图像302评估所述内部驾驶环境，并将所述环境分类为一个或多个类别306。在一实施例中，使用两个机器学习系统，一个用于对所述内部环境进行分类(图3a)，另一个用于对所述驾驶员的状况或面部表情进行分类(图3b)。在其它实施例中，单机学习系统用于内部环境分类和驾驶员表情。在各种实施例中，所述图像302还包括静态图像、视频或其它类型的传感器数据。在各种实施例中，所述机器学习系统304、网络或方法包括多层激活映射305。在一实施例中，所述机器学习系统304、网络或方法是卷积神经网络(convolutionalneuralnetwork，简称cnn)。在各种实施例中，所述内部车辆环境分类为一个或多个类别306，包括指示所述环境正常307的类别(无可见问题)，以及指示问题308已被识别的类别。识别出的问题308可包括显示文本或其它应用的电话、酒精、毒品或枪支309。其它问题308可以在不脱离本主题范围的情况下确定。

图3b是示出了根据各种实施例的用于对驾驶员面部表情进行分类的方法的流程图。图3b包括图像342、机器学习系统344、激活映射345、类别346、正常指示347、问题指示348和问题指示349。机器学习系统344、网络或方法用于使用所述车辆的所述驾驶员的图像342评估所述驾驶员的状况或面部表情，并将所述驾驶员的状况或面部表情分类为一个或多个类别346。在各种实施例中，所述图像342还包括静态图像、视频或其它类型的传感器数据。在各种实施例中，所述机器学习系统344、网络或方法包括多层激活映射345。在一实施例中，所述机器学习系统344是卷积神经网络(convolutionalneuralnetwork，简称cnn)。在各种实施例中，将所述驾驶员的状况或面部表情分类为一个或多个类别346，包括指示所述驾驶员正常347(无可见问题)的类别，以及指示问题348已被识别的类别。识别出的问题348可包括分心、醉酒、困倦或沮丧的驾驶员349。其它问题348可以在不脱离本主题范围的情况下确定。面部表情是处理一种类型的驾驶员表情的示例，其它类型的驾驶员表情或意图可以使用本主题进行处理。

图4是示出了根据各种实施例的使用机器学习方法(例如cnn)处理驾驶员图像和内部车辆环境图像的框图。图4包括第一学习层401和另一学习层402。在不脱离本主题范围的情况下，可以使用其它层。所述第一学习层401包括滤波器403和激活映射405，所述另一学习层402包括滤波器443和激活映射445。在所示实施例中，使用以下变量：滤波器(f)、滤波器索引(i和j)、层索引(k)、每层中的滤波器总数(n和p)、激活映射(m)、层(l)和相应激活映射的权重(w)。

图5a-5c是示出了根据各种实施例的用于为车辆集成的驾驶员状况识别和车辆内部车辆环境分类的推理和决策的流程图。在图5a中，使用推理和决策550将所述内部车辆环境的分类的所述结果506、507和509与所述驾驶员表情的分类的结果546、547和549组合，以确定是不采取行动554，还是采取行动552。如果认为行动552合适，则会向所述驾驶员发出告警553。在各种实施例中，所述告警553可以是视觉、听觉、触觉或某种组合。在各种实施例中，在558处使用机器学习系统确定所述推理和决策550是否正确，并加上(556)或减去(557)回报作为未来推理和决策的反馈。在各种实施例中，图5a的过程可以在训练期间、部署前或所述车辆使用期间使用。

图5b示出了图5a中使用的所述推理和决策550的一部分的流程图。对于所述输入的第t组内部车辆环境图像或驾驶员表情图像，所述输入包括：pt，所述pt是内部车辆环境类别的概率矢量560；qt，所述qt是驾驶员表情类别的概率矢量562。相关系数矩阵wt564具有指示车辆内部环境与驾驶员表情之间的所述关系的权重，使用所述相关系数矩阵wt564通过以下公式将所述输入向量560和562组合：

f(ptwtqt)＝＞at＝＞rt

使用所述神经网络中的反向传播求解w，假设每个回报的所述折扣为1，其中：

at566是使用整流器f后的整流结果，

rt568是所述回报{-1，1}，其中1表示所述结果等同于人标签，-1表示所述结果不同于训练中的所述人标签。在各种实施例中，w在每次迭代中都会发生变化，因此在所描述的示例中使用wt。

图5c示出了图5a中使用的所述推理和决策550的一部分的流程图，包括使用自动机学习580。输入包括车辆内部环境数据576和驾驶员状况数据586，其中包括但不限于与车辆驾驶员的面部表情、手势、生理数据和言语相关的数据587。所述自动机学习580接收所述输入和信度pi，并在584处将其与阈值th1和th2比较，且th1＜th2。如果超出所述阈值，则在594处确定行动。如果pi大于或等于th2，则在596处发出告警，否则在598处不发出告警。如果未超出所述阈值，则在588处进行比较，以确定是否未达到所述最大尝试次数(n)。如果未达到最大尝试次数，则所述自动机学习在590处要求获得更多数据。否则，在592处将所述阈值调整为th2，并在594处确定行动。所示实施例使用以下变量：

pi∈[0，1]：驾驶危险的信度

n：最大尝试次数

i：尝试次数

p′i：从更多数据中获取的新信度

α和β：预定义参数

th1和th2：阈值

其中，所述自动机学习包括：

th1＜pi＜th2，以确定对更多数据的请求

pi≤th1，pi≥th2，以确定是否执行行动

pi＝αpi+βpi’，为pi更新数据，以及

如果pi＜th2，不发出告警，但

如果pi≥th2，则发出告警。

图6是示出了根据各种实施例的用于为车辆集成的驾驶员状况识别和内部车辆环境分类的自适应自动机学习的流程图。使用所述车辆内部602和驾驶员面部表情642的所述图像作为输入，如果从图5a-5c的所述功能中未确定604所述信度，则在608处自适应地查找更多信息，例如包括手势610的更多输入。在各种实施例中，当确认了所述信度606时，将对告警做出决策612。在各种实施例中，当检测到所述车辆内部的可疑物体和/或预定的负面驾驶员意图时，会提供告警。

图7是示出了根据各种实施例的用于集成驾驶员表情识别和内部车辆环境分类的数据的框图。来自所述内部汽车环境700的数据包括车辆内部环境702的图像，所述图像使用机器学习方法704进行处理，以获取检测和分类的结果706。关于驾驶员状况或意图，面部表情数据740包括驾驶员742的图像，所述图像使用机器学习方法744进行处理，以获取驾驶员状况检测和分类的结果746。也可以使用驾驶员状况或意图的其它数据，例如驾驶员手势750和生理数据760。在各种实施例中，使用图5a-5c中描述的推理和决策550将结果706和746合并720。

因此，本主题提供了一种系统设计，用于通过使用机器学习方法和运行时自动机学习集成驾驶员表情和内部车辆环境来了解驾驶员的意图和状况，从而增强车辆的安全性。在一实施例中，所述神经网络用于提取内部车辆环境图像与驾驶员状况之间的关系。所述自动机学习用于有效地将所述最小数据池化以进行决策，并可以决定是否需要更多信息来进行决策。在各种实施例中，对自适应决策系统进行训练，以使用成本函数基于所述驾驶员和环境特征的图像推测驾驶员表情，从而决定是否应发出告警。

本文描述的函数或算法可以在一实施例中的软件中实施。该软件可包含计算机可执行指令，这些计算机可执行指令存储在计算机可读介质上或者计算机可读存储设备上，如一个或多个非瞬时性存储器或其它类型的本地或联网的硬件存储设备。此外，这些函数对应模块，这些模块可以是软件、硬件、固件或其任意组合。多个函数可根据需要在一个或多个模块中执行，所描述的实施例仅为示例。该软件可在数字信号处理器、asic、微处理器上执行或者在个人计算机、服务器、或其它计算机系统等其它类型的计算机系统上运行的处理器上执行，从而将这些计算机系统转换成一个专门编程的机器。

图8是示出了根据示例实施例的用于执行方法的电路的示意图。不需要在各实施例中使用所有组件。例如，所述计算设备可以分别使用不同组的组件和存储设备。

计算机800形式的一个示例计算设备可以包括由总线820耦合的处理单元802、存储器803、可移动存储器810和不可移动存储器812。虽然示例计算设备被图示和描述为计算机800，但是计算设备在不同的实施例中可以是不同的形式。例如，计算设备可以是智能手机、平板电脑、智能手表、路由器或其它包括与图8所示和所述的相同或相似元件的计算设备。智能手机、平板电脑和智能手表等设备通常统称为移动设备。此外，虽然各种数据存储元件被图示为所述计算机800的一部分，但是所述存储器还可以或者可选地包括通过网络例如互联网可访问的基于云的存储器，或者基于服务器的存储器。

在图8中，存储器803可以包括易失性存储器814和/或非易失性存储器808。计算机800可以包括或者可以访问计算环境，该计算环境包括各种计算机可读介质，例如易失性存储器814和/或非易失性存储器808、可移动存储810和/或不可移动存储812。计算机存储器包括随机存取存储器(randomaccessmemory，简称ram)、只读存储器(read-onlymemory，简称rom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，简称eprom)或电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，简称eeprom)、闪存或其它存储器技术、只读光盘(compactdiscread-onlymemory，简称cdrom)、数字多功能光盘(digitalversatiledisc，简称dvd)或其它光盘存储器、盒式磁带、磁带、磁盘存储器或其它磁存储设备，或者任何其它能够存储计算机可读指令的介质。存储器也可包括联网存储器，例如存储区域网络(storageareanetwork，简称san)。

根据本发明的另一方面，一种非瞬时性计算机可读介质存储用于提供告警的计算机指令，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行方法的步骤。这些步骤包括：获取车辆驾驶员的至少一个图像；获取所述车辆内部环境的至少一个图像；根据所述驾驶员的所述至少一个图像中的信息，使用机器学习方法对所述驾驶员的状况进行分类；根据所述车辆的所述内部环境的所述至少一个图像中的信息，使用所述机器学习方法对所述车辆的所述内部环境的状况进行分类；将所述驾驶员的所述至少一个图像的分类结果和所述车辆的所述内部环境的所述至少一个图像的分类结果进行组合；将所述组合的分类结果与预定义的阈值进行比较，以确定是否可以根据现有信息做出决策；当无法根据现有信息做出决策时，请求有关驾驶员表情的更多信息；根据所述组合的分类结果确定所述车辆的安全情况；根据所述安全确定情况向所述驾驶员提供告警。

可选地，在上述任一方面中，所述机器学习方法包括通用cnn和使用自适应滤波器的cnn，其中所述自适应滤波器的使用基于参数的训练结果进行调整，所述自适应滤波器应用于所述车辆的所述内部环境的所述至少一个图像，也应用于所述cnn中上层的激活映射。可选地，在上述任一方面中，自主算法用于获取用于所述机器学习方法的更多数据。可选地，在上述任一方面中，对所述车辆的所述驾驶员的状况进行分类包括识别分心驾驶员、醉酒驾驶员、困倦驾驶员和/或沮丧驾驶员中的至少一种。可选地，在上述任一方面中，所述方法包括使用第一机器学习方法处理所述驾驶员的所述至少一个图像，并使用第二机器学习方法处理所述车辆的所述内部环境的所述图像。

可选地，在上述任一方面中，所述驾驶员的所述至少一个图像包括图像以及视频的一部分，所述至少一个图像的所述处理包括所述图像以及所述视频的所述一部分。可选地，在上述任一方面中，所述车辆的所述内部环境的所述至少一个图像包括图像以及视频的一部分，所述至少一个图像的所述处理包括所述图像以及所述视频的所述一部分。可选地，在上述任一方面中，使用机器学习方法处理所述驾驶员的所述至少一个图像和所述车辆的所述内部环境的所述至少一个图像包括在所述机器学习方法的各层中使用激活映射。可选地，在上述任一方面中，所述车辆是具有自治系统的车辆，获取所述车辆驾驶员的所述至少一个图像包括获取具有所述自治系统的所述车辆驾驶员的所述至少一个图像。可选地，在上述任一方面中，所述方法包括使用自主算法获取所述机器学习方法的更多数据。在各种实施例中，自主算法包括根据自兴趣自动机学习的系统或方法，包括请求数据、处理所述数据和做出决策。可选地，在上述任一方面中，所述机器学习方法用于将所述驾驶员的所述至少一个图像和所述车辆的所述内部环境的所述至少一个图像中的信息进行组合，并做出所述安全确定。可选地，在上述任一方面中，使用所述机器学习方法处理所述驾驶员的所述图像包括使用所述驾驶员的语音、所述驾驶员的面部表情、所述驾驶员的手势和/或所述驾驶员的生理信息。可选地，在上述任一方面中，使用比较方法和阈值来做出所述安全确定。

计算机800可以包括或可以访问包括输入806、输出804和通信接口816的计算环境。在各种实施例中，通信接口816包括收发器和天线。输出804可以包括可以用作输入设备的显示设备，例如触摸屏。输入806可以包括以下的一种或多种：触摸屏、触摸板、鼠标、键盘、相机、一个或多个设备专用按钮、集成在所述计算机800内或通过有线或无线数据连接耦合到所述计算机800内的一个或多个传感器807或其它输入设备。所述计算机800可以使用通信连接在联网环境中工作，以连接到一个或多个远程计算机，如数据库服务器。所述远程计算机可以包括个人计算机(personalcomputer，简称pc)、服务器、路由器、网络pc、对等设备或其它公共网络节点等。所述通信连接可以包括局域网(localareanetwork，简称lan)、广域网(wideareanetwork，简称wan)、蜂窝、wifi、蓝牙或其它网络。

计算机可读指令即程序818，包括存储在计算机可读介质上的指令，该指令可由所述计算机800的所述处理单元802执行。术语“计算机可读介质”和“存储设备”不包括载波，只要认为载波过于短暂。

在一示例中，所述处理单元802执行所述程序818以实现用于具有自治系统的车辆安全的告警方法。一个或多个处理器获取车辆驾驶员的图像和所述车辆的内部环境的图像。使用在所述一个或多个处理器上执行的机器学习方法，处理所述驾驶员的所述图像和所述车辆的所述内部环境的所述图像，以对所述驾驶员的状况或状态进行分类并提供安全确定。根据所述安全确定情况，使用所述一个或多个处理器向所述驾驶员提供告警。

在各种实施例中，所述传感器807包括车载传感器，所述车载传感器可安装在所述车辆内并耦合到所述处理单元802，并向所述处理单元802提供关于所述车辆驾驶状况和内部环境的更新。例如，所述车载传感器可包括听觉设备(例如麦克风、扬声器)、触觉传感器(例如振动)、图像传感器(例如摄像头或录像机)、用于确定特定座椅上是否有重量的座椅传感器、温度传感器以及可用于帮助确定驾驶员环境或状况的任何其它传感器。

图9是示出了根据各种实施例的带自适应滤波器的cnn设计的流程图。训练数据、受训练的cnn、驾驶员状况类别和内部环境状况类别是输入901。在各种实施例中，使用所述输入数据902计算状况概率。根据状况概率，在给定驾驶员状况903时，重新训练cnn以更新内部环境状况的参数。对最终结果影响较小(低于阈值)的滤波器的参数设置为零904。所述输出包括活动滤波器905或具有非零参数的滤波器。当所述输入是实时数据906时，所述方法处理所述数据907，决定是否使用经调整的滤波器908，并提供输出909。

图10是示出了根据各种实施例的计算给定驾驶员状况的内部环境状况的状况概率的流程图。对于驾驶员情绪表情xi1002和汽车环境状况yj1004的训练数据，使用以下公式计算1006状况概率：

其中

假设类别的数量和类型是固定的，所述状况概率越高，给定dp的cq越有可能。所示实施例使用以下变量：

vi＝(xi，yi)：标记数据集对，其是所述索引，xi和yi分别是驾驶员状况和内部环境条件的数据集。数据集可以是一个或多个图像或视频，使用以下变量：

g＝(g1，g2，...，gi，...)：每对数据集的标签，其中gi＝{0，1}，1表示人被标记为危险，0表示不危险。

d＝(d1，d2，...，dp，...)：驾驶员状况的类别，p是索引。

c＝(c1，c2，...，cq，...)：内部环境状况的类别，q是索引。

f：xi，oryi的分类。

p(cq∈c|dp∈d)：或简单地p(cq|dp)，给定驾驶员状况的内部环境状况的状况概率。

ths：阈值。

给定所述驾驶员状况，可以减少检测内部环境状况所需的活动滤波器数量。减少所述活动滤波器具有以下优点：使用相同的cnn结构而不用构建新的cnn结构；减少活动滤波器；降低计算复杂度；缩短计算时间；避免机器学习过度拟合。

当所述输入数据涉及驾驶员状况dp时，所述分类结果从c更改为相当于将的结果设置为0。

反向传播的一般公式是：

和

给定dp的状况概率，可以将所述输出类减少到为了从所述减少的输出类别中获益但使用相同的cnn，可以重新训练cnn，为所述特定的dp和获取一组新的w，即，

根据链式法则，可以推导为的函数，即

其中g是函数。当输出为0时，此项在训练中设置为0，这将导致零即不会更新。在这种情况下，可视为所述偏移的一部分，并在初始化时将其设置为零，即不使用的相应滤波器。

此公式应用于直接连接到所述当前层的输出，因此，在训练期间，可以逐层传播此方法。具体而言，从所述最后一层开始，对于每一层，如果所述层输出为z次，即在收敛中相对稳定；设置即不使用相应的滤波器，其中thr_st和thr_out都是阈值。与阈值1008的这种比较确定是否触发自适应滤波器1010。

所示实施例使用以下变量：

与dp对应的内部环境条件的类别，其中始终大于所述阈值，即r是索引。是c的子集，即和

w：cnn的权重

f：成本函数

b：偏移

层k和滤波器f的权重(参数)

与连接的输出。请注意，输出可以连接多个权重。

图11是示出了根据各种实施例的使用带自适应滤波器的cnn处理内部车辆环境图像的框图。符号“x”表示所示实施例中的非活动滤波器。非活动滤波器是参数为0的滤波器。是当前层的输出，thr_out是阈值。

根据各种实施例，所述cnn重新训练1102以使用所述给定状况p(cq|dp)＞ths。在处理所述实时数据1104时，如果所述输出属于所述类别中的一个类别，则该类别将被发送到下一步进行推理和决策。否则，所述输入数据不能分类为具有p(cq|dp)＞ths的类别中的一个类别。

此方法也可应用于在训练cnn开始时未确定滤波器的情况，但可以尝试使用尽可能多的滤波器，并且最终只保留对所述结果有重大影响的滤波器。

图12是示出了根据各种实施例的使用带自适应滤波器的cnn处理实时数据的方法的流程图。在各种实施例中，所述驾驶员情绪表情数据1201使用带所有滤波器1204的cnn处理。给定所述驾驶员情绪状况1206并使用查找表1208，如果内部环境状况在所述查找表1210中，则内部环境状况数据1212使用带自适应滤波器1214的cnn处理。查询表1208是具有dp和相应cq的表，其中p(cq|dp)＞ths。如果所述内部环境状况不在所述查找表中，或者来自具有自适应滤波器的cnn的输出信度小于阈值1218，则所述内部环境状况数据将使用带所有滤波器1216的cnn处理。在各种实施例中，驾驶员和内部环境1220的状况被发送到推理和决策方法1222。

虽然上文详细描述了几个实施例但是可能进行其它修改。例如为了获得期望的结果附图中描绘的逻辑流不需要按照所示的特定顺序或者先后顺序。可以提供其它步骤或者从所描述的流程中去除步骤，所描述的系统中可以添加或移除其它组件。其它实施例可以在所附权利要求书的范围内。

尽管已经参考本发明的特定特征和实施例描述了本发明，但是明显在不脱离本发明的情况下可以制定本发明的各种修改和组合。说明书和附图仅被视为所附权利要求书所定义的本发明的说明并且考虑落于本发明的范围内的任何和所有修改、变体、组合或均等物。