用于检测乘员的活动状态的方法、系统、车辆和程序产品与流程

本发明涉及车辆领域，具体而言涉及一种用于检测乘员的活动状态的方法。此外，本发明还涉及一种用于检测乘员的活动状态的系统、一种相应的车辆和一种计算机程序产品。

背景技术：

1、在具有自动驾驶功能的车辆中，通常实时检测车内乘员，以获知或掌握乘员的状态，尤其在车辆处于自动驾驶模式中时具有重要意义。

2、通常通过车载摄像头来拍摄车内乘员的图像并且基于图像分析来识别乘员的活动，从而例如在自动驾驶过程中，基于乘员的活动状态来相应调整车辆的操作。此外，也可以在自动驾驶车辆停车或“熄火”的情况下，识别车内是否存在乘员以及乘员的活动状态(例如睡着、醒着或者昏迷等)。因此，对车内乘员的可靠识别以及对乘员的相应活动状态的确认尤为重要。

3、然而，由于在车内前排座椅靠背等可能造成车载摄像头的视野遮挡，因而可能无法可靠地拍摄并识别出后排的乘员(例如儿童)。此外，在车内光线或者环境光线暗或者在黑暗中无法可靠地拍摄并识别出车内的乘员。此外，车载摄像头可能由于故障或者光学镜头的损坏或污物而无法清楚地拍摄并辨识出车内乘员。这些问题都会导致自动驾驶车辆无法实时掌握车内乘员的活动状态，因而可能存在安全隐患。

4、因此，针对上述问题中的至少一些仍然存在对现有方案的改进需求。

技术实现思路

1、基于此，本发明提出一种高效方案，所述方案不仅能够克服现有技术方案中的不足，而且能够提升自动驾驶的安全性和用户的满意度。

2、根据本发明的第一方面，提供一种用于检测乘员的活动状态的方法，所述方法包括以下步骤：

3、s101拍摄车内的图像；

4、s102基于拍摄的图像识别车内的乘员并检测所述乘员的运动数据；

5、s103检测车内的声音数据；

6、s104将所述声音数据与所述运动数据相关联并且进行数据融合；以及s105基于融合的数据确定所述乘员的活动状态。

7、本发明的基本构思在于，基于图像处理检测车内乘员的运动数据并且检测车内声音数据，通过将乘员的运动数据与车内的与乘员相关的声音数据进行关联和融合，可靠地确定该乘员在车内的运动状态。由此，即使在受限的条件下、例如遮挡或者光线暗的情况下也能够可靠地识别并获知乘员的活动状态，提升自动驾驶的舒适性和安全性。

8、本发明的技术方案的有利构型能够从以下可选的实施方式中获得。

9、根据本发明的方法的一个可选实施例，在步骤s104中，所述关联包括将所述声音数据与所述运动数据相互验证合理性。该实施例能够通过声音数据与运动数据的彼此验证特别可靠地且精确地确定乘员的活动状态。

10、根据本发明的方法的一个可选实施例，借助图像检测装置、例如车载摄像头拍摄车内的图像，其中，通过图像处理来识别车内的乘员。该实施例可以实现成本有利的图像检测和乘员识别。车载摄像头可以安装在前挡风玻璃处，并且还可以分别针对车辆的前后排设置一个车载摄像头。

11、根据本发明的方法的一个可选实施例，借助声音检测装置、例如车载麦克风检测车内的声音数据。该实施例简单并且易于实现。

12、根据本发明的方法的一个可选实施例，在步骤s102中，借助对象分类器和/或卷积神经网络进行所述图像处理。该实施例可靠且高效。

13、根据本发明的方法的一个可选实施例，在步骤s103中，借助频率分析和/或卷积神经网络来识别与所述乘员的运动相关的声音数据。该实施例可靠且高效。

14、根据本发明的方法的一个可选实施例，与所述乘员的运动相关的声音数据包括：翻书声，敲击键盘声，喝水声，急促呼吸声，咳嗽声，呻吟声，打哈气声，打呼噜声，哭泣声等。

15、根据本发明的方法的一个可选实施例，在步骤s104中，将所述声音数据与所述运动数据在时间上相关联并且将在时间上相对应的声音数据和运动数据进行融合。

16、根据本发明的第二方面，提供一种用于检测乘员的活动状态的系统，所述系统包括：

17、图像检测装置，其配置为适于拍摄车内的图像；

18、声音检测装置，其配置为适于检测车内的声音数据；和

19、数据处理装置，其配置为适于对图像检测装置和声音检测装置的数据进行处理，

20、所述系统配置为适于实施本发明的方法。

21、根据本发明的第三方面，提供一种车辆，尤其是自动驾驶车辆，所述车辆包括用于检测乘员的活动状态的系统。

22、根据本发明的第四方面，提供一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时至少用于辅助实施本发明的方法。

23、本发明的更多的特征从权利要求、附图和附图的描述中变得显而易见的。在上述说明中提到的特征和特征组合以及在下文的附图描述中提到的和/或只在附图中示出的特征和特征组合不仅可以以相应指定的组合使用，而且可以在不脱离本发明的范围的情况下以其它组合使用。因此，下述内容也视作被本发明涵盖和公开：这些内容未在附图中明确示出并未被明确解释，而是源自由来自所解释的内容的分离的特征所组成的组合并由这些组合产生。下述内容和特征组合也被视作是被公开的：其不具有原始撰写的独立权利要求的所有特征。此外，下述内容和特征组合被视作尤其被上文内容所公开：其超出或偏离权利要求的引用关系中所限定的特征组合。

技术特征：

1.一种用于检测乘员(3)的活动状态的方法(100)，其特征在于，所述方法(100)包括以下步骤：

2.根据权利要求1所述的方法(100)，其特征在于，在步骤s104中，所述关联包括将所述声音数据与所述运动数据相互验证合理性。

3.根据权利要求1或2所述的方法(100)，其特征在于，

4.根据权利要求3所述的方法(100)，其特征在于，在步骤s102中，借助对象分类器和/或卷积神经网络进行所述图像处理。

5.根据权利要求1至4中任一项所述的方法(100)，其特征在于，在步骤s103中，借助频率分析和/或卷积神经网络来识别与所述乘员(3)的运动相关的声音数据。

6.根据权利要求5所述的方法(100)，其特征在于，与所述乘员(3)的运动相关的声音数据包括：翻书声，敲击键盘声，喝水声，急促呼吸声，咳嗽声，呻吟声，打哈气声，打呼噜声，哭泣声等。

7.根据权利要求1至6中任一项所述的方法，其特征在于，在步骤s104中，将所述声音数据与所述运动数据在时间上相关联并且将在时间上相对应的声音数据和运动数据进行融合。

8.一种用于检测乘员的活动状态的系统(2)，其特征在于，所述系统(2)包括：

9.一种车辆(1)，尤其是自动驾驶车辆，其特征在于，所述车辆(1)包括根据权利要求8所述的用于检测乘员的活动状态的系统(2)。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时至少用于辅助实施根据权利要求1至7中任一项的方法(100)。

技术总结
本发明涉及一种用于检测乘员(3)的活动状态的方法，所述方法(100)包括以下步骤：S101拍摄车内的图像；S102基于拍摄的图像识别车内的乘员并检测乘员的运动数据；S103检测车内的声音数据；S104将所述声音数据与所述运动数据相关联并且进行数据融合；以及S105基于融合的数据确定所述乘员的活动状态。本发明还涉及一种用于检测乘员的活动状态的系统，一种具有相应系统的车辆以及一种计算机程序产品。通过本发明，借助图像检测和音频检测的融合数据识别出车内乘员的活动状态，尤其通过音频数据与图像数据的彼此合理性验证提升乘员活动状态的可靠性。

技术研发人员：李和安
受保护的技术使用者：梅赛德斯-奔驰集团股份公司
技术研发日：
技术公布日：2024/4/17