用于推断车辆乘员的行为的装置及方法与流程

各种实施方案涉及用于推断车辆乘员行为的装置及方法，更具体地，涉及用于通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的装置及方法。

背景技术：

1、自动驾驶车辆是指能够在没有驾驶员的操作的情况下自行行驶的车辆。

2、汽车工程师学会(society of automotive engineers)将自动驾驶技术的发展分为六个阶段。在初始阶段，人监视行驶环境，自动驾驶技术仅执行辅助人驾驶的功能，例如，转向辅助、加速/减速辅助。然而，在最后的阶段，提供无需人为干预的完全自动化，从而自动驾驶系统负责驾驶车辆，同时监测所有的道路状况和环境。

3、在这样的自动驾驶车辆中，自动驾驶系统必然要获取关于车辆内部和外部的信息。此外，为了确保乘员的安全，有必要获取乘员的三维行为。

技术实现思路

1、本发明的目的是提供一种利用诸如摄像机的非接触式传感器来稳健地推断乘员的三维行为的方法及装置。

2、此外，本发明的目的是提供一种通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的方法及装置。

3、本文件要克服的技术问题不限于上述技术问题。未提及的其他技术问题可以由本领域的普通技术人员从下面的描述中清楚地理解。

4、一个实施方案是乘员行为推断系统，其推断车辆内乘员的行为。乘员行为推断系统可以包括：摄像机，其配置为获取车辆内乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取乘员的关键点信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息，利用粒子滤波来推断乘员的行为。

5、另一实施方案是乘员行为推断系统，其推断车辆内至少一个乘员的行为。乘员行为推断系统可以包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像，并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断乘员的行为。

6、又一实施方案是乘员行为推断系统的乘员行为推断方法。乘员行为推断方法可以包括：从经由摄像机获取的图像中获取关键点信息；基于关键点信息检测至少一个乘员，并且获取包括关于检测到的至少一个乘员的信息的目标跟踪信息；基于检测到的至少一个乘员确定现有乘员的检测是否失败，是否存在与检测到的至少一个乘员之中的现有乘员相对应的乘员以及是否存在新乘员；当存在新乘员作为确定的结果时，创建与相应的新乘员相对应的第一粒子滤波并且初始化第一粒子滤波的粒子；当存在与现有乘员相对应的乘员作为确定的结果时，传播与相应的现有乘员相对应的第二粒子滤波的粒子，更新粒子的权重，推断相应的现有乘员的行为，当特定条件得到满足时对粒子重采样；当与现有乘员相对应的乘员的检测失败作为确定的结果时，去除与相应的现有乘员相对应的第三粒子滤波。

7、根据本发明的各种实施方案，可以通过融合经由车辆内部摄像机和车辆内部信息传感器获取的信息来更加稳健和准确地推断乘员的三维行为，为基于人工智能的乘员行为推断中的意外故障做好准备。

8、根据本发明的各种实施方案，推断的乘员的三维行为可以用于车辆安全控制，以保护在自动驾驶环境中不在常规位置上的乘员。

9、可以从本发明获得的有益效果不限于上述效果。此外，其它未提及的效果可以由本发明所属领域的技术人员从以下描述中清楚地理解。

技术特征：

1.一种乘员行为推断系统，其推断车辆内乘员的行为，所述乘员行为推断系统包括：

2.一种乘员行为推断系统，其推断车辆内至少一个乘员的行为，所述乘员行为推断系统包括：

3.根据权利要求2所述的乘员行为推断系统，其中，

4.根据权利要求3所述的乘员行为推断系统，其中，由图像处理装置获取的关键点信息包括：指示图像平面上的关键点的二维位置的关键点的二维位置信息。

5.根据权利要求4所述的乘员行为推断系统，其中，由图像处理装置获取的关键点信息进一步包括：指示图像平面上的关键点的三维位置的关键点的三维位置信息。

6.根据权利要求5所述的乘员行为推断系统，其中，所述图像处理装置利用预先进行学习的人工智能系统或利用计算机视觉技术来获取关键点信息。

7.根据权利要求5所述的乘员行为推断系统，其中，

8.根据权利要求7所述的乘员行为推断系统，其中，

9.根据权利要求7所述的乘员行为推断系统，其中，

10.根据权利要求7所述的乘员行为推断系统，其中，

11.根据权利要求10所述的乘员行为推断系统，其中，

12.根据权利要求8所述的乘员行为推断系统，其中，所述粒子滤波单元基于从动态传感器获取的关于车辆的加速度和角加速度的信息以及乘员的动态模型，传播针对每个乘员的粒子滤波的粒子。

13.根据权利要求12所述的乘员行为推断系统，其中，仅当从动态传感器获取的车辆的加速度或角加速度大于第二预定阈值时，所述粒子滤波单元额外地利用乘员的动态模型来传播针对每个乘员的粒子滤波的粒子。

14.根据权利要求8所述的乘员行为推断系统，其中，所述粒子滤波单元基于先验概率信息、现有乘员的关键点的二维位置信息、关键点的三维位置信息以及从座椅信息传感器获取的座椅信息的至少一种更新粒子滤波的粒子的权重。

15.根据权利要求14所述的乘员行为推断系统，其中，基于先验概率信息更新粒子的权重包括：

16.根据权利要求14所述的乘员行为推断系统，其中，基于关键点的二维位置信息或关键点的三维位置信息更新粒子的权重包括：基于与粒子相对应的关键点的二维位置信息或关键点的三维位置信息来计算粒子的似然概率，并且基于计算的似然概率更新粒子权重信息。

17.根据权利要求14所述的乘员行为推断系统，其中，基于座椅信息更新粒子的权重包括：将从座椅信息获取的已就座的乘员的关键点的坐标与根据粒子计算的关键点的坐标进行比较，然后以与两个关键点的坐标之间的距离成反比的方式更新权重。

18.根据权利要求8所述的乘员行为推断系统，其中，

19.根据权利要求8所述的乘员行为推断系统，其中，

20.根据权利要求7所述的乘员行为推断系统，其中，当现有乘员的检测失败作为确定的结果时，所述控制单元记录现有乘员的检测失败的次数，当检测失败的次数大于第五预定阈值时，控制单元去除与相应的现有乘员相对应的粒子滤波。

21.一种乘员行为推断系统的乘员行为推断方法，所述乘员行为推断系统推断车辆内至少一个乘员的每一个的行为，所述乘员行为推断方法包括：

22.根据权利要求21所述的乘员行为推断方法，其中，

23.根据权利要求22所述的乘员行为推断方法，其中，

24.根据权利要求22所述的乘员行为推断方法，其中，

25.根据权利要求22所述的乘员行为推断方法，其中，

26.根据权利要求25所述的乘员行为推断方法，其中，

27.根据权利要求23所述的乘员行为推断方法，其中，传播粒子滤波的粒子包括：基于从动态传感器获取的关于车辆的加速度和角加速度的信息以及乘员的动态模型，传播粒子滤波的粒子。

28.根据权利要求27所述的乘员行为推断方法，其中，传播粒子滤波的粒子包括：仅当从动态传感器获取的车辆的加速度或角加速度大于第二预定阈值时，额外地利用乘员的动态模型来传播粒子滤波的粒子。

29.根据权利要求23所述的乘员行为推断方法，其中，

30.根据权利要求29所述的乘员行为推断方法，其中，

31.根据权利要求29所述的乘员行为推断方法，其中，

32.根据权利要求29所述的乘员行为推断方法，其中，

33.根据权利要求23所述的乘员行为推断方法，其中，

34.根据权利要求23所述的乘员行为推断方法，其中，

35.根据权利要求22所述的乘员行为推断方法，其中，

技术总结
本发明涉及用于推断车辆乘员的行为的装置及方法。提供了用于通过融合经由车辆内部摄像机和经由车辆内部信息传感器获取的信息，利用粒子滤波稳健地推断乘员的三维行为的装置及方法。乘员行为推断系统包括：摄像机，其配置为获取车辆内至少一个乘员的图像；传感器，其配置为获取关于车辆的信息；图像处理装置，其配置为处理从摄像机获取的图像并且获取至少一个乘员的关键点信息以及通过跟踪至少一个乘员提供的目标跟踪信息；车辆安全控制器，其配置为基于经由传感器获取的关于车辆的信息、从图像处理装置获取的关键点信息和目标跟踪信息，利用粒子滤波来推断乘员的行为。

技术研发人员：朴俊相
受保护的技术使用者：现代自动车株式会社
技术研发日：
技术公布日：2024/1/15