确定乘客解开座椅安全带和/或打开车门的意图的监测方法与流程

本公开涉及汽车领域，更具体地涉及用于确定乘客解开座椅安全带和/或打开车门的意图的基于感知的监测方法。本公开还涉及用于实现该监测方法的计算机可读介质和基于感知的系统。

背景技术：

1、当前的监测方法和相应的系统主要关注于检测系紧/松开的安全带或关闭/打开的车门。这种系统基于与安全带锁扣或车门把手或车门中的任何其它开关的有线连接。从这些连接和开关检索的信息是二进制的：座椅安全带被扣上或解开，车门被打开或关闭。

2、尽管这样的解决方案相对容易构建，但是它并未覆盖所有的需求，特别是在用以防止一些危险情况的安全性方面。实际上，在许多情况下，当座椅安全带已经被解开时，可能已经太迟而不能起作用了，因为一些儿童、尤其是年幼的儿童可能不能自己再次扣上它。当这种情况发生时，驾驶员被分心并且不得不停下车辆以再次扣上儿童的安全带。同样的情况也会发生在车门上，虽然后方车门可能受到保护而不会被未经授权地打开，但是它可能被无意地禁用或忘记，从而导致后方车门的意外打开。

3、由于这些“二进制”系统和方法没有克服上述问题，因此需要改进现有系统和方法以至少部分地克服上述缺点。尤其是，适合于提出一种监测方法，该监测方法预期乘客的意图是解开座椅安全带和/或打开车门并且试图防止它。

技术实现思路

1、为了解决这种问题，根据第一方面的本公开提出了一种确定乘客解开座椅安全带和/或打开车门的意图的基于感知的监测方法，该监测方法包括以下步骤：接收包括由安装在车辆中的基于感知的系统捕获的车辆内部的至少一个数据点集合的输入数据；基于所述至少一个数据点集合来分配与由所述基于感知的系统检测到的至少一位乘客相关联的预定的身体关键点位置(bkp)集合；基于所分配的与安全带锁扣和/或车门把手相关的预定bkp集合来计算指示所述至少一位乘客解开座椅安全带和/或打开车门的意图的操作得分；在操作得分超过预定阈值的情况下确定乘客解开座椅安全带和/或打开车门的意图；以及如果确定了乘客解开座椅安全带和/或打开车门的意图，则调节所述车辆的安全系统的至少一个控制功能；和/或将乘客的意图通知车辆的至少一位乘员。

2、基于操作得分的计算，该监测方法确定乘客解开座椅安全带和/或打开车门的意图，以便能够预期实际的操作并作出反应以防止该操作。这可以通过调节车辆的安全系统(例如紧急制动系统、避障系统或变道系统)的控制功能来实现，以便在不能阻止操作的情况下降低风险。乘客意图的确定允许安全系统更快但更温和地反应，以降低反应的强度，并因此降低当操作实际发生时反应后果的风险。通过在操作发生之前通知车辆的一个乘员(驾驶员或乘客)，给出了阻止实际操作的机会，例如驾驶员的反应，说服乘客停止或在安全的地方无冲击地停下汽车。

3、在有利的实施方式中，通知步骤包括以下子步骤：检测需要驾驶员注意的预定情形；如果检测到这种预定情形，则跳过或延迟驾驶员的通知至少直到不再检测到这样的预定情形，并且通知已经确定有打开座椅安全带和/或打开车门的意图的乘客；否则通知车辆的驾驶员。乘客的通知优选地是静默通知。

4、为了避免当预定情形发生时(例如安全系统激活、检测到机动情况(例如超车、停车)或面临特定驾驶条件(例如交叉路口、转弯、雾天、下雪或下雨天气条件))被通知意外地分散驾驶员注意力，该方法将延迟通知驾驶员直到预定情形结束，或简单地跳过通知。相反，优选通过静默通知来通知乘客，以防止分散驾驶员的注意力，例如振动乘客的座椅、打开或关闭乘客的娱乐装置或光照乘客，因此使乘客从他/她解开座椅安全带或打开车门的意图中分散注意力。

5、在另一个有利的实施方式中，所述预定bkp集合至少包括所述至少一位乘客的手腕和手的位置，并且该操作得分计算步骤包括以下计算步骤中的一个或更多个：计算所述至少一个数据点集合的2d空间中手腕和/或手与安全带锁扣或车门把手的位置之间的距离；和/或确定所述至少一个数据点集合的2d空间中手腕和/或手的位置对安全带锁扣或车门把手的遮挡。

6、为了改善乘客意图的确定，利用手和手腕相对于安全带锁扣和车门把手的位置，并且更具体地，随着手/手腕接近锁扣或把手而增加操作分数。

7、有利地，所述分配步骤还包括：从所述至少一个数据点集合确定所述至少一位乘客的眼睛注视方向(egd)；并且所述操作得分计算步骤还包括以下计算步骤：计算所述egd与安全带锁扣或车门把手在所述至少一个数据点集合的2d或3d空间中的交点。更优选地，存储包含后门把手的位置的专用校准文件，并且操作得分计算步骤还包括考虑专用校准文件和与egd结合的乘客的姿势估计分配的计算步骤。

8、为了进一步改进乘客意图的确定，利用egd来计算操作得分。如果bkp朝向座椅安全带锁扣或车门把手移动并更靠近(或甚至接触)座椅安全带锁扣或门把手，并且同时egd笔直朝向座椅安全带锁扣或车门把手，则操作的风险高，并且因此操作得分增加。此外，egd用于补偿由于低分辨率图像和/或微光条件、或被某物(衣服的一部分、身体部分等)覆盖或甚至被汽车部件遮挡而导致的定位锁扣或车门把手的任何困难，尤其是由于前座而可能不可见的后方车门把手。

9、有利地，基于与基于感知的系统相关联的检测正确性因子，为所分配的预定bkp和所分配的egd中的每一个赋予置信度值，并且用所赋予的置信度值对计算步骤进行加权。

10、为了进一步改进对乘客意图的确定，利用了置信度值，其可以由诸如眼睛注视检测器或身体关键点检测器的特定特征检测器来提供。这些置信度值与由特定特征检测器从数据点集合中提取bkp和egd的确定性有关。这些置信度值用于降低假阳性通知的风险。

11、在另一有利实施方式中，所接收的输入数据还包括以下各项中的一项或更多项：运行中的车辆的一个或更多个安全系统的状态数据以确定需要驾驶员注意的情形，和/或乘客的安全带锁扣和车门把手的状态数据以防止假阳性通知，和/或乘客的车窗打开或关闭的车辆仪表数据以防止假阳性通知，和/或关于车辆内基于感知的系统与每个乘客的安全带锁扣和车门把手之间的相对位置的校准数据作为用于计算操作得分的参数。与安全系统相关的数据包括状态数据，优选地以当前使用的主动安全系统的列表的形式，诸如制动辅助系统、牵引控制系统、电子稳定性控制系统或高级驾驶员辅助系统。只要该主动安全性中的至少一个是可操作的，就不通知驾驶员以防止分心，而是通知乘客。与乘客的安全带锁扣和车门把手相关的数据包括锁扣是否被系紧/松开以及车门把手是否被致动/解除致动以及车门是否被打开/关闭和/或锁定/解锁的状态。这样的信息有助于通过考虑锁扣是否松开以及乘客是否系紧或乘客是否试图操作已经利用儿童安全锁锁住的后门把手来防止假阳性通知。如果乘客操作车窗而不是车门把手，则与车窗的打开或关闭动作相关的数据用于通过减少操作来防止假阳性通知。与基于感知的系统、锁扣和把手之间的相对位置相关的数据优选地存储在配置文件中，并用于估计距离以及估计接收到的数据点集合上的不可见元素的位置。

12、在另一个有利的实施方式中，该方法还包括以下步骤：确定乘客意图的假阳性；基于用置信系数加权的所确定的假阳性来修正操作得分。优选地，利用置信系数来确定假阳性指示符，并且基于利用其置信系数加权的所确定的假阳性来修改操作得分。

13、为了防止通过在安全系统上的不希望的动作和不必要的驾驶员分心而导致较低的用户体验的假阳性通知，使用预定的假阳性指示符来减小或甚至使操作分数为零，所述假阳性指示符例如指乘客的困倦、乘客打开/关闭车窗或由于安装在乘客座椅上的isofix座椅而导致的安全带的不使用。优选地，以表示这些指示符的确定程度的置信系数来接收假阳性指示符。如果置信系数是1，则意味着假阳性指示符是100％肯定的，因此操作分数将被归零。在安装有isofix的儿童座椅的示例中，由于不需要使用车辆安全带锁扣，因此该系统可被构造成监测儿童座椅锁扣。

14、在另一有利实施方式中，基于在预定时间间隔内在不同时间帧处获取的数据点集合来生成输入数据，并且其中，操作得分计算步骤根据序列内每个连续数据点集合的操作得分来执行。优选地，操作分数计算是平均操作分数，或者更优选地是加权平均操作分数，其中序列内的每个数据点集合的操作分数从最老的集合(较低的权重)到最新的集合(较高的权重)得到增加的权重。

15、为了进一步改进乘客意图的确定，利用了几个连续的数据点集合。以这种方式，操作得分变得更准确，并且不仅反映瞬时情况，而且在限定的时间段(连续集合的序列)期间跟踪乘客的意图以验证操作的风险。

16、在另一个有利的实施方式中，该方法还包括以下步骤：从所述至少一个数据点集合中为每个乘客座椅分配座椅占用状态(sos)和/或儿童座椅存在(csp)；根据sos和/或csp调整操作得分。

17、为了进一步改善乘客意图的确定，利用乘客是否在座椅中以及是否有儿童座椅。例如，如果没有乘客座椅，则不存在解开座椅安全带的风险。

18、在另一个有利的实施方式中，基于感知的系统包括至少一个基于视觉的系统和/或至少一个激光雷达(lidar)系统，其安装在车辆的具有覆盖一个或更多个乘客座椅的视场的头顶区域上。基于视觉的系统是摄像头，优选是广角摄像头，并且激光雷达系统优选是全向激光雷达。摄像头和/或激光雷达优选地位于中间排座椅之间。更优选地，基于感知的系统还包括位于车辆后部的第二基于视觉的系统和/或第二激光雷达系统，以从车辆后部获得乘客座椅的视图。

19、尽管摄像头或激光雷达单独通过所检索的图像或车辆内部的点云给出了足够的信息，但是结合这两种系统进一步增加了信息的可靠性，尤其是在低光照条件下。在后侧添加第二系统进一步改进了乘客意图的确定，尤其是在存在后向儿童座椅的情况下或当前排座椅至少部分地遮挡车门把手时。

20、根据第二方面，本公开涉及一种非暂时性计算机可读介质，其包括用于使处理器执行根据第一方面的任何实施方式的方法的程序指令。

21、根据第三方面，本公开涉及一种用于实现根据第一方面的任何实施方式的方法的基于感知的系统。

22、根据第四方面，本公开涉及一种包括根据第三方面的基于感知的系统的车辆。

23、其它实施方式和优点将在下文的详细描述中公开。