一种地铁乘客下车意图识别方法与装置与流程

本发明涉及城市轨道交通，具体而言，涉及一种地铁乘客下车意图识别方法与装置。

背景技术：

1、目前，城市轨道交通线网日益加密，客流量也急速增加。特别是针对大城市的部分进出城地铁线路，在上下班的高峰时期由于潮汐向通行的原因，地铁站台、包括地铁车厢内部都常会出现人流量大甚至人挤人的情况。在地铁进站后乘客上下车时，可能出现上下车乘客交错而导致通行不畅的现象，严重时会造成由于开门时间过短、车内乘客不能及时下车的场景。

2、目前，地铁列车进站后，正常情况下站台屏蔽门和列车车门都是根据预先设定好的开门时间间隔执行开启和关闭的。开门时间间隔需要通过车站日常的客流量状况进行估计并设定。在特殊情况时，例如有乘客冲撞车门/安全门或被车门/安全门夹住，则车门的感应系统就会发出警报，并重新开启，之后由车站或列车驾驶员手动控制开关门流程。因此，现有的列车车门/站台屏蔽门只具有防夹功能，并有相应的感应设备保证车门与站台门之间不会夹有异物，并不能保证有上下车需求的乘客可以完全完成上下车的动作。而现有的技术方案无法提前对乘客的下车行为进行预测。因此，现有的技术方案无法落地到防止由于开门时间过短、车内乘客不能及时下车的场景。

3、综上，目前没有对乘客下车意图进行判别的方案。现有成熟的技术方案中多使用基于图像识别的方案对已完成上下车的乘客进行数量统计，仅仅可实现统计目的，而无法对尚未下车的乘客进行某种程度上其下车动作的预判。

技术实现思路

1、本发明实施例提供了一种地铁乘客下车意图识别方法与装置，以解决现有技术无法对车内尚未下车的乘客进行某种程度上其下车动作的预判，因而容易造成由于车辆的开门时间过短，车内乘客不能及时下车的技术问题。

2、为解决上述技术问题，本发明实施例提供了如下技术方案：

3、一方面，本发明实施例提供了一种地铁乘客下车意图识别方法，其包括：获取列车车厢内车门处预设区域实时的监控视频流；在列车到站后，对监控视频流中所有可见的车内乘客持续进行人脸识别确定追踪对象，并对追踪对象进行持续追踪；在列车开门后，基于追踪结果，实时判断追踪对象的下车动作完成情况；当到达预计的下车截至时刻后，对所有已完成下车动作的追踪对象在列车开门时刻至下车截至时刻期间的运动轨迹进行汇总与分析，得到已下车乘客的运动轨迹，并基于已下车乘客的运动轨迹，筛选出未完成下车动作的追踪对象中具有下车意图的待下车乘客，并对待下车乘客的下车意图进行持续识别；当到达设定的关门时刻后，若待下车乘客仍有下车意图，则进行预警提示，并在所有具有下车意图的待下车乘客均完成下车动作后，提示关门。

4、可选地，对监控视频流中所有可见的车内乘客持续进行人脸识别确定追踪对象，并对追踪对象进行持续追踪包括：采用预设的人脸识别算法持续对监控视频流中每一帧中所有可见的车内乘客进行人脸识别，得到人脸识别结果；以每一人脸识别结果对应的乘客作为追踪对象，并初始化各个追踪对象，为每一追踪对象分配追踪过程的id；在对追踪对象进行持续追踪过程中，每当人脸识别检测到未分配id的乘客，则将该乘客也作为追踪对象，并初始化该追踪对象，为其分配追踪过程的id。

5、可选地，对追踪对象进行持续追踪包括：使用预设的多目标追踪算法对各追踪对象进行追踪得到追踪轨迹信息，在列车进站后完整的开门期间内对追踪对象的踪过程的id与追踪对象的追踪轨迹信息进行关联匹配，实时计算并记录各追踪对象的属性，追踪对象的属性包括：运动轨迹、是否完成下车动作的标志位、所在车门区域的位置，以及乘客下车意图指数，乘客下车意图指数用于表征乘客下车意愿的大小。

6、可选地，乘客下车意图指数基于社会力模型计算，其计算方式为：设定追踪对象α受到的社会力合力导致了当前追踪对象在监控视频流中实际的运动，则追踪对象前往其目的地的源动力表示为：

7、

8、其中，表示当前追踪对象与其它乘客β间的相互作用力；表示当前追踪对象与墙壁b之间的相互作用力；m表示质量；a表示加速度；和统一建模为其中，v0和σ为用于决定相应力势场形状的预设参数；在中表示追踪对象到临近其它乘客β间的二维空间距离，在中表示追踪对象距离墙壁b的最近距离；表示取梯度；e表示自然常数；将计算得到的追踪对象前往其目的地的源动力与追踪对象当前位置到车门中心处的连接向量做积，所得结果即为乘客下车意图指数。

9、可选地，基于追踪结果，实时判断乘客的下车动作完成情况，包括：

10、将列车车门线分别向车外方向以及车内方向偏移预设的距离，并以列车车门线向车外方向偏移后所在的位置作为车外准线，以列车车门线向车内方向偏移后所在的位置作为车内准线；基于追踪结果，当乘客的初始位置在车内准线之内，且其移动后的最新位置位于车外准线之外，则判断当前乘客完成了下车动作；当判断当前乘客已完成了下车动作时，则在其对应的属性中的是否完成下车动作的标志位中记录当前乘客已完成了下车动作。

11、可选地，当到达预计的下车截至时刻后，对所有已完成下车动作的乘客在列车开门时刻至下车截至时刻期间的运动轨迹进行汇总与分析，得到已下车乘客的运动轨迹，包括：当到达预计的下车截至时刻后，对所有已完成下车动作的乘客的运动轨迹进行汇总与分析，筛选出下车起始点与车门距离大于第一预设阈值的轨迹，作为在列车开门时刻至下车截至时刻期间已下车乘客的运动轨迹。

12、可选地，基于已下车乘客的运动轨迹，筛选出未完成下车动作的追踪对象中具有下车意图的待下车乘客，并对待下车乘客的下车意图进行持续识别，包括：筛选出当前所在位置与车门距离大于第二预设阈值的乘客，作为有下车意图乘客的候选者，以所有有下车意图乘客的候选者组成候选者集合；

13、将每一候选者的运动轨迹分别与每一已下车乘客的运动轨迹进行时空重合度分析，当一个候选者的运动轨迹与任一已下车乘客的运动轨迹的时空重合度均小于预设重合度阈值时，则将其从候选者集合中删除；其中，在将候选者的运动轨迹与已下车乘客的运动轨迹进行时空重合度分析时，是按照乘客所在车门区域的位置，将位于同一区域的二者运动轨迹进行时空重合度分析；针对当前候选者集合中剩余的候选者，分别实时计算每一候选者对应的乘客下车意图指数，同时对每一候选者的运动轨迹进行实时分析；当一个候选者对应的乘客下车意图指数小于第三预设阈值时，则将其从候选者集合中删除；而当一个候选者在垂直车门方向上的帧间位移逐渐减小且小于第四预设阈值时，也将其从候选者集合中删除；在到达设定的关门时刻时，若候选者集合中仍有候选者，则确定候选者集合中的候选者为当前仍具有下车意图的待下车乘客。

14、可选地，在列车开门后，方法还包括：通过判断乘客是否完成了上车动作或下车动作，对上、下车乘客的数量进行统计，得到列车进站过程中乘客上、下车情况；其中，对乘客是否完成了上车动作的判断方式为：若乘客的初始位置在车外准线之外，且其移动后的最新位置位于车内准线之内，则判断其完成了上车动作。

15、另一方面，本发明还提供了一种地铁乘客下车意图识别装置，其包括：

16、图像采集模块，用于获取列车车厢内车门附近处实时的监控视频流；

17、图像处理模块，用于：在列车到站后，对监控视频流中所有可见的车内乘客持续进行人脸识别确定追踪对象，并对追踪对象进行持续追踪；在列车开门后，基于追踪结果，实时判断追踪对象的下车动作完成情况；当到达预计的下车截至时刻后，对所有已完成下车动作的追踪对象在列车开门时刻至下车截至时刻期间的运动轨迹进行汇总与分析，得到已下车乘客的运动轨迹，并基于已下车乘客的运动轨迹，筛选出未完成下车动作的追踪对象中具有下车意图的待下车乘客，并对待下车乘客的下车意图进行持续识别；预警提示模块，用于当到达设定的关门时刻后，若待下车乘客仍有下车意图，则进行预警提示，并在所有具有下车意图的待下车乘客均完成下车动作后，提示关门。

18、可选地，所述图像处理模块具体用于：

19、在列车到站后，车门开启前，采用预设的人脸识别算法对所述监控视频流中每一帧中所有可见的车内乘客进行人脸识别，得到人脸识别结果；

20、以每一人脸识别结果对应的乘客作为追踪对象，并初始化各个追踪对象，为每一追踪对象分配追踪过程的id和追踪轨迹信息；

21、使用预设的多目标追踪算法完成对各追踪对象的追踪，在列车进站后完整的开门期间内对所述监控视频流中每一帧检测到的人脸进行与追踪对象之间轨迹层面上的关联，或者初始化新的追踪对象并分配新的id；

22、在对所有追踪对象执行追踪的过程中，实时计算并记录各追踪对象的属性；其中，追踪对象的属性包括：运动轨迹、是否完成下车动作的标志位、所在车门区域的位置，以及乘客下车意图指数；其中，追踪对象所在车门区域的位置分为追踪对象在车门的左侧区域和追踪对象在车门的右侧区域；

23、所述乘客下车意图指数基于社会力模型计算，其计算方式为：

24、设定追踪对象α受到的社会力合力导致了当前追踪对象在监控视频流中实际的运动，则追踪对象前往其目的地的源动力表示为：

25、

26、其中，表示当前追踪对象与其它乘客β间的相互作用力；表示当前追踪对象与墙壁b之间的相互作用力；m表示质量；a表示加速度；和统一建模为其中，v0和σ为用于决定相应力势场形状的预设参数；在中表示追踪对象到临近其它乘客β间的二维空间距离，在中表示追踪对象距离墙壁b的最近距离；表示取梯度；e表示自然常数；

27、将计算得到的追踪对象前往其目的地的源动力与追踪对象当前位置到车门中心处的连接向量做积，所得结果即为乘客下车意图指数。

28、可选地，所述图像处理模块具体还用于：

29、将列车车门线分别向车外方向以及车内方向偏移预设的距离，并以列车车门线向车外方向偏移后所在的位置作为车外准线，以列车车门线向车内方向偏移后所在的位置作为车内准线；

30、基于追踪结果，当乘客的初始位置在车内准线之内，且其移动后的最新位置位于车外准线之外，则判断当前乘客完成了下车动作；

31、当判断当前乘客已完成了下车动作时，则在其对应的属性中的是否完成下车动作的标志位中记录当前乘客已完成了下车动作；

32、当到达预计的下车截至时刻后，对所有已完成下车动作的乘客的运动轨迹进行汇总与分析，筛选出下车起始点与车门距离大于第一预设阈值的轨迹，作为在列车开门时刻至下车截至时刻期间，已下车乘客的运动轨迹；

33、筛选出当前所在位置与车门距离大于第二预设阈值的乘客，作为有下车意图乘客的候选者，以所有有下车意图乘客的候选者组成候选者集合；

34、将每一候选者的运动轨迹分别与每一已下车乘客的运动轨迹进行时空重合度分析，当一个候选者的运动轨迹与任一已下车乘客的运动轨迹的时空重合度均小于预设重合度阈值时，则将其从候选者集合中删除；其中，在将候选者的运动轨迹与已下车乘客的运动轨迹进行时空重合度分析时，是按照乘客所在车门区域的位置，将位于同一区域的二者运动轨迹进行时空重合度分析；

35、针对当前候选者集合中剩余的候选者，分别实时计算每一候选者对应的乘客下车意图指数，同时对每一候选者的运动轨迹进行实时分析；当一个候选者对应的乘客下车意图指数小于第三预设阈值时，则将其从候选者集合中删除；而当一个候选者在垂直车门方向上的帧间位移逐渐减小且小于第四预设阈值时，也将其从候选者集合中删除；

36、在到达设定的关门时刻时，若候选者集合中仍有候选者，则确定候选者集合中的候选者为当前仍具有下车意图的待下车乘客。

37、可选地，所述装置还包括统计模块；所述统计模块用于：

38、通过判断乘客是否完成了上车动作或下车动作，对上、下车乘客的数量进行统计，得到列车进站过程中乘客上、下车情况；其中，对乘客是否完成了上车动作的判断方式为：若乘客的初始位置在所述车外准线之外，且其移动后的最新位置位于所述车内准线之内，则判断其完成了上车动作。

39、再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

40、又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

41、本发明提供的技术方案带来的有益效果至少包括：

42、通过获取列车车厢内车门处预设区域实时的监控视频流，能够在列车到站后对所述监控视频流中所有可见的车内乘客进行连续的人脸识别，以确定并追踪每位乘客准确监测并追踪每个乘客，包括他们的位置和动作。一旦列车开门，基于追踪结果实时判断每个追踪对象的下车动作是否已完成，及时检测乘客的下车意图，无需等待他们完成下车动作后才进行判断。在到达预计的下车截至时刻后，会对所有已完成下车动作的乘客在列车开门时刻至下车截至时刻期间的运动轨迹进行汇总与分析，获得已下车乘客的运动轨迹，以进一步筛选出那些未完成下车动作但具有下车意图的待下车乘客，这个过程帮助更好地理解乘客的行为。最后，在设定的关门时刻到来时，如果仍然存在待下车乘客具有下车意图，系统将进行预警提示。只有在所有具有下车意图的待下车乘客均完成下车动作后，系统才提示关门，提高了地铁运营的安全性和效率。本发明的技术方案，提高了地铁服务的效率，通过准确识别乘客的下车意图，减少了下车延误，提升了整体服务效率。而且，本发明还增强了地铁的安全性，减少了意外事件的风险，并在需要时发出警告。此外，通过数据分析和优化，运营商可以改进车站布局和服务调度，提高运营效率。