轨道交通车厢客流估计方法

本发明涉及智慧交通技术领域，尤其是指轨道交通车厢客流估计方法。

背景技术：

随着城市轨道交通系统的不断扩展，扩充了乘客出行的备选路径集合，出行的随机性增强。各车站的空间时间上，客流状况更加多变。轨道交通区间客流量估计是未来轨道交通大客流量准确预测和影响评估的基础，对未来车站合理安排客流组织、运输组织、协调列车运能需求与供给有重要意义。目前轨道交通的客流量统计主要通过票务系统进行，这种方法尚无法统计运行过程中车厢内的客流量，也无法测定区间客流量。国内轨道交通车厢客流的测定技术是空气弹簧压力测定方法，它通过平均体重估算出厢内大致人数，误差较大，无法达到精确统计的要求。除此以外，红外成像技术可以通过头部识别乘客数量，但设备价格较高，安装在车厢中的成本过高，而红外成像技术提取的特征较为单一，精度不高。

随着计算机视觉技术的不断发展，以及硬件计算和处理性能的提高，基于计算机视觉的智能视频处理分析方法以及与之相关的应用系统已经开始运用到包括人员运动检测在内的各种领域中去。视频图像包含的信息最为真实和丰富对于我们获取客流特征数据，为客流诱导和突发事件下的紧急疏散提供依据十分重要。视频图像中所包含的信息具有实时动态特性，利于根据事态的发展对处置措施进行科学合理的动态调整，这对于客流组织，尤其是突发事件下的动态应急管理具有极其重要的现实意义。对于城市轨道交通来说，实现智能视频监控成本较低，避免了重复投资建设，节约了成本。

技术实现要素：

为此，本发明所要解决的技术问题在于克服现有技术中对车厢客流量统计不足的缺陷，提供一种充分利用现有的视频监控、避免了充分投资建设、能够实时获取客流信息的轨道交通车厢客流估计方法。

为解决上述技术问题，本发明提供了轨道交通车厢客流估计方法，包括如下步骤：

利用多种检测算法分别对多种数据源中包含的人体特征进行训练得出检测模型；

车厢内摄像头拍摄车厢内图像，采用上述训练后的各检测模型分别对各摄像头拍摄的图像进行检测并对检测结果进行集成；

将车厢内的多个座位位置和空白位置分别划分为座位区域和空白区域；

根据车厢内多个摄像头的视觉范围，对视觉重叠部分中空白区域的站立人数和座位区域的站立人数及座位人数进行统计；

根据视觉重叠部分中空白区域和座位区域人数推导视觉远端部分中空白区域和座位区域人数；

估计全车厢乘客数量。

在本发明的一个实施例中，检测的人体特征包括头部特征和手部特征，且检测算法对数据源进行横向联邦学习和纵向联邦学习，其中横向联邦学习用于提取人的头部特征数据，纵向联邦学习用于提取人的头部特征数据和手部特征数据。

在本发明的一个实施例中，多种检测算法包括fchd算法、faster-rcnn算法和yolov3算法。

在本发明的一个实施例中，视觉重叠部分中各区域的站立人数分别统计为各摄像头检测的站立人数的均值进位取整。

在本发明的一个实施例中，视觉重叠部分中，将座位区域的座位平均划分在多个网格内，单个座位区域的座位人数统计为：

nseat＝a*[∑s(x)]+nseat

其中，a为每个网格存在的座位数，x为网格编号，s(x)＝0表示x网格内没有检测到站立乘客，s(x)＝1表示x网格内检测到站立乘客，nseat为无遮挡的座位上的乘客数。

在本发明的一个实施例中，视觉远端部分中空白区域和座位区域的人数由泊松分布推导得出。

在本发明的一个实施例中，泊松分布的累计概率选择为[0.3,0.9]。

在本发明的一个实施例中，在利用检测模型进行检测前，将摄像头拍摄的视频按帧转化为静态图片。

在本发明的一个实施例中，摄像头拍摄的图像由python-opencv进行截帧，截帧频次为10帧/秒。

在本发明的一个实施例中，多种算法中任一种检测为乘客，则认定为乘客。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的客流统计方法，充分利用地铁系统普遍安装的中央闭路监控系统，避免了重复投资建设，节约了成本，且利用本方法对其进行分析处理，能够实时获取客流特征信息；

本发明的方法设计了基于多联邦数据源的机器学习方法，使模型在差异场景内得到充分训练后应用于车厢，提高泛化性能；

本发明的方法引入空间网格模型，利用车厢内部空间乘客站位规律和车厢人流相似区域泊松分布特点，实现了车厢客流在监测盲区的补偿估计，弥补了监控摄像在盲区、遮挡场景下以及远端检测能力不足的缺点。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明的流程图；

图2是本发明的区域化示意图；

图3是本发明的网格化示意图；

图4是本发明的估算结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。由于地铁车厢规整，布局均匀，本实施例中以地铁车厢为例进行说明。

参照图1所示，为本发明轨道交通车厢客流估计方法的流程图。本发明的估计方法，包括如下步骤：

利用多种检测算法分别对多种数据源中包含的人体特征进行训练得出检测模型；

车厢内摄像头拍摄车厢内图像，采用上述训练后的各检测模型分别对各摄像头拍摄的图像进行检测并对检测结果进行集成；

将车厢内的多个座位位置和空白位置分别划分为座位区域和空白区域；

根据车厢内多个摄像头的视觉范围，对视觉重叠部分中空白区域的站立人数和座位区域的站立人数及座位人数进行统计；

根据视觉重叠部分中空白区域和座位区域人数推导视觉远端部分中空白区域和座位区域人数；

估计全车厢乘客数量。

轨道交通车厢内存在坐立乘客和站立乘客，且乘客高矮胖瘦不均，互相间存在遮挡，尤其是人流拥挤时，遮挡严重。因此需要多种数据源对人体不同部位、角度的特征进行学习，得到尽可能准确的人体模型。同时现有技术中存在多种学习算法，每种算法的侧重点不同，漏检率都很高，因此本实施例中采用多种算法，每种算法都对多种数据源中的人体特征进行学习，得到对应的检测模型。

具体的，数据源包括网络上的行人数据集合、公交车乘客数据集、高铁轨道车厢视频等。本实施例中，检测的人体特征包括头部特征和手部特征，且检测算法对数据源中不同属性，分别进行横向联邦学习和纵向联邦学习，其中横向联邦学习用于提取人的头部特征数据，纵向联邦学习用于提取人的头部特征数据和手部特征数据，减少误检率。本发明主要应用于轨道交通车厢场景，但轨道交通车厢场景单一，乘客体征相似，会导致机器学习常见的过拟合、泛化性差等问题，在场景细微改动的情况下模型的适应性也会大幅度下降。而本方法基于多联邦数据源的机器学习方法，使模型在差异场景内得到充分训练后应用于轨道车厢，提高泛化性能，使其能够应对不同型号、不同设计、不同布局的轨道交通车厢场景，并有进一步的联动推广应用空间。

进一步的，本实施例中检测算法采用fchd算法、faster-rcnn算法和yolov3算法。yolov3算法是通过划分单元格来做检测，但划分的数量不一样；采用网络结构darknet-53以及"leakyrelu"作为激活函数；实现端到端进行训练，yolov3算法每秒能够对车厢乘客视频检测超过30帧图片，可以做到实时检测，精度与速度的性价比最高。faster-rcnn算法用于头部检测时，在遮挡不严重时，faster-rcnn效果优异，但在乘客互相遮挡的状况下性能较差，而人群越拥堵互相遮挡的可能性越大，算法受限。faster-rcnn使用卷积模块从车厢图片中获取图像的特征图，区域生成网络对图片的人头部给出候选区的提议，对提取出的特征分类判别是否属于已给定的类别。fchd算法结合vgg16卷积神经网络和rpn网络，在场景中对头部进行建模，通过检测框偏移以及非极大值抑制，在保留置信度最高的候选框的同时能够去除冗余的候选框，在小目标检测上有较高的准确率，适用于远距离的乘客头部检测。在乘客检测与统计阶段，faster-rcnn算法、fchd算法和yolov3算法分别输出乘客候选框，对它们的结果进行融合，以提高准确率。本实施例中对结果的融合即为三种算法模型中任一种判断为乘客，则认定为乘客，仅当三种算法都没有检测的部分，认定为非乘客。

地铁每节车厢设置有多个摄像头，每个摄像头有一定的覆盖范围，摄像头拍摄车厢内的视频，每个摄像头拍摄的视频图像均由上述训练完成的多个模型分别检测，最终集成融合，得到每个摄像头拍摄范围内的乘客分布。由于摄像头拍摄的为视频，软件将对其进行截帧处理，将动态视频按帧转化为静态图片，从而获取大量乘客脸部样本，方便后续基于深度学习的人头识别检测。此时，由于摄像头拍摄的范围有重叠，且有被遮挡的乘客未被拍摄统计到，因此不能通过简单的相加得到车厢乘客数量。

参照图2所示，本实施例中，考虑摄像头位于车厢顶部，因此站立的乘客因为被遮挡而拍摄不到的可能性较小，被遮挡的大都是座位上的乘客，故默认站立乘客能够全部被拍摄检测到，为此将车厢分为空白区域和座位区域。地铁车厢两侧座位对称设置，因此车厢被沿其长度方向分为间隔的空白区域a、c、e、g和座位区域b、d、f。空白区域仅存在站立乘客，座位区域存在站立乘客和座位乘客。

本实施例中，车厢内有两个摄像头，第一摄像头的拍摄区域为a、b、c、d、e，第二摄像头拍摄的区域为c、d、e、f、g，其中c、d、e为在摄像头拍摄的视觉重叠部分，该部分视觉清晰度最高，统计最为精确，乘客人数可以根据多个摄像头拍摄的内容直接计算得出。在摄像头拍摄的视觉远端部分，由于仅为单一摄像头从单一角度拍摄，视觉清晰度低，且视觉盲区多，因此需要根据视觉重叠部分的乘客人数推导得到。因此首先计算视觉重叠部分，即，c、d、e区域中的乘客数量，由于站立乘客能够被完全检测，因此c、d、e区域的站立人数nstand统计为：

其中，n1(x)为第一摄像头统计的x区域的站立人数，n2(x)为第二摄像头统计的x区域的站立人数。在均值为小数时，则进位取整。

对于区域d，该区域存在容易被遮挡的座位，由于车厢内存在座位时乘客通常会坐在座位上，仅当座位坐满时，才会有人站立在座位前，因此可以通过判定相应位置上是否有人站立，推算出座位人数。具体的，将区域d中的座位平均划分在多个网格内，当视觉检测到这些网格出现乘客，且检测框范围较大时，可以认定该网格内检测到的乘客为站立乘客；如果检测到的网格内为座位，则表明该网格内的座位没有遮挡，可以直接检测到座位上乘客。本实施例中，网格的划分规则为：每个网格内座位数量为单人能够遮挡的座位数量。本实施例中，假设单人遮挡的座位数为2，地铁中每排座位是六个，地铁两侧有两排座位，因此将d区域划分为1-6号网格，则d区域的座位人数统计为：

nseat＝2*[s(1)+s(2)+s(3)+s(4)+s(5)+s(6)]+nseat(2)

其中，a为每个网格存在的座位数，s(x)＝0表示x网格内没有检测到站立乘客，s(x)＝1表示x网格内检测到站立乘客，nseat为无遮挡的座位上的乘客数。

得出每个区域的站立人数和座位人数后，第i节车厢中c、d、e区域的总估计人数为：

乘客在车厢内是离散分布的，因此本实施例中视觉远端部分中空白区域和座位区域的人数能够由视觉重叠部分相似区域通过泊松分布推导得出。参照图3所示，车厢中b和d、a和c、e和g区域的分布接近泊松分布。则a、b、f、g的估计人数为：

其中，m是车厢数量，k是估计的乘客人数；λ(c)、λ(d)、λ(e)是所有车厢的c、d、e网格所统计的乘客数量均值。根据实际情况，累积概率p在[0.3，0.9]范围内均有可能。因此选择泊松分布的累计概率在[0.3,0.9]范围内的k作为估计的乘客数量，结果如图4所示。

本发明引入空间网格模型，利用车厢内部空间乘客站位规律和车厢人流相似区域泊松分布特点，实现了车厢客流在监测盲区的补偿估计，弥补了监控摄像在盲区、遮挡场景下以及远端检测能力不足的缺点，使软件在获取局部区域监控视频数据的基础上自动实现整节车厢的客流推导，适应我国车厢监控局部覆盖的现实条件，最大程度利用现有设备资源，具有极强的工业应用价值。

下面以南京轨道交通3号线车厢中测试为例，进行说明。

首先进行数据源采集，采集的数据源如表1所示。

将表中所示的多种数据源打包成数据集，将充分训练后的模型应用于车厢客流估计。为适应工程应用环境，依据空间网格平均客流密度划分出平、高峰时段，将模型分别应用于高峰、平峰时段的车厢客流估计。本项目的算法训练在rtx2060i计算平台上完成，编程的软件库使用了tensorflow和pytorch。借助了c#语言和visualstudio环境下的快速界面开发能力，使用脚本触发基于tensorflow和pytorch异构机器视觉目标检测模型，避免了不同开发语言的相互嵌入，简化开发难度，使目标检测模型与界面程序在设计时相互独立，便于维护与扩展,在运行时无缝结合。

对于传输到主机的车厢监控视频，软件将对其进行截帧处理，本实施例调用python-opencv机器视觉库截取视频帧，能指定截帧频次，本软件将监控视频每秒截取10帧，在保证样本动态实时性的同时，尽量减少取样样本数量，减轻软件运行负担。

采用训练后的模型对截帧转化后的图片进行检测，单张图片平均检测速度为0.8秒，由于区间运行时间有2-3min，检测效率也可以满足应用要求。估计结果显示，在平峰阶段，视觉检测的准确率较高，客流估计的准确度也较大；在高峰阶段，视觉的检测存在一定的偏差，结果的准确性依赖于摄像视频的清晰度、角度和多视频的融合。

本发明将基于计算机视觉的智能视频处理分析方法以及与之相关的应用系统运用到轨道交通区间客流统计中去，充分利用地铁系统普遍安装的中央闭路监控系统，获取客流监控视频图像。视频图像能直观真实的反应客观世界。地铁监控视频中包含着客流大小、密度、流向等丰富信息。利用本方法对其进行分析处理，能够实时获取客流特征信息，有利于进行区间客流分析以及合理的客流诱导与组织工作，尤其可以实现对客流诱导和疏散所采取的各种组织手段和应急处置措施的效果进行实时跟踪与反馈，以利于根据事态的发展对处置措施进行科学合理的动态调整，这对于客流组织，尤其是突发事件下的动态应急管理具有极其重要的现实意义。

同时对于城市轨道交通来说，实现智能视频监控成本较低，避免了重复投资建设，节约了成本。目前，在各个地铁车站，均已经安装部署了中央闭路电视监控系统，已经实现了实时和多视角获取车站中各场景中的人员流动情况，只需借助现有的视频监控设备和硬件；利用地铁系统己有的数据传输、存储和显示系统实现监控和分析，避免了重复投资建设，节约了成本。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。