客车乘客数量统计方法、装置及计算机可读存储介质与流程

本发明涉及客车乘客数量统计技术领域，特别涉及一种基于可见光视频的客车乘客数量统计方法、装置及计算机可读存储介质。

背景技术：

随着科学技术和社会经济的不断发展，人们的生活水平日益提高，对环境的保护意识也越来越强烈，公共交通以其智能化，人性化，环保化成为了大多数人的选择，尤其是客车，使人们的出行更加的方便、快捷。但是伴随着与日俱增的城市人口，客车的交通压力也越来越大，客车超员安全隐患大，一旦发生事故，往往是群死群伤，后果相当严重。每当“学生流”、“返程流”、“务工流”来临时，道路交通压力加剧，个别客运车驾驶员为了牟利，铤而走险，超员行驶，带来了严重的交通安全隐患。现有的较为成熟的客车载客人数统计方法，大多采用公交ic卡刷卡的数量进行计算。然而，公交卡刷卡有漏刷的情况发生，因而统计不准确，容易造成客车超员，安全隐患大。

技术实现要素：

本发明解决的技术问题是，提供一种统计准确的客车乘客数量统计方法。

为实现上述目的，本发明提供了一种客车乘客数量统计方法，其包括：

获取客车车门区域的基于可见光的视频图像；

判断所述视频图像中是否存在行人；

若所述视频图像中存在行人，则对行人进行跟踪；

根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；

根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。

优选地，所述客车乘客数量统计方法还包括：

判断客车是否已出车站；

如果客车已出车站，则判断已上车的乘客数量是否大于预设值；

若乘客数量大于预设值，则向司乘人员发出乘客超员信息；

若在向司乘人员发出乘客超员信息后的预设时间后，若所述乘客数量仍大于预设值，则向远程控制终端发送客车信息和超员信息，以告知客管人员。

优选地，所述客车乘客数量统计方法还包括：

判断客车是否到达终点站；

当判断客车到达终点站时，判断车上是否还载有乘客；

若判断车上仍载有乘客，提醒司乘人员客车上仍有乘客。

优选地，所述客车乘客数量统计方法还包括：

将所述视频图像显示在移动终端上；

获取用户在所述移动终端上输入的第二界线；

将所述第一界限替换成所述第二界线；

根据行人的行进方向以及是否越过所述第二界线，判断行人是上车还是下车。

优选地，所述客车乘客数量统计方法还包括：

根据所述视频图像，判断所述行人与所述第二界线的距离是否小于预设值；

当所述行人与所述第二界线的距离小于预设值并持续预设时间时，则发出风险提示信息。

优选地，所述获取用户在所述移动终端上输入的第二界线具体包括：

获取用户通过手指在所述移动终端的所述视频图像上图画形成的第二界线。

优选地，所述检测是否存在行人是通过卷积神经网络算法对所述视频图像处理实现。

优选地，所述卷积神经网络算法包括如下步骤：

通过第一卷积神经网络对所述视频图像处理快速产生候选窗体；

通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体，其中，所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数；

通过第三卷积神经网络精炼所述候选窗体，同时显示预设数量的面部特征点位置，其中，所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数。

本发明另一方面还提供一种客车乘客数量统计装置，包括：

图像采集模块，用于获取客车车门区域的基于可见光的视频图像；

第一判断模块，用于判断所述视频图像中是否存在行人；

跟踪模块，用于若所述视频图像中存在行人，则对行人进行跟踪；

第二判断模块，用于根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；

统计模块，用于根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。

本发明另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一所述的客车乘客数量统计方法的各个步骤。

本发明的客车乘客数量统计方法、装置及计算机可读存储介质具有如下有益效果：由于所述方法包括，获取客车车门区域的基于可见光的视频图像；判断所述视频图像中是否存在行人；若所述视频图像中存在行人，则对行人进行跟踪；根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。也就是说，通过行人的行进方向以及是否越过预设的第一界线来判断行人是上车还是下车，因而，统计准确，无需乘客进行任何操作，使用方便。

附图说明

图1为本发明客车乘客数量统计方法优选实施例的流程图；

图2为本发明客车乘客数量统计方法的卷积神经网络算法流程图；

图3为本发明客车乘客数量统计装置的原理框图。

具体实施方式

下面结合附图和实施例对发明进行详细说明。需要说明的是，如果不冲突，发明实施例以及实施例中的各个特征可以相互结合，均在发明的保护范围之内。

实施例1

请参阅图1及图2，本发明提供了一种客车乘客数量统计方法，其包括如下步骤：

s100、获取客车车门区域的基于可见光的视频图像；

通过ccd摄像头等基于可见光的摄像装置对客车车门区域进行拍摄，为了画面更全，提高检测的准确率，所述摄像装置的数量至少为两个，分别设置在客车的前门和后门上。可以理解的是，所述摄像装置的放置位置在此不做具体限定，其只要能够对客车车门区域进行拍摄即可。具体地，所述摄像装置对准客车车门区域的人行通道。

s200、判断所述视频图像中是否存在行人；

所述行人是指摄像装置拍摄区域中的行人。可根据拍摄到的视频图像与预设图像对比，以判断所述视频图像中是否存在行人。较佳地，采用基于深度学习的人体骨骼检测方法来判断视频图像中是否有行人，并根据检测到的行人的部位或者比例来判断行人的状态，因而可提高判断的准确率。

本实施例的深度学习网络采用视角几何预训练网络(vggpre-trainnetwork)作为骨架，有两个分支分别回归l(p)和s(p)。每一个阶段(stage)算一次损耗(loss)，之后把l和s以及原始输入数据，继续下一个阶段的训练。随着迭代次数的增加，s能够一定程度上区分结构的左右。损耗(loss)用的l2范数，s和l的参考标准(ground-truth)需要从标注的关键点生成，如果某个关键点在标注中有缺失则不计算该点。

对于s，每一类关键点有一个通道(channel)，生成参考标准(ground-truth)的时候是按照多个高斯分布取最大值(max)的方法来保留各个点的响应峰值。对于l则复杂一点，先看准确定义，对于第k个person的第c个肢干上的pafs(partaffinityfields)：

xj,k表示第k个person第j个关键点的位置。而像素点p是否落在limb(肢干)则设了一个阈值范围：

其中lc,k和σl分别表示limb长度和宽度。最后也会对所有person相同类别肢干进行平均，使得l的输出的通道(channel)与肢干种数相等：

知道pafs(partaffinityfields)和关键点位置dj之后，需要评估这俩关键点的相关性。然后这两个关键点连线上各像素点paf向量与连线向量的点积的积分：

在得到关键节点以及边权之后，计算姿态骨架已经完全转化成了一个图问题。然后，利用匈牙利算法对相邻节点进行了最优匹配(比如一堆左手腕节点和一堆左手肘节点，利用小臂的paf计算边权，再进行最优匹配)，最后获得整个的人形姿态骨架。本实施例根据检测到的行人的部位或比例来判断行人，具有检测速度快，效率高及准确率高的优点。

s300、若所述视频图像中存在行人，则对行人进行跟踪；

也就是说，若所述视频图像中存在行人，则根据行人的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到行人的图像，因而既降低了视频传输中数据量又保证了行人信息的准确性和有效性。

s400、根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；

在本实施例中，所述第一界线为车门下方的台阶的边缘处，因而判断较准确。可以理解的是，在一种实施例中，可以在车门下方的某个区域进行画线，以将该线作为所述第一界线。因此，所述第一界限的位置可根据需要进行设置，在此不做具体限定。更具体地，在本实施例中，在车辆的前门和后门均设置有所述第一界线，当行人的行进方向为进入客车内并越过所述第一间隙时，则判为行人是上车。反之，当行人的行进方向为朝远离客车并越过所述第一间隙时，则判为行人是下车。

s500、根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。

当每个行人上车时，客车内的乘客人数加一。当每个行人下车时，客车内的乘客人数减一，从而可对乘客人数进行统计。在本实施例中，所述摄像装置将摄录到的图像发送到客车内的处理器进行识别，并进行统计，所述统计结果在客车内的显示模块上显示出来。因而，便于司乘人员及时的了解客车内的乘客数量。

在本发明优选的实施方式中，所述客车乘客数量统计方法还包括：

判断客车是否已出车站；

通过gps系统或者北斗导航系统对客车进行定位，当客车驶出预设的车站范围时，则判断客车已出车站。

如果客车已出车站，则判断已上车的乘客数量是否大于预设值；

若乘客数量大于预设值，则向司乘人员发出乘客超员信息；

其中，所述乘客超员信息可发送到所述显示模块上或者司乘人员的移动终端上。可以理解的是，所述乘客超员信息可以是语音信息等，在此不做具体限定。

若在向司乘人员发出乘客超员信息后的预设时间后，若所述乘客数量仍大于预设值，则向远程控制终端发送客车信息和超员信息，以告知客管人员。

通过本发明的上述步骤，便可实时地监控客车内的乘客人数是否超员，便于管理司乘人员，提高客管人员的管理效率，降低管理成本。其中，所述司乘人员是指司机或/和售票员。所述客管人员是指车站的管理人员。

在本发明优选的实施方式中，所述客车乘客数量统计方法还包括：

判断客车是否到达终点站；

当判断客车到达终点站时，判断车上是否还载有乘客；

若判断车上仍载有乘客，提醒司乘人员客车上仍有乘客。

通过本发明的上述步骤，可避免乘客因睡着等原因滞留在客车内，以致导致安全隐患的问题。

在本发明优选的实施方式中，所述客车乘客数量统计方法还包括：

将所述视频图像显示在移动终端上；

获取用户在所述移动终端上输入的第二界线；

将所述第一界限替换成所述第二界线；

根据行人的行进方向以及是否越过所述第二界线，判断行人是上车还是下车。

通过本发明的上述步骤，可便于将本发明应用到多种客车上，例如，对没有台阶的客车或台阶损坏的客车，或者在客车使用过程中台阶突然损坏等，可通过任意设定界限，因而灵活性高，从而提高统计的准确性。

在本发明优选的实施方式中，所述客车乘客数量统计方法还包括：

根据所述视频图像，判断所述行人与所述第二界线的距离是否小于预设值；

当所述行人与所述第二界线的距离小于预设值并持续预设时间时，则发出风险提示信息。

通过本发明的上述步骤，可避免乘客在车门处停留，提高了乘客的安全性。较佳地，当所述行人与所述第二界线的距离小于预设值并持续预设时间时，以语音的形式在车门口处发出风险提示信息。例如，所述风险提示信息可以为“接近或依靠车门危险，请往车内走”。

在本发明优选的实施方式中，所述获取用户在所述移动终端上输入的第二界线具体包括：获取用户通过手指在所述移动终端的所述视频图像上图画形成的第二界线。因而较便于用户设置，其中，所述移动终端可以是手机、平板电脑等，在此不做具体限定。

在本发明优选的实施方式中，所述检测是否存在行人是通过卷积神经网络算法对所述视频图像处理实现。通过卷积神经网络算法对所述视频图像处理，因而较好地避免由于姿势、光照或遮挡等原因导致识别准确性差的问题。

在本发明优选的实施方式中，所述卷积神经网络算法包括如下步骤：

s101、通过第一卷积神经网络对所述视频图像处理快速产生候选窗体；

在本发明优选的实施方式中，所述通过第一卷积神经网络快速产生候选窗体包括：采用全卷积神经网络对所述视频图像处理，以获得候选窗体和边界回归向量，同时，候选窗体根据边界框进行校准，然后利用非极大值抑制法去除重叠窗体。

s102、通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体，其中，所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数；

在本发明优选的实施方式中，所述通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体包括：将包含所述候选窗体的图片在第三卷积神经网络精炼，该网络选用全连接的方式进行训练，利用边界框向量微调候选窗体，再利用非极大值抑制法去除重叠窗体。

s103、通过第三卷积神经网络精炼所述候选窗体，同时显示预设数量的面部特征点位置，其中，所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数。

具体地，在本实施例中，原始待检测图像经过改变大小后，生成不同尺寸的图像，并构建图像金字塔作为网络的输入。构建的图像金字塔，其层数由两个因素决定，第一个是设置的最小人脸minsize，第二个是缩放因子factor，最小人脸表示min(w,h)，在本实施例中，最小人脸不能小于12，缩放因子为0.709，可以根据公式计算图像金字塔的层数：

minl＝org_l*(12/minsize)*factor^(n)，n＝{0,1,2,3,...,n}；

其中n就是金字塔的层数，org_l是输入原始图像的最小边min(w,h)，minisize是人为根据应用场景设定，在保证minl大于12的情况下，所有的n就构成金字塔的层。所以minsize的值越小，n的取值范围就越大，计算量就相应地增加，能够检测到的人脸越小。

第一阶段通过浅层的卷积神经网络快速生成候选窗口，该网络全部由卷积层实现，获取到候选人脸窗和人脸窗的回归向量，基于人脸窗的回归向量对人脸窗进行校正，然后对所有人脸窗进行非极大值抑制(nms)，合并高度重叠的人脸窗。其具体过程就是通过图像金字塔生成的各种尺寸大小的图片，每一张图都进行一次前向传播，在每个图上得到的结果之后利用设置的阈值去掉一部分，剩下的根据缩放尺度还原到原图上的坐标，将所有的坐标信息汇总，然后进行非极大值抑制去除一部分冗余。

第二阶段再通过一个更复杂的卷积神经网络来处理第一阶段中被误认为人脸的“人脸窗”从而精细化人脸窗，第一阶段的输出作为第二阶段的输入，第一阶段最后产生了大量的边界框，将这些边界框根据缩放因子回推到原图上之后，将他们全部修改尺寸到24x24大小，作为第二阶段的输入。第二阶段经过网络之后同样产生大量的边界框，同样的根据阈值去掉一部分，再利用非极大值抑制法去掉一部分。

最后使用第二阶段中最后留下来的边界框，还原到原来的图片上之后，全部修改尺寸到48x48大小，然后输入到第三阶段，通过第三阶段的卷积神经网络进一步精细化结果并输出人脸上的5个特征点。即通过三阶的级联卷积神经网络对任务进行从粗到细的处理，最终输出人脸框位置和五个特征点位置，其利用检测和校准之间固有的相关性在深度级联的多任务框架下来提升它们的性能，具有精度高和实时性良好的优点。本发明通过对人体的骨骼和人脸进行识别，以获取人体目标，因而可提高识别的准确率。

在本发明优选的实施方式中，所述客车乘客数量统计方法还包括如下步骤：

判断所述客车是否处于静止状态；

当所述客车处于静止状态时，实时获取所述客车的胎压信息；

根据所述胎压信息的变化及对行人进行跟踪，判断行人的行方向。

也就是说，当胎压变大时，则判为行人上车，反之，当胎压变小时，则判为行人下车。本发明通过胎压信息的变化与对行人进行跟踪判断行人的行进方向，因而可提高统计的准确率。

本发明为防止误判，对检测的疑似人的目标，采用红外传感器测量人体温度，以便去掉玩具人，从而获得准确的乘客数量。

由上可知，本发明的客车乘客数量统计方法具有如下有益效果：由于所述方法包括，获取客车车门区域的基于可见光的视频图像；判断所述视频图像中是否存在行人；若所述视频图像中存在行人，则对行人进行跟踪；根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。也就是说，通过行人的行进方向以及是否越过预设的第一界线来判断行人是上车还是下车，因而，统计准确，无需乘客进行任何操作，使用方便。

实施例2

请参阅图3，本发明还提供一种客车乘客数量统计装置，包括：

图像采集模块1，用于获取客车车门区域的基于可见光的视频图像；

第一判断模块2，用于判断所述视频图像中是否存在行人；

跟踪模块3，用于若所述视频图像中存在行人，则对行人进行跟踪；

第二判断模块4，用于根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；

统计模块5，用于根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。

由于所述客车乘客数量统计装置的检测方法包括，获取客车车门区域的基于可见光的视频图像；判断所述视频图像中是否存在行人；若所述视频图像中存在行人，则对行人进行跟踪；根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。也就是说，通过行人的行进方向以及是否越过预设的第一界线来判断行人是上车还是下车，因而，统计准确，无需乘客进行任何操作，使用方便。

实施例3

本发明另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

获取客车车门区域的基于可见光的视频图像；

判断所述视频图像中是否存在行人；

若所述视频图像中存在行人，则对行人进行跟踪；

根据行人的行进方向以及是否越过预设的第一界线，判断行人是上车还是下车；

根据对所述行人是上车还是下车的判断结果，对乘客人数进行统计。

在一种优选的实施方式中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

判断客车是否已出车站；

如果客车已出车站，则判断已上车的乘客数量是否大于预设值；

若乘客数量大于预设值，则向司乘人员发出乘客超员信息；

若在向司乘人员发出乘客超员信息后的预设时间后，若所述乘客数量仍大于预设值，则向远程控制终端发送客车信息和超员信息，以告知客管人员。

在一种优选的实施方式中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

将所述视频图像显示在移动终端上；

获取用户在所述移动终端上输入的第二界线；

将所述第一界限替换成所述第二界线；

根据行人的行进方向以及是否越过所述第二界线，判断行人是上车还是下车。

在一种优选的实施方式中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

根据所述视频图像，判断所述行人与所述第二界线的距离是否小于预设值；

当所述行人与所述第二界线的距离小于预设值并持续预设时间时，则发出风险提示信息。

在一种优选的实施方式中，所述获取用户在所述移动终端上输入的第二界线区步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

获取用户通过手指在所述移动终端的所述视频图像上图画形成的第二界线。

在一种优选的实施方式中，所述检测是否存在行人的步骤中是通过卷积神经网络算法对所述视频图像处理实现。

在一种优选的实施方式中，所述卷积神经网络算法步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

通过第一卷积神经网络对所述视频图像处理快速产生候选窗体；

通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体，其中，所述第二预卷积层大于所述第一预设卷积层；

通过第三卷积神经网络精炼所述候选窗体，同时显示预设数量的面部特征点位置，其中，所述第三预设卷积层大于所述第二预设卷积层。

在一种优选的实施方式中，所述通过第一卷积神经网络快速产生候选窗体步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：采用全卷积神经网络对所述视频图像处理，以获得候选窗体和边界回归向量，同时，候选窗体根据边界框进行校准，然后利用非极大值抑制法去除重叠窗体。

在一种优选的实施方式中，所述通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：将包含所述候选窗体的图片在第三卷积神经网络精炼，该网络选用全连接的方式进行训练，利用边界框向量微调候选窗体，再利用非极大值抑制法去除重叠窗体。

以上对发明所提供的客车乘客数量统计方法、装置及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容仅为发明的实施方式，并非因此限制发明的专利范围，凡是利用发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在发明的专利保护范围内，不应理解为对发明的限制。