一种基于ToF相机的公交车客流量统计系统的制作方法

本发明涉及一种公交车客流量统计系统，具体地涉及一种基于ToF相机的公交车客流量统计系统。

背景技术：

作为公共交通工具的所有者和管理者需要实时、清楚、准确的乘客交通统计数据作为车辆调度、运营管理、线路规划的依据，因此必须要有相应的客流统计与运营分析系统的软硬件设备提供支持。公交车客流量统计系统是用在公共交通工具中自动、智能准确地采集上车下车客流量、每个站点客流量信息进行时段统计管理及车辆运营分析的信息检测、管理系统。

近几年的公交车客流量统计系统主要均采用非接触的方式，其对应的主流传感器大体分为单目摄像头，双目摄像头，红外光幕传感器等这三类。在已有的相关专利中，申请号为201210413969.2的发明专利中描述了一种基于单目的摄像头智能化视频客流分析方法及系统，其原理是基于机器视觉理论，首先对监控视频的人体目标初步检测并跟踪目标，最后判断客流轨迹得到客流数据；申请号为201310363318.1的发明专利描述了一种基于双目摄像头的视频分析方法，其原理是获取摄像头采集的两张原始二维图，利用深度图算法对两张原始二维图进行重建及背景过滤，获得3D深度图，然后利用图像分割算法得到目标位置，并跟踪目标，最后判断客流轨迹得到客流数据；申请号为201320379173.X的专利中描述了一种基于红外光幕传感器的客流统计分析及系统，原理是利用红外发射模块将红外光发射出去，同时红外接收模块来接收自身发射出去的红外光，于此同时，如果人体目标经过该区域，其辐射出来的红外线会导致人体热释电红外探头检测到微弱的信号变化，经信号处理电路后传送给客流微控制器，并判断单人或者双人通过，最终得到客流数据。

上述市面的三种公交车客流量统计系统存在以下不足：基于单目摄像头的公交车客流量统计系统虽然得到大规模的应用，但是易受环境、光照等的影响，它的客流量统计精度很大程度上依赖于视频图像分析算法和图像质量的优劣。基于双目摄像头的公交客流量统计系统利用立体匹配算法将二维图像转换成3D图像，但是软件算法实现复杂且3D图像信息不精准。基于红外光幕传感器的公交客流统计系统不易受环境因素的影响，但高密度客流和客流方向仍是技术难题。为了解决以上存在的问题，本发明因此而来。

技术实现要素：

针对上述不足和技术难点，本发明提供一种基于ToF相机的公交车客流统计系统，旨在解决公交车客流数据统计的精确度受室外环境、高密度客流、图像质量等因素影响的问题，提高系统的精确性、鲁棒性和可靠性，并增加数据无线传送、车辆实时定位、数据分析及后台管理等功能。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于ToF相机的公交车客流量统计系统，包括图像采集装置、图像处理装置、定位装置、数据传输装置和远程数据管理装置，所述图像采集装置设置在公交车辆前门和后门处，所述图像采集模块包括2D图像采集模块、近红外测距模块和3D图像合成模块，用于实时获取上下公交车辆的乘客二维图像和距离图像，并将乘客二维图像和距离图像转换成3D图像，并将3D图像传输给图像处理装置；所述定位装置用于获取公交车辆的实时位置信息，并将实时位置信息发送给数据传输装置；所述图像处理装置利用图像分割算法将3D图像中存在的潜在人体目标进行初步筛选定位，然后利用机器学习算法将潜在的人体目标进行精确分类定位，使用多特征融合的目标跟踪算法对定位的人体目标进行预测跟踪，最终形成人体目标的运动轨迹并统计人体目标的上下车人数，将公交车辆实时客流量数据和公交车辆实时位置信息通过数据传输装置传输给远程数据管理装置；所述远程数据管理装置用于接收公交车辆发送的公交车辆实时客流量数据，按不同需求生成统计信息。

优选的，所述远程数据管理装置将公交车上的实时位置信息、实时客流数据以及有效的客流视频发送到网络平台，所述网络平台用于公共交通的运营理念分析、客流规划以及调度。

优选的，所述图像处理装置为TFC模块，数据传输装置为4G模块，TFC模块的输出端与数据传输装置的输入端连接。

优选的，所述定位装置为GPS/北斗双模定位芯片，其输出端与数据传输装置的输入端连接。

优选的，所述图像处理装置包括机器学习融合图像分割算法的人体目标检测模块、人体目标跟踪模块、人体运动轨迹判断决策模块和视频存储模块，所述人体目标检测模块，利用图像分割算法将3D图像中存在的潜在人体目标进行初步筛选定位，然后利用机器学习算法将潜在的人体目标进行精确分类定位，所述人体目标跟踪模块，实现干扰条件下的多目标同步跟踪，所述人体运动轨迹判断决策模块，记录每个人体目标在检测区域从进入到离开的所有运动轨迹，然后利用轨迹决策模型判断是上车人数或者下车人数，得出最终的计数结果，所述视频存储模块，用于当车门打开之后，同步开启录像功能，当车门关闭后，将有效视频进行存储。

本发明又公开了一种基于ToF相机的公交车客流量获取方法，包括以下步骤：

(1)采集进出公交车辆的乘客二维图像和距离图像，并将乘客二维图像和距离图像转换成3D图像；

(2)利用图像分割算法将3D图像中存在的潜在人体目标进行初步筛选定位，然后利用机器学习算法将潜在的人体目标进行精确分类定位；

(3)使用多特征融合的目标跟踪算法对定位的人体目标进行预测跟踪，最终形成人体目标的运动轨迹并统计人体目标的上下车人数，获取预定时间内进出公共车辆的公共交通客流量。

优选的，所述步骤(1)包括，对距离图像信息进行预处理，使用图像滤波算法将获取的距离图像信息进行噪声过滤，然后将2D图像信息和距离图像信息通过投影转化合成3D图像。

优选的，所述目标跟踪算法包括预测模块、目标跟踪模块和目标更新模块，预测模块利用人体目标的运动参数和特定规则预测下一帧中运动目标可能出现的区域；目标跟踪模块，针对相邻帧间运动目标的变化，利用特征值计算代价函数值，求出当前帧中运动目标在下一帧中的对应的后续目标，建立对应关系；目标更新模块，用于更新已被跟踪运动目标的目标链、目标位置信息和目标特征量。

优选的，记录每个人体目标在检测区域从进入到离开的所有运动轨迹，然后利用轨迹决策模型判断是上车人数或者下车人数，得出最终的计数结果。

相对于现有技术中的方案，本发明的优点是：

1.本发明中的系统通过基于ToF相机的CMOS模块来获取公交车的乘客上下车的2D图像流和4个近红外光测距模块来获取距离图像信息，通过投影转换等核心算法将两者合成3D图像。与彩色图像相比，3D图像能直接反映物体表面的三维特征，且不受光照、阴影和色度等因素的影响。

2.本发明的核心算法解决在复杂背景、室外光线变化、人群簇拥等条件下的能够高精度的乘客人数统计，主要涉及到利用图像分割的算法对合成的3D图像进行初步分割并定位潜在的目标，然后利用机器学习算法再次分类定位人体目标，接着使用多特征融合的目标跟踪算法对定位的人体目标进行预测跟踪，最终形成人体目标的运动轨迹并统计人体目标的上下车人数。

3.本发明的客流量统计系统的远程管理装置将公交车上的实时位置信息，实时的客流数据以及有效的客流视频发送到网络平台上面，这样为公共交通的运营分析理念、客流规划、调度、管理技术提供切实可行的解决方案。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于距离图像传感器的客流量统计系统的原理框图；

图2为本发明基于距离图像传感器的客流量统计系统的图像采集装置的原理框图；

图3为本发明基于ToF相机的公交车客流量统计系统的图像处理装置的原理框图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

如图1所示，基于ToF相机的公交车客流量统计系统，包括图像采集装置、图像处理装置、定位装置、数据传输装置和远程数据管理装置。

图像采集装置为ToF相机，将ToF相机安装在每辆公交车前后门处的正上方且接入车辆上面的开关门信号，同时将位置定位和4G数据通讯装置安装在主机箱子里面，并接入车内取ACC信号线，电源线正负极。然后调整相机角度，保证相机镜头垂直于地面。

ToF相机的作用是将整个场景转换成深度图像信息，其光源给目标连续发送光脉冲，然后利用传感器接收从物体返回的光，然后信号电路的解调得到返回光的相位。利用下面提到的公式1和公式2，计算得到目标物的距离。

ToF相机中测距的基本公式是：

其中，Ψ为返回信号的相位，n是信号飞行途中一共经历的波长个数。信号波长λ与调制频率f有关，c为光速，公式为

值得注意的是图像颜色定义为黑色代表无穷远，白色代表无穷近，数值分别是从0到255之间的数据表示，于此同时黑色和白色的灰度值对应于物体到距离图像传感器的相对距离，不同的数值代表这个点到相机的相对距离。通过物理空间的世界真实坐标，换算得到每个点到相机的物理距离。

通过ToF相机的CMOS模块来获取公交车的乘客上下车的2D图像流和4个近红外光测距模块来获取距离图像信息，通过投影转换等核心算法将两者合成3D图像，并将3D图像传输给图像处理装置；图像处理装置利用图像分割算法将3D图像中存在的潜在人体目标进行初步筛选定位，然后利用机器学习算法将潜在的人体目标进行精确分类定位，使用多特征融合的目标跟踪算法对定位的人体目标进行预测跟踪，最终形成人体目标的运动轨迹并统计人体目标的上下车人数，将公交车辆实时客流量数据和公交车辆实时位置信息通过数据传输装置传输给远程数据管理装置。

如图2所示，图像采集装置包括2D图像采集模块、近红外测距模块和3D图像合成模块。2D图像采集模块用于利用CMOS模块采集乘客的二维图像；近红外测距模块用于通过4个近红外光的飞行时间来获取被测物体的距离图像信息；3D图像合成模块，首先对距离图像信息进行预处理，使用图像滤波的算法将获取的距离图像信息进行噪声过滤，然后利用已知的2D图像信息和距离图像信息经过投影转化等公式合成3D图像。

如图3所示，图像处理装置主要包括机器学习融合图像分割算法的人体目标检测模块、人体目标跟踪模块、人体运动轨迹判断决策模块、视频存储模块。其中，机器学习融合图像分割算法的人体目标检测模块是用于解决在公交车室外光线变化、人群簇拥状态、有干扰源(如帽子、背包、行李等)存在等复杂背景下人体目标的检测定位问题，机器学习融合图像分割算法的步骤如下：

(a)先利用设置阈值高度的参数(Z坐标的参数)，然后将合成3D图像中的高于阈值高度的位置信息(X,Y)中对应的像素灰度信息进行保留，然后使用8方向的区域生长算法将相似性质的像素集合起来构成区域，并使用聚类算法将目标区域的位置信息进行初步筛选定位；

(b)先将初步筛选定位到的区域进行放大，然后将利用多特征融合训练的人体目标检测算法模型对这些区域进行深度扫描匹配，最终定位到精确的人体目标位置信息。

人体目标跟踪模块，实现目标运动规律复杂、多个目标距离随机变化等干扰条件下的多目标同步跟踪算法，并解决多目标随机运动下重复计数的问题。跟踪算法结构分为三大模块：预测模块、目标跟踪模块和目标更新模块。其中，预测模块主要利用目标的运动参数和针对本系统的特定规则预测、下一帧中运动目标可能出现的区域；目标跟踪模块则针对相邻帧间运动目标的变化，利用特征值计算代价函数值，求出当前帧中运动目标在下一帧中的对应过后续目标，建立对应关系；目标更新模块主要用于更新已被跟踪运动目标的目标链、目标位置信息和目标特征量；最后人体运动轨迹判断决策模块将记录每个目标在检测区域从进入到离开的所有运动轨迹，然后轨迹决策模型判断是上车人数或者下车人数，从而得出最终的计数结果；视频存储模块是当车门打开之后，同步开启录像功能，当开车关闭后，将这段有效视频存储到本地的SD卡。

远程数据管理装置可以是WEB网络服务器和数据管理服务器。远程数据管理装置负责接收公交车辆发送的公交车辆实时的客流量数据信息、有效的视频信息和公交车辆实时位置信息并进行分析，按不同要求生成统计信息和报表，为公交车系统的规划、车辆调度和运营管理提供依据。将公交车上的实时位置信息、实时的客流数据以及有效的客流视频发送到网络平台上面，网络平台可以为公共交通的运营分析理念、客流规划、调度、管理技术提供切实可行的解决方案。

定位装置选自GPS/北斗双模定位芯片，其输出端与图像处理装置的输入端连接。

数据传输装置为4G模块，选自电信七模全网通芯片，电信七模全网通芯片通过网络公交车辆实时的客流量数据，有效的视频信息和公交车辆实时位置信息传送至远程数据管理平台。

同时，给出本发明基于ToF相机的客流量统计系统的工作流程

当启动公交车的钥匙信号后，客流量统计系统开始工作，ToF相机经过图像采集以及处理，计算得到公交车的实时客流数据和存储有效的客流视频；

可以通过位置定位装置的GPS/北斗双模实时得到车辆的动态位置信息；

主机将图像采集和处理集成装置发过来的公交车实时客流数据和存储有效的客流和车辆的动态位置信息一起打包成数据包；

4G数据传输模块将公交车辆实时的客流量数据信息、有效的客流视频和实时的位置信息通过电信4G模块传送至远程管理中心进行存储和分析，为车辆调度和管理提供依据。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。