基于无人机视频的室外人流信息提取方法

本发明涉及一种室外人流信息提取方法，具体涉及一种基于无人机视频的室外人流信息提取方法。

背景技术：

1、目前，无人机(unmanned aerial vehicle，uav)已经在军事、航拍等多个领域成功应用，而且具有拍摄性能持续提高、续航能力不断提升的优势。

2、由于固定摄像头等传统监控设备的局限性，无人机在对室外人员识别和人流流信息采集方面具有很高的应用价值。相比于传统的人流监测方法，uav视频监测方法具有很多优势。传统的人流监测设备，例如地面摄像头、红外探头、无线探头等，通常设置在固定的地点、监测固定的局部范围，使得大范围的室外人流监测需要大规模部署该类传统监测设备，并且传统监测设备的维护在便捷性方面也远远不如uav。然而单台uav能够通过巡航或高空悬停的方式监测较大的室外区域，监测范围大幅超过传统人流监测方法，且易于维护，维护期间不占用道路空间。此外，uav监测摄像头为俯视角，不存在遮挡、重叠等问题，相应的目标识别、像素距离与真实距离换算等算法应用也具有更好的效果。

3、但是uav处于飞行状态时，其运动过程因大风、避障、振动等因素，存在不确定的漂移现象，这导致了uav视频的背景(除人员以外的其他图像区域)是不断移动的，且轨迹存在抖动。此外，uav视频在录制过程中，由于uav飞行高度和姿态的变化，检测目标存在尺度变换和平面旋转，导致对检测目标难以精确识别。所以现有的技术还未能实现uav在不确定性移动过程中的人员目标的精确识别、不同方向人流识别及密度和速度等参数提取。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种基于无人机视频的室外人流信息提取方法。

2、本发明提供了一种基于无人机视频的室外人流信息提取方法，用于根据无人机拍摄的室外人流监测视频得到室外人流的人流量、人流平均速度和人流密度，具有这样的特征，包括以下步骤：步骤s1，根据室外人流监测视频的帧率，对室外人流监测视频按照相同时间间隔抽帧，得到多个图像帧；步骤s2，将图像帧输入卷积网络算法模型，通过边界框对图像帧进行人员和背景的分离，将各个人员置于边界框内，将背景置于边界框外；步骤s3，基于shi-tomasi特征，标记图像帧的兴趣点，将边界框内的兴趣点作为人员兴趣点，将边界框外的兴趣点作为背景兴趣点；步骤s4，根据klt光流算法追踪当前图像帧ft中的兴趣点和下一相邻时刻的图像帧ft+1中的对应的兴趣点，计算得到该兴趣点的运动矢量，根据当前图像帧ft中的所有兴趣点的运动矢量，计算得到当前图像帧ft中各个人员的人员运动矢量和背景的背景运动矢量；步骤s5，将当前图像帧ft的所有人员运动矢量放入笛卡尔直角坐标系，计算得到各个人员运动矢量的运动参数lk和θk作为该人员运动矢量的人员运动参数；步骤s6，将当前图像帧ft的所有人员运动参数放入2维位移空间，通过聚类算法对所有人员运动参数进行分簇，各个簇代表当前图像帧ft中不同的人流方向；步骤s7，根据当前图像帧ft的转换率rt、人员运动矢量和背景运动矢量，计算得到当前图像帧ft中的人员和背景在真实世界的移动速度；步骤s8，根据当前图像帧ft的边界框的数量、人员在真实世界的移动速度和转换率rt，计算得到当前图像帧ft的各个人流方向的人流量、人流平均速度和人流密度，其中，转换率rt根据当前图像帧ft中的标志性参考物的像素尺寸lp和对应的真实世界尺寸la得到；或者根据当前图像帧ft的无人机高度ht、上一相邻时刻的图像帧ft-1的无人机高度ht-1和图像帧ft-1的转换率rt-1得到；或者根据当前图像帧ft中所有边界框的平均长度ωt、图像帧ft-1中所有边界框的平均长度ωt-1和图像帧ft-1的转换率rt-1得到。

3、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤s2中，卷积网络算法模型为fast r-cnn或maskr-cnn或haar级联+自定义卷积网络算法模型或yolov5卷积网络算法模型或ssd卷积网络算法模型。

4、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，当卷积网络算法模型为fastr-cnn时，步骤s2包括以下子步骤：步骤s2-1，根据fastr-cnn的rpn模块，生成图像帧的多个候选区域和对应的分类分数；步骤s2-2，通过非最大抑制算法合并具有像素较多交集的候选区域；步骤s2-3，对合并后的所有候选区域，按照分类分数从高到低进行排序，保留前n个候选区域作为关注区域；步骤s2-4，将关注区域输入fastr-cnn的roi池化层，经由softmax层和边界框回归层共同输出，得到各个边界框的位置和大小，在图像帧中标记各个边界框。

5、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，步骤s3包括以下子步骤：步骤s3-1，将尺寸为(2ωx+1)×(2ωy+1)的检测窗口ω在图像帧的整个图像i滑动，计算检测窗口ω中像素点u＝(px,py)的二阶矩阵g；步骤s3-2，将二阶矩阵g为非奇异矩阵且最小特征值λmin大于门限λth时对应的像素点作为比较点，将3×3邻域内最大的最小特征值λmin对应的像素点标记为兴趣点；步骤s3-3，将所有兴趣点按照最小特征值λmin从高到低排列，保留前n个兴趣点，将边界框内的兴趣点作为人员兴趣点，将边界框外的兴趣点作为背景兴趣点。

6、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤s3-1中，二阶矩阵g的公式如下：式中ix为px对应的像素值，iy为py对应的像素值。

7、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤s4中，当前图像帧ft的人员运动矢量和背景运动矢量的计算公式如下：式中为背景运动矢量，nb为当前图像帧ft中背景兴趣点的总数，为第j个背景兴趣点的运动矢量，为第k个人员的人员运动矢量，nt为第k个人员被标记的人员兴趣点的总数，为第k个人员的第i个人员兴趣点的运动矢量。

8、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤s5中，第k个人员的运动参数lk和θk的计算公式如下：θk＝tan-1(sy/sx)，式中sx和sy分别为第k个人员的人员运动矢量在笛卡尔直角坐标系下的水平分量和垂直分量。

9、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤s7中，当前图像帧ft的人员或背景在真实世界的移动速度s的计算公式如下：式中l为当前图像帧ft中该人员的人员运动矢量或背景运动矢量的绝对值，tf为抽帧处理时间间隔，tp为当前图像帧ft的处理时间，n为当前图像帧ft之前时刻的图像帧的总数，tpi为在当前图像帧ft之前的第i个图像帧的处理时间，α为衰减系数，取值非负数。

10、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，在步骤s8中，当前图像帧ft的第i个人流方向的人流密度di的计算公式如下：式中li,seg是当前图像帧ft中第i个人流方向的人流道路在真实世界的长度，通过转换率rt对该人流道路的像素长度进行换算得到，ni是当前图像帧ft中归属到第i个人流方向的人员的总数，当前图像帧ft的第i个人流方向的人流平均速度si,avg的计算公式如下：式中sj是第i个人流方向中的第j个人员在真实世界的移动速度，ni是当前图像帧ft中归属到第i个人流方向的人员的总数，当前图像帧ft的第i个人流方向的人流量vi的计算公式如下：vi＝si,avg×di。

11、在本发明提供的基于无人机视频的室外人流信息提取方法中，还可以具有这样的特征：其中，当当前图像帧ft中存在可识别的标志性参考物时，转换率rt的计算公式如下：当当前图像帧ft中未出现代表参考物或代表参考物不可识别时，且无人机能够实时提供自身飞行高度数据时，转换率rt的计算公式如下：式中r1为具有标志性参考物且最靠近当前图像帧ft且在当前图像帧ft之前的图像帧的转换率，h1为转换率r1对应的图像帧的无人机高度，当当前图像帧ft中未出现代表参考物或代表参考物不可识别时，且无人机不能实时提供自身飞行高度数据时，转换率rt的计算公式如下：式中通过双侧检验水准α＝0.05的双总体独立样本t检验来判断两个平均数的差异是否显著，r1为具有标志性参考物且最靠近当前图像帧ft且在当前图像帧ft之前的图像帧的转换率，ω1为转换率r1对应的图像帧中所有边界框的平均长度。

12、发明的作用与效果

13、根据本发明所涉及的基于无人机视频的室外人流信息提取方法，因为通过对人员运动矢量在2维位移空间下进行聚类，实现了对不同方向人流的识别，根据标志性参考物或无人机飞行高度数据或边界框，计算得到图像帧像素尺寸和对应真实世界尺寸的转换率，进而实现对人流量、人流平均速度和人流密度的提取，所以，本发明的基于无人机视频的室外人流信息提取方法能够对无人机拍摄的室外人流监测视频进行人员目标的精确识别、不同方向人流识别及人流信息提取。