本发明涉及无人机的人群异常行为监测领域，特别是一种基于无人机的人群异常行为监测装置及方法。
背景技术：
随着人们对公共安全意识的提高，人群异常行为检测受到越来越多的关注，使得人群异常行为的研究成为了计算机视觉领域中的一个学术热点。目前我国公共区域的监控系统大多是基于可见光的，但是基于可见光的人群异常行为检测受环境影响较大，并且临时性大型集会场所对固定的视频监控系统提出了更高的挑战。
目前，人群异常行为监测已成为视频监控领域中的一个至关重要的研究方向，但是仅靠全人工监控人群行为增大了人力成本，无人机以其质量轻、成本低、机动性强等特点受到广泛关注，从而被大量投入军事和民用领域，在军事侦察、目标搜索、信息搜集和安全防护等应用领域有着重要的研究意义。监控人群异常行为时，对于突发的群体性活动，微小型无人机以其响应快速和机动性强的优点，能实时跟踪事件的发展态势，有助于指挥中心实施不间断指挥处理。加装嵌入式图像处理器后，无人机还能够实时地对监控区域进行人群异常行为监测，并对异常行为进行报警，以便安防人员能够及时有效地采取应对措施。因此，研制一种基于无人机的人群异常行为监测系统显得十分必要。
技术实现要素：
为解决现有技术中存在的问题，本发明提供了一种基于无人机的人群异常行为监测装置及方法，解决了以往人群异常行为监测的人力消耗高的问题。
本发明采用的技术方案是，一种基于无人机的人群异常行为监测装置，包括，无人机机体、飞行控制系统、红外视觉系统、地面站系统和手持遥控器；所述红外视觉系统和飞行控制系统搭建于无人机机体中心上，手持遥控器无线通信飞行控制系统，地面站系统无线通信红外视觉系统。
一种基于无人机的人群异常行为监测方法，包括如下步骤：
步骤S1：通过地面站设定监测无人机的监测区域；
步骤S2：将监测无人机的监测高度设定为20m，同时设定红外热像仪的朝向与垂直方向夹角α为45°；
步骤S3：根据监测高度、设定红外热像仪的角度和指定的区域进行螺旋式搜索，通过红外视觉系统进行人群密度估计；
步骤S4：判断红外视觉系统检测的人群数目是否小于阈值，若是，则进入步骤S5，否则，进入步骤S6；
步骤S5：继续进行螺旋式搜索，返回步骤S4；
步骤S6：无人机固定当前视角不进行螺旋式搜索；
步骤S7：通过红外热像仪FLIR TAU2获取红外视频信息，并通过嵌入式平台Jetson TX1采用多任务级联卷积神经网络来估算人群密度；
步骤S8：判断密度变化和平均运动速度变化是否发生异常，若是，则进入步骤S9，否则，系统不报警进入步骤S6。
步骤S9：系统报警，结束程序。
本发明基于无人机的人群异常行为监测装置及方法的有益效果如下：
实现了对人群行为的全自动监控，具有人群行为实时监测、人群异常行为报警、数据存储、历史数据查询等功能，人群异常行为监测及时、精确，提高了安防效率，降低了人力成本，具有良好的实用性和可扩展性。
附图说明
图1为本发明一种基于无人机的人群异常行为监测装置及方法的整体结构图。
图2为本发明一种基于无人机的人群异常行为监测装置及方法的红外视觉系统结构示意图。
图3为本发明一种基于无人机的人群异常行为监测装置及方法的飞行控制系统结构示意图。
图4为本发明一种基于无人机的人群异常行为监测装置及方法的人群异常行为监测方法主要步骤示意图。
图5为本发明一种基于无人机的人群异常行为监测装置及方法的红外人群密度估计方法主要步骤示意图。
图6为本发明一种基于无人机的人群异常行为监测装置及方法的红外人群密度估计卷积神经网络结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于无人机的人群异常行为监测装置，包括，无人机机体、飞行控制系统、红外视觉系统、地面站系统和手持遥控器；所述红外视觉系统和飞行控制系统搭建于无人机机体中心上，手持遥控器无线通信飞行控制系统，所述地面站系统无线通信红外视觉系统，红外视觉系统串行通信飞行控制系统。
如图2所示，无人机机体包括X形机架、螺旋桨和电池，所述螺旋桨设置于X形机架的四个角的顶部，所述电池设置于机架内部。
红外视觉系统包括嵌入式平台Jetson TX1、红外热像仪FLIR TAU2、视频采集卡和图传系统；所述红外热像仪FLIR TAU2分别连接视频采集卡和图传系统；所述图传系统通信地面站系统，所述视频采集卡连接嵌入式平台Jetson TX1，所述嵌入式平台Jetson TX1连接飞行控制器。
如图3所示，飞行控制系统包括微控制器STM32F427、无刷电机、电子调速器、陀螺仪、电子罗盘、加速度计、气压计、GPS模块和第一无线通信模块，微控制器STM32F427分别连接无刷电机、电子调速器、陀螺仪、电子罗盘、加速度计、气压计、GPS模块和第一无线通信模块，所述第一无线通信模块的主控芯片为nRF24L01。
手持遥控器包括微控制器STM32F103VET6和第二无线通信模块，所述微控制器STM32F103VET6连接第二无线通信模块，所述第二无线通信模块的主控芯片为nRF24L01，手持遥控器用于手动控制无人机。
如图4所示，一种基于无人机的人群异常行为监测方法，包括如下步骤：
步骤S1：通过地面站设定监测无人机的监测区域，
步骤S2：将监测无人机的监测高度设定为20m，同时设定红外热像仪的朝向与垂直方向夹角α为45°；
步骤S3：根据监测高度、设定红外热像仪的角度和指定的区域进行螺旋式搜索，通过红外视觉系统进行人群密度估计；
步骤S4：判断红外视觉系统检测的人群数目是否小于阈值，若是，则进入步骤S5，否则，进入步骤S6；
步骤S5：继续进行螺旋式搜索，返回步骤S4；
步骤S6：无人机固定当前视角不进行螺旋式搜索；
步骤S7：通过红外热像仪FLIR TAU2获取红外视频信息，并通过嵌入式平台Jetson TX1采用多任务级联卷积神经网络来估算人群密度；
步骤S8：判断密度变化和平均运动速度变化是否发生异常，若是，则进入步骤S9，否则，系统不报警进入步骤S6。
步骤S9：系统报警，结束程序。
如图6所示，步骤S6的通过嵌入式平台Jetson TX1采用多任务级联卷积神经网络方法来估算人群密度，多任务级联卷积神经网络方法包括如下步骤：
步骤A1：输入红外图像，将图像输入共享网络阶段；
步骤A2：根据共享网络阶段的图像，将输出图像输入高级先验知识阶段；
步骤A3：将经过高级先验知识阶段的输出的10类人群输入人群密度估计阶段；
步骤A4：经过人群密度估计阶段后，输出人群密度，结束程序。
步骤S2的红外视觉系统进行人群密度估计方法包括如下步骤：
如图5所示，步骤B1：设计人群密度估计CNN网络模型；
步骤B2：根据CNN网络模型，标定训练样本，则训练样本的理想密度图Di；
式中，σ是二维高斯核的尺度参数，S是人头所在的所有点的集合；
步骤B3：根据训练样本，建立训练网络，
训练网络高级先验知识阶段的交叉熵损函数为：
式中，N是训练样本数，Θ是一组网络参数，Xi是第i个训练样本，Fc(Xi，Θ)是分类输出，yi是真值类别，M是类别总数；
密度估计阶段的损失函数为：
其中Fd(Xi，CiΘ)是估计密度图，Di是真实密度图，Ci是从高级先验知识阶段的最后一个卷积层获得的特征图。
整个级联网络的损失函数为：
L＝λLc+Ld
其中λ是权重因子，λ取0.00001；
步骤B4：利用训练好的多级联卷积神经网络进行测试。
角点的速度大小计算为：
其中，fps为视频帧率，运动角点的光流信息为(vx，vy)T；
第x帧图像中人群平均运动速度大小计算为：
其中，n表示检测到运动角点的数量，vi表示第i个角点的运动速度大小。
本实施方案在实施时，一种基于无人机的人群异常行为监测系统，包括无人机机体、飞行控制系统、红外视觉系统、地面站系统和手持遥控器；无人机机体包括机架、螺旋桨、电池；红外视觉系统和飞行控制系统搭载于无人机机体中心上，其中红外热像仪FLIR TAU2位于无人机机体下方，并配有无人机专用云台；地面站系统通过图传系统获取Jetson TX1采集到的视频信息；
手持遥控器包括微控制器STM32F103VET6和第二无线通信模块nRF24L01，用于手动控制无人机，并通过第二无线通信模块nRF24L01获取人群的状态信息，包括人群密度、人群平均运动速度和人群状态。
红外视觉系统包括嵌入式平台Jetson TX1、红外热像仪FLIR TAU2、视频采集卡和图传系统，红外热像仪FLIR TAU2用于红外图像采集，通过图传系统发送视频信息到地面站，嵌入式平台Jetson TX1实现人群异常行为检测，并将人群信息通过串口发送给飞行控制系统。
飞行控制系统包括微控制器STM32F427、无刷电机、电子调速器、陀螺仪、电子罗盘、加速度计、气压计、GPS模块和第一无线通信模块nRF24L01，用于控制无人机飞行姿态和位置，飞行控制系统通过第一无线通信模块nRF24L01发送人群信息给手持遥控器，便于安防人员及时有效地采取应对措施。
一种基于无人机的人群异常行为监测系统的嵌入式平台Jetson TX1通过提取红外图像中的Shi-Tomasi角点和金字塔LK光流法跟踪角点，计算视频连续两帧间的人群平均运动速度。对于连续两帧图像，通过上述方法得到运动角点的光流信息为(vx，vy)T，由此，可以计算出角点的速度大小计算为：
其中，fps为视频帧率。
第X帧图像中人群平均运动速度定义为：
其中，n表示检测到运动角点的数量，vi表示第i个角点的运动速度大小。
人群密度估计采用多任务级联卷积神经网络实现，级联神经网络分为三个阶段，分别为共享网络阶段、高级先验知识阶段和人群密度估计阶段，级联卷积神经网络输入为红外图像，输出为人群密度图和人群数量。
多任务级联卷积神经网络中的共享网络包括4层卷积层，每层卷积层之后都有一个带参数的修正线性激励函数PReLU，第一层卷积的卷积核大小为9*9，输出16张特征图，第二层卷积层的卷积核大小为7*7，输出32张特征图。
多任务级联卷积神经网络中的高级先验知识阶段包括4层卷积层、1个SPP池化层和3个全连接层，每个卷积层之后都有一个带参数的修正线性激励函数PReLU，第1层卷积层的卷积核大小为9*9，第2层卷积层的卷积核大小为7*7，前两个卷积层后包含最大池化层，池化层步长为2，第3层卷积层的卷积核大小为7*7，第4层卷积层的卷积核大小为7*7，卷积层之后经过空间金字塔SPP池化层，池化层之后经过3个全连接层，第一个全连接层有512个神经元，第二个全连接层有256个神经元，最后一个全连接层有10个神经元，表示将人群数量分为10类。
多任务级联卷积神经网络中的人群密度估计阶段包括7层卷积层和2层反卷积层，前6层卷积层之后都有一个PReLU激励函数，第1层卷积层的卷积核大小为7*7，第2、3和4层卷积层的卷积核大小都为7*7，前2层卷积层之后都有一个最大池化层，每个池化层的步长为2，4层卷积之后输出特征图与高级先验知识阶段的4层卷积之后的特征图相结合，最为接下来的两层卷积层的输入，第5和6层卷积层的卷积核大小都为3*3，然后经过两层反卷积层，最后经过第7层卷积层，该卷积层卷积核大小为1*1，输出为人群密度图和人群数量。
红外人群密度估计方法，包括如下步骤：
步骤一：设计人群密度估计CNN网络模型
采用多任务级联卷积神经网络，输入为红外图像，输出为人群密度图和人群数量。
步骤二：标定训练样本
对应于第i个训练样本的理想密度图Di通过二维高斯核求和来计算，以每个人的位置xg为中心的二维高斯内核，定义如下：
其中σ是二维高斯核的尺度参数，S是人头所在的所有点的集合。
步骤三：训练网络
高级先验知识阶段的交叉熵损失函数定义如下：
其中N是训练样本数，Θ是一组网络参数，Xi是第i个训练样本，Fc(Xi，Θ)是分类输出，yi是真值类别，M是类别总数。
密度估计阶段的损失函数定义为：
其中Fd(Xi，CiΘ)是估计密度图，Di是真实密度图，Ci从高级先验知识阶段的最后一个卷积层获得的特征图。
整个级联网络使用以下损失函数进行训练：
L＝λLc+Ld
其中λ是权重因子，λ取0.00001。
步骤四：测试网络
采用已训练好的多任务级联卷积神经网络，测试实际场景中的人群密度。
一种基于无人机的人群异常行为监测方法，包括如下步骤：
步骤一：监测人员到达监测区域中心位置，监测人员通过地面站设定监测无人机的监测区域，将监测无人机的监测高度设定为20m，同时设定红外热像仪的朝向与垂直方向夹角α为45°；
步骤二：监测无人机到达20m高度之后，监测无人机自主按照指定的区域进行螺旋式搜索，通过机载的红外视觉系统进行人群密度估计。如果人群数目小于阈值，则继续进行螺旋式搜索，否则无人机固定当前视角，不进行螺旋式搜索；
步骤三：当无人机固定位置和视角之后，通过红外热像仪FLIR TAU2获取红外视频信息，通过嵌入式平台Jetson TX1采用多任务级联卷积神经网络来估算人群密度，如果人群密度高于阈值，则继续计算视频连续两帧间的人群平均运动速度和人群密度，如果人群平均速度增大或者人群密度增大，系统报警，否则系统不报警。