一种利用无人机进行的人数计数方法
【专利摘要】本发明涉及一种利用无人机进行的人数计数方法，利用安置有垂直向下摄像头的无人机，无人机飞过聚会场所，将采集到的视频通过无线传输传到地面工作台，通过对视频的图像处理，统计出空旷场所上的人数。能够在封闭与开放环境下进行人数数量的快速统计，可用于市内、广场以及大型集会场所的人员密度管理以及安全防控。
【专利说明】
一种利用无人机进行的人数计数方法
技术领域
[0001] 本发明专利涉及图像处理领域，具体涉及一种利用无人机机载视频进行人数统计 方法。
【背景技术】
[0002] 随着我国社会经济的快速发展，人们在物质需求在不断得到满足的同时，对精神 文明的需求不断增加，各种大型活动不断举办。但是由于大量的人员聚集容易带来踩踏等 安全问题，相关对于人员密度的管理工作也越来越重要，我们需要对聚会场所的人数进行 统计。
[0003] 目前由于模式识别及图像处理技术的飞速发展，设置固定的图像采集设备通过统 计图像中通过人数的方法已经得到了大量的应用，但那些基本都是用于统计一个路口或节 点的通过人数的，对于有固定出入口的大型商场、车站、博物馆等场景这种方法还比较实 用。对于广场、操场等开放性没有固定出入口或者不方便设置固定监控设备的地区我们就 无法迅速的统计出人群数量。
[0004] 随着无人机技术的发展，无人机技术在各个领域都得到了利用，有电力巡检，农业 巡查、环境观测等，无人机航拍技术在地图绘制航拍摄影上也有大量的应用。小型旋翼无人 机以其亲民的成本，已经大量的普及，并且小型旋翼无人机有着轻便易携带，高度速度等数 据的易操控等优点。
【发明内容】
[0005] 本发明要解决的技术问题是，提供一种利用无人机进行的人数计数方法，能够在 封闭与开放环境下进行人数数量的快速统计，可用于市内、广场以及大型集会场所的人员 密度管理以及安全防控。
[0006] 本发明为解决上述技术问题，采用如下技术方案：
[0007] -种利用无人机进行的人数计数方法，其特征在于:利用安置有垂直向下摄像头 的无人机，控制无人机飞过待测场所并在飞行过程采集视频，将采集到的视频通过无线传 输传到地面工作台，地面工作台通过对视频图像处理统计出待测场所上的人数;所述无人 机主要由无人机机体部分、包含有垂直向下摄像头的视频采集模块、无线传输模块、视频图 像处理模块四个部分构成，无人机通过视频无线传输模块与电脑上位机远程通讯连接。
[0008] 上述技术方案中，主要包括如下步骤：
[0009] 步骤S1:通过电脑上位机，指定航拍路径，启动无人机开始飞越至目标待测场所边 缘；
[0010] 步骤S2:通过电脑上位机，设定无人机的飞行高度及速度，选择"开始统计"后，无 人机开始飞过目标待测场所并采集视频流，飞行过程中无人机通过无线传输系统将垂直向 下摄像头采集到的视频流传输到电脑上位机；
[0011] 步骤S3:在电脑上位机上，利用提取视频时无人机的姿态对比保证垂直向下摄像 头所对的方向一致;通过利用无人机飞行高度得出单个人体在视频中对应的面积大小;利 用无人机飞行速度计算出有效帧中的非重叠部分统计出无人机已飞越区域的人数。
[0012]上述技术方案中，步骤S3具体包括以下步骤：
[0013]步骤S31:选择"开始统计"后延时设定时间，待无人机飞行状态稳定后，从视频流 中开始选出待处理的有效帧，其中第1帧为第〇帧有效帧;然后每隔设定的间隔时间，经过对 拍摄所述有效帧时无人机的横滚角和俯仰角9 3与航向角与第0帧是否一致进行判断后， 选取之后的有效帧；
[0014] 步骤S32:为了避免漏统计及重复统计，结合无人机的飞行高度h，速度v对已选出 的有效帧进行剪切，剪切出的有效部分的宽为原始宽度width，长为小无人机两帧有效帧之 间飞越的实际距离再转换为图片中的实际长度AhvUi-t^)，其中，当飞行高度为h时实 际飞行距离与视频中显示的距离的转换系数，v为无人机的飞行速度，（t-tH)为两帧有效 帧之间的时间差。
[0015] 步骤S33:对有效帧的有效部分进行图像处理、模式识别，识别出有效帧中的人群 数量，不断累计，并显示出来具体数量，此数量就是被统计的人群数量：
[0016] 结合无人机的飞行高度信息，计算出单个人体在视频中对应的像素大小；对图像 进行基于HSV色彩空间进行图像二值化，突出人头发的黑色，弱化其他颜色；以单个人体所 占像素大小为尺度，进行闭运算，消除小的黑块;通过对图像进行斑点检测，识别出一个有 效帧的有效部分中的人数;累加即得到无人机飞过的目标待测场所区域的总人数。
[0017] 上述技术方案中，电脑上位机控制无人机飞过被测目标，无人机自动保持定高、匀 速直线飞行。
[0018] 上述技术方案中，无人机为小型多旋翼无人机。
[0019] 上述技术方案中，选择"开始统计"后延时3s，待无人机飞行状态稳定后，从视频流 中开始选出待处理的有效帧。
[0020] 本发明使用无人机搭载视频采集设备进行集会人数计数，代替了不可移动、视野 有限的固定式监控设备，使本系统具有了无人机方便快捷，轻便灵活，可操控性强等优点， 能够方便快捷的有效统计某片空旷场所的人群数量，特别适用于室外开放式大型集会场所 人数统计和计数。
[0021 ]本发明中，无人机自动保持定高、匀速直线飞行能够减轻操控人员的工作量的同 时，可以大大简化视频图像处理的难度;提取有效帧时，先对无人机的姿态，即横滚角γ 3和 俯仰角0a与航向角货?与第0帧有效帧的姿态进行对比，保持所选取有效帧的姿态一致，避免 无人机飞行时的抖动带来的影响。对视频流进行图像处理时多个步骤都利用了无人机的飞 行数据，利用已有的数据简化视频图像处理的算法复杂度，提高运算速度，保证人数统计的 实时性和准确性。
[0022] 本发明的一个创新为通过读取旋翼无人机的飞行姿态数据，保证了图像采集设备 在收集有效帧时的状态都相同，避免了非固定平台所带来的晃动等不稳定。
[0023] 本发明的一个创新点为旋翼无人机飞行在不同高度时，单个人体在视频中对应的 大小是固定的，过大和过小的相似图像都可以直接判断为不是人体，大大提高了检测速度 与准确性。
[0024]本发明的一个创新点为借助旋翼无人机的高度速度数据，把一大块广场的人数统 计问题简单的分解为多帧小图片中人数的累计，避免了对多幅图像的拼接，
【附图说明】
[0025] 图1是本发明所采用的无人机结构示意图；
[0026] 图2是本发明利用无人机进行的人数计数方法涉及的HSV色彩空间的示意图；
[0027] 图3是本发明本发明利用无人机进行的人数计数方法总体流程示意图；
[0028] 图4是本发明本发明利用无人机进行的人数计数方法步骤S3中涉及的图像处理示 意流程图。
[0029]具体实施措施
[0030] 为了进一步说明本发明专利的技术方案，对照附图对本发明专利进行详细的说 明，但应当说明的是以下实施设备及实施方式并非对本发明的限制，对于根据本发明实施 方式所做的功能、方法或结构上的等效变换或替代，都属于本发明的保护范围之内。
[0031] 本发明此次使用的无人机为小型四旋翼无人机，视频图像采集设备使用GoPro Her〇4运动摄像机，图像传输设备为大疆DJI5.8G高清模拟图传，电脑上位机使用联想Y450 笔记本电脑，如图1所示，摄像机垂直向下设置在无人机上，无人机与电脑上位机无线连接。 实验场地为空旷的室外集会广场。
[0032] 图3是本发明本发明利用无人机进行的人数计数方法总体流程示意图；主要包括 以下步骤：
[0033] 步骤S1:启动小型多旋翼无人机，通过电脑上位机，控制小型多旋翼无人机飞至目 标广场边缘。
[0034] 步骤S2:通过电脑上位机，设定小型多旋翼无人机的飞行高度及速度，选择"开始 统计"后，小型多旋翼无人机开始飞过目标广场，并通过无线传输系统将旋翼无人机上搭载 的垂直向下的摄像头采集到的视频流传输到电脑上位机。
[0035] 步骤S31:选择开始统计，从视频流中每隔a帧选出可用的视频帧(也即有效帧）：
[0036] 步骤S311:首先选取第1帧为第0帧有效帧。
[0037] 步骤S312:除第1帧外，每间隔a帧，根据此时无人机姿态和第1帧时的姿态对比，如 果姿态相同，则判断本帧有效，姿态不同则间隔b帧再次对比，直到出现有效帧，取出有效帧 作为第2帧图像，a、b为正整数。
[0038] 步骤S13:选出每一帧中的有效(非重叠)部分。
[0039] 步骤S14:第0帧有效帧整帧都不是有效部分，此时统计的人数Μ=Μο = 0。
[0040] 步骤S32:之后的有效帧通过与前一有效帧间隔的时间以及旋翼无人机速度，计算 出后一有效帧中比前一有效帧实际新增加的距离，并结合旋翼无人机的飞行高度，选出在 此有效帧中与前一帧中的非重叠部分，这部分为此有效帧的有效部分。提取有效部分先在 有效帧的图片上确定一点为有效部分的坐标原点，这里有效部分的坐标原点定在(〇,300)。 然后给出标出有效部分的宽度width，高度其中当飞行高度为h时实际飞 行距离与视频中显示的距离的转换系数^为小型多旋翼无人机的飞行速度，（U-tH)为两 帧有效帧的时间差。
[0041] 步骤S33:对有效帧的有效部分进行图像处理、模式识别，识别出此帧中的人群数 量，不断累计，并显示出来，此数量就是被统计的人群数量。
[0042] 步骤S331:此处图像处理过程为先进行降噪，去除噪点。
[0043]步骤S332:此处图像处理的第二步为基于HSV色彩空间进行图像二值化，人从俯视 图中看头顶为黑色，所以根据HSV色彩空间的V分量即色彩明亮度为二值化的标准，如图2所 示。这里V分量的计算公式为：
[0044] V=max(R，G，B)/255
[0045] R，G，B即三原色红(red)、绿(green)、蓝(blue)三个通道的颜色值。
[0046]步骤S333:此处图像处理的第三步为进行闭运算，闭运算是一种根据数学形态学 集合论方法发展出的一种图像处理方法，分为膨胀(dilate)和腐蚀(erode)两步。
[0047]膨胀运算的数学定义可表示为：
[0048] S=X ? B = {x,y | Bxy Π }
[0049] 公式中S是运算之后的图像集合;B是用来做腐蚀，膨胀运算的结构元素，它是由0 和1组成的，拥有一个中心点的，任意形状，我们这里把结构元素选定为接近人头形状的圆 形;B xy是结构元素 B的中心点;X是前步已经经过二值化之后的有效帧的有效部分的图像集 合。
[0050] 腐蚀运算的数学定义可表示为：
[0051 ] S 5 = ·|λ-, .)g 丨!
[0052] 公式中S是运算以后的图像集合;Β是用来做腐蚀，膨胀运算的结构元素，这里我们 使用膨胀运算中一样的圆形的结构元素;Bxy是结构元素 Β的中心点;X这里使用腐蚀运算后 的图像。
[0053] 闭运算可以排除小型的黑色区域，基于旋翼无人机的飞行高度确定单个人在图片 中的实际大小，我们可以以此为基础确定闭运算的参数，大量排除比单个人体小的块并分 割开部分单个人体间的连接。
[0054]步骤S334:此处图像处理的第四步为，提取出被处理图像中的每一个块，
[0055] 在opencv中使用cvFindContours来完成，此命令作用为提取出所有的轮廓，通过 cvContour Area计算出每个轮廓的即每个块的面积，把这些块的面积与理论上单人人体应 该产生的块的面积进行比较，排除面积与单个人体区别很大的部分。剩下的面积与单个人 体俯视图大小相似的块的数量为此有效帧中的人群数量Mi。
[0056]多旋翼无人机已飞越部分的人群显示数量为'4/ =ΣΜ/(Μ为总人数，M,为第i张有 i=0 效帧中统计出的人数）。
【主权项】
1. 一种利用无人机进行的人数计数方法，其特征在于:利用安置有垂直向下摄像头的 无人机，控制无人机飞过待测场所并在飞行过程采集视频，将采集到的视频通过无线传输 传到地面工作台，地面工作台通过对视频图像处理统计出待测场所上的人数;所述无人机 主要由无人机机体部分、包含有垂直向下摄像头的视频采集模块、无线传输模块、视频图像 处理模块四个部分构成，无人机通过视频无线传输模块与电脑上位机远程通讯连接。2. 根据权利要求1所述的利用无人机进行的人数计数方法，其特征在于:主要包括如下 步骤： 步骤Sl:通过电脑上位机，指定航拍路径，启动无人机开始飞越至目标待测场所边缘； 步骤S2:通过电脑上位机，设定无人机的飞行高度及速度，选择"开始统计"后，无人机 开始飞过目标待测场所并采集视频流，飞行过程中无人机通过无线传输系统将垂直向下摄 像头采集到的视频流传输到电脑上位机； 步骤S3:在电脑上位机上，利用提取视频时无人机的姿态对比保证垂直向下摄像头所 对的方向一致;通过利用无人机飞行高度得出单个人体在视频中对应的面积大小；利用无 人机飞行速度计算出有效帧中的非重叠部分统计出无人机已飞越区域的人数。3. 根据权利要求2所述的利用无人机进行的人数计数方法，其特征在于:步骤S3具体包 括以下步骤： 步骤S31:选择"开始统计"后延时设定时间，待无人机飞行状态稳定后，从视频流中开 始选出待处理的有效帧，其中第1帧为第〇帧有效帧;然后每隔设定的间隔时间，经过对拍摄 所述有效帧时无人机的横滚角Ya和俯仰角9 3与航向角与第O帧是否一致进行判断后，选取 之后的有效帧； 步骤S32:为了避免漏统计及重复统计，结合无人机的飞行高度h，速度V对已选出的有 效帧进行剪切，剪切出的有效部分的宽为原始宽度width，长为小无人机两帧有效帧之间飞 越的实际距离再转换为图片中的实际长度AhvUi-t^)，其中，A hS当飞行高度为h时实际飞 行距离与视频中显示的距离的转换系数，V为无人机的飞行速度，（t-tH)为两帧有效帧之 间的时间差。 步骤S33:对有效帧的有效部分进行图像处理、模式识别，识别出有效帧中的人群数量， 不断累计，并显示出来具体数量，此数量就是被统计的人群数量： 结合无人机的飞行高度信息，计算出单个人体在视频中对应的像素大小;对图像进行 基于HSV色彩空间进行图像二值化，突出人头发的黑色，弱化其他颜色；以单个人体所占像 素大小为尺度，进行闭运算，消除小的黑块;通过对图像进行斑点检测，识别出一个有效帧 的有效部分中的人数;累加即得到无人机飞过的目标待测场所区域的总人数。4. 根据权利要求3所述的利用无人机进行的人数计数方法，其特征在于：电脑上位机控 制无人机飞过被测目标，无人机自动保持定高、匀速直线飞行。5. 根据权利要求1所述的利用无人机进行的人数计数方法，其特征在于:无人机为小型 多旋翼无人机。6. 根据权利要求4所述的利用无人机进行的人数计数方法，其特征在于:选择"开始统 计"后延时3s，待无人机飞行状态稳定后，从视频流中开始选出待处理的有效帧。
【文档编号】H04N7/18GK105898216SQ201610231442
【公开日】2016年8月24日
【申请日】2016年4月14日
【发明人】吴怀宇, 刘畅
【申请人】武汉科技大学