一种基于无人机的实时人群计数方法、装置及无人机与流程

本发明涉及计算机视觉、深度学习和图像处理技术领域，尤其涉及一种基于无人机的实时人群计数方法、装置及无人机。

背景技术：

随着我国社会经济和科学技术的快速发展，人民生活逐步迈入小康阶段，在不断丰富的物质条件基础上，奥运会，世博会等大型活动的成功举办彰显了我国的综合国力。同时各种游行，集会活动也丰富了人民的精神生活。但是由此密集人群带来的踩踏等事件为现代化的安全管理工作带来了新的挑战。我们需要通过新的科学技术手段精确、实时地计算出各种密集场景的人群数量，为我国各种活动的顺利举办保驾护航。

目前随着计算机视觉，深度学习和图像处理等技术的飞速发展，通过固定拍摄装置和高性能服务器进行特定场景人群计数成为了可能，但这些应用大多集中于室内场景如大型商场、博物馆等。也有一些通过无人机对室外场景的人群统计的尝试，但都是通过无人机把室外场景的图像、视频通过无线网络传回地面服务器，再进行统计计算，这种方式对网络的传输有很高的要求，也不能达到实时的计算要求。

现有技术方案存在如下缺点：

(1)只能对特定室内场景进行人群计数；

(2)无法达到实时的统计要求；

(3)密集场景人群计数的准确度低。

鉴于人工智能领域深度学习技术已被广泛应用，因此有必要借助于此，基于深度学习技术，尝试去精确、实时地计算出各种密集场景的人群数量，以解决上述问题。

技术实现要素：

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，该概述并不是关于本发明的穷举性概述，它并非意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为后文的具体实施方式部分的铺垫。

鉴于以上提出的问题，本发明首先提出一种基于无人机的实时人群计数方法，包括如下步骤：

无人机实时采集待计数人群的图片或视频，将采集到的图片或视频数据传输到深度学习计算模块；

深度学习计算模块根据预先训练得到的人群密度分布模型f，计算出待计数人群的图片或视频的人群密度分布图f′，进而计算出整张图片或视频中的人群数量n′。

本发明使用无人机搭载深度学习计算设备，能快速统计室内室外场景下大范围人群数量。使用先进的深度学习技术，通过计算人群密度分布图的方式计算人群数量，极大地提高了密集人群场景下的计算准确度。

本发明进一步提出一种实时人群计数装置，包括离线训练模块和实时计算模块，其中，

所述离线训练模块，被配置为离线采集训练样本图片，采用人工对图片进行人头标注，通过深度学习网络训练得到用于人群计数的人群密度分布模型f；

所述实时计算模块包括采集模块和深度学习计算模块，并且，

所述采集模块，被配置为采集待计数人群的图片或视频，将采集到的人群图片或视频数据传输到深度学习计算模块；

所述深度学习计算模块，被配置为根据预先训练得到的人群密度分布模型f，计算出待计数人群的图片或视频的人群密度分布图f′，进而计算出整张图片或视频中的人群数量n′。

本发明还提出一种用于实时人群计数的无人机，所述无人机搭载有用于实时采集待计数人群的图片或视频的至少一个拍摄装置，以及与所述拍摄装置连接的处理器，所述处理器用于执行如前述的方法。

本发明又提出一种用于实时人群计数的无人机，包括机体，所述机体搭载有拍摄装置、控制系统、深度学习计算模块、无线通信系统以及电源系统，所述控制系统分别与拍摄装置、深度学习计算模块、无线通信系统以及电源系统连接，其中，所述控制系统用于控制拍摄装置采集待计数人群的图片或视频，所述控制系统控制深度学习计算模块计算出整张图片或视频中的人群数量。

无人机代替了固定式服务器，固定式监控设备，极大增强了应用场景，灵活，方便。

本发明提供的技术方案可以包括以下有益效果：本发明使用无人机搭载深度学习计算设备，能快速统计室内室外场景下大范围人群数量，使用先进的深度学习技术，通过计算人群密度分布图的方式计算人群数量，极大地提高了密集人群场景下的计算准确度；无人机代替了固定式服务器，固定式监控设备，极大增强了应用场景，灵活，方便。本发明使用嵌入式gpu计算模块，运用gpu加速，计算能力大幅提升，能快速计算出人群数量，实时统计的要求。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，用来提供对本发明的进一步理解，构成本申请的一部分，而不应将其视为是对本发明范围的限制。

图1是根据本发明基于无人机的实时人群计数方法一种实施方式的方法流程图；

图2是根据本发明基于无人机的实时人群计数方法另一种实施方式的方法流程图；

图3是根据本发明基于无人机的实时人群计数方法一种离线训练实施方式的流程图；

图4是根据本发明预先采集的一个密集人群图片；

图5是根据预先采集的一个密集人群图片计算出的人群密度分布图；

图6是根据本发明一种用于实时人群计数的无人机结构示意图；

图7是根据本发明另一种用于实时人群计数的无人机结构示意图。

具体实施方式

现参照附图对本发明的实施方式进行详细描述。应注意，以下描述仅仅是示例性的，而并不旨在限制本发明。此外，在以下描述中，将采用相同的附图标记表示不同附图中的相同或相似的部件。在以下描述的不同实施方式中的不同特征，可彼此结合，以形成本发明范围内的其他实施方式。

需要理解的是，在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

还需要理解的是，术语“包括/包含”、“由……组成”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的产品、设备、过程或方法不仅包括那些要素，而且需要时还可以包括没有明确列出的其他要素，或者是还包括为这种产品、设备、过程或方法所固有的要素。在没有更多限制的情况下，由语句“包括/包含……”、“由……组成”限定的要素，并不排除在包括所述要素的产品、设备、过程或方法中还存在另外的相同要素。

参见图1，本发明的一个具体实施例，首先提供一种基于无人机的实时人群计数方法，包括如下步骤：

无人机实时采集待计数人群的图片或视频，将采集到的图片或视频数据传输到深度学习计算模块；

深度学习计算模块根据预先训练得到的人群密度分布模型f，计算出待计数人群的图片或视频的人群密度分布图f′，进而计算出整张图片或视频中的人群数量n′。

再参见图2，本发明的另一个具体实施例，实际计数时首先通过移动终端控制无人机升空飞行，飞行至待统计区域上空，通过gps定位技术获取无人机的高度h，并对无人机空间位置进行调整，以控制无人机处在一个适宜的高度，实际使用时高度范围可在10米-500米区间灵活调整，太低影响飞行安全，且可能不足以拍摄人群全貌，高度太高所拍摄的图像清晰度不够，都会影响计算的精度。

待无人机状态稳定后，通过地面的移动终端发出统计指令，无人机搭载的拍摄装置开始工作，采集人群图像或视频，并将采集的数据通过网口传输到相连的深度学习计算模块。

深度学习计算模块加载预先训练得到的神经网络，或者进一步考虑权值大小，计算出待计数人群的图像或视频的人群密度分布图f′，进而计算出整张图片或视频中的人群数量n′。

本实施例中，预先训练人群密度分布模型f包括：

离线采集训练样本图片，对图片进行人体特征标注，通过深度学习网络训练得到用于人群计数的人群密度分布模型f。

本实施例中，深度学习网络训练的目的是训练神经网络，使得其能从输入图片直接生成人群密度分布图f′，再用数学积分的方式计算得到人群数量n′。

本实施例中，深度学习网络训练可以是基于膨胀卷积的深度学习神经网络训练，由于深度学习训练是一个很长时间并且包含大量计算的工作，可以在公司服务器上进行，训练完成后移植到无人机所搭载的板子上，在实际计算的时候，再用这个深度学习模块计算。

本实施例中，人体特征标注具体为采用人工对图片进行人头标注，标注人头能够更好地确保密集人群场景下的计数准确度。

参见图3，预先训练人群密度分布模型f具体按以下步骤实现：

要训练神经网络需要真实的样本数据，所以需要先制作训练所需的样本，前期预先采集多种人群密集程度不同的图片，人工标注出图片中的人头，每一个人头是一个点，点的总数也就是总人数n，如图4所示；

样本制作完成后，使用连续分布密度函数f(x)，计算所采集图片的人群密度分布图f⁰，所得到的人群密度分布图f⁰如图5所示，所述连续分布密度函数f(x)＝p(x)*gσ(x)，p(x)是图片的离散脉冲函数，gσ(x)是高斯卷积核，其中，xi是第i人头所在的位置，δ(x-xi)是脉冲函数，n是人头总数；

基于预先采集的图片和对应的人群密度分布图f⁰，使用深度学习技术训练神经网络，使得该神经网络能计算出输入图片的人群密度分布模型f。

本实施例中，还可以用公式n∫∫sf⁰dxdy积分算出总人数n，与人工标注出的总人数相比，以验证以上数学公式的正确性。

模型训练完成后，经过深度学习训练，人群密度分布模型f已经学会了从输入图片直接生成人群密度分布图f′，为后续深度学习计算模块的计算做好了准备。

本实施例中，深度学习计算模块以积分计算出整张图片或视频中的人群数量n′，积分函数为：n′＝∫∫sf′dxdy，其中f′为人群密度分布图，s代表图像空间，人群密度分布图颜色越深的部分对应的是人头越密集的区域，颜色越浅的部分对应的是人头越稀疏的区域，通过积分的方式精确计算出图像中人头的数量。

本实施例中，进一步包括数据回传步骤：无人机通过无线网络将每帧的计算结果和全景计算结果回传至地面站，如此达到实时采集、实时回传的可视化计数效果。

本发明的另一个具体实施例，提供一种实时人群计数装置，包括离线训练模块和实时计算模块，其中，

所述离线训练模块，被配置为离线采集训练样本图片，采用人工对图片进行人头标注，通过深度学习网络训练得到用于人群计数的人群密度分布模型f；

所述实时计算模块包括采集模块和深度学习计算模块，并且，

所述采集模块，被配置为采集待计数人群的图片或视频，将采集到的人群图片或视频数据传输到深度学习计算模块；

所述深度学习计算模块，被配置为根据预先训练得到的人群密度分布模型f，计算出待计数人群的图片或视频的人群密度分布图f′，进而计算出整张图片或视频中的人群数量n′。

参见图6，本发明的又一个具体实施例，提供一种用于实时人群计数的无人机，所述无人机搭载有用于实时采集待计数人群的图片或视频的至少一个拍摄装置，以及与所述拍摄装置连接的处理器，所述处理器用于执行前述的计数方法。

本实施例中，通过在无人机上安装高清摄像头，对人群密集场景进行拍摄，无人机通过其搭载的高性能深度学习嵌入式处理器，对拍摄的图像或视频进行实时计算，统计出当前画面中的人群数量，并且无人机能够再将计算结果传输到地面终端显示器上。

参见图7，本发明的再一个具体实施例，提供一种用于实时人群计数的无人机，包括机体，所述机体搭载有拍摄装置、控制系统、深度学习计算模块、无线通信系统以及电源系统，所述控制系统分别与拍摄装置、深度学习计算模块、无线通信系统以及电源系统连接，其中，所述控制系统用于控制拍摄装置采集待计数人群的图片或视频，所述控制系统控制深度学习计算模块计算出整张图片或视频中的人群数量。

本实施例中，无人机机体可采用消费级或工业级多旋翼或固定翼无人机，应用范围广。

本实施例中，控制系统用于控制无人机的飞行，并协调其他模块的数据通信。

本实施例中，摄像头由无人机机体搭载的高清摄像头，实现拍照和视频功能。

本实施例中，深度学习计算模块可采用搭载nvidiagpu高性能嵌入式计算板卡，计算能力强。

本实施例中，无线通信系统执行飞控命令和统计结果的数据传输，可采用现有的各种无线通信方式，如基于红外、蓝牙、zigbee、wifi和433mhz无线通讯技术中的一种或多种。

本实施例中，电源系统可采用大容量可充电锂电池模块，满足无人机的长时间工作要求，并能够在闲置时充电续航。

通过以上描述，已经可以清楚地得出，本发明使用无人机搭载深度学习计算设备，能快速统计室内室外场景下大范围人群数量。使用先进的深度学习技术，通过计算人群密度分布图的方式计算人群数量，极大地提高了密集人群场景下的计算准确度。无人机代替了固定式服务器，固定式监控设备，极大增强了应用场景，灵活，方便。本发明使用嵌入式gpu计算模块，运用gpu加速，计算能力大幅提升，能快速计算出人群数量，并能够实时回传地面站，达到实时统计、实时演示的要求。

至此，本领域技术人员应认识到，虽本文已详尽示出和描述了本发明的示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍然可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型、修改和替换。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。