基于场景密度分布的多神经网络人数统计方法、系统、介质、终端与流程
本发明涉及机器视觉领域，特别是涉及基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端。
背景技术
随着深度学习和计算机视觉技术的发展，人们的生活和生产活动都随之产生了极大的优化，尤其是在安防、零售、工业、或者智能终端等方面更是产生了巨大的技术革新。
人流量统计在机场、展览厅、游乐园等公共场合的需求也变得越来越大。快速且精确的人流量统计可以为有人流限制的场所提供有效的预警以挺高安全性，也可以为景区、商店等场所提供客流量的直接反馈，为这些场所商业模型的调整提供了有效的反馈机制。
人流量统计在学术界属于视觉检测的一大重要分支，学术上尚不能尽善尽美，仍处于不断研究和更新的阶段。目前与人流量统计相关的产品，大多使用传统的基于行人检测的统计人数的方法，但该方法在遇到遮挡或者姿态变化时，统计效果就会很差。
相比于传统的检测方法，通过神经网络采用回归的方式输出人群密度图，并通过人群密度的积分来统计人数，在遇到遮挡问题时能够更有效地估计人数。近年来，已陆续出现采用神经网络解决人流统计的问题，但现有的用于统计人数的神经网络带有泛化能力不足且精度较差等问题。
技术实现要素：
鉴于以上所述现有技术的缺点，本发明的目的在于提供基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端，用于解决现有的人数统计方法泛化能力不足，精度较差等技术问题。
为实现上述目的及其他相关目的，本发明提供一种于场景密度分布的多神经网络人数统计方法，用于统计图像中的总人数，所述方法包括，获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像；选用与各子图像的人群密度等级相匹配的人数统计神经网络模型，以统计各子图像中的人数；加总各子图像中的人数，以得到待统计人数的图像中的总人数。
于本发明的一实施例中，所述方法在执行统计图像中的总人数之前还执行：基于训练数据集获得适用于不同人群密度等级的多个人数统计神经网络模型。
于本发明的一实施例中，所述训练数据集包括现有公共数据集，所述方法包括：按照预设窗口尺寸将现有公共数据集中的每张图像切分为多张切片；判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求；若符合，则保存该切片；若不符合，则将截取窗口移至下一切片。
于本发明的一实施例中，判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求的方式包括：判断当前切片中的人数是否达标；若人数达标，则判断当前切片中的人数方差是否达标；若人数方差达标，则保存该切片；若人数不达标或人数方差不达标，则舍弃该切片。
于本发明的一实施例中，所述训练数据集包括实时数据集，所述实时数据集包括基于室内场景的数据集；所述方法包括：对实时数据集中的各图像进行标定并增强实时数据集。
于本发明的一实施例中，增强实时数据集的方式包括：改变实时数据集中的图像的明暗程度。
于本发明的一实施例中，所述方法还包括：判断统计出的子图像中的人数是否超出预设人数范围；若超出预设人数范围，则将当前密度等级的人数统计神经网络模型切换至与统计出的人数相匹配等级的人数统计神经网络模型。
于本发明的一实施例中，采用滞回方式切换人数统计神经网络模型，其具体包括：相邻等级的人数统计神经网络模型之间具有一重叠的人数区间。
于本发明的一实施例中，所述人群密度等级包括稀疏、中等、密集、及很密集；所述人数统计神经网络模型包括稀疏人群密度神经网络模型、中等人群密度神经网络模型、密集人群密度神经网络模型、及很密集人群密度神经网络模型。
为实现上述目的及其他相关目的，本发明提供一种基于场景密度分布的多神经网络人数统计系统，其包括：图像或视频摄取装置，用于摄取待统计人数的图；人数统计装置，通信连接所述图像或视频摄取装置；所述人数统计装置用于获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像，选用与各子图像的人群密度等级相匹配的人数统计神经网络模型，以统计各子图像中的人数，加总各子图像中的人数，以得到待统计人数的图像中的总人数。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于场景密度分布的多神经网络人数统计方法。
为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器、存储器、及收发器；所述存储器用于存储计算机程序，所述收发器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于场景密度分布的多神经网络人数统计方法。
如上所述，本发明的基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端，具有以下有益效果：本发明采用不同人群密度等级的神经网络模型统计各分割图像的人数并针对统计结果做适应性模型修正，且基于现有公共数据集以及实际的室内环境建立神经网络模型。因此，相比传统的检测方法，本发明配合针对不同密度场景训练的网络，更好地克服了高密度以及遮挡带来的问题，又相比于运用统一固定的网络统计方法，更好地实现了对不同密度场景或者是同一场景的不同密度部分的灵活人数统计。
附图说明
图1显示为本发明一实施例中基于场景密度分布的多神经网络人数统计方法的示意图。
图2显示为本发明一实施例中待统计人数的图像的示意图。
图3显示为本发明一实施例中基于场景密度分布的多神经网络人数统计方法的示意图。
图4显示为本发明一实施例中采用滞回方式的多神经网络模型的示意图。
图5显示为本发明一实施例中基于现有公共数据集建立神经网络模型的流程示意图。
图6显示为本发明一实施例中基于场景密度分布的多神经网络人数统计系统的示意图。
图7显示为本发明一实施例中电子终端的结构示意图。
元件标号说明
61图像或视频摄取装置
62人数统计装置
71处理器
72存储器
73收发器
74通信接口
75系统总线
s11～s13方法流程
s31～s36方法流程
s51～s54方法流程
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明提供基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端，用于统计人数，本发明能够适应疏密不同的场景并有效规避建筑物等背景的影响，从而提升系统的泛化能力及统计精度。下文将结合实施例说明本发明的实施方式及实现原理。
如图1所示，展示本发明一实施例中基于场景密度分布的多神经网络人数统计方法的流程示意图。于本实施例中，所述基于场景密度分布的多神经网络人数统计方法应用于智能终端。所述智能终端可以是移动终端，也可是固定终端；所述移动终端例如为手机、平板电脑、笔记本电脑、或者可穿戴设备等等，其中，所述可穿戴设备例如可以是智能手环、智能手表、智能头盔、或者智能眼镜等设备；所述固定终端例如为台式电脑、云端服务器等设备。
所述基于场景密度分布的多神经网络人数统计方法，针对视频数据流，可通过每隔几帧取出图像数据，并对各图像数据按照如下各步骤的方式进行人数统计；针对单张图像则可直接执行如下各步骤进行人数统计：
s11：获取基于人工分割图像所得到的多个不同人群密度等级的子图像。于本实施例中，由于相机的摆放位置相对固定，故可针对该相机拍摄的图像按照人群密度等级的不同进行人工分割，从而分为多个人群密度等级不同的子图像。
为便于描述，下面以图2所展示的场景为例来说明如何按照人群密度等级分割图像。于本实施例中，该场景展示一商场及其广场，将该场景按照人群密度等级的不同分为背景建筑区域、密集区域、及稀疏区域，其中，背景建筑物区域通常为无人区域，密集区域是指人群密度较高的区域，稀疏区域是指人群密度较为稀疏的区域。需要说明的是，本发明中场景分割的方式并不受限于本实施例中将场景横向分割的方式，且分割子场景的数量亦不限于本实施例中子场景的数量，例如在其它的实施例中可将场景按竖向分割，可分割为多于或少于3个子场景，本发明对此不作限定。
s12：选用与各子图像的人群密度等级相匹配的人数统计神经网络模型，以统计各子图像中的人数。需要说明的是，与各子图像的人群密度等级相匹配的人数统计神经网络模型包括一建立模型的过程，该过程将于下文中予以详细说明，此处仅涉及如何使用各人数统计神经网络模型。
可选的，所述人群密度等级可具体划分为稀疏、中等、密集、及很密集等多个等级，所述人数统计神经网络模型包括与各人群密度等级相对应的稀疏人群密度神经网络模型、中等人群密度神经网络模型、密集人群密度神经网络模型、及很密集人群密度神经网络模型。举例来说：将人数小于30人的图像对应的人群密度定为稀疏，将30～60人的图像对应的人群密度定为中等，将50～110人的图像对应的人群密度定为密集，将大于100人的图像对应的人群密度定为很密集。本领域技术人员应当知晓的是，本实施例中用于划分人群密度等级的人数只是一种示例，其并非用于限制本发明的范围。
仍以上文中图2为例，针对不同相机只需获取图像的输入端，并根据人流量变化的特点，不同人流密度的子图像分别采用与之相匹配的神经网络模型进行人数统计。具体的，背景建筑部分通常为无人区域，故可不进行人数统计；针对人工分割出的密集区域，则优先选用密集人群密度神经网络模型进行人数统计；针对人工分割出的稀疏区域，则优先选用稀疏人群密度神经网络模型。
值得注意的是，本发明提供的技术方案在人数统计之前先行进行图像分割，分割出的子图像采用与之匹配的神经网络模型分别进行人数统计，这样就有效规避了背景建筑的影响，从而大大提升了人数统计的效率和精度。
s13：加总各子图像中的人数，以得到待统计人数的图像中的总人数。仍以图2为例，该图像中的总人数即为背景建筑区域、密集区域、及稀疏区域的人数的加总。
需要说明的是，本发明适用于公共场合的人数统计，所述公共场合并不限于上文中的商场，其还可例如为机场、展览厅、游乐园、演唱会现场、或者景区等等，本发明对此不作限定。
如图3所示，展示本发明另一实施例中基于场景密度分布的多神经网络人数统计方法的流程示意图。于本实施例中，所述人数统计方法执行如下步骤：
s31：获取基于人工分割图像所得到的多个不同人群密度等级的子图像.
s32：选用与各子图像的人群密度等级相匹配的人数统计神经网络模型，以统计各子图像中的人数。
s33：加总各子图像中的人数，以得到待统计人数的图像中的总人数。
本实施例中步骤s31～s33的实施方式与图1对应的实施例中步骤s11～s13的实施方式类似，故不再赘述。
s34：判断统计出的子图像中的人数是否超出预设人数范围。
s35：若超出预设人数范围，则将当前密度等级的人数统计神经网络模型切换至与统计出的人数相匹配等级的人数统计神经网络模型。
s36：若未超出预设人数范围，则继续使用当前密度等级的人数统计神经网络模型。
具体的，当统计到的人数超过当前密度等级的人数统计神经网络模型的人数上限时，则切换至上一级密度等级的人数统计神经网络模型；当统计到的人数达到当前密度等级的人数统计神经网络模型的人数下限时，则切换至下一级密度等级的人数统计神经网络模型。本实施例的自动切换模型的功能，可以更加灵活地适应不同人群密度的场景以提高产品的鲁棒性；例如，通常人群密度较低的区域若突然迎来人流高峰，本发明会将神经网络模型及时调整至上一密度等级的人数统计神经网络模型，从而更好的适应当前实际场景以获取更加准确的统计结果。
优选的，在一实施例中，所述方法采用滞回方式切换人数统计神经网络模型。所述滞回方式具体是指相邻等级的人数统计神经网络模型之间具有一重叠的人数区间。为便于描述，下文以图4为例，解释说明如何采用滞回方式切换人数统计神经网络模型。
于图4中，人群密度等级由低到高分别设有人数统计神经网络模型1、人数统计神经网络模型2、及人数统计神经网络模型3，为便于描述，下文以模型1、模型2、模型3指代。其中，模型1与模型2重叠的人数区间为20人～30人，模型2与模型3重叠的人数区间为50～60人。
若针对一待统计人数的图像采用模型1进行人数统计，且统计结果超过模型1的人数上限30人，则将当前的模型1自动切换至模型2；若针对一待统计人数的图像采用模型2进行人数统计，且统计结果低于模型2的人数下限20人，则将当前的模型2自动切换至模型1。模型2与模型3之间的切换方式可基于模型1与模型2之间的切换方式进行，故不再赘述。
值得注意的是，相比于将模型切换的触发条件设为某一人数值，本发明将模型切换的触发条件设为一人数区间，这样的好处在于模型切换更加平稳，若模型切换条件为某个数值，则当统计人数在该数值附近浮动时会导致模型频繁的切换，从而导致人数统计输出显示不稳定的现象，严重影响了系统的稳定性。
上文就多神经网络人数统计方法的执行方法做了详细介绍，下文将针对如何建立不同人群密度等级的神经网络做进一步地说明。
建立不同人群密度等级的神经网络的方式包括：基于训练数据集获得适用于不同人群密度等级的多个人数统计神经网络模型。可选的，所述训练数据集例如为现有公共数据集，例如ucf_cc_50、ucsd、worldexpo、或者shanghaitech等数据集；所述训练数据集还可以是实时数据集，例如基于室内场景的数据集或者其它无背景需裁剪的实时图像等等。
如图5所示，展示本发明一实施例中基于现有公共数据集建立神经网络模型的流程示意图。于本实施例中，基于现有公共数据集建立神经网络模型执行如下各步骤：
s51：按照预设尺寸将现有公共数据集中的每张图像切分为多张切片。
也即，将公共数据集中的每张图像按照不同的人数要求截取切片，同时规避背景占据较多图像面积的情况。关于切片的窗口尺寸，本发明对此未作限定，例如可选用6:5、5:4、4:3、3:2、或者2:1等多种尺寸。
s52：判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求。需要说明的是，在建立神经网络模型的过程中，通过现有的人数统计方法进行人数统计，据以判断当前切片中的人数是否符合预设保存要求。现有的人数统计方法例如为：groundtruth统计方法或者通过对图像灰度化以后进行像素统计的方式等等，鉴于该些人数统计方法均为现有技术，故不再赘述。
具体的，判断当前切片中的人数及人员分布均匀程度是否符合预设保存要求的方式:具体执行如下各步骤：判断当前切片中的人数是否达标；若人数达标，则判断当前切片中的人数方差是否达标；若人数方差达标，则保存该切片；若人数不达标或人数方差不达标，则舍弃该切片。
其中，判断人数方差是否达标的目的在于舍弃哪些包含太多背景建筑的切片。因神经网络模型无需处理图像中大面积的建筑背景，故通过人数方差法减小建筑背景的干扰，以进一步提升模型建立的效率和精准度。
人数方差的计算方法如下：
s53：若符合，则保存该切片。
s54：若不符合，则将截取窗口移至下一切片。
对于现有公共数据集，由于该数据集已有现成的标签，故只需通过对图片进行不同人数要求的切割，以及按照不同人数密度汇总来达到密度分类及数据增强的目的。除了在现有公共数据集的基础上建立不同密度等级的神经网络模型之外，本发明还在实时数据集的基础上建立不同密度等级的神经网络模型，从而令神经网络模型更加适应于室内场景等实时图像场景的人数统计。
以室内视频作为实时数据集为例，由于室内视频截取的图像没有标签，需进行数据集标定并进行数据增强。所述数据集标定，是将数据集中无标签的图像进行标定，例如可使用监督式机器学习对无标签的数据进行标签的预测，因数据集标定技术已为现有，故不再赘述。所述数据增强，主要是指机器学习过程中需要大量的训练数据，但现实中数据集的数量有限，而过少的数据量极易造成过拟合问题，故需要增强数据以增大训练数据量。
在一可选的设计中，可通过改变实时数据集中的图像的明暗程度的方式来增强实时数据集，或者可通过改变实时数据集中的图像的背景颜色的方式来增强实时数据集，还可通过对实时数据集中的图像进行旋转、翻转、尺寸缩放、平移变换、对比度变换、噪声扰动、或者随机选择一块区域进行涂黑等操作实现数据增强，从而得到泛化能力更强的神经网络模型。
值得注意的是，现有的人数统计方法大多采用不考虑场景的通用一个或多个网络的方法，这对于场景人数疏密不定的情况而言，会导致泛化能力不足且精度较差等技术问题。本发明采用的基于场景密度分布的多神经网络人数统计方法则很好地解决了上述各技术问题，其采用不同人群密度等级的神经网络模型统计各分割图像的人数并针对统计结果做适应性模型修正，且基于现有公共数据集以及实际的室内环境建立神经网络模型。因此，相比传统的检测方法，本发明配合针对不同密度场景训练的网络，更好地克服了高密度以及遮挡带来的问题，又相比于运用统一固定的网络统计方法，更好地实现了对不同密度场景或者是同一场景的不同密度部分的灵活人数统计。也因此，本专利因此能更高效以及精确地实现对复杂场景例如商场，机场，游乐场，街道等的人数统计。
如图6所示，展示本发明一实施例中基于场景密度分布的多神经网络人数统计系统的示意图。所述人数系统包括图像或视频摄取装置61和人数统计装置62，所述图像或视频摄取装置61例如为照相机、视频摄像机、集成有光学系统或ccd芯片的摄像模块、或者集成有光学系统和cmos芯片的摄像模块等等；所述人数统计装置62例如为带有运算功能的智能终端，其可以是移动终端，也可是固定终端；所述移动终端例如为手机、平板电脑、笔记本电脑、或者可穿戴设备等等，其中，所述可穿戴设备例如可以是智能手环、智能手表、智能头盔、或者智能眼镜等设备；所述固定终端例如为台式电脑、云端服务器等设备。
具体的，所述图像或视频摄取装置61用于摄取待统计人数的图像；所述人数统计装置62通信连接所述图像或视频摄取装置61，用于获取基于人工分割所述图像所得到的多个不同人群密度等级的子图像，选用与各子图像的人群密度等级相匹配的人数统计神经网络模型，以统计各子图像中的人数，加总各子图像中的人数，以得到待统计人数的图像中的总人数。因基于场景密度分布的多神经网络人数统计系统的实施方式与上文中基于场景密度分布的多神经网络人数统计方法的实施方式类似，故不再赘述。
如图7所示，展示本发明一实施例中电子终端的结构示意图。本实施例提供的电子终端包括处理器71、存储器72、收发器73、通信接口74和系统总线75；存储器72和通信接口74通过系统总线75与处理器71和收发器73连接并完成相互间的通信，存储器72用于存储计算机程序，通信接口74和收发器73用于和其他设备进行通信，处理器71用于运行计算机程序，使电子终端执行如上人数统计方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(peripheralpomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提供的基于场景密度分布的多神经网络人数统计方法、系统、介质、及终端，其采用不同人群密度等级的神经网络模型统计各分割图像的人数并针对统计结果做适应性模型修正，且基于现有公共数据集以及实际的室内环境建立神经网络模型。因此，相比传统的检测方法，本发明配合针对不同密度场景训练的网络，更好地克服了高密度以及遮挡带来的问题，又相比于运用统一固定的网络统计方法，更好地实现了对不同密度场景或者是同一场景的不同密度部分的灵活人数统计。也因此，本专利因此能更高效以及精确地实现对复杂场景例如商场，机场，游乐场，街道等的人数统计。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
- 还没有人留言评论。精彩留言会获得点赞！