本发明属于计算机视觉、模式识别
技术领域：
：，具体涉及一种基于深度相机的人流量智能检测装置和检测方法。
背景技术：
：：随着国家高等教育的快速发展，高校在校生人数急剧增加，造成学校硬件资源状况紧张，为学生提供自习教室是一个难题。而大部分学生涌入图书馆自习，出现排队占座，一座难求的现象，每逢备考阶段尤甚。目前国内图书馆的藏书、目录资源都实现了数字化管理，唯有自习室座位资源还在人工管理阶段。有的高校也自主研发或者购买了座位管理系统。然而现有的网上订座系统需配合刷卡设备使用，工程量大，维护繁琐。如果应用校园一卡通计数，每逢早上开馆人流高峰时，学生需长时间排队刷卡，而且容易出现代替刷卡占座现象，不具有实时性且准确率低。技术实现要素：为了克服现有网上订座系统存在的问题，本发明提供一种基于深度相机，结合计算机视觉算法的图书馆自习室人流量智能检测方法。该方法可实时、准确统计各个自习室在座人数和空位数，将统计数据展示在图书馆的大型显示屏或图书馆微信公众号上，使各个自习室在座人数，空位数一目了然。方便想去图书馆学习的同学实时掌握情况，避免浪费时间。同时，本发明能提升图书馆的服务质量，提高有限教育资源的有效利用率。本发明提供一种人流量智能检测装置，其包括深度相机、工作主机、服务器、存放在服务器的数据库、存储在工作主机的人流量智能检测系统和显示平台。其中，所述深度相机安装在图书馆自习室入口处，垂直向下拍摄，通过安装在工作主机上的人流量智能检测系统产生人流量数据，通过网络将人流量数据传送到服务器数据库，将各自习室在座人数、空位数数据实时反馈到微信公众号平台以及图书馆大屏幕等显示平台上以方便读者。其中，所述人流量智能检测系统所采用的人流检测及跟踪算法包括：第一步，人流目标分割；第二步，人流目标检测；第三步，人流目标跟踪与计数。其中，所述第一步进一步具体为，第a步，读取深度图像；第b步，形态学处理；第c步，采用MSER(MaximallyStableExtremalRegions)最大稳定极值区域提取稳定极值区域。其中，在第b步骤中形态学处理，把深度图转换为灰度图，形态学处理就是把由深度图转换来的灰度图先腐蚀后膨胀，然后再中值滤波。其中，第c步骤中采用MSER算法提取特征点集具体为采用MSER算法进行稳定极值区域提取，然后计算稳定极值区域的周长与面积。其中，人流的目标检测具体分为训练阶段和检测阶段。其中，所述第二步进一步具体为，第a步，计算稳定极值区域轮廓的圆形度，由稳定极值区域的面积与周长求出稳定极值区域的圆形度，圆形度公式为：其中C为稳定极值区域的圆形度，A为稳定极值区域的面积，P为稳定极值区域的周长。第b步，使用训练得到的圆形度阈值与稳定极值区域所得出的圆形度对比，在符合圆形度阈值的前提下，稳定极值区域被判定为人头，即完成人流检测。所述第二步中进一步包括训练阶段和检测阶段。其中，在训练阶段具体步骤为，第1步，准备训练样本；第2步，计算样本人头的圆形度；第3步，确定人头圆形度的阈值；第4步，采用MSER提取稳定极值区域。其中，所述检测阶段具体步骤为，第1’步，计算稳定极值区域的圆形度；第2’步，使用训练得到的圆形度阈值与稳定极值区域所得出的圆形度对比，在符合圆形度阈值的前提下，计算稳定极值区域质心坐标，稳定极值区域被判定为人头，即可实现人流检测；第3’步，使用训练得到的圆形度阈值与稳定极值区域所得出的圆形度对比，在不符合圆形度阈值的前提下，重新进行第1’步。所述第三步中人流目标跟踪与计数具体为：人体头部特征在运动的过程中具有不变性，所以可以使用人头重心的运动代替整个人头的运动。本发明采用最小外接矩形的中心作为人头的重心。首先确定人头的最小外接矩形，然后求出外接矩形的中心点，此时外接矩形的中心点就是人头的重心。由于相邻帧同一人头重心的距离最近，所以可以依照相邻帧同一人头重心最近的原则进行匹配与跟踪。前后帧图像中同一学生头部重心位置的变化，判定学生是否进入设置区域。一旦进入该区域，则根据人流的运动方向，判定学生是进入还是走出图书室，从而可以统计出该时段进、出图书室的人数。有益的技术效果本发明提供的人流量智能检测方法与传统的统计方法相比，具有如下优势：1.利用深度相机生成深度图像，将深度图像转换成分层的灰度图像，提高人头识别率。与彩色摄像头相比，深度摄像头可获取场景的三维数据，同时，根据深度图像的不同深度用不同的灰度值来表示，即将获取的深度图像转换成不同层的灰度图像，从而降低人头识别难度，提高人头识别精度。2.采用双计数线进行人头计数，避免反复检测引起的重复计数一般情况下，当拥挤，遮挡时易出现同一学生反复处于识别区而出现反复检测，造成重复计数等问题。传统单计数线方式难于解决这类问题。采用一种由两条计数线，三种计数状态组成的计数方式，可以解决人群拥挤、遮挡，同一人员反复处于识别区，反复触发计数线产生重复计数等问题。附图说明图1为本发明微信公众号平台效果图；图2为本发明人流量智能检测系统的搭建流程框架；图3为本发明人流检测及跟踪算法框架；图4为本发明摄像头在出、入口处获得的图像，(a)原始彩色图像，(b)深度图像；图5为本发明形态学处理及中值滤波处理原始灰度图，图(a)原始灰度图像，(b)腐蚀与膨胀处理后的图像，(c)中值滤波处理后的图像；图6为本发明MSER处理后保留的稳定极值区域；图7为本发明人流目标检测流程图；图8为本发明经人流检测后的人头图像；图9为本发明人流检测双计数线。具体实施方式本发明提供一种人流量智能检测装置，其包括深度相机、工作主机、服务器、存放在服务器的数据库、存储在工作主机的人流量智能检测系统和显示平台。所述深度相机安装在图书馆自习室入口处，垂直向下拍摄，通过安装在工作主机上的人流量智能检测系统产生人流量数据，通过网络将人流量数据传送到服务器数据库，将各自习室在座人数、空位数数据实时反馈到微信公众号平台以及图书馆大屏幕等显示平台上以方便读者。图书馆管理者可以根据人流量的数据统计、分析各个时间段的读者分布情况，为图书馆制定应急措施提供参考依据。同时，精确地获取在馆人数，可使管理者根据人流量合理调整图书，合理优化图书管理员、安保、清洁等资源配置，促进图书馆工作效率的提高。所述人流量智能检测系统所采用的人流检测及跟踪算法包括：第一步，人流目标分割；第二步，人流目标检测；第三步，人流目标跟踪。所述第一步进一步具体为第a步，读取深度图像，具体为针对图书馆的环境，摄像头在出、入口处获得的图像，分别是彩色图像和深度图像；第b步，形态学处理，具体为采用一个根据实验获得的深度阈值范围，优选为0-3m，来去除人体以外的环境噪声，处理之后把深度图像再变为灰度图像，采用先腐蚀后膨胀和中值滤波的方法对灰度图像进行形态学处理；第c步，采用MSER(MaximallyStableExtremalRegions)最大稳定极值区域提取稳定极值区域。在第b步骤中形态学处理，采集来的深度图像由于深度范围过大而不能直接使用，需要选取合适的深度值并把深度图转换为灰度图。一般公交车出入口顶端距地面约2.4米至2.8米之间，故在深度图像转换为灰度图像时只选取深度值在0米至2.8米以内的深度值，其余深度信息舍弃，并把0至2.7米的灰度值归一化为0至255。这样做一方面可以消除大量的噪声，另一方面可以细化深度值，便于转换为灰度图后的人体头部特征的提取。形态学处理就是把由深度图转换来的灰度图先腐蚀后膨胀，然后再中值滤波。腐蚀是为了把小于结构元素的部分去除，而膨胀则是填补图像处理后的空洞。形态学处理方法可以有效去除图像中的毛刺。中值滤波可以使图像中人体轮廓边缘变得平滑。第c步骤中采用MSER算法提取特征点集具体为采用MSER算法进行稳定极值区域提取，然后计算稳定极值区域的周长与面积。求取周长的方法很多，但考虑到实时性的因素，使用快速的凸包算法来计算稳定极值区域轮廓的近似周长，MSER提取稳定极值区域是一个点集，点集的大小即是稳定极值区域的面积。由稳定极值区域的面积与周长求出稳定极值区域的圆形度，圆形度公式：其中C为稳定极值区域的圆形度，A为稳定极值区域的面积，P为稳定极值区域的周长。由于摄像头取值固定在门口出、入口的顶端，这种情况下人体头部可以作为人流检测的依据，人流的目标检测具体分为训练阶段和检测阶段。所述第二步进一步具体为，第a步，计算稳定极值区域轮廓的圆形度，第b步，使用训练得到的圆形度阈值与稳定极值区域所得出的圆形度对比，在符合圆形度阈值的前提下，稳定极值区域被判定为人头，即完成人流检测。所述第二步中进一步包括训练阶段和检测阶段，在训练阶段，采集身高在1.4米至2.3米人流的头部特征，这些特征包括标准人头的圆形度与标准人头的面积。经过反复的实验，证明标准人头圆形度的阈值为0.65，标准人头的圆形度在0.65至1之间。检测阶段就是使用稳定极值区域的圆形度与圆形度阈值对比，若符合圆形度阈值则视该稳定极值区域为人头。采用MSER提取稳定极值区域时会对图像中同一极值稳定区域多次提取，为了去除重复提取的人头，利用对同一人头多次提取的稳定极值区域重心坐标相近的原理进行去重处理。在训练阶段具体步骤为，第1步，准备训练样本；第2步，计算样本人头的圆形度；第3步，确定人头圆形度的阈值；第4步，采用MSER提取稳定极值区域；所述检测阶段具体步骤为，第1’步，计算稳定极值区域的圆形度；第2’步，使用训练得到的圆形度阈值与稳定极值区域所得出的圆形度对比，在符合圆形度阈值的前提下，计算稳定极值区域质心坐标，稳定极值区域被判定为人头，即可进行人流检测；第3’步，使用训练得到的圆形度阈值与稳定极值区域所得出的圆形度对比，在不符合圆形度阈值的前提下，重新进行第1’步。所述第三步中基于人头重心进行运动跟踪，具体为在划定特定的区域进行人流跟踪，具体为设置一个区域，该区域为人流上下车时必通过的区域，当人流上下车时，人体头部在这一区域里面会被持续检测为人头，对于非人体头部的稳定极值区域，即使在视频的某些帧中被错检为人头，也会因为人体运动而导致检测条件的不稳定，从而排除被错检的可能，根据已被检测人头的重心在该区域里的运动方向来完成人流的跟踪。人流的人体头部特征在运动的过程中具有不变性，所以可以使用人头重心的运动代替整个人头的运动。传统求取物体重心的方法是通过遍历稳定极值区域的每一个像素值，并利用重心公式计算出稳定极值区域的重心坐标，这种方法虽然可以求出标准的重心，但由于涉及稳定极值区域中每个像素值的计算，影响整个系统的实时性。为了能够快速求出稳定极值区域的重心，满足实时性的要求，本文采用最小外接矩形的中心作为人头的重心。首先确定人头的最小外接矩形，然后求出外接矩形的中心点，此时外接矩形的中心点就是人头的重心。由于相邻帧同一人头重心的距离最近，所以可以依照相邻帧同一人头重心最近的原则进行匹配与跟踪。以下采用实施例和附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。本发明的实施方案如下所示：1.人流量智能检测系统的搭建框架通过多个深度相机采集图书馆自习室出、入口处视频，传送至图书馆工作主机，通过安装在工作主机上的图像处理程序产生人流量数据，并通过网络实时保存至服务器数据库，将数据库数据实时反馈到图书馆大屏幕以及微信公众号平台，如图1所示。系统搭建框架如图2所示。2.人流检测及跟踪算法本发明提出一种基于深度图像的人流检测及跟踪算法，本算法分为人流目标分割和人流目标检测与跟踪两大部分，算法框架如图3所示。针对图书馆的环境，摄像头在出、入口处获得的图像，如图4所示。分别是彩色图像和深度图像。采用一个深度阈值范围来去除人体以外的环境噪声，处理之后把深度图像再变为灰度图像。本文采用先腐蚀后膨胀和中值滤波的方法对灰度图像进行形态学处理，接着使用MSER(MaximallyStableExtremalRegions)最大稳定极值区域提取稳定极值区域并计算稳定极值区域轮廓的圆形度，然后使用训练得到的圆形度阈值与稳定极值区域所得出的圆形度对比，在符合圆形度阈值的前提下，稳定极值区域被判定为人头，即完成人头检测。完成人流的分割及人流人头检测后，划定特定的区域进行人流的跟踪。首先设置一个区域，该区域为人流上下车时必通过的区域，当人流上下车时，人体头部在这一区域里面会被持续检测为人头。对于非人体头部的稳定极值区域，即使在视频的某些帧中被错检为人头，也会因为人体运动而导致检测条件的不稳定，从而排除被错检的可能。根据已被检测人头的重心在该区域里的运动方向来完成人流的跟踪。2.1人流目标分割2.1.1形态学处理采集来的深度图像由于深度范围过大而不能直接使用，需要选取合适的深度值并把深度图转换为灰度图。一般公交车出入口顶端距地面约2.4米至2.8米之间，故在深度图像转换为灰度图像时只选取深度值在0米至2.8米以内的深度值，其余深度信息舍弃，并把0至2.7米的灰度值归一化为0至255。这样做一方面可以消除大量的噪声，另一方面可以细化深度值，便于转换为灰度图后的人体头部特征的提取。形态学处理就是把由深度图转换来的灰度图先腐蚀后膨胀，然后再中值滤波。腐蚀是为了把小于结构元素的部分去除，而膨胀则是填补图像处理后的空洞。形态学处理方法可以有效去除图像中的毛刺。中值滤波可以使图像中人体轮廓边缘变得平滑，结果如图5所示。2.1.2采用MSER提取特征点集采用MaximallyStableExtremalRegions算法进行稳定极值区域提取，然后计算稳定极值区域的周长与面积，提取的图像如图6所示。求取周长的方法很多，但考虑到实时性的因素，使用快速的凸包算法来计算稳定极值区域轮廓的近似周长，MSER提取稳定极值区域是一个点集，点集的大小即是稳定极值区域的面积。由稳定极值区域的面积与周长求出稳定极值区域的圆形度，圆形度公式：其中C为稳定极值区域的圆形度，A为稳定极值区域的面积，P为稳定极值区域的周长。2.2人流目标检测与跟踪2.2.1基于人头圆形度的人头检测摄像头取值固定在门口出、入口的顶端，这种情况下人体头部可以作为人流检测的依据，人流的目标检测分为训练和检测两个阶段，流程如图7所示。在训练阶段，采集身高在1.4米至2.3米人流的头部特征，这些特征包括标准人头的圆形度与标准人头的面积。经过反复的实验，证明标准人头圆形度的阈值为0.65，标准人头的圆形度在0.65至1之间。检测阶段就是使用稳定极值区域的圆形度与圆形度阈值对比，若符合圆形度阈值则视该稳定极值区域为人头。采用MSER提取稳定极值区域时会对图像中同一极值稳定区域多次提取，为了去除重复提取的人头，利用对同一人头多次提取的稳定极值区域重心坐标相近的原理进行去重处理，图8是经过客检测后留下来的稳定极值区域。2.2.2基于人头重心的人流跟踪人流的人体头部特征在运动的过程中具有不变性，所以可以使用人头重心的运动代替整个人头的运动。传统求取物体重心的方法是通过遍历稳定极值区域的每一个像素值，并利用重心公式计算出稳定极值区域的重心坐标，这种方法虽然可以求出标准的重心，但由于涉及稳定极值区域中每个像素值的计算，影响整个系统的实时性。为了能够快速求出稳定极值区域的重心，满足实时性的要求，本文采用最小外接矩形的中心作为人头的重心。首先确定人头的最小外接矩形，然后求出外接矩形的中心点，此时外接矩形的中心点就是人头的重心。由于相邻帧同一人头重心的距离最近，所以可以依照相邻帧同一人头重心最近的原则进行匹配与跟踪。所有上述的首要实施这一知识产权，并没有设定限制其他形式的实施这种新产品和/或新方法。本领域技术人员将利用这一重要信息，上述内容修改，以实现类似的执行情况。但是，所有修改或改造基于本发明新产品属于保留的权利。以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。当前第1页1 2 3 当前第1页1 2 3