一种排队长度自动检测方法及排队长度控制方法与流程

本发明涉及图像处理技术领域，特别是涉及一种排队长度自动检测方法及排队长度控制方法。

背景技术：

在机场等公共环境中，旅客在办理登机牌和进入安检口时，经常需要排队等候，由于人员比较集中，当人数较多时旅客排队等候时间就会延长，从而引起旅客的焦躁情绪；同时，旅客需要提前很长时间到达机场以避免延误班机，大大降低了旅客的乘机体验。在医院等公共场合同样存在以上问题。

现有的解决方法是机场的工作人员通过人工疏导，减少旅客的排队等候时间；由于人工疏导完全靠工作人员对现场情况的把控，费时费力，且效率也相当低。

因此，如何更好的服务旅客，减少旅客排队等候时间，提高机场工作效率减少人力资源开销已成为本领域技术人员亟待解决的问题之一。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种排队长度自动检测方法及排队长度控制方法，用于解决现有技术中人工疏导费时费力的问题。

为实现上述目的及其他相关目的，本发明提供一种排队长度自动检测方法，所述排队长度自动检测方法至少包括：

步骤s1：获取行人排队视频，录入所述行人排队视频；

步骤s2：基于人体结构模型算法检测所述行人排队视频中的行人；

步骤s3：检测到行人后，基于特征在线选择提升算法不断更新行人图像特征值，以对行人进行跟踪定位；

步骤s4：根据检测到的行人，拟合行人的队列形状曲线；

步骤s5：图像标定，将图像坐标转换为世界坐标；

步骤s6：根据所述队列形状曲线计算队列的实际长度和相邻行人之间的距离，从而计算得到队列中的人数。

优选地，步骤s2具体包括：根据人体结构构造一基于行人部件的二维模型，通过提取行人图像的结构特征与二维模型进行匹配，从而识别行人。

优选地，所述在线提升算法进一步包括：n个特征选择器，作为强分类器；m个特征构成一特征池，作为弱分类器；当新样本到达时，n个特征选择器依次生成，每次生成均对m个特征的累积分类正确样本权值和累积分类错误样本权值进行更新，各特征选择器将当前最小累积错误率的特征作为其对应的弱分类器，n个特征选择器组合形成强分类器，目标新位置通过在上一帧时目标位置附近范围内用强分类器评价决定。

更优选地，对m个特征的累积分类正确样本权值和累积分类错误样本权值进行更新的方法具体包括：

当hm(x)＝y时，

当hm(x)≠y时，

其中，hm,(m＝1,...,m)为特征，x为与目标区域等大小的窗口图像，y用于表示正样本或负样本，y＝0为负样本，y＝1为正样本，为累积分类正确样本权值，为累积分类错误样本权值，λ为样本当前的权值，初始值为1。

更优选地，所述强分类器由n个特征选择器按权重组合形成：

权重αn满足如下关系：

其中，为特征选择器，εn为特征n对应的累积错误率。

更优选地，目标新位置满足如下关系：

其中，pw(w＝1,...,w)为搜索范围内的目标候选位置，

为特征选择器，αn为权重。

更优选地，所述在线提升算法中的特征包括：haar特征，边缘方向直方图特征及基于空间块状信息的局部二值模式的特征。

更优选地，所述haar特征的计算方法采用积分直方图。

更优选地，所述边缘方向直方图特征的计算方法如下：将像素点梯度的方向θ在区间θ∈(-π,π]内量化为多个角度区域，并对区域内每个像素点的梯度进行统计，将对应的幅值加入对应的角度并获得直方图。

更优选地，所述像素点梯度的方向满足如下关系：

其中，在水平方向上提取梯度幅值在垂直方向上梯度的幅值a为样本图像输入，*为二维卷积运算。

优选地，将具有不同半径和采样点数的局部二值模式算子取并集得到基于空间块状信息的局部二值模式的特征：

其中，lbp为局部二值模式特征值，p为相邻像素点的个数，r为半径。

优选地，采用基于ransac的最小二乘多项式曲线拟合方法来拟合所述队列形状曲线。

为实现上述目的及其他相关目的，本发明提供一种排队长度控制方法，所述排队长度控制方法至少包括：

在需要进行排队长度控制的场合设置监控装置，采集行人排队视频；

采用上述排队长度自动检测方法对排队长度进行检测；

当排队长度超出预设人数时，向客户端发出预警信息，客户端调整排队队列，解决排队等候问题。

优选地，客户端调整排队队列的方法包括：调整服务窗口、统计客流量或引导行人排队。

如上所述，本发明的排队长度自动检测方法及排队长度控制方法，具有以下有益效果：

本发明的排队长度自动检测方法及排队长度控制方法能快速、准确的检测出监控场景中的行人排队长度，避免目标丢失的问题，减少漏检；通过实时监控排队情况，及时调整办理窗口，从而有效的解决排队等候的问题，更好的服务旅客。

附图说明

图1显示为本发明的排队长度自动检测方法的流程示意图。

图2～图4显示为本发明的三个局部二值模式特征的示意图。

图5显示为本发明的基于空间块状信息的局部二值模式算法中的8*8斑块示意图。

图6显示为本发明的基于空间块状信息的局部二值模式算法中的像素点的直方图示意图。

图7显示为本发明的队列中的人数计算原理示意图。

图8显示为本发明的排队长度控制方法的示意图。

元件标号说明

r1～r3采样半径

s1～s6步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1～图7。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本发明提供一种排队长度自动检测方法，包括以下步骤：

步骤s1：获取行人排队视频，录入所述行人排队视频。

具体地，从监控系统中获取行人排队的视频，将所述行人排队视频录入本发明的检测系统中。

步骤s2：基于人体结构模型算法检测所述行人排队视频中的行人。

具体地，采用基于形状的方法构建基于人体结构模型的行人检测算法。在本实施例中，通过构造人体模型来识别行人。更具体地，根据人体结构构造一基于行人部件的二维模型，通过提取行人图像的结构特征(人体构造)与二维模型进行匹配；若提取到的行人图像的部分结构特征与二维模型中相应的人体结构模型匹配，则检测到行人；若提取到的行人图像的部分结构特征与二维模型中相应的人体结构模型不匹配，则未检测到行人。该方法可以有效处理遮挡问题，并可以推断出人体的姿态。

步骤s3：检测到行人后，基于特征在线选择提升算法不断更新行人图像特征，以对行人进行跟踪定位。通过在线选择提升算法有效解决上一帧检测到目标，而当前帧目标丢失的问题，减少漏检。

所述在线提升算法中的强分类器包括n个特征选择器各特征选择器共用一个特征池，所述特征池包括m个特征hm,(m＝1,...,m)，所述m个特征代表弱分类器。所述在线提升算法一直维持和更新各特征的累积分类正确样本权值和分类错误样本权值以此实现对行人的跟踪。

具体地，在目标定位后，将跟踪窗口内的目标区域作为正样本，将跟踪窗口外和目标等大小的若干背景区域作为负样本。当新样本(x,y),y∈{0,1}到达时，n个特征选择器依次生成，每次生成均对m个特征hm,(m＝1,...,m)进行更新，其中，新样本(x，y)为当前帧图像中跟踪窗口内的目标区域(正样本)及跟踪窗口外与目标区域等大小的若干背景区域(负样本)，x为与目标区域等大小的窗口图像，y用于表示正样本或负样本，y＝0为负样本，y＝1为正样本：

当hm(x)＝y时，

当hm(x)≠y时，

其中，λ为样本当前的权值，初始值为1。

更新完毕后，各特征选择器将挑选当前最小累积错误率的特征作为其对应的弱分类器：(m⁺即当前最小累积错误率的特征)，其中，εm为每个特征的累积错误率，其中，特征n的累积错误率对应的权重为εn为特征n对应的累积错误率，当前最小累积错误率。

第n个特征选择器生成后样本(x,y)的权值λ也根据是否被错分来进行增加或减少。经过n次挑选后强分类器由这个挑选出来的特征按照各自的权重组合而成：

目标新位置通过在上一帧时目标位置附近范围内用强分类器评价决定。设搜索范围为s，搜索范围s内的目标候选位置为pw(w＝1,...,w)，目标新位置为xnew，则其中，w⁺为经过n个强分类器的总评价最大的候选位置，满足下式：

其中，即在候选位置为pw处经过特征n的特征选择器的值，从上式可以看出目标定位时需要n个特征选择器在w个候选位置上进行评价。

具体地，在本实施例中，所述在线选择提升算法的特征包括：haar特征，边缘方向直方图特征和基于空间块状信息的局部二值模式的特征，在目标整体区域内生成，通过三种特征的计算分别对具有明显矩形特性的图像、边缘图像及全局纹理进行识别，减少单一特征带来的误差和错误。

更具体地，haar特征分为四类：边缘特征、线性特征、中心特征和对角线特征，这四类特征组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。在本实施例中，采用积分直方图对haar特征进行计算，只遍历一次图像就可以求出图像中所有区域像素的和，可大大的提高了图像特征值计算的效率。积分直方图主要的思想是将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存在内存中，当要计算某个区域的像素和时可以直接索引数组的元素，不用重新计算这个区域的像素和，从而加快了计算。积分直方图能够在多种尺度下，使用相同的时间(常数时间)来计算不同的特征，因此大大提高了检测速度。通过大量的具有比较明显的haar特征(矩形)的物体图像用模式识别的方法训练出分类器，分类器是个级联的，每级都以大概相同的识别率保留进入下一级的具有物体特征的候选物体，而每一级的子分类器则由许多haar特征构成(由积分直方图计算得到，并保存下位置)，有水平的、竖直的、倾斜的，并且每个特征带一个阈值和两个分支值，每级子分类器带一个总的阈值。识别物体的时候，同样计算积分直方图为后面计算haar特征做准备，然后采用与训练的时候有物体的窗口同样大小的窗口遍历整幅图像，以后逐渐放大窗口，同样做遍历搜索物体；每当窗口移动到一个位置，即计算该窗口内的haar特征，加权后与分类器中haar特征的阈值比较从而选择左或者右分支值，累加一个级的分支值与相应级的阈值比较，大于该阈值才可以通过进入下一轮筛选。

更具体地，边缘方向直方图特征的提取过程如下：设样本图像输入为a，利用边缘算子在水平方向上提取梯度幅值为gx，在垂直方向上梯度的幅值为gy，计算公式如下，其中*为二维卷积运算：

定义在这个像素点上梯度的幅值gmxy满足如下关系：

其次定义该像素点梯度的方向θ满足如下关系：

最后将该像素点梯度的方向θ在区间θ∈(-π,π]内量化为nc个角度区域，并对区域内每个像素点的梯度进行统计，将对应的幅值加入对应的角度并获得直方图。直方图内每个统计区间的特征值即为我们需要的边缘特征，将其收集到整个特征向量中即可。

更具体地，由于纹理特征受到光照等的影响较小，因此选择局部二值模式作为行人区域的局部纹理特征。局部二值模式通过分析像素点与其周围像素点之间的关系来获取特征值的。对于相邻的像素点来说，中央的像素点的局部二值模式通过如下方法计算：将相邻的像素点的数值gp与中心像素点的灰度值gc进行比较，若大于中心像素点的灰度值则记为1，若小于中心像素点的灰度值则记为0，反之亦可。此后以某一固定的位置为起始点，以顺时针方向链接获得的二值数据得到长度为八位的二值数据串，将其转化为十进制数据，便得到该像素点的局部二值模式特征值。计算方法如下：

其中，lbp为局部二值模式特征值，p为相邻像素点的个数，r为半径，gp为相邻的像素点的数值，gc为中心像素点的灰度值。

局部二值模式很好地描述了行人的局部纹理信息，但是不能描述行人的全局信息，如行人衣服上的图案会使行人检测精度下降。进一步地，在本实施例中提出了基于空间块状信息的局部二值模式算法，在本实施例中，斑块大小设定为8*8，在实际使用中，可根据算法要求设定所述斑块的大小，不以本实施例为限。

如图2～图4所示，在本实施例中，将3个具有不同半径和采样点数的局部二值模式算子连接起来得到基于空间块状信息的局部二值模式的特征l。如图2所示，第一局部二值模式特征的采样半径为r1，采样点数为8个；如图3所示，第二局部二值模式特征的采样半径为r2，采样点数为12个；如图4所示，第三局部二值模式特征的采样半径为r3，采样点数为16个；其中r1<r2<r3。使得对于图像的每个点可以得到3个不同的局部二值模式特征lbpp,r，这些特征的并集包含了图像最重要的纹理信息：

如图5所示，在斑块的块状区域内计算每个像素点的梯度，并计算梯度的幅值和方向，与边缘方向直方图特征中计算梯度的幅值和方向的方法一致，在此不一一赘述。如图6所示，统计块状区域内8个方向(0到360度，每45度一个方向)的像素点的直方图统计，直方图统计结果为特征向量(8维的特征向量)。

步骤s4：根据检测到的行人，拟合行人的队列形状曲线。

具体地，采用基于ransac的最小二乘多项式曲线拟合方法来拟合队列形状曲线。ransac算法(randomsampleconsensus，随机抽样一致算法)是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。它于1981年由fischler和bolles最先提出。ransac算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时ransac也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。ransac基本思想描述如下：①考虑一个最小抽样集的势为b的模型(b为初始化模型参数所需的最小样本数)和一个样本集q，集合q的样本数#(q)>b，从q中随机抽取包含b个样本的q的子集t初始化模型d；②余集tc＝q\t中与模型d的误差小于某一设定阈值t的样本集以及t构成t*。t*认为是内点集，它们构成t的一致集(consensusset)；③若#(t*)≥b，认为得到正确的模型参数，并利用集t*(内点inliers)采用最小二乘等方法重新计算新的模型d*；重新随机抽取新的t，重复以上过程。④在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集判断内外点，算法结束。

步骤s5：图像标定，将图像坐标转换为世界坐标。

步骤s6：根据队列形状曲线计算队列实际长度和相邻行人之间的距离，从而计算得到队列中的人数。

如图7所示，根据曲线拟合计算曲线长度，即排队的长度l，根据排队的长度l和队列中相邻人之间的距离d，计算队列中的人数，计算公式如下：

人数＝l/d。

本发明能够在不同应用场景、不同气候和光照条件下进行实时、有效、快速和准确的行人排队长度检测。

如图8所示，本发明还提供一种排队长度控制方法，所述排队长度控制方法至少包括：

在需要排队长度控制的场合设置监控装置，采集行人排队视频。

具体地，在需要进行排队长度控制的场合，例如机场、医院等公共环境，设置监控探头等监控装置。

采用上述排队长度自动检测方法对排队长度进行检测。

具体地，基于人体结构模型算法检测行人；采用特征在线选择提升算法跟踪行人，主要解决上一帧检测到目标而当前帧目标丢失的问题，减少漏检，特征在线选择提升算法的特征采用的是haar特征，边缘方向直方图特征和基于空间块状信息的局部二值模式的特征，在线选取特征的方法根据目标所处场景自动选取具有表现力的特征可以提高跟踪效果；根据检测到的人，采用基于ransac的最小二乘多项式曲线拟合方法拟合人的队列形状，从而估计队列的长度；通过图像标定实现图像坐标系到世界坐标系的转换，从而计算实际排队的长度；根据曲线拟合计算曲线长度，即排队的长度，再根据排队的长度和队列中相邻人之间的距离，计算队列中的人数。具体方法参见上文，在此不一一赘述。

当排队长度超出预设人数时，向客户端发出预警信息，客户端调整排队队列，解决排队等候问题。

具体地，客户端调整排队队列的方法包括：运营管理中心接收到预警信息后，及时增加服务窗口，缓解排队等候的时间；客户端对行人流量进行统计；工作人员或预警指示及时引导行人排队，将人多的队列中的行人引导至人少的队列；从而有效的解决排队等候的问题，更好的服务旅客。

本发明可以实时监控办理登机区域和安检口区域的排队情况，及时调整排队队列，有效解决排队等候的问题。

综上所述，本发明提供一种排队长度自动检测方法及排队长度控制方法，基于人体结构模型算法检测行人；采用特征在线选择提升算法跟踪行人，主要解决上一帧检测到目标而当前帧目标丢失的问题，减少漏检，特征在线选择提升算法的特征采用的是haar特征，边缘方向直方图特征和基于空间块状信息的局部二值模式的特征，在线选取特征的方法根据目标所处场景自动选取具有表现力的特征可以提高跟踪效果；根据检测到的人，采用基于ransac的最小二乘多项式曲线拟合方法拟合人的队列形状，从而估计队列的长度；通过图像标定实现图像坐标系到世界坐标系的转换，从而计算实际排队的长度；根据曲线拟合计算曲线长度，即排队的长度，再根据排队的长度和队列中相邻人之间的距离，计算队列中的人数。本发明的排队长度自动检测方法及排队长度控制方法能快速、准确的检测出监控场景中的行人排队长度，避免目标丢失的问题，减少漏检；通过实时监控排队情况，及时调整办理窗口，从而有效的解决排队等候的问题，更好的服务旅客。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。