一种基于队列状态分析的客流计数方法与流程

本发明涉及视频检测领域，尤其涉及一种基于队列状态分析的客流计数方法。

背景技术：

在商场、购物中心、机场、车站等公共场所的管理和决策中，人流量是不可缺少的数据。通过对人流量，即进出人数的统计，可以实时有效的监控、组织公共场所的运营工作，为人们提供更安全的环境和更优质的服务。以商场为例，人流量是非常基础和重要的指标，和商场的销售量密切相关，如果知道比较准确和真实的人流量，可以为销售、服务和物流提供可靠的参考信息。

传统的人数计数方法是利用人工检测，或接触式设备，但是随着信息化时代的到来，发明一种自动人数统计方法显得十分必要。智能化人数统计技术是利用计算机视觉和图像处理相结合的方法建立起来的智能管理系统，在不需要人工干预的情况下，只需要通过对摄像机拍摄的视频序列进行实时分析来实现客流人数统计。

在现有技术中，可在超市、商场的出入口处设置摄像头，并通过图像视频识别技术对进出的人数进行统计。然而，这种方式存在较大的误差。因为，并非所有进出商场、超市的行人都是顾客或者消费者。如果将进出商场、超市的工作人员、执行临时工作的人员进出时，也会被摄像头所捕获，从而造成客流统计的不准确。虽然，现有技术中也有类似基于采集工作人员服装颜色并在总的客流数量中剔除工作人员的技术方案。但是这种现有技术需要对工作人员的服装、肤色进行大量的正负样本的采集，操作繁琐，计算开销较大。尤其是，当工作人员在四季更换服装时，需要更换旨在剔除包含工作人员的正样本，这也在一定程度上也增加了对商场、超市等环境复杂场所对客流进行统计的难度与计算开销。

技术实现要素：

本发明的目的在于公开一种基于队列状态分析的客流计数方法，用以实现对行人通过形状规则的通道时进行客流统计，提高客流统计效率与速度，并降低计算开销。

为实现上述目的，本发明提供了一种基于队列状态分析的客流计数方法，包括以下步骤：

S1、获取监控区域的视频流图像作为输入图像；

S2、使用设定区域在输入图像中规划出至少一个客流队列区域；

S3、将客流队列区域分割为宽度不小于行人肩宽的若干子区域；

S4、采用背景差分法并结合背景更新机制以提取客流队列区域内的前景区域；

S5、计算各子区域中前景像素所占比例，当大于或者等于阈值P时，判定该子区域逻辑状态为1，否则判定该子区域逻辑状态为0，然后将所有子区域的逻辑状态存入数组，通过数组中逻辑状态为1的数量统计客流队列区域中的人数。

作为本发明的进一步改进，所述步骤S1具体为：通过摄像机获取监控区域的视频流图像作为输入图像，所述监控区域位于摄像机的正下方。

作为本发明的进一步改进，所述步骤S2中的设定区域呈轴对称形状。

作为本发明的进一步改进，所述步骤S2中的设定区域包括矩形、正方形、椭圆形、圆形、半圆形、半椭圆形或者等边三角形。

作为本发明的进一步改进，所述步骤S3中所有子区域的宽度均相等。

作为本发明的进一步改进，所述步骤S4中的“背景更新机制”具体为：在当前帧输入图像F_t(x，y)及前一帧背景图像B_t-1(x，y)同时符合以下两个条件时，将当前帧输入图像F_t(x，y)定义为新的背景图像，以共同对下一帧输入图像作预测更新；其中，

条件一：当前帧输入图像F_t(x，y)与前一帧背景图像B_t-1(x，y)的帧间差别小于阈值δ，

条件二：在时间间隔τ内采样的前一帧输入图像与当前帧输入图像F_t(x，y)的帧间差别小于阈值δ。

作为本发明的进一步改进，所述阈值δ为子区域中像素总数的50％，所述时间间隔τ为0.5秒。

作为本发明的进一步改进，所述步骤S5具体为：

统计各子区域中前景像素所占比例，当子区域中所包含的前景像素的比例大于或者等于阈值P，则判定该子区域的逻辑状态为1，当子区域中所包含的前景像素比例小于阈值P，则判定该子区域的逻辑状态为0，所述阈值P为50％；

将所有子区域的逻辑状态存入数组，通过计算数组中逻辑状态为1的数量统计客流队列区域中的人数。

作为本发明的进一步改进，所述步骤S5还包括，使用与客流队列区域中子区域相同的检测区域，将该检测区域的中心滑动至相邻子区域的交界处，统计该检测区域中所包含的前景像素的数量；当检测区域中所包含的前景像素的比例大于或者等于阈值P时，将该检测区域所衔接的相邻的两个子区域中任意一个原逻辑状态为0的子区域的逻辑状态重置为1。

作为本发明的进一步改进，在所述步骤S5之后还包括以下步骤：对客流队列区域中位于端部的子区域设定标志区域，以对所述位于端部的子区域执行跟踪，从而确定该客流队列区域中所有行人已通过客流队列区域，当标志区域离开客流队列区域，开始对下一客流队列进行计数。

与现有技术相比，本发明的有益效果是：在本发明中，实现了对行人通过形状规则的通道时进行客流统计，提高了客流统计效率与速度，并显著降低了计算开销，具有良好的市场前景与商业价值。

附图说明

图1为本发明一种基于队列状态分析的客流计数方法具体实施方式的流程示意图；

图2为图1所示的获取监控区域的视频流图像的工作原理示意图；

图3为步骤S2中的设定区域为矩形的示意图；

图4为将客流队列矩形区域分割为若干子区域示意图；

图5采用为子区域相同的检测区域对相邻的两个子区域进行滑动检测的示意图；

图6为引用本发明一种基于队列状态分析的客流计数方法的一种应用实例图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

请参图1至图6所示出的本发明一种基于队列状态分析的客流计数方法的一种实施方式。

在本实施方式中，该基于队列状态分析的客流统计方法基于固定或者移动式的图像采集装置，例如摄像机、照相机、安装在轨道上的摄像机或者照相机对室内或者室外中位置相对固定的收银台、检票处、机场安检通道等场所中具有一定通过规律的行人进行计数统计，并包括以下步骤。

首先，执行步骤S1、获取监控区域的视频流图像作为输入图像。

本实施方式所示出的一种基于队列状态分析的客流计数方法是基于摄像机垂直拍摄并适用于室外情况和/或室内情况。

如图2所示，在本实施方式中，该步骤S1具体为：通过摄像机10获取监控区域30的视频流图像作为输入图像，所述监控区域30位于摄像机10的正下方。

具体的，摄像机10设置在入口20附近的正上方，行人可沿着箭头201的方向上由入口20进入监控区域30。摄像机10所获取的监控区域30可完全覆盖出入口20的全部区域。例如，当监控区域30设置在超市收银处的条状区域中时，该监控区域30既可以是其中一个收银台的引导栏杆围合形成的区域，也可以是由多个收银台的引导栏杆围合形成的区域，具体请参图6所示。

在图2中，该监控区域30为矩形，当然也可以为正方形或圆形或者其他形状。摄像机10位于监控区域30的中心点301的正上方，由此我们可以推导出，该监控区域30位于摄像机10的正下方。因此，结合图6所示，既可将摄像机10设置在监控区域30的顶部，可仅将摄像机10设置在收银台A、收银台B及收银台C的三个收银通道所在的区域的正上方或者斜上方，从而通过一台摄像机10或者多台摄像机10分别对各个收费通道中所通过的客流所形成的视频流图像进行实时采集。

接下来，执行步骤S2、使用设定区域在输入图像中规划出至少一个客流队列区域。

具体的，参图3所示，摄像机10由监控区域30获取的视频流图像包含客流队列区域302，即客流队列区域302只是输入图像中的组成部分。为降低计算消耗，本实施方式仅对输入图像中的客流队列区域302进行分析并通过在一定时间内连续通过该客流队列区域302的行人的数量，而无需对设置在超市大门出入口的客流进行统计，从而避免了进出超市大门出入口的工作人员所形成的客流对购买商品的顾客所形成的真实的客流的干扰，提高了对超市中采购商品的顾客进行客流统计并计数的准确性。

如图6所示，在监控区域30中形成三个客流队列区域，即客流队列区域3021、客流队列区域3022及客流队列区域3023。客流队列区域3021中被矩形的设定区域规划出七个子区域，即子区域3031～子区域3037；客流队列区域3022中被矩形的设定区域规划出七个子区域，即子区域3131～子区域3137；客流队列区域3023中被矩形的设定区域规划出七个子区域，即子区域3231～子区域3237。收银台A、收银台B及收银台C可分别位于三个客流队列区域的一侧。

在图6中，每个子区域的宽度可接近正常男性的身高，行人可在三个客流队列区域中自左向右顺次通过。每个收银台的上方可设置一个摄像机10，以获取输入图像；当然，也可在收银区的上方设置一个全景摄像机，分别拍摄多队行人，并在输入图像中规划出三个客流队列区域。由于行人在三个客流队列区域中的运动轨迹相对固定，因此采用这种方式获取的输入图像中的行人具有较好的规律性，便于后期对行人进行跟踪及计数操作。

在图3中，通过矩形的设定区域选定监控区域30中的客流队列区域302。由于商场收银通道处的客流队列区域相对固定，通过呈矩形的设定区域预先设定客流队列区域是可行且高效的。

具体的，在本实施方式中，该矩形的设定区域所形成的客流队列区域302由其左上角坐标(x₁，y₁)及右下角坐标(x₂，y₂)决定。若取Δx＝x₂-x₁，Δy＝y₂-y₁则|Δx|决定客流队列区域302长度，|Δy|决定客流队列区域302的宽度。在设定矩形的客流队列区域302时应当保证其能覆盖收银通道，且尽量使|Δy|与收银通道的宽度相当。

在本实施方式中，步骤S2中的设定区域呈轴对称形状，并进一步优选为该设定区域包括矩形、正方形、椭圆形、圆形、半圆形、半椭圆形或者等边三角形，并最优选为矩形。

接下来，执行步骤S3、将客流队列区域分割为宽度不小于行人肩宽的若干子区域。从而将客流队列区域302分割为十个子区域303，每个子区域303的尺寸以恰好容纳单个行人为准。当然也可根据收银通道的长度，决定将各个客流队列区域302划分成数量更多或者数量更少的子区域。行人可沿图5中箭头的方向，穿过该客流队列区域302。

在收银通道处客流对象为单个行人且依次通过收银台。在本实施方式中，预先统计单个客流对象的平均侧身宽度Δs，然后以Δs大小为间隔将客流队列区域302，参图4由右至左分割为一系列子区域303，子区域303的数量N采用如下公式计算得到：

N＝fix(|Δx|/Δs)，其中，fix为取整运算符。

对于Δs值的选取，可根据实际情况设定，因为其与摄像机10具体安装的高度存在一定关系，摄像机10越高视野越宽，单个客流对象成像时尺寸变小，为此可以通过对摄像机10输入图像中实际的客流对象尺寸进行统计求取均值的方式决定Δs值。

在本实施方式中，步骤S3中所有子区域303的宽度均相等。子区域303的宽度大于或者等于一个成年男性的肩部及手臂在任意挥动状态下所能够形成的最大幅度，并可等同的认定为该子区域303的最大宽度小于或者等于2米。

接下来，执行步骤S4、采用背景差分法并结合背景更新机制以提取客流队列区域内的前景区域。在本实施方式中，该摄像头10的所形成的监控区域30为收银通道，通过矩形的设定区域规划出的客流队列区域作为具体的分析对象。

在无客流通过的情况下，客流队列区域302在摄像机10中成像B(x，y)相对稳定，故可以作为背景图像。当有客流对象进入收银通道(即客流队列区域302)后，客流队列区域302在摄像机10中当前帧输入图像F(x，y)相对于当前帧背景图像B(x，y)在客流队列区域302会有较大的灰度值变化。因此，可以通过现有技术中的图像差分运算来检测客流前景区域。具体的，在本实施方式中，采用如下公式计算差分图像D(x，y)：

然后，对差分图像D(x，y)进行二值化处理得到二值图BW(x，y)，运算公式如下所示：

其中，T为分割阈值，具体的分割阈值T设为40。二值图BW(x，y)中取值为1的区域被定义为包含客流目标的前景区域。

当然，背景区域并非始终不变。例如，早晚光照的差异，收银通道处的相关设施的更换等等均会导致当前帧背景图像B(x，y)的相应变化。因此，引入背景更新机制，有利于提高背景差分效果，从而更好的检测出前景区域及前景像素的数量。

在本实施方式中，依据客流队列区域302在摄像机10中实时的多个输入图像中的当前帧输入图像F(x，y)及前一帧背景图像B_t-1(x，y)来作预测更新背景。具体的，采用合适的当前帧输入图像F_t(x，y)来更新前一帧背景图像B_t-1(x，y)。该当前帧前景输入图像F(x，y)需满足以下两个条件：

条件一：当前帧输入图像F_t(x，y)与前一帧背景图像B_t-1(x，y)的帧间差别小于阈值δ，

条件二：在时间间隔τ内采样的前一帧输入图像与当前帧输入图像F_t(x，y)的帧间差别小于阈值δ。

其中，条件一用来确保当前帧输入图像F_t(x，y)相对于前一帧背景图像B_t-1(x，y)具有较小的变化，条件二用来确保更新背景帧输入图像的过程具有较好的稳定性。

条件一和条件二中，所述帧间差别的具体计算方式为：采用本实施方式前文所述方式，计算两帧间差分图像并进行二值化处理，以得到二值图，再以二值图中取1的区域数量来衡量两帧间的帧间差别。优选的，该阈值δ设定为子区域303中像素总数的50％。条件二中的时间间隔τ设定为0.5秒。对于满足上述两个条件的当前帧输入图像F_t(x，y)，本发明设定为新的背景，即，将当前帧输入图像定义为下一帧输入图像的背景图像B_t(x，y)＝F_t(x，y)。通过实时更新背景，再采用背景差分法提取客流队列区域302内的前景区域，提高了前景区域及前景像素数量提取的效率，从而能够更好的对子区域303中的行人区域进行抓取。

然后，执行步骤S5、计算各子区域中前景区域中前景像素在子区域的所占比例，当大于或者等于阈值P时，判定该子区域逻辑状态为1，否则判定该子区域逻辑状态为0，然后将所有子区域的逻辑状态存入数组，通过数组中逻辑状态为1的数量统计客流队列区域中的人数。

在本实施方式中，在步骤S5具体为：

统计客流队列区域302的各子区域303中前景像素所占比例，当子区域中所包含的前景像素的比例大于或者等于阈值P，则判定该子区域的逻辑状态为1，当子区域中所包含的前景像素比例小于阈值P，则判定该子区域的逻辑状态为0，所述阈值P为50％；

将所有子区域的逻辑状态存入数组，通过计算数组中逻辑状态为1的数量统计客流队列区域中的人数。

其中，逻辑状态为1的子区域303代表该子区域303有一个客流对象(即一个客流目标)，通过计算数组中所有1的数量即可统计出该客流队列区域302内的客流人数。

一般情况下会有单个客流目标跨越两个子区域，如此会影响相应子区域逻辑状态的判定。为解决此问题，需要对各子区域303的逻辑状态进行重置。参图5所示，在本实施方式中，用一个与子区域303大小相同的矩形框100滑动检测相邻两子区域(即子区域303a与子区域303b)交界处是否存在跨越两子区域的客流目标对象。具体的，将该矩形框中心滑动至相邻子区域交界处，然后统计该矩形框区域内包含的前景像素数量，如果大于单个子区域内像素总量的50％，将该相邻两子区域中任意一个原逻辑状态为0的子区域重置逻辑状态为1。

在本实施方式中，在所述步骤S5之后还包括以下步骤：对客流队列区域302中位于端部的子区域设定标志区域，以对位于端部的子区域执行跟踪，从而确定该客流队列区域中所有行人已通过客流队列区域302，当标志区域离开客流队列区域302，开始对下一客流队列进行计数。例如，我们可将图5中最左侧的子区域303a定义为标志区域，当子区域303a中所捕获的行人目标自左向右运动并离开该客流队列区域302时，则开始下一循环的客流统计。

假定客流方向自左向右，通过一个矩形框(大小与子区域303相同)在客流队列区域302内由左向右滑动，选择出刚好包含一个客流目标对象且位于最左端的区域作为标志区域，对其执行目标跟踪，当跟踪目标由左至右移出客流队列区域时，判定当前客流队列中所有客流对象已通过监控区域，从而开始对下一客流队列人数的计数统计。具体的，采用经典的基于Mean-Shift的目标跟踪算法执行跟踪运算。

通过本实施方式所示出的一种基于队列状态分析的客流计数方法，可借助商场收银通道处的客流信息可以更直接地统计出实际参与购买的客户人数，以及人均结账滞留时间等信息，而这些信息有助于商场统计当日客户人均消费，并且可以反映商场自身收银服务效率。商场可以通过这些信息相应调整自身经营策略以提高经营效率，因此具有较好的市场价值与良好的经济效益。并且该客流技术方法可与商场后台服务器进行联网，以对各个收银通道的客流负荷作出实时侦别，从而引导客户前往排队人数较少的收银通道进行结账，这也大大方便了顾客完成结账，节约了排队结账时间。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。