一种人群流动主方向估计方法和装置的制造方法
【专利摘要】本发明提供了一种人群流动主方向估计方法和装置，所述方法包括：获取当前的监控视频图像；提取当前的监控视频图像中的图像特征点，并对提取的图像特征点进行跟踪；根据图像特征点的跟踪结果，构造当前的监控视频图像的运动点；计算各运动点之间的相似度；根据计算得到的各运动点之间的相似度，确定出人群流动主方向。通过本发明提供的人群流动主方向估计方法和装置，可以提高估计人群流动主方向的计算速度。
【专利说明】
一种人群流动主方向估计方法和装置
技术领域
[0001]本发明涉及图像处理技术领域，具体而言，涉及一种人群流动主方向估计方法和
目.0
【背景技术】
[0002]目前，在广场、商业区等人群密集区域，通常会设置监控设备，对广场、商业区内的人群进行实时监控，从而保证广场、商业区内人群的安全。当人群密集区域出现火灾、爆炸等紧急情况时，需要先确定出现紧急情况的人群密集区域内人群的流动方向，才可以根据人群密集区域的现场情况，对区域内的人群进行疏导，保证区域内的人员安全。
[0003]相关技术中，为了确定人群密集区域内人群的流动方向，现有的确定人群流动方向的方法可以先根据监控设备获取到的一段时间内的连续监控图像，对监控视频图像中包括行人图像的区域进行识别，然后根据识别出的行人图像确定监控图像中行人的运动轨迹，对确定的行人的运动轨迹进行跟踪，从而得到人群流动主方向。
[0004]在实现本发明过程中，发明人发现现有技术中至少存在如下问题:
[0005]在确定人群流动方向的过程中，需要先根据监控设备获取到的一段时间内的连续监控图像，确定监控图像中行人的运动轨迹，但是当行人是断断续续出现在连续监控图像中时，上述确定人群流动方向的方法就无法确定监控图像中行人的运动轨迹，从而无法得到人群流动主方向。
【发明内容】
[0006]有鉴于此，本发明实施例的目的在于提供一种人群流动主方向估计方法和装置，以提高估计人群流动主方向的计算速度。
[0007]第一方面，本发明实施例提供了一种人群流动主方向估计方法，包括:
[0008]获取当前的监控视频图像；
[0009]提取当前的所述监控视频图像中的图像特征点，并对提取的所述图像特征点进行跟踪；
[0010]根据所述图像特征点的跟踪结果，构造当前的所述监控视频图像的运动点；
[0011]计算各所述运动点之间的相似度；
[0012]根据计算得到的各所述运动点之间的相似度，确定出人群流动主方向。
[0013]结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中:根据所述图像特征点的跟踪结果，构造当前的所述监控视频图像的运动点，包括:
[0014]根据所述图像特征点的跟踪结果，确定各所述图像特征点在当前的所述监控视频图像之前的连续多帧监控视频图像内的运动位置；
[0015]根据所确定的各所述图像特征点的运动位置，确定各所述图像特征点当前的运动方向和运动速度；
[0016]确定所述运动速度大于预设运动速度阈值的图像特征点作为所述监控视频图像的运动点。
[0017]结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中:计算各所述运动点之间的相似度，包括:
[0018]通过以下公式计算各运动点中之间的相似度d(ml，m2):
[0019]d(ml ,m2) =dl((xl ,yl), (x2，y2) )*d2(al，a2)
[0020]其中，ml表示计算相似度的两个运动点中的一个运动点，m2表示计算相似度的两个运动点中的另一个运动点，dI ((XI，y I)，( x2，y2))表示计算相似度的两个运动点的欧氏距离，(xl，yl)表示ml的位置坐标，(x2，y2)表示m2的位置坐标，d2(al，a2)表示计算相似度的两个运动点的运动方向之间的距离。
[0021]结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中:
[0022]d2(al，a2)=wl*[delta(al，theta(ml，m2))+delta(a2，theta(ml，m2)) ]+w2*delta(al，a2)
[0023]其中，al表示计算相似度的两个运动点中的一个运动点的运动方向，a2表示计算相似度的两个运动点中的另一个运动点的运动方向，delta表示两个方向之间的夹角，theta(ml ,m2)表示两个运动点连线的方向，wl和w2分别表示预设的权重参数。
[0024]结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中:根据计算得到的各所述运动点之间的相似度，确定出人群流动主方向，包括:
[0025]对得到的各所述运动点之间的相似度进行聚类分析，确定当前的所述监控视频图像的备选人群流动方向；
[0026]从所述备选人群流动方向中确定出人群流动主方向。
[0027]结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中:对得到的各所述运动点之间的相似度进行聚类分析，确定当前的所述监控视频图像的备选人群流动方向，包括:
[0028]根据所述各运动点中的每个运动点与其他运动点之间的相似度，计算各所述运动点的聚类优先级参数；
[0029]从各所述运动点中确定聚类优先级参数最大的运动点作为聚类中心；
[0030]从未进行聚类操作的运动点中，选择与作为聚类中心的运动点的相似度小于预设相似阈值的运动点与所述聚类中心聚为一类，得到所述聚类中心的聚类结果；
[0031]判断各所述运动点是否都进行了聚类操作；
[0032]如果是，则将作为所述聚类中心的运动点的运动方向确定为当前的所述监控视频图像的备选人群流动方向；
[0033]如果否，则继续执行确定当前优先级最高的运动点作为聚类中心的步骤。
[0034]结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中:从所述备选人群流动方向中确定出人群流动主方向，包括:
[0035]判断所述备选人群流动方向与当前的所述监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致；
[0036]如果是，则计算包括当前的所述监控视频图像的多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离参数；
[0037]判断计算得到的所述距离参数是否大于预设的距离参数阈值；
[0038]如果是，则确定所述备选人群流动方向为人群流动主方向。
[0039]结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中:计算包括当前的所述监控视频图像的多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离参数，包括:
[0040]对所述多帧监控视频图像进行滤波平滑处理；
[0041]计算滤波平滑处理后的所述多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离之和；
[0042]根据得到的所述备选人群流动方向上所有运动点之间的距离之和以及所述备选人群流动方向上的运动点数量，得到所述距离参数。
[0043]结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中:所述方法还包括:
[0044]计算覆盖所述人群流动主方向的最小凸包；
[0045]确定所述最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量；
[0046]根据确定的所述主方向运动点的数量和当前的所述监控视频图像内运动点的总数量，确定所述人群流动主方向上的行人比例。
[0047]第二方面，本发明实施例还提供一种人群流动主方向估计装置，包括:
[0048]图像获取模块，用于获取当前的监控视频图像；
[0049]跟踪模块，用于提取当前的所述监控视频图像中的图像特征点，并对提取的所述图像特征点进行跟踪；
[0050]运动点构造模块，用于根据所述图像特征点的跟踪结果，构造当前的所述监控视频图像的运动点；
[0051]相似度计算模块，用于计算各所述运动点之间的相似度；
[0052]主方向确定模块，用于根据计算得到的各所述运动点之间的相似度，确定出人群流动主方向。
[0053]结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中:所述运动点构造模块，包括:
[0054]第一确定单元，用于根据所述图像特征点的跟踪结果，确定各所述图像特征点在当前的所述监控视频图像之前的连续多帧监控视频图像内的运动位置；
[0055]第二确定单元，用于根据所确定的各所述图像特征点的运动位置，确定各所述图像特征点当前的运动方向和运动速度；
[0056]第三确定单元，用于确定所述运动速度大于预设运动速度阈值的图像特征点作为所述监控视频图像的运动点。
[0057]结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中:所述相似度计算模块，包括:
[0058]相似度计算单元，用于通过以下公式计算各运动点中之间的相似度d(ml，m2):
[0059]d(ml，m2)=dl((xl，yl)，(x2，y2))*d2(al，a2)
[0060]其中，ml表示计算相似度的两个运动点中的一个运动点，m2表示计算相似度的两个运动点中的另一个运动点，dI ((XI，y I)，( x2，y2))表示计算相似度的两个运动点的欧氏距离，(xl，yl)表示ml的位置坐标，(x2，y2)表示m2的位置坐标，d2(al，a2)表示计算相似度的两个运动点的运动方向之间的距离。
[0061]结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中:
[0062]d2(al，a2)=wl*[delta(al，theta(ml，m2))+delta(a2，theta(ml，m2)) ]+w2*delta(al，a2)
[0063]其中，al表示计算相似度的两个运动点中的一个运动点的运动方向，a2表示计算相似度的两个运动点中的另一个运动点的运动方向，delta表示两个方向之间的夹角，theta(ml ,m2)表示两个运动点连线的方向，wl和w2分别表示预设的权重参数。
[0064]结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中:所述主方向确定模块，包括:
[0065]备选方向确定单元，用于对得到的各所述运动点之间的相似度进行聚类分析，确定当前的所述监控视频图像的备选人群流动方向；
[0066]主方向确定单元，用于从所述备选人群流动方向中确定出人群流动主方向。
[0067]结合第二方面，本发明实施例提供了第二方面的第五种可能的实施方式，其中:所述备选方向确定单元，包括:
[0068]参数计算子单元，用于根据所述各运动点中的每个运动点与其他运动点之间的相似度，计算各所述运动点的聚类优先级参数；
[0069]聚类中心确定子单元，用于从各所述运动点中确定聚类优先级参数最大的运动点作为聚类中心；
[0070]聚类子单元，用于从未进行聚类操作的运动点中，选择与作为聚类中心的运动点的相似度小于预设相似阈值的运动点与所述聚类中心聚为一类，得到所述聚类中心的聚类结果；
[0071]判断子单元，用于判断各所述运动点是否都进行了聚类操作；
[0072]备选方向确定子单元，用于若所述判断子单元得到的判断结果为是时，则将作为所述聚类中心的运动点的运动方向确定为当前的所述监控视频图像的备选人群流动方向；
[0073]处理子单元，用于若所述判断子单元得到的判断结果为否时，则触发所述聚类子单元确定当前优先级最高的运动点作为聚类中心的操作。
[0074]结合第二方面，本发明实施例提供了第二方面的第六种可能的实施方式，其中:所述主方向确定单元，包括:
[0075]—致性判断子单元，用于判断所述备选人群流动方向与当前的所述监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致；
[0076]距离参数计算子单元，用于若所述一致性判断子单元得到的判断结果为是时，则计算包括当前的所述监控视频图像的多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离参数；
[0077]距离参数判断子单元，用于判断计算得到的所述距离参数是否大于预设的距离参数阈值；
[0078]主方向确定子单元，用于若所述距离参数判断子单元得到的判断结果为是时，则确定所述备选人群流动方向为人群流动主方向。
[0079]结合第二方面，本发明实施例提供了第二方面的第七种可能的实施方式，其中:所述距离参数计算子单元，具体用于:
[0080]对所述多帧监控视频图像进行滤波平滑处理；
[0081]计算滤波平滑处理后的所述多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离之和；
[0082]根据得到的所述备选人群流动方向上所有运动点之间的距离之和以及所述备选人群流动方向上的运动点数量，得到所述距离参数。
[0083]结合第二方面，本发明实施例提供了第二方面的第八种可能的实施方式，其中:所述装置还包括:
[0084]凸包计算模块，用于计算覆盖所述人群流动主方向的最小凸包；
[0085]运动点数量确定模块，用于确定所述最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量；
[0086]行人比例确定模块，用于根据确定的所述主方向运动点的数量和当前的所述监控视频图像内运动点的总数量，确定所述人群流动主方向上的行人比例。
[0087]本发明实施例提供的人群流动主方向估计方法和装置，对当前的监控视频图像中的图像特征点进行跟踪从而构造运动点，并对运动点之间的相似性进行计算，再通过计算得到的运动点之间的相似性度确定人群流动主方向，与现有技术中只能根据一段时间内的监控图像中连续出现的行人才能得到运动轨迹并根据得到的运动轨迹确定人群流动主方向的过程相比，只需通过对图像特征点进行跟踪就可以完成对人群流动主方向的估计，无需长时间获取连续的行人图像得到行人的运动轨迹，就可以确定人群流动主方向，而且，在人群流动主方向估计的过程中，无需对监控视频图像中包括行人图像的区域进行识别，降低了人群流动主方向的估计难度，大大提高了估计人群流动主方向的计算速度。
[0088]为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
【附图说明】
[0089]为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0090]图1示出了本发明实施例1所提供的一种人群流动主方向估计方法的流程图；
[0091 ]图2示出了本发明实施例2所提供的一种人群流动主方向估计装置的结构示意图。
【具体实施方式】
[0092]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0093]相关技术中，在确定人群流动方向的过程中，需要先根据监控设备获取到的一段时间内的连续监控图像，确定监控图像中行人的运动轨迹，但是当行人是断断续续出现在连续监控图像中时，上述确定人群流动方向的方法就无法确定监控图像中行人的运动轨迹，从而无法得到人群流动主方向。基于此，本申请提供的一种人群流动主方向估计方法和
目.ο
[0094]实施例1
[0095]为便于对本实施例进行理解，首先对本发明实施例所公开的一种人群流动主方向估计方法进行详细介绍。
[0096]本实施例所公开的一种人群流动主方向估计方法，执行主体是计算设备，该计算设备，用于对当前的监控视频图像中的图像特征点进行跟踪从而构造运动点，并对运动点之间的相似性进行计算，再通过计算得到的运动点之间的相似性度确定人群流动主方向。
[0097]计算设备，可以采用现有的任何型号的计算机或者服务器，对人群流动主方向进行估计，这里不再一一赘述。
[0098]参见图1，本实施例提供一种人群流动主方向估计方法，包括以下步骤:
[0099 ]步骤100、获取当前的监控视频图像。
[0100]当前的监控视频图像，就是计算设备通过监控设备获取到的监控设备所拍摄到的人群密集区域的当前视频帧的图像。
[0101]步骤102、提取当前的监控视频图像中的图像特征点，并对提取的图像特征点进行跟踪。
[0102]上述步骤102具体包括以下步骤(I)至步骤(4):
[0103](I)利用尺度不变特征转换(Scale-1nvariant feature transform，SIFT)特征方法提取当前的监控视频图像中的图像特征点；
[0104](2)对相邻的视频帧进行光流计算，利用光流信息计算图像特征点的对应关系，完成对提取的图像特征点的跟踪；
[0105](3)判断提取的图像特征点的数量是否小于预设的特征点数量阈值，如果是则执行步骤I，如果否则执行步骤4;
[0106](4)记录每个图像特征点在当前的监控视频图像之前的连续多帧监控视频图像内的运动位置。
[0107]在上述步骤I中，相比传统的角点检测方法，SIFT特征更能描述目标(行人)的表面信息，因此利用SIFT特征进行跟踪的稳定性和准确性都要优于角点特征。
[0108]在上述步骤2中，在对图像特征点的跟踪过程中，当连续若干帧内都没有提取的某个图像特征点时，将该图像特征点移除。
[0109]在上述步骤4中，连续多帧监控视频图像，是指在过去一段时间内的连续多帧监控视频图像，比如，可以是过去I秒内的连续多帧监控视频图像。
[0110]步骤104、根据图像特征点的跟踪结果，构造当前的监控视频图像的运动点。
[0111]具体地，上述步骤104可以包括以下步骤(I)至步骤(3):
[0112](I)根据图像特征点的跟踪结果，确定各图像特征点在当前的监控视频图像之前的连续多帧监控视频图像内的运动位置；
[0113](2)根据所确定的各图像特征点的运动位置，确定各图像特征点当前的运动方向和运动速度；
[0114](3)确定运动速度大于预设运动速度阈值的图像特征点作为监控视频图像的运动点。
[0115]在上述步骤2中，图像特征点的速度由图像特征点过去Is的运动位置进行估计得至1」:假设过去18的运动位置分别为:{(11，71)，(12，72)，...，(^，711)}，其中11为帧率/秒，(xn，yn)是当前的位置，记为(x，y)。以(xl，yl)为起点，以(x，y)为终点构成一个向量V，则运动速度为向量V的模，运动方向即为该向量V的方向；那么，构造的运动点可以表示为(x，y，u，a)，其中x，y表示位置，u表示速度大小，a表示速度方向。
[0116]步骤106、计算各运动点之间的相似度。
[0117]其中，上述步骤106包括:通过以下公式计算各运动点中之间的相似度d(ml，m2):
[0118]d(ml ,m2) =dl((xl ,yl), (x2，y2) )*d2(al，a2)
[0119]其中，ml表示计算相似度的两个运动点中的一个运动点，m2表示计算相似度的两个运动点中的另一个运动点，dI ((XI，y I)，( x2，y2))表示计算相似度的两个运动点的欧氏距离，(xl，yl)表示ml的位置坐标，(x2，y2)表示m2的位置坐标，d2(al，a2)表示计算相似度的两个运动点的运动方向之间的距离。
[0120]进一步地，
[0121 ] d2(al，a2)=wl*[delta(al，theta(ml，m2))+delta(a2，theta(ml，m2)) ]+w2*delta(al，a2)
[0122]其中，al表示计算相似度的两个运动点中的一个运动点的运动方向，a2表示计算相似度的两个运动点中的另一个运动点的运动方向，delta表示两个方向之间的夹角，theta(ml ,m2)表示两个运动点连线的方向，wl和w2分别表示预设的权重参数。
[0123]delta(al，theta(ml，m2))表示计算相似度的两个运动点中一个运动点的运动方向与两个运动点连线的方向之间的夹角;delta(a2，theta(ml ,m2))表示计算相似度的两个运动点中另一个运动点的运动方向与两个运动点连线的方向之间的夹角。
[0124]计算得到的各运动点之间的相似度可以构造成相似度矩阵:相似度矩阵中的矩阵元素M(i，j)表示第i个运动点与第j个运动点之间的相似度。
[0125]步骤108、根据计算得到的各运动点之间的相似度，确定出人群流动主方向。
[0126]具体地，上述步骤108可以包括以下步骤(I)至步骤(2):
[0127](I)对得到的各运动点之间的相似度进行聚类分析，确定当前的监控视频图像的备选人群流动方向；
[0128](2)从备选人群流动方向中确定出人群流动主方向。
[0129]综上所述，本实施例提供的人群流动主方向估计方法，对当前的监控视频图像中的图像特征点进行跟踪从而构造运动点，并对运动点之间的相似性进行计算，再通过计算得到的运动点之间的相似性度确定人群流动主方向，与现有技术中只能根据一段时间内的监控图像中连续出现的行人才能得到运动轨迹并根据得到的运动轨迹确定人群流动主方向的过程相比，只需通过对图像特征点进行跟踪就可以完成对人群流动主方向的估计，无需长时间获取连续的行人图像得到行人的运动轨迹，就可以确定人群流动主方向，而且，在人群流动主方向估计的过程中，无需对监控视频图像中包括行人图像的区域进行识别，降低了人群流动主方向的估计难度，大大提高了估计人群流动主方向的计算速度。
[0130]相关技术中，基于局部聚类对人群流动方向进行估计时，需要将确定的局部估计连接起来，得到全局估计后，才可以对人群流动方向进行估计，而场景内往往不能保证一个主方向上的所有局部估计区域都有行人，会造成同一主方向的局部估计区域不连续，而无法对人群流动方向进行估计的问题，为了克服上述问题，在本实施例中，对得到的各运动点之间的相似度进行聚类分析，包括以下步骤(I)至步骤(5):
[0131 ] (I)根据各运动点中的每个运动点与其他运动点之间的相似度，计算各运动点的聚类优先级参数；
[0132](2)从各运动点中确定聚类优先级参数最大的运动点作为聚类中心；
[0133](3)从未进行聚类操作的运动点中，选择与作为聚类中心的运动点的相似度小于预设相似阈值的运动点与聚类中心聚为一类，得到该聚类中心的聚类结果；
[0134](4)判断各运动点是否都进行了聚类操作，如果是则执行步骤5，如果否则执行步骤2;
[0135](5)将作为聚类中心的运动点的运动方向确定为当前的监控视频图像的备选人群流动方向。
[0136]在上述步骤I中，将每个运动点与其他运动点之间的相似度求和，得到各运动点的聚类优先级参数。聚类优先级参数越大，那么具有该聚类优先级参数的运动点的优先级就越高。为了提高后续的聚类过程的执行效率，可以先根据聚类优先级参数由大到小的顺序，对运动点进行排序，然后将排序后的运动点放入一个预设的运动点集合中。那么每次进行聚类时，都会从该运动点集合中取出排在第一个的运动点作为聚类中心，从而进行该聚类中心的聚类操作。
[0137]综上所述，通过计算各运动点的聚类优先级参数，确定各运动点作为聚类中心的优先级高低，然后，从优先级最高的运动点开始，对各运动点进行全局聚类操作，而并非现有的局部聚类再连接的方法，在人流断断续续的情况下仍能估计人群流动的主方向，提高了对人群流动方向进行估计的成功率，而且，本实施例提出的聚类方法相比传统的kmeans方法对异常点更鲁棒，相比传统的谱聚类方法，可以克服要么聚类结果太平均，要么容易产生孤立点的缺陷，取得了显著的进步。
[0138]相关技术中，确定人群流动方向的方法容易受单个或少数行人影响，使得确定出的人群流动方向大多数时候并非主方向，具有人群流动主方向的估计准确性较低的缺陷；为了提高人群流动主方向估计的准确性，在本实施例中，上述从备选人群流动方向中确定出人群流动主方向，包括以下步骤(I)至步骤(5):
[0139](I)判断备选人群流动方向与当前的监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致，如果是则执行步骤2，如果否则结束；
[0140](2)计算包括当前的监控视频图像的多帧监控视频图像中在备选人群流动方向上所有运动点之间的距离参数；
[0141](3)判断计算得到的距离参数是否大于预设的距离参数阈值，如果是则执行步骤4，如果否则执行步骤5;
[0142](4)确定该备选人群流动方向为人群流动主方向；
[0143](5)移除该备选人群流动方向。
[0144]在上述步骤2中，计算包括当前的监控视频图像的多帧监控视频图像中在备选人群流动方向上所有运动点之间的距离参数，包括以下步骤(21)至步骤(23):
[0145](21)对多帧监控视频图像进行滤波平滑处理；
[0146](22)计算滤波平滑处理后的多帧监控视频图像中在备选人群流动方向上所有运动点之间的距离之和；
[0147](23)根据得到的备选人群流动方向上所有运动点之间的距离之和以及备选人群流动方向上的运动点数量，得到距离参数。
[0148]在步骤22中，所有运动点之间的距离，是指备选人群流动方向上任意两个运动点之间的距离，而任意两个运动点之间的距离由计算距离的两个运动点的位置确定。
[0149]综上所述，通过先判断备选人群流动方向与当前的监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致，然后计算备选人群流动方向上所有运动点之间的距离参数，并根据得到的距离参数确定备选人群流动方向是否为人群流动主方向，避免了单个或少数行人在确定人群流动方向的过程中的影响，提高了人群流动主方向估计的准确性。
[0150]相关技术中，需要对监控视频图像中的行人进行检测，并根据行人检测的结果得到各人群流动主方向上的行人比例，这样做会增加系统的开销，降低各人群流动主方向上的行人比例的计算速度，因此，为了提高各人群流动主方向上的行人比例的计算速度，在本实施例中，上述人群流动主方向估计方法，还包括以下步骤(I)至步骤(3):
[0151](I)计算覆盖人群流动主方向的最小凸包；
[0152](2)确定最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量；
[0153 ] (3)根据确定的主方向运动点的数量和当前的监控视频图像内运动点的总数量，确定人群流动主方向上的行人比例。
[0154]在上述步骤I中，可以米用现有的任何最小凸包算法，对覆盖人群流动主方向的最小凸包进行计算，这里不再一一赘述。
[0155]上述步骤2中，包括以下步骤(21)至步骤(22):
[0156](21)判断最小凸包内各运动点中的每个运动点的运动方向与人群流动主方向之间的角度是否小于预设角度阈值；
[0157](22)根据判断结果，将运动方向与人群流动主方向之间的角度小于预设角度阈值的运动点确定为主方向运动点，并根据所确定的主方向运动点得到主方向运动点的数量。
[0158]在上述步骤3中，
[0159 ]人群流动主方向上的行人比例=主方向运动点的数量/运动点的总数量。
[0160]综上所述，通过计算覆盖人群流动主方向的最小凸包，并确定最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量，并以得到的主方向运动点的数量确定出人群流动主方向上的行人比例，无需对行人进行检测，就可以得到人群流动主方向上的行人比例，从而降低了计算行人比例的系统开销，提高了人群流动主方向上的行人比例的计算速度。
[0161]实施例2
[0162]参见图2，本实施例提供一种人群流动主方向估计装置，用于执行上述的人群流动主方向估计方法，包括:
[0163]图像获取模块200，用于获取当前的监控视频图像；
[0164]跟踪模块202，用于提取当前的监控视频图像中的图像特征点，并对提取的图像特征点进行跟踪；
[0165]运动点构造模块204，用于根据图像特征点的跟踪结果，构造当前的监控视频图像的运动点；
[0166]相似度计算模块206，用于计算各运动点之间的相似度；
[0167]主方向确定模块208，用于根据计算得到的各运动点之间的相似度，确定出人群流动主方向。
[0? 68]具体地，运动点构造模块204，包括:
[0169]第一确定单元，用于根据图像特征点的跟踪结果，确定各图像特征点在当前的监控视频图像之前的连续多帧监控视频图像内的运动位置；
[0170]第二确定单元，用于根据所确定的各图像特征点的运动位置，确定各图像特征点当前的运动方向和运动速度；
[0171]第三确定单元，用于确定运动速度大于预设运动速度阈值的图像特征点作为监控视频图像的运动点。
[0172]具体地，相似度计算模块206，包括:
[0173]相似度计算单元，用于通过以下公式计算各运动点中之间的相似度d(ml，m2):
[0174]d(ml ,m2) =dl((xl ,yl), (x2，y2) )*d2(al，a2)
[0175]其中，ml表示计算相似度的两个运动点中的一个运动点，m2表示计算相似度的两个运动点中的另一个运动点，dI ((XI，y I)，( x2，y2))表示计算相似度的两个运动点的欧氏距离，(xl，yl)表示ml的位置坐标，(x2，y2)表示m2的位置坐标，d2(al，a2)表示计算相似度的两个运动点的运动方向之间的距离。
[0176]优选地，上述d2(al，a2)可以由以下公式表示:
[0177]d2(al，a2)=wl*[delta(al，theta(ml，m2))+delta(a2，theta(ml，m2)) ]+w2*delta(al，a2)
[0178]其中，al表示计算相似度的两个运动点中的一个运动点的运动方向，a2表示计算相似度的两个运动点中的另一个运动点的运动方向，delta表示两个方向之间的夹角，theta(ml ,m2)表示两个运动点连线的方向，wl和w2分别表示预设的权重参数。
[0179]具体地，主方向确定模块208，包括:
[0180]备选方向确定单元，用于对得到的各运动点之间的相似度进行聚类分析，确定当前的监控视频图像的备选人群流动方向；
[0181]主方向确定单元，用于从备选人群流动方向中确定出人群流动主方向。
[0182]相关技术中，基于局部聚类对人群流动方向进行估计时，需要将确定的局部估计连接起来，得到全局估计后，才可以对人群流动方向进行估计，而场景内往往不能保证一个主方向上的所有局部估计区域都有行人，会造成同一主方向的局部估计区域不连续，而无法对人群流动方向进行估计的问题，为了克服上述问题，在本实施例中，备选方向确定单元，包括:
[0183]参数计算子单元，用于根据各运动点中的每个运动点与其他运动点之间的相似度，计算各运动点的聚类优先级参数；
[0184]聚类中心确定子单元，用于从各运动点中确定聚类优先级参数最大的运动点作为聚类中心；
[0185]聚类子单元，用于从未进行聚类操作的运动点中，选择与作为聚类中心的运动点的相似度小于预设相似阈值的运动点与聚类中心聚为一类，得到聚类中心的聚类结果；
[0186]判断子单元，用于判断各运动点是否都进行了聚类操作；
[0187]备选方向确定子单元，用于若判断子单元得到的判断结果为是时，则将作为聚类中心的运动点的运动方向确定为当前的监控视频图像的备选人群流动方向；
[0188]处理子单元，用于若判断子单元得到的判断结果为否时，则触发聚类子单元确定当前优先级最高的运动点作为聚类中心的操作。
[0189]综上所述，通过计算各运动点的聚类优先级参数，确定各运动点作为聚类中心的优先级高低，然后，从优先级最高的运动点开始，对各运动点进行全局聚类操作，而并非现有的局部聚类再连接的方法，在人流断断续续的情况下仍能估计人群流动的主方向，提高了对人群流动方向进行估计的成功率，而且，本实施例提出的聚类方法相比传统的kmeans方法对异常点更鲁棒，相比传统的谱聚类方法，可以克服要么聚类结果太平均，要么容易产生孤立点的缺陷，取得了显著的进步。
[0190]相关技术中，确定人群流动方向的方法容易受单个或少数行人影响，使得确定出的人群流动方向大多数时候并非主方向，具有人群流动主方向的估计准确性较低的缺陷；为了提高人群流动主方向估计的准确性，在本实施例中，上述主方向确定单元，包括:
[0191 ] 一致性判断子单元，用于判断备选人群流动方向与当前的监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致；
[0192]距离参数计算子单元，用于若一致性判断子单元得到的判断结果为是时，则计算包括当前的监控视频图像的多帧监控视频图像中在备选人群流动方向上所有运动点之间的距离参数；
[0193]距离参数判断子单元，用于判断计算得到的距离参数是否大于预设的距离参数阈值；
[0194]主方向确定子单元，用于若距离参数判断子单元得到的判断结果为是时，则确定备选人群流动方向为人群流动主方向。
[0195]具体地，上述距离参数计算子单元，具体用于:
[0196]对多帧监控视频图像进行滤波平滑处理；
[0197]计算滤波平滑处理后的多帧监控视频图像中在备选人群流动方向上所有运动点之间的距离之和；
[0198]根据得到的备选人群流动方向上所有运动点之间的距离之和以及备选人群流动方向上的运动点数量，得到距离参数。
[0199]综上所述，通过先判断备选人群流动方向与当前的监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致，然后计算备选人群流动方向上所有运动点之间的距离参数，并根据得到的距离参数确定备选人群流动方向是否为人群流动主方向，避免了单个或少数行人在确定人群流动方向的过程中的影响，提高了人群流动主方向估计的准确性。
[0200]相关技术中，需要对监控视频图像中的行人进行检测，并根据行人检测的结果得到各人群流动主方向上的行人比例，这样做会增加系统的开销，降低各人群流动主方向上的行人比例的计算速度，因此，为了提高各人群流动主方向上的行人比例的计算速度，在本实施例中，上述人群流动主方向估计装置还包括:
[0201]凸包计算模块，用于计算覆盖人群流动主方向的最小凸包；
[0202]运动点数量确定模块，用于确定最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量；
[0203]行人比例确定模块，用于根据确定的主方向运动点的数量和当前的监控视频图像内运动点的总数量，确定人群流动主方向上的行人比例。
[0204]综上所述，通过计算覆盖人群流动主方向的最小凸包，并确定最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量，并以得到的主方向运动点的数量确定出人群流动主方向上的行人比例，无需对行人进行检测，就可以得到人群流动主方向上的行人比例，从而降低了计算行人比例的系统开销，提高了人群流动主方向上的行人比例的计算速度。
[0205]综上所述，本实施例提供的人群流动主方向估计装置，对当前的监控视频图像中的图像特征点进行跟踪从而构造运动点，并对运动点之间的相似性进行计算，再通过计算得到的运动点之间的相似性度确定人群流动主方向，与现有技术中只能根据一段时间内的监控图像中连续出现的行人才能得到运动轨迹并根据得到的运动轨迹确定人群流动主方向的过程相比，只需通过对图像特征点进行跟踪就可以完成对人群流动主方向的估计，无需长时间获取连续的行人图像得到行人的运动轨迹，就可以确定人群流动主方向，而且，在人群流动主方向估计的过程中，无需对监控视频图像中包括行人图像的区域进行识别，降低了人群流动主方向的估计难度，大大提高了估计人群流动主方向的计算速度。
[0206]本发明实施例所提供的进行人群流动主方向估计方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0207]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0208]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0209]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0210]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0211]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(R0M，Read-0nly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0212]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
【主权项】
1.一种人群流动主方向估计方法，其特征在于，包括: 获取当前的监控视频图像； 提取当前的所述监控视频图像中的图像特征点，并对提取的所述图像特征点进行跟踪; 根据所述图像特征点的跟踪结果，构造当前的所述监控视频图像的运动点； 计算各所述运动点之间的相似度； 根据计算得到的各所述运动点之间的相似度，确定出人群流动主方向。2.根据权利要求1所述的方法，其特征在于，根据所述图像特征点的跟踪结果，构造当前的所述监控视频图像的运动点，包括: 根据所述图像特征点的跟踪结果，确定各所述图像特征点在当前的所述监控视频图像之前的连续多帧监控视频图像内的运动位置； 根据所确定的各所述图像特征点的运动位置，确定各所述图像特征点当前的运动方向和运动速度； 确定所述运动速度大于预设运动速度阈值的图像特征点作为所述监控视频图像的运动点。3.根据权利要求1所述的方法，其特征在于，计算各所述运动点之间的相似度，包括: 通过以下公式计算各运动点中之间的相似度d(ml，m2): d(ml,m2)=dl((xl,yl),(x2，y2))*d2(al，a2) 其中，ml表示计算相似度的两个运动点中的一个运动点，m2表示计算相似度的两个运动点中的另一个运动点，(11((11，71)，(12，72))表示计算相似度的两个运动点的欧氏距离，(xl，yl)表示ml的位置坐标，(x2，y2)表示m2的位置坐标，d2(al，a2)表示计算相似度的两个运动点的运动方向之间的距离。4.根据权利要求3所述的方法，其特征在于， d2(al，a2)=wl*[delta(al，theta(ml，m2))+delta(a2,theta(ml,m2))]+w2*delta(al，a2) 其中，al表示计算相似度的两个运动点中的一个运动点的运动方向，a2表示计算相似度的两个运动点中的另一个运动点的运动方向，de I ta表示两个方向之间的夹角，the ta(ml ,m2)表示两个运动点连线的方向，wl和w2分别表示预设的权重参数。5.根据权利要求1所述的方法，其特征在于，根据计算得到的各所述运动点之间的相似度，确定出人群流动主方向，包括: 对得到的各所述运动点之间的相似度进行聚类分析，确定当前的所述监控视频图像的备选人群流动方向； 从所述备选人群流动方向中确定出人群流动主方向。6.根据权利要求5所述的方法，其特征在于，对得到的各所述运动点之间的相似度进行聚类分析，确定当前的所述监控视频图像的备选人群流动方向，包括: 根据所述各运动点中的每个运动点与其他运动点之间的相似度，计算各所述运动点的聚类优先级参数； 从各所述运动点中确定聚类优先级参数最大的运动点作为聚类中心； 从未进行聚类操作的运动点中，选择与作为聚类中心的运动点的相似度小于预设相似阈值的运动点与所述聚类中心聚为一类，得到所述聚类中心的聚类结果； 判断各所述运动点是否都进行了聚类操作； 如果是，则将作为所述聚类中心的运动点的运动方向确定为当前的所述监控视频图像的备选人群流动方向； 如果否，则继续执行确定当前优先级最高的运动点作为聚类中心的步骤。7.根据权利要求5所述的方法，其特征在于，从所述备选人群流动方向中确定出人群流动主方向，包括: 判断所述备选人群流动方向与当前的所述监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致； 如果是，则计算包括当前的所述监控视频图像的多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离参数； 判断计算得到的所述距离参数是否大于预设的距离参数阈值； 如果是，则确定所述备选人群流动方向为人群流动主方向。8.根据权利要求7所述的方法，其特征在于，计算包括当前的所述监控视频图像的多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离参数，包括: 对所述多帧监控视频图像进行滤波平滑处理； 计算滤波平滑处理后的所述多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离之和； 根据得到的所述备选人群流动方向上所有运动点之间的距离之和以及所述备选人群流动方向上的运动点数量，得到所述距离参数。9.根据权利要求1所述的方法，其特征在于，所述方法还包括: 计算覆盖所述人群流动主方向的最小凸包； 确定所述最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量； 根据确定的所述主方向运动点的数量和当前的所述监控视频图像内运动点的总数量，确定所述人群流动主方向上的行人比例。10.一种人群流动主方向估计装置，其特征在于，包括: 图像获取模块，用于获取当前的监控视频图像； 跟踪模块，用于提取当前的所述监控视频图像中的图像特征点，并对提取的所述图像特征点进行跟踪； 运动点构造模块，用于根据所述图像特征点的跟踪结果，构造当前的所述监控视频图像的运动点； 相似度计算模块，用于计算各所述运动点之间的相似度； 主方向确定模块，用于根据计算得到的各所述运动点之间的相似度，确定出人群流动主方向。11.根据权利要求10所述的装置，其特征在于，所述运动点构造模块，包括: 第一确定单元，用于根据所述图像特征点的跟踪结果，确定各所述图像特征点在当前的所述监控视频图像之前的连续多帧监控视频图像内的运动位置； 第二确定单元，用于根据所确定的各所述图像特征点的运动位置，确定各所述图像特征点当前的运动方向和运动速度； 第三确定单元，用于确定所述运动速度大于预设运动速度阈值的图像特征点作为所述监控视频图像的运动点。12.根据权利要求10所述的装置，其特征在于，所述相似度计算模块，包括: 相似度计算单元，用于通过以下公式计算各运动点中之间的相似度d(ml ,m2): d(ml,m2)=dl((xl,yl),(x2，y2))*d2(al，a2) 其中，ml表示计算相似度的两个运动点中的一个运动点，m2表示计算相似度的两个运动点中的另一个运动点，(11((11，71)，(12，72))表示计算相似度的两个运动点的欧氏距离，(xl，yl)表示ml的位置坐标，(x2，y2)表示m2的位置坐标，d2(al，a2)表示计算相似度的两个运动点的运动方向之间的距离。13.根据权利要求12所述的装置，其特征在于， d2(al，a2)=wl*[delta(al，theta(ml，m2))+delta(a2,theta(ml,m2))]+w2*delta(al，a2) 其中，al表示计算相似度的两个运动点中的一个运动点的运动方向，a2表示计算相似度的两个运动点中的另一个运动点的运动方向，de I ta表示两个方向之间的夹角，the ta(ml ,m2)表示两个运动点连线的方向，wl和w2分别表示预设的权重参数。14.根据权利要求10所述的装置，其特征在于，所述主方向确定模块，包括: 备选方向确定单元，用于对得到的各所述运动点之间的相似度进行聚类分析，确定当前的所述监控视频图像的备选人群流动方向； 主方向确定单元，用于从所述备选人群流动方向中确定出人群流动主方向。15.根据权利要求14所述的装置，其特征在于，所述备选方向确定单元，包括: 参数计算子单元，用于根据所述各运动点中的每个运动点与其他运动点之间的相似度，计算各所述运动点的聚类优先级参数； 聚类中心确定子单元，用于从各所述运动点中确定聚类优先级参数最大的运动点作为聚类中心； 聚类子单元，用于从未进行聚类操作的运动点中，选择与作为聚类中心的运动点的相似度小于预设相似阈值的运动点与所述聚类中心聚为一类，得到所述聚类中心的聚类结果; 判断子单元，用于判断各所述运动点是否都进行了聚类操作； 备选方向确定子单元，用于若所述判断子单元得到的判断结果为是时，则将作为所述聚类中心的运动点的运动方向确定为当前的所述监控视频图像的备选人群流动方向； 处理子单元，用于若所述判断子单元得到的判断结果为否时，则触发所述聚类子单元确定当前优先级最高的运动点作为聚类中心的操作。16.根据权利要求14所述的装置，其特征在于，所述主方向确定单元，包括: 一致性判断子单元，用于判断所述备选人群流动方向与当前的所述监控视频图像的上一帧视频图像得到的备选人群流动方向是否一致； 距离参数计算子单元，用于若所述一致性判断子单元得到的判断结果为是时，则计算包括当前的所述监控视频图像的多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离参数； 距离参数判断子单元，用于判断计算得到的所述距离参数是否大于预设的距离参数阈值； 主方向确定子单元，用于若所述距离参数判断子单元得到的判断结果为是时，则确定所述备选人群流动方向为人群流动主方向。17.根据权利要求16所述的装置，其特征在于，所述距离参数计算子单元，具体用于: 对所述多帧监控视频图像进行滤波平滑处理； 计算滤波平滑处理后的所述多帧监控视频图像中在所述备选人群流动方向上所有运动点之间的距离之和； 根据得到的所述备选人群流动方向上所有运动点之间的距离之和以及所述备选人群流动方向上的运动点数量，得到所述距离参数。18.根据权利要求10所述的装置，其特征在于，所述装置还包括: 凸包计算模块，用于计算覆盖所述人群流动主方向的最小凸包； 运动点数量确定模块，用于确定所述最小凸包内与人群流动主方向之间的角度小于预设角度阈值的主方向运动点的数量； 行人比例确定模块，用于根据确定的所述主方向运动点的数量和当前的所述监控视频图像内运动点的总数量，确定所述人群流动主方向上的行人比例。
【文档编号】G06T7/20GK106023262SQ201610393242
【公开日】2016年10月12日
【申请日】2016年6月6日
【发明人】陈芳林, 万定锐
【申请人】深圳市深网视界科技有限公司