行人组群行为识别方法及装置与流程

本发明实施例涉及计算机视觉领域，特别涉及一种行人组群行为识别方法及装置。

背景技术：

行人组群行为识别技术在智能视频监控、人机交互、异常事件监测等方面有着广泛的应用，行人组群行为识别主要通过对视频中目标的运动模式以及目标之间交互行为的分析，识别出目标所在进行的组群行为。

相关技术中，在识别小规模目标之间的行人组群行为时一般采用局部组群行为识别方法，现有的局部组群行人识别方法通过提取输出的图像序列中的个体目标的完整的前景序列，根据提取出的个体目标的完整的前景序列实现对行人组群行为进行识别。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：现有的局部组群行为识别方法难以精确地识别复杂的行人组群行为，比如：现有的局部组群行为识别方法能够准确地识别“交会”、“分开”等简单的行人组群行为，但是不能够准确地区分“走着交会”、“先走后跑交会”等复杂的行人组群行为。

技术实现要素：

为了解决现有技术的问题，本发明实施例提供了一种行人组群行为识别方法及装置。该技术方案如下：

第一方面，提供了一种行人组群识别方法，该方法包括：

获取待识别的图像序列；

根据所述图像序列获取行人的运动轨迹；

根据所述运动轨迹获取所述行人的步态周期信息，所述步态周期信息是所述行人在所述运动轨迹的每一段轨迹中的步态周期的集合；

根据所述步态周期信息构造与所述行人的速度变化信息对应的特征向量；

根据所述特征向量识别所述图像序列中的行人组群行为。

可选的，所述根据所述图像序列获取行人的运动轨迹，包括：

从所述图像序列中提取所述行人的前景序列；

将所述前景序列中每一帧图像中的前景团块的中心点相连，得到所述行人的运动轨迹。

可选的，所述根据所述运动轨迹获取所述行人的步态周期信息，包括：

将图像分为若干块图像块，每块所述图像块作为一个节点；

根据所述行人的运动轨迹在所述图像中的位置进行分段；

利用周期运动检测算法计算所述行人在所述运动轨迹的每一段轨迹中的步态周期。

可选的，所述根据所述步态周期信息构造与所述行人的速度变化信息对应的特征向量，包括：

将图像分为若干块图像块，每块所述图像块作为一个节点，所有节点构成速度变化网络；

根据所述步态周期信息确定所述速度变化网络中任意两个相邻节点之间的权值；

按如下公式构造与所述行人的速度变化信息对应的特征向量：

e＝[p(u1,q1),p(u2,q2),epv(u1,q1),epv(u2,q2)]

其中，

e表示与所述行人的速度变化信息对应的特征向量，p(u1,q1)表示一行人在经过运动轨迹中的所有节点时的步态周期平均值，p(u2,q2)表示另一行人经过运动轨迹中的所有节点时的步态周期平均值，epv(u1,q1)表示所述一行人在所述速度变化网络中消耗的传输能量，epv(u2,q2)表示所述另一行人在所述速度变化网络中消耗的传输能量，epv(i,j)表示所述速度变化网络中任意两个节点之间的权值，p(i)表示所述行人在节点i所述对应的图像块中的平均步态周期，k1表示所述一行人在所述速度变化网络中经过的节点的个数，k2表示所述另一行人在所述速度变化网络中经过的节点的个数。

可选的，所述根据所述步态周期信息确定所述速度变化网络中任意两个节点之间的权值，包括：

按如下公式确定所述速度变化网络中任意两个相邻节点之间的权值：

其中，epv(i,j)表示所述速度变化网络中任意两个节点之间的权值，△p(i,j)表示所述行人在节点i的平均步态周期与节点j的平均步态周期之差，p(i)表示所述行人在节点i所述对应的图像块中的平均步态周期，p(j)表示所述行人在节点j所述对应的图像块中的平均步态周期。

可选的，所述根据所述特征向量识别所述图像序列中的行人组群行为，包括：

根据所述特征向量训练分类器；

利用所述分类器识别所述图像序列中的行人组群行为。

第二方面，提供了一种行人组群行为识别装置，该装置包括：

图像序列获取装置，用于获取待识别的图像序列；

运动轨迹获取装置，用于根据所述图像序列获取行人的运动轨迹；

信息获取装置，用于根据所述运动轨迹获取所述行人的步态周期信息，所述步态周期信息是所述行人在所述运动轨迹的每一段轨迹中的步态周期的集合；

特征向量构造装置，用于根据所述步态周期信息构造与所述行人的速度变化信息对应的特征向量；

行为识别装置，用于根据所述特征向量识别所述图像序列中的行人组群行为。

可选的，所述运动轨迹获取装置，用于：

从所述图像序列中提取所述行人的前景序列；

将所述前景序列中每一帧图像中的前景团块的中心点相连，得到所述行人的运动轨迹。

可选的，所述信息获取装置，用于：

将图像分为若干块图像块，每块所述图像块作为一个节点；

根据所述行人的运动轨迹在所述图像中的位置进行分段；

利用周期运动检测算法计算所述行人在所述运动轨迹的每一段轨迹中的步态周期。

可选的，所述特征向量构造装置，用于：

将图像分为若干块图像块，每块所述图像块作为一个节点，所有节点构成速度变化网络；

根据所述步态周期信息确定所述速度变化网络中任意两个相邻节点之间的权值；

按如下公式构造与所述行人的速度变化信息对应的特征向量：

e＝[p(u1,q1),p(u2,q2),epv(u1,q1),epv(u2,q2)]

其中，

e表示与所述行人的速度变化信息对应的特征向量，p(u1,q1)表示一行人在经过运动轨迹中的所有节点时的步态周期平均值，p(u2,q2)表示另一行人经过运动轨迹中的所有节点时的步态周期平均值，epv(u1,q1)表示所述一行人在所述速度变化网络中消耗的传输能量，epv(u2,q2)表示所述另一行人在所述速度变化网络中消耗的传输能量，epv(i,j)表示所述速度变化网络中任意两个节点之间的权值，p(i)表示所述行人在节点i所述对应的图像块中的平均步态周期，k1表示所述一行人在所述速度变化网络中经过的节点的个数，k2表示所述另一行人在所述速度变化网络中经过的节点的个数。

可选的，所述特征向量构造装置，还用于：

按如下公式确定所述速度变化网络中任意两个相邻节点之间的权值：

其中，节点i和节点j为两个相邻节点，epv(i,j)表示所述速度变化网络中任意两个相邻节点之间的权值，△p(i,j)表示所述行人在节点i的平均步态周期与节点j的平均步态周期之差，p(i)表示所述行人在节点i所述对应的图像块中的平均步态周期，p(j)表示所述行人在节点j所述对应的图像块中的平均步态周期。

可选的，所述行为识别装置，用于：

根据所述特征向量训练分类器；

利用所述分类器识别所述图像序列中的行人组群行为。

本发明实施例提供的技术方案带来的有益效果是：

通过获取待识别的图像序列，根据图像序列获取行人的运动轨迹，根据运动轨迹获取行人的步态周期信息，在构造与步态周期信息对应的特征向量，根据特征向量识别行人序列中的行人组群行为；解决了现有的局部组群行为识别方法难以精确地识别复杂的行人组群行为的问题；达到了提高行人组群行为识别的准确率的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一示例性行人组群行为识别方法的流程图；

图2是本发明另一个实施例提供的一示例性行人组群行为识别方法的流程图；

图3是根据一示例性实施例示出的一种图像分块的实施示意图；

图4是本发明一个实施例提供的一示例性行人组群行为识别装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，其示出了本发明一个实施例提供的行人组群行为识别方法的流程图。如图1所示，该行人组群行为识别方法可以包括以下步骤：

步骤101，获取待识别的图像序列。

图像序列中的图像包括静止不动的背景和不断变化、运动的行人。可选的，行人的数量至少为一个。

步骤102，根据图像序列获取行人的运动轨迹。

步骤103，根据运动轨迹获取行人的步态周期信息，步态周期信息是行人在运动轨迹的每一段轨迹中的步态周期的集合。

步态周期用于表示行人速度的快慢，可通过行人的步态周期区分行人的行走、奔跑等行为；步态周期变短，行人的速度变快，步骤周期变长，行人的速度变慢，步态周期不变，行人的速度不变。

步骤104，根据步态周期信息构造与行人的速度变化信息对应的特征向量。

与行人的速度变化信息对应的特征向量用于表示行人的速度变化信息。

步骤105，根据特征向量识别图像序列中的行人组群行为。

综上所述，本发明实施例提供的行人组群行为识别方法，通过获取待识别的图像序列，根据图像序列获取行人的运动轨迹，根据运动轨迹获取行人的步态周期信息，在构造与步态周期信息对应的特征向量，根据特征向量识别行人序列中的行人组群行为；解决了现有的局部组群行为识别方法难以精确地识别复杂的行人组群行为的问题；达到了提高行人组群行为识别的准确率的效果。

请参考图2，其示出了本发明另一个实施例提供的行人组群识别方法的流程图。如图2所示，该行人组群识别方法可以包括以下步骤：

步骤201，获取待识别的图像序列。

步骤202，从图像序列中提取行人的前景序列。

前景序列是图像序列中代表同一个行人的前景团块按照帧的顺序排列的集合。前景团块是图像中每个行人对应的前景。前景是在视频中运动的物体，比如：行人；背景是视频中静止不动的物体，比如：房屋、道路。图像序列也被称为视频。

可选的，利用gmm(gaussianmixturemodel，高斯混合模型)或vibe(visualbackgroundextractor，视觉背景提取)等前景提取算法从图像序列中提取行人的前景序列。

步骤203，将前景序列中每一帧图像中的前景团块的中心点相连，得到行人的运动轨迹。

步骤204，将图像分为若干块图像块，每块图像块作为一个节点。

如图3所示，(a)中的折线箭头30表示一个行人的运动轨迹，将(a)所示的图像分为若干个图像块31，每个图像块31作为一个节点，如(b)所示，在(b)中，黑色节点32表示运动轨迹未经过的图像块，白色节点33表示运动轨迹经过的图像块。

步骤205，根据行人的运动轨迹在图像中的位置进行分段。

步骤206，利用周期运动检测算法计算行人在运动轨迹的每一段轨迹中的步态周期。

可选的，周期运动检测算法包括sad(sumofabsolutedifferences，绝对误差和)算法和tfam算法。

步骤207，利用所有节点构成速度变化网络。

具体地，将图像分为若干块图像块，每块图像块作为一个节点，利用所有节点构成速度变化网络。

需要说明的是，步骤204中对图像进行分块后，可以不再对图像进行重新分块，直接利用分块后的图像块对应的节点构造速度变化网络。

速度变化网络中任意两个相邻的节点之间的权值表示行人的速度变化趋势。

如图3所示，可将图3中(b)看作速度变化网络。

在实际情况下，行人的速度会发生变化，比如由行走变为奔跑或奔跑变为行走，因此通过构造速度变化网络建模各种速度恒定及速度变化的场景。

步骤208，根据步态周期信息确定速度变化网络中任意两个节点之间的权值。

步态周期用于表示行人速度的快慢，可通过行人的步态周期区分行人的行走、奔跑等行为；步态周期变短，行人的速度变快，步骤周期变长，行人的速度变慢，步态周期不变，行人的速度不变。

具体地，按公式一确定速度变化网络中任意两个相邻节点之间的权值：

其中，节点i和节点j为两个相邻节点，epv(i,j)表示速度变化网络中任意两个节点之间的权值，△p(i,j)表示行人在节点i的平均步态周期与节点j的平均步态周期之差，p(i)表示行人在节点i对应的图像块中的平均步态周期，p(j)表示行人在节点j对应的图像块中的平均步态周期。

相邻节点是指速度变化网络中有连线直接连接的两个节点。

由公式一可知，在两个相邻节点之间，若行人的步态周期不发生变化，则两个相邻节点之间的权值为0；若行人的步态周期变小也即行人的速度变快，两个相邻节点之间的权值为1；若行人的步态周期变大也即行人的速度变慢，两个相邻节点之间的权值为-1。

此外，为了避免步态周期检测的误差和行人运动时偶尔一瞬间的加速或减速所引起的干扰，将判断步态周期是否发生变化的临界值设置为10和-10。

步骤209，按公式二构造与行人的速度变化信息对应的特征向量：

e＝[p(u1,q1),p(u2,q2),epv(u1,q1),epv(u2,q2)]公式二

e＝[p(u1，q1)，p(u2，q2)，epv(u1，q1)，epv(u2，q2)]

其中：

e表示与行人的速度变化信息对应的特征向量，p(u1,q1)表示一行人在经过运动轨迹中的所有节点时的步态周期平均值，p(u2,q2)表示另一行人经过运动轨迹中的所有节点时的步态周期平均值，epv(u1,q1)表示一行人在速度变化网络中消耗的传输能量，epv(u2,q2)表示另一行人在速度变化网络中消耗的传输能量，epv(i,j)表示速度变化网络中任意两个节点之间的权值，p(i)表示行人在节点i对应的图像块中的平均步态周期，k1表示一行人在速度变化网络中经过的节点的个数，k2表示另一行人在速度变化网络中经过的节点的个数。

步骤210，根据特征向量训练分类器。

可选的，根据特征向量通过svm(supportvectormachine，支持向量机)方法训练分类器。

步骤211，利用分类器识别图像序列中的行人组群行为。

利用训练好的分类器对特征向量进行分类，分出的每一类特征向量对应一种行人组群行为，由于特征向量是与行人的速度变化信息对应的，因此，判读出特征向量对应的行人组群行为也就判断出了图像序列中的行人的行人组群行为。

综上所述，本发明实施例提供的行人组群行为识别方法，通过获取待识别的图像序列，根据图像序列获取行人的运动轨迹，根据运动轨迹获取行人的步态周期信息，在构造与步态周期信息对应的特征向量，根据特征向量识别行人序列中的行人组群行为；解决了现有的局部组群行为识别方法难以精确地识别复杂的行人组群行为的问题；达到了提高行人组群行为识别的准确率的效果。

在一个示例性的例子中，利用如图1或图2所示的行人组群行为识别方法对不同的图像序列进行行人组群行为识别。

该例子中包括三个评价指标，分别是漏报率、虚警率和总错误率。某一组群行为的漏报率，是指本来是a类的行人组群行为却被识别成非a类的行人组群行为的图像序列的样本数量与a类行人组群行为的总样本数量的比值。某一行人组群行为的虚警率，是指不是a类行人组群行为却被识别成a类行人组群行为的图像序列的样本数量与非a类组群行为的总样本数量的比值。总错误率，是指所有识别错误的图像序列的样本数量与所有进行识别的总样本数量的比值，总错误率从整体上反映了识别方法在识别行人组群行为时的准确性。

在behave数据库中手动划分了800个图像序列，每个图像序列中有一个双人的行人组群行为，800个图像序列一共包括8种不同的行人组群行为，如表一所示。

表一

为了说明本发明实施例提供的行人组群识别方法的准确率相比现有技术达到了提高，使用grad算法和pca((principalcomponentanalysis，主成分分析)算法进行了对比实验，实验结果如表二所示。

表二

从表二可以看出，利用本发明提供的行人组群行为识别方法得到的实验结果的漏报率、虚警率和总错误率都远低于grad算法和pac算法，说明本发明提供的行人组群行为识别方法具有较好的对行人组群行为的识别准确率。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

请参照图4，其示出了本发明一个实施例提供的行人组群行为识别装置的结构方框图。该在行人组群行人识别装置可以通过软件、硬件或者两者的结合实现成为上述可提供行人组群行为识别方法的终端的全部或者一部分。该装置包括：

图像序列获取装置410，用于获取待识别的视频序列；

运动轨迹获取装置420，用于根据图像序列获取行人的运动轨迹；

信息获取装置430，用于根据运动轨迹获取行人的步态周期信息，步态周期信息是行人在运动轨迹的每一段轨迹中的步态周期的集合；

特征向量构造装置440，用于根据步态周期信息构造与行人的速度变化信息对应的特征向量；

行为识别装置450，用于根据特征向量识别图像序列中的行人组群行为。

综上所述，本发明实施例提供的行人组群行为识别方法，通过获取待识别的图像序列，根据图像序列获取行人的运动轨迹，根据运动轨迹获取行人的步态周期信息，在构造与步态周期信息对应的特征向量，根据特征向量识别行人序列中的行人组群行为；解决了现有的局部组群行为识别方法难以精确地识别复杂的行人组群行为的问题；达到了提高行人组群行为识别的准确率的效果。

可选的，运动轨迹获取装置，用于：

从图像序列中提取行人的前景序列；

将前景序列中每一帧图像中的前景团块的中心点相连，得到行人的运动轨迹。

可选的，信息获取装置，用于：

将图像帧分为若干块图像帧分块，每块图像帧分块作为一个节点；

根据行人的运动轨迹在图像帧中的位置进行分段；

利用周期运动检测算法计算行人在运动轨迹的每一段轨迹中的步态周期。

可选的，特征向量构造装置，用于：

将图像分为若干块图像块，每块图像块作为一个节点，所有节点构成速度变化网络；

根据步态周期信息确定速度变化网络中任意两个相邻节点之间的权值；

按如下公式构造与行人的速度变化信息对应的特征向量：

e＝[p(u1,q1),p(u2,q2),epv(u1,q1),epv(u2,q2)]

其中，

e表示与行人的速度变化信息对应的特征向量，p(u1,q1)表示一行人在经过运动轨迹中的所有节点时的步态周期平均值，p(u2,q2)表示另一行人经过运动轨迹中的所有节点时的步态周期平均值，epv(u1,q1)表示一行人在速度变化网络中消耗的传输能量，epv(u2,q2)表示另一行人在速度变化网络中消耗的传输能量，epv(i,j)表示速度变化网络中任意两个节点之间的权值，p(i)表示行人在节点i对应的图像块中的平均步态周期，k1表示一行人在速度变化网络中经过的节点的个数，k2表示另一行人在速度变化网络中经过的节点的个数。

可选的，特征向量构造装置，还用于：

按如下公式确定速度变化网络中任意两个相邻节点之间的权值：

其中，节点i和节点j为两个相邻节点，epv(i,j)表示速度变化网络中任意两个相邻节点之间的权值，△p(i,j)表示行人在节点i的平均步态周期与节点j的平均步态周期之差，p(i)表示行人在节点i对应的图像块中的平均步态周期，p(j)表示行人在节点j对应的图像块中的平均步态周期。

可选的，行为识别装置，用于：

根据特征向量训练分类器；

利用分类器识别图像序列中的行人组群行为。

需要说明的是：上述实施例提供的行人组群行为识别装置在执行行人组群行为识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的行人组群行人识别装置与行人组群行人识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。