一种基于无碰撞LSTM的多目标轨迹预测方法与流程

本发明属于目标轨迹预测技术领域，特别涉及一种基于无碰撞lstm的多目标轨迹预测方法。

背景技术：

作为人类，自身拥有一个直观的导航能力，无论行人、骑自行车还是车辆，都可以认为是一个由人主导的智能体目标。研究表明，人类的机动性具有高度可预测性，只要给出足够的观测信息，就可以对他们的行为模式进行预测。当人走在一个拥挤的公共空间，如火车总站、购物中心或者城市中心，他们服从大量(不成文的)常识与规则，遵守社会惯例、交通法规等等。比如，人们考虑下一步往哪里移动，他们会出于安全和尊重个人空间的考量，保持与周围目标的距离。因此，以人为主导的智能体目标的轨迹受影响的因素十分复杂，很难对其所有因素进行抽象建模。

多目标轨迹预测通过对群体多轨迹预测进而检测群体目标异常行为，可对突发事件，及时、准确发出报警信号，便于迅速展开应对性行动。重大活动或人群密集地区，群体异常行为检测也是确保安全的一个重要手段。如何利用稳定的监视图像对群体目标的多轨迹进行预测分析，是当前面临的一个重要问题。

技术实现要素：

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于无碰撞lstm的多目标轨迹预测方法，利用无碰撞的轨迹预测(collision-freelstm，cf-lstm)序列学习模型，模型中每条lstm表示一条目标轨迹，整个lstms网络通过学习目标间的关系隐状态，以预测他们的轨迹坐标，目标间不同的距离有不同的影响程度(即最接近自己的目标比其他目标有更大的影响)。同时，本发明设计了排斥力池(replusionpooling,r-pooling)，每个lstm节点收会收到来自排斥力共享池的信息，这些信息表示在一定空间范围内相邻目标的排斥力影响。本发明能够适应不同场景，学习影响目标轨迹方向的因素，预测群体多个目标的轨迹。

为了实现上述目的，本发明采用的技术方案是：

一种基于无碰撞lstm的多目标轨迹预测方法，包括以下步骤：

步骤1：从监控视频中得到目标的运动轨迹；

步骤2：通过排斥力共享池计算影响每个目标方向的隐状态张量；

步骤3：利用无碰撞lstm模型，对多目标进行位置预测。

所述步骤1中，通过监视视频获取监画面中目标的运动轨迹，具体方法如下：

经过监控视频预处理，获取的监控视频中某一条轨迹是按时间排列的坐标序列，轨迹在监控中的持续点数为序列长度。对视频进行抽帧处理，例如，每隔15帧，截取当前帧受关注的运动目标检测结果，然后利用目标检测算法对帧中运动目标进行检测，将检测到的运动目标的几何中心作为目标中心点，记录运动目标中心点的移动坐标，得到目标的运动轨迹。

所述步骤2中，利用排斥力模型，计算不同类别目标间的排斥力，然后利用排斥力共享池计算影响每个目标方向的隐状态张量。

所述不同类别目标间的排斥力计算方法如下：

确定目标空间坐标以及设定不同类别目标直径，设置不同类别目标放大系数和距离调节因子，首先计算目标间欧式距离进而利用排斥力模型计算排斥力ri,j(si,j)＝ai,jexp(si,j/di,j)ai,j＞0,di,j＞0，其中，(xi,yi)和(xj,yj)是目标i个目标j的坐标，参数ai,j为排斥力大小的放大系数，参数di,j为排斥力作用距离的调节因子。

需要注意，不同类别目标间的放大系数与调节因子大小不同，如：人-人之间的放大系数与调节因子和人-自行车之间的放大系数与调节因子大小是不同的。本发明设定三类目标，分别为人、自行车和汽车。

所述影响每个目标方向的隐状态张量的计算方法如下：

确定预测目标，设以预测目标为中心，长度为r的排斥力共享池半径，划分n个扇形区域，扇形区域的个数即方向维度，利用排斥力模型计算预测目标与排斥力共享池范围内每个目标的排斥力，计算每个扇形区域，即不同方法影响预测目标的共享隐状态张量。

所述步骤3中，对多目标进行位置预测的方法如下：

通过步骤1所得目标的运动轨迹的空间位置，预测目标的运动轨迹多个空间位置，即，无碰撞lstm模型的输入序列是在一定空间的所有目标的空间位置，输出序列是预测目标未来的轨道点位置。

所述目标轨迹多个空间位置的预测计算方法如下：

轨迹分布符合二元高斯分布，通过前t-1个时间的隐状态，可以预测t时刻的轨迹位置。

所述无碰撞lstm模型的参数进行如下优化：

给定目标的真实轨迹空间坐标值和参数集，无碰撞lstm网络通过最小化负对数似然估计优化模型参数。

将多个目标轨迹空间位置信息输入无碰撞lstm模型，进而输出多个目标轨迹多个空间位置信息：

训练时，利用现有数据集的描述，设置方向维度，共享池空间半径，无碰撞lstm模型隐藏状态的维度，以及观测轨迹值的帧数，预测未来帧数的轨迹，使用梯度下降法优化目标函数，使用反向传播算法更新权值，进而训练无碰撞lstm网络；

测试时，将从测试视频中的观测帧数得到的多个目标轨迹空间坐标位置输入无碰撞lstm，该网络输出的空间位置即为预测轨迹信息。

与现有技术相比，本发明的有益效果是：该模型能够适应不同场景，学习影响目标轨迹方向的因素，获取目标间相互作用的隐状态，预测多个目标的轨迹。

附图说明

图1是无碰撞lstm模型示意图。

图2是提取运动目标轨迹过程示意图，其中：(a)初始目标检测图，(b)15帧后目标检测图，(c)30帧后目标检测图，(d)45帧目标检测图，(e)60帧后目标检测图，(f)75帧后目标检测图，(g)运动目标轨迹图。

图3是排斥力共享池模型工作示意图。

图4是轨迹预测网络解码过程。

图5是排斥力模型示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例详细说明本发明的实施方式。

本发明一种基于无碰撞lstm的多目标轨迹预测方法，利用每个目标的空间坐标位置的连续记录，形成一段时间内的轨迹序列数据，建立基于目标距离关系的排斥力模型，进而设计了排斥力共享池(replusionpooling)，尝试引入到lstm网络，成功构建了基于序列学习的轨迹预测网络(collision-freelstm,cf-lstm)。该模型能够适应不同场景，学习影响目标轨迹方向的因素，获取目标间相互作用的隐状态，预测多个目标的轨迹。

如图1所示，左侧图显示了关于目标2的排斥力共享池(r-pooling)的具体描述，目标2在半径为r的范围内，不同的位置对目标2内的有不同的排斥影响。右侧显示lstms通过排斥力共享池(r-pooling)连接一定范围内的每个目标，目标1和目标3在某时刻的隐状态分别为h1和h3，通过排斥力共享池计算得出对目标2的排斥力影响值h2。

本发明的具体方法如下：

1.目标运动轨迹提取

如图2中(a)-(f)所示，对监视视频每隔15帧，截取当前帧受关注的运动目标检测结果，运用maskr-cnn模型对图像目标检测，将检测到的运动目标的几何中心作为目标中心点，记录运动目标中心点的移动坐标，得到目标的运动轨迹(图2(g))。轨迹可以表示如式(1)。

其中，表示第i个目标在第t时刻的坐标。观察到的轨迹是从时间1到tobs的特定空间中所有目标的位置，任务是预测目标的位置从时间tobs+1到tpred。可以认为这是一个序列生成问题，其中输入序列是在一定空间的所有目标的空间位置，输出序列是预测目标未来的轨道点位置。

2.排斥力共享池计算隐状态张量

(1)排斥力计算模型

不同的目标在它们行进的路线上，会有意识的避免与周围临近的目标发生碰撞。由此，可以进一步简化社会力模型，不考虑目标的速度因素，根据关注目标与周围目标的距离所产生的排斥力作用，建立一种简单有效的目标运动方向模型。如图5所示，排斥力模型中(xi,yi)、(xj,yj)和(xk,yk)分别表示目标i、目标j和目标k的空间位置坐标，目标间的距离si,j计算见式(2)。

排斥力计算过程见式(3)，

ri,j(si,j)＝ai,jexp(si,j/di,j)ai,j＞0,di,j＞0(3)

其中，参数ai,j为排斥力大小的放大系数，参数di,j为排斥力作用距离的调节因子。

需要注意，不同类别目标间的放大系数与调节因子大小不同，如：人-人之间的放大系数与调节因子和人-自行车之间的放大系数与调节因子大小是不同的。本专利设定三类目标，分别为人、自行车和汽车。

(2)排斥力共享池

提出的排斥力共享池模型(replusionpooling)，能够聚集在一定范围内不同方向的目标相互间的作用信息。通过排斥力模型，共享池可以计算得出排斥力隐状态张量，该张量信息表达了不同方向的临近目标间相互影响的隐藏状态。最终通过lstm节点运算，输出该节点影响目标运动轨迹的隐状态信息。具体如图3所示，排斥力共享池中目标1周围一定空间范围共分为n个扇形区域。在区域(1,2)和区域(1,3)中，分别汇集有目标3、4和2。在步骤2中，不同距离的目标对目标1有不同的排斥力力。最后一步是在不同的方向上显示目标1的排斥力隐藏张量h1。

首先，设定方向维度为n，lstm的隐状态维度为q。表示目标i在t时刻对应方位n的排斥力隐状态，见式(4)。然后，在整个方向维度n上，构建排斥力隐状态张量，见式(5)，

其中，r(si，j)表示目标i与目标j之间的排斥力，计算公式见式(5)；表示在t-1时刻，目标j的lstm隐状态；(i，n)表示目标i方向n的区域；函数1i,n[x,y]判断空间位置(x，y)是否在区域(i，n)；mi,n表示区域(i，n)内的目标集合。

利用函数φ(·)将空间坐标(x，y)映射到ri^t，将排斥力张量映射到lstm网络在时间t的编码过程如下：

其中，φ(·)为非线性变换函数relu；wr和wc为转换权值；wl表示lstm共享参数；

3.位置预测过程

通过前t-1个时间的隐状态，可以预测的轨迹位置。假设轨迹分布符合二元高斯分布，均值表示为：标准差标准差为预测这些参数的为5×q的权值矩阵wp。具体如下：

cf-lstm通过最小化负对数似然估计，优化模型参数。式(11)表示预测目标i的轨迹。具体解码如图4，表示了一条轨迹预测，如图5所示。

。