一种基于运动路径分析的身份识别多目标跟踪方法及系统

1.本发明涉及计算机视觉技术领域，具体涉及一种基于运动路径分析的身份识别多目标跟踪方法及系统。


背景技术：

2.目前传统的人员跟踪系统已经在各行各业取得应用，如人员个体实时跟踪、警务监控等，多目标跟踪(multi-object tracking，mot)实现了可视化监控、智能交通导航、人机交互等许多高水平的计算机视觉任务。在多摄像头环境中，多目标跟踪可作为分析监控视频的基本要素。另外，若可以将真实身份信息(如被识别的人脸)分配到每个跟踪轨迹，可用于后续的个人具体行为分析。然而，在长期监控中，多目标跟踪器会难以避免地产生误差，比如混淆两个人的身份。因此，若能够自动定位潜在的跟踪误差，那么就可以提供有效的关键信息将跟踪器引导至正确的跟踪结果。然而，目前提出的多目标跟踪系统都还存在着明显地缺陷：1)无法执行身份识别跟踪；2)不能识别最终跟踪输出中的不确定度，极大的影响了目标跟踪的质量。


技术实现要素：

3.为解决现有技术中存在的问题，本发明提供一种基于运动路径分析的身份识别多目标跟踪方法及系统，能够进行身份识别跟踪，提高目标跟踪质量。
4.为达到上述目的，本发明的技术方案是这样实现的：
5.第一方面，本发明实施例提供了一种基于运动路径分析的身份识别多目标跟踪方法，包括步骤：
6.获取从多个角度拍摄的多目标的运行轨迹数据；
7.将所有所述运行轨迹数据映射至三维坐标系中，获得观测值；
8.基于具有相似外观的所述观测值进行建模，得到外观关联模型；基于相邻帧中相隔预设距离的所述观测值进行建模，得到空间关联模型；
9.基于所述外观关联模型和所述空间关联模型，编码外观和空间关联的初步损失函数；
10.在所述初步损失函数中增加互斥约束和空间局部性约束，获得最终损失函数；其中，所述互斥约束包括一个观测值最多属于一类别，所述空间局部性约束包括一个观测值移动到另一个观测值所需的速度大于预设的速度，则两个观测值不属于同一类别；
11.采用求解路径算法求解所述最终损失函数，获得求解路径；
12.基于所述求解路径，获得多个目标中的每个目标的运动路径轨迹；
13.基于每个目标的所述运动路径轨迹，对每个目标进行跟踪。
14.与现有技术相比，本发明的第一方面具有以下有益效果：
15.本方法基于具有相似外观的观测值进行建模，得到外观关联模型；基于相邻帧中相隔预设距离的观测值进行建模，得到空间关联模型；基于外观关联模型和空间关联模型，
编码外观和空间关联的初步损失函数；在初步损失函数中增加互斥约束和空间局部性约束，获得最终损失函数；其中，互斥约束包括一个观测值最多属于一类别，空间局部性约束包括一个观测值移动到另一个观测值所需的速度大于预设的速度，则两个观测值不属于同一类别；采用求解路径算法求解最终损失函数，获得求解路径。本方法通过外观关联模型和空间关联模型以及增加互斥和空间局部性约束，能够进行身份识别，提高目标跟踪的准确性，提高目标跟踪质量。
16.进一步，所述基于具有相似外观的所述观测值进行建模，得到外观关联模型，包括：
17.通过如下三个条件，选取每个观测值的最近邻集合：
18.第一个条件包括从观测值i到观测值j所需的速度小于或等于预设速度；第二个条件包括观测值i被观测到的时间和观测值j被观测到的时间之间间隔小于或等于预设时间；第三个条件包括观测值i的颜色直方图和观测值j的颜色直方图之间的相似性高于阈值；
19.基于所述最近邻集合，计算稀疏关联矩阵w∈rn×n：
20.若观测值j∈qi，则w
ij
＝χ2(hi,hj)；否则，w
ij
＝0；其中，所述qi表示满足观测值i最近邻条件的k个最相似观测值的集合，所述w表示稀疏关联矩阵，所述rn×n表示n行n列的矩阵，所述χ2表示度量指数，所述hi表示观测值i的颜色直方图，所述hj表示观测值j的颜色直方图；
21.基于所述稀疏关联矩阵，计算对角矩阵
22.基于所述稀疏关联矩阵和所述对角矩阵，获得所述外观关联模型l＝d-w。
23.进一步，所述基于相邻帧中相隔预设距离的所述观测值进行建模，得到空间关联模型，包括：
24.获取距离观测值i的距离小于预设距离、帧数小于预设帧数的观测值集合ki；
25.从所述观测值集合ki计算关联矩阵a∈rn×n，其中，若观测值j∈ki，则a
ij
＝1，否则，a
ij
＝0，所述a表示关联矩阵，所述rn×n表示n行n列的矩阵；
26.基于所述关联矩阵，计算对角角度矩阵
27.计算归一化的第二拉普拉斯矩阵通过归一化的第二拉普拉斯矩阵编码空间关联，获得所述空间关联模型，其中i为单位矩阵。
28.进一步，通过如下公式构建所述初步损失函数：
29.min tr(f
t
(l+k)f)
[0030][0031]
其中，所述tr(
•
)表示矩阵的迹运算，所述f
t
表示n行n列的标签矩阵f的转置，所述标签矩阵为标签分配情况编码而成，所述y表示人脸识别信息集，所述人脸识别信息集由y＝{(a,b)|观测值a被识别为个体b}表示。
[0032]
进一步，通过如下公式构建所述最终损失函数：
[0033]
min tr(f
t
(l+k)f)
[0034]
[0035][0036]
其中，tr(
·
)表示矩阵的迹运算，所述fr表示观测值r的标签矩阵，所述n表示有n个观测值，所述t表示不属于同一类别的观测值对，所述观测值对表示观测值i和观测值j，元素f
il
和元素f
jl
不能均为非零元素，所述c表示被跟踪的总个体数，l表示被跟踪的总个体数中的一个个体。
[0037]
进一步，所述采用求解路径算法求解所述最终损失函数，获得求解路径，包括：
[0038]
通过计算l
p
的求解路径连接l1范数约束下易获得的解和l0范数约束下难获得的解，其中，0≤p≤1；
[0039]
从l1范数约束下的解开始，采用求解路径算法相继解出不同l
p
范数约束下的相同优化问题，其中p逐渐从1减到0，所述求解路径算法的求解过程为：
[0040]
用p
(m)
表示求解路径算法第m次迭代所使用的p，p
(1)
＝1，p
(m)
→
0，并且对于2≤m≤m，p
(m-1)
》p
(m)
；在范数约束下，采用块坐标下降法计算所述最终损失函数的解f
(m)
，获得集合f＝{f
(1)
,f
(2)
,...,f
(m)
}，所述f表示求解路径。
[0041]
进一步，还包括步骤：
[0042]
通过跟踪每个目标获得预警信息，根据所述预警信息进行预警。
[0043]
第二方面，本发明实施例提供了一种基于运动路径分析的身份识别多目标跟踪系统，包括：
[0044]
运行轨迹数据获取单元，用于获取从多个角度拍摄的多目标的运行轨迹数据；
[0045]
观测值获取单元，用于将所有所述运行轨迹数据映射至三维坐标系中，获得观测值；
[0046]
外观和空间模型获取单元，用于基于具有相似外观的所述观测值进行建模，得到外观关联模型；基于相邻帧中相隔预设距离的所述观测值进行建模，得到空间关联模型；
[0047]
初步损失函数获取单元，用于基于所述外观关联模型和所述空间关联模型，编码外观和空间关联的初步损失函数；
[0048]
最终损失函数获取单元，用于在所述初步损失函数中增加互斥约束和空间局部性约束，获得最终损失函数；其中，所述互斥约束包括一个观测值最多属于一类别，所述空间局部性约束包括一个观测值移动到另一个观测值所需的速度大于预设的速度，则两个观测值不属于同一类别；
[0049]
求解路径获取单元，用于采用求解路径算法求解所述最终损失函数，获得求解路径；
[0050]
运动路径轨迹获取单元，用于基于所述求解路径，获得多个目标中的每个目标的运动路径轨迹；
[0051]
目标跟踪单元，用于基于每个目标的所述运动路径轨迹，对每个目标进行跟踪。
[0052]
与现有技术相比，本发明的第二方面具有以下有益效果：
[0053]
本系统通过外观和空间模型获取单元基于具有相似外观的观测值进行建模，得到外观关联模型；基于相邻帧中相隔预设距离的观测值进行建模，得到空间关联模型；通过初步损失函数获取单元基于外观关联模型和空间关联模型，编码外观和空间关联的初步损失函数；通过最终损失函数获取单元在初步损失函数中增加互斥约束和空间局部性约束，获
得最终损失函数；其中，互斥约束包括一个观测值最多属于一类别，空间局部性约束包括一个观测值移动到另一个观测值所需的速度大于预设的速度，则两个观测值不属于同一类别；通过求解路径获取单元采用求解路径算法求解最终损失函数，获得求解路径。本系统通过外观关联模型和空间关联模型以及增加互斥和空间局部性约束，能够进行身份识别，提高目标跟踪的准确性，提高目标跟踪质量。
[0054]
第三方面，本发明实施例提供了一种基于运动路径分析的身份识别多目标跟踪设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种基于运动路径分析的身份识别多目标跟踪方法。
[0055]
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种基于运动路径分析的身份识别多目标跟踪方法。
附图说明
[0056]
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0057]
图1为本发明一个实施例提供的一种基于运动路径分析的身份识别多目标跟踪方法的流程图；
[0058]
图2为本发明另一个实施例提供的一种基于运动路径分析的身份识别多目标跟踪方法的流程图；
[0059]
图3为本发明一个实施例提供的迭代投影法的第一次迭代示例；
[0060]
图4为本发明一个实施例提供的一种基于运动路径分析的身份识别多目标跟踪系统的框架图。
具体实施方式
[0061]
下面将结合附图，对本公开实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。需要说明的是，在不冲突的情况下，本公开实施例及实施例中的特征可以相互组合。另外，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本公开的每个技术特征和整体技术方案，但其不能理解为对本公开保护范围的限制。
[0062]
在本发明的描述中，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0063]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0064]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]
目前传统的人员跟踪系统已经在各行各业取得应用，如人员个体实时跟踪、警务监控等，多目标跟踪(multi-object tracking，mot)实现了可视化监控、智能交通导航、人机交互等许多高水平的计算机视觉任务。在多摄像头环境中，多目标跟踪可作为分析监控视频的基本要素。另外，若可以将真实身份信息(如被识别的人脸)分配到每个跟踪轨迹，可用于后续的个人具体行为分析。然而，在长期监控中，多目标跟踪器会难以避免地产生误差，比如混淆两个人的身份。因此，若能够自动定位潜在的跟踪误差，那么就可以提供有效的关键信息将跟踪器引导至正确的跟踪结果。然而，目前提出的多目标跟踪系统都还存在着明显地缺陷：1)无法执行身份识别跟踪；2)不能识别最终跟踪输出中的不确定度，极大的影响了目标跟踪的质量。
[0066]
为解决上述问题，本发明基于具有相似外观的观测值进行建模，得到外观关联模型；基于相邻帧中相隔预设距离的观测值进行建模，得到空间关联模型；基于外观关联模型和空间关联模型，编码外观和空间关联的初步损失函数；在初步损失函数中增加互斥约束和空间局部性约束，获得最终损失函数；其中，互斥约束包括一个观测值最多属于一类别，空间局部性约束包括一个观测值移动到另一个观测值所需的速度大于预设的速度，则两个观测值不属于同一类别；采用求解路径算法求解最终损失函数，获得求解路径。本发明通过外观关联建模、空间关联建模以及增加互斥和空间局部性约束，能够进行身份识别，提高目标跟踪的准确性，提高目标跟踪质量。
[0067]
参照图1至图2，本发明实施例提供了一种基于运动路径分析的身份识别多目标跟踪方法，包括步骤：
[0068]
步骤s100、获取从多个角度拍摄的多目标的运行轨迹数据。
[0069]
具体的，本实施例通过监测设备从多个角度拍摄多目标，该监测设备可为一台监测设备或多台监测设备，由于一台监测设备是多台监测设备的特殊情况，本实施例仅以多台监测设备为例，本实施例通过多台监测设备从不同角度获取到多个目标的运行轨迹。
[0070]
步骤s200、将所有运行轨迹数据映射至三维坐标系中，获得观测值。
[0071]
具体的，把获取到的多个目标中每个目标的运行轨迹数据映射至一个统一的三维坐标系中，获得观测值，该观测值可以表示为三维坐标系中的一个点，该观测值具有相应的位置以及被观测到的时间。
[0072]
步骤s300、基于具有相似外观的观测值进行建模，得到外观关联模型；基于相邻帧中相隔预设距离的观测值进行建模，得到空间关联模型。
[0073]
具体的，基于具有相似外观的观测值进行建模，得到外观关联模型，该外观关联模型获取过程为：
[0074]
由于具有类似外观的两个观测值很可能属于同一个人，为此根据以下定义的条件找到每个数据点的最近邻，以建立流形结构。
[0075]
通过如下三个条件，选取每个观测值的最近邻集合，该三个条件为：
[0076]
第一个条件包括从观测值i到观测值j所需的速度小于或等于预设速度；第二个条件包括观测值i被观测到的时间和观测值j被观测到的时间之间间隔小于或等于预设时间；第三个条件包括观测值i的颜色直方图和观测值j的颜色直方图之间的相似性高于阈值；
[0077]
基于最近邻集合，计算稀疏关联矩阵w∈rn×n：
[0078]
若观测值j∈qi，则w
ij
＝χ2(hi,hj)；否则，w
ij
＝0；其中，qi表示满足观测值i最近邻条件的k个最相似观测值的集合，w表示稀疏关联矩阵，rn×n表示n行n列的矩阵，χ2表示度量指数，hi表示观测值i的颜色直方图，hj表示观测值j的颜色直方图；
[0079]
基于稀疏关联矩阵，计算对角矩阵
[0080]
基于稀疏关联矩阵和对角矩阵，获得外观关联模型l＝d-w。
[0081]
基于相邻帧中相隔预设距离的观测值进行建模，得到空间关联模型，该空间关联模型获取过程为：
[0082]
获取距离观测值i的距离小于预设距离帧数小于预设帧数的观测值集合ki；
[0083]
从观测值集合ki计算关联矩阵a∈rn×n，其中，若观测值j∈ki，则a
ij
＝1，否则，a
ij
＝0，a表示关联矩阵，rn×n表示n行n列的矩阵；
[0084]
基于关联矩阵，计算对角角度矩阵
[0085]
计算归一化的第二拉普拉斯矩阵通过归一化的第二拉普拉斯矩阵编码空间关联，获得空间关联模型，其中i为单位矩阵。
[0086]
本实施例通过外观关联模型和空间关联建模能够为每个观测值打上标签，将属于同一类别的观测值打上同一种类别标签，这样可以进行身份识别，提高目标跟踪的准确性，提高目标跟踪质量。
[0087]
步骤s400、基于外观关联模型和空间关联模型，编码外观和空间关联的初步损失函数。
[0088]
具体的，在获得外观关联模型和空间关联模型后，编码外观和空间关联的初步损失函数，通过如下公式构建初步损失函数：
[0089]
min tr(f
t
(l+k)f)
[0090][0091]
其中，tr(
·
)表示矩阵的迹运算，f
t
表示n行n列的标签矩阵f的转置，标签矩阵为标签分配情况编码而成，y表示人脸识别信息集，人脸识别信息集由y＝{(a,b)|观测值a被识别为个体b}表示。
[0092]
步骤s500、在初步损失函数中增加互斥约束和空间局部性约束，获得最终损失函数；其中，互斥约束包括一个观测值最多属于一类别，空间局部性约束包括一个观测值移动到另一个观测值所需的速度大于预设的速度，则两个观测值不属于同一类别。
[0093]
具体的，所述互斥约束指一个观测值最多只能属于一种类别，对应于标签矩阵f中每行最多有一个非零值，即，||fi||0≤1,1≤i≤n；若所述标签矩阵f中的一行全是零，则所述观测值不属于任何一类。
[0094]
所述空间局部性约束指一个人无法同时出现在多个地方，给定一对观测值(i,j)，若从一个观测值移动到另一个观测值所需速度大于预设速度，那么这一对观测值不属于同一类别；若两个观测值(i,j)不属于同一类别，则对于所有的1≤l≤c，元素f
il
和f
jl
不能均为非零元素，也可以使用l0范数约束来模拟空间局部性约束，即，||f
il
,f
jl
||0≤1,1≤l≤c，其中，所述c表示被跟踪的总个体数，一个个体对应一个类别。
[0095]
在所述初步损失函数中增加互斥约束和所述空间局部性约束，获得最终损失函数，通过如下公式构建最终损失函数：
[0096]
min tr(f
t
(l+k)f)
[0097][0098][0099]
其中，tr(
•
)表示矩阵的迹运算，fr表示观测值r的标签矩阵，n表示有n个观测值，t表示不属于同一类别的观测值对，观测值对表示观测值i和观测值j，元素f
il
和元素f
jl
不能均为非零元素，l表示被跟踪的总个体数中的一个个体。
[0100]
本实施例，通过互斥约束和空间局部性约束进一步限制判断观测值是否属于同一类别，进一步提高目标跟踪的准确性，提高目标跟踪质量。
[0101]
步骤s600、采用求解路径算法求解最终损失函数，获得求解路径。
[0102]
具体的，求解路径可作为连接两个解的桥梁：l1范数约束下易获得的解和l0范数约束下难获得的解。本实施例通过计算l
p
的求解路径来连接l1范数约束下易获得的解和l0范数约束下难获得的解，其中，0≤p≤1；
[0103]
从l1范数约束下的解开始，采用求解路径算法相继解出不同l
p
范数约束下的相同优化问题，其中p逐渐从1减到0，求解路径算法的求解过程为：
[0104]
用p
(m)
表示求解路径算法第m次迭代所使用的p，p
(1)
＝1，p
(m)
→
0，并且对于2≤m≤m，p
(m-1)
》p
(m)
；在范数约束下，采用块坐标下降法计算最终损失函数的解f
(m)
，获得集合f＝{f
(1)
,f
(2)
,...,f
(m)
}，f表示求解路径。
[0105]
本实施例通过互斥约束和空间局部性约束将跟踪问题阐述为具有l0范数约束的二次优化问题，再通过求解路径算法对该问题进行松弛，使得所获得的求解路径更符合目标跟踪的决策过程，并且可提供更多信息来定位潜在跟踪误差，提高目标跟踪质量。
[0106]
步骤s700、基于求解路径，获得多个目标中的每个目标的运动路径轨迹。
[0107]
具体的，在获得求解路径集合f＝{f
(1)
,f
(2)
,...,f
(m)
}，该集合包括多个目标的运动路径轨迹，通过前面获得的同一类别标签的观测值，通过连接属于同一类别的观测值计算出多个目标中每个目标的运动路径轨迹。
[0108]
步骤s800、基于每个目标的运动路径轨迹，对每个目标进行跟踪。
[0109]
具体的，获取到每个目标的运动路径轨迹后，基于该路径对每个目标进行跟踪。
[0110]
进一步，本发明实施例提供的一种基于运动路径分析的身份识别多目标跟踪方法，还包括步骤：
[0111]
步骤s900、通过跟踪每个目标获得预警信息，根据预警信息进行预警。
[0112]
具体的，通过对每个目标进行跟踪，了解不同人员的运动轨迹和状态，并将该运动轨迹和状态发送给管理人员的移动终端app和监控大屏幕上进行显示，对出现有异常的情况获得预警信息，根据预警信息及时预警，从而将不可预见的风险降到最低。
[0113]
为了便于本领域技术人员理解，以下提供一组最佳实施例：
[0114]
为了便于描述，给出本发明实施例中使用的符号定义如下：
[0115]
对于给定的矩阵b，b
ij
表示b的第i行和第j列的元素，bi表示b的第i行。对于向量b，bi
表示b的第i个元素。给定一个向量x∈rb，x的l
p
范数可以表示为tr(
•
)表示矩阵的迹运算。
[0116]
假设由观测设备获得多个目标的运行轨迹数据，这些运行轨迹数据可能来自于单台观测设备或多台观测设备。由于单台观测设备是多台观测设备的特殊情况，故本实施例只讨论多台观测设备的情况，即把不同观测设备的所有运行轨迹数据映射到一个统一的三维坐标系中，假设获得n个观测值。设p∈rn×3，其中pi对应观测值i的位置(x,y,z)。设t∈rn，其中ti对应的是观测值i被观测到的时间。设h∈rn×d是一个矩阵，代表每个观测值的所有d维颜色直方图。设c为被跟踪的总个体数，可以由预先定义的人脸库或人脸识别算法识别的独特个体数量来确定。值得注意的是，由于每个个体可以多次进入和离开监控场景，因此，获取的轨迹数量可以大于c。本实施例将从观测值i到观测值j所需的速度表示为其中ε表示一个小数，以防止被零除，δ表示最大定位误差，用于补偿相机校准误差。
[0117]
身份识别多目标跟踪的目的是给n个(非误报)观测值中每个观测值分配一个类别标签，其中每个类别对应一个个体。学习到的标签分配情况被编码为一个标签矩阵f∈rn×c。0≤f
cd
≤1，f
cd
的值越大表示观测值c属于d类的概率越大。可用的人脸识别信息集由y＝{(c,d)|观测值c被识别为个体d}表示。
[0118]
首先，本实施例使用流形学习方法来编码人员监测的外观和空间信息，该流形学习方法考虑了从多个其他观测值来获得外观和空间信息，用于决定观测值的标签。
[0119]
外观关联建模，获得外观关联模型，该建模过程为：
[0120]
由于具有类似外观的两个观测值可能属于同一个人，为此根据以下定义的条件找到每个观测值的最近邻，获取每个观测值的最近邻集合，若满足以下条件，则称观测值j是观测值i最近邻的合适对象：
[0121]
(1)能以合理的速度到达j，即，v
ij
≤v；
[0122]
(2)i和j在时间上不应相隔太远，即，|t
i-tj|≤t；
[0123]
(3)两个观测值应该看上去很相似，即，观测值i的颜色直方图hi和观测值j的颜色直方图hj之间的相似性应该高于阈值τ；
[0124]
其中，v
ij
表示观测值i到观测值j所需的速度，预设速度v表示一个人能取得的最大速度，本实施例取预设速度v为3m/s。预设时间t表示可以在时间轴内寻找的最近邻范围，因为若两个观测值在时间上相似，即使它们具有类似外观，仍然不属于同一个人，本实施例取预设时间t为8秒，本实施例取阈值τ为0.85，值得注意的是，本实施例的预设速度、预设时间以及阈值可通过具体实验更改预设值，本实施例不做限定。
[0125]
通过指数χ2度量来计算两个颜色直方图之间的相似性，计算公式为：
[0126][0127]
其中，χ2(hi,hj)表示使用指数χ2度量所述颜色直方图hi和hj之间的相似性，h∈rn×d表示矩阵，代表每个观测值的所有d维颜色直方图，因此，hi表示观测值i的所有d维颜色直方图，hj表示观测值j的所有d维颜色直方图。
[0128]
计算稀疏关联矩阵w∈rn×n，计算过程为：
[0129]
若观测值j∈qi，那么w
ij
＝χ2(hi,hj)；否则，w
ij
＝0，其中，qi表示满足观测值i最近邻的合适候选对象条件的k个最相似观测值的集合；
[0130]
在外观空间中捕捉流形结构的拉普拉斯矩阵为l＝d-w；
[0131]
其中，d表示w
ij
的对角矩阵，即，
[0132]
空间关联建模，获得空间关联模型，该建模过程为：
[0133]
由于在多摄像头场景中，来自不同检测设备的观测值可能是同一个人，相邻帧中相隔几厘米的观测值也很可能属于同一个人，但是由于校准误差，这些人员检测结果不会都投影到同一个3d点。为此，本实施例通过一个拉普拉斯矩阵k∈rn×n来编码该信息。
[0134]
获取距离观测值i的距离小于预设距离d～、帧数小于预设帧数t～的观测值集合ki；
[0135]
从观测值集合ki计算关联矩阵a∈rn×n，其中，若观测值j∈ki，则a
ij
＝1，否则，a
ij
＝0，a表示关联矩阵，rn×n表示n行n列的矩阵；
[0136]
基于关联矩阵，计算对角角度矩阵
[0137]
计算归一化的第二拉普拉斯矩阵通过归一化的第二拉普拉斯矩阵编码空间关联，获得空间关联模型，其中i为单位矩阵。
[0138]
编码外观和空间关联的初步损失函数如下所示：
[0139][0140]
其中，tr(
•
)表示矩阵的迹运算，f
t
表示n行n列的标签矩阵f的转置，标签矩阵为标签分配情况编码而成，y表示人脸识别信息集，人脸识别信息集由y＝{(a,b)|观测值a被识别为个体b}表示。
[0141]
通过最小化初始损失函数的二次项，可找到一个标号使推断出的标签和其邻居具有类似的标号。但是，该假设并不是在所有场景下都是准确的，因此，进一步往损失函数中增添互斥约束和空间局部性约束，以提高目标跟踪的准确性。
[0142]
然后，建立互斥约束和空间局部性约束，建立过程为：
[0143]
互斥约束指一个观测值最多只能属于一种类别，对应于标签矩阵f中每行最多有一个非零值，即，||fi||0≤1,1≤i≤n；若标签矩阵f中的一行全是零，则观测值不属于任何一类。
[0144]
空间局部性约束指一个人无法同时出现在多个地方，给定一对观测值(i,j)，若从一个观测值移动到另一个观测值所需速度大于预设速度，那么这一对观测值不属于同一类别；若两个观测值(i,j)不属于同一类别，则对于所有的1≤l≤c，元素f
il
和f
jl
不能均为非零元素，也可以使用l0范数约束来模拟空间局部性约束，即，||f
il
,f
jl
||0≤1,1≤l≤c，其中，c表示被跟踪的总个体数，一个个体对应一个类别。
[0145]
在初步损失函数中增加互斥约束和空间局部性约束，获得最终损失函数，通过如
下公式构建最终损失函数：
[0146][0147]
其中，tr(
·
)表示矩阵的迹运算，fr表示观测值r的标签矩阵，n表示有n个观测值，t表示不属于同一类别的观测值对，观测值对表示观测值i和观测值j，元素f
il
和元素f
jl
不能均为非零元素，l表示被跟踪的总个体数中的一个个体。
[0148]
接下来，通过求解路径算法求解路径，求解过程为：
[0149]
求解路径可作为连接两个解的桥梁：l1范数约束下易获得的解和l0范数约束下难获得的解。本实施例通过计算l
p
的求解路径计算连接l1范数约束下易获得的解和l0范数约束下难获得的解，其中，0≤p≤1；
[0150]
从l1范数约束下的解开始，采用求解路径算法相继解出不同l
p
范数约束下的相同优化问题，其中p逐渐从1减到0，求解路径算法的求解过程为：
[0151]
一般而言，前一次迭代的p和当前p之间的差异不会太大，之前参数设置的解可以作为当前参数设置的初始值。具体而言，用p
(m)
表示求解路径算法第m次迭代所使用的p，p
(1)
＝1，p
(m)
→
0，并且对于2≤m≤m，p
(m-1)
》p
(m)
；在范数约束下，本实施例采用块坐标下降法计算最终损失函数的解f
(m)
，设f
(m-1)
用来初始化第m次迭代的优化过程，获得集合f＝{f
(1)
,f
(2)
,...,f
(m)
}，f表示求解路径，在l1范数约束下，通过随机初始值获得f(1)的解。
[0152]
本实施例使用块坐标下降法的计算过程为：
[0153]
为了优化f
(m)
，块坐标下降法仅更新单个观测值i的变量，而保持所有其它观测值固定不变，并通过随机排序选择更新的观测值。为了更清楚地进行标号，令g＝f
(m)
，用p指p
(m)
。g的第i行表示为gi＝[g
i1
,g
i2
,...,g
ic
]。其它量不变，仅优化gi，因此公式(2)的最终损失函数可简化为如下二次函数：
[0154][0155]
其中，a∈rc，a编码观测值i的邻居的标签信息，a中元素l的计算如下：其中，w和a为上述所定义的相似矩阵。若第i行包含一张已识别是人脸，则不更新gi。
[0156]
进一步松弛公式(3)。由于空间局部性约束，对于所有j，有其中，(i,j)∈t。由于g
jl
是固定的，基于空间局部性约束可获得g
il
的上限，记为u
l
。设u∈rc表示gi中每个元素的上限，本实施例用u来修正a每个维度的值来获得a'，即，a
′
l
＝min(a
l
,u
l
)。可获得以下松弛损失函数：
[0157]
[0158]
若||a'||
p
≤1，则gi的解为gi＝a'，否则，使用迭代投影法求解公式(4)，找出公式(4)的局部最小值。
[0159]
该迭代投影法求解过程为：
[0160]
为了方便说明，设满足{v|||v||
p
≤1}的区域为l
p
范数球。开始时，给定a
′
，其中||a
′
||
p
＞1，首先，在a
′
和原点之间画一条线。参照图3，图中的l
p norm ball表示l
p
范数球，为这条线和第1次迭代中l
p
范数球边界相交的地方，即，可通过二分法检索高效地找到这个相交点。在第l＞1次迭代，给定来自第l-1次迭代的通过如下方式计算首先，在计算l
p
范数球的切面π
(l-1)
。接下来，将a投影到π
(l-1)
，该投影表示为x
(l-1)
。然后，在a
′
和x
(l-1)
之间画一条线，并找到这条线和l
p
范数球边界的相交点。将相交点表示为重复这些步骤直至收敛。
[0161]
其次，在获得求解路径集合f＝{f
(1)
，f
(2)
，...，f
(m)
}中，该集合包括多个目标的运动路径轨迹，一旦获得满足互斥约束的最终f
(m)
，通过前面获得的同一类别标签的观测值，连接属于同一类别的观测值计算出多个目标中每个目标的运动路径轨迹，并基于该路径对每个目标进行跟踪。
[0162]
最后，通过对每个目标进行跟踪，了解不同人员的运动轨迹和状态，并将该运动轨迹和状态发送给管理人员的移动终端app和监控大屏幕上进行显示，对出现有异常的情况获得预警信息，根据预警信息及时预警，从而将不可预见的风险降到最低。
[0163]
本实施例通过外观关联建模和空间关联建模以及增加互斥和空间局部性约束，能够进行身份识别，提高目标跟踪的准确性，提高目标跟踪质量。
[0164]
参照图4，本发明实施例还提供了一种基于运动路径分析的身份识别多目标跟踪系统，包括：
[0165]
运行轨迹数据获取单元100，用于获取从多个角度拍摄的多目标的运行轨迹数据；
[0166]
观测值获取单元200，用于将所有运行轨迹数据映射至三维坐标系中，获得观测值；
[0167]
外观和空间模型获取单元300，用于基于具有相似外观的观测值进行建模，得到外观关联模型；基于相邻帧中相隔预设距离的观测值进行建模，得到空间关联模型；
[0168]
初步损失函数获取单元400，用于基于外观关联模型和空间关联模型，编码外观和空间关联的初步损失函数；
[0169]
最终损失函数获取单元500，用于在初步损失函数中增加互斥约束和空间局部性约束，获得最终损失函数；其中，互斥约束包括一个观测值最多属于一类别，空间局部性约束包括一个观测值移动到另一个观测值所需的速度大于预设的速度，则两个观测值不属于同一类别；
[0170]
求解路径获取单元600，用于采用求解路径算法求解最终损失函数，获得求解路径；
[0171]
运动路径轨迹获取单元700，用于基于求解路径，获得多个目标中的每个目标的运动路径轨迹；
[0172]
目标跟踪单元800，用于基于每个目标的运动路径轨迹，对每个目标进行跟踪。
[0173]
需要说明的是，由于本实施例中的一种基于运动路径分析的身份识别多目标跟踪
系统与上述的一种基于运动路径分析的身份识别多目标跟踪方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。
[0174]
本发明实施例还提供了一种基于运动路径分析的身份识别多目标跟踪设备，包括：至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器。
[0175]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0176]
实现上述实施例的一种基于运动路径分析的身份识别多目标跟踪方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的一种基于运动路径分析的身份识别多目标跟踪方法，例如，执行以上描述的图1中的方法步骤s100至步骤s800和图2中的方法步骤s100至步骤s900。
[0177]
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0178]
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种基于运动路径分析的身份识别多目标跟踪方法，例如，执行以上描述的图1中的方法步骤s100至s800的功能和图2中的方法步骤s100至步骤s900的功能。
[0179]
通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(readonly memory,rom)或随机存储记忆体(random access memory,ram)等。
[0180]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0181]
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。