基于个体步行运动时空规律协同辨识的行人重识别方法与流程

本发明属于人工智能、大数据分析领域和计算机视觉技术领域，涉及一种行人重识别方法，尤其涉及一种基于个体步行运动时空规律协同辨识的行人重识别方法。

背景技术：

计算机视觉领域的研究者将多监控摄像机条件下检索特定行人的视频侦查技术称为行人重识别，行人重识别主要是利用一个摄像机下获取的特定对象的行人影像，在城域另一个摄像机获取的数据中发现该行人影像的技术。与传统行人重识别技术研究的关键问题相比，本发明提出的场景是在多摄像机范围内，对其中单次行走跨越多个摄像机的行人进行身份辨识。人脸识别技术在远距离获取图片或视频数据条件下因人脸分辨率低导致识别性能低下，行人重识别技术通过行人的整体体貌特征而非局部人脸来实现对象的辨识，在身份多元辨识关键技术领域发挥着越来越重要的作用。但是，一方面传统行人重识别技术性能受器件、光照、尺度差异尤其是姿态变化和复杂遮挡的影响严重；另一方面，远距离身份辨识应用场景的复杂多样性使得简单依靠行人视觉特征实现对象辨识的挑战也越来越严峻。实际上，行为分析科学研究结果已经表明，个体行为模式具有较强的行为内在一致性和个体间行为模式的差异性，这种一致性和差异性在时间维度上同样存在。因此，利用行人的运动行为特征协助辨识行人，可以提高重识别的准确率，对公安侦查具有重要意义。

现有的行人重识别方法大多是在成对摄像头上利用视觉特征进行检索，关注鲁棒稳定的视觉特征表示和度量方法。然而，在实际侦查环境中，辨识效果受到光照、尺度、遮挡等因素影响，单纯依靠视觉特征进行行人重识别不可信赖。近年来，有研究者利用图像帧之间的时空关系协助行人重识别的研究(文献1、文献2、文献3)，但在实际场景中，图像帧之间的时空关系仍受限于训练样本数据，使得行人重识别的结果受到干扰。利用行人的运动轨迹统计时空行为规律进行辨识可以使得结果更具可信性。而现有的行人重识别方法不能得到行人个体运动的时空规律并协助辨识行人。

现有利用运动轨迹协助行人辨识的方法(文献4、文献5、文献6)是在传统行人重识别的基础上融合时空信息对行人重识别的结果进行二次优化或者从多个维度计算行人出现概率然后进行概率融合。文献4提出在行人重识别的基础上，统计行人在成对摄像头间的时空转移规律，获得行人路径组合，通过视觉概率和路径概率联合计算，最终获得概率最高的行人图像和行走路径；文献5提出获取行人在物理空间(监控视频)的运动轨迹，在轨迹中检索摄像头序列，在序列中通过经验阈值和行人重识别方法进行行人定位；文献6提出将手机信号与行人识别结合，分别计算手机重现概率和行人重现概率，得到不同域空间的概率组合，通过计算联合概率找到行人与手机的对应关系。上述方法在行人重识别步骤时无法准确判断行人是否真实出现在监控点中，随着长时监控的轨迹范围扩大，给行人辨识带来较大的计算误差；而个体行为存在个性化差异多元空间联合分析时未考虑对象在不同域空间内的时空一致性，使计算的时间复杂度较高，不能准确高效地解决多域空间属性融合分析的行人辨识问题。现有基于移动轨迹信息得到用户行为模式画像的方法(文献7)提出通过分析目标对象的移动轨迹信息，使用一种再聚类的方法挖掘用户移动轨迹停留点、停留区域以及停留时长。对多噪且密集的移动点进行系统采样，再通过采样后的移动点计算相邻停留区域之间的转移平均速度和转移速度的波动指数，进而分析用户转移的交通方式。上述方法从相较复杂的行人社会行为模式出发，但社会属性会对某个时期的轨迹点产生影响从而造成长时短时的行为模式有偏差。然而个体走路模式很难发生大的变化，本发明仅考虑相对简单的行人步行运动时空规律进行协同，更容易获得个体步行模式和人物身份较为直接的关联关系。

[1].lvj,chenw,liq,etal.unsupervisedcross-datasetpersonre-identificationbytransferlearningofspatial-temporalpatterns[j].in:ieeeconferenceoncomputervisionandpatternrecognition(cvpr).2018.

[2].martineln,forestigl,michelonic.personreidentificationinadistributedcameranetworkframework[j].ieeetransactionsoncybernetics,2016:1-12.

[3].n.jiang,etal.:onlineinter-cameratrajectoryassociationexploitingperson[j].in:acminternationalconferenceonmultimedia(acmmm).(2018)

[4]一种时空约束的监控视频行人重识别结果的二次优化方法.

[4]一种融合时空模型的跨摄像头行人定位方法.

[6]一种多源大数据融合的视频监控行人身份识别方法.

[7]一种基于移动轨迹信息的用户行为模式画像的方法.

技术实现要素：

本发明解决的技术问题是实际侦查环境中在低光照、严重遮挡以及分辨率低下的监控环境下的行人辨识问题。传统的行人重识别研究主要面向个体的视觉特征表达，在视频质量低下的场景下难以辨识行人。个体行为模式具有行为内在一致性和个体间行为模式的差异性，因此本发明引入个体步行运动时空行为规律，借鉴人类行为时间特性的统计力学理论成果，提出简单社会运动条件下的个体时间运动行为模式，利用该模式优化行人辨识结果。

本发明所采用的技术方案是：一种基于个体步行运动时空规律协同辨识的行人重识别方法，其特征在于，包括以下步骤：

步骤1：获取预定时期内目标对象定长距离和变长距离下的步行运动轨迹数据，并统计定长距离和变长距离下相对应的时间间隔，即单次不间隔的运动距离所需时间；

步骤2：建立不同区域内m个目标对象定长距离步行运动规律模型模板；

步骤3：利用bp网络学习训练并建立目标对象相同区域内基于定长距离时间规律模型到变长距离下的目标对象个体步行运动时间规律模型的函数转化关系；

步骤4：调整变长距离下目标对象个体步行运动规律模型；

步骤5：目标对象个体步行运动时空规律协同辨识行人重识别；

步骤5.1：在某次观察行人重识别过程中，目标对象穿越a区域时间为t1，且穿越b区域时间为t2，利用贝叶斯网络计算跨区域目标对象空间运动事件的概率；

步骤5.2：将得到的目标对象空间运动事件的概率与传统行人重识别方法计算的视觉概率融合计算，得到联合概率排序，协助辨识身份。

本发明首先针对行人重识别技术中依赖单一空间辨识的局限性，基于城域街区监控视频和手机轨迹等数据，统计定长距离行人经过近邻摄像机的个性化时间活动分布，验证个体步行行为规律(时空)在同路段条件下存在一致性、个体步行行为规律(时空)在同类型路段条件下存在一致性、相异个体步行行为规律(时空)存在差异性，建立定长距离下个体步行行为规律(时空)模型；然后利用网络学习变长距离下(相同区域)个体步行运动模型的函数修正关系，确定不同距离变化时个体步行时空关系；接着基于不同区域下的变长距离下个体步行时空关系计算行人运动事件发生概率；最后结合摄像头下捕获的行人图像，计算视觉和运动事件的联合概率，进行排序。由于目前没有行人个体步行时间的数据集供以计算其行为规律，在自建数据集上测试结果证明该方法的有效性，结合能大大提升行人辨识的效果。

与现有行人辨识技术与系统相比，本发明的有益效果还包括：

1)与现有技术相比，本发明解决了一个新问题，将计算机视觉领域的行人重识别问题转化为多学科交叉分析下的行人时空运动个性化规律发现和协同优化问题，进一步探究变长距离下运动规律的转化关系。

2)与现有技术相比，本发明提出了一个全新的基于个体步行运动时空规律协同辨识行人重识别框架。

3)与现有技术相比，本发明利用相同个体行为模式的一致性和不同个体行为模式的差异性展开监控视频质量低下时的行人辨识工作。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的个体步行运动时空规律协同辨识的行人重识别原理图；

图3为本发明实施例行人步行运动时空规律发现与计算原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2和图3，本发明提供的一种基于个体步行运动时空规律协同辨识的行人重识别方法，包括以下步骤：

步骤1：通过监控视频和终端设备定位获取预定时期内目标对象定长距离和变长距离下的步行运动轨迹数据，至少连续3个月的数据采集，并统计定长距离和变长距离下相对应的时间间隔，即单次不间隔的运动距离所需时间。

其中，步行运动轨迹tra由gps定位信息(lngi,lati)时间戳信息(ti)两种信息进行描述，形式如下：

tra＝{(lng1,lat1,t1),(lng2,lat2,t2),...,(lngi,lati,ti)...,(lnge,late,te)}

其中，lngi表示地理坐标的经度，lati表示地理坐标的纬度。

步骤2：建立不同区域内m个目标对象定长距离步行运动规律模型；

步骤2的具体实现包括以下子步骤：

步骤2.1：本发明采用目前研究领域内前沿算法insightface(deng,jiankang,etal."arcface:additiveangularmarginlossfordeepfacerecognition."proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2019.)计算人脸特征表达模型，基于人脸识别技术采集数据，建立目标对象个体时空运动数据集，包含定长距离和变长距离和其对应的时间间隔。本发明不涉及偏离轨迹的长时复杂社交活动研究，如进入社交场所等。

步骤2.2：本发明针对不同类型场景(比如居民区、广场、商业区等人流不同的分类，以及平坦大道、泥泞小路等路况不同的分类)的数据统计两点间运动的时间间隔，并通过量化分析计算定点距离间运动时间间隔分布，建立不同区域内的个体定长距离下的运动时空行为模型。利用相对熵(kl散度)针对多次经过同一位置区域的相同个体进行差异比较分析，验证其一致性；针对经过同一位置区域的不同个体进行差异比较分析，验证其差异性；针对经过不同位置、等距且环境相似区域的相同个体进行差异比较分析，验证运动行为的位置无关特性，初步结果验证了三个猜想：①个体步行运动时空行为规律(时空)在同路段条件下存在一致性；②个体步行运动时空行为规律(时空)在同类型路段条件下存在一致性；③相异个体步行运动时空行为规律(时空)存在差异性。

本实施例中，步行运动时空行为模式具有个体间行为模式的差异性，对于两个离散概率分布，本项目拟引入相对熵(kl散度)计算时空运动概率模型的差异。设两两比较的概率模型分别为p和q，则有，

其中，p(x)和q(x)分别表示两个时空运动概率模型(离散概率分布)，x表示定点距离下的时间间隔。

当相对熵d(p||q)为零时，证明两个概率分布相同，使用fisher线性判别分析模型中的参数特征，使得类间离散度尽可能大，类内离散度尽可能小，使得参数特征不同的两类之间尽可能分开。相对熵越大则说明差异越大。

步骤2.3：本发明对m个已知目标对象建立特征模型，包括m个目标对象人脸特征数据库和m个目标对象相对应的个体时空行为特征数据库。将某区域的监控视频以及手机获取的轨迹作为输入，采用目前研究领域内前沿算法insightface计算人脸特征表达模型，采用统计学的理论方法，分别对m个目标对象建立个体运动时空行为模型，并用em算法计算优化其参数特征。最后将人脸特征和时空行为参数特征相关联，组建m个目标对象从身份-人脸图像-步行运动时空行为模式相对应的特征数据库。

本实施例中，个体步行运动时空行为模式分布服从混合高斯分布，尤其接近于正态分布，以此记录定长距离下个体步行运动时空规律模型。

本实施例中引入混合高斯模型拟合分布，形式化表达如下：

其中，x是时间间隔，为观测数据；αk是样本集合中k个模式类被选中的概率。假设有k个类，样本数量分别为n_1,n_2,…,n_k。第k个分类的样本集合表示为s(k)，那么其参数为：

αk＝nk/n

其中，μ表示中轴期望值，σ²表示方差。

步骤3：利用bp网络学习训练并建立目标对象相同区域内基于定长距离时间规律模型到变长距离下的目标对象个体步行运动时间规律模型的函数转化关系；

步骤4：调整变长距离下目标对象个体步行运动规律模型；

步骤4的具体实现包括以下子步骤：

步骤4.1：在定长距离的基础上，根据摄像机位置决定距离变化的幅度，统计变长距离下的时间间隔分布；

步骤4.2：计算随距离变化的随机事件时间概率密度函数参数，将计算结果按照距离段的2/3划分为训练，1/3划分为测试进行下一步的修正模型训练；

步骤4.3：选用bp网络学习训练相同区域变长距离下目标对象个体步行运动规律模型的修正函数模型；其中bp网络为1个输入层、1个隐藏层和1个输出层的3层网络结构，输入层结点数为3，输出层节点数为2，设置隐藏层结点数为7；

本实施例中，基于定长距离下个体步行运动时空行为规律模型，利用bp网络训练变长距离下个体步行运动时空行为规律模型的修正函数f(μ,σ²,d)，其中，d是变化的距离值。

本实施例中，输入(μ,σ²,d)，输出(μ,σ²)，过程即为：

z＝f(μ,σ²,d)

(μ,σ²)＝g(z)

也可表示为：

步骤5：目标对象个体步行运动时空规律协同辨识行人重识别；

步骤5.1：在某次观察行人重识别过程中，目标对象穿越a区域时间为t1，且穿越b区域时间为t2，利用贝叶斯网络计算跨区域目标对象空间运动事件的概率；

本实施例中，以目标对象穿越a区域时间为t1，且穿越b区域时间为t2，利用贝叶斯网络计算跨区域对象空间运动事件的概率：

其中，a表示a区域场景下目标对象步行运动时间行为模式，b表示b区域场景下目标对象步行运动时间行为模式，c表示发生跨场景的事件。

拓展到多个不同条件类型的场景区域，该发生概率为：

其中，m表示m个目标对象，n表示n个不同类型的场景，si表示目标经过的不同类型的场景下目标对象步行运动时间行为模式，cj表示发生跨场景的事件。

步骤5.2：将得到的目标对象空间运动事件的概率与传统行人重识别方法计算的视觉概率融合计算，得到联合概率排序，协助辨识身份；

本实施例中表示监控影像下视觉概率与运动事件发生概率的联合关联匹配概率，其中为监控影像下行人的视觉概率。

本实施例中，通过个体步行运动事件发生概率和行人视觉概率的联合概率表示行人辨识的准确率。联合概率越大，表示查询图像是与个体步行运动规律关联越强，则对应到模板中的个体身份，实现行人辨识。

本发明在方法评价上采用rank-1命中率作为评价指标，表示个体步行运动事件发生概率和行人视觉概率的联合概率排序最靠前的对象是正确结果的概率。

本发明提出一种全新的基于个体步行运动时空规律协同辨识的行人辨识方法，行人辨识结果以概率的方式呈现，利用不同个体时空运动模式分布差异，计算对象在监控下步行运动事件发生的概率来协同进行行人辨识。

本发明将计算机视觉领域的行人重识别问题转化为多学科交叉分析下的行人时空运动个性化规律发现和协同优化问题，进一步探究变长距离下运动规律的转化关系。

本发明的创新点包括：

①本发明通过监控视频和终端设备定位获得对象定长距离和变长距离下的步行运动轨迹，至少连续3个月的数据采集，并统计定长和变长距离下相对应的时间间隔，即单次不间隔的运动距离所需时间。

②m个行人个体对象的步行运动行为模式主要对轨迹片段记录的信息进行统计计算得出；轨迹片段记录的信息由gps定位信息(lngi,lati)和时间戳信息(ti)两种信息进行描述。行人在行走时时每2s采集一次位置信息和当前时间。

③在行人重识别过程中，对象的表达由监控视频中的视觉信息时间信息和空间信息三种信息进行描述。其中视觉特征信息的获取方式与传统行人重识别方法一致。时间信息指的是行人进入监控点监控范围的时刻，空间信息是指当前所处的位置，用监控点编号表示，时间信息和空间信息可由监控视频信息直接获取。

④不同于传统的行人重识别方法，本发明利用个体步行运动行为模式计算行人出现在某个监控下的发生概率，进而与视觉上行人辨识进行概率融合。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。