一种识别视频中人物轨迹的方法及装置与流程

本发明涉及人脸识别技术领域，特别是涉及一种基于张量的人脸识别方法及装置。

背景技术：

伴随着科技的发展，传统的个人身份验证手段比如口令、证件和ic卡等方式，由于与持有者的可分离性，致使伪造、盗用或破译等现象时有发生，已经不能满足现代社会经济活动和社会安全防范的需要。因此，生物特征识别技术应运而生，而在生物特征识别技术中由于人脸识别技术具有方便采集\易于被接受和不宜伪造的特点，使得人脸识别技术一直是生物特征识别技术中研究热点。

现有的人脸识别技术可以总结为：在检测到人脸并定位面部关键特征之后，主要的人脸区域被剪裁出来然后经过预处理之后，再通过识别算法完成人脸特征的提取，并与数据库中已知的人脸进行对比，来完成最终的人脸分类。但是，伴随着视频应用的增多，提取视频中信息变得越来越有价值，对应的检测视频中的某个人的轨迹也是一项有意义的工作，由于视频中会出现不同的人脸，需要将相同的人脸分为一类，不同的人脸分为不同的类来实现追踪某人在视频中的轨迹。由此可见，如果采用现有的人脸识别技术来研究视频中某人的轨迹，则需要建立库存的已知人脸与训练样本，而需要库存的已知人脸极大地降低了人脸识别技术的适用范围，需要大量训练样本虽然可以提高识别率但是却增加了成本，并且与库存的已知人脸进行对比也大大增+加了运算量。显然，依靠现有的人脸识别技术来实现这一目的是不合理的。

技术实现要素：

针对于上述问题，本发明提供一种识别视频中人物轨迹的方法及装置，实现了适用范围广并且降低了成本和运算量的目的。

为了实现上述目的，根据本发明的第一方面，提供了一种识别视频中人物轨迹的方法，该方法包括：

将待识别视频中包含人脸图像的所有视频片段转换为多个包含人脸图像的彩色图片；

获取所述包含人脸图像的彩色图片中的人脸位置数据，根据所述人脸位置数据建立所述包含人脸图像的彩色图片的人脸四阶张量模型；

在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据；

将所述多个人脸特征张量数据与基准人脸特征张量数据，进行范数计算求和，其中，所述基准人脸特征张量数据为在所述多个人脸特征张量数据中选取的某个人脸张量特征数据；

根据所述待识别视频转换为彩色图片的样本数量设置采样阈值σ，依据对所述彩色图片中对应的人脸进行分类，获得同一人脸对应的各个彩色图片，其中，s为范数计算求和结果，m为基准人脸特征张量数据对应的人脸位置宽度数据，n基准人脸特征张量数据对应的为人脸位置高度数据，r＝3代表红黄蓝三种颜色；

将所述同一人脸对应的各个彩色图片还原至所述待识别视频中，记录所述人脸在所述待识别视频中出现的位置信息，获得所述人脸在所述待识别视频中的人物轨迹。

优选的，所述获取所述包含人脸图像的彩色图片中的人脸位置数据，根据所述人脸位置数据建立所述包含人脸图像的彩色图片的人脸四阶张量模型，包括：

将所述包含人脸图像的彩色图片转换成对应的黑白图片，并提取出所述黑白图片中人脸的位置数据，其中，所述位置数据包括初始坐标、宽度数据和高度数据；

根据所述黑白图片中人脸的位置数据，获取到所述黑白图片所对应的彩色图片的人脸位置数据；

根据所述彩色图片的人脸位置数据中的宽度数据m和高度数据n，建立所述彩色图片中的人脸三阶张量a[1：m，1：n，1：r]，其中，r＝3，代表红黄蓝三种颜色；

根据所述宽度数据m设置平移张量数据m/3，获得平移张量b[i：m*2/3+i，i：n-m*2/3+i*2，1：r]，其中，i表示平移出的张量与原张量的关系系数，取值为1≦i≦m/3；

根据所述平移张量对所述人脸三阶张量进行平移化处理，获得所述人脸四阶张量模型c[1:m/3,1:m*2/3,1:n-m*2/3，1：r]。

优选的，所述在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据，包括：

建立所述人脸四阶张量模型的级数ck的计算函数，其中，

ck＝0.75*ck-1+0.25*bk，式中，1≦k≦m/3；

根据所述平移张量b，计算获得所述平移张量bk的值；

计算所述人脸特征张量数据c，其中，c＝ck，式中，k＝m/3。

根据本发明的第二方面，提供了一种别视频中人物轨迹的装置，该装置包括：

转化模块，用于将待识别视频按照视频片段是否包含人脸图像，转化为多个包含人脸图像的彩色图片；

建立模块，用于获取所述包含人脸图像的彩色图片中的人脸位置数据，根据所述人脸位置数据建立所述包含人脸图像的彩色图片的人脸四阶张量模型；

第一计算模块，用于在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据；

第二计算模块，用于将所述多个人脸特征张量数据与基准人脸特征张量数据，进行范数计算求和，其中，所述基准人脸特征张量数据为在所述多个人脸特征张量数据中选取的某个人脸张量特征数据；

分类模块，用于根据所述待识别视频转换为彩色图片的样本数量设置采样阈值σ，依据对所述彩色图片中对应的人脸进行分类，获得同一人脸对应的各个彩色图片，其中，s为范数计算求和结果，m为基准人脸特征张量数据对应的人脸位置宽度数据，n基准人脸特征张量数据对应的为人脸位置高度数据，r＝3代表红黄蓝三种颜色；

轨迹识别模块，用于将所述同一人脸对应的各个彩色图片还原至所述待识别视频中，记录所述人脸在所述待识别视频中出现的位置信息，获得所述人脸在所述待识别视频中的人物轨迹。

优选的，所述建立模块包括：

第一提取单元，用于将所述包含人脸图像的彩色图片转换成对应的黑白图片，并提取出所述黑白图片中人脸的位置数据，其中，所述位置数据包括初始坐标、宽度数据和高度数据；

第二提取单元，用于根据所述黑白图片中人脸的位置数据，获取到所述黑白图片所对应的彩色图片的人脸位置数据；

第一建立单元，用于根据所述彩色图片的人脸位置数据中的宽度数据m和高度数据n，建立所述彩色图片中的人脸三阶张量a[1：m，1：n，1：r]，其中，r＝3，代表红黄蓝三种颜色；

获取单元，用于根据所述宽度数据m设置平移张量数据m/3，获得平移张量b[i：m*2/3+i，i：n-m*2/3+i*2，1：r]，其中，i表示平移出的张量与原张量的关系系数，取值为1≦i≦m/3；

第二建立单元，用于根据所述平移张量对所述人脸三阶张量进行平移化处理，获得所述人脸四阶张量模型c[1:m/3,1:m*2/3,1:n-m*2/3，1：r]。

优选的，所述第一计算模块包括：

函数建立单元，用于建立所述人脸四阶张量模型的级数ck的计算函数，其中，

ck＝0.75*ck-1+0.25*bk，式中，1≦k≦m/3；

平移张量计算单元，用于根据所述平移张量b，计算获得所述平移张量bk的值；

数据计算单元，用于计算所述人脸特征张量数据c，其中，c＝ck，式中，k＝m/3。

相较于现有技术，本发明将待识别视频中包含人脸图像的所有视频片段转换为多个包含人脸图像的彩色图片，根据彩色图片中的人脸位置数据建立了人脸张量四阶模型，由于是根据彩色图片中的人脸位置数据进行建立的，所以该人脸张量四阶模型包含了更多的人脸信息，进行人脸识别的过程将更加准确；在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据；将所述多个人脸特征张量数据与基准人脸特征张量数据，进行范数计算求和，然后设置采样阈值，对所述彩色图片中对应的人脸进行分类，获得同一人脸对应的各个彩色图片；将所述同一人脸对应的各个彩色图片还原至所述待识别视频中，记录所述人脸在所述待识别视频中出现的位置信息，获得所述人脸在所述待识别视频中的人物轨迹。在人脸识别过程中由于基于张量模型不需要训练参数就能识别同一个人的不同照片，可以有效地节省成本；同时使得识别视频中某人的轨迹是不需要此人的已知人脸，因此所述方法使用范围极广。综合来看，通过本发明实现了适用范围广并且降低了成本和运算量的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例一提供的一种识别视频中人物轨迹的方法的流程示意图；

图2为本发明实施例二对应的图1中所示s12步骤中的建立四阶张量模型的流程示意图；

图3为本发明实施例二对应的图1中所示s13步骤中的计算人脸特征张量数据的流程示意图；

图4为本发明实施例三提供的一种识别视频中人物轨迹的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

实施例一

参见图1为本发明实施例一提供的一种识别视频中人物轨迹的方法的流程示意图，该方法包括以下步骤：

s11、将待识别视频中包含人脸图像的所有视频片段转换为多个包含人脸图像的彩色图片；

具体的，为了识别视频中的人物轨迹，就要先获取到包含人物人脸的彩色图片。

s12、获取所述包含人脸图像的彩色图片中的人脸位置数据，根据所述人脸位置数据建立所述包含人脸图像的彩色图片的人脸四阶张量模型；

可以理解的是，由于是根据人脸彩色图片中的人脸位置数据建立的人脸四阶张量模型，不仅包含的人脸信息更全面而且减弱了人脸偏移带来的影响，可以有效地提高识别率。

s13、在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据；

s14、将所述多个人脸特征张量数据与基准人脸特征张量数据，进行范数计算求和，其中，所述基准人脸特征张量数据为在所述多个人脸特征张量数据中选取的某个人脸张量特征数据；

s15、根据所述待识别视频转换为彩色图片的样本数量设置采样阈值σ，依据对所述彩色图片中对应的人脸进行分类，获得同一人脸对应的各个彩色图片，其中，s为范数计算求和结果，m为基准人脸特征张量数据对应的人脸位置宽度数据，n基准人脸特征张量数据对应的为人脸位置高度数据，r＝3代表红黄蓝三种颜色；

s16、将所述同一人脸对应的各个彩色图片还原至所述待识别视频中，记录所述人脸在所述待识别视频中出现的位置信息，获得所述人脸在所述待识别视频中的人物轨迹。

具体的，记录所述人脸在所述待识别视频中出现的位置信息为：记录下相同的人在待识别视频中出现的帧数、位移和位置等信息。

通过本发明实施例一公开的技术方案，将待识别视频中包含人脸图像的所有视频片段转换为多个包含人脸图像的彩色图片，根据彩色图片中的人脸位置数据建立了人脸张量四阶模型，由于是根据彩色图片中的人脸位置数据进行建立的，所以该人脸张量四阶模型包含了更多的人脸信息，进行人脸识别的过程将更加准确；在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据；将所述多个人脸特征张量数据与基准人脸特征张量数据，进行范数计算求和，然后设置采样阈值，对所述彩色图片中对应的人脸进行分类，获得同一人脸对应的各个彩色图片；将所述同一人脸对应的各个彩色图片还原至所述待识别视频中，记录所述人脸在所述待识别视频中出现的位置信息，获得所述人脸在所述待识别视频中的人物轨迹。在人脸识别过程中由于基于张量模型不需要训练参数就能识别同一个人的不同照片，可以有效地节省成本；同时使得识别视频中某人的轨迹是不需要此人的已知人脸，因此所述方法使用范围极广。综合来看，通过本发明实现了适用范围广并且降低了成本和运算量的目的。

实施例二

参照本发明实施例一和图1中所描述的s11到s16步骤的具体过程，并参照图2为本发明实施例二对应的图1中所示s12步骤中的建立四阶张量模型的流程示意图，所述获取所述包含人脸图像的彩色图片中的人脸位置数据，根据所述人脸位置数据建立所述包含人脸图像的彩色图片的人脸四阶张量模型，包括：

s121、将所述包含人脸图像的彩色图片转换成对应的黑白图片，并提取出所述黑白图片中人脸的位置数据，其中，所述位置数据包括初始坐标、宽度数据和高度数据；

具体的，先将彩色图片转化为黑白图片来获取位置数据的主要目的是减少运算量，将彩色图片转换为黑白图片并检测出黑白图片中可能的人脸位置，通过检测皮肤、眼睛、嘴和鼻子等五官代表特征进一步确认是否为人脸，并记录相应的人脸位置数据。

s122、根据所述黑白图片中人脸的位置数据，获取到所述黑白图片所对应的彩色图片的人脸位置数据；

其中，所述彩色图片的人脸位置数据包括初始坐标、宽度数据和高度数据；

s123、根据所述彩色图片的人脸位置数据中的宽度数据m和高度数据n，建立所述彩色图片中的人脸三阶张量a[1：m，1：n，1：r]，其中，r＝3，代表红黄蓝三种颜色；

s124、根据所述宽度数据m设置平移张量数据m/3，获得平移张量b[i：m*2/3+i，i：n-m*2/3+i*2，1：r]，其中，i表示平移出的张量与原张量的关系系数，取值为1≦i≦m/3；

具体的，由于视频中的人脸大部分不是正脸，或者存在偏移或者存在遮挡，因此需要进一步人脸平移化处理从而构造一个四阶张量。i表示平一出的张量跟原张量的关系，比如i＝2标识平移出的第二个张量，该张量取原张量第一个指标的2到m*2/3+2行，第二指标的2到n-m*2/3+4行。

s125、根据所述平移张量对所述人脸三阶张量进行平移化处理，获得所述人脸四阶张量模型c[1:m/3,1:m*2/3,1:n-m*2/3，1：r]。

相应的参照图3为本发明实施例二对应的图1中所示s13步骤中的计算人脸特征张量数据的流程示意图，所述在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据，包括：

s131、建立所述人脸四阶张量模型的级数ck的计算函数，其中，ck＝0.75*ck-1+0.25*bk，式中，1≦k≦m/3；

s132、根据所述平移张量b，计算获得所述平移张量bk的值；

s133、计算所述人脸特征张量数据c，其中，c＝ck，式中，k＝m/3。

具体的，由于人脸的rgb图中的每个数值均大于0小于255，所以四阶张量模型对应的张量c为正张量，而正张量的绝对值最大的特征值一定不为负数。若正张量中任意元素增大则最大特征值也随之严格增大，因而可以想到求解正张量c对应的最大特征值得如下算法是线性收敛的，求解算法如下：

||x0||＝1

xk＝cxk-1

上式中，k表示迭代次数，即第k次迭代。x0表示初始迭代值，取正向量，一般取全一向量然后单位化。xk表示第k次的迭代向量，该向量收敛到特征向量；tk表示向量对应位置比值最大的那个数，该数线性收敛到特征值；

虽然正张量的特征值及特征向量的求解是线性收敛的，但是张量本身数据量较大，张量与向量做乘法计算量巨大，即使迭代次数不多运算量依然较大，为了提高相应的运算速度，在本发明实施例中优选数列级数的方法来代替张量特征值及特征向量求解，即：

ck＝0.75*ck-1+0.25*bk

c1＝c(1),

bi+1＝c(i+1)

c1表示数列的第1项，是平移出的第1个张量b1；ci表示数列的第i项，由表达式迭代得到；bi+1就是平移出的第i+1个张量，于是人脸张量c更新为一系列可以体现人脸特征的新数据ck。

根据本发明实施例二公开的技术方案，首先将彩色图片转换为黑白图片，然后通过计算黑白图片中的人脸位置数据获得所述彩色图片的人脸位置数据，这样可以减少在人脸识别过程中的运算量；由于考虑到视频中的人脸大部分不是正脸，需要进行人脸的平移化处理从而建立人脸的四阶张量，并且用正张量特征值及特征向量来反映人脸的本质特征，通过设置级数的方法来求解人脸特征张量数据有效的降低了计算量，同时提高了识别效率。

实施例三

与本发明实施例一和实施例二所公开的识别视频中人物轨迹的方法相对应，本发明的实施例三还提供了一种识别视频中人物轨迹的装置，参见图4为本发明实施例三提供的一种识别视频中人物轨迹的装置的结构示意图，该装置包括：

转化模块1，用于将待识别视频按照视频片段是否包含人脸图像，转化为多个包含人脸图像的彩色图片；

建立模块2，用于获取所述包含人脸图像的彩色图片中的人脸位置数据，根据所述人脸位置数据建立所述包含人脸图像的彩色图片的人脸四阶张量模型；

第一计算模块3，用于在所述人脸四阶张量模型中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据；

第二计算模块4，用于将所述多个人脸特征张量数据与基准人脸特征张量数据，进行范数计算求和，其中，所述基准人脸特征张量数据为在所述多个人脸特征张量数据中选取的某个人脸张量特征数据；

分类模块5，用于根据所述待识别视频转换为彩色图片的样本数量设置采样阈值σ，依据对所述彩色图片中对应的人脸进行分类，获得同一人脸对应的各个彩色图片，其中，s为范数计算求和结果，m为基准人脸特征张量数据对应的人脸位置宽度数据，n基准人脸特征张量数据对应的为人脸位置高度数据，r＝3代表红黄蓝三种颜色；

轨迹识别模块6，用于将所述同一人脸对应的各个彩色图片还原至所述待识别视频中，记录所述人脸在所述待识别视频中出现的位置信息，获得所述人脸在所述待识别视频中的人物轨迹。

相应的，所述建立模块2包括：

第一提取单元21，用于将所述包含人脸图像的彩色图片转换成对应的黑白图片，并提取出所述黑白图片中人脸的位置数据，其中，所述位置数据包括初始坐标、宽度数据和高度数据；

第二提取单元22，用于根据所述黑白图片中人脸的位置数据，获取到所述黑白图片所对应的彩色图片的人脸位置数据；

第一建立单元23，用于根据所述彩色图片的人脸位置数据中的宽度数据m和高度数据n，建立所述彩色图片中的人脸三阶张量a[1：m，1：n，1：r]，其中，r＝3，代表红黄蓝三种颜色；

获取单元24，用于根据所述宽度数据m设置平移张量数据m/3，获得平移张量b[i：m*2/3+i，i：n-m*2/3+i*2，1：r]，其中，i表示平移出的张量与原张量的关系系数，取值为1≦i≦m/3；

第二建立单元25，用于根据所述平移张量对所述人脸三阶张量进行平移化处理，获得所述人脸四阶张量模型c[1:m/3,1:m*2/3,1:n-m*2/3，1：r]。

对应的，所述第一计算模块3包括：

函数建立单元31，用于建立所述人脸四阶张量模型的级数ck的计算函数，其中，

ck＝0.75*ck-1+0.25*bk，式中，1≦k≦m/3；

平移张量计算单元32，用于根据所述平移张量b，计算获得所述平移张量bk的值；

数据计算单元33，用于计算所述人脸特征张量数据c，其中，c＝ck，式中，k＝m/3。

在本发明的实施例三中，在转化模块中将待识别视频中包含人脸图像的所有视频片段转换为多个包含人脸图像的彩色图片，然后通过建立模块根据彩色图片中的人脸位置数据建立了人脸张量四阶模型，由于是根据彩色图片中的人脸位置数据进行建立的，所以该人脸张量四阶模型包含了更多的人脸信息，进行人脸识别的过程将更加准确；在第一计算模块中进行张量计算，获得所述各个包含人脸图像的彩色图片所对应的多个人脸特征张量数据；在第二计算模块中将所述多个人脸特征张量数据与基准人脸特征张量数据，进行范数计算求和，然后通过分类模块设置采样阈值，对所述彩色图片中对应的人脸进行分类，获得同一人脸对应的各个彩色图片；最后在轨迹识别模块中将所述同一人脸对应的各个彩色图片还原至所述待识别视频中，记录所述人脸在所述待识别视频中出现的位置信息，获得所述人脸在所述待识别视频中的人物轨迹。在人脸识别过程中由于基于张量模型不需要训练参数就能识别同一个人的不同照片，可以有效地节省成本；同时使得识别视频中某人的轨迹是不需要此人的已知人脸，因此所述方法使用范围极广。综合来看，通过本发明实现了适用范围广并且降低了成本和运算量的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。