一种基于投影矩阵约束结合判别字典学习的行人再识别方法与流程

文档序号:15387236发布日期:2018-09-08 00:42阅读:153来源:国知局

本发明涉及一种基于投影矩阵约束结合判别字典学习的行人再识别方法,属于数字图像识别技术领域。



背景技术:

视频监控在维持社会稳定,公共安全,犯罪调查以及其他领域有着举足轻重的地位。行人再识别就是对同一人,他们出现在不同区域的监控镜头,从这些不同地区的监控视频中匹配到我们想找的这个人。这样的技术可以广泛的应用在再识别、跟踪和寻人。尽管这项技术在科研人员中获得了越来越高的重视,但仍然面临行人在视频中不同的姿势变化和高照,以及在遮照,或在拥挤的公共场所中面临挑战。随着科技的发展,在道路,社区都遍布着监控摄像头,但是这些视频的处理仍然需要人工来处理,所以通过机器学习来识别视频中出现的失踪人口和犯罪嫌疑人就变的非常重要。如此,由机器智能来甄别行人,受到了研究者的广泛关注,并提出了许多有效的识别方法。

通过大量的文献检索,传统的采用底层特征进行行人再识别的方法,所提取的特征直方图如颜色直方图,纹理特征直方图,形状特征直方图以及sift特征,大多数的方法是将几种特征组合而成,以弥补单个特征表达的不足的缺点。所以研究者从学习模型入手来解决因受光照和姿态变化导致匹配不准的难题。

模型学习方法中,基于特征学习和度量学习是最具代表性的。通常,前者关注于行人的特征设计,很多的研究者为此投入了大量的精力和心血,为了能设计出不受姿态和环境的变化的特征,很多研究者做了在此方面大量的努力。除了从特征上研发出具有鲁棒性的特征,一些模型为了解决这些问题应运而生。如利用稀疏表示方法的得出的特征能稳定的对行人特征表达,而受到研究者的广泛关注。在这类方法中,具有辨别能力的的字典和具有抗视角变换的模型是影响最终对行人匹配效果的重要因素。而实现这样的效果,通常实现字典学习的判别效果通过添加适当的正则项来实现。



技术实现要素:

本发明要解决的技术问题是提供一种基于投影矩阵约束结合判别字典学习的行人再识别方法,用以解决现有技术因光照,姿态变化导致的行人匹配困难的问题。

本发明的技术方案是:一种基于投影矩阵约束结合判别字典学习的行人再识别方法,构建一种学习模型,使其可以匹配属于同一行人在多个摄像头下的视角图片,首先准备多个视角下的摄像头采集到的图片,进行特征提取,以其作为训练样本,其次构建字典学习算法模型,并以不同视角下的投影矩阵作为模型约束,以提升模型辨别不同行人的性能,然后凭借训练样本和模型,迭代求解模型参数,可以得到行人训练样本中的稀疏编码,以此编码进行相似性匹配,匹配方法我们采用角度相似性和欧氏距离,分别赋予它俩不同的权重,最后通过每张图片的稀疏编码找到不同视角下的同一行人图片。

具体包括以下步骤:

(1)构建训练样本:从公开数据集上的矩形图像或图片,进行特征提取,然后对特征数据进行降维,降维后的每个图片数据为一个列向量(n×1),作为一个行人一个视角下的训练样本,所有行人在一个视角下的样本数据为(n×m),再以同样的方法得到行人在另一个视角下的特征矩阵,得到分别在两个视角下的(n×m)维的矩阵;

(2)构建字典学习算法模型,用训练数据学习模型,并在算法里,引入投影矩阵作为提升字典性能的约束条件,进行迭代以求得最优解,学习模型目标函数如式(1)所示:

式(1)中,x=[x1,x2,...,xm]∈rn×m为特征样本,m为行人的数量,n为特征向量的维度,x为每个特征向量组成的矩阵,其中向量xi为第i个行人的特征向量,d为要学习的字典,p1,p2分别为不同视角下的投影矩阵,r为空间域,||·||f为f范数运算符,||·||2为范数的平方运算符;

(3)通过增加两个松弛变量,可以求得式(1)最优解,如式(2)所示:

通过交替迭代算法,将其他变量固定,其中稀疏编码s1,s2的解为:

s1=(dtd+(β+γ)i-1)(dtx1+βs2+γp1x1)(3)

式(3)中,i为单位矩阵,β,γ为超参数,同理可求得s2,另外求解p的目标函数为以下式(4):

同理可求p2,字典d通过admm算法求解,引入辅助变量a和t,以下式(5)

其中μ为超参数,求得d的解如下:

其中,i为单位矩阵,其维度与一致,上述所有解均为迭代更新求得;其中,第一次迭代时的x1,x2均为降维后的最初特征,第一次迭代的d初始化随机得到,然后进行式(1)~(6)交替迭代更新,得到最终的p和d;

(4)将测试集的特征放入模型中,使用学习后得到的d和p得出测试集行人的稀疏编码,然后进行距离匹配,匹配的距离计算采用角度相似性进行计算,如公式(7)所示:

相似度=cos(s1,s2)(7)

其中,式(7)cos为角度相似性匹配函数。

所述n为提取特征后降维后的维度。

所述的特征距离比较是指:

(4.1)将测试集中的行人不同视角下的数据分成两组,每组的行人对应顺序相同;

(4.2)将测试集中的不同视角下的两组特征,通过字典学习得出稀疏编码后,将第一组的第一张图像的编码与第二组所有图像的特征尽心特征距离比较,得到距离矩阵的第一行数据m1;

(4.3)重复步骤4.2直到第一组中的所有行人都与第二组的行人进行了角度距离比较,并得到距离矩阵m1j,m2j,m3j,...mmj,其中i,j表示第一组中的第个行人与第二组中的第j个行人的特征距离;

(4.4)将m的每一行从大到小排序,排在第i位的距离对应的第二组中的图像,即与第一组中该行所对应图像第i匹配的图像,其中排在第一列的是最匹配的图像。

本发明的有益效果是:

1、本发明的行人再识别方法对复杂背景及行人姿态变换的鲁棒性效果较好。

2、本发明针对每个视角下行人的采用相应的投影矩阵,传统方法是仅仅对行人的稀疏编码进行约束,影响匹配效果,本发明中同时实现行人图像的特征的分类和约束,以及字典的学习,还能减少耗时,提升行人辨别的性能。

3、本发明提出的行人再识别方法相比其他方法辨别行人性能明显提升。

附图说明

图1是本发明方法的流程图;

图2是本发明行人再识别常用的公开数据集中随机抽取的机组待匹配的行人图像;

图3是本发明与常规方法的cmc比较图;

图4是本发明cmc数据效果对比图。

具体实施方式

下面结合附图和具体实施方式,对本发明作进一步说明。

实施例1:如图1所示,一种基于投影矩阵约束结合判别字典学习的行人再识别方法,构建一种学习模型,使其可以匹配属于同一行人在多个摄像头下的视角图片,首先准备多个视角下的摄像头采集到的图片,进行特征提取,以其作为训练样本,其次构建字典学习算法模型,并以不同视角下的投影矩阵作为模型约束,以提升模型辨别不同行人的性能,然后凭借训练样本和模型,迭代求解模型参数,可以得到行人训练样本中的稀疏编码,以此编码进行相似性匹配,匹配方法我们采用角度相似性和欧氏距离,分别赋予它俩不同的权重,最后通过每张图片的稀疏编码找到不同视角下的同一行人图片。

具体包括以下步骤:

(1)构建训练样本:从公开数据集上的矩形图像或图片,进行特征提取,然后对特征数据进行降维,降维后的每个图片数据为一个列向量(n×1),作为一个行人一个视角下的训练样本,所有行人在一个视角下的样本数据为(n×m),再以同样的方法得到行人在另一个视角下的特征矩阵,得到分别在两个视角下的(n×m)维的矩阵;

(2)构建字典学习算法模型,用训练数据学习模型,并在算法里,引入投影矩阵作为提升字典性能的约束条件,进行迭代以求得最优解,学习模型目标函数如式(1)所示:

式(1)中,x=[x1,x2,...,xm]∈rn×m为特征样本,m为行人的数量,n为特征向量的维度,x为每个特征向量组成的矩阵,其中向量xi为第i个行人的特征向量,d为要学习的字典,p1,p2分别为不同视角下的投影矩阵,r为空间域,||·||f为f范数运算符,||·||2为范数的平方运算符;

(3)通过增加两个松弛变量,可以求得式(1)最优解,如式(2)所示:

通过交替迭代算法,将其他变量固定,其中稀疏编码s1,s2的解为:

s1=(dtd+(β+γ)i-1)(dtx1+βs2+γp1x1)(3)

式(3)中,i为单位矩阵,β,γ为超参数,同理可求得s2,另外求解p的目标函数为以下式(4):

p1=s1x1(x1x1t)-(4)

同理可求p2,字典d通过admm算法求解,引入辅助变量a和t,以下式(5)

其中μ为超参数,求得d的解如下:

其中,i为单位矩阵,其维度与一致,上述所有解均为迭代更新求得;其中,第一次迭代时的x1,x2均为降维后的最初特征,第一次迭代的d初始化随机得到,然后进行式(1)~(6)交替迭代更新,得到最终的p和d;

(4)将测试集的特征放入模型中,使用学习后得到的d和p得出测试集行人的稀疏编码,然后进行距离匹配,匹配的距离计算采用角度相似性进行计算,如公式(7)所示:

相似度=cos(s1,s2)(7)

其中,式(7)cos为角度相似性匹配函数。

所述n为提取特征后降维后的维度。

所述的特征距离比较是指:

(4.1)将测试集中的行人不同视角下的数据分成两组,每组的行人对应顺序相同;

(4.2)将测试集中的不同视角下的两组特征,通过字典学习得出稀疏编码后,将第一组的第一张图像的编码与第二组所有图像的特征尽心特征距离比较,得到距离矩阵的第一行数据m1;

(4.3)重复步骤4.2直到第一组中的所有行人都与第二组的行人进行了角度距离比较,并得到距离矩阵m1j,m2j,m3j,...mmj,其中i,j表示第一组中的第个行人与第二组中的第j个行人的特征距离;

(4.4)将m的每一行从大到小排序,排在第i位的距离对应的第二组中的图像,即与第一组中该行所对应图像第i匹配的图像,其中排在第一列的是最匹配的图像。

实施例2:如图1所示,一种基于投影矩阵约束结合判别字典学习的行人再识别方法,构建一种学习模型,使其可以匹配属于同一行人在多个摄像头下的视角图片。首先准备多个视角下的摄像头采集到的图片,进行特征提取,以其作为训练样本。其次构建字典学习算法模型,并以不同视角下的投影矩阵作为模型约束,以提升模型辨别不同行人的性能。然后凭借训练样本和模型,迭代求解模型参数,可以得到行人训练样本中的稀疏编码。最后,以此编码进行相似性匹配,匹配方法我们采用角度相似性和欧氏距离,分别赋予它俩不同的权重。最后通过每张图片的稀疏编码找到不同视角下的同一行人图片,然后以cmc曲线来验证实验效果。

具体步骤如下:

(1)首先构建训练样本,从公开数据集上(viper)得到的行人矩形图像或图片,进行特征提取,然后对特征数据进行降维,降维后的每个图片数据为一个列向量(n×1),作为一个行人一个视角下的训练样本,所有行人在一个视角下的样本数据为(n×m),再以同样的方法得到行人在另一个视角下的特征矩阵,这样我们得到分别在两个视角下的(n×m)维的矩阵。

(2)构建字典学习算法,进行训练数据学习。在算法里,引入投影矩阵作为提升字典性能的约束条件,进行迭代以求得最优解。学习模型目标函数如式(1)所示:

式(1)中,x=[x1,x2,...,xm]∈rn×m为特征样本,m为行人的数量,n为特征向量的维度,x为每个特征向量组成的矩阵,其中向量xi为第i个行人的特征向量,d为要学习的字典,p1,p2分别为不同视角下的投影矩阵,r为空间域,||·||f为f范数运算符,||·||2为范数的平方运算符;

(3)通过增加两个松弛变量,可以求得式(1)最优解,如下:

通过交替迭代算法,将其他变量固定,依次求解其他变量。得出求解s的目标函数为:

s1=(dtd+(β+γ)i-1)(dtx1+βs2+γp1x1)(3)

同理可求得s2。另外求解p的目标函数为以下式(4):

字典d通过admm算法求解,引入辅助变量a和t,以下式(5)

其中μ为超参数,求得d的解如下:

其中,i为单位矩阵,维度与一致。上述所有解均为迭代更新求得。其中,第一次迭代时的x1,x2均为降维后的最初特征,第一次迭代的d初始化随机得到,然后进行式(1)~(6)交替迭代更新,得到最终的p和d。

(4)将测试集的特征放入模型中,使用学习后得到的d和p得出测试集行人的稀疏编码,然后进行距离匹配,匹配的距离计算采用角度相似性进行计算,如公式(7)所示:

相似度=cos(s1,s2)(7)

图4为传统方法与本发明方法在viper数据及上的cmc指标对比表:

本发明评价主要依据cmc(累计匹配曲线)评价指标。cmc曲线是一种top-k的击中概率评价指标,主要用闭集测试。比如有n个注册样本,现在想测试性能,测试样本依次和n个注册样本算取一个距离,然后排序,看类类样本位于前top-k,最后统计得到cmc曲线。从图4中,统计出到rank-20的匹配效果,不同的方法具有不同的匹配性能,整体上讲,本方法不仅能实现rank-1很好的效果,且在后续的rank-5,rank-10,rank-20保持了不错的匹配效果。

以上结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1