专利名称：基于降维局部特征描述子和隐条件随机场的目标识别方法
技术领域：
本发明属于一种基于降维局部特征描述子和隐条件随机场的目标识别方法。具体 来说，它是目前计算机视觉领域中结合图像的局部特征提取、降维方法以及隐条件随机场 进行建模并对目标图像进行判别的方法。
背景技术：
目标识别作为计算机视觉领域的最重要的方向之一，是后续各种更高层次处理例 如目标分类、视频检索、行为理解等的基础。已有许多方法，包括基于变化轮廓的检测、基 于特征建模的检测、基于EM算法的颜色统计信息的检测、基于区域方法的检测以及基于帧 差法的检测等等。这些经典方法简洁而易于理解，但其效果并不能令人满意。使用简单特 征信息并不足以对物体进行判别，其后出现的改进算法当中，由于某些特征之间尚还存在 相互抵消的特性，所以直到目前为止的较为成功的目标识别方法均是特定于某种场景之下 的。局部特征是最近兴起的计算机视觉领域的特征提取方法，已经在目标识别、图像 配准、图像检索、三维重建领域得到了广泛的应用。局部特征对于几何变换、光照变换具有 不变性，对于噪声、遮挡、以及背景干扰均具有良好的鲁棒性，并且特征间具有很高的区分度。对于目标识别任务来讲，局部特征的提取完成了最基本的一步。局部特征提取的 信息包括特征点信息和特征点对应的描述子信息。之后还需要进行描述子的匹配、匹配对 筛选、利用概率模型的过程才能完成目标识别，这还不包括关于物体描述子库的建立过程。 而且在利用局部特征进行匹配进而识别的整个过程中，还必须用到的是所识别物体表面在 物理上的对应性。本发明提出了一种基于降维局部特征描述子和隐条件随机场的目标识别方法。它 首先对图像提取SIFT (Scale invariant feature transform，尺度不变特征)特征描述子， 在保持SIFT描述子的高维空间中的关系为前提，利用近邻保持嵌入(Neighbor Preserving Embedding, NPE)方法对高维描述子进行降维，建立隐条件随机场(Hidden Conditional Random Fields, HCRF)模型并用于目标识别。
发明内容
本发明一种基于降维局部特征描述子和隐条件随机场的目标识别方法，所针对解 决的问题提取图像的SIFT特征的描述子，对描述子使用NPE方法降维，并使用隐条件随机 场进行建模并完成目标识别的任务。本发明提出的一种基于降维局部特征描述子和隐条件随机场的目标识别方法，它 的目标是建立起一个用于物体识别的目标识别模型，包括建模和识别两个过程。其中建模 的步骤包括(1)对于训练样本集中的包含有对应标签值的物体的每一幅图像，提取其SIFT特征描述子；(2)使用NPE方法对提取的高维SIFT特征描述子降维，得到降维以后向量集合；(3)每一幅图像对应的降维后的向量集合，与物体的标签号构成训练HCRF模型的 一个样本，则经过所有样本学习得到可用于识别物体的隐条件随机场模型；识别的步骤包括(1)对于待识别的测试样本集中的包含有对应物体的每一幅图像，提取其SIFT特 征描述子；(2)使用NPE方法对提取的高维SIFT特征描述子降维，得到降维以后向量集合；(3)每一幅图像对应的降维后的向量集合，输入训练得到的隐条件随机场模型，输 出物体标签号，作为最终的识别结果。其中，对于训练样本集中的包含有对应标签值的物体的每一幅图像，或者待识别 的测试样本集中的包含有对应物体的每一幅图像，提取对应的SIFT特征，均包括特征点检 测和描述子计算两个过程，其中特征点检测步骤为(1)尺度空间极值点检测检测尺度空间上的极值点，需要对高斯差 (Difference-of-Gaussian, DoG)运算后的图像 D(x，y，σ )中的点进行遍历。D(x，y，σ ) 表示为D (X，y，σ ) = (G (χ, y，k σ ) -G (χ，y，σ )) *Ι (χ, y)= L(x, y, k σ )-L(x, y, σ )其中k为相邻两个尺度间的尺度因子。G(x，y，σ)是以原点为均值，σ为均方差 的高斯函数，L(x, y，σ )称作一幅图像的关于可变尺度σ的高斯平滑。I(x，y)表示源图 像，*表示卷积运算。比较D(x，y，σ)中的每一个点与相邻8个点以及上下两层相邻的9 个点的灰度值，若该点对应灰度值为相邻区域的极大或者极小值，则将其作为候选的关键占.(2)精确特征点定位若检测到的局部极值点为Xtl = (x0, yQ，σ )，对D(x，y，σ) 使用泰勒展开，并对展开式求导，使导数为0，得到对应于局部极值点Xtl的精确位置描述子计算步骤包括(1)主方向确定对于每一幅经过高斯平滑的图像L(x，y， )，特征点处的周围点 的梯度幅度m(x，y)以及方向θ (x,y)由下列两式计算m(x,y) = ψ (χ + Iy)- L(x -\,y)f + (L(x,y + 1) - L(x,y-}))1θ (χ, y) = arctan (L (χ, y+1) -L (χ, y_l)) / (L (x+1，y) -L (χ一1，y))将0° 360°分为36个等分，每个等分10°，根据方向θ (χ, y)作关于对应幅 度m(x，y)的直方图，对应直方图中最大值的对应的方向作为该特征点的主方向；(2)描述子计算以特征点为中心旋转坐标轴使χ方向与该特征点的主方向重合， 取16 X 16大小的窗口，将其分为4X 4的均等正方形的格状区域，使用均方差为计算描述子 所用窗口的变长的一半大小即8的高斯函数对区域内的点进行权值分配，再对于每个区域 计算水平、竖直、主对角线、副对角线各两侧共8个方向上关于梯度值的直方图，每个方向 上对应的梯度值作为特征描述子中的一个分量，形成4X4X8 = 128维的向量，并做归一化 生成最终的描述子向量。
其中，对于训练样本集中的包含有对应标签值的物体的每一幅图像，或者待识别 的测试样本集中的包含有对应物体的每一幅图像，提取的SIFT特征描述子采用NPE方法降 维。NPE方法可以对以相同维度的高维向量为顶点，相互距离为边上权值的无向图中的向 量进行降维，并保持边上权值的不变性；即对于给定的向量序列χ = [X1, x2, ... , xj，降维 后的向量序列为1 = Cy1, y2，..，ym]，由Xt到yt的映射表示为χ = <Λ，其中妒，D = rXc,d<<D, Anpe是DXd维的转换矩阵，其步骤如下(1)构造邻接图假使G表示具有m个节点的图，t和s对应图像在特征点序列中 的序号，按照以下方式构造邻接图a)如果Xt和Xs属于同一源物体，计算二者之间的欧氏距离dist (t，s) = I Xt-Xs ； 否则，dist(t，s) = C，C是预定义常量;b)如果Xs位于Xt mk近邻范围内，在Xt到Xs之间建立有向连接线；(2)计算权重矩阵每个数据可由其邻近编号的向量的线形组合重构而成，在满 足Σ sffts = 1的前提下最小化目标函数Σ J xt- Σ sfftsxs I，得到的最优代表局部邻近线形 关系的权重矩阵W，其中，Wts表示Xt由其邻近点Xs根据空间距离归一化重构后的系数；(3)计算投影矩阵最小化成本函数 Φ (Y) = Σ t(yt- Σ sfftsys)2 = aTXMXTa, M =(I-W)T(I-W), I是单位矩阵，并施加约束/ρ ^Ζ = !,转换向量a是通过求解广义 特征方程xMxTa= λχχ、的最小特征值得到，假定列向量ai，a2, ...，ad是按照特征值 A1^ ^人^肖序的对应解，则最终的映射关系表示为 —；^乂^吻^，……是 DXd维矩阵。隐条件随机场(Hidden Conditional Random Fields)模型，可以根据输入的同维 观测向量序列y = Iy1, y2，...，yj判别标记值z，一个隐条件随机场的参数模型由隐藏状 态层、输入的观测向量及标签值组成，HCRF利用下式对标签的条件概率进行建模和判别
权利要求
一种基于降维局部特征描述子和隐条件随机场的目标识别方法，其特征在于它的目标是建立起一个用于物体识别的目标识别模型，包括模型建立和物体识别两个阶段，其中建模的步骤包括(1)对于训练样本集中的包含有对应标签值的物体的每一幅图像，提取其SIFT特征描述子；(2)使用近邻保持嵌入方法对提取的高维SIFT特征描述子降维，得到降维以后向量集合；(3)每一幅图像对应的降维后的向量集合，与物体的标签号构成训练隐条件随机场模型的一个样本，则经过所有样本学习得到可用于识别物体的隐条件随机场模型；识别的步骤包括(1)对于测试集中的包含有对应物体的每一幅图像，提取其SIFT特征描述子；(2)使用近邻保持嵌入方法对提取的高维SIFT特征描述子降维，得到降维以后向量集合；(3)每一幅图像对应的降维后的向量集合，输入训练得到的隐条件随机场模型，输出物体标签号，作为最终的识别结果。
2.根据权利要求1中所述的一种基于降维局部特征描述子和隐条件随机场的目标识 别方法，其特征在于对于训练样本集中的包含有对应标签值的物体的每一幅图像，或者待 识别的测试样本集中的包含有对应物体的每一幅图像，提取对应的SIFT特征，均包括特征 点检测和描述子计算两个过程，其中特征点检测步骤为(1)尺度空间极值点检测检测尺度空间上的极值点，需要对高斯差运算后的图像 D(x, y，σ )中的点进行遍历；D(x，y，σ )表示为D(x, y, σ ) = (G(x，y，ko )-G(x，y，o))*I(x，y) =L(x, y, k σ )_L(x, y, σ )其中k为相邻两个尺度间的尺度因子；G(x，y，σ)是以原点为均值，σ为均方差的高 斯函数，L(x，y，σ)称作一幅图像的关于可变尺度σ的高斯平滑；I(x，y)表示源图像，*表 示卷积运算；比较D(x，y，σ)中的每一个点与相邻8个点以及上下两层相邻的9个点的灰 度值，若该点对应灰度值为相邻区域的极大或者极小值，则将这个点作为候选的关键点(2)精确特征点定位若检测到的局部极值点为Xtl=O^ytl, o)jiD(X，y，σ)使用 泰勒展开，并对展开式求导，使导数为0，得到对应于局部极值点Xtl的精确位置χ —卜(处)鸟丨.c dX2dX ‘描述子计算步骤包括(1)主方向确定对于每一幅经过高斯平滑的图像L(x，y，ο)，特征点处的周围点的梯 度幅度m(x，y)以及方向θ (x，y)由下列两式计算；Μχ, y) = λ! (Mx + \,y)-L{x~\, y)f +(￡(>，y + \)~ L(x,y- 1))Jθ (x，y) = arctan (L (χ, y+1) -L (χ, y-1)) / (L (x+1，y) L (χ-l，y)) 将0° 360°分为36个等分，每个等分10°，根据方向θ (x，y)作关于对应幅度m(x， y)的直方图，对应直方图中最大值的对应的方向作为该特征点的主方向；(2)描述子计算以特征点为中心旋转坐标轴使χ方向与该特征点的主方向重合，取· 16 X 16大小的窗口，将其分为4X 4的均等正方形的格状区域，使用均方差为计算描述子所 用窗口的变长的一半大小即8的高斯函数对区域内的点进行权值分配，对于每个区域计算 水平、竖直、主对角线、副对角线各两侧共8个方向上关于梯度值的直方图，每个方向上对 应的梯度值作为特征描述子中的一个分量，形成4X4X8 = 128维的向量，并做归一化生成 最终的描述子向量。
3.根据权利要求1中所述的一种基于降维局部特征描述子和隐条件随机场的目标识 别方法，其特征在于所述的近邻保持嵌入方法，可以对以相同维度的高维向量为顶点，相 互距离为边上权值的无向图进行降维，并保持边上权值的不变性；即对于给定的向量序列 X= [X15X2,... ,Xm],降维后的向量序列为y = y2，，ym]，由xt到yt的映射表示为χ =4〉, ’ 其中X, ef e妒,D = r X C，d < < D，Anpe是D X d维的转换矩阵，其步骤如下(1)构造邻接图假使G表示具有m个节点的图，t和s对应图像在特征点序列中的序 号，按照以下方式构造邻接图a)如果xt和xs属于同一源物体，计算二者之间的欧氏距离dist(t，s)= I xt-xs| I ； 否则，dist(t，s) = C，C是预定义常量;b)如果Xs位于Xt的k近邻范围内，在Xt到Xs之间建立有向连接线；(2)计算权重矩阵每个数据可由其邻近编号的向量的线形组合重构而成，在满足 Σ sffts = 1的前提下最小化目标函数Σ J xt- Σ sfftsxs I，得到的最优代表局部邻近线形关 系的权重矩阵Wt其中，Wts表示Xt由其邻近点Xs根据空间距离归_化重构后的系数；(3)计算投影矩阵最小化成本函数Φ⑴=Σt(yt- Σ sfftsys)2 = aTXMXTa, M = (I-ff)T(I-ff), I是单位矩阵，并施加约束/mZ^H，转换向量a是通过求解广义 特征方程xMxTa= λχχ、的最小特征值得到，假定列向量ai，a2, ...，ad是按照特征值 X1SX2S...;^ Xd排序的对应解，则最终的映射关系表示为 —兄“^二柄為，……是 DXd维矩阵。
4.根据权利要求1中所述的一种基于降维局部特征描述子和隐条件随机场的目标识 别方法，其特征在于所述的隐条件随机场模型，可以根据输入的同维观测向量序列y = Iy1, y2，...，yj判别标记值z，一个隐条件随机场的参数模型由隐藏状态层、输入的观测向 量及标签值组成，HCRF利用下式对标签的条件概率进行建模和判别Λζ [ γ,θ,ω) = ^{z.h ι ν,θ,ω) = ‘ “ ^ 其中，h = Ih1, h2，...，hj对应于观测序列y，hi e H，H表示所有可能出现的隐藏状态 集合；参数为θ = θζ，θ J和窗口大小ω的势能函数W(z，h，y: θ，ω)为Ψ(ζ A 少-.θ,ω) = Σ -ΡΟ, j’ · θ (hj) + (ζ A ) + X Oe (ζ, h丨,hk) 图E是无向图，(j，k)表示其中的一条边，图中每个顶点对应一个隐藏状态可以 表示观测窗口中的任意特征；参数组θ = [eh，Θζ，ej中，θ h表示对应隐含状态比e Η 的参数，θ z度量的是隐藏状态h与标签ζ之间的兼容度，θ e度量的是相连状态j和k与 标签ζ之间的兼容度；(1)隐条件随机场模型模型的训练过程中，参数组θ = [0h, θζ，θ J的最优值根据 下式确定θ * = arg max θ L( θ )其中η表示训练样本序列的总个数，参数θ服从方差为σ 02的高斯分布； (2)判别过程，对于输入的观测向量序列y，判别的标签值 为
全文摘要
本发明提出一种基于降维局部特征描述子和隐条件随机场的目标识别方法。其过程是建立起一个目标识别模型并用于物体识别。建模的过程是以训练图像为样本使模型进行监督学习的过程。训练图像中的每个物体对应不同的标签值。首先对包含不同物体的训练图像计算SIFT(Scale invariant feature transform，尺度不变特征)的描述子向量，每一幅图像对应的描述子向量构成对应的高维向量集合；采用近邻保持嵌入(Neighbor Preserving Embedding，NPE)方法对SIFT集合进行降维；降维后的向量组与对应源图像的物体的标签形成一个二元组，即每幅图像都对于这样一个二元组，这样的一系列二元组组成的集合作为训练隐条件随机场模型的样本。利用模型进行识别的过程即对于给定的测试图像，首先计算测试图像的SIFT特征描述子集合，并使用NPE方法对获得的SIFT集合进行降维，得到的降维后的向量集合输入训练得到的隐条件随机场模型，输出最终的物体标签作为识别结果。
文档编号G06K9/66GK101980250SQ20101051586
公开日2011年2月23日 申请日期2010年10月15日 优先权日2010年10月15日
发明者李超, 池毅韬, 熊璋, 郭信谊 申请人:北京航空航天大学