一种用于图像匹配、识别、检索的频域形状描述方法
【专利摘要】本发明属于模式识别、图像处理、计算机视觉【技术领域】，具体为一种用于图像匹配、识别、检索的频域形状特征描述方法。本发明在图像区域划分为若干子区域，分别以各个特征点作为参考点统计其它特征点落在各个子区域的个数，得到直方图，计算直方图的功率谱作为一种形状描述，计算两幅图像的形状描述子之间的相似度进而得到图像相似度，从而实现图像匹配、识别、检索。实验表明，所发明的形状上下文谱特征具有较好的旋转和伸缩不变性、对于噪声和变形的鲁棒性、且计算开销较小。
【专利说明】—种用于图像匹配、识别、检索的频域形状描述方法
【技术领域】
[0001]本发明属于模式识别、图像处理、计算机视觉【技术领域】，具体涉及一种图像形状特征提取方法，可以用于图像匹配、识别、检索。
【背景技术】
[0002]图像包括形状、纹理、颜色信息，其中，形状是图像识别、检索所依赖的主要信息，形状特征描述对于图像识别、检索非常重要，【S- Belogie, J.Malik, J.Puzicha: “Shapematching and object recognition using shape contexts,IEEE Transactions onPattern Analysis and Machine Intelligence”，Volume 24，pp.509-52，2002】论文中提出了一种称为形状上下文(Shape Contexts)的形状描述方法，首先提取图像特征点(边缘点)，然后以每个特征点作为参考点构造一个网格，统计网格各个区域中包含的特征点数，得到直方图形式的形状描述子。形状上下文是一种对于噪声干扰较为鲁棒的特征，但是形状上下文特征不具有旋转不变性，需要利用特征点所在位置的图像灰度域的切向量作为参考方向以获得旋转不变性，但是这种依赖外在条件的旋转不变性不够稳健，尤其对于二值图像而言，无法获得可以作为参考方向的切向量。因此，发明人在已获得授权的中国发明专利【杨夙:一种通用的用于符号识别的特征描述方法，发明专利，授权时间: 2008年2月6日，授权国别:中国，授权号:200410016733.0】和论文【S.Yang: “Symbolrecognition via statistical integration of pixel-level constraint histograms:Anew descriptor，，，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.27，N0.2，pp.278-281，2005】中提出了点约束直方图特征，该特征具有内在的旋转和伸缩不变性，且对于噪声和变形较为鲁棒，但是缺点是计算复杂度较高，大约为0(N3)。
【发明内容】
[0003]本发明的目的在于提出一种能以较低的计算开销，获得较好的旋转与伸缩不变性、对噪声和变形的鲁棒性的用于图像匹配、识别、检索的频域形状描述方法，即图像形状特征提取方法。
[0004]本发明提出的用于图像匹配、识别、检索的频域形状描述方法，包括以下计算步骤:
[0005](a)以图像特征点的统计量作为图像形状描述的基本元素；假设一幅图像有K个特征点，记作P= {Pp P2，…，PkI，任选一个特征点Pk e P作为参考点，对其它特征点的空间分布进行统计，得到一个相应的直方图，记作h(Pk);分别以各个特征点作为参考点，则对应每个特征点分别得到一个直方图，共得到K个直方图1h(Pk) I k=l，2，...，!(}；
[0006](b)对每个特征点对应的直方图求傅里叶变换；设h(Pk)的傅里叶变换为F(Pk)，对矩阵F(Pk)中的每个元素进行函数f(.)定义的数学变换，得到f (F(Pk))Jf{f (F (Pk)) I k=l, 2，…，K}作为K个特征点分别对应的形状描述子；
[0007](c)以所有特征点的形状描述子"^fXF(PK))]作为输入进行函数g(.)定义的数学变换，得到g(f (F(P1)), f (F(P2)),…，f (F(Pk)))，g(f(F(P1)), f (F(P2)),-,f (F(Pk)))是最终用于图像匹配、识别、检索的形状描述子。
[0008]上面所述的形状描述方法的计算步骤(a)、(b)、(c)各有若干种实现方案。上面所述的形状描述方法的计算步骤(a)的两种实现方案在下面分别用(al)和(a2)表示，计算步骤(b)的两种实现方案在下面分别用(bl)和(b2)表示，计算步骤(C)的两种实现方案在下面分别用(cI)、( c2 )表示，具体计算方法如下:
[0009](al)以参考点为中心，将图像最小外接圆所在的空间划分为MX N的网格，计算落入网格每个区间的特征点的个数得到直方图，M和N都是自然数；
[0010](a2)以参考点为中心，将图像最小外接圆所在的空间划分为M个同心圆环形成的区域，计算落入每个圆环的特征点的个数得到直方图，M是自然数；
[0011](bl) F(Pk)的数学变换f(.)定义为矩阵F(Pk)中每个元素的模值的W次方，设Fij (Pk)表示矩阵F (Pk)的第i行、第j列的元素，则f (Fij (Pk)) = I Fij (Pk) w，W是自然数；
[0012](b2) F(Pk)的数学变换f(.)定义为矩阵F(Pk)中每个元素的模值的对数值，设Fij(Pk)表示矩阵 F(Pk)的第 i 行、第 j 列的元素，则 MFij(Pk)) =1g(IFij(Pk))；
[0013](Cl)以所有特征点的形状描述子[MF(P1)), f (F(P2)),…，f (F(Pk))]作为输入进行的函数g(.)定义的数学变换为:输出等于输入，g (f (F (P1)), f (F(P2) ),...,f (F (Pk) )) = [f (F (P1)), f (F (P2) ),..., f (F (Pk))]；
[0014](c2)以所有特征点的形状描述子Lf(F(P1))1T(F(P2))1 -,f (F(Pk))]作为输入进行的函数g(.)定义的数学变换为:将所有特征点的对应形状描述子进行矩阵加
g (f (F (P1)), f (F (P2) ),..., f (F (Pk) )) =f (F (P1)) ? f(F(P2))，…，? f (F(Pk)),这里运算符“Θ”表示参与运算的各个矩阵的对应位置的元素相加，MF(P1)) ? f(F(P2))，...，? f (F(Pk))表示所有K个矩阵的下标相同的元素相加。
[0015]本发明提出了形状上下文谱特征，点约束直方图可以近似看作形状上下文的自相关，因此其傅里叶变换相当于形状上下文的功率谱，形状上下文谱特征与点约束直方图特征相比计算开销较小，同时继承了点约束直方图特征的旋转和伸缩不变性、以及对噪声和变形的鲁棒性。因此，本发明方法克服了形状上下文和点约束直方图的缺点，具有广泛的应用前景。
【专利附图】
【附图说明】
[0016]图1为图像识别系统的组成框图。
【具体实施方式】
[0017]一个图像识别系统通常由以下几个环节组成，图像采集、预处理、特征提取、相似度计算、分类，图像识别系统的目标是从图像数据库中返回与输入图像最相似的图像，整个图像识别系统的组成见图1。这里，图像采集可以通过相机、扫描仪等各种能够完成物理成像的传感设备完成。
[0018]实施例1:
[0019]步骤1:对一幅输入图像提取特征点，并计算各个特征点的形状描述子，令P=IP1, P2,…，PJ和{f (F(Pk)) k=l, 2，…，K}分别表示所得到的特征点及其对应的形状描述子，形状描述子的计算步骤如下:
[0020](a)任选一个特征点Pk e P作为参考点，对其它特征点的空间分布进行统计，得到一个相应的直方图，记作h(Pk);这里，直方图的具体计算方法如下:以参考点Pk为中心，将图像最小外接圆所在的空间划分为MX N的网格，计算落入网格每个区间的特征点的个数得到直方图，M和N都是自然数；分别以各个特征点作为参考点，则对应每个特征点分别得到一个直方图，共得到K个直方图1h(Pk) I k=l，2，…，K}；
[0021](b)对每个特征点对应的直方图求傅里叶变换，设h (Pk)的傅里叶变换为F(Pk)，对矩阵F (Pk)中的每个元素进行函数f(.)定义的数学变换，F (Pk)的数学变换f(.)定义为矩阵F(Pk)中每个元素的模值的W次方，设Fij (Pk)表示矩阵F(Pk)的第i行、第j列的元素，则MFij (Pk) H Fij (Pk) |w，W=2;将{f (F(Pk)) k=l，2，…，K}作为K个特征点分别对应的形状描述子；
[0022]步骤2:对图像库中任选的一幅图像提取特征点，基于步骤I所述的形状描述子计算方法计算各个特征点的形状描述子，令Q={Qi，Q2，…，QJ和^(F(Q1)) |?=1，2，...，?分别表示所得到的特征点及其对应的形状描述子；
[0023]步骤3:计算输入图像和图像库图像的各形状描述子之间的相似度，记作{dkl=d (f (F (Pk) ),f(F (Q1))) I k=l, 2，…，K; 1=1，2，...，L}，这里采用内积作为相似度度量，即分别将矩阵f (F(Pk))和MF(Q1))拉直为向量，然后求两个向量的内积；
[0024]步骤4:按照最近邻原则对点集合P= (P1, P2，…，Ρκ}和Q=IQ2，…，QJ进行匹配，计算方法如下:进行m=min {K, L}次迭代，每次迭代得到一个匹配的点对，每次迭代的具体计算步骤如下:(a)找到集合D={dkl|k=l, 2，…，K; 1=1，2，…，L}中的最大元素dst ； (b)将PS<-?Q,作为一个匹配对记录到集合PeQ中；(c)令dsl=- 和dkt=_:k=l, 2，...，K且1=1，2，…，L ;
[0025]步骤5:采用发明人提出的点集合匹配的校正方法对步骤4得到的初始的点集合匹配关系PoQ=Pr<->Q:?…,Ρβ4.>0?}进彳丁校正，得到经过校正的点集合匹配关系{P.4>Q., P十+>Cb’…,P十η≤m;令
{(X:!(Xi,y,), ***, (XSJ Yn)4->(x,,y=)}表示匹配点对..％ P..eCU 的坐标值；
[0026]步骤6:基于步骤5得到的经过校正的点集合之间的匹配关系计算投影变换，步骤如下:
[0027](a)令
【权利要求】
1.一种用于图像匹配、识别、检索的频域形状描述方法，其特征在于包含以下计算步骤: (a)以图像特征点的统计量作为图像形状描述的基本元素；假设一幅图像有#个特征点，记作卢ΙΛ，Λ，…，P K、，任选一个特征点A e产作为参考点，对其它特征点的空间分布进行统计，得到一个相应的直方图，记作A(A);分别以各个特征点作为参考点，则对应每个特征点分别得到一个直方图，共得到#个直方图卿I左=1，2，…，幻； (b)对每个特征点对应的直方图求傅里叶变换，设A的)的傅里叶变换为/^的)，对矩阵/^的)中的每个元素进行函数/(.)定义的数学变换，得到/(^的))，将{f (FQ3k)) \k=l, 2，…，幻作为#个特征点分别对应的形状描述子； (c)以所有特征点的形状描述子[/(ΜΛ))，f(HP2))作为输入进行函数H.)定义的数学变换，得到S(Z^Od1)), /W2)),…，f{F{PK))),g{f(Fipi)),f (FiP2)),…，f(F(Pk)))是最终用于图像匹配、识别、检索的形状描述子。
2.根据权利要求1所述的方法，其特征在于计算步骤(a)中所述的直方图定义如下:以参考点为中心，将图像最小外接圆所在的空间划分为的网格，计算落入网格每个区间的特征点的个数得到直方图，#和#都是自然数。
3.根据权利要求1所述的方法，其特征在于计算步骤(a)中所述的直方图定义如下:以参考点为中心，将图像最小外接圆所在的空间划分为#个同心圆环形成的区域，计算落入每个圆环的特征点的个数得到直方图，#是自然数。
4.根据权利要求1所述的方法，其特征在于计算步骤(b)中所述的/^的)的数学变换/(.)定义为矩阵/^的)中每个元素的模值的r次方，设A7(A)表示矩阵的第i行、第j列的元素，则f(Fu(Pk)) = \Fiy (Pk) ，r是自然数。
5.根据权利要求1所述的方法，其特征在于计算步骤(b)中所述的/^的)的数学变换/(.)定义为矩阵中每个元素的模值的对数值，设表示矩阵的第i行、第j 列的元素，则 fiFij (Pk)) =1g ( Ia7 (Pk) I)。
6.根据权利要求1所述的方法，其特征在于计算步骤(c)中，所述的以所有特征点的形状描述子[/(ΜΛ))，f{F{P2))r'',作为输入进行的函数g(.)定义的数学变换为:输出等于输入'(/(/7Od1)), f(FiP2)),''', fiF(Pk))) = If (FiPl)), f(F(P2)),-,/嶋))]。
7.根据权利要求1所述的方法，其特征在于计算步骤(c)中，所述的以所有特征点的形状描述子[/(ΜΛ))，f(F(P2)),-,作为输入进行的函数H.)定义的数学变换为:将所有特征点的对应形状描述子进行矩阵加法，ff(f (J7(P1)), f(F(P2)),-,f (FQ3k) )) =ZXZ7Od1) ) ? f {F{P2))，…，? f(F(pK))，这里运算符“ ? ”表示参与运算的各个矩阵的对应位置的元素相加，/(/7Od1)) ? f (FQ32)),''', ?/(/7?))表示所有#个矩阵的下标相同的元素相加。
【文档编号】G06K9/62GK103679200SQ201310687697
【公开日】2014年3月26日 申请日期:2013年12月14日 优先权日:2013年12月14日
【发明者】杨夙 申请人:复旦大学