专利名称：基于场景驱动的智能手机图像特征点选取方法
技术领域：
本发明属于图像处理技术邻域，特别涉及图像特征点的提取方法，具体讲的是一种基于场景驱动的智能手机图像特征点快速选取方法，可应用于特征匹配，目标跟踪，物体识别，运动目标的检测和跟踪，增强现实开发等领域。
背景技术：
图像的特征点提取是图像处理的基本问题，精确高效的特征点提取算法为其他问题的解决提供坚实的底层基础。特征点也被称为兴趣点，角点，显著点等等，Harris基于Moravec对兴趣点的描述，利用亮度函数的自相关矩阵即二阶矩矩阵，实现了对特征点的检测。Mikolajczyk 和Schmid利用Laplace算子检测Harris角点的尺度，构建了一种具有尺度不变性的 Harris-Laplace算子，并将Harris-Laplace算子扩展为具有仿射不变性的Harris-aff ine 算子。Lindeberg利用Laplacian算子将图像中的斑点作为兴趣点，并通过确定每一个斑点的特征尺度和形状使兴趣点具有尺度不变性和仿射不变性。Lowe利用DoG算子代替Laplacian算子从而提高了兴趣点检测的速度。还有一些算法计算图像亮度函数的高斯曲率，将曲率较大的点定位为特征点。除基于亮度的特征点算法外，还有一类算法根据 Haralick对特征点的定义，在图像中度量每一点的显著性，从中筛选出一些明显有别于其他点的特殊点作为特征点，这类点也被称为显著点。目前，基于特征点的提取的一类方法仍然是图像处理、计算机视觉领域的研究热点，而且随着我国3G网络的逐步开通和移动通信事业的飞速发展，庞大的智能手机用户群也在逐年增加，图像处理与分析在智能手机上的应用也逐渐占有越来越重要的地位。特征提取作为图像处理中的一个基本且非常关键的模块，应用到目标识别、增强现实等很多领域，在智能手机的开发应用中是必不可少的环节。虽然现在的智能手机硬件配置一直在更新，但处理能力还是很有限，对一些图形图像需要进行复杂处理的时候很难达到实时的要求，而且在大部分特征检测算法中，并没有针对图像的背景信息自适应的调整算法所需的特征点数量，往往对于一幅背景较复杂的图像提取的特征点偏多，为下一步的图像处理比如特征描述或者图像匹配造成冗余计算量；而对于背景比较简单的图像提取的特征点偏少，不能找到足够鲁棒性的特征点，给下一步图像进行精确的描述和匹配造成困难。如何能够有效利用资源，使得算法能以较少的CPU 和内存资源来达到相同的效果，是目前手机平台的算法开发上急需解决的问题。
发明内容
本发明的目的在于针对上述技术的不足，提出一种基于场景驱动的智能手机图像特征点选取方法，以提高图像处理速度，并使提取的特征点总体上更加稳定和鲁棒。为实现上述目的，本发明包括如下步骤I、一种基于场景驱动的智能手机图像特征点选取方法，包括如下步骤
(I)从手机摄像头获得移动场景的视频帧；(2)对视频帧的第一帧图像进行灰度化处理并利用快速特征检测算法FAST进行特征点检测，得到第一帧图像所有的特征点位置和总的特征点数目M1 ；(3)计算第一帧图像的综合纹理特征值Z，定义视频帧图像的复杂度分为“复杂”、 “一般”、“简单”三个标准，设定复杂度阈值为6.0 ;若综合纹理特征值Z > 6.0，则将视频帧图像的复杂度判为“复杂”，若4. O < Z ^ 6. 0，则将视频帧图像的复杂度判为“一般”，若 Z ^ 4. O,则将视频帧图像的复杂度判为“简单”；(4)由步骤(3)得到的复杂度计算出第一帧图像输出特征点的数目Ntl :若复杂度为“复杂”时，N。= MfO. 9，若复杂度为“一般”时，N。= MfO. 8，若复杂度为“简单”时，N。= M15^O. 7 ；(5)从M1个特征点中随机选取Ntl个特征点，并利用加速的鲁棒特征算法SURF对所选的Ntl个特征点进行描述，计算出第一帧中每一个特征点的描述矢量；(6)读取视频帧的第二帧图像，进行灰度化处理并利用快速特征检测算法FAST， 得到第二帧所有特征点的位置和总的特征点数目M2 ；(7)利用加速的鲁棒特征算法SURF对步骤(6)中得到的特征点进行描述，得出第二帧中每一个特征点的描述矢量；(8)利用加速的鲁棒特征算法SURF对第一帧和第二帧中的特征点进行匹配，得到特征点匹配成功的个数Ns;(9)根据特征点匹配的个数凡和步骤(4)得到的第一帧特征点个数Ntl的关系得到第二帧输出的特征点个数如果NsZXS O. 75，则第二帧输出Ns个特征点；如果 Ns/N0 < O. 75，则第二帧除了输出Ns个特征点外，还要从(M2-Ns)个特征点中随机选取 (O. 75*N0-NS)个特征点；(10)重复步骤(2)到步骤(9)，直到视频帧读取结束。本发明与现有技术相比，具有以下优点I)本发明由于通过分析图像场景信息来判断图像场景的复杂度，自适应调整特征点的输出，因而不论在复杂或者简单的场景中，都可以输出稳定质量和数量的特征点；2)本发明通过利用特征点检测与特征点匹配的结果来确定每一帧特征点输出数目，从而降低后端系统中特征点检测与特征点匹配的运算量，缩短计算时间；3)本发明在特征点跟踪性能下降时，即特征点匹配成功的个数达不到最低阈值时，通过自适应增加新的特征点使特征点数目达到最低阈值，保证系统的鲁棒性。
图I为本发明的实现流程图；图2为用本发明与现有快速特征检测算法FAST方法进行特征点检测的结果图。
具体实施例方式以下参照附图对本发明进行详细描述参照图1，本发明基于场景驱动的智能手机图像特征点选取方法，包括以下步骤步骤1，初始化系统环境，从手机摄像头获得移动场景视频帧；初始化系统环境包括启动手机摄像头，并为视频巾贞申请内存存储全间，通过启动的摄像头取得移动场景视频 中贞，并保存在手机内存中。步骤2，从手机内存中读取视频帧的第一帧图像，取视频帧第一帧图像上的一点 (x，y)，对该点(x，y)进行灰度化，得到将灰度化后的值4(x，y)Gr (x, y) =0.11R (x, y) +0. 59G (x, y) +0. 3B (x, y),其中R(x,y)为点(x, y)的红色分量值,G(x, y)为点(x, y)的绿色分量值,B(x, y)为点(x，y)的蓝色分量值；让点(x，y)遍历第一帧图像上每一点，得到第一帧图像的灰度化图像。步骤3，利用快速特征检测算法FAST对得到的第一帧图像的灰度化图像进行特征 点检测，从而得到第一帧图像中所有的特征点位置和总的特征点数目A，其中快速特征检 测算法 FAST 参见(Machine learning for high-speed corner detection，E Rosten and T. Drummond, ECCV 2006)。步骤4，计算第一帧图像的综合纹理特征值Z，定义视频帧图像的复杂度分为“复 杂”、“一般”、“简单”三个标准，设定复杂度阈值为6. 0 ;若综合纹理特征值Z > 6. 0，则将视 频帧图像的复杂度判为“复杂”，若4.0 < Z ( 6.0，则将视频帧图像的复杂度判为“一般”， 若Z < 4. 0，则将视频帧图像的复杂度判为“简单”，完成对第一帧图像的场景分析。步骤5，计算第一帧图像的综合纹理特征值Z 5a)取第一帧图像上的一点(X，y)，将其灰度值记为gl，取偏离该点的另一点 (計八乂^+八“卜卜^彳^将其灰度值记为g2，并把这两点的灰度值记为符号[gl，g2]；5b)让点(x, y)遍历第一巾贞图像，若第一巾贞图像的灰度值级数为N,得到N*N个灰 度值符号[gl，g2]；5c)统计每一个灰度值符号[gl，g2]出现的次数，排列生成N*N阶矩阵P，该矩阵 P的第i行第j列元素值P(i，j)等于[i，j]出现的次数；5d)对矩阵P中的每一个元素进行如下归一化处理
权利要求
1.一种基于场景驱动的智能手机图像特征点选取方法，包括如下步骤(1)从手机摄像头获得移动场景的视频帧；(2)对视频帧的第一帧图像进行灰度化处理并利用快速特征检测算法FAST进行特征点检测，得到第一帧图像所有的特征点位置和总的特征点数目M1 ；(3)计算第一帧图像的综合纹理特征值Z，定义视频帧图像的复杂度分为“复杂”、“一般”、“简单”三个标准，设定复杂度阈值为6. O ;若综合纹理特征值Z > 6. 0，则将视频帧图像的复杂度判为“复杂”，若4. 0<Z^6. 0，则将视频帧图像的复杂度判为“一般”，若Z <4. O, 则将视频帧图像的复杂度判为“简单”；(4)由步骤(3)得到的复杂度计算出第一帧图像输出特征点的数目Ntl:若复杂度为“复杂，，时，N0 = M1^O. 9，若复杂度为“一般”时，N。= M1^O. 8，若复杂度为“简单”时，N。= M1^O. 7 ；(5)从M1个特征点中随机选取Ntl个特征点，并利用加速的鲁棒特征算法SURF对所选的Ntl个特征点进行描述，计算出第一帧中每一个特征点的描述矢量；(6)读取视频帧的第二帧图像，进行灰度化处理并利用快速特征检测算法FAST，得到第二帧所有特征点的位置和总的特征点数目M2 ；(7)利用加速的鲁棒特征算法SURF对步骤￠)中得到的特征点进行描述，得出第二帧中每一个特征点的描述矢量；(8)利用加速的鲁棒特征算法SURF对第一帧和第二帧中的特征点进行匹配，得到特征点匹配成功的个数Ns;(9)根据特征点匹配的个数Ns和步骤(4)得到的第一帧特征点个数Ntl的关系得到第二帧输出的特征点个数如果Ns/Nq ^O. 75,则第二帧输出Ns个特征点；如果Ns/Nq <0. 75, 则第二帧除了输出Ns个特征点外，还要从(M2-Ns)个特征点中随机选取(O. 75*N0-NS)个特征点；(10)重复步骤(2)到步骤(9)，直到视频帧读取结束。
2.根据权利要求I所述的基于场景驱动的智能手机图像特征点选取方法，其步骤(3) 所述的计算第一帧图像的综合纹理特征值Z，按如下步骤进行(3a)取第一巾贞图像上的一点(χ, y)，灰度值记为gl，取偏离该点的另一点(χ+Δχ， y+Δγ) I Λχ = 1,Λ =。，灰度值记为g2，把这两点的灰度值记为符号[gl，g2]；(3b)让点(x，y)遍历第一帧图像，若第一帧图像的灰度值级数为N，得到N*N个[gl，g2]；(3c)统计每一个[gl，g2]出现的次数，排列生成N*N阶矩阵P，该矩阵P的第i行第j 列元素值P(i，j)等于[i，j]出现的次数；(3d)对矩阵P中的每一个元素进行如下归一化处理
3.根据权利要求I所述的基于场景驱动的智能手机图像特征点选取方法，其步骤(8) 所述的利用加速的鲁棒特征算法SURF对第一帧和第二帧中的特征点进行匹配，得到特征点匹配成功的个数Ns，按如下步骤进行(8a)设第一巾贞中特征点描述矢量表不为{nQ, Ii1, n2, ···, n63}，第二巾贞中特征点描述矢量表不为In' 0, n' j, n' 2，···，n' 63},取第一巾贞第一个特征点的描述矢量和第二巾贞每一个特征点的描述矢量进行计算，得到第一帧中第一个描述矢量和第二帧中M2个描述矢量之间的距离C0R。，COR1, COR2,…，CORM2-Pgp .63CORk = ^Cni-n；)2,ke [O,M2),其中=M2为第二帧总的特征点个数；(8b)将仏个距离值CORtl,COR1,COR2,…，C0RM2-；l按照从小到大排序，把排序后的第一个值记为C0R_F，排序后的第二个值记为C0R_S ；(8c)根据C0R_F和C0R_S来判断第一帧第一个特征点在第二帧中是否有匹配的特征点把特征点匹配成功的个数记为K 1；如果C0R_F/C0R_S < O. 65，即在第二帧中有与第一帧第一个特征点匹配的特征点，则Ki = I ;如果C0R_F/C0R_S彡O. 65，即在第二帧中没有与第一帧第一个特征点匹配的特征点，则N' 1 = 0；(Sd)取第一帧中第二个特征点的描述矢量，重复步骤(8a)到(Sc)，直到遍历完第一帧中所有特征点的描述矢量为止，得到特征点匹配成功的总个数Ns为Ns = Ni + M + + N“。；其中=Ntl为第一帧总的特征点个数。
全文摘要
本发明专利公开了一种基于场景驱动的智能手机图像特征点选取方法。主要解决现有技术中没有根据场景复杂度信息来合理输出特征点数目的问题。其实现步骤是对手机摄像头采集的视频帧进行特征点检测；对每一帧检测到的特征点生成描述矢量，并利用描述矢量进行特征点匹配；分析特征点匹配结果，在特征能够进行正常匹配和不能进行正常匹配的两种情况下，自适应的调整每一帧图像输出的特征点数目，从而实现在复杂或简单场景下都能输出具有稳定质量和数量的特征点。本发明具有运算量小，可根据场景复杂度自适应的输出稳定质量和数量的特征点数目的优点，为建立快速的智能手机特征跟踪系统奠定了重要基础。
文档编号G06K9/46GK102592129SQ20121000861
公开日2012年7月18日 申请日期2012年1月2日 优先权日2012年1月2日
发明者刘敏博, 卢朝阳, 孔祥, 李静 申请人:西安电子科技大学