一种适用于帧间的图像稳像方法
【专利摘要】本发明公开了一种适用于帧间的图像稳像方法，该稳像方法是基于人眼视觉特性的感兴趣区域分块思想以及图像块的思想，图像分割成较少图像块的同时保留了全面的图像信息，减小了运算量并增强对图像变化敏感性，降低局部运动误判为全局运动的概率，从而改善图像质量；采用透视变换模型，准确的描述了运动变化情况，使稳像算法有了更广泛的适用性。
【专利说明】一种适用于帧间的图像稳像方法
【技术领域】
[0001 ] 本发明涉及图像稳像【技术领域】，具体涉及一种适用于帧间的图像稳像方法。
【背景技术】
[0002]电子稳像是集电子学、计算机、图像识别等技术于一体，确定图像序列帧间映射关系并进行补偿的新一代序列图像稳定技术，旨在消除视频序列中的随机运动。电子稳像技术的研究始于20世纪80年代中期。目前，稳像技术广泛应用于机器人远程遥控系统、无人车辆导航系统、视频侦察系统、导弹电视制导系统以及车载火控系统中的观瞄系统等，是电视精确制导、目标检测与跟踪的关键预处理技术，是移动成像系统不可缺少的一种重要视频增强技术。
[0003]电子稳像关键技术包括运动估计和运动校正。运动估计是提取由摄像机引起的场景背景的视在运动，即全局运动；而运动校正对全局运动区分为意向运动分量和随机运动分量，运用运动滤波算法消除随机运动分量的影响，计算补偿分量并进行补偿。
[0004]电子稳像运动估计技术目前研究最多的是基于图像块的方法和基于图像特征的方法。传统的基于图像块的方法基于全匹配搜索算法，计算量大，效率较低，一般来说，很难做到实时地稳像处理，在此基础上发展而成的图像代表点匹配算法在一定程度上减少了运算量，但是由于代表点是确定的，并非图像上有明显特征的点，因此对图像的变化不敏感，而且这两种方法存在共同的缺点，即只能针对平移运动。传统的基于图像特征的方法需要选取具有明显特征的点，受图像变化影响小，可以实现帧间的平移和旋转运动补偿，但是当特征过于集中于局部区域时，特征误匹配率高；且容易把局部物体的运动当成全局运动造成错误补偿。
[0005]此外，目前电子稳像的运动估计模型大多针对平移运动，而实际应用环境往往较为复杂，包含平移、水平扫动、垂直扫动、旋转、缩放等多种情况，平移运动模型不能完整地描述摄像机的运动特征。
[0006]综上所述，现有的电子稳像技术存在以下缺点:
[0007](I)具有代表性的两大运动估计算法分别存在计算复杂、对图像变化不敏感和误匹配率高、易造成错误补偿的不足。
[0008](2)运动模型简单，不能准确描述实际运动情况，适用性较差。
【发明内容】
[0009]有鉴于此，本发明提供了一种适用于帧间的图像稳像方法，能够有效消除视频序列中的图像帧间晃动，改善图像质量，同时具有更广泛的适用性。
[0010]本发明的一种适用于帧间的图像稳像方法，包括如下步骤:
[0011]步骤一:对当前帧图像提取视觉敏感点，基于视觉敏感点将图像划分为若干个感兴趣的区域，具体方法如下:
[0012]SlOl:将当前帧图像划分成7X7大小的区域，并计算每个区域的平均灰度值:[0013]S102:搜索局部最大值点:
[0014]针对SlOl中划分的每一个区域，选取该区域的中心点作为邻域中心点，以3X3为邻域范围，判断该区域的平均灰度值是否大于或者等于邻域范围内的平均灰度值:如果是，则该区域中心点为局部最大值点，如果否，则该区域中心点不是局部最大值点；最后得到的N个局部最大值点定义为视觉敏感点；
[0015]S103:对感兴趣特征区域的标记及区域划分:
[0016]对S102中搜索到的每一个视觉敏感点按顺序进行标记；然后将当前帧图像划分为N个感兴趣区域，并确保每个感兴趣区域有且只有一个视觉敏感点；
[0017]步骤二:针对步骤一对当前帧图像划分的每一个感兴趣区域，采用SURF算法提取该感兴趣区域内的特征点，然后与参考帧图像中对应感兴趣区域内的特征点进行匹配，计算得到该感兴趣区域的对应特征点的运动参数，采用上述方法遍历当前帧图像的所有感兴趣区域，得到每个感兴趣区域的局部运动量；所述局部运动量包括8个当前帧相对于参考中贞的运动参数，即为H10?％:其中IIici表示尺度、IIi1, m3, m4表示旋转量，m2和m5分别表示水平方向和垂直方向的平移量，m6和m7分别表不水平和垂直方向的变形量；
[0018]步骤三:针对步骤二获得的N组局部运动量中的每一个运动参数分别求均值，得
到表征全局运动量的运动参数71T;;
[0019]步骤四:采用步骤一至步骤三的方法对获得的原始视频序列中的多个图像进行处理，分别得到全局运动量，然后采用递归Kalman滤波方法对全局运动量按照到达的时间顺序进行序贯滤波处理，得到经过滤波处理的
玛萬^為八个参数后组成图像 帧间透射变换关系矩
阵，然后将该矩阵进行逆变换，得到逆矩阵将该逆矩阵与原图像做乘积运算，得到稳定的图像。
[0020]在所述步骤一的S102中搜索局部最大值点时，针对得到的N个局部最大值点，再判断局部最大值点个数N是否大于7:
[0021]如果N小于或等于7，停止搜索；
[0022]如果N大于7，将邻域范围以一个像素点为步进依次扩大，按照所述S102方法确定每个邻域范围内的局部最大值点，累计每个邻域范围对应的局部最大值点数N，并将该点数N与7进行比较，直到N小于或者等于7时，停止搜索，最终获得的局部最大值点为视觉敏感点。
[0023]本发明具有如下有益效果:
[0024]本发明的稳像方法是基于人眼视觉特性的感兴趣区域分块思想以及图像块的思想，图像分割成较少图像块的同时保留了全面的图像信息，减小了运算量并增强对图像变化敏感性，降低局部运动误判为全局运动的概率，从而改善图像质量；采用透视变换模型，准确的描述了运动变化情况，使稳像算法有了更广泛的适用性。
【专利附图】
【附图说明】
[0025]图1为本发明的帧间图像稳像方法的流程图。
[0026]图2为本发明中划分的7个感兴趣区域示意图。[0027]图3为本发明中对感兴趣区域采用SURF算法进行特征提取的流程图；
【具体实施方式】
[0028]下面结合附图并举实施例，对本发明进行详细描述。
[0029]本发明提供了一种适用于帧间的图像稳像方法，该方法具体实现的步骤如下:
[0030]步骤一:基于人眼视觉特性，对当前帧图像提取视觉敏感点，基于视觉敏感点将图像划分为若干个感兴趣的区域:
[0031]传统的基于图像分块的方法，固然易于硬件实现且能够避免信息过于集中于某一局部图像区域，但是计算量大，难以实时处理，且对于存在大幅度旋转等情况下较难适用；而基于特征点的方法，当特征过于集中于局部区域时，特征误匹配率高。由于电子稳像的目的是便于人的观测，因此本发明中采用基于人眼视觉特性将图像划分为感兴趣区域块的思想，能够保证将图像分割成较少图像块的同时，保留最全面的图像信息。
[0032]SlOl:计算图像矩阵每个7X7区域的平均灰度值，计算公式如下:
[0033]u (m, η) = [ Σ Σ (f (m, η)) ] /49
[0034]其中，f (m, η)为点(m, η)的灰度值；u(m，n)为7X7区域内的灰度均值。
[0035]S102:搜索局部最大值点:
[0036]针对SlOl中划分的每一个区域，选取该区域的中心点作为邻域中心点，以3X3为邻域范围，判断该区域中心点是否为局部最大值点:.[0037]如果该区域的平均灰度值大于或者等于初始邻域范围内的灰度平均值则认为该区域的中心点为局部最大值点，局部最大值点个数N累计一次；否则局部最大值点个数N不累计；
[0038]按照上述方法对所有区域是否为局部最大值点判断完毕后，再判断局部最大值点个数N是否大于7:
[0039]如果N小于或等于7，停止搜索；
[0040]如果N大于7，将邻域范围以一个像素点为步进依次扩大，即邻域范围扩大为4X4,5X5,6X6……等，按照上述方法确定每个邻域范围内的局部最大值点，即先在4X4邻域范围内搜索，累计该邻域范围对应的局部最大值点数N，并将该点数N与7进行比较，如果N小于等于7，停止搜索；如果大于7，继续在5 X 5邻域范围内搜索，直到N小于或者等于7时，才停止搜索；
[0041]上述方法确定的N个局部最大值点定义为视觉敏感点；
[0042]需要说明的是，根据人的视觉敏感特性，一般只能注意到一幅图像中小于或等于7个敏感点，因此本发明的局部最大值点也要求小于或等于7个。
[0043]S103:对感兴趣特征区域的标记及区域划分:
[0044]对S102中搜索到的每一个视觉敏感点按顺序进行标记；然后将当前帧图像划分为N个感兴趣区域，并确保每个感兴趣区域有且只有一个视觉敏感点；
[0045]步骤二:针对当前帧图像中的每一个感兴趣区域，采用SURF算法提取该感兴趣区域内的特征点，然后与参考帧图像中对应感兴趣区域内的特征点进行匹配，计算得到该感兴趣区域的对应特征点的运动参数，采用上述方法遍历当前帧图像的所有感兴趣区域，得到每个感兴趣区域的局部运动量；所述局部运动量包括8个当前帧相对于参考帧的运动参数，即为1--m7:其中Iiici表示尺度、Iii1, m3, m4表示旋转量，m2和m5分别表示水平方向和垂直方向的平移量，m6和m7分别表不水平和垂直方向的变形量；
[0046]则当前帧图像与参考帧图像的透视变换关系表示为:
【权利要求】
1.一种适用于帧间的图像稳像方法，其特征在于，包括如下步骤: 步骤一:对当前帧图像提取视觉敏感点，基于视觉敏感点将图像划分为若干个感兴趣的区域，具体方法如下: 5101:将当前帧图像划分成7X7大小的区域，并计算每个区域的平均灰度值: 5102:搜索局部最大值点: 针对SlOl中划分的每一个区域，选取该区域的中心点作为邻域中心点，以3X3为邻域范围，判断该区域的平均灰度值是否大于或者等于邻域范围内的平均灰度值:如果是，则该区域中心点为局部最大值点，如果否，则该区域中心点不是局部最大值点；最后得到的N个局部最大值点定义为视觉敏感点； 5103:对感兴趣特征区域的标记及区域划分: 对S102中搜索到的每一个视觉敏感点按顺序进行标记；然后将当前帧图像划分为N个感兴趣区域，并确保每个感兴趣区域有且只有一个视觉敏感点； 步骤二:针对步骤一对当前帧图像划分的每一个感兴趣区域，采用SURF算法提取该感兴趣区域内的特征点，然后与参考帧图像中对应感兴趣区域内的特征点进行匹配，计算得到该感兴趣区域的对应特征点的运动参数，采用上述方法遍历当前帧图像的所有感兴趣区域，得到每个感兴趣区域的局部运动量；所述局部运动量包括8个当前帧相对于参考帧的运动参数，即为IIici?m7:其中IIici表示尺度、IIi1, m3, m4表示旋转量，m2和m5分别表示水平方向和垂直方向的平移量，m6和m7分别表不水平和垂直方向的变形量； 步骤三:针对步骤二获得的N组局部运动量中的每一个运动参数分别求均值，得到表征全局运动量的运动参数; 步骤四:采用步骤一至步骤三的方法对获得的原始视频序列中的多个图像进行处理，分别得到全局运动量，然后采用递归Kalman滤波方法对全局运动量按照到达的时间顺序进行序贯滤波处理，得到经过滤波处理的mO > 771I r m2 r徽3 f爾4 * m5，m.6，m7八个参数后组成图像帧间透射变换关系矩阵，然后将该矩阵进行逆变换，得到逆矩阵将该逆矩阵与原图像做乘积运算，得到稳定的图像。
2.根据权利要求1所述的一种适用于帧间的图像稳像方法，其特征在于，在所述步骤一的S102中搜索局部最大值点时，针对得到的N个局部最大值点，再判断局部最大值点个数N是否大于7: 如果N小于或等于7，停止搜索； 如果N大于7，将邻域范围以一个像素点为步进依次扩大，按照所述S102方法确定每个邻域范围内的局部最大值点，累计每个邻域范围对应的局部最大值点数N，并将该点数N与7进行比较，直到N小于或者等于7时，停止搜索，最终获得的局部最大值点为视觉敏感点。
【文档编号】H04N5/14GK103428408SQ201310303092
【公开日】2013年12月4日 申请日期:2013年7月18日 优先权日:2013年7月18日
【发明者】许廷发, 张文琴, 徐磊, 闫辉, 王洪庆 申请人:北京理工大学, 忻州职业技术学院