专利名称：基于特征直线的船载摄像系统电子稳像方法
技术领域：
本发明属于图像处理技术领域，特别是涉及一种电子稳像的方法，可应用于船载 摄像系统的稳像技术。
背景技术：
电子稳像技术已经在稳像领域得到了验证和广泛应用，作为摄像系统载体的舰船 常常受风浪的影响，造成船体姿态变化大，船体振动剧烈，使得在监视器上获得的图像信息 不稳定、模糊现象十分严重，因此船载电子稳像技术也应运而生。现阶段电子稳像的方法有许多，如公开的“电子稳像方法与系统”专利申请(公开 号是CN101692692A)，该方法主要是在参考帧和当前帧中截取运算区域和参考区域，再采用 搜索窗对运算区域进行螺旋搜索得到最匹配块，从而得到每个参考块的运动矢量，由此计 算出当前帧图像的帧间运动矢量，对其进行平滑并累加得到每帧图像的抖动运动矢量，并 与设定的阈值进行比较判断是否要进行运动补偿。由于该方法的运算量较大导致无法保证 实时性，在实际操作中设备很难设定阈值。同时，由于该方法需要对图像特征进行匹配，所 以需要选择较多的图像特征，从而导致该方法很难适用于画面变化不大、图像特征较少的 航海摄像系统中。近年来也公开了一些关于船载电子稳像的方法，如杨常青等人发表的“舰载光电 成像系统的电子稳像技术研究”论文(中国科协第四届优秀博士生学术年会，2006年，第 1328-1333页)，该论文公开的方法是将传统的光流场求解技术与特征匹配相结合，通过粗 分辨率下光流场求解，可以得到粗略的运动分量。再将这些分量作为特征点匹配的概略指 导，即优先在该方向下求取特征点的匹配点对。然后，利用匹配点求取的精确的运动分量， 返回去指导光流场精确计算。该方法在解决光流法的实时性问题上采用了矢量块分割方 法，保证了一定的实时性，但是仍然存在许多不足之处其一，该算法中利用了特征点匹配， 当特征点选择较少时，虽然减少了过程中的计算量，却无法保证匹配的高准确率，从而导致 参数求解精度不高；当特征点选择较多时，在匹配过程中计算量会大大增加。其二，该算法 中同时利用了光流场，光流场求解技术很难保证稳像的实时性。该算法中采用了矢量块分 割方法来缓解光流场带来的实时性问题，但实时性问题依然存在。
发明内容
本发明的目的在于克服现有技术的不足，提出一种利用航海摄像系统中的图像背 景特征和hough变换提取海天线，并以海天线作为特征直线代入特征直线关系式求出其特 征参数得到旋转角和Y方向的偏移量，实现运动补偿的稳像方法。为了实现上述目的，本发明的步骤如下(1)选取参考帧、读入当前帧。对正在进行拍摄的视频图像，从其中选取一帧平稳 的图像作为参考帧，依次读入正在进行拍摄的视频图像序列作为当前帧。(2)图像二值化。
2a)分别将每帧中所有像素点求和，将该和值除以总像素的个数得到的图像平均 灰度值即为该帧图像的二值化阈值。2b)将步骤(1)中选取的参考帧和当前帧每一点的像素与步骤2a)中获取的阈值 进行比较，所有像素点比较后得到的结果构成二值化图像。(3)边缘检测。对步骤(2)得到的参考帧和当前帧二值图像进行SObel算子边缘 检测，得到参考帧和当前帧二值图像的边缘检测图像。(4)提取不连续的海天线。利用Hough变换提取出步骤(3)的边缘检测图像中不 连续的海天线。(5)拟合参考帧、当前帧海天线。采用最小二乘法将步骤⑷中提取出来的不连续 海天线拟合成连续的特征直线，输出拟合好的参考帧、当前帧海天线。(6)水平投影参考帧、当前帧海天线。将步骤(5)输出的参考帧、当前帧海天线分 别进行水平投影，在坐标轴上得到所有点的纵坐标，再将所有点的纵坐标求和，将该和值除 以投影点的总个数，得到参考帧、当前帧海天线的平均坐标值。(7)求解直线方程。分别在步骤(5)输出的参考帧、当前帧海天线上任意取3点， 将该3点的横纵坐标对应的χ、y数值分别代入直线方程ax+by+c = 0中，方程联立求解得 到参考帧、当前帧的海天线直线方程参数a、b、C。(8)计算平移量。将步骤(6)得到的参考帧海天线的平均坐标值与当前帧海天线 的平均坐标值相减，得到垂直方向的平移量Ay。(9)求偏转角。将由步骤(7)得到的参考帧海天线的直线方程参数和当前帧海天 线的直线方程参数代入旋转角和特征直线参数之间的对应关系式，得到偏转角Δ θ。(10)平移并旋转。对步骤⑴的当前帧图像垂直平移Ay数值，将平移后的图像 再旋转Δ θ，得到稳像图像并输出。本发明与现有技术相比具有以下优点1、由于本发明充分利用了航海摄像系统中始终存在海天线这一特征，因此无需再 选取其他特征，减少了过多的特征选取，图像稳像所需时间少。2、由于本发明只需通过对参考帧和当前帧海天线进行水平投影，并求解其直线方 程参数，无需进行特征匹配运算，节省了稳像的时间，同时，也使得本发明的计算复杂度低， 易于实现，具有良好的实时性。
图1是本发明步骤⑴ (5)的流程示意图。图2是本发明步骤(6) (10)的流程示意图。图3是本发明稳像前后图像效果的对比图。图4是本发明稳像前后峰值信噪比的对比图。
具体实施例方式下面结合附图，对本发明做进一步的描述。步骤一、选取参考帧、读入当前帧。为了消除由于摄像系统的抖动造成图像的偏移和旋转，实现每帧图像在摄像系统上的稳定，需要从摄像系统正在进行拍摄的视频图像中选取一帧平稳的图像，将其作为稳 像处理中平移和旋转的参考帧。将正在进行拍摄的视频图像序列按前后顺序一幅一幅地读 入到稳像系统中，作为待稳像的当前帧。步骤二、图像二值化。在航海过程的视频图像中大海和天空占据绝大部分面积，并且大海的灰度和天空 的灰度存在比较明显的差异，采用图像二值化的方法，增强大海和天空的灰度差别，需要找 到一个临界值作为二值化阈值。2a)求二值化阈值。稳像系统分别将每帧图像中所有像素点求和，再将该和值除以 总像素的个数，得到的图像平均灰度值即为该帧图像的二值化阈值。2b) 二值化。参考帧二值化将步骤一中选取的参考帧每一点的像素灰度值与步骤2a)中求得 的二值化阈值进行比较，若该点的像素值大于或等于阈值，则将该点的像素值置为1，否则， 将该点的像素值置为0，将所有像素点比较后得到的结果，按步骤一中选取的参考帧像素点 的顺序，构成所需的参考帧二值化图像。当前帧二值化将步骤一中读入的当前帧也按上述处理参考帧的方法进行二值化 处理，得到所需的当前帧二值化图像。步骤三、边缘检测。在视频图像上大海和天空的分界线就是海天线，经过步骤二成功获得的参考帧和 当前帧二值化图像使其显示的海天线更加清晰。在二值化图像中，大海所有像素点的像素 值均为0即为黑色，天空所有像素点的像素值均为1即为白色，所以大海和天空的分界线非 常明显，使提取海天线更加容易。为了提取海天线，稳像系统利用图像处理中常用的SObel 算子对步骤二中参考帧和当前帧的二值化图像进行边缘检测，得到帧图像中含有海天线的 所有边缘轮廓。步骤四、提取不连续的海天线。由于步骤三检测得到的边缘轮廓图像中，边缘线并不只有海天线，还检测出了许 多来自其他自然景物或者舰船的边缘轮廓，而这些轮廓大部分都是曲线，或者无用的短线 段，稳像系统利用图像处理中常用的Hough变换提取直线的方法，将其中不连续的海天线 提取出来。步骤五、拟合参考帧、当前帧海天线。由于步骤四中提取出来的海天线不是连续的，无法得到其直线方程，所以稳像系 统利用常用的最小二乘数学方法，将不连续的海天线上所有的坐标点拟合成为连续的特征 直线，并输出拟合后的参考帧、当前帧海天线，便于后面对其进行直线方程参数的求解。
步骤六、水平投影参考帧、当前帧海天线。由于海天线只存在垂直方向上的偏移，将步骤五中输出的参考帧、当前帧海天线 进行水平投影，而拟合后的参考帧和当前帧海天线的长度并不相同，所以只需选取部分海 天线进行投影。在参考帧中选取海天线横坐标相同的点进行水平投影，对在坐标轴上得到的所有 投影点纵坐标值进行求和，再将该和值除以投影点的总个数，得到参考帧海天线的平均坐 标值。按求解参考帧海天线平均坐标值的步骤，对当前帧海天线的平均坐标值进行求解。
步骤七、求解直线方程。步骤五输出的参考帧与当前帧海天线的存在一定量的角度差值，该差值可以通过 偏转角与特征直线参数之间的对应关系得到，所以在参考帧、当前帧海天线上任意取3点， 假设这3点的横纵坐标分别为(xl，yl)、(x2, y2)和(x3, y3)，分别将这3点代入直线方程 ax+by+c = 0，方程联立求解得到参考帧直线方程参数am、bm、cm，当前帧直线方程参数an、bn、
Cn°步骤八、计算平移量。为了得到步骤五输出的参考帧与当前帧海天线在垂直方向的偏移量，将步骤六得 到参考帧和当前帧的平均坐标值相减，所得到的差值就是海天线在垂直方向上的平移量 Ay。步骤九、求偏转角。为了得到步骤五输出的参考帧与当前帧海天线之间的角度差，需要通过偏转角与 特征直线参数之间的对应关系来求得。由步骤八得到的参考帧特征直线的直线方程为afflxffl+bfflyffl+cffl = 0(公式 1)当前帧特征直线的直线方程为anxn+bnyn+cn = 0(公式 2)由公式1和公式2经过变换得到偏转角Δ θ与特征直线参数am、bm、an、bn之间的 对应关系
权利要求
1.一种基于特征直线的船载摄像系统电子稳像方法，包括如下步骤(1)选取参考帧、读入当前帧，对正在进行拍摄的视频图像，从其中选取一帧平稳的图 像作为参考帧，依次读入正在进行拍摄的视频图像序列作为当前帧；(2)图像二值化2a)分别将每帧中所有像素点求和，将该和值除以总像素的个数得到的图像平均灰度 值即为该帧图像的二值化阈值；2b)将步骤(1)中选取的参考帧和当前帧每一点的像素与步骤2a)中获取的阈值进行 比较，所有像素点比较后得到的结果构成二值化图像；(3)边缘检测，对步骤(2)得到的参考帧和当前帧二值图像进行sobel算子边缘检测， 得到参考帧和当前帧二值图像的边缘检测图像；(4)提取不连续的海天线，利用Hough变换提取出步骤(3)的边缘检测图像中不连续的 海天线；(5)拟合参考帧、当前帧海天线，采用最小二乘法将步骤(4)中提取出来的不连续海天 线拟合成连续的特征直线，输出拟合好的参考帧、当前帧海天线；(6)水平投影参考帧、当前帧海天线，将步骤(5)输出的参考帧、当前帧海天线分别进 行水平投影，在坐标轴上得到所有点的纵坐标，再将所有点的纵坐标求和，将该和值除以投 影点的总个数，得到参考帧、当前帧海天线的平均坐标值；(7)求解直线方程，分别在步骤(5)输出的参考帧、当前帧海天线上任意取3点，将该3 点的横纵坐标对应的χ、y数值分别代入直线方程ax+by+c = O中，方程联立求解得到参考 帧、当前帧的海天线直线方程参数a、b、c ；(8)计算平移量，将步骤(6)得到的参考帧海天线的平均坐标值与当前帧海天线的平 均坐标值相减，得到垂直方向的平移量Ay ；(9)求偏转角，将由步骤(7)得到的参考帧海天线的直线方程参数和当前帧海天线的 直线方程参数代入旋转角和特征直线参数之间的对应关系式，得到偏转角△ θ ；(10)平移并旋转，对步骤(1)的当前帧图像垂直平移Ay数值，将平移后的图像再旋转 Δ θ，得到稳像图像并输出。
2.根据权利要求1所述的基于特征直线的船载摄像系统电子稳像方法，其特征在于 所述步骤2b) 二值化阈值与所有像素点比较时，若该点的像素值大于或等于阈值时，则该 点的像素值置为1，否则，该点的像素值置为O。
3.根据权利要求1所述的基于特征直线的船载摄像系统电子稳像方法，其特征在于 所述步骤(6)中海天线的水平投影是选取参考帧和当前帧海天线上横坐标相同的点进行 水平投影。
4.根据权利要求1所述的基于特征直线的船载摄像系统电子稳像方法，其特征在于 所述步骤(9)中的对应关系式是指
全文摘要
本发明公开了一种图像处理技术领域的基于特征直线的船载摄像系统电子稳像方法，解决了船载摄像系统在舰船航行过程中的视频图像失稳问题。具体步骤为(1)选取参考帧和读入当前帧；(2)图像二值化；(3)用sobel算子对二值化图像进行边缘检测；(4)用hough变换将图像中不连续的海天线提取出来，再利用最小二乘法将其拟合成连续的特征直线；(5)对特征直线进行水平投影；(6)求解直线方程；(7)计算偏移量Δy；(8)计算偏转量Δθ；(9)将当前帧垂直平移Δy、旋转Δθ实现稳像。本发明充分利用了航海过程中始终存在海天线这一特征，减少了过多的特征选取和特征匹配，具有良好的实时性、易于实现、计算复杂度低等特点。
文档编号H04N5/21GK102006398SQ20101052802
公开日2011年4月6日 申请日期2010年10月29日 优先权日2010年10月29日
发明者刘洋, 初秀琴, 卢珊, 李伟哲, 秦俊, 胡乐, 范振军 申请人:西安电子科技大学