一种知识约束的桥梁目标图像气动光学效应校正方法
【专利摘要】本发明公开了一种知识约束的桥梁目标图像气动光学效应校正方法，该方法在地面建立桥梁目标与背景区域的空间约束关系知识库，在飞行前进行地面准备，利用空间约束关系知识库，建立多尺度模板，对于高速飞行过程中拍摄的图像，先进行气动光学效应初校正，再提取感兴趣桥梁区，然后对感兴趣桥梁目标区精校正，最后将校正后的感兴趣桥梁目标区和背景区合并，得到实时遥感飞行处理后的图像。本发明建立空间约束关系知识库，对高超声速下拍摄的桥梁实时图像，利用约束知识，提取感兴趣桥梁区进行气动光学效应精校正，既保证了桥梁目标的校正精度，又大大提高了校正的实时性。
【专利说明】一种知识约束的桥梁目标图像气动光学效应校正方法
【技术领域】
[0001]本发明属于航天科学技术与数字图像处理技术的交叉领域，具体涉及一种基于知识约束的机场图像智能校正方法，应用于高超声速飞行器的导航、遥感与探测。
【背景技术】
[0002]高超音速飞行器遥感、探测、导航和制导是二十一世纪航空航天事业发展的一个重要领域，在未来的高科技和国民经济发展中具有重要的科学意义和应用价值。以高超音速飞行器为平台的遥感、探测、导航和制导面临气动光学效应的挑战。
[0003]气动光学是研究高速绕流对高速飞行器成像探测的影响的一门学科。带有光学成像探测系统的高速飞行器在大气层内飞行时，光学头罩与来流之间形成复杂的流场，对光学成像探测系统造成除热辐射外的光学波前传输畸变或传输干扰，引起被观测对象图像的偏移、抖动、模糊，这种效应就称为气动光学传输效应。这种效应降低了成像探测系统的效能，导致遥感、探测、导航和制导功能的丧失。因此需要发明新的数字处理技术，改善和恢复成像的品质，这就是图像恢复和校正。
[0004]飞行器的高超声速飞行以及成像系统的高帧频特性，对于校正和识别算法的运算效率和性能提出了更高的要求。盲反卷积算法多是针对全图进行处理，不仅对于非目标区域的校正浪费了很多时间，影响算法的实时性，而且非目标区间特性(如平滑性等)会最终影响到目标区域校正。而知识约束的图像校正方法用图像中提取的知识约束来指导图像校正，对于目标区域(桥梁)精校正，而对于非目标区域粗校正，由粗到细递推的处理，达到可疑目标区域(感兴趣区)实时、准确校正，可大幅提高校正算法效率和精度。
【发明内容】
[0005]本发明提供了一种知识约束的桥梁目标气动光学效应校正方法，能在高超声速飞行条件下，既保证桥梁目标校正的精度，又大大提高校正的实时性。
[0006]本发明提供的一种知识约束的桥梁目标图像气动光学效应校正方法，其特征在于，该方法包括下述步骤:
[0007]A建立空间约束关系:
[0008]{图像I桥梁；水域；陆地；桥梁横跨水域，即桥身纵向为水域，横向延伸到陆地上}，以此作为约束知识；
[0009]B多尺度模板的建立过程为:
[0010](BI)从google获取相应桥梁地域的由高空到低空的可见光图像，并分别记录各尺度下桥梁目标区在图中的位置；
[0011](B2)将由高空到低空分为三个区间，每个区间获取一幅可见光图像，小尺度、中尺度、大尺度模板的行数和列数与相应区间的可见光图像的行数和列数相同；
[0012]C实时遥感飞行处理:
[0013](Cl)气动光学效应初校正[0014]采用Hu矩约束下的最大似然估计算法，对由高到低拍摄的各尺度的实时图像进行初校正；
[0015](C2)提取感兴趣桥梁区
[0016]在实时遥感飞行中，对于初校正后的不同尺度的图像，分别与相应的尺度的模板匹配，提取感兴趣桥梁目标区；
[0017](C3)感兴趣桥梁目标区精校正
[0018]对感兴趣桥梁目标区采用Hu矩约束下的最大似然估计算法进行气动光学效应精校正；
[0019](C4)将校正后的感兴趣桥梁目标区和背景区合并，得到实时遥感飞行处理后的图像。
[0020]本发明针对高速飞行过程中，对所获取图像的校正速率相对较低，缺乏实时性、高效性，提出了一种知识约束的桥梁目标气动光学效应校正方法，本发明的技术效果体现在:
[0021]①本发明在地面建立桥梁目标与背景区域的空间约束关系知识库，如桥梁横跨水域，即桥身纵向为水域，横向延伸到陆地上，桥梁、陆地与水域灰度有明显差异，并且水域灰度均匀。
[0022]②本发明在飞行前进行地面准备，利用空间约束关系知识库，建立多尺度模板，对于多尺度的实时图像，采用相应尺度的模板匹配，使得在高速飞行过程中，能够实时、高效地提取感兴趣桥梁目标区。
[0023]③本发明提出的基于知识约束的校正方法，对于高速飞行过程中拍摄的图像只对感兴趣的桥梁目标区进行气动光学效应精校正，，大大缩减的校正时间，很好的提高了高超声速飞行条件下桥梁目标校正的实时性。
[0024]本发明建立空间约束关系知识库，对闻超声速下拍摄的桥梁实时图像，利用约束知识，提取感兴趣桥梁区进行气动光学效应精校正，既保证了桥梁目标的校正精度，又大大提高了校正的实时性。
【专利附图】
【附图说明】
[0025]图1是本发明方法的流程图；
[0026]图2是从google获取的桥梁地域的可见光图像；
[0027]图3 (a)、图3(b)、图3(c)是获取的相应桥梁地域的由高空到低空的可见光图像，；
[0028]图4(a)、图4(b)、图4(c)是在由高空到低空的可见光图像中记录的感兴趣桥梁区；
[0029]图5 (a)、图5(b)、图5(c)是分别建立的小尺度、中尺度、大尺度模板；
[0030]图6 (a)是中尺度实时图像，图6 (b)是大尺度实时图像；
[0031]图7是气动光学效应初校正后的大尺度图像Pre_recover ；
[0032]图8显示了匹配后模板在图像Pre_recover中的位置；
[0033]图9显示了感兴趣桥梁目标区在图像Pre_recover中的位置；
[0034]图10是感兴趣桥梁目标区；
[0035]图11是气动光学效应精校正后的感兴趣桥梁目标区；[0036]图12是校正后的感兴趣桥梁目标区和背景区合并后的图像。
【具体实施方式】
[0037]下面结合附图对本发明的【具体实施方式】作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0038]如图1所示，本发明方法主要包括建立空间约束关系、地面准备和实时遥感飞行处理；
[0039]A建立空间约束关系
[0040]从google获取相应的桥梁地域的可见光图像，如图2。可以分析得出下视桥梁图像典型的场景由桥梁、水域、陆地构成。
[0041]桥梁表达为:
[0042]{桥梁I桥梁长宽比P，Pmin〈P〈Pmax (Pmin为可能的最小长宽比，Pmax为可能的最大长宽比)；平行邻域为水域；垂直邻域为陆域；桥梁通常较亮};
[0043]水域表达为:
[0044]{水域I平均灰度值G〈H，H是估计的G的上限值(水域通常较暗);水域被桥梁截断；面积sw, swmin〈sw〈SWmax (SWmin为可能的最小面积，SWmax为可能的最大面积)}；
[0045]陆地表达为:
[0046]{陆地I陆地由水域隔断，由桥梁连接；陆地灰度不均匀};
[0047]整体场景图像表达为:
[0048]{图像I桥梁；水域；陆地；桥梁横跨水域，即桥身纵向为水域，横向延伸到陆地上}，以此作为约束知识。
[0049]B地面准备过程，具体包括下述步骤:
[0050](I)从google获取相应桥梁地域的由高空到低空的可见光图像，依次如图3(a)、图3 (b)、图3 (c)所示，并分别记录各尺度下桥梁目标区在图中的位置，为表述方便，桥梁目标区的起点统一记为S (xs, ys),终点统一记为E (xe, ye),依次如图4 (a)、图4 (b)、图4 (C)所
/Jn ο
[0051](2)建立多尺度模板
[0052]将由高空到分低空为三个区间，如按5km以上，2_5km，2km以下，每个区间所获得的一个可见光图像，小尺度、中尺度、大尺度模板的行数和列数与相应的由高空到低空的可见光图像的行数和列数相同。
[0053]依据约束知识，建立的模板由桥梁、陆地、水域这三块区域构成，各区域的形状与相应可见光图像中三块区域的形状相同，记录各尺度模板中，桥梁目标区的起点和终点。
[0054]在各尺度模板中，桥梁目标区的起点和终点相应的也统一记为s(xs，ys)和E (xe, ye)。
[0055]根据灰度的差异，设置模板中桥梁、陆地和水域的灰度值。通过分析桥梁、陆地、水域的灰度特性，如这三块区域各自灰度的高低以及均匀性等，通常将各模板中桥梁目标的灰度设为255，陆地背景的灰度设为128，水域背景的灰度设为O。
[0056]图5 (a)、图5(b)、图5(c)分别是建立的小尺度、中尺度、大尺度模板。[0057]C实时遥感飞行处理，具体包括下述步骤:
[0058](I)气动光学效应初校正
[0059]对由高到低拍摄的低尺度、中尺度和大尺度的实时图像进行初校正。
[0060]图6(a)和图6(b)是拍摄的中尺度和大尺度的实时图像。
[0061]下面以实时图像为例予以说明:
[0062]对实时图像Blur，采用Hu矩约束下的最大似然估计算法进行初校正，得到图像Pre—recover。
[0063]Sf(X)为目标图像在坐标X处强度，h(x)为点扩展函数在坐标X处强度，g(x)为退化图像在坐标X处强度，η为迭代次数,?表示卷积。目标图像f的迭代估计式为
【权利要求】
1.一种知识约束的桥梁目标图像气动光学效应校正方法，其特征在于，该方法包括下述步骤: A建立空间约束关系: {图像I桥梁；水域；陆地；桥梁横跨水域，即桥身纵向为水域，横向延伸到陆地上}，以此作为约束知识； B多尺度模板的建立过程为: (BI)从google获取相应桥梁地域的由高空到低空的可见光图像，并分别记录各尺度下桥梁目标区在图中的位置； (B2)将由高空到低空分为三个区间，每个区间获取一幅可见光图像，小尺度、中尺度、大尺度模板的行数和列数与相应区间的可见光图像的行数和列数相同； C实时遥感飞行处理: (Cl)气动光学效应初校正 采用Hu矩约束下的最大似然估计算法，对由高到低拍摄的各尺度的实时图像进行初校正； (C2)提取感兴趣桥梁区 在实时遥感飞行中，对于初校正后的不同尺度的图像，分别与相应的尺度的模板匹配，提取感兴趣桥梁目标区； (C3)感兴趣桥梁目标区精校正` 对感兴趣桥梁目标区采用Hu矩约束下的最大似然估计算法进行气动光学效应精校正； (C4)将校正后的感兴趣桥梁目标区和背景区合并，得到实时遥感飞行处理后的图像。
2.根据权利要求1所述的知识约束的桥梁目标图像气动光学效应校正方法，其特征在于，步骤(Cl)的具体实现过程为: ①设定迭代的参数 退化图像为实时图像，记为Blur，目标图像的初值为Blur，设定初始点扩展函数，以及矩阵的每个元素的值，最大迭代次数η.; ②根据下述公式II对点扩展函数h进行迭代:
3.根据权利要求1所述的知识约束的桥梁目标图像气动光学效应校正方法，其特征在于，步骤(C2)的具体实现过程为: 将图像Pre_recover与对应尺度模板匹配,设图像Pre_recover的大小为mpXnp,对应尺度模板的大小为HitlXntl ； 求Pre_recover中所有大小为HiciXntl的子数组A与对应尺度模板数组B的相关系数
4.根据权利要求1所述的知识约束的桥梁目标图像气动光学效应校正方法，其特征在于，步骤(C3)的具体实现过程为: 迭代过程中，退化图像为Bridge，目标图像初值为Bridge，设定初始点扩展函数及矩阵的每个元素的值，以及最大迭代次数nmax。
5.根据权利要求4所述的知识约束的桥梁目标图像气动光学效应校正方法，初始点扩展函数为31*31矩阵,矩阵的每个元素的值为I / (31*31)。
【文档编号】G06T5/00GK103793884SQ201310753890
【公开日】2014年5月14日 申请日期:2013年12月31日 优先权日:2013年12月31日
【发明者】张天序, 何力, 王正, 刘立, 郑亚云, 陈一梦, 陈昌胜, 凡速飞 申请人:华中科技大学