一种机载光电吊舱用图像融合方法
【技术领域】
[0001] 本发明涉及一种机载光电吊舱用图像融合方法，可以实现连续变焦红外、可见光 图像的实时图像融合输出，从而在一路视频中同时获取目标的红外、可见光两种特征信息。
【背景技术】
[0002] 光电吊舱在工作过程中通过一路视频测控链路将视频信息传送给地面操作人员， 操作人员根据视频信息进行不同操作，实现目标搜索、跟踪、定位等操作。多载荷光电吊舱 通常装备了红外、可见光成像系统，但是测控链路在同一时间只能传输单路视频给操作人 员，如果需要观测另外一路视频，则需要执行视频切换指令，这给具体应用带来很大不便。 首先，单路视频信息有限，导致目标识别准确率下降，同时，切换过程中容易造成目标丢失， 需要重新人工搜索目标，影响工作效率。
【发明内容】
[0003] 本发明解决的技术问题是：克服现有技术的不足，提供了一种机载光电吊舱用图 像融合方法，将吊舱内可见光成像系统与红外成像系统关联起来，将目标的红外图像特征 与可见光图像特征融合于一路图像视频中输出。最大程度满足了光电吊舱对全天候昼夜侦 察的需求。
[0004] 本发明的技术解决方案为：
[0005] 一种机载光电吊舱用图像融合方法，所述机载光电吊舱中安装有可见光成像系统 与红外成像系统，所述图像融合方法步骤如下：
[0006] (1)光轴标校：将可见光成像系统的光轴与红外成像系统的光轴调整为平行状 态；
[0007] (2)以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像系统的相 应焦距值，令可见光成像系统与红外成像系统联动，得到可见光成像系统与红外成像系统 各自的图像；
[0008] (3)图像配准：通过可见光成像系统的焦距值与红外成像系统的焦距值计算各自 的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平 移补偿；
[0009] (4)将图像配准之后的可见光成像系统的图像与红外成像系统的图像进行图像融 合。
[0010] 所述步骤（1)将可见光成像系统的光轴与红外成像系统的光轴调整为平行状态， 具体通过如下步骤进行：
[0011] (2. 1)寻取500m?3000m范围内的矩形边界的目标作为标定目标，所述标定目标 的边界均匀；
[0012] (2. 2)将可见光成像系统中的可见光十字靶标对准所述标定目标的直角边界，作 为标定基准；
[0013] (2. 3)切换至红外成像系统，读取红外成像系统中的红外十字靶标的偏移量，所述 红外十字靶标的坐标偏移量是指：红外十字靶标靶心与目标纵向边界之间的偏移像素值X 和红外十字靶标靶心与目标横向边界之间偏移像素值Y;
[0014] (2. 4)根据步骤（2. 3)得到的偏移像素值计算红外成像系统与可见光成像系统之 间的偏移角度值C;
[0015] (2. 5)通过公式V=tanC?H计算调整所述偏移角度值C所需添加的调整垫片的 厚度V，其中，H是相机结构在安装板上的两个安装孔之间的距离；
[0016] (2. 6)根据步骤（2. 5)中计算得到的调整垫片的厚度V为红外成像系统添加调整 垫片，调整红外成像系统的光轴角度，使得可见光成像系统的光轴与红外成像系统的光轴 平行。
[0017] 所述步骤（2)以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像 系统的相应焦距值，通过如下方式实现：
[0018]
【主权项】
1. 一种机载光电吊舱用图像融合方法，其特征在于：所述机载光电吊舱中安装有可见 光成像系统与红外成像系统，所述图像融合方法步骤如下： (1) 光轴标校：将可见光成像系统的光轴与红外成像系统的光轴调整为平行状态； (2) 以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像系统的相应焦 距值，令可见光成像系统与红外成像系统联动，得到可见光成像系统与红外成像系统各自 的图像； (3) 图像配准：通过可见光成像系统的焦距值与红外成像系统的焦距值计算各自的光 学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平移补 偿； (4) 将图像配准之后的可见光成像系统的图像与红外成像系统的图像进行图像融合。
2. 根据权利要求1所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤（1) 将可见光成像系统的光轴与红外成像系统的光轴调整为平行状态，具体通过如下步骤进 行： (2. 1)寻取500m?3000m范围内的矩形边界的目标作为标定目标，所述标定目标的边 界均匀； (2. 2)将可见光成像系统中的可见光十字靶标对准所述标定目标的直角边界，作为标 定基准； (2. 3)切换至红外成像系统，读取红外成像系统中的红外十字靶标的偏移量，所述红外 十字靶标的坐标偏移量是指：红外十字靶标靶心与目标纵向边界之间的偏移像素值X和红 外十字靶标靶心与目标横向边界之间偏移像素值Y; (2.4)根据步骤（2.3)得到的偏移像素值计算红外成像系统与可见光成像系统之间的 偏移角度值C; (2. 5)通过公式V=tanC?H计算调整所述偏移角度值C所需添加的调整垫片的厚度V，其中，H是相机结构在安装板上的两个安装孔之间的距离； (2. 6)根据步骤（2. 5)中计算得到的调整垫片的厚度V为红外成像系统添加调整垫片， 调整红外成像系统的光轴角度，使得可见光成像系统的光轴与红外成像系统的光轴平行。
3. 根据权利要求1所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤（2) 以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像系统的相应焦距值，通 过如下方式实现：
其中VF为红外成像系统的相应焦距值，IF为可见光成像系统的焦距值，VFmax为红外成 像系统的最大焦距值，VFmin为红外成像系统的最小焦距值，IFmax为可见光成像系统的最大 焦距值，VF^为可见光成像系统的最小焦距值。
4. 根据权利要求1所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤（3) 进行图像配准具体通过如下步骤进行： (4. 1)读取可见光成像系统焦距值f'胃； (4. 2)读取红外成像系统焦距值f'红； (4.3)根据（4.1)中得到的可见光成像系统焦距值f'胃与（4.2)中得到的红外成像系 统焦距值f't，并通过公式
分别计算可见光成像系统在可见光图像 传感器上的投影像高y'胃与红外成像系统在红外图像传感器上的投影像高y' 则红外成像系统与可见光成像系统成像尺寸比例G为：
:r胃为可知可见光图像传感器像元尺寸，为红外图像传感器像 元尺寸； (4. 4)以可见光图像为基准对红外图像进行G倍的图像缩放； (4. 5)通过可见光成像系统的焦距所处焦距段位置计算偏移像素个数； (4.6)根据（4.5)计算得到的图像所需偏移像素个数对红外成像系统的图像进行平移 补偿。
5.根据权利要求4所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤（4. 5) 通过可见光成像系统的焦距所处焦距段位置计算偏移像素个数具体为： (5. 1)将可见光成像系统的焦距范围均分为10个焦距段； (5.2) 在10个焦距段分隔点处采集可见光成像系统与红外成像系统间相对光轴偏移 量，将采集的偏移量数值及其对应的焦距值，绘制在纵坐标为焦距值，横坐标为偏移量的坐 标系内，在两个相隔采集点间用线性方式做近似拟合，得到焦距-偏移量二维坐标系； (5.3) 根据（5.2)焦距-偏移量二维坐标系计算偏移像素个数。
【专利摘要】一种机载光电吊舱用图像融合方法，包括：(1)将可见光成像系统的光轴与红外成像系统的光轴调整为平行状态；(2)以可见光成像系统的焦距为基准进行联动变焦计算，得到红外成像系统的相应焦距值，(3)通过可见光成像系统的焦距值与红外成像系统的焦距值计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平移补偿；(4)将图像配准之后的可见光成像系统的图像与红外成像系统的图像进行图像融合。本发明将吊舱内可见光成像系统与红外成像系统关联起来，将目标的红外图像特征与可见光图像特征融合于一路图像视频中输出。最大程度满足了光电吊舱对全天候昼夜侦察的需求。
【IPC分类】G06T5-50, G06T7-00
【公开号】CN104574332
【申请号】CN201410827825
【发明人】丁祝顺, 崔嵬, 刘少鹏
【申请人】北京航天控制仪器研究所
【公开日】2015年4月29日
【申请日】2014年12月26日