一种机载视觉增强综合光电信息采集及处理系统的制作方法
【专利摘要】一种机载视觉增强综合光电信息采集及处理系统。其包括光电信号采集模块和图像处理模块。光电信号采集模块包括光电信号采集模块、图像处理模块和声光告警提示装置，图像处理模块包括多个图像采集子模块、图像配准模块、彩色图像生成信息处理模块和智能处理模块。本发明能够融合多个波段及其偏振、多光谱特性，以获取多维度信息，使飞行员能在全黑暗、烟雾、下雨、低云层和大雾情况下看到清晰的图像，由此快速地识别出机场位置和确定飞机相对姿态，同时能对危险情况提前预警，在恶劣气象环境下为飞行员赢得宝贵的反应时间，从而可避免飞机着陆阶段发生灾难性事故。
【专利说明】
一种机载视觉増强综合光电信息采集及处理系统
技术领域
[0001]本发明属于光电信息处理技术领域，是一种机载视觉增强综合光电信息采集及处理系统。
【背景技术】
[0002]近年来，随着经济的快速发展，空中运输行业蓬勃发展，但是随之而来的是日渐突出的安全问题，各类事故明显增多，由大雾、雨雪、夜间等复杂气象环境引起的事故率呈上升趋势，其中着陆段事故最为频繁，据统计该事故占整个事故率的36%。由于着陆时高度低，因此留给飞行员发现与处理问题的时间很短，尤其在气象环境恶劣、能见度不足两千米时或云高低于两百米时，问题更为明显。所以各国都在争相研发相关机载设备，这样即使在比较恶劣的气象环境下，也能较好地提取出机场的位置，以判断着陆方向。
[0003]荷兰TNO研究所研究开发了一种自然感实时处理系统:可见光/热红外彩色成像系统VIPER SYSTEM，能够获得比较自然的彩色图像。VIPER SYSTEM由平行放置的红外微测辐射热计FLIR AlO和数字像增强ICXD等组成。入射辐射经半透半反镜可实现可见光/近红外透射和热红外反射。加拿大GSCI公司开发的微光/热红外融合夜视成像系统DSQ-20“QUADR0”，采用像增强器和长波非制冷热像组件(探测器阵列规模160 X 120)，并配备近红外激光照明设备，可手持或作为头盔使用。该系统采用3V锂电池，可连续供电4h，带电池重量为850h，尺寸为165mm X I 1mm X 95mm；机身采用航空铝材。图像输出为VGA格式(640 X480)，可选择热像、微光图像单独显示和融合显示模式。但目前尚未发现有关机载全天候视觉增强光电信息采集及处理系统的设计方案。
【发明内容】
[0004]为了解决上述问题，本发明提供一种机载视觉增强综合光电信息采集及处理系统。
[0005]为了达到上述目的，本发明提供的机载视觉增强综合光电信息采集及处理系统包括:光电信号采集模块、图像处理模块和终端显示与声光告警提示装置;其中光电信号采集模块包括长波红外图像采集系统、近红外图像采集系统和可见光图像采集系统；图像处理模块包括多个图像采集子模块、彩色图像生成信息处理模块、智能处理模块和图像配准模块;长波红外图像采集系统、近红外图像采集系统和可见光图像采集系统分别通过一个图像采集子模块与图像配准模块相连接，图像配准模块分别与彩色图像生成信息处理模块和智能处理模块连接，智能处理模块与彩色图像生成信息处理模块连接，彩色图像生成信息处理模块和终端显示与声光告警提示装置连接。
[0006]所述的长波红外图像采集系统是由长波红外光学系统、相应的传感器及电路组件构成，主要用于采集长波红外图像;其中长波红外光学系统是全谱段长波红外光学系统、偏振长波红外成像系统或者长波红外多光谱成像系统，并加装偏振部件或滤光部件，可实现具有明显光学特性的机场跑道区域成像区分，主要适用于夜间或雾霾天气环境下机场环境成像。
[0007]所述的近红外图像采集系统主要由近红外光学系统、相应的传感器及电路组件构成，主要用于采集近红外图像;其中近红外光学系统是全谱段成像系统、偏振近红外成像系统或近红外多光谱成像系统，并加装偏振部件或滤光部件，可实现具有明显光学特性的机场跑道区域成像区分，主要用于高温高湿、雨天、夜间星光条件下机场环境成像。
[0008]所述的可见光图像采集系统主要由可见光光学系统、相应的传感器及电路组件构成，主要用于采集可见光图像，用于日间能见度较好时机场环境成像。
[0009]所述的图像采集子模块由图像数据传输、图像处理电路组成，用于将其前端的光电信号采集模块采集的数字化图像信息转存到图像处理模块中，以便于后续处理。
[0010]所述的光电信号采集模块安装于机腹，实现图像信息采集；图像处理模块安装于机内，比如设备舱，实现图像数据处理;终端显示与声光告警提示装置安装于飞机驾驶舱，实现图像数据处理结果显示、危险情况报警。
[0011]本发明提供的机载视觉增强综合光电信息采集及处理系统能够融合多个波段及其偏振、多光谱特性，以获取多维度信息，使飞行员能在全黑暗、烟雾、下雨、低云层和大雾情况下看到清晰的图像，由此快速地识别出机场位置和确定飞机相对姿态，同时能对危险情况提前预警，在恶劣气象环境下为飞行员赢得宝贵的反应时间，从而可避免飞机着陆阶段发生灾难性事故。
【附图说明】
[0012]图1为本发明提供的机载视觉增强综合光电信息采集及处理系统构成示意图。
【具体实施方式】
[0013]下面结合附图和具体实施例对本发明提供的机载视觉增强综合光电信息采集及处理系统进行详细说明。
[0014]如图1所示，本发明提供的机载视觉增强综合光电信息采集及处理系统包括光电信号采集模块、图像处理模块和终端显示与声光告警提示装置7;其中光电信号采集模块包括长波红外图像采集系统1、近红外图像采集系统2和可见光图像采集系统3;图像处理模块包括多个图像采集子模块4、彩色图像生成信息处理模块5、智能处理模块6和图像配准模块8;长波红外图像采集系统1、近红外图像采集系统2和可见光图像采集系统3分别通过一个图像采集子模块4与图像配准模块8相连接，图像配准模块8分别与彩色图像生成信息处理模块5和智能处理模块6连接，智能处理模块6与彩色图像生成信息处理模块5连接，彩色图像生成信息处理模块5和终端显示与声光告警提示装置7连接。
[0015]长波红外图像采集系统I是由长波红外光学系统、相应的传感器及电路组件构成，主要用于采集长波红外图像;其中长波红外光学系统是全谱段长波红外光学系统、偏振长波红外成像系统或者长波红外多光谱成像系统，并加装偏振部件或滤光部件，可实现具有明显光学特性的机场跑道区域成像区分，主要适用于夜间或雾霾天气环境下机场环境成像。
[0016]近红外图像采集系统2主要由近红外光学系统、相应的传感器及电路组件构成，主要用于采集近红外图像;其中近红外光学系统是全谱段成像系统、偏振近红外成像系统或近红外多光谱成像系统，并加装偏振部件或滤光部件，可实现具有明显光学特性的机场跑道区域成像区分，主要用于高温高湿、雨天、夜间星光条件下机场环境成像。
[0017]可见光图像采集系统3主要由可见光光学系统、相应的传感器及电路组件构成，主要用于采集可见光图像，用于日间能见度较好时机场环境成像。
[0018]终端显示与声光告警提示装置7用于将伪彩及跑道上移动物体加框提示后以图像的方式展示给终端飞行员，并在出现潜在危险时发出声光报警信号。
[0019]图像采集子模块4由图像数据传输、图像处理电路组成，用于将其前端的光电信号采集模块采集的数字化图像信息转存到图像处理模块8中，以便于后续处理。
[0020]由于光电信号采集模块的光轴偏差、传感器规格、气象条件等原因会导致不同通道上采集到的图像空间位置点不一一对应，因此需要利用图像配准模块8完成图像对准，以避免后续融合处理时出现较大的误差。
[0021]彩色图像生成信息处理模块5用于完成图像融合、颜色迀移着色等功能，同时显示人体检测结果提醒标志。
[0022]智能处理模块6主要有以下6种功能:
[0023]I)基于多通道图像信息融合:将经过图像配准模块8配准后的长波红外图像、近红外图像和可见光图像信息融合在一起，以便准确地描述所监测到的跑道情况；
[0024]2)机场及跑道检测:主要检测机场情况以及跑道的具体位置，并将这种信息提供给飞行员，以便飞行员选择相应的着陆方案。
[0025]3)跑道障碍物检测:检测跑道上的障碍物，避免因为与障碍物相撞而影响飞机安全着陆。
[0026]4)姿态情况检测:与飞机导航系统交联，计算飞机的实时姿态，用以判断采集的图像角度。
[0027]5)预留计算与存储空间:为完成上述计算过程，还需要预留出计算与存储所需的空间。
[0028]所述的光电信号采集模块安装于机腹，实现图像信息采集；图像处理模块安装于机内，比如设备舱，实现图像数据处理;终端显示与声光告警提示装置7安装于飞机驾驶舱，实现图像数据处理结果显示、危险情况报警。
[0029]现将本发明提供的机载视觉增强综合光电信息采集及处理系统工作原理阐述如下:
[0030]利用长波红外图像采集系统I采集夜间或雾霾天气环境下机场环境图像;利用近红外图像采集系统2采集高温高湿、雨天、夜间星光条件下机场环境图像;利用可见光图像采集系统3采集日间机场环境图像，然后经各自的图像采集子模块4传送给图像配准模块8，之后再传送给彩色图像生成信息处理模块5和智能处理模块6，由彩色图像生成信息处理模块5将上述三种图像融合在一起，结合智能处理模块6的图像信息融合、机场及跑道检测、跑道障碍物检测和姿态检测等结果形成彩色视频图像，最终在终端显示与声光告警提示装置7中进行显示，若发现移动目标进入着陆跑道、着陆偏移、机身姿态异常等情况，发出相应的声光报警信号，以对飞行员进行提示或预警。
【主权项】
1.一种机载视觉增强综合光电信息采集及处理系统，其特征在于:所述的机载视觉增强综合光电信息采集及处理系统包括:光电信号采集模块、图像处理模块和终端显示与声光告警提示装置(7);其中光电信号采集模块包括长波红外图像采集系统(1)、近红外图像采集系统(2)和可见光图像采集系统(3);图像处理模块包括多个图像采集子模块(4)、彩色图像生成信息处理模块(5)、智能处理模块(6)和图像配准模块(8);长波红外图像采集系统(1)、近红外图像采集系统(2)和可见光图像采集系统(3)分别通过一个图像采集子模块(4)与图像配准模块(8)相连接，图像配准模块(8)分别与彩色图像生成信息处理模块(5)和智能处理模块(6)连接，智能处理模块(6)与彩色图像生成信息处理模块(5)连接，彩色图像生成信息处理模块(5)和终端显示与声光告警提示装置(7)连接。2.根据权利要求1所述的机载视觉增强综合光电信息采集及处理系统，其特征在于:所述的长波红外图像采集系统(I)是由长波红外光学系统、相应的传感器及电路组件构成，主要用于采集长波红外图像;其中长波红外光学系统是全谱段长波红外光学系统、偏振长波红外成像系统或者长波红外多光谱成像系统，并加装偏振部件或滤光部件，可实现具有明显光学特性的机场跑道区域成像区分，主要适用于夜间或雾霾天气环境下机场环境成像。3.根据权利要求1所述的机载视觉增强综合光电信息采集及处理系统，其特征在于:所述的近红外图像采集系统(2)主要由近红外光学系统、相应的传感器及电路组件构成，主要用于采集近红外图像;其中近红外光学系统是全谱段成像系统、偏振近红外成像系统或近红外多光谱成像系统，并加装偏振部件或滤光部件，可实现具有明显光学特性的机场跑道区域成像区分，主要用于高温高湿、雨天、夜间星光条件下机场环境成像。4.根据权利要求1所述的机载视觉增强综合光电信息采集及处理系统，其特征在于:所述的可见光图像采集系统(3)主要由可见光光学系统、相应的传感器及电路组件构成，主要用于采集可见光图像，用于日间能见度较好时机场环境成像。5.根据权利要求1所述的机载视觉增强综合光电信息采集及处理系统，其特征在于:所述的图像采集子模块(4)由图像数据传输、图像处理电路组成，用于将其前端的光电信号采集模块采集的数字化图像信息转存到图像处理模块(8)中，以便于后续处理。6.根据权利要求1所述的机载视觉增强综合光电信息采集及处理系统，其特征在于:所述的光电信号采集模块安装于机腹，实现图像信息采集;图像处理模块安装于机内，比如设备舱，实现图像数据处理;终端显示与声光告警提示装置(7)安装于飞机驾驶舱，实现图像数据处理结果显示、危险情况报警。
【文档编号】G06T7/00GK106056566SQ201610401878
【公开日】2016年10月26日
【申请日】2016年6月2日
【发明人】贾桂敏, 张世海, 卢薇冰, 杨金锋
【申请人】中国民航大学