一种无人机倾斜摄影红外三维成像系统及建模方法
【专利摘要】本发明公开了一种无人机倾斜摄影红外三维成像系统及建模方法，包括：红外载荷单元、机载图传单元、POS单元、地面管理单元和三维建模处理单元；红外载荷单元，用于对地物进行成像,并将图像发送至机载图传单元；POS单元，用于测量该系统的位置和姿态信息；机载图传单元，用于接收红外载荷单元发送的图像以及POS单元测量的位置和姿态信息并发送至地面管理单元；三维建模处理单元，用于根据地面管理单元接收的图像和POS系统的位置和姿态信息，建立三维模型。该系统通过获取待测目标的红外图像以及对该图像进行三维建模，以供技术人员根据该三维模型进行准确的定位和科学决策。
【专利说明】一种无人机倾斜摄影红外三维成像系统及建模方法
【技术领域】
[0001] 本发明涉及测绘【技术领域】，具体涉及一种无人机倾斜摄影红外三维成像系统及建 模方法。
【背景技术】
[0002] 倾斜摄影技术是国际测绘领域近些年发展的一项高新技术，与以往垂直角度拍摄 不同，倾斜摄影在同一个航飞平台上搭载多个传感器，同时从一个垂直，四个倾斜角度采集 影像。通过三维建模技术将多角度倾斜影像和垂直影像构建成地物场景的三维模型，将用 户引入了符合人眼视觉的直观真实场景。
[0003]目前大部分都采用可见光相机成像，并对成像后的结果进行分析，获取三维模型。 而基于该成像技术，对物体的温度变化，对检测火灾火源，可疑目标侦查追踪等都不能做出 准确的预测；对于动物夜间迀徙监测，地震中人员搜救，夜间侦查等情景下不容易发现目标 以及夜间无法侦查等，上述情景下，通过追踪可见光技术均不能使得技术人员根据图像对 待测目标进行分析。
【发明内容】
[0004] 针对现有技术中的缺陷，本发明提供了一种无人机倾斜摄影红外三维成像系统及 建模方法，通过获取待测目标的红外图像以及对该图像进行三维建模，以供技术人员根据 该红外三维模型进行准确的定位和科学决策。
[0005] 第一方面，本发明提供一种无人机倾斜摄影红外三维成像系统，包括：红外载荷单 元、机载图传单元、POS单元、地面管理单元和三维建模处理单元；
[0006] 所述红外载荷单元和所述POS单元均与所述机载图传单元相连，所述机载图传单 元与所述地面管理单元相连，所述地面管理单元与所述三维建模处理单元相连；
[0007] 所述红外载荷单元，用于对地物进行成像，并将图像发送至所述机载图传单元；
[0008] 所述POS单元，用于测量该系统的位置和姿态信息；
[0009] 所述机载图传单元，用于接收所述红外载荷单元发送的图像，并将接收的图像以 及所述POS单元测量的位置和姿态信息发送至地面管理单元；
[0010] 所述地面管理单元，用于接收所述机载图传单元发送的图像和POS系统的位置和 姿态信息；
[0011] 所述三维建模处理单元，用于根据所述地面管理单元接收的图像和POS系统的位 置和姿态信息，建立三维模型。
[0012] 可选的，所述红外载荷单元包括红外相机。
[0013] 可选的，所述红外相机为5个，所述5个红外相机呈马耳他十字形布局排列。
[0014] 可选的，所述红外相机为中波红外相机或者长波红外相机。
[0015] 可选的，所述红外相机为制冷型或非制冷型相机。
[0016] 可选的，所述系统还包括：航飞单元和航空云台单元；
[0017] 所述航飞单元与所述航空云台单元连接；
[0018] 所述航飞单元，用于搭载所述航空云台单元按照预设的路线飞行。
[0019] 可选的，所述航空云台单元与所述红外载荷单元、机载图传单元、POS单元相连。
[0020] 可选的，所述POS单元包括GPS模块和IMU模块；
[0021] 所述GPS模块，用于测量该系统的准确位置信息，所述MU模块，用于测量该系统 的所在位置的三维姿态信息。
[0022] 可选的，所述地面管理单元包括地面接收模块、地面数据恢复模块和地面存储模 块；
[0023] 所述地面接收模块，用于接收机载图传单元发出的电磁波信号；
[0024] 所述地面数据恢复模块，用于将所述地面接收模块接收的电磁波信号恢复为图像 数据；
[0025] 所述地面存储模块，用于存储所述地面数据恢复模块的图像数据。
[0026] 第二方面，本发明还提供了无人机倾斜摄影红外三维成像系统的建模方法，包 括：
[0027] 获取所述地面管理单元的多个图像数据；
[0028] 对所述多个图像数据进行处理；
[0029] 提取处理后的多个图像的特征点，根据所述特征点，将不同图像上的特征点进行 匹配，根据匹配结果获取三维模型。
[0030] 由上述技术方案可知，本发明提供的一种无人机倾斜摄影红外三维成像系统及建 模方法，该系统通过红外相机进行成像，解决了可见光对物体的温度变化，对检测火灾火 源，可疑目标侦查追踪等都不能做出准确的预测；对于动物夜间迀徙监测，地震中人员搜 救，夜间侦查等情景下不容易发现目标以及夜间无法侦查等问题，通过获取待测目标的红 外图像以及对该图像进行三维建模，以供技术人员根据该三维模型进行准确的定位和科学 决策。
【专利附图】
【附图说明】
[0031] 图1为本发明一实施例提供的无人机倾斜摄影红外三维成像系统的结构示意图；
[0032] 图2为本发明一实施例提供的无人机倾斜摄影红外三维成像系统的方法流程图；
[0033] 图3为本发明另一实施例提供的无人机倾斜摄影红外三维成像系统的方法流程 图。
【具体实施方式】
[0034] 下面结合附图，对发明的【具体实施方式】作进一步描述。以下实施例仅用于更加清 楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0035] 图1示出了本发明实施例提供的一种无人机倾斜摄影红外三维成像系统，包括： 红外载荷单元1、机载图传单元2、POS单元3、地面管理单元4和三维建模处理单元5 ;
[0036] 所述红外载荷单元和所述POS单元均与所述机载图传单元相连，所述机载图传单 元与所述地面管理单元相连，所述地面管理单元与所述三维建模处理单元相连；
[0037] 所述红外载荷单元，用于对地物进行成像，并将图像发送至所述机载图传单元；
[0038] 所述POS单元，用于测量该系统的位置和姿态信息；
[0039] 所述机载图传单元，用于接收所述红外载荷单元发送的图像，并将接收的图像以 及所述POS单元测量的位置和姿态信息发送至地面管理单元；
[0040] 所述地面管理单元，用于接收所述机载图传单元发送的图像和POS系统的位置和 姿态信息；
[0041] 所述三维建模处理单元，用于根据所述地面管理单元接收的图像和POS系统的位 置和姿态信息，建立三维模型。
[0042] 上述系统通过红外相机进行成像，解决了可见光对物体的温度变化，对检测火灾 火源，可疑目标侦查追踪等都不能做出准确的预测；对于动物夜间迀徙监测，地震中人员 搜救，夜间侦查等情景下不容易发现目标以及夜间无法侦查等问题，通过获取待测目标的 图像以及对该图像进行三维建模，以供技术人员根据该三维模型进行准确的定位和科学决 策。
[0043] 为了进一步说明本发明的上述系统，通过下面具体的实施例进行说明。
[0044] 上述红外载荷单元包括红外相机，且红外相机的数量为5个，所述5个红外相机呈 马耳他十字形布局排列。在具体实施过程中，1台红外相机垂直拍摄影像，另外4台红外相 机呈固定角度对地物进行倾斜摄影。具体的，也可以在航飞过程中对地物场景进行多角度 成像。
[0045] 举例来说，单机幅面为640*512,像元大小为20u，焦距为IOOmm或80mm，倾斜角度 为 40° -45°。
[0046] 具体的，所述红外相机为中波红外相机或者长波红外相机；所述红外相机为制冷 型或非制冷型相机。
[0047] 在具体应用中，上述系统还包括：航飞单元6和航空云台单元7;
[0048] 所述航飞单元6与所述航空云台单元7连接；
[0049] 所述航飞单元，用于搭载所述航空云台单元按照预设的路线飞行。
[0050] 举例来说，航飞单元6由飞机机体61、飞控模块62、数据链模块63、发射回收模块 64、动力模块62组成，其中的飞机机体61为无人机的机械主体部分，飞控模块62为无人机 的管理与控制系统，用于控制航飞的稳定性，其中的数据链模块63用于确保遥控指令的传 达，保证无人机接收，发送信息的实时性与可靠性，以保证信息反馈的有效完成，发射回收 模块64用于保证无人机顺利升空以达到安全的高度和速度飞行，并在执行完任务后安全 回落到地面，其中的动力模块62用于为飞机机体提供动力，并为配套的飞控模块，数据链 模块提供电源。
[0051] 所述航空云台单元7与所述红外载荷单元、机载图传单元、POS单元相连。所述POS 单元3包括GPS模块31和MU模块32 ;
[0052] 所述GPS模块，用于测量该系统的准确位置信息，所述MU模块，用于测量该系统 的所在位置的三维姿态信息。
[0053] 上述机载图传单元2,由信道复用模块21，机载发射电台22,机载天线23组成，其 中的信道复用系统21用于将5台红外相机的图像数据复用为单通道数据，其中的机载发射 电台22用于将图像数据和POS单元3的姿态和位置与姿态数据以电磁波的形式通过机载 天线23发射出去。
[0054]所述地面管理单元4包括地面接收模块41、地面数据恢复模块42和地面存储模块 43；
[0055] 所述地面接收模块，用于接收机载图传单元发出的电磁波信号。
[0056] 所述地面数据恢复模块，用于将所述地面接收模块接收的电磁波信号恢复为图像 数据；
[0057] 所述地面存储模块，用于存储所述地面数据恢复模块的图像数据。
[0058] 图2示出了无人机倾斜摄影红外三维成像系统的建模方法，其特征在于，如图2所 示，该方法包括如下步骤：
[0059] 201、获取所述地面管理单元的多个图像数据；
[0060] 202、对所述多个图像数据进行处理；
[0061] 203、提取处理后的多个图像的特征点，根据所述特征点，将不同图像上的特征点 进行匹配，根据匹配结果获取三维模型。
[0062] 具体的，上述系统由于采用红外相机，因红外相机影像图片的特性，在三维建模 时，首先需要对红外影像进行去噪和灰度增强等处理。
[0063] 上述的红外影像具体的包括以下特点：太阳辐射因素对红外成像具有一定影响； 红外图像的整体灰度分布低且较集中；红外图像的信噪比较低；红外图像的对比度较低； 红外传感器得到的相邻两帧图像间的差别较大。
[0064] 如图3所示，基于上述红外图像的特点，上述步骤202具体包括：
[0065] 2021、小波变换去噪：
[0066] 假设噪声为乘性噪声，I(X，y) =R(x,y)*F(x,y)，I(X，y)是图像的观察值（含噪 信号），R(x，y)是图像的真实值（原始信号），F(x，y)为图像噪声，对图像进行对数变换变 为加性噪声：/=丨Og(丨）=丨Og(R)+k)g(F)=A+F小波变换，得到HL、LH、HH三个高频 图像，Delta为一级小波分解得到的各高频图像方差，取阈值为T= 3*Delta。对三个HL、LH、HH三个高频图像按照8邻域进行遍历，若其像素绝对值大于或等于T，归为修正区；反 之，则归为抑制区。归为抑制区的像素，其值要乘以一衰减因子a2,其中0<a2<l。归 为修正区的像素首先需要判断其是边缘信息还是噪声引起的，在该点的8邻域内选取判断 区，如果判断区内至少有一个以上的修正区内的像素存在，则该点是边缘信息，像素值保持 不变；否则认为是噪声引起的，像素值舍掉（即等于〇)。
[0067] 图像重构，小波反变换。
[0068] 2022、直方图均衡化红外图像增强：
[0069] 列出原始图像灰度级fj
[0070] 统计各灰度级的像素数目Iij
[0071] 计算原始图像直方图p(fj) =η」/η
[0072] 计算累计分布函数 / I
[0073] 灰度级映射：gi=INT{(L-l)c(f) = 0·δ}
[0074]INT为取整，L为灰度级，
[0075] 上述步骤203具体包括如下步骤：
[0076]2031、SURF算法提取特征点
[0077]SURF算法为计算待选特征点和尺度〇范围内Hessian矩阵，如果Hessian矩阵值 最大，则点为特征点。
[0078]在尺度〇的Hessian矩阵Η(Χ，〇)定义为：
[0079]
【权利要求】
1. 一种无人机倾斜摄影红外三维成像系统，其特征在于，包括：红外载荷单元、机载图 传单元、POS单元、地面管理单元和三维建模处理单元； 所述红外载荷单元和所述POS单元均与所述机载图传单元相连，所述机载图传单元与 所述地面管理单元相连，所述地面管理单元与所述三维建模处理单元相连； 所述红外载荷单元，用于对地物进行成像，并将图像发送至所述机载图传单元； 所述POS单元，用于测量该系统的位置和姿态信息； 所述机载图传单元，用于接收所述红外载荷单元发送的图像，并将接收的图像以及所 述POS单元测量的位置和姿态信息发送至地面管理单元； 所述地面管理单元，用于接收所述机载图传单元发送的图像和POS系统的位置和姿态 信息； 所述三维建模处理单元，用于根据所述地面管理单元接收的图像和POS系统的位置和 姿态信息，建立三维模型。
2. 根据权利要求1所述的系统，其特征在于，所述红外载荷单元包括红外相机。
3. 根据权利要求2所述的系统，其特征在于，所述红外相机为5个，所述5个红外相机 呈马耳他十字形布局排列。
4. 根据权利要求2或3所述的系统，其特征在于，所述红外相机为中波红外相机或者长 波红外相机。
5. 根据权利要求4所述的系统，其特征在于，所述红外相机为制冷型或非制冷型相机。
6. 根据权利要求1所述的系统，其特征在于，所述系统还包括：航飞单元和航空云台单 元； 所述航飞单元与所述航空云台单元连接； 所述航飞单元，用于搭载所述航空云台单元按照预设的路线飞行。
7. 根据权利要求6所述的系统，其特征在于，所述航空云台单元与所述红外载荷单元、 机载图传单元、POS单元相连。
8. 根据权利要求7所述的系统，其特征在于，所述POS单元包括GPS模块和MU模块； 所述GPS模块，用于测量该系统的准确位置信息，所述IMU模块，用于测量该系统的所 在位置的三维姿态信息。
9. 根据权利要求8所述的系统，其特征在于，所述地面管理单元包括地面接收模块、地 面数据恢复模块和地面存储模块； 所述地面接收模块，用于接收机载图传单元发出的电磁波信号； 所述地面数据恢复模块，用于将所述地面接收模块接收的电磁波信号恢复为图像数 据； 所述地面存储模块，用于存储所述地面数据恢复模块的图像数据。
10. 根据权利要求1至9中任一项所述的无人机倾斜摄影红外三维成像系统的建模方 法，其特征在于，包括： 获取所述地面管理单元的多个图像数据； 对所述多个图像数据进行处理； 提取处理后的多个图像的特征点，根据所述特征点，将不同图像上的特征点进行匹配， 根据匹配结果获取三维模型。
【文档编号】G06T5/00GK104504748SQ201410725836
【公开日】2015年4月8日 申请日期:2014年12月3日 优先权日:2014年12月3日
【发明者】张红明, 吴太夏, 张立福, 张鹏, 童庆禧 申请人:中国科学院遥感与数字地球研究所