专利名称：无人机航摄像片数字拼接方法
无人机航摄像片数字拼接方法
技术领域：
本发明属于无人机信息处理和航空影像处理技术领域，具体涉及一种无人机航摄像片数字拼接方法。
背景技术：
像片是无人机航摄的一种主要图像产品，如何从像片中提取更多的有效信息是无人机使用的重要课题。其中，将飞行获取的多张像片进行拼接成镶嵌图问题是无人机航摄像片应用的难点问题。现有无人机航摄获取的航空像片的拼接方法主要是先冲洗，而人工拼接。从当前无人机航摄像片拼接技术及其拼接设备现状来看，主要存在以下几个方面的缺点(1)缺少系统性的像片拼接技术多数无人机没有拼接处理设备，仅仅使用单张像片进行图像判读和分析使用，缺少拼接处理技术。(2)人工拼接耗时耗力对像片的拼接，有两种常用的方法其一是将航摄的光学胶片进行放大，而后采用剪刀和胶水人工进行拼接；其二是将光学胶片进行数字化，而后采用Photoshop商用软件进行人工拼接。第一种方法比较笨重，无法对拼接后的影像进行勻光以及几何校正处理，且需要大量的人力物力；第二种方法虽然是一种数字化处理方法，但是商用软件没有影像匹配功能，无法进行拼接缝的自动搜索，而且，无法建立纠正模型，从而无法对拼接的影像进行几何纠正，拼接效果不佳，也比较耗时耗力。(3)像片拼接的使用功能单一由于现有的技术大多数是基于模拟光学处理机制或现有商用软件，没有一套系统的技术体系，因此，在使用上仅仅是像片拼接，尚无其它功能，无法满足无人机信息处理需求。
发明内容本发明所要解决的技术问题在于针对无人机航摄像片现有技术和处理方法存在的问题，重点研究了影像匹配等诸多技术问题，提供一种集像片数字化处理、自动拼接解算、勻光处理、目标定位于一体的无人机航摄像片数字拼接方法。本发明的技术方案是无人机航摄像片数字拼接方法，包括以下步骤(1)将无人机航摄像片数字化处理(1. 1)将航摄光学胶片固定在胶片传动机构的载片轴和卷片轴上；(1. 2)启动胶片预览机构检测胶片幅面是否完整位于预览区，若不在，在电机驱动缓慢卷片，直至满足要求停止，此时观察预览区胶片是否为所需航摄像片，若不是，则预览下一张胶片，若是所需胶片，则放入胶片扫描仪；(1. 3)将上述胶片按照所设置的分辨率进行扫描数字化，数字化后的图像分别输入定向解算图形工作站和拼接解算工作站中，供解算使用；(1. 4)重复以上步骤，完成所需像片的数字化处理；(1. 5)对于航摄数字影像，可直接输入到定向解算图形工作站和拼接解算工作站中，供解算使用；(2)通过拼接解算图形工作站对数字化影像进行拼接解算(2. 1)特征提取对于第1个像对，通过特征提取获取重叠区影像块的若干特征信息，并选择具有突出代表性的特征作为基础数据；(2. 2)影像匹配实现拼接所需特征点对之间的相似性检测，找出同名点，删除不对应的特征点对；(2. 3)数据粗差检测由于获取到的一部分数据点对往往存在较大误差甚至错误的映射，采取数据粗差检测机制进一步剔除错误特征点对；(2. 4)影像几何校正以数据处理后的特征点为基础，进行影像几何校正，求取变换数学模型中的参数，并依据特征点对的中误差对参数估计的精度进行评定，不符合要求再进行迭代解算，最终实现影像精确几何校正；(2. 5)像片拼接将几何纠正后的像片和几何变形参数加入拼接解算，实现1个像对的拼接处理；(2. 6)重复以上(2. 1) (2. 5)，完成多个航摄像对的拼接；(3)对经过拼接的合成图像进行勻光处理(3. 1)将拼接好的航摄像对输入勻光处理模块进行勻光处理，对于拼接解算后的第1个像对，统计该像对所属的两张像片的图像直方图；(3. 2)在航摄像对的重叠区，进行连接边搜索，连接边搜索采取几何精度作为搜索相似度尺度，若搜索所在的像素块几何误差大于2. 0像素，则继续搜索，直至满足要求；(3. 3)亮度与反差调整依据(3. 1)中统计的两张像片的图像直方图，进行直方图匹配，原则是固定像对的第1张像片，调整像对的第2张像片的亮度和反差；(3.4)对于拼接线采用拼接线左右各5个像素对拼接线进行平滑，减小边界明显过渡问题，实现边界线平滑处理；(4)对经过勻光处理的合成图像进行定向定位解算(4. 1)向定向解算图形工作站输入全部需处理的数字航摄像片，进行框标识别，框标识别采取自动识别和人工辅助相结合的策略，确保框标位置的准确测量；(4. 2)数字内定向依据框标位置的鉴定值和测量值，对待处理的每一张像片进行内定向处理，实现像片的纠正处理以及设备坐标到像片坐标的转换；(4. 3)数字相对定向从第1个像对开始，依次进行数字相对定向处理，解算像片两张像片之间的位置关系，实现像对模型的建立，所有像对解算完毕进入下一步；(4. 4)依据数字相对定向结果，提取所有像对的立体图像，同时将已经建立的多个像对模型进行连接，模型连接使多个模型最终归化为一个像对模型；(4. 5)绝对定向在已知地面控制点的情况下，进行绝对定向解算，实现模型坐标到大地坐标的转换；(4. 6)判读定位综合绝对定向结果和拼接图像，对地面景物进行判读、分析与定位处理；
(4. 7)显示输出在外接设备支持下，实现像对的立体显示以及输出等功能。本发明的优点在于技术与现有技术相比具有以下有益效果1.操作简单，只需很少的人工干预即可实现拼接解算，克服传统光学拼接处理需要大量人工复杂操作的缺点。2.数字化勻光处理效果好，基于多点直方图匹配的数字图像处理方法减小了拼接缝隙处的亮度和色调不均勻程度，提高了拼接影像的整体效果，而传统的做法很难甚至无法实现拼接像片间的勻光处理。3.数字拼接处理速度快，与传统的人工拼接或商用软件拼接相比，拼接解算采取程序自动匹配解算，无需人工干预，速度快，处理时间至少缩短为传统方法的1/20，而且不需要冲洗，降低了材料成本。4.拼接影像功能丰富，本装置将拼接处理与目标定位、立体图像提取等无人机航摄像片信息处理功能相融合，进一步拓展了拼接影像的应用范围，装置的使用功能不再仅仅限于像片拼接，而且可以用于目标判读、立体定位等。
下面参照附图结合实施例对本发明作进一步的描述。图1为本发明的流程图，图2为本发明所使用的系统构成图。
具体实施方式拼接装置系统组成该系统由像片数字化模块、影像拼接解算模块、目标判读定位模块、显示输出模块四大部分组成，如图2所示。1.像片数字化模块主要由航空像片数字化设备、数字化软件、胶片传动机构、外部控制硬件组成，该模块不仅能够生成航空胶片的数字影像，而且可以实现航空像片的影像浏览功能，为选择和浏览侦察区域提供了极大的方便。2.影像拼接解算模块主要由特征提取、影像匹配、数据粗差检测、影像几何校正四个部分组成，通过特征提取获取重叠区影像块的若干特征信息，并选择具有突出代表性的特征作为基础数据， 进行影像匹配，实现拼接所需特征点的全自动获取。获取到的一部分数据点对往往存在较大误差甚至错误的映射，采取数据粗差检测机制实现错误特征点的自动剔除，然后以数据处理后的特征点为基础，进行影像几何校正，求取变换数学模型中的参数，并依据协因数传播率对参数估计的精度进行评定，不符合要求再进行迭代解算，最终实现影像精确几何校正。经过拼接后的合成图像在几何方面达到了较好的精度，但是由于航空像片在摄取影像和数字化等过程中的各种因素的影响，拼接后影像的色调具有一定的差异，需要对其进行勻光处理，达到近似无缝拼接的效果。3.目标判读定位模块
经过拼接处理生成大幅面平面影像和立体影像，通过目标判读与定位模块可以进行目标立体判读、分析与定位等任务，同时该模块能够实现航摄像片多像对定向解算、立体影像提取、模型连接等功能。4.显示输出模块航空像片经过影像拼接和勻光处理后，生成大幅面航空像片，同时可以通过目标判读定位模块生成大幅面立体影像。在实际使用中可以通过显示输出模块显示输出拼接后大幅面航空像片和立体影像，显示输出分为PC显示、投影显示、主动立体显示、被动立体显示、大幅面打印输出等五个部分。无人机航摄像片数字拼接方法，包括以下步骤(1)将无人机航摄像片数字化处理(1. 1)将航摄光学胶片固定在胶片传动机构的载片轴和卷片轴上；(1. 2)启动胶片预览机构检测胶片幅面是否完整位于预览区，若不在，在电机驱动缓慢卷片，直至满足要求停止，此时观察预览区胶片是否为所需航摄像片，若不是，则预览下一张胶片，若是所需胶片，则放入胶片扫描仪；(1. 3)将上述胶片按照所设置的分辨率进行扫描数字化，数字化后的图像分别输入定向解算图形工作站和拼接解算工作站中，供解算使用；(1. 4)重复以上步骤，完成所需像片的数字化处理；(1. 5)对于航摄数字影像，可直接输入到定向解算图形工作站和拼接解算工作站中，供解算使用；(2)通过拼接解算图形工作站对数字化影像进行拼接解算(2. 1)特征提取对于第1个像对，通过特征提取获取重叠区影像块的若干特征信息，并选择具有突出代表性的特征作为基础数据；(2. 2)影像匹配实现拼接所需特征点对之间的相似性检测，找出同名点，删除不对应的特征点对；(2. 3)数据粗差检测由于获取到的一部分数据点对往往存在较大误差甚至错误的映射，采取数据粗差检测机制进一步剔除错误特征点对；(2. 4)影像几何校正以数据处理后的特征点为基础，进行影像几何校正，求取变换数学模型中的参数，并依据特征点对的中误差对参数估计的精度进行评定，不符合要求再进行迭代解算，最终实现影像精确几何校正；(2. 5)像片拼接将几何纠正后的像片和几何变形参数加入拼接解算，实现1个像对的拼接处理；(2. 6)重复以上(2. 1) (2. 5)，完成多个航摄像对的拼接；(3)对经过拼接的合成图像进行勻光处理(3. 1)将拼接好的航摄像对输入勻光处理模块进行勻光处理，对于拼接解算后的第1个像对，统计该像对所属的两张像片的图像直方图；(3. 2)在航摄像对的重叠区，进行连接边搜索，连接边搜索采取几何精度作为搜索相似度尺度，若搜索所在的像素块几何误差大于2. 0像素，则继续搜索，直至满足要求；(3. 3)亮度与反差调整依据(3. 1)中统计的两张像片的图像直方图，进行直方图匹配，原则是固定像对的第1张像片，调整像对的第2张像片的亮度和反差；
7
(3.4)对于拼接线采用拼接线左右各5个像素对拼接线进行平滑，减小边界明显过渡问题，实现边界线平滑处理；(4)对经过勻光处理的合成图像进行定向定位解算(4. 1)向定向解算图形工作站输入全部需处理的数字航摄像片，进行框标识别，框标识别采取自动识别和人工辅助相结合的策略，确保框标位置的准确测量；(4. 2)数字内定向依据框标位置的鉴定值和测量值，对待处理的每一张像片进行内定向处理，实现像片的纠正处理以及设备坐标到像片坐标的转换；(4. 3)数字相对定向从第1个像对开始，依次进行数字相对定向处理，解算像片两张像片之间的位置关系，实现像对模型的建立，所有像对解算完毕进入下一步；(4. 4)依据数字相对定向结果，提取所有像对的立体图像，同时将已经建立的多个像对模型进行连接，模型连接使多个模型最终归化为一个像对模型；(4. 5)绝对定向在已知地面控制点的情况下，进行绝对定向解算，实现模型坐标到大地坐标的转换；(4. 6)判读定位综合绝对定向结果和拼接图像，对地面景物进行判读、分析与定位处理；(4. 7)显示输出在外接设备支持下，实现像对的立体显示以及输出等功能。无人机航摄像片数字拼接过程1.航空像片数字化采用胶片扫描数字化设备完成航空胶片的快速数字化处理(数字航摄像片可省略该环节)，数字化后的影像供拼接与判读定位解算使用。2.影像拼接解算首先，采取基于特征匹配的方法，对一条航带的影像进行特征提取与影像匹配；其次，对匹配结果进行粗差检测，提高匹配结果的可靠性；最后，依据拼接数学模型进行几何纠正，最终合成拼接影像。3.影像勻光针对拼接后的大幅面影像，采取亮度分析、连接边搜索、亮度与反差调整、边界线平滑等处理实现合成影像的色调调整。4.像片定向解算与立体影像生成对数字化的像片分别进行内定向解算改正像片几何变形；进行相对定向解算建立一个或多个立体模型；进行绝对定向将模型规化到地理坐标系中；进行核线影像提取用于立体影像的生成；最后基于解算参数与核线影像生成侦察区域立体影像。5.像片判读定位与显示输出对经过定向解算和拼接解算的像片进行数字判读定位，可以采取平面判读方式也可以采取立体判读的方式，同时将拼接后大幅面影像进行显示输出。操作流程如图1所示。主要指标1.影像拼接时间(单像对)< anin2.同时建立立体像对数量< 103.多立体像对定位精度(RMS) < 30m
4.点正确匹配概率> 90%5.单像对处理时间< 5min本发明首次提出了无人机航摄像片数字拼接的思想，并提出了解决拼接数字自动解算的诸多技术解决方案，设计并开发了无人机航摄像片数字拼接装置，实现了拼接设备由光学处理到数字处理、从以人工为主到以自动为主的转变，具体解决了以下技术问题(1)像片拼接数字化自动解算针对光学像片，本装置首先将像片进行数字化处理(数字影像则可直接输入)，而后通过数字定向解算、影像几何纠正、数据粗差检测以及拼接连接点自动匹配，实现数字化自动解算，提高了拼接处理的效率和精度。(2)像片拼接缝自动勻光处理由于不同摄站拍摄的同一地区的影像存在色调的差别，本发明提出了采用基于多点直方图匹配的算法实现了相邻像片拼接的勻光处理，减小了因为拼接所造成的缝隙。(3)多像对定向解算与目标定位针对拼接后的影像使用问题，提出了基于单位四元数的多像对定向解算方法，提高了定向解算的稳定性，并能够实现目标精确定位。(4)多像对立体影像提取提出了立体影像匹配、数据合成以及立体影像纠正方法，实现了多像对立体影像提取，进一步拓展了拼接影像的应用。(5)建立了一套完备的数字拼接技术体系。本发明从无人机航摄像片信息处理角度出发，针对像片数字拼接处理，提出了像片拼接自动解算、自动勻光、多像对定向解算、立体影像提取与目标定位等问题，并设计了解决问题的诸多新算法、新策略和新手段，最终建立了一套完备的技术体系。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
权利要求
1.无人机航摄像片数字拼接方法，其特征在于包括以下步骤(1)将无人机航摄像片数字化处理(1.1)将航摄光学胶片固定在胶片传动机构的载片轴和卷片轴上； (1. 2)启动胶片预览机构检测胶片幅面是否完整位于预览区，若不在，在电机驱动缓慢卷片，直至满足要求停止，此时观察预览区胶片是否为所需航摄像片，若不是，则预览下一张胶片，若是所需胶片，则放入胶片扫描仪；(1. 3)将上述胶片按照所设置的分辨率进行扫描数字化，数字化后的图像分别输入定向解算图形工作站和拼接解算工作站中，供解算使用； (1.4)重复以上步骤，完成所需像片的数字化处理；(1. 5)对于航摄数字影像，可直接输入到定向解算图形工作站和拼接解算工作站中，供解算使用；(2)通过拼接解算图形工作站对数字化影像进行拼接解算(2. 1)特征提取对于第1个像对，通过特征提取获取重叠区影像块的若干特征信息， 并选择具有突出代表性的特征作为基础数据；(2. 2)影像匹配实现拼接所需特征点对之间的相似性检测，找出同名点，删除不对应的特征点对；(2. 3)数据粗差检测由于获取到的一部分数据点对往往存在较大误差甚至错误的映射，采取数据粗差检测机制进一步剔除错误特征点对；(2.4)影像几何校正以数据处理后的特征点为基础，进行影像几何校正，求取变换数学模型中的参数，并依据特征点对的中误差对参数估计的精度进行评定，不符合要求再进行迭代解算，最终实现影像精确几何校正；(2. 5)像片拼接将几何纠正后的像片和几何变形参数加入拼接解算，实现1个像对的拼接处理；(2. 6)重复以上(2. 1) (2. 5)，完成多个航摄像对的拼接；(3)对经过拼接的合成图像进行勻光处理(3. 1)将拼接好的航摄像对输入勻光处理模块进行勻光处理，对于拼接解算后的第1 个像对，统计该像对所属的两张像片的图像直方图；(3. 2)在航摄像对的重叠区，进行连接边搜索，连接边搜索采取几何精度作为搜索相似度尺度，若搜索所在的像素块几何误差大于2. 0像素，则继续搜索，直至满足要求；(3.3)亮度与反差调整依据(3. 1)中统计的两张像片的图像直方图，进行直方图匹配，原则是固定像对的第1张像片，调整像对的第2张像片的亮度和反差；(3. 4)对于拼接线采用拼接线左右各5个像素对拼接线进行平滑，减小边界明显过渡问题，实现边界线平滑处理；(4)对经过勻光处理的合成图像进行定向定位解算(4. 1)向定向解算图形工作站输入全部需处理的数字航摄像片，进行框标识别，框标识别采取自动识别和人工辅助相结合的策略，确保框标位置的准确测量；(4. 2)数字内定向依据框标位置的鉴定值和测量值，对待处理的每一张像片进行内定向处理，实现像片的纠正处理以及设备坐标到像片坐标的转换；(4. 3)数字相对定向从第1个像对开始，依次进行数字相对定向处理，解算像片两张像片之间的位置关系，实现像对模型的建立，所有像对解算完毕进入下一步；(4. 4)依据数字相对定向结果，提取所有像对的立体图像，同时将已经建立的多个像对模型进行连接，模型连接使多个模型最终归化为一个像对模型；(4. 5)绝对定向在已知地面控制点的情况下，进行绝对定向解算，实现模型坐标到大地坐标的转换；(4. 6)判读定位综合绝对定向结果和拼接图像，对地面景物进行判读、分析与定位处理；(4. 7)显示输出在外接设备支持下，实现像对的立体显示及输出。
全文摘要
本发明属于无人机信息处理和航空影像处理技术领域，具体涉及一种无人机航摄像片数字拼接方法，是将无人机航摄像片数字化处理后，输入到定向解算图形工作站和拼接解算工作站中进行拼接解算、匀光处理、定向定位解算，最后显示输出。本发明方法提出了解决拼接数字自动解算的诸多技术解决方案数字化匀光处理效果好，基于多点直方图匹配的数字图像处理方法减小了拼接缝隙处的亮度和色调不均匀程度，提高了拼接影像的整体效果。数字拼接处理速度快，拼接解算采取程序自动匹配解算，无需人工干预，速度快，处理时间至少缩短为传统方法的1/20，克服传统光学拼接处理需要大量人工复杂操作的缺点，实现了拼接设备由光学处理到数字处理、从以人工为主到以自动为主的转变。
文档编号G06T5/40GK102202159SQ201110077080
公开日2011年9月28日 申请日期2011年3月29日 优先权日2011年3月29日
发明者张过, 杨鹭怡, 段连飞, 王占操, 王晶, 章炜, 阚瑞峰 申请人:段连飞