专利名称：无人飞行载具的图像处理系统及方法
技术领域：
本发明属于图像处理的技术领域，特别指一种无人飞行载具的图像处理系统及方法
背景技术：
无人飞行载具(unmanned aerial vehicle, UAV)是一种可通过远程控制,或基于预先设定的飞行航线或基于更复杂的自动化系统自动航行的飞机。相较于一般航空运输或航天运输平台，无人飞行载具提供一种远程侦测的全新方法，可更加便宜、安全、富有弹性地部署于数至数十平方公里的小范围区域。由于近年来科技的跃进与价格的陡降，具有竞争力的低价无人飞行载具业已在商业上实现。由于自无人飞行载具取得的照片或资料必须具备其地理参照(geo-referenced)信息,始可产生进一步的应用，故发展出一种快速、可靠的方法以捕捉这些照片或资料的地理相关信息，遂成为使低价无人飞行载具普及于市场·的重要关键。由于航空摄影测量(photogrammetry)技术与位置/姿态侦测器(position/attitude sensors)的进步，捕捉自无人飞行载具取得的照片或资料的地理相关信息的严谨方法业已具有可行性。从而，这些平台可定期(on a regular basis)提供具有标准化地理相关信息的资料输出。然而，对于低价无人飞行载具而言，当其处于飞航途中，如何准确捕捉位置姿态资料，成为本技术领域的极大困难。由于已知的姿态侦测器既笨重又昂贵，低价无人飞行载具仅可定性应用于搜集缺乏地理相关信息的照片上。无人飞行载具的另一特性在于其摄影机或侦测器未必是固定在随时受到最佳视线校准的稳固平台上。为保持其机动性及弹性，摄影机或侦测器模块总是在实地组装，并在飞行任务完成后予以拆除。再者，无人飞行载具的全部机身并不如航空运输平台或航天运输平台的机身般稳固。因此，对于无人飞行载具而言，不可再将摄影机框架与姿态侦测器框架间的视轴矩阵(boresightmatrix，即方位偏移量)视为常量。在低价无人飞行载具定位系统中，对于每一张相片，必须分别将其外部方位参数纳入估计，始可取得精确的视轴矩阵以进行高精密度的平面测量定位。是故，我们冀求一种进步的无人飞行载具的图像处理系统与方法，其可降低甚至排除上述各种问题。
发明内容
本发明的主要目的是在提供一种无人飞行载具的图像处理系统与方法，以便能解决已知技术的缺点。依据本发明的一特色，本发明是提出一种无人飞行载具图像处理系统，其包括一数字相机，是装设于一无人飞行载具上；一自动飞航控制器，是安装于该无人飞行载具中，且其预先载入一飞行档案，该飞行档案是由一其上绘制有一目标多边形的基图所产生，其中，该自动飞航控制器是设置以规划一飞行路径为一系列的割草机图案的任务滞后，以覆盖该基图上的目标多边形，而控制该无人飞行载具执行一飞行任务来沿着该飞行路径飞行，于该飞行任务中，该自动飞航控制器纪录多个全球定位系统/惯性导航系统资料及触发数字相机多次以拍摄多张照片，该多张照片更依据该数字相机的校正参数来校正以产生分别对应至该多个全球定位系统/惯性导航系统资料的多张校正照片；以及一计算机装置，是用于接收该多张校正照片及该多个全球定位系统/惯性导航系统资料，并处理该多张校正照片，以使用该对应的全球定位系统/惯性导航系统资料而分别产生多张投射照片，且通过一照片编结程序来编结该多张投射照片以形成一镶嵌影像。依据本发明的另一特色，本发明是提出一种图像处理方法，是用于一无人飞行载具图像处理系统，该无人飞行载具图像处理系统包括装设于一无人飞行载具上的一数字相机、安装于该无人飞行载具中的一自动飞航控制器、及一计算机装置，该方法包括步骤(A)设置该自动飞航控制器，其中该自动飞航控制器预先加载一飞行档案，该飞行档案是由一其上绘制有一目标多边形的基图所产生，该自动飞航控制器是设置以规划一飞行路径为一 系列的割草机图案的任务滞后，以覆盖该基图上的目标多边形，而控制该无人飞行载具执行一飞行任务来沿着该飞行路径飞行，于该飞行任务中，该自动飞航控制器纪录多个全球定位系统/惯性导航系统资料及触发数字相机多次以拍摄多张照片，该多张照片更依据该数字相机的校正参数来校正以产生分别对应至该多个全球定位系统/惯性导航系统资料的多张校正照片；(B)下载该多张校正照片及该多个全球定位系统/惯性导航系统资料至该计算机装置中，并处理该多张校正照片，以使用该对应的全球定位系统/惯性导航系统资料而分别产生多张投射照片；以及(C)通过一照片编结程序来编结该多张投射照片以形成一镶嵌影像。
为了详细说明本发明的构造及特点所在，以下结合较佳实施例并配合
如后，其中图I是本发明的无人飞行载具图像处理系统的示意图，其中图Ia是图像处理系统图，图Ib是图像处理系统处理的图。图2是本发明的飞行路径的规划。图3是本发明的无人飞行载具图像处理的一流程。图4是本发明的无人飞行载具图像处理的另一流程。图5是本发明的无人飞行载具图像处理的再一流程。
具体实施例方式图I是显示本发明一实施例的无人飞行载具图像处理系统的示意图，其中图Ia是图像处理系统图，图Ib是图像处理系统处理的图。该无人飞行载具图像处理系统包括装设于一无人飞行载具(unmanned aerial vehicle) 11上的一数字相机111、安装于该无人飞行载具11中的一自动飞航(autopilot)控制器112、及一计算机装置12，该自动飞航控制器112是可设置以控制该无人飞行载具11执行至少一飞行任务(flight mission)，该数字相机111于该飞行任务中用以拍摄一调查区域(study) 15的相片，该计算机装置12用以处理于该飞行任务中所拍摄的相片，以产生一目标区域的影像。
为规划该无人飞行载具11的飞行任务，该自动飞航控制器112加载有一飞行档案16,该飞行档案16是由风向(wind direction)、调查区域15的基图(base image)等资料所产生，且基图上绘制有一目标多边形(polygon)151以作为拍摄照片的目标区域，该数字相机111较佳连接有一存储卡113，存储卡113是储存数字相机111所拍摄的相片。该无人飞行载具11较佳为一固定翼滑翔机(fixed-wing glider),例如目前市场上所具有的低价CropCam0如图2所示，为有效利用该飞行任务的期间，该自动飞航控制器112是设置以通过默认多个路径点(waypoint) 213于一飞行路径(flight path) 21上，以规划该飞行路径(flight path)21为一系列的割草机图案(Iawnmower)的任务滞后(mission lag)211,以覆盖该基图上的目标多边形151，而控制该无人飞行载具11执行一飞行任务来沿着该飞行路径21飞行。此外，由于该无人飞行载具11通常为一轻量的平台而可能容易受到切风(cross wind)的影响，该自动飞航控制器112是规划该飞行路径21以使其航线与风向平行，而避免切风的影响，据此确保无人飞行载具11 一贯地沿着该规划的飞行路径21飞行，且每一张拍摄的相片是尽量靠近默认的路径点213。 所有在飞行任务中拍摄的相片需要被镶嵌(mosaic)为一大的平面测量(planimetric)影像以供后续处理,为确保镶嵌(mosaic)的成功，该数字相机111是控制来拍摄照片且所拍摄的多张照片是保持一定程度的重迭，在50%重迭的情况下，于调查区域15的每一调查点可由四张不同的相片所覆盖，需注意的是，较高的重迭程度将增加拍摄相片的总数，而非总覆盖区域。该无人飞行载具11通常需要一定数值的回转半径以作一 U形转弯，但具有50 %重迭两相邻的滞后211对无人飞行载具11而言可能过于靠近而无法作一完整的U形转弯，因此，该自动飞航控制器112是设置以增加额外的路径点213于该飞行路径21上，以确保该无人飞行载具11在一新的滞后211开始前可进行一完整的U形转弯，如图2所示，在每一滞后211的尾端增加五个额外的路径点213后，实际的飞行轨迹将非常接近规划的路径，且所有的滞后211将良好地互相平行。因此，以本发明的无人飞行载具图像处理系统及方法，只需要在调查区域15的基图上绘制该目标多边形151并指定风向，即可制作一考虑有足够的重迭及回转半径的详细飞行计划，并自动产生对应的飞行档案16以立即上传至该无人飞行载具11来进行飞行。于该无人飞行载具11沿着飞行路径21飞行的飞行任务中，该自动飞航控制器112操作以纪录多个全球定位系统/惯性导航系统(GPS/INS)资料及触发该数字相机111多次以拍摄分别对应至该多个GPS/INS资料的多张照片，较佳地，于该飞行任务中，该自动飞航控制器112是以4Hz的频率来维持详细的GPS/INS资料的日志(log)，该GPS/INS资料报含三个GPS坐标(x,y,z)、三个姿态(pitch, roll, yaw)、三轴加速度、三轴转动、目前速度、伺服模式、及计划的坐标、计划的姿态与计划的速度，由于该数字相机111是由该自动飞航控制器112的伺服的近红外线讯号所驱动，故可通过检视伺服模式而识别每一 GPS/INS资料对应至每一相片。而一旦飞行任务完成，于整个飞行任务中所纪录的包含有多个GPS/INS资料的GPS/INS资料日志即可下载至该计算机装置12，而于飞行任务中所拍摄的多张相片则已储存于记忆卡113中，该多张相片即可复制至计算机装置12中以作进一步处理。该数字相机111是一存在市场上的不昂贵但却轻量的相机，其可撷取在单一相片中具有千万画素的高质量影像，为作为量测的相机，该数字相机111须要被校正，特别是依据该数字相机111的镜头变形(lens distortion)校正参数来对每一张相片来进行镜头变形的修正，例如，可采用一自我校正的方案，以依据下述的方程式来计算所拍摄的一相片的
每一画素的变形量
权利要求
1.一种无人飞行载具图像处理系统，包括 一数字相机，装设于一无人飞行载具上； 一自动飞航控制器，安装于该无人飞行载具中，且其预先载入一飞行档案，该飞行档案由一其上绘制有一目标多边形的基图所产生，其中，该自动飞航控制器设置以规划一飞行路径为一系列的割草机图案的任务滞后，以覆盖该基图上的目标多边形，而控制该无人飞行载具执行一飞行任务来沿着该飞行路径飞行，于该飞行任务中，该自动飞航控制器纪录多个全球定位系统/惯性导航系统资料及触发数字相机多次以拍摄多张照片，该多张照片还依据该数字相机的校正参数来校正以产生分别对应至该多个全球定位系统/惯性导航系统资料的多张校正照片；以及 一计算机装置，用于接收该多张校正照片及该多个全球定位系统/惯性导航系统资料，并处理该多张校正照片，以使用该对应的全球定位系统/惯性导航系统资料而分别产生多张投射照片，且通过一照片编结程序来编结该多张投射照片以形成一镶嵌影像。
2.如权利要求I所述的无人飞行载具图像处理系统，其中该计算机装置还通过指定参照该基图的三点坐标，以地理参照该镶嵌影像。
3.如权利要求I所述的无人飞行载具图像处理系统，其中该飞行路径是规划以使其航线与风向平行。
4.如权利要求3所述的无人飞行载具图像处理系统，其中该飞行路径是规划以增加额外的路径点于该飞行路径上，以确保该无人飞行载具可进行一完整的U形转弯。
5.如权利要求I所述的无人飞行载具图像处理系统，其中该多张照片保持一定程度的重迭。
6.如权利要求I所述的无人飞行载具图像处理系统，其中每张于飞行任务中拍摄的照片以镜头变形的校正参数予以校正。
7.如权利要求I所述的无人飞行载具图像处理系统，其中该基图是切割成分别对应于该多张于飞行任务中所拍摄的照片的多张参考影像，且该计算机装置比较每张投射照片与其相对应的参考影像以生成一旋转尺度转移修正的全球定位系统/惯性导航系统资料，并应用旋转尺度转移变换以使用该旋转尺度转移修正的全球定位系统/惯性导航系统资料来地理参照该对应的校正照片，从而产生一旋转尺度转移照片，且通过一照片编结程序来编结所有旋转尺度转移照片为一镶嵌影像。
8.如权利要求7所述的无人飞行载具图像处理系统，其中每个旋转尺度转移修正的全球定位系统/惯性导航系统资料通过选择三对共轭点进行一重复计算而产生。
9.如权利要求I所述的无人飞行载具图像处理系统，其中该基图的一数值地形模型切割成分别对应于该多张于飞行任务中所拍摄的照片的多个参考数值地形模型，且该计算机装置以一相对应的参考数值地形模型及三对共轭点来决定每张于飞行任务中所拍摄的照片的每一像素的详细高差位移，并基于该相对应照片的详细高差位移以正射调整每张校正照片至一正射照片，且通过一照片编结程序来编结所有正射照片为一镶嵌影像。
10.一种图像处理方法，用于一无人飞行载具图像处理系统，该无人飞行载具图像处理系统包括装设于一无人飞行载具上的一数字相机、安装于该无人飞行载具中的一自动飞航控制器、及一计算机装置，该方法包括步骤 (A)设置该自动飞航控制器，其中该自动飞航控制器预先加载一飞行档案，该飞行档案由一其上绘制有一目标多边形的基图所产生，该自动飞航控制器设置以规划一飞行路径为一系列的割草机图案的任务滞后，以覆盖该基图上的目标多边形，而控制该无人飞行载具执行一飞行任务来沿着该飞行路径飞行，于该飞行任务中，该自动飞航控制器纪录多个全球定位系统/惯性导航系统资料及触发数字相机多次以拍摄多张照片，该多张照片还依据该数字相机的校正参数来校正以产生分别对应至该多个全球定位系统/惯性导航系统资料的多张校正照片； (B)下载该多张校正照片及该多个全球定位系统/惯性导航系统资料至该计算机装置中，并处理该多张校正照片，以使用该对应的全球定位系统/惯性导航系统资料而分别产生多张投射照片；以及 (C)通过一照片编结程序来编结该多张投射照片以形成一镶嵌影像。
11.如权利要求10所述的图像处理方法，还包括通过指定参照该基图的三点坐标，以地理参照该镶嵌影像。
12.如权利要求10所述的图像处理方法，其中该飞行路径是规划以使其航线与风向平行。
13.如权利要求12所述的图像处理方法，其中该飞行路径是规划以增加额外的路径点于该飞行路径上，以确保该无人飞行载具可进行一完整的U形转弯。
14.如权利要求10所述的图像处理方法，其中该多张照片保持一定程度的重迭。
15.如权利要求10所述的图像处理方法，其中每张于飞行任务中拍摄的照片以镜头变形的校正参数予以校正。
16.如权利要求10所述的图像处理方法，其中该基图切割成分别对应于该多张于飞行任务中所拍摄的照片的多张参考影像，且该计算机装置比较每张投射照片与其相对应的参考影像以生成一旋转尺度转移修正的全球定位系统/惯性导航系统资料，并应用旋转尺度转移变换以使用该旋转尺度转移修正的全球定位系统/惯性导航系统资料来地理参照该对应的校正照片，从而产生一旋转尺度转移照片，且通过一照片编结程序来编结所有旋转尺度转移照片为一镶嵌影像。
17.如权利要求10所述的图像处理方法，其中每个旋转尺度转移修正的全球定位系统/惯性导航系统资料通过选择三对共轭点进行一重复计算而产生。
18.如权利要求16所述的图像处理方法，其中该基图的一数值地形模型切割成分别对应于该多张于飞行任务中所拍摄的照片的多个参考数值地形模型，且该计算机装置以一相对应的参考数值地形模型及三对共轭点来决定每张于飞行任务中所拍摄的照片的每一像素的详细高差位移，并基于该相对应照片的详细高差位移以正射调整每张校正照片至一正射照片，且通过一照片编结程序来编结所有正射照片为一镶嵌影像。
全文摘要
一种无人飞行载具图像处理系统，包括装设于一无人飞行载具上的一数字相机、安装于无人飞行载具中的一自动飞航控制器、及一计算机装置，自动飞航控制器预先加载一飞行档案，飞行档案由一其上绘制有一目标多边形的基图所产生，自动飞航控制器设置以规划一飞行路径为一系列的割草机图案的任务滞后，以覆盖基图上的目标多边形，而控制无人飞行载具执行一飞行任务，于飞行任务中，自动飞航控制器纪录多个GPS/INS资料及触发数字相机多次以拍摄多张照片，该多张照片依据数字相机的校正参数来校正以产生分别对应至多个GPS/INS资料的多张校正照片；计算机装置接收多张校正照片及多个GPS/INS资料，并处理多张校正照片，以使用对应的GPS/INS资料而分别产生多张投射照片，且通过一照片编结程序来编结该多张投射照片以形成一镶嵌影像。
文档编号G06T7/00GK102829762SQ201210197728
公开日2012年12月19日 申请日期2012年6月15日 优先权日2011年6月17日
发明者刘正千 申请人:刘正千