本发明涉及一种无人机控制方法，特别涉及一种通过酬载摄影机拍摄的影像修正摄影机姿态(pose)或无人机飞行路径的控制方法。
背景技术：
桥梁是交通网络的咽喉。为了在桥梁的服务年限内确保行车安全及交通顺畅，定期桥梁检测成为养护工作的重要环节。桥梁检测一般以目检为主，然而若是桥梁周围的地形险峻使得观察不易，则须借助桥梁检测车、高空作业车或小型船艇等辅助工具趋近桥梁四周。从工作安全性的角度而言，检测人员乘坐上述特殊车械时暴露在危险环境中。另一方面，检测车械通常体积庞大，操作起来不仅费时，动用成本也较昂贵。
无人机作为新一代的科技产物，近年来被广泛应用于航空拍摄、工程监察、农林作业、环境观测及灾难搜救等多种领域。然而以桥梁检测而言，现今通过无人机进行桥梁检测大多采取人工介入方式，配置至少一名专业飞手辅助操作。由于桥梁必须因应地貌采取非直线或是非等高的结构，使得单纯通过全球定位系统(globalpositioningsystem，gps)设置起止坐标固定调度方式无法适用于具有特殊结构设计的桥梁。另外，还必须考虑gps或气压计等仪器的估测误差，以及无人机拍摄时被风吹离航线的不确定因素，上述方法都增加了自动导航的设计难度。另外，若采用同步定位与地图构建(simultaneouslocalizationandmapping，slam)的视觉导航方法，则必须预先建立目标桥梁的地图场景，辅以复杂计算方可得到较精确的摄影机位置与目标对应关系。而若是采用实时动态技术(realtimekinematic，rtk)，虽可达到公分等级的精准度，但却又必须额外增设地面信号基准站、流动站及无线电通信系统。因此，应用slam和rtk在桥梁检测也不符合经济效益。
技术实现要素：
有鉴于此，本发明提出一种无人机控制方法。通过摄影机连续拍摄目标影像，根据影像计算无人机在这段连续时间内的位移向量，并实时将校正信息反馈，进行飞行路径修正或云台控制调整等工作，然后执行下一次的自动拍摄。而且航拍期间不需额外使用昂贵的特殊车械或检测器材，因此节省工程检测的设备开销。从实务角度来看，本发明提供一种通过无人机自动检测的解决方案，有效提升工程检测效率，并保障检测人员安全。本发明除了应用在桥梁检测，在建筑物外观检测或是太阳能板检测等类似任务上同样具有高度实用性。
本发明的一个方面提供了一种无人机控制方法，适用于具有摄影机以拍摄目标的无人机。所述控制方法包括：在第一时间取得第一影像；通过摄影机在第一时间之后的第二时间取得第二影像；通过运算装置根据第一影像及第二影像分别计算出多个特征点；通过运算装置选取第一特征点集合及第二特征点集合，其中，第一特征点集合包括第一影像的多个特征点之中的至少三个特征点，第二特征点集合包括第二影像的多个特征点之中的至少三个特征点；通过运算装置根据第一特征点集合及第二特征点集合计算出第一轴向位移及第二轴向位移；通过运算装置根据第一特征点集合及第二特征点集合分别计算出第一感兴趣区域面积及第二感兴趣区域面积，且运算装置还根据第一感兴趣区域面积及第二感兴趣区域面积计算出第三轴向位移；以及控制装置根据第一轴向位移、第二轴向位移及第三轴向位移调整摄影机的姿态(pose)或无人机的飞行路径。
本发明的另一个方面提供了一种无人机控制系统，包括：摄影机、运算装置及控制装置。摄影机用以取得无人机飞行过程中的第一影像及第二影像，其中，第一影像在第一时间拍摄，第二影像在第二时间拍摄，且第一时间早于第二时间。运算装置电性连接摄影机，运算装置根据第一影像及第二影像计算无人机从第一时间到第二时间的位移向量。控制装置电性连接运算装置，控制装置用于根据位移向量选择性地调整云台以改变摄影机的拍摄姿态，或调整无人机的飞行路径。
本发明的另一个方面提供了一种无人机，包括：飞行系统、控制系统、云台以及机架。其中，飞行系统包括桨翼、马达以及马达驱动装置。桨翼可以旋转以提供无人机上升浮力。马达通过主轴连接桨翼，马达用于提供桨翼旋转动力。马达驱动装置电性连接马达并根据飞行控制命令致动马达。其中，控制系统包括摄影机、运算装置及控制装置。摄影机先后取得第一影像及第二影像，即第一影像在第一时间拍摄，第二影像在第二时间拍摄，且第一时间早于第二时间。运算装置电性连接摄影机，运算装置根据第一影像及第二影像计算无人机从第一时间到第二时间的位移向量。控制装置电性连接运算装置及云台，控制装置根据位移向量选择性地发送云台调整命令或发送飞行控制命令。云台电性连接摄影机，云台具有伺服马达，云台接收云台调整命令以驱动伺服马达调整摄影机的拍摄姿态。机架用于承载飞行系统、控制系统及云台。
通过上述架构，本案所揭露的无人机控制方法、无人机控制系统以及具有此控制系统的无人机，通过酬载摄影机针对目标拍摄的连续影像，通过运算装置计算出影像特征点，并进一步根据这些特征点换算出无人机在两次拍摄影像之间的三轴位移向量，再反馈至无人机的云台或飞行控制系统以便调整摄影机姿态或无人机飞行路径以达到更佳的拍摄效果。此外，采用本发明所揭露的无人机及无人机控制系统，不需额外增设传感器或通信套件即可通过本发明所揭露的无人机控制方法进行自动航拍，因此可节省传统通过人员遥控方式控制无人机执行检测时的人力成本。
以上关于本揭露内容的说明及以下实施方式的说明是用以示范与解释本发明的精神与原理，并且提供本发明的专利申请范围更进一步的解释。
附图说明
图1示意性示出了依据本发明一实施例的无人机控制系统的框图；
图2示意性示出了依据本发明一实施例的无人机控制方法的流程图；
图3示意性示出了依据本发明一实施例的影像特征点示意图；
图4示意性示出了依据本发明一实施例的感兴趣区域选取示意图；
图5示意性示出了依据本发明一实施例的无人机框图；以及
图6示意性示出了依据本发明一实施例的无人机结构示意图。
符号说明
s12-s72步骤
1无人机
10飞行系统
11控制系统
12云台
13机架
22摄影机
24运算装置
26控制装置
roi感兴趣区域
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、权利要求及附图，任何本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例为进一步详细说明本发明的观点，但并非以任何观点限制本发明的范畴。
请一并参考图1及图2。图1示意性示出了依据本发明一实施例中的无人机控制系统11。图2为以图1所示的无人机控制系统11运作无人机控制方法的流程图。如图1所示，无人机控制系统11包括摄影机22、运算装置24以及控制装置26。运算装置24电性连接摄影机22，控制装置26电性连接运算装置24。
请参考图2的步骤s12及s14。在步骤s12中，在第一时间取得第一影像；在步骤s14中，通过摄影机22在第二时间取得第二影像，其中，第一时间早于第二时间。例如，摄影机22在第一时间拍摄第一影像，并在第二时间拍摄第二影像。根据本发明的实施例，控制装置26可以包括定时器用于累计第一时间及第二时间之间隔时间。具体地，当摄影机22在第一时间拍摄第一影像时，控制装置26致动定时器开始累计间隔时间，当累计的间隔时间达到默认值后，控制装置26致动摄影机22在第二时间拍摄第二影像。根据本发明的实施例，控制装置26可以还结合用以感测飞行速度的加速度计或用以感测飞行高度的气压计等传感器的感测数值，以决定第二时间与第一时间之间的拍摄间隔。另外，摄影机22可针对目标(例如：桥梁)先后拍摄两张静态照片，并以此作为第一影像和第二影像；然而，摄影机22也可以针对目标拍摄一段影片，而控制装置26在指定的第一时间和第二时间中提取影片中的两帧画面作为第一影像及第二影像。或者，还可以在无人机飞行之前，先由其他摄影机预先拍摄目标的影像，并输入至无人机控制系统11作为第一影像。换言之，本发明对于取得第一影像及第二影像的方式不予限制。
请参考图2的步骤s16。在步骤s16中，运算装置24根据第一影像及第二影像计算总差异量。具体而言，运算装置24接收第一影像和第二影像后，计算两张影像之间的差异程度。由于在本发明所揭露的无人机控制方法是通过在一段时间中取得的两张影像计算得出位移向量，因此，在计算位移向量之前，可以先确认摄影机22拍摄的第二影像相较于第一影像具有足够的差异程度。具体地，运算装置24将第一影像及第二影像各自分成n×n的区块，其中，n为大于1的正整数。通过下列公式1，运算装置24计算第一影像中与第二影像中相对应的两区块之间的差异量。
其中，bdiff为差异量，mi，k及vi，k分别表示第k影像的第i个区块的平均值及变异数，mi，p及vi，p分别表示第p影像的第i个区块的平均值及变异数，上述第k影像及第p影像在本实施例中等同于第一影像及第二影像。若bdiff小于设定的阈值tb，则区块i视为无明显差异。运算装置24依照公式1重复计算出每个区块的差异量，再加总得出整张画面的总差异量。请参考图2的步骤s18，在步骤s18中，运算装置24判断总差异量是否小于阈值tf。若总差异量大于或等于预设的阈值tf，代表第二影像相较于第一影像具有足够的差异量，则继续执行步骤s32。反之，若总差异量小于预设的阈值tf，代表第二影像相较于第一影像无明显差异。因此，运算装置24舍弃差异量过小的第二影像并返回步骤s14，以供运算装置24取得另一影像作为第二影像(例如通知控制装置26致动摄影机22再拍摄另一影像作为第二影像)，随后运算装置24再根据步骤s16重新计算影像总差异量。然而，此步骤s16可以提高本实施例的判断准确度，并非完成本发明的控制方法必须执行的程序。
请参考图2的步骤s32。在取得第一影像及第二影像(优选的执行步骤s16以确认第二影像相较第一影像具有足够的差异量)之后，在步骤s32中，运算装置24中的位移运算模块根据第一影像及第二影像分别计算出多个特征点。此步骤s32的目的在于找出影像中较固定或是较强烈的焦点，或是梯度有明显变化的部分。在不同影像上进行特征匹配时，常会遇到尺度变化的问题，也就是要分析的目标可能在不同影像具有不同大小，使得尺度上的差异导致相同目标的特征在实际进行匹配时并未被成功匹配。因此，根据本发明的实施例，采用尺度不变特征转换(scale-invariantfeaturetransform，sift)算法。sift算法从影像中提取具有旋转不变性和伸缩不变性的特征点以及特征点对应的描述子(descriptor)，从而描述影像的局部性特征。于其他实施例中，可采用加速稳健特征(speededuprobustfeature，surf)算法或梯度定位方向直方图(gradientlocation-orientationhistogram，gloh)算法计算影像的特征点。请参考图3，为桥梁影像，运算装置24中的位移运算模块所计算出的特征点标示如图3黑圈的圆心处，其中，黑圈内的线条方向代表此特征点描述子的所有特征向量中最大值的方向(由圆心指向圆周)。
请再参考图2的步骤s34，在步骤s34中，运算装置24中的位移运算模块选取第一特征点集合及第二特征点集合，其中，第一特征点集合包括第一影像的多个特征点之中的至少三个特征点；第二特征点集合可以包括第二影像的多个特征点之中的至少三个特征点。必须说明的是：运算装置24中的位移运算模块选取第一特征点集合及第二特征点集合相当于选取第一影像的感兴趣区域(regionofinterest，roi)及第二影像的感兴趣区域(roi)。感兴趣区域(roi)是指从影像中以方框、圆、椭圆或不规则多边形等形状圈选出的重点区域，设置感兴趣区域(roi)可以减少后续处理时间并增加运算精确度。请参考图4，图4为根据图3设定感兴趣区域(roi)范围的示意图，由图4可看出感兴趣区域(roi)可以是桥梁主体。当感兴趣区域(roi)设定后，无人机的控制装置26便可以根据感兴趣区域(roi)锁定目标并控制摄影机22针对目标进行后续拍摄工作。
根据本发明的实施例，在取得第一影像及第二影像之前，运算装置24可预先储存已选取感兴趣区域(roi)的影像作为参考影像，并且在步骤s34时，根据此参考影像中的特征点数据选取特征点集合。
根据本发明的实施例，在步骤s32得出多个特征点之后，运算装置24可利用主成分分析(principalcomponentanalysis，pca)的算法，得到具代表性的特征点，选取第一特征点集合及第二特征点集合，并且可进一步降低特征点描述子维度。主成分分析(pca)通过分析共变异数矩阵(covariancematrix)的特征性质以得出数据的主成分(即特征向量)与它们的权值(即特征值)，通过保留对应大特征值的低阶主成分，舍弃对应小特征值的高阶主成分，达到减少描述子的特征向量维度，同时保留描述子的最大变异数。承上所述，运算装置24将较高维度的特征向量通过矩阵运算，得出一组按变异数的贡献从大到小排列的新特征向量，这组新特征向量是原始特征向量的线性组合，且新特征向量彼此正交而不具相关性。然而必须注意的是：执行主成分分析(pca)并非必要步骤，可视运算装置24的运算能力以及第一影像及第二影像的特征点数量而决定是否执行主成分分析(pca)。此外，也可以使用其它方式选取出具代表性的特征点，例如由用户主动自第一影像及/或第二影像中选取出特征点。
请参考图2的步骤s52及步骤s54。在步骤s52中，运算装置24针对特征点进行匹配与分类。具体地，根据本发明的实施例，运算装置24针对第一影像及第二影像各自的感兴趣区域(roi)的多个特征点的描述子内容寻找相似特征，所述寻找方式例如随机抽样一致算法(randomsampleconsensus，ransac)或以核线(epipoloarline)配合基本矩阵(fundamentalmatrix)运算的方式以得到多组匹配特征点。然后采用k-均值聚类法(k-meansclustering)将多组匹配特征点分类为k个聚类。在步骤s54中，运算装置24根据已分类的多组匹配特征点计算主要移动方向。具体地，根据步骤s52得出的k个聚类，运算装置24中的位移运算模块(未绘示)对每个聚类各自执行主成分分析以计算出每个聚类中的主成分方向，此主成分方向包括第一轴向位移和第二轴向位移，其中，第一轴向例如为x轴，第二轴向例如为y轴。运算装置24中的位移运算模块进一步将每个聚类的第一轴向位移及第二轴向位移各自加总及计算平均值，从而运算装置24可由多组第一轴向位移及第二轴向位移中计算出一组主要移动方向。简言之，根据步骤s52至步骤s54，运算装置24计算出摄影机22在取得两个影像中间所作的主要移动方向。
请参考图2的步骤s56。在步骤s56中，运算装置24中的深度运算模块(未绘示)计算感兴趣区域(roi)面积比例，其中，运算装置24中的深度运算模块耦接位移运算模块。具体地，为了进一步确认摄影机22在拍摄第一影像与第二影像之间相对于拍摄目标的远近关系，在一实施例中，首先运算装置24的深度运算模块将第一影像感兴趣区域(roi)中的多个特征点及第二影像的感兴趣区域(roi)中的多个特征点分别对应至平面上的n边形，然后取得代表n边形顶点的n个特征点的坐标值，代入公式2以分别计算出第一感兴趣区域面积及第二感兴趣区域面积(第一/二感兴趣区域面积在此代称第一/二影像中的感兴趣区域的面积)。
其中，a为面积，(x0，y0)，(x1，y1)，…，(xn-1，yn-1)为代表n边形顶点的n个特征点的坐标值。
请参考图2的步骤s58。在步骤s58中，运算装置24计算第三轴向位移。具体地，运算装置24中的深度运算模块在分别计算出第一感兴趣区域面积及第二感兴趣区域面积之后，运算装置24中的深度运算模块进一步依据摄影机焦距以及两个面积的比例关系，计算得出第三轴向(z轴)位移。根据本发明的实施例，基于简化计算量的考虑，在运算装置24中的深度运算模块取得第一特征点集合及第二特征点集合中的特征点坐标后，仅计算其中两个特征点的距离的平方值(或其中三个不共线的特征点所组成的三角形面积)作为面积参考值，再计算出面积比例关系，并换算得出第三轴向(z轴)位移。
请参考图2的步骤s72，在步骤s72中，控制装置26根据第一轴向位移、第二轴向位移及第三轴向位移等信息调整摄影机22的姿态或无人机的飞行路径。具体地，根据本发明的实施例，无人机控制系统11中的控制装置26还包括一定位装置。所述定位装置例如为gps传感器，可以用以定位无人机当前的世界坐标。在无人机进行航拍之前(即在步骤s12取得第一影像之前)，设置无人机本次飞行路径途中从起点到终点以及中途参考定位点的gps坐标。根据gps坐标(可以视为绝对位置信息)，结合运算装置24计算出的位移向量(可以视为相对位置信息)，控制装置26根据世界坐标及位移向量调整无人机的飞行路径，即控制装置26选择性地发送信号调整摄影机22的拍摄角度，以达到更清楚地拍摄目标的效果；或是控制装置26选择性发送信号修正飞行路径，以避免无人机偏离原本路线，或是根据实际拍摄目标的物理结构，动态的调整无人机本身相对于目标的距离，以避免过于靠近而擦撞至目标，或是过于远离目标以至于拍摄到与目标无关的景物。
请一并参考图5及图6。图5为绘制本发明一实施例的无人机1功能方块图。图6为依据本发明一实施例所绘示的无人机结构示意图。本发明一实施例的无人机1包括飞行系统10、控制系统11、云台12以及机架13。其中，飞行系统10包括桨翼、马达(未绘示)以及马达驱动装置(未绘示)。桨翼可以旋转以提供无人机上升浮力。马达通过主轴连接桨翼以提供旋转动力。马达驱动装置电性连接马达并根据飞行控制命令致动马达。无人机1的控制系统11及其控制方法如前文所介绍，此处不再赘述。云台12电性连接控制系统11中的摄影机22。云台12具有伺服马达并根据云台调整命令驱动伺服马达调整摄影机22的拍摄姿态。机架13用于承载飞行系统10、控制系统11及云台12，机架13的设计直接地反映无人机1的外观特征。
根据本发明的实施例，运算装置24用以控制无人机1的整体运作。运算装置24例如是中央处理单元(centralprocessingunit，cpu)、可程序化的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、可程序化控制器、特殊应用集成电路(applicationspecificintegratedcircuits，asic)、可程序化逻辑设备(programmablelogicdevice，pld)或其他类似装置，本揭露并不加以限制。运算装置24会从储存装置中加载位移运算模块以及深度运算模块的程序代码，执行位移运算模块计算第一影像及第二影像的多个特征点，以得出第一轴向位移和第二轴向位移；执行深度运算模块分别计算出第一感兴趣区域面积及第二感兴趣区域面积后，得出第三轴向位移。
必须特别说明的是，在本发明所述的无人机1的实施例中，关于控制系统11的输出部分。请一并参考图2的步骤s72及图5。运算装置24计算出的第一轴向位移、第二轴向位移及第三轴向位移可以组成位移向量，此位移向量代表摄影机22在两次拍摄中的空间位移。运算装置24进一步地根据摄影机校正程序(cameracalibration)与摄影机模型的外部参数(extrinsicparameter)，建立世界坐标(worldcoordinate)和摄影机坐标之间的坐标系统转换关系，并推算出无人机1本身在世界坐标系中的位移。运算装置24将此位移向量作为飞行路径的修正参数，并结合从gps装置得到的绝对坐标，由控制装置26发送飞行控制命令以便实时调整无人机1的飞行路径。根据本发明的实施例，控制装置26可以根据此位移向量发送一云台调整命令，云台12根据此云台调整命令致动三轴向的伺服马达，改变摄影机22的拍摄姿态(pose)，修正下一次的拍摄角度以更精确地拍摄目标。
综合以上所述，本发明提供的无人机控制方法，通过摄影机实时取得目标的影像，通过计算影像中感兴趣区域的特征点的对应关系，推估无人机在世界坐标系中的拍摄平面位移；并通过特征点群集的面积变化，推估无人机与目标的距离变化，无人机控制系统输出的位移向量可以用于实时反馈云台以调整拍摄姿态或是输入至飞行系统以调整飞行路径，从而取得较为稳定的航拍画面。