基于图像辅助定位的无人机位姿调整方法及系统与流程

本发明涉及无人机领域，特别是涉及一种基于图像辅助定位的无人机位姿调整方法及系统。

背景技术：

无人机作为典型的平台型的工具，除了应用于基数众多的航拍领域外，还广泛应用于电力巡线、石油勘探、土地测绘、桥梁检修、警务安防等领域。这些领域往往是固定点、固定航线作业，目前基本上还是人为操作无人机作业，不仅费时费力，而且精度、作业质量不易保证，操作不当容易炸机、发生危险。为了在无人监视的情况下自主完成任务，一种稳定、快速、精确的辅助定位系统对于无人机而言至关重要。

近来图像处理和计算机视觉技术与无人机的融合推进了具备视觉能力的无人机的开发。因此，对基于图像识别辅助定位的无人机自动调整姿态系统的研究是十分必要的。目前采用gps、光流、imu(惯性测量)和声波三个单元对无人机进行定位都存在一定问题：

(1)一般的惯导系统会受到电磁场、气压、雨水的干扰，产生惯导累积误差；

(2)当无人机悬停后，无法确定是否处于最佳悬停位置及最佳姿态。

因此亟需提供一种新型的基于图像辅助定位的无人机位姿调整方法来解决上述问题。

技术实现要素：

本发明所要解决的技术问题是提供一种基于图像辅助定位的无人机位姿调整方法及系统，能够利用静态的图像计算无人机的位移差，实现无人机智能化自主飞行。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于图像辅助定位的无人机位姿调整方法，包括以下步骤：

s1：无人机启动飞行后依据rtk定位飞至目标位置点，利用机载摄像机对标记点进行图像拍摄；

s2：对拍摄图像进行预处理以及检测识别标记点，判断标记点是否在图像范围，如果标记点不在范围内，利用rtk进行重新定位，直至标记点出现在图像中；

s3：将识别出标记点的当前图像与具有标记点的区域特征图像进行匹配，计算当前图像的偏移量，若偏移量在预先设定的阈值范围内，则无人机无需调整当前位姿；若偏移量超过预先设定的阈值，则无人机进行摄像头方位角的调整，直至满足偏移量小于预先设定的阈值。

在本发明一个较佳实施例中，在步骤s2中，图像预处理及检测标记点具体步骤包括：

s2.1：彩色图像rgb分解，通过rgb多通道检测当前拍摄图像中带有颜色的标记点；

s2.2：二值化处理，对rgb分解后的彩色图像进行二值化；

s2.3：边缘检测，检测二值化处理后的图像边缘，识别出标记点的形状。

进一步的，所述标记点位于标志物上、带有颜色并具有形状。

在本发明一个较佳实施例中，步骤s3中，所述识别出标记点的当前图像与具有目标点的区域特征图像进行匹配的具体步骤包括：

假设识别出标记点的当前图像的长为xmax，宽为ymax，选取当前图像中包含标记点的区域特征图像f(x,y)，当前图像为g(x',y')，两点进行图像相关运算：

其中表示f(x,y)与g(x',y')在(x',y')做点对点的乘法运算，h(x',y')即为相关函数的分布，其值越大，表示相关程度越高。

进一步的，步骤s3中，计算当前图像的偏移量的具体步骤包括：

假设x'＝x'0,y'＝y'0时h最大，则判断是最大相关的，进行偏移量计算xv＝xm-x'0，ys＝ym-y'0；

假设预先设置的阈值大小为v,s，若|xv|≤v,|ys|≤s则说明拍摄的位置在预设的位置范围内，则无人机无需调整当前位姿，否则，进行摄像头方位角调整。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于图像辅助定位的无人机位姿调整系统，主要包括：

rtk定位模块，用于导航无人机飞至目标位置点；

图像拍摄模块，用于对标记点进行图像拍摄；

图像处理模块，对所述图像拍摄模块拍摄的图像进行图像预处理；

图像识别模块，对所述图像处理模块输出的图像检测识别标记点，判断标记点是否在图像范围；

结果分析模块，通过将识别出标记点的当前图像与具有目标点的标准图像进行匹配，计算当前图像的偏移量并进行结果分析。

在本发明一个较佳实施例中，所述结果分析模块的分析过程为：

若偏移量在预先设定的阈值范围内，则无人机无需调整当前位姿；若偏移量超过预先设定的阈值，则利用rtk定位模块对无人机云台进行位姿调整。

本发明的有益效果是：

(1)本发明通过预设的标记点及静态的图像，利用标记点在图像中的位置(偏移量)，来计算无人机的位移差，控制无人机飞行，从而为实现智能化自主飞行作业提供了保障；

(2)利用rtk定位精准，为下一步图像辅助定位提供了支撑，而图像处理的标记点与无人机作业的目标点是固定的，极大提高了利用imu、gps等的定位精度，显著提高了无人机作业效率。

附图说明

图1是本发明基于图像辅助定位的无人机位姿调整方法的流程图；

图2是步骤s3中图像匹配过程中的图像示意图；

图3是所述基于图像辅助定位的无人机位姿调整系统的结构框图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种基于图像辅助定位的无人机位姿调整方法，包括以下步骤：

s1：无人机启动飞行后输入目标位置的空间坐标及方位角，依据rtk定位飞至目标位置点，利用机载摄像机对标记点进行图像拍摄；

s2：对拍摄图像进行预处理以及检测识别标记点，判断标记点是否在图像范围，如果标记点不在范围内，利用rtk进行重新定位，直至标记点出现在图像中；

所述标记点为预先人为标记的，位于标志物上、带有颜色并具有形状。优选的，所述标记点可选用红色、绿色等鲜艳的颜色，形状为矩形或圆形等，可标记在绝缘子或者需要检测的销子旁边。对于一个单独的铁塔可以进行以上两种标记点或者多种标记点的组合排放，如红方图-绿圆图-红方图代表电塔第一层第一个检测点。

图像预处理及检测标记点的具体步骤包括：

s2.1：彩色图像rgb分解，通过rgb多通道检测当前拍摄图像中带有颜色的标记点；

具体的，根据颜色的阈值范围进行特定颜色的检测，限定r通道取值范围是200—255，与此同时g通道限制取值范围是0—60，b通道也是0—60，凡是满足相应阈值范围的即是对应的颜色。如检测红色，经过rgb分解之后，r通道较为强烈，阈值大小在200—255范围内，识别其它颜色同理。

s2.2：对rgb分解后的彩色图像进行二值化处理；

在一实施例中，将rgb分解后的彩色图像中满足红色(red图像)的像素值设为1，不满足的均设为0，并对此rered图像进行图像闭运算与开运算的操作，得到一个二值化的图像。

s2.3：边缘检测，检测二值化处理后的图像边缘，识别出标记点的形状。

具体的，选择二值化图像进行边缘检测，利用canny算子等将图像中的边缘检测出来，得到含有边缘信息的图像，利用活肤变换检测直线或者圆。结合图像颜色信息，再进行组合得出所检测的标记点，如红方，绿圆或者红圆、绿方。

s3：将识别出标记点的当前图像与具有标记点的区域特征图像进行匹配，计算当前图像的偏移量，若偏移量在预先设定的阈值范围内，则无人机无需调整当前位姿；若偏移量超过预先设定的阈值，则无人机进行摄像头方位角的调整，直至满足偏移量小于预先设定的阈值。具体步骤包括：

结合图2，假设识别出标记点的当前图像的长为xmax，宽为ymax，选取当前图像中包含标记点的区域特征图像f(x,y)，当前图像为g(x',y')，两点进行图像相关运算：

其中表示f(x,y)与g(x',y')在(x',y')做点对点的乘法运算，显而易见g(x',y')的大小较f(x,y)的像素数小，h(x,y)即为相关函数的分布，其值越大，表示相关程度越高，在整个图像域中，最大值即为匹配上。

假设x'＝x'0,y'＝y'0时h最大，则判断是最大相关的，进行偏移量计算xv＝xm-x'0，ys＝ym-y'0；

假设预先设置的阈值大小为v,s，阈值大小根据具体任务情况设置，一般设置为0～图像四分之一大小，若|xv|≤v,|ys|≤s则说明拍摄的位置在预设的位置范围内，则无人机无需调整当前位姿，否则，进行摄像头方位角调整。具体调整方法，逐步的调整云台，使云台带动相机调整xv，ys大小，再检查图像匹配是不是在预设的范围内。

该方法通过预设的标记点及静态的图像，利用标记点在图像中的位置(偏移量)，来计算无人机的位移差，控制无人机飞行，从而为实现智能化自主飞行作业提供了保障。

本发明还提供了一种基于图像辅助定位的无人机位姿调整系统，请参阅图3，主要包括首尾依次连接的rtk定位模块、图像拍摄模块、图像处理模块、图像识别模块、结果分析模块。

所述rtk定位模块用于导航无人机飞至目标位置点，利用rtk定位精准，为下一步图像辅助定位提供了支撑。所述图像拍摄模块用于对标记点进行图像拍摄，所拍摄图像的标记点与无人机作业的目标点是固定的，极大提高了利用imu、gps等的定位精度，进而显著提高了无人机的作业效率。所述图像处理模块对所述图像拍摄模块拍摄的图像进行图像预处理，包括彩色图像rgb分解、二值化处理、边缘检测。所述图像识别模块对所述图像处理模块输出的图像检测识别标记点，判断标记点是否在图像范围。所述结果分析模块通过将识别出标记点的当前图像与具有目标点的标准图像进行匹配，计算当前图像的偏移量并进行结果分析。若偏移量在预先设定的阈值范围内，则无人机无需调整当前位姿；若偏移量超过预先设定的阈值，则利用rtk定位模块对无人机云台进行位姿调整。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。