基于机器视觉的空中加油方法与流程

本申请涉及航空技术领域，具体提供一种基于机器视觉的空中加油方法。

背景技术：

软管式空中自主受油是飞机飞行驾驶中几个最难的科目之一，需要受油机的受油管与加油机的加油锥套精确对接才能实现加油，在目前的加油过程都是靠飞行员的眼睛估计和驾驶经验预测来完成操作对接，由于受到扰动气流的影响和飞行员的视角限制等因素制约影响，一直以来空中加油都是一项成功率不高且操作危险度很高的任务。

技术实现要素：

为了解决上述技术问题至少之一，本申请提供了一种基于机器视觉的空中加油方法，包括：获取加油锥套的第一图像，其中，所述加油锥套包括双环结构；对所述第一图像进行处理，得到第二图像；对所述第二图像进行边缘检测和形状识别；根据所述边缘检测的结果和所述形状识别的结果，计算所述加油锥套的位置坐标；根据所述位置坐标跟踪并锁定所述加油锥套的运动状态；根据所述运动状态，对飞机进行空中加油。

根据本申请的至少一个实施例，所述第一图像的色彩模式为rgb模式；所述对所述第一图像进行处理，得到第二图像，包括：将所述第一图像由rgb色彩空间转换为hsv色彩空间；采用最佳h阈值、最佳s阈值和最佳v阈值，对所述第一图像进行滤波；滤波后的图像为所述第二图像。

根据本申请的至少一个实施例，所述最佳h阈值为80，所述最佳s阈值为80，所述最佳v阈值为50。

根据本申请的至少一个实施例，所述将所述第一图像由rgb色彩空间转换为hsv色彩空间，采用如下公式：

v＝max(r,g,b)

h＝h+360(h＜0)。

根据本申请的至少一个实施例，所述对所述第二图像进行边缘检测和形状识别，包括：通过canny边缘检测算法来对所述第二图像进行边缘检测和形状识别。

根据本申请的至少一个实施例，所述根据所述边缘检测的结果和所述形状识别的结果，计算所述加油锥套的位置坐标，包括：通过对所述加油锥套的双环特征区域的边缘进行最小二乘椭圆拟合，得到的内、外椭圆长轴之比；若所述内、外椭圆长轴之比在设定范围内，则检测到的双环为所述加油锥套的双环特征区域；若所述内、外椭圆长轴之比不在所述设定范围内，则检测到的双环不是所述加油锥套的双环特征区域。

根据本申请的至少一个实施例，所述通过对所述加油锥套的双环特征区域的边缘进行最小二乘椭圆拟合，按下式来进行计算：

其中，

(x0,y0)表示椭圆的重心坐标，a表示长轴半径，b表示短轴半径，θ表示长轴与x轴的夹角。

根据本申请的至少一个实施例，所述根据所述位置坐标跟踪并锁定所述加油锥套的运动状态，包括：判断所述第二图像是否存在遮挡；若不存在遮挡，则跟踪并锁定所述加油锥套的运动状态。

根据本申请的至少一个实施例，所述根据所述位置坐标跟踪并锁定所述加油锥套的运动状态，还包括：若存在遮挡，则预测所述加油锥套的最优位置。

根据本申请的至少一个实施例，按下式测量所述加油锥套的中心位置并解算所述加油锥套的位置坐标：

其中，l为加油锥套缩比模型尺寸，f为相机焦距，l为平面上加油锥套图像所占的像素数，z为相机所在坐标系零点到加油锥套所在平面的距离。

本申请实施例提供的基于机器视觉的空中加油方法中，能够准确的测量和跟踪锥套的运动，得出精确的锥套相对位置参数，并且这个方法解算运行速度快，鲁棒性强可以适应一定程度的锥套运动形变、无规则运动和遮挡等空中加油中出现的情况，有较好的实际工程应用价值。

附图说明

图1是本申请实施例提供的加油方法的流程示意图；

图2是本申请实施例提供的加油锥套的第一图像；

图3是本申请实施例提供的加油锥套的第二图像；

图4是本申请实施例提供的第二图像经边缘检测和形状识别后的图像；

图5是本申请实施例提供的加油锥套重心位置和锥套位置坐标解算图像。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1是本申请实施例提供的加油方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤101，获取加油锥套的第一图像。

其中，加油锥套包括双环结构。

作为一种可选的实施方式，为了进行空中加油环境仿真实验，可以采用3d打印的缩比锥套模型来模拟加油伞锥，使用可伺服运动的工业摄像头来模拟受油机，搭建一个建议的加油模拟环境，标定相机和空间坐标系，并连接到计算机上来采集加油锥套的第一图像，采集到的图像如图2所示。

步骤102，对第一图像进行处理，得到第二图像。

可选地，第一图像的色彩模式为rgb模式，则可以通过以下的步骤对第一图像进行处理来得到第二图像：

将第一图像由rgb色彩空间转换为hsv色彩空间；

采用最佳h阈值、最佳s阈值和最佳v阈值，对所述第一图像进行滤波；

滤波后的图像为第二图像。

其中，最佳h阈值包括但不限于80，最佳s阈值包括但不限于80，最佳v阈值包括但不限于50。

将第一图像由rgb色彩空间转换为hsv色彩空间可以采用如下公式：

v＝max(r,g,b)

h＝h+360(h＜0)。

示例性地，滤波后得到的第二图像如图3所示。

步骤103，对第二图像进行边缘检测和形状识别。

可以采用canny边缘检测算法对第二图像进行边缘检测和形状识别。

示例性地，边缘检测和形状识别后的图像如图4所示。

步骤104，根据边缘检测的结果和形状识别的结果，计算加油锥套的位置坐标。

可选地，计算加油锥套的位置坐标可以通过如下步骤来实现：

通过对加油锥套的双环特征区域的边缘进行最小二乘椭圆拟合，得到的内、外椭圆长轴之比；

若内、外椭圆长轴之比在设定范围内，则检测到的双环为加油锥套的双环特征区域；

若内、外椭圆长轴之比不在设定范围内，则检测到的双环不是加油锥套的双环特征区域。

其中，平面任意位置椭圆的方程表达式为：

式中，(x0,y0)表示椭圆的重心坐标，a表示长轴半径，b表示短轴半径，θ表示长轴与x轴的夹角，令：

则椭圆方程可以改写为：

x²+axy+by²+cx+dy+e＝0

根据最小二乘原理，应通过求目标函数

来确定参数a、b、c、d、e，其中，k＝1,2,3，……，n(n>5)。

根据极值原理，欲使f值最小，则：

求解得到a、b、c、d、e的值后即可得到椭圆中心坐标为：

示例性地，加油锥套的重心位置和位置坐标解算图像如图5所示。

步骤105，根据位置坐标跟踪并锁定加油锥套的运动状态。

可选地，根据位置坐标跟踪并锁定加油锥套的运动状态可以通过以下步骤来实现：

判断第二图像是否存在遮挡；若不存在遮挡，则跟踪并锁定加油锥套的运动状态；若存在遮挡，则预测加油锥套的最优位置。

在一示例中，根据小孔成像原理，在加油锥套缩比模型尺寸、相机焦距已知的情况下，根据平面上加油锥套图像所占的像素数解算其深度位置，具体地，可以按照下式来进行计算：

其中，l为加油锥套缩比模型尺寸，f为相机焦距，l为平面上加油锥套图像所占的像素数，z为相机所在坐标系零点到加油锥套所在平面的距离。

步骤106，根据运动状态，对飞机进行空中加油。

本实施例提供的基于机器视觉的空中加油方法，能够准确的测量和跟踪锥套的运动，得出精确的锥套相对位置参数，并且这个方法解算运行速度快，鲁棒性强可以适应一定程度的锥套运动形变、无规则运动和遮挡等空中加油中出现的情况，有较好的实际工程应用价值。

至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。