一种空中加油锥套空间姿态测量方法及系统的制作方法
【专利摘要】本发明公开了一种空中加油锥套空间姿态测量方法及系统，涉及空中加油技术领域。通过将红色环反光膜椭圆拟合结果与蓝色环反光膜椭圆拟合结果结合，并辅以强光源，形成加油锥套视觉强特征，从而使得加油锥套视觉测量精度更高，且红色+蓝色双色特征有效克服了加油锥套姿态解算二义性问题，从而提升空中加油对接成功率。
【专利说明】
一种空中加油锥套空间姿态测量方法及系统
技术领域
[0001] 本发明涉及空中加油技术领域，特别涉及一种空中加油锥套空间姿态测量方法及 系统。
【背景技术】
[0002] 自主空中加油技术能够为有人机/无人机延长滞空时间，拓展作战半径，提升远程 打击能力，增强完成使命任务的能力，具有极其重要的战略地位，对我国现有空战模式转型 和发展具有重大意义，能够大幅提升我国防空能力，而加油锥套的精确定位是成功、安全完 成自主空中加油任务的关键所在。
[0003] 现有技术中，采用视觉测量技术对加油锥套进行实时检测和位姿解算已成为主要 技术方案。现有方法中，采用LED灯作为加油锥套视觉测量的检测特征，利用空间点与图像 点对应关系求解加油锥套空间位姿，特征提取困难、位姿解算算法复杂且精度较低，特别是 加油锥套空间姿态的测量，由于其图像中圆形的对称性，姿态解算二义性问题一直未曾解 决，给自主空中加油过程留下了安全隐患。
【发明内容】
[0004] 本发明实施例提供了一种空中加油锥套空间姿态测量方法及系统，用以解决现有 技术中存在的问题。
[0005] -种空中加油锥套空间姿态测量方法，所述方法包括：
[0006] 采集加油锥套的运动视频，并在所述运动视频中采集图像，其中所述加油锥套的 端面安装有红色反光膜，所述加油锥套内侧安装有蓝色反光膜；
[0007] 将所述图像转换至HSV色彩空间，并设置阈值以提取所述加油锥套视觉强特征；
[0008] 采用Canny边缘检测算法在所述加油锥套的视觉强特征中提取所述红色反光膜的 图像边缘和蓝色反光膜的图像边缘，并利用椭圆拟合算法求解所述红色反光膜的图像边缘 和蓝色反光膜的图像边缘形成的椭圆的参数；
[0009] 利用所述红色反光膜的图像边缘形成的椭圆的参数求解所述加油锥套的姿态角 度，并利用所述蓝色反光膜的图像边缘形成的椭圆的参数对求解得到的所述姿态角度进一 步处理，消除所述加油锥套空间姿态测量中的二义性，获得所述加油锥套的准确姿态角度。
[0010] 优选地，步骤将所述图像转换至HSV色彩空间，并设置阈值以提取所述加油锥套视 觉强特征具体包括：
[0011] 通过下式将所述图像转换至HSV色彩空间：
[0012] V=max(R,G,B)
[0015] H=H+360，if H<0
[0016] 其中，R、G、B分别代表RGB色彩空间的红色、绿色和蓝色的强度值;H、S、V分别代表 HSV色彩空间的色调、饱和度和明度的强度值；
[0017]设置H通道阈值，提取所述图像所需通道的色彩蒙板，从而将所述加油锥套端面图 像与背景分割，获得所述加油锥套视觉强特征。
[0018] 优选地，步骤利用所述红色反光膜的图像边缘形成的椭圆的参数求解所述加油锥 套的姿态角度，并利用所述蓝色反光膜的图像边缘形成的椭圆的参数对求解得到的所述姿 态角度进一步处理，消除所述加油锥套空间姿态测量中的二义性，获得所述加油锥套的准 确姿态角度具体包括：
[0019] 定义所述加油锥套的静止坐标系和空间旋转坐标系，所述静止坐标系固定不动， 所述空间旋转坐标系依次绕所述静止坐标系的Y轴和X轴旋转，并定义其旋转过的角度分别 为偏航角和俯仰角，所述姿态角度包括所述偏航角和俯仰角，其中所述偏航角和俯仰角均 通过所述红色反光膜的图像边缘形成的椭圆偏心率的反余弦计算获得；
[0020] 对比所述蓝色反光膜的图像边缘形成的椭圆中心坐标和所述红色反光膜的图像 边缘形成的椭圆的中心坐标，判定所述红色反光膜的图像边缘形成的椭圆偏心率的反余弦 的正负，进而确定所述加油锥套的准确姿态角度。
[0021] 本发明还提供了一种空中加油锥套空间姿态测量系统，所述系统包括：
[0022] 图像采集模块，用于采集加油锥套的运动视频，并在所述运动视频中采集图像，其 中所述加油锥套的端面安装有红色反光膜，所述加油锥套内侧安装有蓝色反光膜；
[0023] 特征提取模块，用于将所述图像转换至HSV色彩空间，并设置阈值以提取所述加油 锥套视觉强特征；
[0024] 椭圆拟合模块，用于采用Canny边缘检测算法在所述加油锥套的视觉强特征中提 取所述红色反光膜的图像边缘和蓝色反光膜的图像边缘，并利用椭圆拟合算法求解所述红 色反光膜的图像边缘和蓝色反光膜的图像边缘形成的椭圆的参数；
[0025] 姿态求解模块，用于利用所述红色反光膜的图像边缘形成的椭圆的参数求解所述 加油锥套的姿态角度，并利用所述蓝色反光膜的图像边缘形成的椭圆的参数对求解得到的 所述姿态角度进一步处理，消除所述加油锥套空间姿态测量中的二义性，获得所述加油锥 套的准确姿态角度。
[0026] 本发明实施例中加油锥套空中姿态测量方法及系统与现有技术相比具有以下有 益效果:改装简单易行，且不含电气元件，有效避免加油过程的安全隐患。将红色环反光膜 椭圆拟合结果与蓝色环反光膜椭圆拟合结果结合，并辅以强光源，形成加油锥套视觉强特 征，从而使得加油锥套视觉测量精度更高，且红色+蓝色双色特征有效克服了加油锥套姿态 解算二义性问题，从而提升空中加油对接成功率。
【附图说明】
[0027] 为了更清楚地说明本发明发明实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本发明发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提 下，还可以根据这些附图获得其他的附图。
[0028] 图1为本发明实施例提供的一种空中加油锥套空间姿态测量方法的步骤流程图；
[0029] 图2为本发明实施例提供的经过改装的受油机和加油锥套的结构示意图；
[0030] 图3为图2中加油锥套的局部结构示意图；
[0031 ]图4为本发明实施例提供的坐标系示意图；
[0032] 图5为使用图1中方法测量的误差图；
[0033] 图6为本发明实施例提供的一种空中加油锥套空间姿态测量系统的功能模块图。
【具体实施方式】
[0034]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0035]参照图1，本发明实施例提供了一种空中加油锥套空间姿态测量方法，所述方法包 括：
[0036]步骤100,对自主空中加油的加油锥套730、受油机700进行适当改装，以便于得到 质量良好的加油锥套运动图像，如图2和图3所示；
[0037] 具体地，步骤100包括：
[0038]子步骤110，在加油锥套730端面加贴红色反光膜740;
[0039]子步骤120,加油锥套730内侧加贴蓝色反光膜750;
[0040] 子步骤130,受油机700机背加装相机710,并附加连接线、上位机、姿态解算软件 等。
[0041] 步骤200,定义加油锥套空间姿态测量所用的相关坐标系，包括世界坐标系、相机 坐标系、像素坐标系和图像物理图像坐标系；
[0042]具体地，世界坐标系为（0W，Xw，Yw，Zw)，相机坐标系（〇，X c，Yc，Zc)以相机光心为原 点，以垂直于图像平面向外的相机光轴为Z。轴，X。轴和Y。轴遵照右手坐标系分别平行于图像 平面的相机坐标系；图像的物理图像坐标系(O^xj)以图像中心为原点，向右为x轴正向， 向下为y轴正向；以及像素坐标系(〇〇，u，v)以图像左上角为坐标原点，向右为u轴正向，向下 为v轴正向，如图4所示。物理图像坐标系中的点p为相机坐标系中的点P的投影点，以及物理 图像坐标系和像素坐标系的对应关系如图所示，uo和vo为将所述物理图像坐标系转换至所 述像素坐标系后所述物理图像坐标系原点的坐标。
[0043]步骤300,采用受油机700机背上的相机710采集改装后的加油锥套730运动视频， 以一定帧率采集图像，并选取合适的图像大小，不影响视觉解算软件实时处理为宜；
[0044]步骤400,将图像转换至HSV色彩空间，并设置阈值以提取加油锥套视觉强特征； [0045] 具体地，步骤400包括：
[0046]子步骤410,将图像转换至HSV色彩空间；相机所采集图像为全彩色图像，其由各为 8比特像素深度的红、绿、蓝图像组成。通过提取红色通道图像，并通过下式将所采集图像转 换至HSV色彩空间：
[0050] H=H+360，if H<0
[0051 ] 其中，R、G、B分别代表RGB色彩空间的红色、绿色和蓝色的强度值，取值范围0-255， 无量纲;H、S、V分别代表HSV色彩空间的色调、饱和度和明度的强度值，色调取值范围为0° -360°，饱和度取值范围是0 % -100 %，饱和值越大，颜色越饱和，明度取值范围是0 % -100 %， 颜色从黑到白。
[0052]子步骤420,通过设置H通道阈值，即可提取图像所需通道的色彩蒙板，从而将加油 锥套端面图像与背景分割。
[0053]步骤500,采用Canny边缘检测算法在加油锥套的视觉强特征中提取红色反光膜 740的图像边缘和蓝色反光膜750的图像边缘，并利用椭圆拟合算法求解红色反光膜740的 图像边缘和蓝色反光膜750的图像边缘形成的椭圆的参数；
[0054] 具体地，步骤500包括：
[0055]子步骤510,采用Canny边缘检测算法对加油锥套730的图像中红色反光膜740和蓝 色反光膜750的"环形"视觉特征进行边缘提取，记录边缘像素点在像素坐标系下的坐标(X， y)；
[0056]子步骤520,加油锥套端面为圆形，所成图像为椭圆；利用子步骤510边缘提取得到 的边缘像素点的坐标信息，采用椭圆拟合算法计算红色反光膜740的图像边缘和蓝色反光 膜750的图像边缘形成的椭圆在像素坐标系下的中心坐标和椭圆的其他参数。椭圆拟合算 法如下：
[0057]平面任意位置的椭圆方程数学表达式：
[0059] 式中，（XQ，yo)代表椭圆的中心坐标、a代表长轴半径、b代表短轴半径、<9代表长轴 与x轴的夹角。令：
[0065] 则椭圆的方程可改写为：
[0066] x2+Axy+By2+Cx+Dy+E = 0 (8)
[0067] 根据最小二乘原理，应通过求目标函数：
[0069]来确定参数A、B、C、D和E。其中k = l，2,3, ? ? ?，n，n彡5。
[0070]由极值原理，欲使F值最小，必有：
[0072] 求解得A、B、C、D和E值后便可得到椭圆中心坐标为：
[0074] 经过色彩空间转换、灰度阈值分割、最小二乘椭圆拟合，实现了对加油锥套的识别 任务，并有效地提取了椭圆长轴半径a、椭圆短轴半径b和长轴与x轴的夹角
[0075] 步骤600,利用空间圆的不同旋转方式之间的等价关系以及所得红色反光膜740的 图像边缘形成的椭圆的参数求解加油锥套空间姿态角度一一俯仰角和偏航角，并利用蓝色 反光膜的图像边缘形成的椭圆的参数对求解得到的姿态角度进一步处理，消除加油锥套空 间姿态测量中的二义性，获得加油锥套的准确姿态角度。
[0076] 具体地，步骤600包括：
[0077] 子步骤610，定义加油锥套静止坐标系s : 0XYZ，空间旋转坐标系b: oxyz，且s : 0XYZ 与相机坐标系成镜像关系。静止坐标系固定不动，而旋转坐标系依次绕静止坐标系的Y轴和 X轴旋转，并定义其旋转过的角度分别为偏航角P和俯仰角0。
[0078]采用两种旋转方式来描述加油锥套的空间相对姿态。第一种旋转是按转动方 式求解姿态Cf矩阵。对于加油锥套的任意空间姿态，均可以通过此种方式将其从垂直于相 机成像面的姿态转换至当前姿态。其旋转顺序为先绕Y轴旋转再绕新的X'轴旋转0，即可 得到当前加油锥套空间姿态。根据欧拉角度变换规则，可知，该旋转矩阵为：
[0080] 其中，1^、132表示静止坐标系旋转之后的坐标系。
[0081 ]第二种加油锥套空间姿态描述方式是按a-0- y转动方式求解旋转矩阵Cf。.该方式 基于加油锥套图像序列处理得到的椭圆拟合结果进行空间姿态旋转变换，所需参数a为椭 圆长轴与x轴夹角，即S角，0为红色反光膜的图像边缘形成的椭圆偏心率的反余弦，
标系的旋转矩阵为： ，Y为辅助旋转角。第二种加油锥套空间姿态描述方式相对于静止坐
[0083]因两种旋转方式具有等价性，对比式（12)和（13)，由第三行不含y项，可得：
[0085]左右两边平方和均为1，形成"自洽"，即三个等式之间具有内部逻辑性，任意两个 等式的解适用于第三个等式。若已知a，P，则有：
[0087]根据图像椭圆拟合参数数据即可解算得到加油锥套的空间姿态信息(汉的。
[0088]子步骤620，消除加油锥套姿态角度解算二义性；
[0089] 对于识别圆面姿态问题，各角度值域均在(-90°，90°)范围内。a角度测量值的正负 取值不存在问题；而0的正负无从判定，故存在双解，其中一个解为错解。通过在加油锥套 730内侧加贴蓝色反光膜750的方式，对比蓝色反光膜的图像边缘形成的椭圆中心坐标和红 色反光膜的图像边缘形成的椭圆的中心坐标，即可判定0的正负，进而确定加油锥套的准确 姿态角度。
[0090] 验证实验结果的误差图见图5,可见姿态测量误差在1°以内，并对上述实验结果进 行统计学分析，得到结果见表1，从统计学角度说明本发明的可靠和高效。
[0092]基于同一发明构思，本发明实施例提供了一种空中加油锥套空间姿态测量系统， 如图6所示，由于该系统解决技术问题的原理和一种空中加油锥套空间姿态测量方法相似， 因此该系统的实施可参照方法的实施，重复之处不再赘述。
[0093]坐标系定义模块800,用于定义加油锥套空间姿态测量所用的相关坐标系，包括世 界坐标系、相机坐标系、像素坐标系和图像物理图像坐标系；
[0094]图像采集模块810,用于采用受油机700机背上的相机710采集改装后的加油锥套 730运动视频，以一定帧率采集图像，并选取合适的图像大小；
[0095]特征提取模块820,用于将图像转换至HSV色彩空间，并设置阈值以提取加油锥套 视觉强特征；
[0096]椭圆拟合模块830,用于采用Canny边缘检测算法在加油锥套的视觉强特征中提取 所色反光膜的图像边缘和蓝色反光膜的图像边缘，并利用椭圆拟合算法求解红色反光膜的 图像边缘和蓝色反光膜的图像边缘形成的椭圆的参数；
[0097]姿态求解模块840,用于利用红色反光膜的图像边缘形成的椭圆的参数求解加油 锥套的姿态角度，并利用蓝色反光膜的图像边缘形成的椭圆的参数对求解得到的姿态角度 进一步处理，消除加油锥套空间姿态测量中的二义性，获得加油锥套的准确姿态角度。
[0098] 应当理解，以上一种空中加油锥套空间姿态测量系统包括的模块仅为根据该系统 实现的功能进行的逻辑划分，实际应用中，可以进行上述模块的叠加或拆分。并且该实施例 提供的一种空中加油锥套空间姿态测量系统所实现的功能与上述实施例提供的一种空中 加油锥套空间姿态测量方法一一对应，对于该系统所实现的更为详细的处理流程，在上述 方法实施例一中已做详细描述，此处不再详细描述。
[0099] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0100] 本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序 指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产 生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0101] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0102] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的步骤。
[0103] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本发明范围的所有变更和修改。
[0104] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1. 一种空中加油锥套空间姿态测量方法，其特征在于，所述方法包括： 采集加油锥套的运动视频，并在所述运动视频中采集图像，其中所述加油锥套的端面 安装有红色反光膜，所述加油锥套内侧安装有蓝色反光膜； 将所述图像转换至HSV色彩空间，并设置阈值以提取所述加油锥套视觉强特征； 采用Canny边缘检测算法在所述加油锥套的视觉强特征中提取所述红色反光膜的图像 边缘和蓝色反光膜的图像边缘，并利用椭圆拟合算法求解所述红色反光膜的图像边缘和蓝 色反光膜的图像边缘形成的椭圆的参数； 利用所述红色反光膜的图像边缘形成的椭圆的参数求解所述加油锥套的姿态角度，并 利用所述蓝色反光膜的图像边缘形成的椭圆的参数对求解得到的所述姿态角度进一步处 理，消除所述加油锥套空间姿态测量中的二义性，获得所述加油锥套的准确姿态角度。2. 如权利要求1所述的方法，其特征在于，步骤将所述图像转换至HSV色彩空间，并设置 阈值以提取所述加油锥套视觉强特征具体包括： 通过下式将所述图像转换至HSV色彩空间：H=H+360,if H<0 其中，R、G、B分别代表RGB色彩空间的红色、绿色和蓝色的强度值;H、S、V分别代表HSV色 彩空间的色调、饱和度和明度的强度值； 设置H通道阈值，提取所述图像所需通道的色彩蒙板，从而将所述加油锥套端面图像与 背景分割，获得所述加油锥套视觉强特征。3. 如权利要求1所述的方法，其特征在于，步骤利用所述红色反光膜的图像边缘形成的 椭圆的参数求解所述加油锥套的姿态角度，并利用所述蓝色反光膜的图像边缘形成的椭圆 的参数对求解得到的所述姿态角度进一步处理，消除所述加油锥套空间姿态测量中的二义 性，获得所述加油锥套的准确姿态角度具体包括： 定义所述加油锥套的静止坐标系和空间旋转坐标系，所述静止坐标系固定不动，所述 空间旋转坐标系依次绕所述静止坐标系的Y轴和X轴旋转，并定义其旋转过的角度分别为偏 航角和俯仰角，所述姿态角度包括所述偏航角和俯仰角，其中所述偏航角和俯仰角均通过 所述红色反光膜的图像边缘形成的椭圆偏心率的反余弦计算获得； 对比所述蓝色反光膜的图像边缘形成的椭圆中心坐标和所述红色反光膜的图像边缘 形成的椭圆的中心坐标，判定所述红色反光膜的图像边缘形成的椭圆偏心率的反余弦的正 负，进而确定所述加油锥套的准确姿态角度。4. 一种空中加油锥套空间姿态测量系统，其特征在于，所述系统包括： 图像采集模块，用于采集加油锥套的运动视频，并在所述运动视频中采集图像，其中所 述加油锥套的端面安装有红色反光膜，所述加油锥套内侧安装有蓝色反光膜； 特征提取模块，用于将所述图像转换至HSV色彩空间，并设置阈值以提取所述加油锥套 视觉强特征； 椭圆拟合模块，用于采用Canny边缘检测算法在所述加油锥套的视觉强特征中提取所 述红色反光膜的图像边缘和蓝色反光膜的图像边缘，并利用椭圆拟合算法求解所述红色反 光膜的图像边缘和蓝色反光膜的图像边缘形成的椭圆的参数； 姿态求解模块，用于利用所述红色反光膜的图像边缘形成的椭圆的参数求解所述加油 锥套的姿态角度，并利用所述蓝色反光膜的图像边缘形成的椭圆的参数对求解得到的所述 姿态角度进一步处理，消除所述加油锥套空间姿态测量中的二义性，获得所述加油锥套的 准确姿态角度。
【文档编号】G01C11/02GK106052650SQ201610579748
【公开日】2016年10月26日
【申请日】2016年7月21日 公开号201610579748.0, CN 106052650 A, CN 106052650A, CN 201610579748, CN-A-106052650, CN106052650 A, CN106052650A, CN201610579748, CN201610579748.0
【发明人】孔星炜, 董新民, 支健辉, 王旭峰
【申请人】中国人民解放军空军工程大学