一种非接触式直升机外吊挂物的运动测量方法与流程

本申请属于直升机试飞测试技术领域，具体涉及一种非接触式直升机外吊挂物的运动测量方法。

背景技术：

直升机在进行外吊挂作业时，其下吊挂物体相对于直升机机体本身的位置、速度和姿态信息对直升机的飞行品质和飞行安全有至关重要的影响。因此对外吊挂物的运动信息进行准确有效测量，研究悬挂物在直升机飞行时的运动状态，及其对直升机飞行操控和飞行品质影响的规律，对于直升机及其吊挂装置研发设计和用户操作安全具有重大的意义。

目前对于物体的位置与姿态的测量主要有两类技术，一种是接触式测量，该方法通过在物体上固连传感器，进行物体姿态、位置进行检测；另一种是非接触式测量，以光电、电磁、超声波等技术为基础，在不与被测物体表面接触的情况下，得到物体位姿的测量方法。

1、接触式测量。

通过在外吊挂物上固连加速度传感器、陀螺仪等惯性器件，可以对物体加速度、姿态进行测量，由于需要在物体上固连仪器，不能无缝快速更换被测量物体。

对于直升机吊挂作业，由于吊挂物需经常更换，系统需要对不同的作业过程进行测量，因此该方法只适用于低频次，小规模使用，不具备广泛的推广应用的条件。

2、单目视觉

利用单个摄像机，获取目标物在图像空间的角位置；如果利用目标大小信息或已知距离，可以通过单目视觉在一定条件下获取物体的立体位置和姿态，但精度相对较低。

3、双目立体视觉

通过增加一台摄像机，采用双目交汇观测原理，利用目标物特征点在两台摄像机视野内的视察坐标，即可测量出物体的三维位置、姿态。此种方法使用方便、成本较低，精度较高，但是其显著缺点是精度随着距离(径向)呈二次曲线上升。

4、激光雷达测量。

激光雷达测量物体位置姿态的方法，同样具有非接触、系统结构简单、成本较低的优点。其在距离方向上的测量精度随距离增长只呈线性上升，但显著缺点是受限于扫描面数量，扫描面之间夹角较大，因此在垂直于扫描面方向(切向)上的精度较低。

技术实现要素：

为了解决上述技术问题至少之一，本发明提出一种非接触式测量方法，利用双目视觉和激光雷达技术测量直升机飞行过程中外吊挂物运动状态，通过结合两种测量方式，可以优势互补，在径向上有激光保证精度，切向上有双目保证精度，因此总体可以保证较高的精度，同时也可以利用激光数据优化双目识别算法、提高计算速度。

系统采用高速摄像机和三维激光雷达安装在机上，对吊挂物进行观测，通过建立计算机数字图像处理算法、激光三维点云处理算法，综合利用数字图像处理、模式识别、摄影测量、计算机视觉、图像特征像素提取、点云数据特征提取等技术，对外吊挂物运动测量图像和数据进行处理分析，与机载gps惯性导航系统数据同步融合解算，得出直升机在各种自然条件和使用边界的悬停、飞行状态下外吊挂物的三维姿态角度、位移、运动速率。

本发明直升机外吊挂物运动测量方法，包括以下步骤：

步骤一、在直升机上安装有双目摄像头及多线程激光雷达，在外吊挂物上粘贴光学标记用于外吊挂物的识别，所述双目摄像头包括第一相机及第二相机；

步骤二、建立第一相机的相机坐标系，并标定第二相机及多线程激光雷达的坐标，同时确定第一相机坐标系与机体坐标系之间的关系及机体坐标系与大地坐标系之间的关系；

步骤三、采集同一时刻双目摄像头拍摄的外吊挂图像、多线程激光雷达测量的外吊挂光学标记数据，以及飞机导航系统数据；

步骤四、根据双目摄像头采集的外吊挂图像，识别外吊挂图像中的光学标记，并计算光学标记在第一相机坐标系中的三维坐标数据；采用多线程激光雷达测量的外吊挂光学标记数据对所述相机坐标系中的三维坐标数据的z轴数据进行修订，确定外吊挂物相对于第一相机的位移和姿态；

步骤五、根据第一相机坐标系与机体坐标系之间的关系计算出外吊挂物相对于机体的位移和姿态；

步骤六、根据飞机导航系统数据，计算得出外吊挂物相对于大地坐标系的位置及姿态。

优选的是，步骤一所述双目摄像头与所述多线程激光雷达为一体式安装于直升机机腹位置。

优选的是，所述多线程激光雷达包括两个，分配与所述第一相机及所述第二相机固定。

优选的是，所述外吊挂物上粘贴的光学标记至少包括四个。

与现有技术相比，本发明的积极效果是：通过对多种非接触式测量数据的融合处理，并根据直升机外吊挂作业场景对立体匹配、图像识别、点云处理等算法进行定制优化，消除了现有方法的应用限制，实现了在运动载体(直升机)上对吊挂物的非接触式的位姿精确测量，为直升机外吊挂作业提供了实用、有效、可靠的测量手段。具体表现如下：

1、同时采用了激光扫描仪和双目摄像机，避开了接触式测量、单目测量以及地面固定式测量等现有方法的缺陷，充分利用双目立体视觉和激光的特点，融合点云数据，互相校验，测量精度高，可靠性高。

2、非接触式的测量，无需对被测物体进行任何改装；

3、便携、一体化的结构设计，方便拆卸，可多次重复使用。

4、机载实时测量，对直升机振动频谱进行建模，采用卡尔曼滤波、滑窗滤波等手段，对振动造成的图像扰动进行进一步的滤除法，有效消除了直升机飞行状态下的机体振动的影响；

5、在吊挂物体上粘贴光学标记，对光学标记进行持续跟踪，提高了不同吊挂物的识别准确度。

附图说明

图1为按照本发明非接触式直升机外吊挂物的运动测量方法的一优选实施例的摄像机与激光雷达安装示意图。

图2为按照本发明非接触式直升机外吊挂物的运动测量方法的一优选实施例的坐标系转换示意图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

本发明涉及一种非接触式直升机外吊挂物的运动测量方法，包括：

步骤一、在直升机上安装有双目摄像头及多线程激光雷达，在外吊挂物上粘贴光学标记用于外吊挂物的识别，所述双目摄像头包括第一相机及第二相机；

步骤二、建立第一相机的相机坐标系，并标定第二相机及多线程激光雷达的坐标，同时确定第一相机坐标系与机体坐标系之间的关系及机体坐标系与大地坐标系之间的关系；

步骤三、采集同一时刻双目摄像头拍摄的外吊挂图像、多线程激光雷达测量的外吊挂光学标记数据，以及飞机导航系统数据；

步骤四、根据双目摄像头采集的外吊挂图像，识别外吊挂图像中的光学标记，并计算光学标记在第一相机坐标系中的三维坐标数据；采用多线程激光雷达测量的外吊挂光学标记数据对所述相机坐标系中的三维坐标数据的z轴数据进行修订，确定外吊挂物相对于第一相机的位移和姿态；

步骤五、根据第一相机坐标系与机体坐标系之间的关系计算出外吊挂物相对于机体的位移和姿态；

步骤六、根据飞机导航系统数据，计算得出外吊挂物相对于大地坐标系的位置及姿态。

步骤二中，可以采用2个激光雷达，各匹配一个摄像机，2个激光雷达、2个摄像机的分别标定、激光与摄像机联合标定、摄像机与直升机机体的标定；

激光雷达的参数包括两个激光雷达的平移矩阵、旋转矩阵；

摄像头参数包括相机内参(图像主点坐标、倾斜因子、尺度因子)，外参(旋转矩阵和平移矩阵)，以及径向和切向畸变系数；

此外还有摄像机与激光雷达的平移矩阵和旋转矩阵、摄像机与直升机机体坐标系的旋转矩阵和平移矩阵。

步骤四中，对激光雷达采集的点云数据，进行去噪、聚类等处理，识别出外吊挂物的形状轮廓，并将其转换到以左激光为基准的空间直角坐标系，之后，对双目摄像机采集的图像数据进行预处理，然后通过立体匹配算法生成视差点云数据，并对点云进行算法处理，识别出外吊挂物的形状轮廓；将激光点云与图像点云进行融合匹配处理，精确识别外吊挂物的整体轮廓；根据粘贴在外吊挂物上表面四个角点的光学标记特征，采用图像识别算法进行图像匹配，识别出图像中的光学标记，并计算光学标记在相机坐标系中的位置，通过计算得出吊挂物上光学标记在机体坐标系的三维位置，以及外吊挂物的轮廓，计算出外吊挂物相对于机体的位移和姿态。

步骤六中，通过gps惯性导航系统输出的直升机姿态信号，计算外吊挂物相对于大地坐标系的位置及姿态，其中，述gps惯性导航系统加装在直升机重心处。

本实施例中，用于外吊挂物的识别和跟踪的光学标记例如可以是粘贴的特定图案。

参考图1，cam表示摄像机，laser表示激光雷达。为了方便安装，一个摄像机和一个激光组成一组，公用一个安装平台，两者安装相距约2m：

高速摄像机安装于安装平台上，用于向下观测吊挂物上的光学标记。需要在适当位置安装若干光学标记，供摄像机识别使用。一般对于规则物体，至少需要4个标记，呈矩形分布，每个角一个。

坐标系转换如图2所示，其中相机坐标系为x＇y＇z＇，机体坐标系为xbybzb，大地坐标系为xgygzg。

机体坐标系与相机坐标系的坐标转换如下：

其中，是光学标记点相对于机体坐标系的位置；[rt]是由摄像机相对于机体坐标系的方位决定，称为摄像机外部参数矩阵；u、v是标记点在图像坐标系中的位置；αu、αv分别为图像u轴和v轴上的尺度因子，s是描述两图像坐标轴倾斜程度的参数，(u0,v0)为主点坐标，是相机的内参数。

利用标定过程，得出相机内参矩阵以及外参矩阵即相机坐标系与机体坐标系之间的位置、姿态关系[rt]。

采用图像识别算法进行图像匹配，识别出图像中的光学标记，通过计算得到光学标记点在相机坐标系中的位置u、v。

参考上式，联立两台摄像机坐标转换方程，结合激光扫描得出的平面方程求得的zc，即可计算标记点相对于机体坐标系的位置、姿态

通过解算所有光学标记，得出所有光学标记相对于直升机机体坐标系的位置姿态，结合激光点云与图像点云融合处理识别出的外吊挂物的整体轮廓，计算出外吊挂物相对于直升机机体坐标的位置、姿态。

机体坐标系与大地坐标系的坐标转化如下：

通过加装在直升机上的gps惯性导航系统可以获取当前机体地理位置x机，y机，z机和偏移角度φ机ψ机θ机，从而得出机体与大地坐标系之间的位置关系[rgtg]，

通过[rgtg]与可以解算出从而获得外吊挂物相对于大地坐标系的位置和姿态。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。