一种基于双目视觉的飞机局部外形测量方法与流程

[0001]
本发明属于数字化测量的技术领域，具体涉及一种基于双目视觉的飞机局部外形测量方法。


背景技术：

[0002]
当前航空制造业正不断向数字化、信息化发展，随着飞机性能要求的不断提升，航空产品制造过程中的质量把控越来越重要，传统的生产模式和测量方法已不足以满足新形势下航空产品的生产需求。因此，应用具备测量精度高，测量数据管理便捷，特征涵盖范围大等优点的数字化测量技术，优化提升产品质量与性能，是当前航空制造业升级转型发展的重要内容。
[0003]
在飞机制造过程中，飞机大型零部件生产与装配是较为重要的环节之一，传统生产方法中，常采用测量产品表面大量离散点坐标值的方式，来衡量大型零部件的制造质量。例如，使用激光跟踪仪对零部件表面进行采样检测。在一定范围内，激光跟踪仪具有较高精度，但实际使用时，需要对激光跟踪仪进行建站或转站等工作，还需要操作人员手持靶球进行测点采集，效率较低。使用一种更为高效，且能够在较大范围下精确测量飞机外形的方法，已成为飞机制造环节数字化检测的迫切需求之一。


技术实现要素：

[0004]
本发明的目的在于提供一种基于双目视觉的飞机局部外形测量方法，通过agv小车搭载双目相机，对大尺寸范围下飞机局部外形区域大量靶标点进行精确测量，自动修正agv小车位姿，具有自动化功能，降低干涉，有助于提高检测效率。
[0005]
本发明主要通过以下技术方案实现：一种基于双目视觉的飞机局部外形测量方法，使用agv小车搭载双目相机，在测量区域对应黏贴反光标志点，且标志点包括靶标点和编码点，所述编码点含有编号信息，用于确定周围靶标点与其对应关系；包括以下步骤：步骤s100：若双目相机观测到新的靶标点则进行靶标点初始化；步骤s200：根据系统控制信号u对系统状态预测得到agv小车位姿、靶标点坐标；步骤s300：采用双目相机进行实际图像采集并进行观测值计算，拍摄得到实际采集的靶标点；步骤s400：结合步骤s200中的预测的agv小车位姿、靶标点坐标以及步骤s300中实际采集的靶标点，并基于自适应卡尔曼滤波方法更新agv小车位姿以及靶标点坐标；在双目相机的左、右相机拍摄完左、右图像后，根据图片中匹配好的编码点信息，通过icp算法完成双目相机的左、右相机采集的左、右图像中待测靶标点的匹配，根据双目视觉原理，计算出各靶标点在相机坐标系下的坐标，并将其变换到相对于agv小车系统固定的坐标系下，以更新校正agv小车位姿；设agv小车坐标系与左侧相机坐标系重合，则在k时刻，agv小车的运动模型为：
其中：为控制信号，控制小车的速度和转向角；θ表示小车方位角，l为小车轴距，为小车转向角，dt为时间的微分；avg小车的运动按时域划分，每一次执行控制指令的过程可视为一个时刻，k时刻即第k次执行指令的时候；在k时刻的小车方位角为θ
k
，且小车转向角分别为；在k-1时刻的小车方位角为θ
k-1
；在k时刻以及k-1时刻时，avg小车的x方向的坐标分别为x
k
、x
k-1
，且y方向的坐标分别为：y
k
、y
k-1
；u
k
为在k时刻的控制信号；avg小车的移动速度v
k
和转向角由k时刻的控制信号u
k
决定。
[0006]
世界坐标系应是固定不动的，世界坐标系可根据需要另行建立，不应建立在移动的小车系统中。
[0007]
本发明在使用过程中，所述双目相机通过升降平台安装在agv小车上实现对带测量区域的检测。测量前，需要在待测量区域粘贴反光标志点，标志点包括靶标点和编码点，编码点含有编号信息，可用于确定周围靶标点与其相对关系。如图1所示，设图中黑色的点为编码点，白色的点为靶标点。
[0008]
本发明通过规划控制升降平台和agv小车，将双目相机移动到检测位置，完成图像拍摄。使用自适应卡尔曼滤波算法，对拍摄到的靶标点坐标进行维护，实现坐标高精度计算。所使用的双目相机事先已进行过标定，设双目相机中，右侧相机相对于左侧相机的旋转矩阵为r，平移向量为t。本发明通过双目相机采集靶标点与标定点，一方面用于重构物体外形，另一方面通过将各靶标点变换到相对于agv小车系统固定的坐标系下，校正agv小车的测量路线，降低复杂环境的干涉，提高测量的精度。
[0009]
为了更好地实现本发明，进一步地，在步骤s400中，对于初次观测到的靶标点，使用自适应卡尔曼滤波算法将靶标点信息添加到联合状态序列中，并更新对应协方差；当双目相机在不同摄站进行拍摄时，根据图像采集的观测信息以及协方差信息，通过自适应卡尔曼滤波方法完成靶标点坐标值的计算与更新。
[0010]
为了更好地实现本发明，进一步地，设在k时刻，小车位姿与靶标点坐标联合状态
向量为，且，协方差为，其中 表示各靶标点坐标，根据控制信号u预测系统先验状态向量：状态转移方程f为：根据状态转移方程f计算传递后的协方差：其中，表示小车的运动模型；表示k时刻小车的后验位姿估计值；表示对k时刻小车位姿的先验估计值；表示对k-1时刻小车位姿的后验估计值；表示k时刻靶标点的先验估计值；表示k-1时刻，已观测到的所有靶标点的后验估计值；为噪声干扰参数；是对时刻状态量求导所得的雅克比矩阵，表示k时刻的先验协方差估计矩阵，表示k-1时刻的后验协方差估计矩阵；为观测模型观测误差服从的高斯分布的协方差矩阵；上标t表示矩阵转置。
[0011]
协方差为n
×
n的矩阵，n为的行数，的表达为本领域的公知常识，故不再赘述。
[0012]
m为靶标点向量，用于表示所有已知靶标点空间坐标。是状态转移函数对k-1时刻状态量求导所得的雅克比矩阵。表示k时刻的先验协方差估计矩阵，表示k-1时刻的后验协方差估计矩阵。为噪声干扰。为增广观测函数。
[0013] 表示状态转移函数对状态量x求导所得的雅克比矩阵。
[0014]
为了更好地实现本发明，进一步地，如果经过观测，图片中同时存在已经观测到的靶标点和新的靶标点，则根据相机观测模型，计算预测值与实际值的残差：其中，设已观测到的靶标点编号为i，新观测到的靶标点编号为j；h为观测函数，为经观测函数计算出的第i个靶标点坐标预测值，为使用相机系统测量出的靶标点读数值；表示对k时刻小车位姿的先验估计值；表示k-1时刻，已观测到的靶标点的后验估计值；表示靶标点i的测量值与预测值之间的误差，亦称为新息；以下使用自适应卡尔曼滤波算法求取系统后验概率密度估计，令：
求出自适应渐消因子：根据调整计算系统先验协方差估计值：再计算卡尔曼增益：最后，完成系统后验概率分布计算，更新所有已观测到的靶标点坐标信息：其中：均为中间过程参数；是对k-1时刻状态量求导所得的雅克比矩阵，是由观测函数分别对小车状态和第i个靶标点求导所组成的矩阵；为中间过程参数，表示k时刻的观测新息之间的期望；
为中间过程参数，表示k-1时刻的观测新息之间的期望；表示靶标点测量值与预测值之间的误差，亦称为新息；tr( )表示矩阵的取迹运算；为自适应渐消因子；为控制误差服从的高斯分布的协方差矩阵；为新息协方差矩阵；为卡尔曼增益；上标t表示矩阵转置。
[0015]
为了更好地实现本发明，进一步地，对于新观测到的靶标点，计算新观测到靶标点的全局坐标：的全局坐标：其中，表示新观测到的第j个靶标点向量；表示新观测到的第j个靶标点的信息；为观测函数逆函数，用于将新观测到的靶标点坐标转换到规定的全局坐标系下；表示小车位姿的自协方差，表示小车位姿与靶标点坐标之间的互协方差；表示靶标点坐标的自协方差；为观测函数逆函数对小车状态的偏导数；
为靶标点的偏导数；为观测噪声协方差矩阵；最后将新靶标点坐标添加到系统状态向量中：至此，完成基于自适应卡尔曼滤波方法的靶标点坐标值的计算与更新。
[0016] 表示靶标点与小车之间的距离和方位角。
[0017]
进一步地，重复步骤s100-步骤s400直到不再控制小车移动或给出终止信号停止。
[0018]
本发明的有益效果：（1）本发明通过agv小车搭载双目相机，对大尺寸范围下飞机局部外形区域大量靶标点进行精确测量，自动修正agv小车位姿，具有自动化功能，降低干涉，有助于提高检测效率。
[0019]
（2）本发明通过规划控制升降平台和agv小车，将双目相机移动到检测位置，完成图像拍摄。使用自适应卡尔曼滤波算法，对拍摄到的靶标点坐标进行维护，实现坐标高精度计算。
[0020]
（3）本发明通过将各靶标点变换到相对于agv小车系统固定的坐标系下，并通过自适应卡尔曼滤波方法完成靶坐标点坐标值的计算与更新，实现对agv小车位姿的精确修正，精确导航，降低干涉。
附图说明
[0021]
图1为飞机局部外形测量示意图；图2为agv小车运动模型示意图；图3为靶标点测量流程示意图。
具体实施方式
[0022]
实施例1：一种基于双目视觉的飞机局部外形测量方法，如图1所示，使用agv小车搭载双目相机，在测量区域对应黏贴反光标志点，且标志点包括靶标点和编码点，所述编码点含有编号信息，用于确定周围靶标点与其对应关系；包括以下步骤：步骤s100：若双目相机观测到新的靶标点则进行靶标点初始化；步骤s200：根据系统控制信号u对系统状态预测得到agv小车位姿、靶标点坐标；步骤s300：采用双目相机进行实际图像采集并进行观测值计算，拍摄得到实际采集的靶标点；步骤s400：结合步骤s200中的预测的agv小车位姿、靶标点坐标以及步骤s300中实际采集的靶标点，并基于自适应卡尔曼滤波方法更新agv小车位姿以及靶标点坐标；在双目相机拍摄完图片后，根据图片中匹配好的编码点信息，通过icp算法完成左右图
像中待测靶标点的匹配，根据双目视觉原理，计算出各靶标点在相机坐标系下的坐标，并将其变换到相对于agv小车系统固定的坐标系下，以更新校正agv小车位姿；如图2所示，设agv小车坐标系与左侧相机坐标系重合，则在k时刻，agv小车的运动模型为：其中：u为控制信号，控制小车的速度和转向角；θ表示小车方位角，l为小车轴距，为小车转向角，dt为时间的微分；avg小车的运动按时域划分，每一次执行控制指令的过程可视为一个时刻，k时刻即第k次执行指令的时候；在k时刻的小车方位角为θ
k
，且小车转向角分别为；在k-1时刻的小车方位角为；在k时刻以及k-1时刻时，avg小车的x方向的坐标分别为x
k
、x
k-1
，且y方向的坐标分别为：y
k
、y
k-1
；u
k
为在k时刻的控制信号；avg小车的移动速度v
k
和转向角由k时刻的控制信号u
k
决定。
[0023]
实施例2：本实施例是在实施例1的基础上进行优化，当双目相机在不同摄站进行拍摄时，根据图像采集的观测信息以及协方差信息，通过自适应卡尔曼滤波方法完成靶坐标点坐标值的计算与更新。
[0024]
进一步地，对于初次观测到的靶标点，使用自适应卡尔曼滤波算法将靶标点信息添加到联合状态序列中，并更新对应协方差。
[0025]
本发明在使用过程中，所述双目相机通过升降平台安装在agv小车上实现对带测量区域的检测。测量前，需要在待测量区域粘贴反光标志点，标志点包括靶标点和编码点，编码点含有编号信息，可用于确定周围靶标点与其相对关系。如图1所示，设图中黑色的点为编码点，白色的点为靶标点。
[0026]
本发明通过规划控制升降平台和agv小车，将双目相机移动到检测位置，完成图像拍摄。使用自适应卡尔曼滤波算法，对拍摄到的靶标点坐标进行维护，实现坐标高精度计算。所使用的双目相机事先已进行过标定，设双目相机中，右侧相机相对于左侧相机的旋转矩阵为r，平移向量为t。本发明通过双目相机采集靶标点与标定点，一方面用于重构物体外形，另一方面通过将各靶标点变换到相对于agv小车系统固定的坐标系下，校正agv小车的测量路线，降低干涉，提高测量的精度。
[0027]
本实施例的其他部分与实施例1相同，故不再赘述。
[0028]
实施例3：本实施例是在实施例1或2的基础上进行优化，设双目相机中，右侧相机相对于左侧相机的旋转矩阵为r，平移向量为t；在左侧相机光心建立世界坐标系，右侧相机相对于左侧相机的位姿变换关系即右侧相机与世界坐标系间的变换关系；以靶标点p
n
的世界坐标系下的坐标为：其中分别为左右相机的焦距；为左侧图像中点的像素坐标，为右侧图像中点的像素坐标；分别为r和t中的元素；设agv小车坐标系与左侧相机坐标系重合，则在k时刻，agv小车的运动模型为：其中：θ表示小车方位角，l为小车轴距，为小车转向角，dt为时间的微分；u
k
为在k时刻的控制信号；avg小车的移动速度v
k
和转向角由k时刻的控制信号u
k
决定。
[0029]
设在k时刻，小车位姿与靶标点坐标联合状态向量为，且，协方差为，其中 表示各靶标点坐标。
[0030]
进一步地，根据控制信号u预测系统先验状态向量：
根据状态转移方程f计算传递后的协方差：其中，表示小车的运动模型；表示k时刻小车的后验位姿估计值；表示对k时刻小车位姿的先验估计值；表示对k-1时刻小车位姿的后验估计值；表示k时刻靶标点的先验估计值；表示k-1时刻，已观测到的所有靶标点的后验估计值；为噪声干扰参数；是对时刻状态量求导所得的雅克比矩阵，表示k时刻的先验协方差估计矩阵，表示k-1时刻的后验协方差估计矩阵；为观测模型观测误差服从的高斯分布的协方差矩阵；上标t表示矩阵转置。
[0031]
进一步地，如果经过观测，图片中同时存在已经观测到的靶标点和新的靶标点，设已观测到的靶标点编号为i，新观测到的靶标点编号为j；根据相机观测模型，计算预测值与实际值的残差：其中，h为观测函数，为经观测函数计算出的第i个靶标点坐标预测值，为使用相机系统测量出的靶标点读数值；
表示对k时刻小车位姿的先验估计值；表示k-1时刻，已观测到的靶标点的后验估计值；表示靶标点i的测量值与预测值之间的误差，亦称为新息；以下使用自适应卡尔曼滤波算法求取系统后验概率密度估计，令：求出自适应渐消因子：根据调整计算系统先验协方差估计值：再计算卡尔曼增益：最后，完成系统后验概率分布计算，更新所有已观测到的靶标点坐标信息：
其中：均为中间过程参数；是对k-1时刻状态量求导所得的雅克比矩阵，是由观测函数分别对小车状态和第i个靶标点求导所组成的矩阵；为中间过程参数，表示k时刻的观测新息之间的期望；为中间过程参数，表示k-1时刻的观测新息之间的期望；表示靶标点测量值与预测值之间的误差，亦称为新息；tr( )表示矩阵的取迹运算；为自适应渐消因子；为控制误差服从的高斯分布的协方差矩阵；为新息协方差矩阵；为卡尔曼增益；上标t表示矩阵转置。
[0032]
进一步地，对于新观测到的靶标点，计算新观测到靶标点的全局坐标：进一步地，对于新观测到的靶标点，计算新观测到靶标点的全局坐标：其中，表示新观测到的第j个靶标点向量；表示新观测到的第j个靶标点的信息；为观测函数逆函数，用于将新观测到的靶标点坐标转换到规定的全局坐标系下；表示小车位姿的自协方差，表示小车位姿与靶标点坐标之间的互协方差；
表示靶标点坐标的自协方差；为观测函数逆函数对小车状态的偏导数；为靶标点的偏导数；为观测噪声协方差矩阵；最后将新靶标点坐标添加到系统状态向量中：至此，完成基于自适应卡尔曼滤波方法的靶标点坐标值的计算与更新。
[0033]
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
[0034]
实施例4：一种基于双目视觉的飞机局部外形测量方法，主要涉及到使用双目视觉测距以及通过自适应卡尔曼滤波方法优化靶标点坐标，下面结合图1-图3进一步说明。
[0035]
本发明的测量设备如图1所示，包括双目相机、升降平台、agv小车，所述双目相机通过升降平台安装在agv小车上。本发明通过agv小车与升降平台移动双目相机，并对待测量的区域进行检测。所使用的双目相机事先已进行过标定，设双目相机中，右侧相机相对于左侧相机的旋转矩阵为r，平移向量为t。
[0036]
在测量前，需要在待测量区域粘贴反光标志点，标志点包括靶标点和编码点，编码点含有编号信息，可用于确定周围靶标点与其相对关系。如图1所示，设图中黑色的点为编码点，白色的点为靶标点。
[0037]
当系统在第一个站位完成图像拍摄后，先对左右相机采集到的图像中的靶标点进行识别，建立对应关系，再根据icp算法完成左右图像中靶标点的匹配，设匹配上的左右点对分别为和，其对应靶标点为。在左侧相机光心建立世界坐标系，则此时，左侧相机坐标系与世界坐标系重合，右侧相机相对于左侧相机的位姿变换关系即右侧相机与世界坐标系间的变换关系。以靶标点p
n
为例，计算该时刻，其在所选世界坐标系下的坐标：其中分别为左右相机的焦距；为左侧图像中点的像素坐标，
为右侧图像中点的像素坐标；分别为r和t中的元素；设agv小车坐标系与左侧相机坐标系重合，图2为agv小车移动模型，其中表示小车方位角，l为小车轴距，为小车转向角。在k时刻，小车的状态也即运动模型可表示为：avg小车的移动速度和转向角由k时刻的控制信号决定。
[0038]
设在k时刻，小车位姿与靶标点坐标联合状态向量为，且，协方差为，其中 表示各靶标点坐标。如图3所示，靶标点测量更新流程如下：（1）状态预测根据控制信号u预测系统先验状态向量：其中，f表示小车的运动面模型。
[0039]
根据状态转移方程f计算传递后的协方差：（2）状态更新及靶标点扩展系统状态更新：如果经过观测，图片中同时存在已经观测到的靶标点和新的靶标点，设以观测到的靶标点编号为i，新观测到的靶标点编号为j。根据相机观测模型，计算预测值与实际值的残差：其中，
h为观测函数，为经观测函数计算出的第i个靶标点坐标预测值，为使用相机系统测量出的靶标点读数值；表示对k时刻小车位姿的先验估计值；表示k-1时刻，已观测到的靶标点的后验估计值；表示靶标点i的测量值与预测值之间的误差，亦称为新息；以下使用自适应卡尔曼滤波算法求取系统后验概率密度估计，令：求出自适应渐消因子λ
k
：其中：均为中间过程参数；是对k-1时刻状态量求导所得的雅克比矩阵，是由观测函数分别对小车状态和第i个靶标点求导所组成的矩阵；为中间过程参数，表示k时刻的观测新息之间的期望；为中间过程参数，表示k-1时刻的观测新息之间的期望；
表示靶标点测量值与预测值之间的误差，亦称为新息；tr( )表示矩阵的取迹运算；为自适应渐消因子；为控制误差服从的高斯分布的协方差矩阵；为新息协方差矩阵；为卡尔曼增益；上标t表示矩阵转置。
[0040]
根据调整计算系统先验协方差估计值：再计算卡尔曼增益：最后，完成系统后验概率分布计算，更新所有已观测到的靶标点坐标信息：靶标点扩展：对于新观测到的靶标点，计算新观测到靶标点的全局坐标：对于新观测到的靶标点，计算新观测到靶标点的全局坐标：其中，表示新观测到的第j个靶标点向量；
表示新观测到的第j个靶标点的信息；为观测函数逆函数，用于将新观测到的靶标点坐标转换到规定的全局坐标系下；表示小车位姿的自协方差，表示小车位姿与靶标点坐标之间的互协方差；表示靶标点坐标的自协方差；为观测函数逆函数对小车状态的偏导数；为靶标点的偏导数；为观测噪声协方差矩阵；最后将新靶标点坐标添加到系统状态向量中：至此，完成基于自适应卡尔曼滤波方法的靶标点坐标值的计算与更新。
[0041]
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。