一种基于深度学习的火箭助推器分离运动参数测量方法与流程

1.本发明涉及计算机图像处理技术领域，特别是涉及一种基于深度学习的火箭助推器分离运动参数测量方法。


背景技术：

2.火箭助推器在火箭发射时为火箭提供动力使其达到预定速度后，与火箭主体迅速分离，准确测量助推器分离后的运动参数可以为助推器的着陆位置预测和回收提供数据支持，也可以用于判断分离是否成功。基于视觉的运动参数测量具有不接触被测物体、测量精度高等特点，已经广泛应用于公共医疗、航空航天、汽车电子等领域。目标位姿参数的测量是基于视觉的运动参数测量的核心内容，是测量目标运动参数的基础。位姿参数指的是目标在世界坐标系、物体坐标系或相机坐标系下的三维位置和姿态角。本发明可以直接从单目图像中获得火箭助推器在摄像机坐标系下的位姿参数，助推器在其他坐标系，如箭体坐标系、世界坐标系下，位姿参数可以通过坐标系转换方式计算得到。
3.基于视觉的位姿测量方法主要通过识别几何特征完成任务，如点、线、轮廓等。此方法的局限性主要包括纹理依赖、成像退化、背景复杂和发生遮挡四方面。首先，该方法需要准确的几何特征，所以对于目标表面的纹理具有一定的依赖性，而助推器表面的材料特征决定了其纹理特点变化小，对位姿测量的影响也相对较低。其次，火箭和助推器分离时会产生火光、烟雾等，相机成像质量相应发生改变，进而影响测量精度。第三，复杂的背景也会对基于几何特征的方法产生极大的干扰。最后，随着助推器与火箭分离而产生相对运动，可能会出现局部或全部处于成像平面外，导致一些几何特征缺失或遮挡，传统的基于几何特征的方法无法完成位姿测量。
4.近年来，基于深度学习的算法大力发展，具有鲁棒性强，受环境影响小等优越性，为位姿测量提供了新思路，以足够的样本数量为基础，便可以较好地避免上述方法带来的局限，提高测量结果的质量。在无人驾驶领域中，需要提供汽车等物体的三维大小及旋转角度等指标，目前三维目标检测网络可以很好的解决这个问题。但自动驾驶场景下的物体，都是有平面假设的，即假设物体都放置于水平地面，所以在三维目标检测中的姿态估计只会预测偏航角，滚转角和俯仰角为零。然而火箭助推器的姿态需要三个自由度来描述，三维目标检测网络不能完成任务。


技术实现要素：

5.针对现有技术中存在的不足，本发明提出一种基于深度学习的火箭助推器分离运动参数测量方法，无需特定的几何特征，能够实现端到端的单步位姿测量，无需非极大值抑制等后处理，提高算法的运行速度，复杂环境下也能有较高的精度，同时具有较高的可拓展性，对于其他任务只需对网络做简单的修改，加入回归任务的head网络即可。
6.本发明解决其技术问题所采取的技术方案是：
7.一种基于深度学习的火箭助推器分离运动参数测量方法，包括如下步骤：
8.(1)对接收的图像或视频数据进行预处理。
9.具体的，对图像进行归一化，使得像素区间映射为[0，1]，同时对图像进行标准化处理。
[0010]
(2)将预处理后的数据输入至特征提取网络，得到特征图。
[0011]
特征提取网络可以使用常见网络，如resnet、hourglass、dla-34等。对输入的图像进行r倍的下采样，通常为2到16倍，常用的为r＝4倍。
[0012]
(3)利用解码网络分别对火箭助推器在图像上的二维中心点、二维框尺度、火箭助推器中心深度以及姿态进行回归，得到输出。
[0013]
解码网络包括四个回归模块，即中心点回归模块、尺度回归模块、深度回归模块、姿态回归模块，分别加上中间带有relu激活函数的两个卷积层，作为head网络，得到输出。
[0014]
(4)计算火箭助推器中心的三维位置。
[0015]
根据像素坐标系和相机坐标系之间的转换公式，由步骤(3)得出的火箭助推器二维中心点坐标、中心深度和已知的相机内参(焦距、在u轴和v轴方向上的尺度因子以及图像坐标系的原点在像素坐标系中的坐标)计算得出火箭助推器中心的三维位置。
[0016]
(5)对预测得到的火箭助推器中心的三维位置和姿态分别进行平滑处理。
[0017]
火箭助推器在分离时的运动状态不会发生突变，所以若接收数据为视频或同一视频的顺序图像序列，则需要对预测得到的三维位置和姿态分别进行平滑处理。若输入为乱序图片，则需要对图片进行帧号排序后进行再进行平滑处理。
[0018]
(6)通过计算得到火箭助推器分离时的速度和角速度。
[0019]
火箭助推器分离时的运动速度的计算方法是通过任意两帧图像所预测的三维点坐标计算出对应经过的时间内火箭助推器运动的距离，从而对时间求导，即可得到这段时间内的火箭助推器分离速度。角速度的计算方法是通过任意两帧图像所预测的三个姿态参数分别计算出对应经过的时间内火箭助推器旋转过的角度，从而分别对时间求导，即可得到这段时间内火箭助推器分别绕三个轴的角速度。
[0020]
由于采用了上述的技术方案，本发明的有益效果是：与当前位姿参数测量的方法相比，本发明无需特定的几何特征，所需已知条件较少，能够实现端到端的单步位姿测量，无需非极大值抑制等后处理，算法的运行速度较快，适合复杂和多任务的环境。
附图说明
[0021]
为了更清楚地说明本发明的实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在没有做出创造性劳动前提下，还可以根据这些附图获得其他的附图。
[0022]
图1是本发明的一种基于深度学习的火箭助推器位姿测量方法的网络结构图。
具体实施方式
[0023]
为使得本发明的发明目的，特征，优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚，完整地描述。显然，下面所描述的实施例仅是本发明的一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域
普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]
(1)对接收的图像或视频数据进行预处理。
[0025]
输入图像i∈rw×h×3，其中，r为图像像素子集，w为图像宽度，h为图像高度。先利用对图像进行标准化，其中xi表示图像的像素值，μ为所有样本的均值，σ为所有样本数据的标准差，x
i*
表示图像标准化后图像的像素值。接着利用对图像进行归一化，使得像素区间映射为[0，1]。
[0026]
(2)将预处理后的数据输入至特征提取网络，得到特征图。
[0027]
特征提取网由堆叠的hourglass网络构成，通过两个连续的hourglass模块对输入的图像进行r倍的下采样，一般是r＝4倍。每个hourglass模块都是先使用一系列卷积层和最大池化层对输入进行了下采样，然后将下采样的特征图通过上采样恢复到原来输入图片的大小，具体一个对称的5层向下和向上卷积网络，同时为了解决细节再最大池化层中丢失的问题，添加了skip连接。所有的上采样前都有可变形卷积，这种卷积的作用就是使得网络的感受野变得更加精确，而不是限定为3*3的矩形卷积框内。特征提取网络的输出为特征图，大小为256为通道数。
[0028]
(3)利用解码网络分别对火箭助推器在图像上的二维中心点、二维框尺度、火箭助推器中心深度以及姿态进行回归，得到输出。
[0029]
解码网络分为四个回归模块，即中心点回归模块、尺度回归模块、深度回归模块、姿态回归模块。每一个模块均为一个head网络，具体由三个部分构成，先在特征图输出后加一个卷积层(卷积核尺寸为3*3，步长为1，零填充为1)，然后加一个relu激活函数，最后再加一个卷积层(卷积核尺寸为1*1，步长为1，零填充为1)。
[0030]
(3a)中心点回归模块包含热图的生成以及偏置的回归。热图生成部分是将特征提取网络所输出的特征图作为输入，输出为关键点热图其中r是输出步长，即下采样倍数。因为本发明中不需要估计类别，所以热图的通道数为1。规定当时，表示检测到了关键点，而当时，则认为检测到的是背景。火箭助推器中心点坐标为p＝(x0,y0)，下采样后特征图中的对应中心点为利用一个高斯滤波核将关键点分布到热图上，其中σ
p
是一个与目标大小相关的标准差。由于下采样过程中可能会出现真实关键点(即中心点)为小数，而预测点为整数的情况映射到原图中时会产生误差，所以也要计算对应的偏置，即增加偏置回归部分。中心点回归模块的输出为火箭助推器的二维中心点坐标。
[0031]
(3b)尺度回归模块回归了火箭助推器在图像中的尺寸，即二维边界框的宽和高sk＝(w,h)。尺度回归模块的输出为二位边界框的宽和高。
[0032]
(3c)深度回归模块预测火箭助推器中心的深度值d，即三维坐标中的z。因为通过二维中心点坐标、相机的内参以及火箭助推器中心的深度值进行计算，就可以得到三维点坐标，所以网络在预测火箭助推器的三维位置时只需要深度一个维度。直接回归深度比较困难，所以对输出做了一个变换f为sigmoid函数，一个非线性作用函数，将网络预测的变量映射到[0,1]。深度回归模块的直接输出为经过上述变换后得到火箭助推器中心的深度值d。
[0033]
(3d)姿态回归模块包括rot_x角度回归和rot_z角度回归，两个角度回归原理上一致。在空间里，只需要两个角度即可表示空间中任意单位向量的方向，所以为了简化网络模型，固定rot_y为-180
°
，从而只预测其余两个角度即可。每一个角度使用8个标量编码来简化学习。这8个标量分为两组，每4个标量对应一个角度区间。其中一个角度区间而另一个在每个区间内，两个标量bi∈r2用于区分该方向是否包含在此区间i中，即对角度进行softmax分类。另外两个标量ai∈r2用于计算区间内偏移量(距离区间中心mi)的sin和cos值。两个角度相对独立，分别进行预测。姿态回归模块的输出为角度rot_x和角度rot_z。
[0034]
(4)计算火箭助推器中心的三维位置。
[0035]
步骤三中可以得到火箭助推器二维中心点坐标(x0,y0)以及中心深度值d，并且已知相机的内参数，由此可以通过如下坐标系间的转换计算求出火箭助推器中心的三维位置(xc,yc,zc)。
[0036]
像素坐标系与相机坐标系之间的关系为：
[0037][0038]
式中，相机在u轴方向上的尺度因子f
x
＝f/d
x
，相机在v轴方向上的尺度因子fy＝f/dy，f为相机的焦距，中间矩阵称为相机的内参，zc为火箭助推器中心深度值d，(u0,v0)为图像坐标系的原点在像素坐标系中的坐标。
[0039]
对上述方程进行求解可得：
[0040][0041][0042]
zc＝d
[0043]
(5)对预测得到的火箭助推器中心的三维位置和姿态分别进行平滑处理。
[0044]
因为火箭助推器在分离时的运动状态不会发生突变，所以每一个位置、姿态参数都不会有较大的变化率，所以要对各个参数分别进行平滑处理。根据步骤(3)得到角度rot_
x和角度rot_z，根据步骤(4)得到火箭助推器中心的三维位置(xc,yc,zc)，每一个参数都可以以帧数为横轴画出一条曲线，利用五点三次平滑法分别对五个参数进行平滑处理。
[0045]
五点三次平滑法是利用多项式最小二乘近似对采样点进行平滑滤波，在数据曲线上5个等距离数据点x-2
,x-1
,x0,x1,x2，其对应数值分别为y-2
,y-1
,y0,y1,y2，对xn另设等距离两点，间距h，利用将原数据点转换为：t-2
＝-2,t-1
＝-1,t0＝0,t1＝1,t2＝2，使用3次多项式y(t)＝a0+a1t+a2t2+a3t3确定多项式方程系数，得到正规方程：求出其正规方程组的解a0，a1，ai，a
it
带入拟合多项式，使t等于-2、-1、0、1、2，得到平滑公式：
[0046][0047][0048][0049][0050][0051]
式中，是yi的平滑处理数值。
[0052]
(6)通过计算得到火箭助推器分离时的速度和角速度。
[0053]
火箭助推器分离时的运动速度的计算方法是通过任意两帧图像所预测的三维点坐标(xk，yk，zk)和(x
k+1
，y
k+1
，z
k+1
)计算出对应的两帧图像经过的时间t内火箭助推器运动的距离，从而对时间求导，即可得到这段时间内的火箭助推器分离速度，公式如下：
[0054][0055]
角速度的计算方法是通过任意两帧图像所预测的两个角度分别计算出对应的两帧图像经过的时间内火箭助推器旋转过的角度，从而分别对时间求导，即可得到这段时间内火箭助推器分别绕两个轴的角速度，分别为绕x轴旋转的角速度ω
rot_x
和绕z轴旋转的角速度ω
rot_z
，公式如下：
[0056][0057][0058]
式中，rot_xk和rot_x
k+1
是相邻两帧图像分别预测出的绕x轴角度，rot_zk和rot_z
k+1
是相邻两帧图像分别预测出的绕z轴角度。
[0059]
应当认识到，以上描述只是本发明的一个特定实施例，本发明并不仅仅局限于以
上图示或描述的特定的结构，权利要求将覆盖本发明的实质精神及范围内的所有变化方案。