车辆点云补全方法、装配方法、控制装置及存储介质与流程

本申请涉及车辆装配技术领域，特别是一种车辆点云补全方法、装配方法、控制装置及存储介质。

背景技术：

生产线采用机械手往动态的车辆后备箱中放备胎，实现主动防碰撞。基本思想是，根据轮胎的点云和车辆的点云，通过实时计算两个点云间的最小距离来判断是否有碰撞风险。这种方法的一个重要前提是轮胎点云和车体点云必须是完整的。

其中，对于车辆来说，由于车辆是运动的、且车体颜色多样，加之机械手等有时会遮挡相机，实时获取的车辆点云可能不完整。因此为了计算轮胎与车体间的最小距离，如何得到完整的车辆点云成为关键问题。

技术实现要素：

为解决上述问题，本申请提供了一种车辆点云补全方法、装配方法、控制装置及存储介质，能够提高车辆点云的精度。

本申请采用的一个技术方案是：提供一种车辆点云补全方法，该方法包括：获取当前车辆的实时点云；将实时点云与预先获取的模型车辆的模型点云进行配准；其中，模型车辆与当前车辆为同一型号车辆；利用模型点云对实时点云进行点云补全。

其中，当前车辆和模型车辆基于同一轨迹运动、且由具有相同位姿的同一深度相机获取深度图像以得到实时点云和模型点云。

其中，将实时点云与预先获取的模型车辆的模型点云进行配准，包括：获取当前车辆的当前轨迹；确定基于当前轨迹对应的多组点云对；其中，每一点云对包含实时点云中的一个点和模型点云中的一个点；利用多组点云对将实时点云与模型点云进行配准。

其中，获取当前车辆的当前轨迹，包括：获取当前车辆的历史轨迹，以及获取机器人的运动信息；其中，机器人用于抓取轮胎并装配至当前车辆；利用运动信息和历史轨迹，预估当前车辆的未来轨迹；基于历史轨迹和未来轨迹，确定当前车辆的当前轨迹。

其中，当前轨迹为直线；确定基于当前轨迹对应的多组点云对，包括：确定与当前轨迹平行的多个参考线；将每一参考线分别与实时点云和模型点云中对应的一个点，作为一组点云对。

其中，将每一参考线分别与实时点云和模型点云中对应的一个点，作为一组点云对，包括：确定实时点云中距离目标参考线最近的一参考点；以及确定模型点云中距离目标参考线最近的另一参考点；将一参考点和另一参考点作为一组点云对；其中，一参考点和另一参考点，分别与目标参考线的距离小于设定距离阈值。

其中，多个参考线的数量至少为3个，多组点云对中位于同一实时点云或模型点云的多个参考点中，至少3个参考点不共线。

其中，利用模型点云对实时点云进行点云补全，包括：将模型点云沿当前轨迹平移，以使多组点云对中的至少部分点云对重合；利用平移后的模型点云对实时点云进行点云补全。

其中，将实时点云与预先获取的模型车辆的模型点云进行配准，包括：由实时点云确定车辆型号；获取与车辆型号相对应的模型车辆的模型点云；将实时点云与模型点云进行配准。

其中，将实时点云与预先获取的模型车辆的模型点云进行配准之后，还包括：利用icp算法对模型点云进行位姿调整。

本申请采用的另一个技术方案是：提供一种车辆轮胎装配方法，该方法包括：获取将轮胎装配到车辆场景的深度图像；利用深度图像构建车辆的第一车辆点云和轮胎的轮胎点云；采用如上述的方法对车辆点云进行补全，得到第二车辆点云；根据第二车辆点云和轮胎点云模型的空间位置进行相应处理。

其中，根据第二车辆点云和轮胎点云模型的空间位置进行相应处理，包括：根据第二车辆点云和轮胎点云的空间位置，调整轮胎的运行轨迹，以将轮胎装配至所述车辆

本申请采用的另一个技术方案是：提供一种车辆装配控制装置，该控制装置包括：深度相机，用于采集将轮胎装配到车辆场景的深度图像；存储器，用于存储程序数据；控制器，连接深度相机和存储器，用于执行程序数据以实现如上述的方法。

本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，该存储数据在被控制器执行时，用以实现如上的方法。

本申请提供的车辆点云补全方法包括：获取当前车辆的实时点云；将实时点云与预先获取的模型车辆的模型点云进行配准；其中，模型车辆与当前车辆为同一型号车辆；利用模型点云对实时点云进行点云补全。通过上述方式，利用模型车辆和当前车辆的约束关系，采用已预先提取的同一型号的模型车辆的高精度点云，对实时获取的车辆点云进行补全，提高了实时获取的车辆点云的精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的车辆点云补全方法一实施例的流程示意图；

图2是图1中步骤12的流程示意图；

图3是参考线示意图；

图4是本申请提供的车辆轮胎装配方法一实施例的流程示意图；

图5是本申请提供的车辆装配控制装置一实施例的结构示意图；

图6是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1，图1是本申请提供的车辆点云补全方法一实施例的流程示意图，该方法包括：

步骤11：获取当前车辆的实时点云。

可以理解地，本实施例应用于在生产线上对动态车辆进行轮胎装配。生产线主要是通过一个传送机构(大板)承载车辆，并通过传送机构的移动带动车辆的移动。

在本实施例中，在传送机构的上方设置一深度相机，用于获取深度图像。

具体地，在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云。在本申请的实施例中，步骤11可以具体为：

(1)获取深度图像的轮廓信息。

其中，可以先提取深度图像的边缘特征点，再对提取的边缘特征点进行仿射变换，得到深度图像的轮廓信息。

在进行轮廓提取时，可以采用深度差值检测或者梯度差值检测的方式：

深度差值检测主要是获取相邻像素点之间的深度值的差值，如果差值较大，则认为这两个像素点在三维空间是不连续的。

梯度差值检测主要是获取相邻像素点之间的深度梯度值的差值，如果差值较大，则认为这两个点可能位于深度图像的轮廓线上(即不在同一平面)。

在轮廓提取后，需要对边缘特征点进行仿射变换。仿射变换是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。

(2)相机坐标系转换为空间坐标系。

首先，获取深度相机的参数、以及深度相机基于空间坐标系的位置信息；根据参数和位置信息，确定坐标转换参数。

其中，深度相机的参数主要是相机内参，下面给出了一种相机内参矩阵：

其中，fx、fy为焦距，一般情况下，二者相等，x0、y0为主点坐标(相对于成像平面)，s为坐标轴倾斜参数，理想情况下为0。

其中，深度相机在空间坐标系的位置，即相机的外参，也就是相机在空间位置以及相对于各个轴的旋转参数。

然后利用上述的外参和内参，就可以得到坐标转换参数，即相机坐标系到空间坐标系的转换矩阵。再利用坐标转换参数对上述步骤(1)的点云进行坐标转换，得到位于空间坐标系中的点云。

例如：

其中，[xc,yc,zc]^t表示相机坐标，[xw,yw,zw]^t表示物体所在的世界坐标，r是旋转矩阵(3个自由度)，t是平移矩阵，两者组成3×4矩阵即为相机的外参矩阵。

步骤12：将实时点云与预先获取的模型车辆的模型点云进行配准；其中，模型车辆与当前车辆为同一型号车辆。

模型点云是通过模型车辆构建的高精度的点云，当前车辆和模型车辆基于同一轨迹运动、且由具有相同位姿的同一深度相机获取深度图像以得到实时点云和模型点云。

可选地，在一实施例中，需要先由实时点云确定车辆型号；获取与车辆型号相对应的模型车辆的模型点云；再将实时点云与模型点云进行配准。

可选地，在一实施例中，如图2所示，图2是图1中步骤12的流程示意图，该步骤12可以具体包括：

步骤121：获取当前车辆的当前轨迹。

当前轨迹的获取有两种方式：

当前轨迹已知：由于车辆是通过传送机构带动，如果传送机构是人为输入指令控制的，那么传送机构的运动方向、速度都是已知，因此车辆的当前轨迹也是已知的。可选地，一般来说当前轨迹都是直线轨迹。

当前轨迹未知：如果当前轨迹是未知的，则可以通过以下两种方式获取：(1)获取车辆的历史轨迹、运动速度，由于车辆沿直线运动且为匀速运动，因此可以根据车辆的历史轨迹，对未来轨迹进行预测，然后根据历史轨迹和未来轨迹，确定当前轨迹；(2)获取当前车辆的历史轨迹，以及获取机器人的运动信息；利用运动信息和历史轨迹，预估当前车辆的未来轨迹；基于历史轨迹和未来轨迹，确定当前车辆的当前轨迹。可以理解地，由于机器人用于对车辆进行装配，因此，机器人和车辆在运动方向上是同步的，因此可以根据机器人的运动信息来预估车辆的未来轨迹。

步骤122：确定基于当前轨迹对应的多组点云对；其中，每一点云对包含实时点云中的一个点和模型点云中的一个点。

其中，点云对是指在车辆点云和模型点云中对应的两个点。

在一实施例中，由于当前车辆和模型车辆基于同一轨迹运动、且由具有相同位姿的同一深度相机获取深度图像以得到实时点云和模型点云。因此，点云对中的两个点的连线，应当是几乎与车辆的当前轨迹平行的。

基于上述原因，可以根据轨迹的平行线来反推点云点，具体如下：确定与当前轨迹平行的多个参考线；将每一参考线分别与实时点云和模型点云中对应的一个点，作为一组点云对。

如图3所示，图3是参考线示意图。

具体地，先确定一与轨迹平行的参考线；

如果该参考线与车辆点云有第一交点，且该参考线与模型点云有第二交点，那么可以确定第一交点和第二交点为一个点云对。

如果该参考线与两个点云都没有交点，那么可以确定实时点云中距离目标参考线最近的一参考点；以及确定模型点云中距离目标参考线最近的另一参考点；将一参考点和另一参考点作为一组点云对。其中值得注意的是，在找距离最近的点时，点与参考线之间的距离必须小于设定距离阈值。

另外，在一实施例中，多个参考线的数量至少为3个，多组点云对中位于同一实时点云或模型点云的多个参考点中，至少3个参考点不共线。

步骤123：利用多组点云对将实时点云与模型点云进行配准。

配准的主要过程包括：确定实时点云与模型点云中的匹配点；利用匹配点，确定实时点云与模型点云的转换关系；利用该转换关系对实时点云与模型点云进行配准。

具体地，点云配准过程，就是求一个两个点云之间的旋转平移矩阵(即上述的转换关系)，将源点云(模型点云)变换到目标点云(实时点云)相同的坐标系下。

可以表示为以下的方程：

pt＝r×ps+t；

其中，pt和ps是目标电源和源点云中的一对对应点，这里需要计算其中的r(旋转矩阵)与t(平移矩阵)。

在一实施例中，如果考虑到此前提：当前车辆和模型车辆基于同一轨迹运动、且由具有相同位姿的同一深度相机获取深度图像以得到实时点云和模型点云。那么在进行配准时，仅仅需要对模型点云沿着当前轨迹平移即可，保证点云对中的两个点重合。

在其他实施例中，为了提高配准精度，还可以采用icp(iterativeclosestpoint，迭代最近点)算法：

(1)最小化一个目标函数：

其中，就是一对对应点，总共有np对对应点。这个目标函数实际上就是所有对应点之间的欧氏距离的平方和。

(2)寻找对应点。在有初值的情况下，假设用初始的旋转平移矩阵对源点云进行变换，得到的一个变换后的点云。然后将这个变换后的点云与目标点云进行比较，只要两个点云中存在距离小于一定阈值(这就是icp中的一个参数)，就认为这两个点就是对应点。这也是"最邻近点"。

(3)r、t优化。有了对应点之后，就可以用对应点对旋转r与平移t进行估计。这里r和t中只有6个自由度，而我们的对应点数量是庞大的(存在多余观测值)。因此，我们可以采用最小二乘等方法求解最优的旋转平移矩阵。

(4)迭代。我们优化得到了一个新的r与t，导致了一些点转换后的位置发生变化，一些最邻近点对也相应的发生了变化。因此，我们又回到了步骤(2)中的寻找最邻近点方法。(2)(3)步骤不停迭代进行，直到满足一些迭代终止条件，如r、t的变化量小于一定值，或者上述目标函数的变化小于一定值，或者邻近点对不再变化等。

通过上述的方式，即可以完成第一点云与预设点云的配准。

步骤13：利用模型点云对实时点云进行点云补全。

通过上述步骤12完成了配准，则直接将模型点云中的点位置信息对车辆点云中确实的点位置信息进行补全即可。

区别于现有技术，本实施提供的车辆点云补全方法包括：获取当前车辆的实时点云；将实时点云与预先获取的模型车辆的模型点云进行配准；其中，模型车辆与当前车辆为同一型号车辆；利用模型点云对实时点云进行点云补全。通过上述方式，利用模型车辆和当前车辆的约束关系，采用已预先提取的同一型号的模型车辆的高精度点云，对实时获取的车辆点云进行补全，提高了实时获取的车辆点云的精度。

参阅图4，图4是本申请提供的车辆轮胎装配方法一实施例的流程示意图，该方法包括：

步骤41：获取将轮胎装配至车辆场景的深度图像。

在一实施例中，车辆装配主要是指车辆在预定轨道运动过程中，通过机械手夹持轮胎，将轮胎装配至车辆的后备箱中(作为车辆备胎)。

其中，预定轨道中设置一传送机构(大板)，车辆在载体上随传送机构移动而移动。大板上方设置一深度相机，深度相机的拍照范围至少覆盖车辆、机械手和轮胎。

步骤42：利用深度图像构建车辆的第一车辆点云和轮胎的轮胎点云。

其中，车辆点云和轮胎点云可以通过对深度图像进行轮廓提取，分别转换为两个不同的点云。

步骤43：对车辆点云进行补全，得到第二车辆点云。

其中车辆点云的补全方法，可以参考上述实施例，这里不再赘述。

步骤44：根据第二车辆点云和轮胎点云模型的空间位置进行相应处理。

在一实施例中，由于车辆(随载体运动)和轮胎(随机械手运动)都是在运动中，因此，需要实时获取车辆点云和轮胎点云，在整个装配过程中，进行跟踪判断。

可选地，可以实时获取车辆点云和轮胎点云之间的空间距离，对两个点云进行碰撞检测，例如，当两个点云之间的空间距离小于设定距离阈值时，就进行响应的处理。处理方式可以包括：暂停车辆和轮胎的移动、或车辆移动保持不变，调整轮胎的运行轨迹，防止轮胎和车辆相撞、或进行报警。

区别于现有技术，本实施例提供的车辆的轮胎装配方法包括：获取将轮胎装配到车辆场景的深度图像；利用深度图像构建车辆的第一车辆点云和轮胎的轮胎点云；对车辆点云进行补全，得到第二车辆点云；根据第二车辆点云和轮胎点云模型的空间位置进行相应处理。通过上述方式，利用模型车辆和当前车辆的约束关系，采用已预先提取的同一型号的模型车辆的高精度点云，对实时获取的车辆点云进行补全，提高了实时获取的车辆点云的精度。进一步，由于车辆点云的精度提高，进一步提高了车辆轮胎装配的效率和精确，降低了故障率，有效减小了车辆和轮胎撞击的概率。

参阅图5，图5是本申请提供的车辆装配控制装置一实施例的结构示意图，该车辆装配控制装置50包括深度相机51、存储器52和控制器53。

其中，该深度相机51安装于车辆运动轨迹上，主要用于采集机械手将轮胎装配至车辆场景的深度图像；存储器52用于存储程序数据；控制器53用于执行程序数据以实现如下的方法：

获取当前车辆的实时点云；将实时点云与预先获取的模型车辆的模型点云进行配准；其中，模型车辆与当前车辆为同一型号车辆；利用模型点云对实时点云进行点云补全。以及

获取将轮胎装配到车辆场景的深度图像；利用深度图像构建车辆的第一车辆点云和轮胎的轮胎点云；对车辆点云进行补全，得到第二车辆点云；根据第二车辆点云和轮胎点云模型的空间位置进行相应处理。

参阅图6，图6是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质60中存储有程序数据61，该程序数据61在被控制器执行时，用以实现如下的方法：

获取当前车辆的实时点云；将实时点云与预先获取的模型车辆的模型点云进行配准；其中，模型车辆与当前车辆为同一型号车辆；利用模型点云对实时点云进行点云补全。以及

获取将轮胎装配到车辆场景的深度图像；利用深度图像构建车辆的第一车辆点云和轮胎的轮胎点云；对车辆点云进行补全，得到第二车辆点云；根据第二车辆点云和轮胎点云模型的空间位置进行相应处理。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。