前景点云和背景点云的融合方法、系统及设备

本发明属于点云融合领域，具体涉及了一种前景点云和背景点云的融合方法、系统及设备。

背景技术：

随着计算机视觉的日新月异，诸如图像分类，物体检测，医学成像和物体跟踪之类的2d视觉任务得到了很好的解决，并在许多领域得到了应用。然而，由于数据维度的增加，3d感知任务充满了挑战。在诸如自动驾驶和无人驾驶飞机等对安全性有较高要求的领域中，精确的3d信息理解是必不可少的。深度相机和lidar(光检测和测距)是获得3d信息的常用传感器。与深度相机相比，lidar精度更高，感应范围更广，因此成为许多3d感知系统的关键组件。但是，由lidar传感器生成的点云的注释非常耗时，且由于数据集的多样性不足而导致的模型泛化性不达标的概率也会上升，导致点云标注的难度大和耗时长。

因而，本领域还急需一种前背景点云融合方法，可以使虚拟点云和真实点云融合的更加合理，以找到将虚拟点放置到真实背景点的适当区域。

技术实现要素：

为了解决现有技术中的上述问题，即三维感知中前景点云对象与真实背景融合的不合理性以及数据样本多样性不足、人工重复工作、数据集生成和标注效率低的问题，本发明提供了一种前景点云和背景点云的融合方法，该方法包括：

步骤s10，将获取的待融合背景点云在俯视图视角下进行二维划分，并获取二维划分后的每一个二维网格的背景点云数量；

步骤s20，分别提取背景点云数量不为0的二维网格构成的多个非空区域的底面中心点坐标以及高度平均值、最大值和最小值，获得二维网格特征图和非空区域指示图；

步骤s30，分别以每一个非空区域的中心为中心构建圆形邻域，并将每一个邻域的二维网格的高度差异小于预设第一阈值的对应邻域判定为平坦，获得平坦位置指示图；

步骤s40，基于待融合前景点云对象的尺寸、缩放比例、位置偏移、多个角度值，在所述平坦位置指示图中的平坦位置进行角度遍历搜索，构建所述待融合前景点云对象各放置情况的有向矩形邻域；

步骤s50，对于每一个放置情况，计算所述有向矩形邻域所包含二维网格的高度差，若所述高度差小于预设第二阈值，则以该放置情况对应的有向矩形邻域的面积尺度和旋转角度作为所述待融合前景点云对象的尺寸缩放比例和放置角度；

步骤s60，根据所述尺寸缩放比例和放置角度进行所述待融合前景点云对象的放置，并进行对应位置的前景点云和背景点云坐标拼接，实现前景点云和背景点云的融合。

在一些优选的实施例中，所述二维网格中的第[i,j]个单元表示为：

c[i，j]＝{(x，y，z)|(i-1)*lx<x<i*lx，(j-1)*ly<y<j*ly}

其中，c[i,j]代表二维网格中的第[i,j]个单元对应的区域，lx和ly分别代表长和宽为lx,ly二维网格的每个单元的长和宽，(x,y,z)代表三维空间中点的x轴、y轴和z轴坐标，*代表相乘；

所述二维网格特征图为：

其中，p为全体背景点云构成的集合，为集合c[i,j]∩p中点的z坐标均值，为集合c[i,j]∩p中点的z坐标最大值，为集合c[i,j]∩p中点的z坐标最小值；

所述非空区域指示图为：

在一些优选的实施例中，步骤s30包括：

步骤s31，对于第k个非空区域c[ik,jk]，以其中心作为中心构建圆形邻域：

其中，代表以为中心的圆形邻域，δ为圆形邻域的半径，(x,y,z)代表三维空间中点的x轴、y轴和z轴坐标，

步骤s32，基于所述圆形邻域，建立邻域内点云特征集合：

其中，代表第k个非空区域的邻域内点云特征集合，x,y代表三维空间中点的x轴坐标和y坐标；代表二维网格特征图；代表非空区域指示图；

步骤s33，基于所述邻域内点云特征集合，将该邻域的二维网格的高度差异小于预设第一阈值的对应邻域判定为平坦，获得平坦位置指示图；

二维网格的高度最大值和最小值为：

其中，和分别代表第k个非空区域的邻域内的二维网格的高度最大值和最小值，[：,2]代表该集合中所有元素的第二维信息。

在一些优选的实施例中，所述待融合前景点云对象，其缩放比例通过服从带约束正态分布的随机采样生成，其方法为：

s^p＝max(min(xs,smin),smax),xs～n(sμ,sσ)

其中，s^p为第p个邻域平坦的位置处对应有向矩形邻域的尺寸缩放比例，smax和smin分别代表带约束正态分布的最大值和最小值，xs代表随机变量，xs～n(sμ,sσ)代表xs服从期望值为sμ、方差为sσ的正态分布。

在一些优选的实施例中，所述待融合前景点云对象，其位置偏移服从均匀分布：

其中，代表长度位置方向的偏移量ξx服从上的均匀分布，lx代表长和宽为lx,ly二维网格的每个单元的长；代表宽度位置方向的偏移量ξy服从上的均匀分布，ly代表长和宽为lx,ly二维网格的每个单元的宽。

在一些优选的实施例中，所述待融合前景点云对象，其多个角度值的生成方法为：

其中，代表第cnta个角度值，na为角度值的个数；xa代表随机变量，表示xa服从上的均匀分布。

在一些优选的实施例中，所述有向矩形邻域为：

其中，δx＝s^p*sizex为有向矩形邻域的缩放后的长度，δy＝s^p*sizey为有向矩形邻域缩放后的宽度，sizex和sizey分别为前景目标原始的长度和宽度；x和y分别代表三维空间中点的x轴和y轴坐标。

本发明的另一方面，提出了一种前景点云和背景点云的融合系统，该系统包括以下模块：

点云划分模块，配置为将获取的待融合背景点云在俯视图视角下进行二维划分，并获取二维划分后的每一个二维网格的背景点云数量；

特征提取模块，配置为分别提取背景点云数量不为0的二维网格构成的多个非空区域的底面中心点坐标以及高度平均值、最大值和最小值，获得二维网格特征图和非空区域指示图；

平坦判定模块，配置为分别以每一个非空区域的中心为中心构建圆形邻域，并将每一个邻域的二维网格的高度差异小于预设第一阈值的对应邻域判定为平坦，获得平坦位置指示图；

有向矩形邻域构建模块，配置为基于待融合前景点云对象的尺寸、缩放比例、位置偏移、多个角度值，在所述平坦位置指示图中的平坦位置进行角度遍历搜索，构建所述待融合前景点云对象各放置情况的有向矩形邻域；

前景对象放置信息获取模块，配置为对于每一个放置情况，计算所述有向矩形邻域所包含二维网格的高度差，若所述高度差小于预设第二阈值，则以该放置情况对应的有向矩形邻域的面积尺度和旋转角度作为所述待融合前景点云对象的尺寸缩放比例和放置角度；

前景对象放置及点云融合模块，配置为根据所述尺寸缩放比例和放置角度进行所述待融合前景点云对象的放置，并进行对应位置的前景点云和背景点云坐标拼接，实现前景点云和背景点云的融合。

本发明的第三方面，提出了一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的前景点云和背景点云的融合方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的前景点云和背景点云的融合方法。

本发明的有益效果：

(1)本发明前景点云和背景点云的融合方法，可有效解决前景点云对象与真实背景融合后的合理性，并进一步解决数据样本多样性不足的问题，大幅降低人工重复工作，提高数据集生成及标注的效率。

(2)本发明前景点云和背景点云的融合方法，可以高效、高质量地生成多样性数据样本，提升了模型泛化能力，从而为3d感知任务中精确的3d信息理解提供了解决问题的思路。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明前景点云和背景点云的融合方法的流程示意图；

图2是本发明前景点云和背景点云的融合方法的数据处理示意图；

图3是本发明前景点云和背景点云的融合方法一种实施例的前景点云和背景点云融合示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种前景点云和背景点云的融合方法，首先将整个背景点云在俯视图视角下进行二维划分，建立二维网格，并统计每个格子内点云样本数量以判断该区域是否非空，同时对非空区域统计其底面中心点坐标、高度平均值、最大值及最小值，作为该区域的特征，建立二维网格特征图；其次针对每个非空区域的中心，构建其δ圆形邻域，判断该邻域包含网格的高度差异以确定该点对应邻域是否平坦，建立平坦位置指示图；最后按照一定分布随机生成待放置前景目标的尺寸缩放比例、位置偏移以及一系列角度值，利用这些信息以及待放置物体的尺寸信息在二维网格的平坦位置进行角度遍历搜索，构建每一种放置情况下的有向矩形邻域；判断每一种放置情况下，放置区域所包含网格的高度差异，对高度差小于预设阈值的放置信息进行记录。最后确定前景对象pobj在背景中的相对位置信息，并据此放置前景物体以及进行前景点云和背景点云坐标拼接融合。本方法输入信息为固定区域内的背景点云坐标样本集合和前景点云对象，输出信息前景对象相对于背景的放置中心坐标、高度值、尺度缩放比例和朝向角度值以及前景点云和背景点云融合坐标信息。

本发明的一种前景点云和背景点云的融合方法，该方法包括：

步骤s10，将获取的待融合背景点云在俯视图视角下进行二维划分，并获取二维划分后的每一个二维网格的背景点云数量；

步骤s20，分别提取背景点云数量不为0的二维网格构成的多个非空区域的底面中心点坐标以及高度平均值、最大值和最小值，获得二维网格特征图和非空区域指示图；

步骤s30，分别以每一个非空区域的中心为中心构建圆形邻域，并将每一个邻域的二维网格的高度差异小于预设第一阈值的对应邻域判定为平坦，获得平坦位置指示图；

步骤s40，基于待融合前景点云对象的尺寸、缩放比例、位置偏移、多个角度值，在所述平坦位置指示图中的平坦位置进行角度遍历搜索，构建所述待融合前景点云对象各放置情况的有向矩形邻域；

步骤s50，对于每一个放置情况，计算所述有向矩形邻域所包含二维网格的高度差，若所述高度差小于预设第二阈值，则以该放置情况对应的有向矩形邻域的面积尺度和旋转角度作为所述待融合前景点云对象的尺寸缩放比例和放置角度；

步骤s60，根据所述尺寸缩放比例和放置角度进行所述待融合前景点云对象的放置，并进行对应位置的前景点云和背景点云坐标拼接，实现前景点云和背景点云的融合。

为了更清晰地对本发明前景点云和背景点云的融合方法进行说明，下面结合图1和图2对本发明实施例中各步骤展开详述。

本发明第一实施例的前景点云和背景点云的融合方法，包括步骤s10-步骤s60，各步骤详细描述如下：

步骤s10，将获取的待融合背景点云在俯视图视角下进行二维划分，并获取二维划分后的每一个二维网格的背景点云数量。

将待融合背景点云记作{(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),…}，首先将待融合背景点云在俯视图视角下进行二维划分，建立二维网格。二维网格的长和宽记作lx,ly，二维网格的每个单元的长和宽记作lx,ly，则二维网格中的第[i,j]个单元对应的区域表示如式(1)所示：

c[i,j]＝{(x,y,z)|(i-1)*lx<x<i*lx,(j-1)*ly<y<j*ly}(1)

其中，c[i,j]代表二维网格中的第[i,j]个单元对应的区域，lx和ly分别代表长和宽为lx,ly二维网格的每个单元的长和宽，(x,y,z)代表三维空间中点的x轴、y轴和z轴坐标，*代表相乘。

步骤s20，分别提取背景点云数量不为0的二维网格构成的多个非空区域的底面中心点坐标以及高度平均值、最大值和最小值，获得二维网格特征图和非空区域指示图。

对二维网格统计每个单元内点云样本数量以判断该区域是否非空，从而构建非空位置指示图其中非空位置数值为1，空位置数值为0。对于第k个非空区域，统计网格的底面单元中心点坐标高度平均值高度最大值和最小值作为该区域的特征。对于空位置，则该位置特征为[0,0,0,0,0]。据此信息建立二维网格特征图

二维网格特征图如式(2)所示：

其中，p为全体背景点云构成的集合，为集合c[i,j]∩p中点的z坐标均值，为集合c[i,j]∩p中点的z坐标最大值，为集合c[i,j]∩p中点的z坐标最小值。

非空区域指示图如式(3)所示：

步骤s30，分别以每一个非空区域的中心为中心构建圆形邻域，并将每一个邻域的二维网格的高度差异小于预设第一阈值的对应邻域判定为平坦，获得平坦位置指示图。

步骤s31，对于第k个非空区域c[ik,jk]，以其中心作为中心构建圆形邻域，如式(4)所示：

其中，代表以为中心的圆形邻域，δ为圆形邻域的半径，(x,y,z)代表三维空间中点的x轴、y轴和z轴坐标，

步骤s32，基于所述圆形邻域，建立邻域内点云特征集合，如式(5)所示：

其中，代表第k个非空区域的邻域内点云特征集合，x,y代表三维空间中点的x轴坐标和y坐标；代表二维网格特征图；代表非空区域指示图；

步骤s33，基于所述邻域内点云特征集合，将该邻域的二维网格的高度差异小于预设第一阈值的对应邻域判定为平坦，获得平坦位置指示图；

二维网格的高度最大值和最小值分别如式(6)和式(7)所示：

其中，和分别代表第k个非空区域的邻域内的二维网格的高度最大值和最小值，[：,2]代表该集合中所有元素的第二维信息。

圆形邻域平坦性判定，如果圆形邻域内判定为不平坦，即高度最大值和最小值差异超过了潜在地面选择中的高度差阈值t0(即预设第一阈值)，则重新选择邻域中心，否则执行下一步。

步骤s40，基于待融合前景点云对象的尺寸、缩放比例、位置偏移、多个角度值，在所述平坦位置指示图中的平坦位置进行角度遍历搜索，构建所述待融合前景点云对象各放置情况的有向矩形邻域。

待融合前景点云对象，其缩放比例通过服从带约束正态分布的随机采样生成，其方法如式(8)所示：

s^p＝max(min(xs,smin),smax),xs～n(sμ,sσ)(8)

其中，s^p为第p个邻域平坦的位置处对应有向矩形邻域的尺寸缩放比例，smax和smin分别代表带约束正态分布的最大值和最小值，xs代表随机变量，xs～n(sμ,sσ)代表xs服从期望值为sμ、方差为sσ的正态分布。

待融合前景点云对象，其位置偏移服从均匀分布，第p个邻域平坦位置对应的矩形邻域中心为其中为邻域中心所在的网格中心坐标，ξx和ξy分别如式(9)和式(10)所示：

其中，代表长度位置方向的偏移量ξx服从上的均匀分布，lx代表长和宽为lx,ly二维网格的每个单元的长；代表宽度位置方向的偏移量ξy服从上的均匀分布，ly代表长和宽为lx,ly二维网格的每个单元的宽。

待融合前景点云对象，其多个角度值的生成方法如式(11)所示：

其中，代表第cnta个角度值，na为角度值的个数；xa代表随机变量，表示xa服从上的均匀分布。

利用这些信息以及待融合前景点云对象的尺寸信息在二维网格的平坦位置进行角度遍历搜索，构建每一种放置情况下的有向矩形邻域，如式(12)所示：

其中，δx＝s^p*sizex为有向矩形邻域的缩放后的长度，δy＝s^p*sizey为有向矩形邻域缩放后的宽度，sizex和sizey分别为前景目标原始的长度和宽度；x和y分别代表三维空间中点的x轴和y轴坐标。

有向邻域内包含的点云特征向量f′＝(x′,y′,z′,z′max,z′min)构成的集合如式(13)所示：

其中，为有向矩形邻域的所有点云特征集合。

步骤s50，对于每一个放置情况，计算放置区域所包含二维网格的高度差，若所述高度差小于预设第二阈值，则以该放置情况对应的有向矩形邻域的面积尺度和旋转角度作为所述待融合前景点云对象的尺寸缩放比例和放置角度。

获取矩阵邻域尺度及角度后，判断每一种放置情况下，放置区域所包含二维网格的高度差异，对高度差小于预设阈值的放置信息进行记录和判定，二维网格的高度最大值和最小值分别如式(14)和式(15)所示：

如果高度最大值和高度最小值的差异小于预设第二阈值，即则有向矩形邻域中心同时中心高度可通过邻域内所有网格的高度平均值计算获得，如式(16)所示：

其中，cntp为以有向矩形邻域为地面的立方体区域内所有点云的数量。有向矩形邻域的面积尺度和旋转角度即为待融合前景对象的尺寸缩放比例和放置角度，s^obj＝s^p，

根据可确定待融合前景对象pobj在真实背景p(待融合背景点云)中的具体位置等信息。

步骤s60，根据所述尺寸缩放比例和放置角度进行所述待融合前景点云对象的放置，并进行对应位置的前景点云和背景点云坐标拼接，实现前景点云和背景点云的融合。

根据上述获得的待融合前景对象pobj在真实背景p(待融合背景点云)中的具体位置等信息，进行待融合前景点云对象的放置，并可通过相应点云坐标拼接前景和背景，实现二者的融合，如式(17)所示：

ptar＝concat[pobj,p](17)

其中，ptar为融合前景对象pobj和真实背景p后的点云集合，concat代表拼接操作。

如图2所示，为本发明前景点云和背景点云的融合方法的数据处理示意图，本发明可大致划分为三个阶段：第一阶段对原始点云数据样本所含信息进行分类和特征提取，并转化为特征图矩阵；第二阶段对真实背景进行预处理，判定可放置前景对象的可能区域；第三阶段将真实背景与虚拟前景对象进行匹配和拼接，完成前背景的融合。

如图3所示，为本发明前景点云和背景点云的融合方法一种实施例的前景点云和背景点云融合示意图，本发明一个实施例中，数据源共包含两类，其中多个前景对象数据通过互联网进行抓取，背景数据则通过便携式的点云扫描终端获取。两类数据都将上传到数据服务器中进行暂存，并根据图1或图2中流程在预处理服务器中计算前景对象相对于背景的放置信息。已知放置信息后，多个前景与背景将在融合服务器中实现拼接，完成前景点云和背景点云的融合。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例的前景点云和背景点云的融合系统，该系统包括以下模块：

点云划分模块，配置为将获取的待融合背景点云在俯视图视角下进行二维划分，并获取二维划分后的每一个二维网格的背景点云数量；

特征提取模块，配置为分别提取背景点云数量不为0的二维网格构成的多个非空区域的底面中心点坐标以及高度平均值、最大值和最小值，获得二维网格特征图；

平坦判定模块，配置为分别以每一个非空区域的中心为中心构建圆形邻域，并将每一个邻域的二维网格的高度差异小于预设第一阈值的对应邻域判定为平坦，获得平坦位置指示图；

有向矩形邻域构建模块，配置为基于待融合前景点云对象的尺寸、缩放比例、位置偏移、多个角度值，在所述平坦位置指示图中的平坦位置进行角度遍历搜索，构建所述待融合前景点云对象各放置情况的有向矩形邻域；

前景对象放置信息获取模块，配置为对于每一个放置情况，计算放置区域所包含二维网格的高度差，若所述高度差小于预设第二阈值，则以该放置情况对应的有向矩形邻域的面积尺度和旋转角度作为所述待融合前景点云对象的尺寸缩放比例和放置角度；

前景对象放置及点云融合模块，配置为根据所述尺寸缩放比例和放置角度进行所述待融合前景点云对象的放置，并进行对应位置的前景点云和背景点云坐标拼接，实现前景点云和背景点云的融合。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的前景点云和背景点云的融合系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的前景点云和背景点云的融合方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的前景点云和背景点云的融合方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。