为图像处理进行点云配准的方法和系统与流程

文档序号:22626763发布日期:2020-10-23 19:35阅读:来源:国知局

技术特征:

1.一种计算机实现的方法,包括:

从一个或多个相机获得同一场景的多个图像的图像数据,所述多个图像包括第一图像和第二图像,所述第一图像和所述第二图像各自分别与第一点云和第二点云相关联,所述第一点云和所述第二点云二者分别形成该场景;

生成三维的第一重叠区域和第二重叠区域,所述第一重叠区域和所述第二重叠区域各自分别包围来自相应的所述第一点云和所述第二点云的点,并在相应的所述第一点云和所述第二点云中具有位置和尺寸;

迭代地修改所述第一重叠区域和所述第二重叠区域的位置或尺寸或这两者,以生成每次迭代的、到目前为止最佳的第一重叠区域和第二重叠区域,直至满足收敛标准为止;并且

至少部分地基于最佳的重叠区域来建立变换,并且所述变换包括旋转部分、平移部分或这两者,以在所述第一点云和所述第二点云之间转换点位置。

2.根据权利要求1所述的方法,包括:根据最佳的重叠区域的位置或尺寸或这两者在一次迭代与另一迭代之间的差异是否满足收敛标准,来确定收敛存在。

3.根据权利要求1所述的方法,包括:

形成一组候选主轴对,包括:确定通过使用所述第一点云形成的至少一个主轴,所述至少一个主轴将与通过使用所述第二点云形成的主轴配对;

生成一组重叠区域样本,该组重叠区域样本相对于初始第一重叠区域和初始第二重叠区域在位置或尺寸或这两者上发生变化,所述初始第一重叠区域和初始第二重叠区域相对于个体迭代而言是初始的;

迭代地将该组候选主轴对中最佳的主轴对与个体重叠区域样本进行匹配;并且

在每次迭代中,根据(1)所述第一点云和所述第二点云中的一者的重叠区域样本与(2)所述第一点云和所述第二点云中的另一者的重叠区域样本之间的点分布差异,来在所有重叠区域样本当中选择最佳的重叠区域样本和所匹配的最佳主轴对。

4.根据权利要求1所述的方法,包括:将所述第一点云的主轴与所述第二点云各自的主轴进行配对。

5.根据权利要求4所述的方法,包括:使用曼哈顿世界假设来检测用于形成所述主轴的平面。

6.根据权利要求5所述的方法,包括:根据分别是检测到的垂直平面的法线的两条法线形成主轴,并使用所述两条法线来计算第三轴,来形成三个针对每个主轴的轴。

7.根据权利要求4所述的方法,包括:对于被考虑进行配对的所述主轴,通过比较沿着每个轴的颜色或亮度图像数据直方图,来执行所述配对。

8.根据权利要求1所述的方法,其中,每次迭代具有第一级和第二级,

在所述第一级期间,所述方法包括:确定多个第一级重叠区域样本作为所述第一重叠区域的变化,并且确定多个第二重叠区域变化,所述第二重叠区域变化中的每一者均保持有所述第二重叠区域的中心点,以将所述第二重叠区域变化与个体第一级重叠区域样本进行比较,来确定最佳的第一重叠区域,并且

在所述第二级期间,所述方法包括:确定多个第二级重叠区域样本作为所述第二重叠区域的变化,并将所述第二级重叠区域样本与所述最佳的第一重叠区域进行比较,来确定最佳的第二重叠区域。

9.根据权利要求8所述的方法,其中,所述第一级重叠区域样本的变化是相对于所述第一重叠区域在中心点和边缘尺寸两者上的变化,并且所述第二级重叠区域样本的变化是相对于所述第二重叠区域在中心点上的变化,但所使用的边缘尺寸与来自所述第一级的所述最佳的第一重叠区域相同。

10.根据权利要求1所述的方法,包括:在每次迭代中,确定与所述第一重叠区域相对应的单一最佳重叠区域和与所述第二重叠区域相对应的单一最佳重叠区域;并通过下述方式来在下一次迭代中将这两个单一最佳重叠区域用作初始第一重叠区域和初始第二重叠区域:在所述下一次迭代中,在所述第一点云和所述第二点云中使用所述最佳重叠区域的位置和尺寸,而无需在各次迭代之间保持其他加权数据。

11.根据权利要求1所述的方法,包括:在给定所述第一点云和所述第二点云的观测值的情况下,估计所述变换的旋转部分和平移部分的概率以及所述第一点云和所述第二点云的最佳第一重叠区域和最佳第二重叠区域,其中,所述估计包括:确定条件概率和后验概率;并且

迭代地将该组候选主轴对中的最佳主轴对与个体重叠区域样本进行匹配将被执行来表示所述条件概率,并且

在每次迭代中选择最佳的重叠区域样本和所匹配的最佳主轴对将被执行来表示所述后验概率。

12.一种为图像处理进行点云配准的计算机实现的系统,包括:

显示器;

通信地耦合到所述显示器的至少一个处理器;

通信耦合到所述至少一个处理器的至少一个存储器;以及

3d单元,所述3d单元由所述处理器通过以下步骤进行操作:

从一个或多个相机获得同一场景的多个图像的图像数据,所述多个图像包括第一图像和第二图像,所述第一图像和所述第二图像各自分别与第一点云和第二点云相关联,所述第一点云和所述第二点云二者分别形成该场景;

生成三维的第一重叠区域和第二重叠区域,所述第一重叠区域和所述第二重叠区域各自分别包围来自相应的所述第一点云和所述第二点云的点,并在相应的所述第一点云和所述第二点云中具有位置和尺寸;

迭代地修改所述第一重叠区域和所述第二重叠区域的位置或尺寸或这两者,以生成每次迭代的、到目前为止最佳的第一重叠区域和第二重叠区域,直至满足收敛标准为止;并且

至少部分地基于最佳的重叠区域来建立变换,并且所述变换包括旋转部分、平移部分或这两者,以在所述第一点云和所述第二点云之间转换点位置。

13.根据权利要求12所述的系统,其中,所述第一重叠区域和所述第二重叠区域是个体迭代的初始重叠区域,并且其中,迭代地修改所述第一重叠区域和所述第二重叠区域的位置或尺寸或这两者包括:生成一组重叠区域样本,该组重叠区域样本是所述第一重叠区域或所述第二重叠区域的变化。

14.根据权利要求13所述的系统,其中,通过使用对初始第一重叠区域或初始第二重叠区域在位置、尺寸或这两者上的变化进行的基于高斯分布的随机采样,使所述重叠区域样本与所述初始重叠区域不同。

15.根据权利要求13所述的系统,包括:

生成一组候选主轴对,每对具有来自所述第一点云的主轴和来自所述第二点云的主轴;并且

确定所述候选主轴中的一者与个体重叠区域样本之间的最佳匹配。

16.根据权利要求13所述的系统,其中,确定最佳匹配包括:区分与所述第一重叠区域不同的个体重叠区域样本,所述个体重叠区域样本不同于多个变化重叠区域之一,所述多个变化重叠区域保持所述第二重叠区域的初始中心点位置,但变化为具有与所比较的重叠区域样本的边缘长度匹配的边缘长度。

17.根据权利要求13所述的系统,其中,确定最佳匹配包括:区分与所述第二重叠区域不同的个体重叠区域样本,所述个体重叠区域样本不同于所述第一重叠区域。

18.根据权利要求13所述的系统,包括:调整所述重叠区域样本以与所述候选主轴对中的一个候选主轴对的主轴对准,并且在执行区分之前,通过将要与所述重叠区域样本进行比较的重叠区域与所述一个候选主轴对中的另一主轴对准,来调整所述重叠区域。

19.根据权利要求18所述的系统,其中,所述区分包括:将所述重叠区域样本和要比较的重叠区域划分至区间中,并且对每个区间中的所述第一点云和所述第二点云的点数进行计数。

20.根据权利要求19所述的系统,包括通过以下步骤来提供所述重叠区域样本和要比较的重叠区域的二进制直方图:如果区间中的一者中的点的数目大于阈值,则提供1或0;如果区间中的一者中的点的数目小于所述阈值,则提供1或0中的另一者。

21.根据权利要求20所述的系统,其中,实现所述区分的差异是所述重叠区域样本和要比较的重叠区域的直方图之间的汉明差异,并且在所有候选主轴对中,产生与重叠区域样本相关联的最小汉明距离的候选主轴对被视为与该重叠区域样本匹配。

22.一种计算机可读介质,其上存储有指令,所述指令在被执行时使得计算设备通过以下步骤进行操作:

从一个或多个相机获得同一场景的多个图像的图像数据,所述多个图像包括第一图像和第二图像,所述第一图像和所述第二图像各自分别与第一点云和第二点云相关联,所述第一点云和所述第二点云二者分别形成该场景;

生成三维的第一重叠区域和第二重叠区域,所述第一重叠区域和所述第二重叠区域各自分别包围来自相应的所述第一点云和所述第二点云的点,并在相应的所述第一点云和所述第二点云中具有位置和尺寸;

迭代地修改所述第一重叠区域和所述第二重叠区域的位置或尺寸或这两者,以生成每次迭代的、到目前为止最佳的第一重叠区域和第二重叠区域,直至满足收敛标准为止;并且

至少部分地基于最佳的重叠区域来建立变换,并且所述变换包括旋转部分、平移部分或这两者,以在所述第一点云和所述第二点云之间转换点位置。

23.根据权利要求22所述的计算机可读介质,包括:

生成一组候选主轴对,每对具有来自所述第一点云的主轴和来自所述第二点云的主轴;

确定所述候选主轴中的一者与各个重叠区域样本之间的最佳匹配,所述重叠区域样本分别是所述第一重叠区域或所述第二重叠区域在位置或边缘长度或这两者上的变化;并且

通过确定在以下项之间具有最小差异的重叠区域样本,来确定迭代的最佳匹配区域:

(1)重叠区域样本,其被调整为与所述主轴对中匹配所述重叠区域的主轴对准并与所述第一点云或所述第二点云相关联,以及

(2)所述第一重叠区域或所述第二重叠区域中的另一者,被调整为与匹配的主轴对中的另一主轴对准。

24.根据权利要求23所述的计算机可读介质,其中,所述最小差异是指与经调整的重叠区域样本和经调整的第一或第二重叠区域相关联的点分布的差异。

25.根据权利要求23所述的计算机可读介质,其中,所述最小差异是指经调整的重叠区域样本与经调整的第一或第二重叠区域的点分布的二进制直方图之间的汉明差异,其中,汉明距离已被建立并被用于将主轴与重叠区域样本匹配。


技术总结
本发明提供了点云配准的方法和系统。该方法的特征在于包括:从一个或多个相机获得同一场景的多个图像的图像数据,多个图像包括各自分别与第一点云和第二点云相关联的第一图像和第二图像,第一点云和第二点云二者分别形成该场景;生成各自分别包围来自相应的第一点云和第二点云的点并在第一点云和第二点云中具有位置和尺寸的三维的第一重叠区域和第二重叠区域;迭代地修改第一重叠区域和第二重叠区域的位置或尺寸或这两者,以生成每次迭代的到目前为止最佳的第一重叠区域和第二重叠区域,直至满足收敛标准为止;并且至少部分地基于最佳的重叠区域来建立变换,并且变换包括旋转部分、平移部分或这两者,以在第一点云和第二点云之间转换点位置。

技术研发人员:张益民;任海兵;胡炜;郭萍
受保护的技术使用者:英特尔公司
技术研发日:2018.02.26
技术公布日:2020.10.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1