三维重建对象的方法和设备与流程

文档序号:17240841发布日期:2019-03-30 08:34阅读:204来源:国知局
三维重建对象的方法和设备与流程

本发明一般地涉及三维成像领域。具体而言,本发明涉及一种能够准确地进行对象的三维重建的方法和设备。



背景技术:

近年来,随着三维成像技术的发展,涌现了很多相关的应用,如增强现实、数字博物馆、三维打印等等。三维成像技术的重要方面是三维重建技术。主流的三维重建方法基于一组深度图像来重建三维对象。

传统的三维重建方法主要关注于如何更加准确地对相机的参数进行估计,例如引入了变形信息用以估计相机的失真。但是,传统的三维重建方法,在计算全局TSDF(截断有向距离函数,Truncated Signed Distance Funct ion)表征时,只是简单地对所有的局部TSDF表征进行算术平均,没有充分挖掘局部TSDF表征与全局TSDF表征之间的关系。由于仅依靠改进对相机参数的估计来提升三维重建的效果,所以传统的三维重建方法的效果改善有限,三维重建对象的准确度有待进一步提高。

因此,期望一种三维重建对象的方法和设备,其能够准确地进行对象的三维重建。



技术实现要素:

在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。

本发明的目的是针对现有技术的上述问题,提出了一种侧重于挖掘局部TSDF表征与全局TSDF表征之间的关系的三维重建对象的方法和设备。

为了实现上述目的,根据本发明的一个方面,提供了一种对象的三维重建方法,包括:获得三维空间中体素的初始局部截断有向距离函数TSDF值;求解最优化问题,以得到体素的一个全局TSDF值;以及基于所得到的全局TSDF值,三维重建所述对象;其中,在所述最优化问题中,一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,变量是体素的全局TSDF值和刚性变换的参数,代价函数与下列因素相关:体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和。

根据本发明的另一个方面,提供了一种对象的三维重建设备,包括:获得装置,被配置为:获得三维空间中体素的初始局部截断有向距离函数TSDF值;求解装置,被配置为:求解最优化问题,以得到体素的一个全局TSDF值;以及重建装置,被配置为:基于所得到的全局TSDF值,三维重建所述对象;其中,在所述最优化问题中,一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,变量是体素的全局TSDF值和刚性变换的参数,代价函数与下列因素相关:体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和。

另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述方法。

此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述方法。

附图说明

参照下面结合附图对本发明的实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中:

图1示出了根据本发明的实施例的三维重建对象方法的流程图;

图2示出了根据本发明的实施例的获得初始局部TSDF方法的流程图;

图3示出了根据本发明的实施例的计算初始局部TSDF方法的流程图;

图4示出了根据本发明的实施例的三维重建对象的设备的结构方框图;以及

图5示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。

在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。另外,还需要指出的是,在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。

下面将参照图1描述根据本发明的实施例的对象的三维重建方法的流程。

图1示出了根据本发明的实施例的三维重建对象方法的流程图。如图1所示,根据本发明的实施例的三维重建对象方法包括如下步骤:获得三维空间中体素的初始局部截断有向距离函数TSDF值(步骤S1);求解最优化问题,以得到体素的一个全局TSDF值(步骤S2);以及基于所得到的全局TSDF值,三维重建所述对象(步骤S3);其中,在所述最优化问题中,一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,变量是体素的全局TSDF值和刚性变换的参数,代价函数与下列因素相关:体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和。

在步骤S1中,获得三维空间中体素的初始局部截断有向距离函数TSDF值。

具体地说,三维空间被均匀地划分为若干体素,可以认为体素是三维空间的基本单元。由于基于一组深度图来重建三维对象,所以三维重建对象方法的输入是一组深度图。这组深度图是由多个相机拍摄得到的,每个相机对应于一个深度图。又由于输入不包括相机的参数,所以需要基于深度图来估计对应的相机的参数,并进而得到相关体素的初始局部TSDF值。

另外,此处应注意在本文中提到的“多个相机”包括处于不同的位置和朝向的物理上的多个相机的情况,也包括同一个相机通过调整位置和/或朝向而形成逻辑上的多个相机的情况,还包括上述两种情况混合的情况。

体素的初始局部TSDF值被定义为基于相机参数在三维空间计算出的体素相对于相机的深度与深度图中该体素对应位置的深度之间的有向距离经截断后的结果。将这样的TSDF值称为初始局部TSDF值。从以上定义可知,一个体素相对于一个相机可以计算出一个上述定义的有向距离,一个体素相对于多个相机可以计算出多个上述定义的有向距离,每个有向距离对应于一个相机。有向距离由于要经过截断操作,所以一个体素可能对应于一个或多个初始局部TSDF值,一个体素对应的初始局部TSDF值的上限是相机/深度图的个数。经截断后,有的体素会没有初始局部TSDF值,这样的体素不再被考虑。也即,在步骤S1中计算得到初始局部TSDF值的体素才会在后续的步骤S2、S3中继续处理。

由于在相机捕获深度图的时候,获取的是对象表面的信息,所以可以理解基于相机参数在三维空间计算出的体素相对于相机的深度是该体素与相机的成像点之间的距离在光轴方向上的投影,而深度图中该体素对应位置的深度是该体素与相机的成像点之间的光线所经过的对象表面上的点与相机的成像点之间的距离在光轴方向上的投影。由于该体素可能相对于对象表面上的该点距离相机更远或更近,所以距离在光轴方向上的投影之差为有向距离。距离在光轴方向上的投影为零,表明该体素与对象表面上的该点重合,也即该体素是对象表面上的点。

理论上,初始局部TSDF值等于零的所有体素构成了对象表面。但是,由于初始局部TSDF的值的计算依赖于相机参数的估计,相机参数的估计值与相机参数的实际值并不一定完全一致,所以初始局部TSDF值并不能直接用来重建三维对象的表面。一种可能的方法是对每个具有初始局部TSDF值的体素的所有初始局部TSDF值求算术平均值,将算术平均值作为该体素的全局TSDF值,然后基于该全局TSDF值和具有该值的体素来重建三维对象的表面。然而,这样产生的问题是固化了初始局部TSDF值与全局TSDF值之间的关系。

由于相机有多个,所以多个相机的参数估计的情况可能存在不同,因此,采用统一的方式将不同相机对应的初始局部TSDF值转换为全局TSDF值显然不够精确。

经过上述描述,可以理解,步骤S1可通过图2所示的方法实现。

如图2所示,在步骤S21中,估计与多个深度图对应的多个相机中的每一个相机的相机参数,相机参数包括但不限于相机的位置和朝向。例如,可采用Kinect Fusion中使用的深度图与三维模型之间的匹配算法来进行相机参数估计。当然,可以采用本领域已知的所有适宜的相机参数估计方法实现步骤S21。

在步骤S22中,基于所估计的相机参数,计算体素的一个或多个初始局部TSDF值。

步骤S22可通过图3所示的方法实现。

如图3所示,针对待计算初始局部TSDF值的每一个体素和多个深度图对应的每一个相机,在步骤S31中,基于相机的所估计的相机参数,计算体素相对于该相机的第一深度值。在步骤S32中,确定该体素对应的、该相机关联的深度图中的第二深度值。在步骤S33中,将第一深度值与第二深度值的差值截断后的结果,作为该体素的与该相机对应的初始局部TSDF值。

应注意,计算体素的初始局部TSDF值时体素的范围是三维空间中的预定的估计能够完全涵盖对象的区域。由于初始局部TSDF的计算涉及截断操作,所以经截断后,具有初始局部TSDF值的体素的范围将进一步缩小。通过控制截断的阈值,可以将具有初始局部TSDF值的体素限定到对象的表面附近。截断的阈值举例来说可以是正负5厘米,也即初始局部TSDF值的取值范围可以是[-5,5]。

为了计算方便,还对初始局部TSDF值进行归一化。归一化的阈值即为截断的阈值。

截断保证了体素在对象的表面附近,从后续的说明中还将看出,体素经刚性变换会对应于该体素本身或另一体素,为了保证刚性变换前后的体素都处于对象的表面附近,将进一步对体素的初始局部TSDF值进行限制。

具体地,限定体素的初始局部TSDF值的绝对值小于或等于特定阈值α,该特定阈值α属于(0,1)。也就是说,[-α,α]的初始局部TSDF值的体素经刚性变换会对应于其初始局部TSDF值在[-1,1]之间的体素。

此外,如果分别在每个相机关联的坐标系(例如以该相机为原点的坐标系)中计算初始局部TSDF值,则计算得到的体素的初始局部TSDF值对应于多个相机中的一个相机关联的坐标系。可将计算得到的体素的初始局部TSDF值转换到同一坐标系中。例如,将计算得到的体素的初始局部TSDF值转换到第一个相机关联的坐标系中。通过将初始局部TSDF值统一到一个坐标系,可以方便从初始局部TSDF值到最终局部TSDF值的刚性变换以及进而求得全局TSDF值,能够降低计算量,并且能够得到全局最优解而非局部最优解。

当然,也可以直接在全局坐标系中计算体素相对于每个相机的初始局部TSDF值。采用此种方式的好处是可以避免将体素的初始局部TSDF值从各个相机关联的坐标系转换到同一坐标系时产生的精度损失。

如前所述,由于基于估计的相机参数来计算初始局部TSDF值,而不同的深度图对应的不同相机的估计的参数不一定完全准确并且不准确的情况不一定完全相同,所以不适宜以统一的方式对体素的所有初始局部TSDF值进行处理以得到体素的全局TSDF值。事实上,多个体素对应于同一个相机的初始局部TSDF值的计算依赖于同一个相机的估计参数,所以可以认为多个第一体素对应于同一个相机的初始局部TSDF值应该经过平移和旋转之后整体变换(刚性变换的逆变换)到多个第二体素处,成为多个第二体素的最终局部TSDF值。多个第一体素与多个第二体素可以相同(零变换),也可以不同(针对一个相机的整体变换)。前文中的特定阈值α限定了第二体素的初始局部TSDF的取值范围,从而保证了第二体素的最终局部TSDF值属于[-1,1]。

应注意,刚性变换针对同一相机进行。也就是说,同一相机对应的属于多个第一体素的多个初始局部TSDF值在这些第一体素经过同一个刚性变换的逆变换对应到多个第二体素的同时成为这些第二体素的对应于该相机的多个最终局部TSDF值。所谓刚性是指对应于同一相机的多个初始局部TSDF值经统一的旋转和/或平移变换从第一体素到达第二体素(TSDF值本身不变),这些值所关联的体素之间的相对位置关系在变换前后并没有发生变化。

经过刚性变换的修正,抵消了相机参数估计的误差,使得TSDF值与体素的对应关系更加准确。同时,从最终局部TSDF值得到全局TSDF值,就可以进而基于全局TSDF值重建三维对象。

本发明采用设计和求解最优化问题的方式来实现从初始局部TSDF值到最终局部TSDF值涉及的刚性变换以及从最终局部TSDF值到全局TSDF值的计算。

最优化问题的设计关键在于变量和代价函数的设计。

在最优化问题中,一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,变量是体素的全局TSDF值和刚性变换的参数,代价函数与下列因素相关:体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和。

代价函数例如可以设计为体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和的总和。前文中提到步骤S1获得初始局部TSDF值时,由于进行了截断、归一化,以及在一些实施例中利用阈值α进一步限定,导致只有部分体素具有初始局部TSDF值,后续步骤将针对这些体素进行。因此,代价函数可以设计为针对这些体素的每一个计算代价项,代价函数是代价项的总和,每个代价项是体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和,也即体素的全局TSDF值与该体素的最终局部TSDF值的差的平方和。

这里之所以设计为一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,而不是设计为一个体素的全局TSDF值基于该体素的初始局部TSDF值得到,是因为如果按照后者设计,则最优化问题的解会是一个体素的全局TSDF值等于该体素的初始局部TSDF值的算术/加权平均值。通过引入针对一个相机整体的仅涉及平移和旋转的刚性变换,增加了从初始局部TSDF值到最终局部TSDF值的转化,从而使得最优化问题的解更加准确,导致三维重建对象的结果更加准确。

设全局TSDF值为V、深度图个数为n,则各个深度图对应的初始局部TSDF值为V1、V2、……、Vn,各个深度图对应的最终局部TSDF值为V1’、V2’、……、Vn’,深度图的序号为i,i=1,2,……,n。对于V中的体素p,其在Vi′中的对应体素仍为p,而在Vi中的对应体素为Ti(p),其中Ti为优化问题中需要求解的刚性变换。

如前文所述,体素经截断、归一化而具有初始局部TSDF值,即要求Vi(p)的值位于[-1,1]区间。此处还需要求Vi(Ti(p))∈[-1,1]。由于Vi与Vi′之间不会进行剧烈的变换,也就是说,体素p与体素Ti(p)之间的距离不会很远,所以定义集合Pi:Pi={p|Vi(p)∈[-α,α]},使得能够保证Vi(Ti(p))∈[-1,1]。

也就是说,计算代价函数时,针对属于集合Pi的体素p计算代价项的总和,每个代价项是体素p在V中的全局TSDF值与体素p经刚性变换对应的Vi中的体素Ti(p)的初始局部TSDF值之差的平方和,平方求和是因为体素p可能具有多个最终局部TSDF值,从而对应有多个体素Ti(p)的初始局部TSDF值。

所以代价函数可以表示为:

求解最优化问题,也就是求解最小化上述代价函数的最终全局TSDF值和刚性变换参数的最优值。

因此,在步骤S2中,求解最优化问题,以得到体素的一个全局TSDF值。

此处体素的一个全局TSDF值是强调一个体素最终只具有一个全局TSDF值,而这样的体素的范围是集合Pi。

最优化问题可以通过迭代的高斯牛顿(Gauss-Newton)方法求解或者通过针对体素的全局TSDF值和刚性变换的参数分别计算来迭代求解。

但无论哪种求解方式,都涉及迭代,因此,需要设定迭代的初始值。

在最优化问题中,体素的全局TSDF值的初始值等于该体素的全部初始局部TSDF值的加权平均值。此处的加权一方面可以为算术平均,另一方面也可以根据相机与体素的距离计算权重。

刚性变换的参数的初始值使得该体素经刚性变换对应的体素是该体素本身。一个体素可能具有多个初始局部TSDF值,如果该体素经刚性变换对应到该体素本身,则这个体素的初始化的最终局部TSDF值也具有多个,每个对应于一个相机。

例如,刚性变换Ti(p)=Ri*p+ti,其中Ri是旋转矩阵,可初始化为单位阵,ti为平移向量,可初始化为零向量。

在步骤S2中获得属于集合Pi的所有体素p的全局TSDF值之后,就可以基于此重建对象了。

在步骤S3中,基于所得到的全局TSDF值,三维重建所述对象。

例如,可利用移动立方体(marching cube)算法,基于所得到的全局TSDF值,三维重建所述对象的表面。移动立方体算法为本领域已知的算法,在此不再赘述。

下面,将参照图4描述根据本发明的实施例的三维重建对象的设备。

图4示出了根据本发明的实施例的三维重建对象的设备的结构方框图。如图4所示,根据本发明的三维重建对象设备400包括:获得装置41,被配置为:获得三维空间中体素的初始局部截断有向距离函数TSDF值;求解装置42,被配置为:求解最优化问题,以得到体素的一个全局TSDF值;以及重建装置43,被配置为:基于所得到的全局TSDF值,三维重建所述对象;其中,在所述最优化问题中,一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,变量是体素的全局TSDF值和刚性变换的参数,代价函数与下列因素相关:体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和。

在一个实施例中,所述获得装置41包括:估计单元,被配置为:估计多个相机中的每一个相机的相机参数;计算单元,被配置为:基于所估计的相机参数,计算体素的一个或多个初始局部TSDF值。

在一个实施例中,所述计算单元被进一步配置为:基于相机的所估计的相机参数,计算体素相对于该相机的第一深度值;确定该体素对应的、该相机关联的深度图中的第二深度值;将第一深度值与第二深度值的差值截断后的结果,作为该体素的与该相机对应的初始局部TSDF值。

在一个实施例中,所述获得装置41还包括:归一化单元,被配置为:将计算得到的体素的初始局部TSDF值归一化。

在一个实施例中,体素的初始局部TSDF值的绝对值小于或等于特定阈值,该特定阈值属于(0,1)。

在一个实施例中,计算得到的体素的初始局部TSDF值对应于所述多个相机中的一个相机关联的坐标系;所述获得装置41还包括:坐标系转换单元,被配置为:将计算得到的体素的初始局部TSDF值转换到同一坐标系中。

在一个实施例中,所述坐标系转换单元被进一步配置为:将计算得到的体素的初始局部TSDF值转换到第一个相机关联的坐标系中。

在一个实施例中,在所述最优化问题中,体素的全局TSDF值的初始值等于该体素的全部初始局部TSDF值的加权平均值;刚性变换的参数的初始值使得该体素经刚性变换对应的体素是该体素本身。

在一个实施例中,所述刚性变换的参数包括单位阵和零向量。

在一个实施例中,所述求解装置42被进一步配置为:通过迭代的高斯牛顿方法求解所述最优化问题或者通过针对体素的全局TSDF值和刚性变换的参数分别计算来迭代求解所述最优化问题。

在一个实施例中,所述重建装置43被进一步配置为:利用移动立方体算法,基于所得到的全局TSDF值,三维重建所述对象的表面。

在一个实施例中,刚性变换仅涉及旋转和平移。

由于在根据本发明的三维重建对象设备400中所包括的各个装置、单元中的处理分别与上面描述的三维重建对象方法中所包括的各个步骤中的处理类似,因此为了简洁起见,在此省略这些装置、单元的详细描述。

此外,这里尚需指出的是,上述设备中各个组成装置、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知,在此不再赘述。在通过软件或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机(例如图5所示的通用计算机500)安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。

图5示出了可用于实施根据本发明的实施例的方法和设备的计算机的示意性框图。

在图5中,中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中,还根据需要存储当CPU 501执行各种处理等等时所需的数据。CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口505也连接到总线504。

下述部件连接到输入/输出接口505:输入部分506(包括键盘、鼠标等等)、输出部分507(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分508(包括硬盘等)、通信部分509(包括网络接口卡比如LAN卡、调制解调器等)。通信部分509经由网络比如因特网执行通信处理。根据需要,驱动器510也可连接到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器510上,使得从中读出的计算机程序根据需要被安装到存储部分508中。

在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。

本领域的技术人员应当理解,这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 502、存储部分508中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本发明的实施例的方法。

相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。

应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外,本发明的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

附记

1.一种对象的三维重建方法,包括:

获得三维空间中体素的初始局部截断有向距离函数TSDF值;

求解最优化问题,以得到体素的一个全局TSDF值;以及

基于所得到的全局TSDF值,三维重建所述对象;

其中,在所述最优化问题中,一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,变量是体素的全局TSDF值和刚性变换的参数,代价项是体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和,代价函数是每个体素的代价项的总和。

2.如附记1所述的方法,其中,获得三维空间中体素的初始局部截断有向距离函数TSDF值包括:

估计多个相机中的每一个相机的相机参数;

基于所估计的相机参数,计算体素的一个或多个初始局部TSDF值。

3.如附记2所述的方法,其中,基于所估计的相机参数,计算体素的一个或多个初始局部TSDF值包括:

基于相机的所估计的相机参数,计算体素相对于该相机的第一深度值;

确定该体素对应的、该相机关联的深度图中的第二深度值;

将第一深度值与第二深度值的差值截断后的结果,作为该体素的与该相机对应的初始局部TSDF值。

4.如附记2所述的方法,其中,获得三维空间中体素的初始局部截断有向距离函数TSDF值还包括:

将计算得到的体素的初始局部TSDF值归一化。

5.如附记4所述的方法,其中,体素的初始局部TSDF值的绝对值小于或等于特定阈值,该特定阈值属于(0,1)。

6.如附记2所述的方法,其中,计算得到的体素的初始局部TSDF值对应于所述多个相机中的一个相机关联的坐标系;

获得三维空间中体素的初始局部截断有向距离函数TSDF值还包括:将计算得到的体素的初始局部TSDF值转换到同一坐标系中。

7.如附记6所述的方法,其中,将计算得到的体素的初始局部TSDF值转换到同一坐标系中包括:将计算得到的体素的初始局部TSDF值转换到第一个相机关联的坐标系中。

8.如附记1所述的方法,其中,在所述最优化问题中,体素的全局TSDF值的初始值等于该体素的全部初始局部TSDF值的加权平均值;刚性变换的参数的初始值使得该体素经刚性变换对应的体素是该体素本身。

9.如附记1所述的方法,其中,所述最优化问题通过迭代的高斯牛顿方法求解或者通过针对体素的全局TSDF值和刚性变换的参数分别计算来迭代求解。

10.如附记1所述的方法,其中,基于所得到的全局TSDF值,三维重建所述对象包括:

利用移动立方体算法,基于所得到的全局TSDF值,三维重建所述对象的表面。

11.一种对象的三维重建设备,包括:

获得装置,被配置为:获得三维空间中体素的初始局部截断有向距离函数TSDF值;

求解装置,被配置为:求解最优化问题,以得到体素的一个全局TSDF值;以及

重建装置,被配置为:基于所得到的全局TSDF值,三维重建所述对象;

其中,在所述最优化问题中,一个体素的全局TSDF值基于该体素的最终局部TSDF值得到,一个体素的最终局部TSDF值等于该体素经刚性变换对应的体素的初始局部TSDF值,变量是体素的全局TSDF值和刚性变换的参数,代价项是体素的全局TSDF值与该体素经刚性变换对应的体素的初始局部TSDF值的差的平方和,代价函数是每个体素的代价项的总和。

12.如附记11所述的设备,其中,所述获得装置包括:

估计单元,被配置为:估计多个相机中的每一个相机的相机参数;

计算单元,被配置为:基于所估计的相机参数,计算体素的一个或多个初始局部TSDF值。

13.如附记12所述的设备,其中,所述计算单元被进一步配置为:

基于相机的所估计的相机参数,计算体素相对于该相机的第一深度值;

确定该体素对应的、该相机关联的深度图中的第二深度值;

将第一深度值与第二深度值的差值截断后的结果,作为该体素的与该相机对应的初始局部TSDF值。

14.如附记12所述的设备,其中,所述获得装置还包括:归一化单元,被配置为:将计算得到的体素的初始局部TSDF值归一化。

15.如附记14所述的设备,其中,体素的初始局部TSDF值的绝对值小于或等于特定阈值,该特定阈值属于(0,1)。

16.如附记12所述的设备,其中,计算得到的体素的初始局部TSDF值对应于所述多个相机中的一个相机关联的坐标系;

所述获得装置还包括:坐标系转换单元,被配置为:将计算得到的体素的初始局部TSDF值转换到同一坐标系中。

17.如附记16所述的设备,其中,所述坐标系转换单元被进一步配置为:将计算得到的体素的初始局部TSDF值转换到第一个相机关联的坐标系中。

18.如附记11所述的设备,其中,在所述最优化问题中,体素的全局TSDF值的初始值等于该体素的全部初始局部TSDF值的加权平均值;刚性变换的参数的初始值使得该体素经刚性变换对应的体素是该体素本身。

19.如附记11所述的设备,其中,所述求解装置被进一步配置为:通过迭代的高斯牛顿方法求解所述最优化问题或者通过针对体素的全局TSDF值和刚性变换的参数分别计算来迭代求解所述最优化问题。

20.如附记11所述的设备,其中,所述重建装置被进一步配置为:

利用移动立方体算法,基于所得到的全局TSDF值,三维重建所述对象的表面。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1