专利名称：一种基于多深度图的非刚体三维重建方法及系统的制作方法
技术领域：
本发明涉及计算机视觉技术领域，特别涉及一种基于多深度图的非刚体三维重建方法及系统。
背景技术：
三维重建是计算机视觉领域的重点问题。高质量的三维模型在影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪实现，虽然精度得以保证，但是也存在着两个缺点:第一、激光扫描仪在扫描过程中要求被扫物体绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，激光扫描仪价格不菲，很难普及从而扩大民用价值。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的一个目的在于提出一种基于多深度图的非刚体三维重建方法。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前本发明的另一目的在于提出一种基于多深度图的非刚体三维重建系统。为了实现上述目的，本发明第一方面的实施例提出了一种基于多深度图的非刚体三维重建方法，包括以下步骤:对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。根据本发明实施例的基于多深度图的非刚体三维重建方法，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该方法需求的输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响。另外，该方法简单易行，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件系统上实现。另外，根据本发明上述实施例的基于多深度图的非刚体三维重建方法还可以具有如下附加的技术特征:在一些示例中，通过深度相机对所述非刚体进行拍摄以得到所述多个深度图。在一些示例中，所述将每个深度图变换为一组三维点云，进一步包括:获取所述深度相机的内参矩阵；根据所述内参矩阵将所述每个深度图变换为一组三维点云。在一些示例中，所述变换的变换公式为:pj =其中，U，V为像
素坐标，dc(u, V)为第c张深度图上像素(U，V)位置上的深度值,所述K为内参矩阵。在一些示例中，所述对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数，进一步包括:计算所述每个匹配点的旋转矩阵和偏移向量；根据所述旋转矩阵和偏移向量得到所述每个匹配点的位置变换方程；根据所述的位置变换方程得到所述每个匹配点对应的变换参数。在一些示例中，所述位置变换方程为:P' =Rp+t,其中,P为匹配点,R为旋转矩阵，t为偏移向量。在一些示例中，所述能量函数为:X=argminxa eEe+a fEf+a nEn,其中，EeS拓扑约束，Ef为特征约束，En为最近点约束，a e、a f、a ^分别为Ee、Ef和En的权重系数。本发明第二方面的实施例提供了一种基于多深度图的非刚体三维重建系统，包括:深度相机，所述深度相机用于对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；匹配模块，用于将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；变换模块，用于对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；拼接模块，用于对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及三维重建模块，用于对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。根据本发明实施例的基于多深度图的非刚体三维重建系统，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该系统需求的输入信息简单易采集，并可得到高精度的完整三维模型。该系统求解准确鲁棒，消除了累加误差所会带来的影响。另外，该系统成本低，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件系统上实现。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:图1是根据本发明一个实施例的基于多深度图的非刚体三维重建方法的流程图；以及图2是根据本发明一个实施例的基于多深度图的非刚体三维重建系统的结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置 关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。以下结合附图描述根据本发明实施例的基于多深度图的非刚体三维重建方法及系统。图1是根据本发明一个实施例的基于多深度图的非刚体三维重建方法的流程图。如图1所示，该方法包括如下步骤:步骤SlOl:对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图。具体地，可通过深度相机对非刚体进行拍摄以得到多个深度图。即利用深度相机对同一非刚性物体(非刚体)以不同角度、不同姿态进行拍摄多个深度图，并采集上述多个深度图。·步骤S102:将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对。在本发明的一个示例中，将每个深度图变换为一组三维点云包括:I)获取深度相机的内参矩阵。2)根据内参矩阵将每个深度图变换为一组三维点云。其中，变换的变换公式为:Pc! = /i_1(u,v,c^(u,v))T，其中，U，V为像素坐标，dc(u, V)为第c张深度图上像素(u, V)位置上的深度值，所述K为内参矩阵。具体地说，例如:存在Nf张深度图，则输入Nf张深度图d。(U，V)，c=l, 2，-,Nf,给定深度相机内参矩阵K，每张深度图即可变换为一组三维点云，通过上述变换公式进行变换。开始需要用户手工指定点云间特征点的对应关系(匹配点对)。这是由于点云特征较少，相同几何分布的区域很多，如果利用全自动的匹配算法几乎很难实现。因此，本发明实施例的方法只需要用户手工指定少量特征对应点，即可实现后续准确高质量的三维重建
效果。对应点对集合表示为:F = Ifi Ifi = (ρΓ,ρ^:' )].，其表示第C巾贞的第m个点与第c'中贞
的第m'个点相对应。步骤S103:对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数。作为一个具体的例子,对每个匹配点进行位置变换,并求取位置变换后的每个匹配点对应的变换参数，进一步包括:I)计算每个匹配点的旋转矩阵和偏移向量。2)根据旋转矩阵和偏移向量得到每个匹配点的位置变换方程。其中，位置变换方程为:p' =Rp+t,其中，P为匹配点，R为旋转矩阵，t为偏移向量。3)根据的位置变换方程得到每个匹配点对应的变换参数。即在上述对应点(匹配点对)指定完成后，即开始全自动的将各帧点云开始对齐拼接。本发明实施例的方法通过一种全局联合变形拼接方法，可以实现所有帧点云变换参数联合求解，从而避免了逐帧顺序对齐会带来的积累误差问题。
具体而言，对点云中的每个点P，首先求解其旋转矩阵R和偏移向量t，从而点P变换后的位置为=Rp+t。进一步地，为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似:
权利要求
1.一种基于多深度图的非刚体三维重建方法，其特征在于，包括以下步骤: 对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图； 将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对； 对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数； 对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及 对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。
2.根据权利要求1所述的方法，其特征在于，通过深度相机对所述非刚体进行拍摄以得到所述多个深度图。
3.根据权利要求2所述的方法，其特征在于，所述将每个深度图变换为一组三维点云，进一步包括: 获取所述深度相机的内参矩阵； 根据所述内参矩阵将所述每个深度图变换为一组三维点云。
4.根据权利要求3所述的方法，其特征在于，所述变换的变换公式为: Pr = K-1 (u, V, d c (u, V) )T， 其中，U，V为像素坐标，dc (u, V)为第c张深度图上像素(U，V)位置上的深度值,所述K为内参矩阵。
5.根据权利要求1所述的方法，其特征在于，所述对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数,进一步包括: 计算所述每个匹配点的旋转矩阵和偏移向量； 根据所述旋转矩阵和偏移向量得到所述每个匹配点的位置变换方程； 根据所述的位置变换方程得到所述每个匹配点对应的变换参数。
6.根据权利要求5所述的方法，其特征在于，所述位置变换方程为:P' =Rp+t, 其中，P为匹配点，R为旋转矩阵，t为偏移向量。
7.根据权利要求1所述的方法，其特征在于，所述能量函数为: X=argminx a eEe+ a fEf+ α ηΕη, 其中，氏为拓扑约束，Ef为特征约束，EnS最近点约束，ae、af、a n分别为氏、Ef和En的权重系数。
8.一种基于多深度图的非刚体三维重建系统，其特征在于，包括: 深度相机，用于对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；匹配模块，用于将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对； 变换模块，用于对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数； 拼接模块，用于对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及三维重建模块，用于对所述 能量函数进行 求解，以根据求解结果重建所述非刚体的三维模型。
全文摘要
本发明提出一种基于多深度图的非刚体三维重建方法，包括以下步骤对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；对能量函数进行求解，以根据求解结果重建非刚体的三维模型。根据本发明的方法，所需输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前景。本发明还提出了一种基于多深度图的非刚体三维重建系统。
文档编号G06T17/00GK103198523SQ20131015079
公开日2013年7月10日 申请日期2013年4月26日 优先权日2013年4月26日
发明者戴琼海, 叶亘之, 刘烨斌 申请人:清华大学