用于多视图植物三维重建的生成模型的构建方法与流程

本发明涉及三维重建技术领域，特别涉及一种用于多视图植物三维重建的生成模型的构建方法。

背景技术：

植物是城市和自然景观环境的常见元素，植物模型在于农业、生物、建筑、游戏、电影行业中运用广泛。然而植物模型的创建仍然是繁琐昂贵的工作。已有的植物生成系统需要微调参数或手工建模以获得所需的树形，不便于获取大量的不同的树实例。现有的植物重建技术或者利用激光扫描的点云来重建树的骨架，或者使用多视图来恢复特定的某棵树的形态，其无法学习树的生长模式并生成新的不同的树的实例。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种用于多视图植物三维重建的生成模型的构建方法，该方法能够反映植物生长姿态特性的贝叶斯概率模型，可作为植物表示的一般框架，能用于多视图植物重建。

为达到上述目的，本发明一方面实施例提出了一种用于多视图植物三维重建的生成模型的构建方法，包括：

利用贝叶斯概率框架构建植物生长模型，通过对所述支取生长模型赋予带参先验概率，构建植物骨架生长的概率表示；

通过在根节点上指定初始生长因子和分叉代数限制，所述植物生长模型通过随机采样生成实例化的骨架；

获取同种植物的图像集，所述植物生长模型利用矢量场方法对所述图像集中的每个单图像计算一个2d骨架，通过对2d骨架聚类分析，提取出所述图像集的形态基元，利用所述形态基元的模型与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取所述植物生长模型参数的最优解。

本发明实施例的用于多视图植物三维重建的生成模型的构建方法，通过植物生长的参数化分形模型，通过对模型赋予带参先验概率，构建植物骨架生长的概率表示。生长模型的构建可以重构植物在不同年龄阶段的形态，它们构成了模型的形态空间。给定同株植物的单视图或多视图图像，利用深度学习方法可提取出该植物的分支概率图像，使用该图像可以对生成模型的参数进行优化，并推理补全植物被遮挡部分的后验概率。使用同种植物的图片训练该模型将使该模型特化到该种植物上，对模型的采样将能够实例化该种植物的不同的随机形态，在形态空间中进行插值将实现不同形态的平滑过渡。能够反映植物生长姿态特性的贝叶斯概率模型，可作为植物表示的一般框架，能用于多视图植物重建。

另外，根据本发明上述实施例的用于多视图植物三维重建的生成模型的构建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在所述植物生长模型中，植物骨架的每个分叉定义了枝干间的父子关系，每个分叉可以定义分叉数、分叉形态、生长因子的参数化局部概率，生长因子为由该分叉传递至下一分叉的生长信息，其将影响后续分叉的条件概率，植物局部概率的参数将决定模型所描述的植物的形态特征。

进一步地，在本发明的一个实施例中，在输入为多视图图像时，分割出图像中的单棵植株，利用pix2pix网络将每幅图像转换为分支概率图像，再将分支概率反投影到3d体素坐标中，形成3d概率分支结构，使用贪婪搜索生成多个概率候选结构，为每个候选结构使用metropolishasting采样优化最优候选，形成后验分布的离散近似，通过采样实现分支骨架的重建。

进一步地，在本发明的一个实施例中，通过对输入图像进行细分和聚类，提取出图像中的纹理簇，利用所述纹理簇在输入图像叶子的反投影区域创建叶片，对未被源图像的覆盖的区域，将额外合成叶子以确保均匀分布的叶片密度。

进一步地，在本发明的一个实施例中，通过访问修改并指定所述植物生长模型中某个分支的局部参数，该分支涉及的子树将被重新优化计。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的用于多视图植物三维重建的生成模型的构建方法流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的用于多视图植物三维重建的生成模型的构建方法。

图1为根据本发明一个实施例的用于多视图植物三维重建的生成模型的构建方法流程图。

如图1所示，该用于多视图植物三维重建的生成模型的构建方法包括以下步骤：

步骤s1，利用贝叶斯概率框架构建植物生长模型，通过对支取生长模型赋予带参先验概率，构建植物骨架生长的概率表示。

具体地，植物的生长模型具有合成性和因果性，每个实例经由自下而上的生成过程，后过程与前过程之间具有因果联系，这种联系可用贝叶斯概率框架来刻画。具体地，植物骨架的每个分叉定义了枝干间的父子关系，为每个分叉可以定义分叉数、分叉形态、生长因子的参数化局部概率，生长因子可视为由该分叉传递至下一分叉的生长信息，其将影响后续分叉的条件概率。植物局部概率的参数将决定该模型所描述的植物的形态特征。

步骤s2，通过在根节点上指定初始生长因子和分叉代数限制，植物生长模型通过随机采样生成实例化的骨架。

具体地，通过在根节点上指定初始生长因子和分叉代数限制，模型可通过随机采样生成实例化的骨架，其由结构树的数据结构加以描述，其允许在后续操作中对结构进行微调和拓扑的改变。所有的结构树构成模型的形态空间，不同的结构树间可进行结构匹配实现结构的连续变化。

对于多视图图像输入，首先使用pix2pix网络将每幅图像转换为分支概率图像，然后将分支概率反投影到3d体素坐标中，形成3d概率分支结构，使用贪婪搜索生成多个概率候选结构，为每个候选结构使用metropolishasting采样优化最有前途的候选，从而形成后验分布的离散近似，最后通过采样实现分支骨架的重建。这种方法对输入图像的数量没有要求。

对于植物叶片，由于植物叶片繁多且具有严重的相互遮挡，因此并不精确地对叶片进行建模，作为替代，通过对图像进行细分和聚类，可以提取出所给图像的纹理簇，使用这些纹理可在输入图像叶子的反投影区域创建叶片。对未被源图像的覆盖的区域，将额外合成叶子以确保均匀分布的叶片密度。

步骤s3，获取同种植物的图像集，植物生长模型利用矢量场方法对图像集中的每个单图像计算一个2d骨架，通过对2d骨架聚类分析，提取出图像集的形态基元，利用形态基元的模型与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取植物生长模型参数的最优解。

具体地，使用生成模型的优势在于其学习过程将不受数据集大小的限制并可以进行不同程度的特化。针对同种植物的训练，可为生长模型定义基本的形态“基元”，形态基元描述了该种植物特有的分叉生长模式。给定同种植物的图像集(不一定是对同一株植物)，使用矢量场方法可为每副图像建立一个2d骨架，该2d骨架为植物的3d分叉提供后验，通过对这些2d骨架的聚类分析，可提取出数据集所提供的形态基元。通过将父子关系、基元实例化的参数与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取模型参数的最优解。

综上，本发明实施例的植物生长模型，可用于某特定植株的多图像三维重建和某种植物的多实例生成。

首先，建立植物生长的贝叶斯模型，将植物的多图像三维重建和某种植物的多实例生成。将植物形态解析为具有因果结构的时序概率模型，植物的每个新分叉的产生都将收到已有分叉形态的影响。自然环境对植物的影响将被建模为全局参数。特别地，当将模型应用与某特定植物时，会为模型定义形态基元集合，形态基元描述了该种植物特有的分叉生长模式，并起到混合不同概率模型的作用。

要应用上述模型，首先需使用同种植物的图像集训练此模型。对每张训练图片(如果训练图片有枝干和叶片的分割，则提取其枝干部分)，模型会对此单图像计算一个2d矢量场，然后使用递归使用骨架化算法逐次计算植物2d投影的一阶、二阶、高阶分支，2d投影的约束给出了植物的3d分叉的后验信息。为了防止模型的训练出现角度上的偏好，会从0～180°间随机采样一个投影角进行训练。通过对这些2d骨架的聚类分析，可提取出数据集所提供的形态基元。之后将使用这些形态基元的模型与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取模型参数的最优解。

要使用已训练的特化模型实现对单视图/多视图植物的重建，首先需要训练pix2pix网络。为使pix2pix网络生成概率图像，网络本身最好带有一定的不确定性，因此给网络增加额外的dropout层以输出概率意义上的结果。使用speedtree的植物库作为训练集，对每个模型渲染36个视点(附带不同的光照条件)，并翻转图像进行训练。

对多视图图像输入，首先需分割出图像中的单棵植株，然后使用pix2pix网络将每幅图像转换为分支概率图像，将分支概率反投影到3d体素坐标中，形成3d概率分支结构，使用贪婪搜索生成多个概率候选结构，为每个候选结构使用metropolishasting采样优化最有前途的候选，从而形成后验分布的离散近似，最后通过采样实现分支骨架的重建。需要指出的是，即使输入图像只有一张，该算法也是可以运行的，只是重建具有较大的任意性。特别地，即使没有任何输入，生成模型也能够自采样得到一个植物实例。

对于已经重建的分支骨架，用户可以访问修改并指定其上某个分支的局部参数，这个分支涉及的子树将被重新优化计算。

对于植物叶片，由于植物叶片繁多且具有严重的相互遮挡，因此并不精确地对叶片进行建模，作为替代，通过对图像进行细分和聚类，可以提取出所给图像的纹理簇，使用这些纹理可在输入图像叶子的反投影区域创建叶片。对未被源图像的覆盖的区域，将额外合成叶子以确保均匀分布的叶片密度。

根据本发明实施例提出的用于多视图植物三维重建的生成模型的构建方法，通过植物生长的参数化分形模型，通过对模型赋予带参先验概率，构建植物骨架生长的概率表示。生长模型的构建可以重构植物在不同年龄阶段的形态，它们构成了模型的形态空间。给定同株植物的单视图或多视图图像，利用深度学习方法可提取出该植物的分支概率图像，使用该图像可以对生成模型的参数进行优化，并推理补全植物被遮挡部分的后验概率。使用同种植物的图片训练该模型将使该模型特化到该种植物上，对模型的采样将能够实例化该种植物的不同的随机形态，在形态空间中进行插值将实现不同形态的平滑过渡。能够反映植物生长姿态特性的贝叶斯概率模型，可作为植物表示的一般框架，能用于多视图植物重建。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。