义信息进行选择。最终将检索出的合适的模型根据场景对象相应部件的几何结构信息进行旋转、缩放和平移得到最终的三维场景建模结果。
【附图说明】
[0041 ]图1是本发明的整体流程图；
[0042]图2是本发明的图像内容解析的流程图；
[0043]图3是本发明的场景组合构建的流程图。
【具体实施方式】
[0044]本发明一种基于图像内容解析的室外三维场景组合构建方法，包含以下步骤:
[0045]步骤(1)、通过语义分割将影像地图中的场景对象布局解析出来；
[0046]其中，步骤(I)的场景对象布局解析主要包括以下步骤:
[0047]步骤(1.1)、语义分割影像地图获得每个像素点的语义信息；
[0048]步骤(1.2)、将每个对象的像素点构成的区域进行轮廓计算；
[0049]步骤(1.3)、根据场景对象的自然规律对每个场景对象的轮廓进行优化；
[0050]步骤(1.4)、将二维的场景布局坐标进行坐标转换，变为三维场景布局信息。
[0051]步骤(2)、通过共分割方法将多角度的场景图像中的场景对象几何结构信息解析出来；
[0052]其中，步骤(2)的多角度场景几何结构信息解析主要包括以下步骤:
[0053]步骤(2.1)、对输入的多角度的场景图像进行共分割；
[0054]步骤(2.2)、将二维图像注册到三维场景中；
[0055]步骤(2.3)、根据轮廓信息对三维对象进行网格切割编辑，从而获得场景对象的几何结构。
[0056]步骤(3)、将场景对象的几何结构和布局信息结合获得场景的三维信息描述；
[0057]其中，步骤(3)的三维场景布局和几何结构的结合主要包括以下步骤:
[0058]步骤(3.1)、根据场景对象间的相对位置调整场景对象的语义信息；
[0059]步骤(3.2)、通过语义信息结合布局信息和几何结构信息。
[0060]步骤(4)、根据场景对象可能出现的对象类型构建三维对象素材库，并将库中模型进行标准化处理；
[0061 ]其中，步骤(4)的三维模型检索主要包括以下步骤:
[0062]步骤(4.1)、构建三维对象素材库，库中素材进行语义标注，且都进行标准化处理；
[0063]步骤(4.2)、计算库中每个模型的特征信息；
[0064]步骤(4.3)、计算场景对象的三维特征信息；
[0065]步骤(4.4)、检索和匹配三维模型。
[0066]步骤(5)、根据三维信息检索适合的模型；
[0067]步骤(6)、根据场景对象信息进行模型的三维变换和组合，以及材质绑定。
[0068]下面结合附图对本发明的【具体实施方式】作详细说明。
[0069]参阅图1本发明的整体流程图，输入为影像地图和互联网图像，首先进行图像场景解析获得场景的粗略三维模型。然后根据解析结果在三维素材库中进行检索，通过组合构建的方法生成场景三维模型。
[0070]参阅图2本发明的图像内容解析的流程图，输入为影像地图和互联网图像。
[0071]对于影像地图，首先进行语义分割，获得场景对象在图像中的像素信息，然后计算其多边形轮廓。使用影像地图中的比例尺信息将场景对象的实际大小和布局计算出来，使用坐标变换，将图像中的二维布局转化为三维布局。场景中的每个对象都使用多边形柱体表示，高度根据它的语义信息进行调整。这样就解析出了场景的三维布局。
[0072]对于互联网图像，它包括了场景的多角度图像信息，首先使用判别聚类的共分割方法对这些图像进行分割并计算其轮廓，这样就获得了场景对象在不同角度下的轮廓信息。将这些分割好的二维图像根据相机参数注册到上面的场景三维布局中，使用网格切割算法编辑场景对象的轮廓。对场景中的每个对象都使用上述方法进行网格切割编辑即可获得场景对象的结构解析结果。
[0073]在上述过程中，场景对象的布局信息和结构信息通过对象的对应关系结合在了一起，从而获得了整个室外场景的粗略三维模型。
[0074]参阅图3本发明的场景组合构建的流程图，输入为室外场景的粗略三维模型。首先计算场景对象的粗略三维模型的特征值，然后在模型库中与语义相符的模型进行依次匹配，选出最符合的一个模型作为检索结果。场景中的每个对象都使用相同的方法进行检索。
[0075]将检索出来的模型根据场景布局信息进行平移等操作，根据对象结构信息进行缩放等操作。从而组合构建出场景的三维模型。
【主权项】
1.一种基于图像内容解析的室外三维场景组合构建方法，其特征在于包含以下步骤: 步骤(I )、通过语义分割将影像地图中的场景对象布局解析出来； 步骤(2)、通过共分割方法将多角度的场景图像中的场景对象几何结构信息解析出来； 步骤(3)、将场景对象的几何结构和布局信息结合获得场景的三维信息描述； 步骤(4)、根据场景对象可能出现的对象类型构建三维对象素材库，并将库中模型进行标准化处理； 步骤(5)、根据三维信息检索适合的模型； 步骤(6)、根据场景对象信息进行模型的三维变换和组合，以及材质绑定。2.根据权利要求1所述的一种基于图像内容解析的室外三维场景组合构建方法，其特征在于:步骤(I)的场景对象布局解析主要包括以下步骤: 步骤(1.1 )、语义分割影像地图获得每个像素点的语义信息； 步骤(1.2)、将每个对象的像素点构成的区域进行轮廓计算； 步骤(1.3)、根据场景对象的自然规律对每个场景对象的轮廓进行优化； 步骤(1.4)、将二维的场景布局坐标进行坐标转换，变为三维场景布局信息。3.根据权利要求1所述的一种基于图像内容解析的室外三维场景组合构建方法，其特征在于:步骤(2)的多角度场景几何结构信息解析主要包括以下步骤: 步骤(2.1)、对输入的多角度的场景图像进行共分割； 步骤(2.2)、将二维图像注册到三维场景中； 步骤(2.3)、根据轮廓信息对三维对象进行网格切割编辑，从而获得场景对象的几何结构。4.根据权利要求1所述的一种基于图像内容解析的室外三维场景组合构建方法，其特征在于:步骤(3)的三维场景布局和几何结构的结合主要包括以下步骤: 步骤(3.1 )、根据场景对象间的相对位置调整场景对象的语义信息； 步骤(3.2)、通过语义信息结合布局信息和几何结构信息。5.根据权利要求1所述的一种基于图像内容解析的室外三维场景组合构建方法，其特征在于:步骤(4)的三维模型检索主要包括以下步骤: 步骤(4.1)、构建三维对象素材库，库中素材进行语义标注，且都进行标准化处理； 步骤(4.2)、计算库中每个模型的特征信息； 步骤(4.3)、计算场景对象的三维特征信息； 步骤(4.4)、检索和匹配三维模型。
【专利摘要】本发明提供一种基于图像内容解析的室外三维场景组合构建方法，包括：通过解析影像地图获得场景布局信息，通过解析多幅场景的互联网图像获得场景对象的几何结构信息，将场景布局信息和对象结构信息结合获得整个场景的三维信息的描述；构建三维对象素材库，通过语义和模型特征信息在库中检索模型，将描述的场景中的每个对象或对象部件转化为具体的三维模型，并依据场景的布局和结构信息进行变形等操作，最终获得整个室外三维场景组合构建的结果。本发明所提供的三维场景描述方法能够有效描述三维场景的布局、结构和语义信息，为检索提供依据；另一方面，本发明也提供了一种模型检索和匹配的参考方法。
【IPC分类】G06T19/20, G06T17/05, G06T7/00
【公开号】CN105551084
【申请号】CN201610058978
【发明人】陈小武, 周彬, 毕浪, 赵沁平
【申请人】北京航空航天大学
【公开日】2016年5月4日
【申请日】2016年1月28日