技术特征：
1.一种针对倾斜摄影三维重建的纹理自动生成和修复方法，该方法包括如下步骤：步骤1：对倾斜摄影的数据进行单体化，得到单栋建筑的数据；步骤2：对单栋建筑的贴图进行语义分割，得到建筑倾斜摄影的纹理图片；步骤3.1：将步骤2得到的倾斜摄影纹理图片输入编码网络，得到纹理图片对应的隐码子；步骤3.2：将步骤3.1得到的隐码子输入预训练的生成网络，生成修复的纹理图片；步骤4：对步骤3.2生成的修复的纹理图片进行后处理，将其贴回到三维几何重建得到的建筑白膜上，得到完整的带纹理的重构建筑。2.根据权利要求1所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中步骤2中，通过语义分割得到建筑倾斜摄影的纹理图片，并根据纹理信息的重要性进行分类。3.根据权利要求1或2所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中步骤2中，还可以替代地或同时地对单栋建筑的贴图进行空间分割，以区分建筑本身不同的空间特征，并根据空间信息的重要性进行分类。4.根据权利要求3所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中步骤3.1中，根据建筑物不同的特征信息，分别对空间、纹理信息重要性不一样的区域采取不同的编码网络和编码方法。5.根据权利要求2或4所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中对于纹理特征较为重要的区域，采用局部聚合描述符的编码方法。6.根据权利要求5所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，所述局部聚合描述符的编码方法具体是指，首先，将局部图像的描述符分配给具有d个元素的字典，即视觉词袋bovw，中的最邻近的视觉词；然后通过以下公式获得每个描述符的隐码子：ζ’(f
i
) =(f
i
ꢀ–ꢀ
kcζ(f
i
))
ꢀ⊗ꢀ
ζ(f
i
)，其中f
i
指代任一图像子区域的局部特征值, k指代该图像子区域对应的修复权重系数，c对应于bovw 方法中拥有d个元素的字典c = c1…ꢀ
c
d ∈ m
d
×
d
，ζ(f
i
)对应于通过bovw 方法获得的f
i 的视觉词的一位有效向量即隐码子，
⊗
指代克罗内克积。7.根据权利要求4所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，其中对于空间特征较为重要的区域，采用阶数敏感的编码方法。8.根据权利要求7所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，所述阶数敏感的编码方法是指，通过在需要重点处理空间信息的倾斜摄影的图像子区域再进一步划分成若干个对于空间敏感的图像微区域，从而强调这些区域的空间特征。9.根据权利要求1所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，步骤3.2中，所述预训练的生成网络，指的是采集大量正常的正视和/或斜视角度的不同建筑物表面的图像，通过机器学习的方法进行训练归类，形成参考集。10.根据权利要求9所述的针对倾斜摄影三维重建的纹理自动生成和修复方法，获得预训练的参考集后，输入步骤3.1得到的不同子区域的隐码进行训练，从而得到与相应子区域最为相近的预生成网络中的参考子集，并基于该参考子集中的特征信息对图像区域中模糊较为严重、或者较大范围缺失或者失真的部分进行填补、修复，从而获得修复的纹理图片。
技术总结
本发明公开一种针对倾斜摄影三维重建的纹理自动生成和修复方法。该方法包括如下步骤：步骤1：对倾斜摄影的数据进行单体化，得到单栋建筑的数据；步骤2：对单栋建筑的贴图进行语义分割，得到建筑倾斜摄影的纹理图片；步骤3.1：将步骤2得到的倾斜摄影纹理图片输入编码网络，得到纹理图片对应的隐码子；步骤3.2：将步骤3.1得到的隐码子输入预训练的生成网络，生成修复的纹理图片；步骤4：对步骤3.2生成的修复的纹理图片进行后处理，将其贴回到三维几何重建得到的建筑白膜上，得到完整的带纹理的重构建筑。该方法既能保留原始建筑物纹理中的风格、颜色、光照等信息，又能改善图像模糊、拉伸、破缺等畸变问题。破缺等畸变问题。破缺等畸变问题。
技术研发人员：何文武 宋彬 朱旭平
受保护的技术使用者：北京飞渡科技有限公司
技术研发日：2022.03.24
技术公布日：2022/4/22