一种独立视觉目标空间结构关联融合重建的方法及系统与流程

本发明涉及计算机视觉领域的三维重建技术，具体涉及一种独立视觉目标空间结构关联融合重建的方法及系统。

背景技术：

1、三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。现有三维重建技术方案主要分为两种：(1)基于多视图的三维稠密重建方案，用于从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术，传统方法利用集合、光学以执行构造匹配代价，进行匹配代价累积，再估计深度值。(2)基于图像序列的三维稀疏重建。基于图像序列的三维稀疏重建重构的思想是利用相机运动轨迹来估算相机参数。相机在不同视点摄取多幅图像，利用这些图像计算出相机的位置信息以及运动轨迹，从而在空间坐标系下生成三维点云，恢复出物体的空间结构。基于多视图的三维稠密重建方案对图像的整洁性要求较高，在实际工况下难以采集到特定目标的独立图像数据，难以重建获得干净无噪声的三维模型；基于图像序列的三维稀疏重建对图像数据对图像数量要求较高，在实际工况下难以采集到足够数量的图像，无法进行三维重建。

技术实现思路

1、本发明要解决的技术问题：针对当前图像重建方法中难以获得边缘清晰的干净图像的问题，提供一种独立视觉目标空间结构关联融合重建的方法及系统，本发明使用基于场景图像分割的方式获得目标物体的无噪声干净图像和基础模型，并进行融合获得完整的独立三维模型以及对应贴图，具有对图像数量要求低、重建模型质量好的优点。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种独立视觉目标空间结构关联融合重建的方法，包括：

4、s101，从目标场景的图像i从提取显著性图像is；

5、s102，对显著性图像is进行图像分割得到n个原始分割图像块；

6、s103，基于n个原始分割图像块进行基于图模型的关联分割得到n个关联分割图像块；

7、s104，将进行图像分割得到的n个原始分割图像块、基于图模型的关联分割得到的n个关联分割图像块两者进行融合，最终得到n个分割图像块；

8、s105，将n个分割图像块转换到世界坐标系下得到n个白模图像块；

9、s106，对n个白模图像块中的每一个白模图像块进行多视图地理重建，得到目标场景的纹理贴图；

10、s107，将目标场景的纹理贴图按照坐标附加到目标场景的白模上，得到目标场景的重建三维模型，所述目标场景的白模为基于目标场景的三维点云数据建立的三维模型。

11、可选地，步骤s101中从目标场景的图像i从提取显著性图像is是指采用dog滤波器从目标场景的图像i从提取显著性图像is。

12、可选地，所述dog滤波器的函数表达式为：

13、

14、上式中，dog(x,y)为对目标场景的图像i中位置(x,y)的滤波结果，e为自然常数，σ1和σ2分别为两个不同的方差，g(x,y,σ1)和g(x,y,σ2)分别为使用σ1和σ2对目标场景的图像i中位置(x,y)的高斯滤波结果。

15、可选地，步骤s103包括：

16、s201，根据n个原始分割图像块is1,is2,...,isn构建图模型，所述图模型中顶点为图像块、边为图像块之间是否相连的关联关系，所述是否相连的关联关系取值为0或1；

17、s202，针对图模型中的图像块，计算任意图像块对之间的特征相似度，得到由所有图像块对之间的特征相似构成的n个关联特征is1,is2,...,isn，根据n个关联特征is1,is2,...,isn将显著性图像is分割为n个关联图像块ih1,ih2,...,ihn。

18、可选地，步骤s202中计算任意图像块对之间的特征相似度是指：将图像块视为一个向量，计算任意图像块对的两个向量之间的欧氏距离以作为该图像块对之间的特征相似度。

19、可选地，步骤s104中将进行图像分割得到的n个原始分割图像块、基于图模型的关联分割得到的n个关联分割图像块两者进行融合是指进行像素相加，最终得到n个分割图像块i1,i2,...,in。

20、可选地，步骤s105包括：针对将n个分割图像块i1,i2,...,in中每一个像素点(u,v)的坐标(u,v,1)使用目标场景的图像i的成像相机内参φ进行像素坐标系-相机坐标系-世界坐标系下的空间转换，得到该像素点在世界坐标系下的坐标(x,y,z)，最终得到转换到世界坐标系下的分割图像块p1,p2,...,pn。

21、可选地，步骤s106中对n个白模图像块中的每一个白模图像块进行多视图地理重建后，还基于原始分割图像块对对应的白模图像块进行变形优化修复。

22、此外，本发明还提供一种独立视觉目标空间结构关联融合重建的系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述独立视觉目标空间结构关联融合重建的方法。

23、此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述独立视觉目标空间结构关联融合重建的方法。

24、和现有技术相比，本发明主要具有下述优点：本发明方法包括从目标场景的图像i从提取显著性图像is，分割得到n个原始分割图像块在进行基于图模型的关联分割得到n个关联分割图像块，将两者融合转换到世界坐标系下得到n个白模图像块并进行多视图地理重建获取纹理贴图；再按照坐标附加到目标场景的白模，得到目标场景的重建三维模型。针对当前图像重建方法中难以获得边缘清晰的干净图像的问题，本发明使用基于场景图像分割的方式获得目标物体的无噪声干净图像和基础模型，并进行融合获得完整的独立三维模型以及对应贴图，具有对图像数量要求低、重建模型质量好的优点。

技术特征：

1.一种独立视觉目标空间结构关联融合重建的方法，其特征在于，包括：

2.根据权利要求1所述的独立视觉目标空间结构关联融合重建的方法，其特征在于，步骤s101中从目标场景的图像i从提取显著性图像is是指采用dog滤波器从目标场景的图像i从提取显著性图像is。

3.根据权利要求2所述的独立视觉目标空间结构关联融合重建的方法，其特征在于，所述dog滤波器的函数表达式为：

4.根据权利要求1所述的独立视觉目标空间结构关联融合重建的方法，其特征在于，步骤s103包括：

5.根据权利要求4所述的独立视觉目标空间结构关联融合重建的方法，其特征在于，步骤s202中计算任意图像块对之间的特征相似度是指：将图像块视为一个向量，计算任意图像块对的两个向量之间的欧氏距离以作为该图像块对之间的特征相似度。

6.根据权利要求1所述的独立视觉目标空间结构关联融合重建的方法，其特征在于，步骤s104中将进行图像分割得到的n个原始分割图像块、基于图模型的关联分割得到的n个关联分割图像块两者进行融合是指进行像素相加，最终得到n个分割图像块i1，i2，...，in。

7.根据权利要求1所述的独立视觉目标空间结构关联融合重建的方法，其特征在于，步骤s105包括：针对将n个分割图像块i1，i2，...，in中每一个像素点(u，v)的坐标(u，v，1)使用目标场景的图像i的成像相机内参φ进行像素坐标系-相机坐标系-世界坐标系下的空间转换，得到该像素点在世界坐标系下的坐标(x，y，z)，最终得到转换到世界坐标系下的分割图像块p1，p2，...，pn。

8.根据权利要求1所述的独立视觉目标空间结构关联融合重建的方法，其特征在于，步骤s106中对n个白模图像块中的每一个白模图像块进行多视图地理重建后，还基于原始分割图像块对对应的白模图像块进行变形优化修复。

9.一种独立视觉目标空间结构关联融合重建的系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述独立视觉目标空间结构关联融合重建的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述独立视觉目标空间结构关联融合重建的方法。

技术总结
本发明公开了一种独立视觉目标空间结构关联融合重建的方法及系统，本发明方法包括从目标场景的图像I从提取显著性图像I<subgt;s</subgt;，分割得到n个原始分割图像块在进行基于图模型的关联分割得到n个关联分割图像块，将两者融合转换到世界坐标系下得到n个白模图像块并进行多视图地理重建获取纹理贴图；再按照坐标附加到目标场景的白模，得到目标场景的重建三维模型。针对当前图像重建方法中难以获得边缘清晰的干净图像的问题，本发明使用基于场景图像分割的方式获得目标物体的无噪声干净图像和基础模型，并进行融合获得完整的独立三维模型以及对应贴图，具有对图像数量要求低、重建模型质量好的优点。

技术研发人员：徐阳,肖罡,赵斯杰,杨钦文,刘小兰,张蔚,万可谦,魏志宇
受保护的技术使用者：江西科骏实业有限公司
技术研发日：
技术公布日：2024/1/12