一种建筑三维信息采集方法及系统

本发明涉及建筑三维信息采集，具体是指一种建筑三维信息采集方法及系统。

背景技术：

1、建筑三维信息采集是指利用各种技术手段获取建筑物的三维形状、结构、纹理等相关信息的过程，这些信息可以用于建筑测量、建筑重建、建筑信息管理等应用中，为满足提高建筑三维信息采集的准确性、效率和可靠性的需要，需要数据处理算法、存储和计算能力的发展，以及对采集过程的优化和工作流程的改进。

2、但是，在已有的建筑三维信息采集方法中，存在着基于图像的三维模型拟合对图像数据的质量要求较高，且在光照恶劣条件下面临挑战的技术问题；在已有的建筑三维信息采集方法中，存在着点云数据处理的由稀疏到稠密点云的处理过程中，点云数据处理的深度不足且不均匀，生成的深度图缺乏密集的纹理，进而影响二维数据和三维模型拟合的质量的技术问题；在已有的建筑三维信息采集方法中，存在着基于图像的三维模型拟合固有的视点局限性和视角变化敏感性影响三维模型拟合效果的技术问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种建筑三维信息采集方法及系统，针对在已有的建筑三维信息采集方法中，存在着基于图像的三维模型拟合对图像数据的质量要求较高，且在光照恶劣条件下面临挑战的技术问题，本方案创造性地采用基于零参考深度曲线结合卷积神经网络的方法进行图像增强，提高了所采集图像在弱光条件下的图像质量，为后续的点云数据处理和三维模型拟合任务提供了良好的数据支持；针对在已有的建筑三维信息采集方法中，存在着点云数据处理的由稀疏到稠密点云的处理过程中，点云数据处理的深度不足且不均匀，生成的深度图缺乏密集的纹理，进而影响二维数据和三维模型拟合的质量的技术问题，本方案创造性地采用归一化卷积层代替标准卷积层的卷积神经网络进行深度图生成，提高了稠密点云数据处理的总体精度，进而提高了生成的二维数据的数据质量，并为三维模型拟合提高更精细的数据基础；针对在已有的建筑三维信息采集方法中，存在着基于图像的三维模型拟合固有的视点局限性和视角变化敏感性影响三维模型拟合效果的技术问题，本方案创造性地结合相机视点和相机坐标优化三维空间图像绘制，并采用三角平面相交计算优化三维模型本体，提高了建筑三维信息采集的总体数据质量。

2、本发明采取的技术方案如下：本发明提供的一种建筑三维信息采集方法，该方法包括以下步骤：

3、步骤s1：数据收集；

4、步骤s2：数据预处理；

5、步骤s3：点云数据处理；

6、步骤s4：三维模型拟合；

7、步骤s5：建筑三维信息采集。

8、进一步地，在步骤s1中，所述数据收集，具体为通过建筑测绘仪器对真实建筑进行多视角移动摄像图像采集，得到三维信息采集原始图像数据。

9、进一步地，在步骤s2中，所述数据预处理，具体为采用基于零参考深度曲线结合卷积神经网络的方法，对所述三维信息采集原始图像数据进行图像增强，包括以下步骤：

10、步骤s21：构建卷积层，具体为采用多个具有对称级联的卷积层，并采用relu激活函数激活，并舍弃上采样层构建和池化层构建；

11、步骤s22：零参考深度曲线参数图生成，具体为将tanh激活函数连接至最后一个卷积层，并采用所述tanh激活函数迭代生成零参考深度曲线参数图；

12、步骤s23：构建多种损失函数，用于优化图像增强模型的性能，具体包括以下步骤：

13、步骤s231：构建空间损失函数lspa，用于强化所述三维信息采集原始图像数据中的像素差异特征，所述空间损失函数lspa的计算公式为：

14、；

15、式中，lspa是空间损失函数，k是所述三维信息采集原始图像数据中的待增强像素的总数，i是待增强像素索引，j是待增强像素邻域索引，是以第i个待增强像素为中心的四方邻域，所述四方邻域包括上方领域、下方领域、左方领域和右方领域，i是待增强像素的像素值，ii是第i个待增强像素的像素值，ij是第j个待增强像素邻域的像素值，e是经图像增强后的像素值，ei是第i个待增强像素经图像增强后的像素值，ej是第j个待增强像素邻域经图像增强后的像素值，c是防除零参数；

16、步骤s232：构建颜色损失函数lclr，用于优化所述三维信息采集原始图像数据中的像素亮度，所述颜色损失函数lclr的计算公式为：

17、；

18、式中，lclr是颜色损失函数，k是所述三维信息采集原始图像数据中的待增强像素的总数，i是待增强像素索引，c是待增强像素所在的像素颜色通道，r是红色像素通道，g是绿色像素通道，b是蓝色像素通道，e是经图像增强后的像素值，ei是第i个待增强像素经图像增强后的像素值，emax是像素通道上经图像增强后能得到的最大像素值；

19、步骤s233：构建曝光损失函数lexp，用于防止图像增强后的曝光异常，所述曝光损失函数lexp的计算公式为：

20、；

21、式中，lexp是曝光损失函数，m是非重叠待增强像素的总数，k是非重叠待增强像素索引，是非重叠待增强像素经图像增强后的平均强度值，是第k个非重叠待增强像素经图像增强后的平均强度值，b是曝光偏置项；

22、步骤s234：构建边界损失函数lbou，用于调整图像增强后的线性边界特征，所述边界损失函数lbou的计算公式为：

23、；

24、式中，lbou是边界损失函数，n是总迭代次数，d是迭代次数索引，c是待增强像素所在的像素颜色通道，r是红色像素通道，g是绿色像素通道，b是蓝色像素通道，是水平方向像素间梯度调整操作，是垂直方向像素间梯度调整操作，c是防除零参数；

25、步骤s235：构建组织损失函数lgro，用于平衡相邻的三维信息采集原始图像数据之间的像素差异特征，所述组织损失函数lgro的计算公式为：

26、；

27、式中，lgro是组织损失函数，j是相邻的三维信息采集原始图像数据中同组的图像数据总数，p是组内图像索引，c是待增强像素所在的像素颜色通道，r是红色像素通道，g是绿色像素通道，b是蓝色像素通道，eave是组内图像的平均像素值，eave(p)是第p个组内图像的平均像素值，eave(p+1)是第p+1个组内图像的平均像素值；

28、步骤s236：构建总体损失函数ltot，用于优化模型的总体训练效果，所述总体损失函数ltot的计算公式为：

29、；

30、式中，ltot是总体损失函数，是空间损失权重，用于调整各损失函数间的数量级平衡，lspa是空间损失函数，lclr是颜色损失函数，lexp是曝光损失函数，lbou是边界损失函数，lgro是组织损失函数；

31、步骤s24：模型训练，具体为采用所述总体损失函数ltot进行图像增强模型训练，得到图像增强模型modelie；

32、步骤s25：图像增强，具体为采用所述图像增强模型modelie对三维信息采集原始图像数据进行图像增强，得到三维信息采集增强图像数据。

33、进一步地，在步骤s3中，所述点云数据处理，具体包括以下步骤：

34、步骤s31：图像特征提取，具体为对所述三维信息采集增强图像数据中的每个视角的图像进行特征提取，得到多视角图像特征点数据集；

35、步骤s32：特征点对匹配，具体为对所述多视角图像特征点数据集进行特征匹配，得到匹配点对关系数据；

36、步骤s33：立体匹配，具体为依据所述多视角图像特征点数据集中的左右视图图像和所述匹配点对关系数据中的特征点对进行立体匹配，得到点对视差信息数据；

37、步骤s34：计算特征点三维坐标，具体为依据所述点对视差信息数据进行非线性优化的三维坐标计算，包括以下步骤：

38、步骤s341：多视角摄像归一化，具体为依据所述点对视差信息数据，通过计算得到每个特征点对的归一化摄像坐标，所述归一化摄像坐标包括待优化三维坐标p、左视角相机坐标pl和右视角相机坐标pr；

39、步骤s342：构建目标函数，具体为将所述归一化摄像坐标与三维点云的空间坐标建立联系，用于优化三维坐标，所述目标函数，具体指重投影误差函数fre，所述重投影误差函数fre的计算公式为：

40、；

41、式中，fre是重投影误差函数，p是待优化三维坐标，是变换矩阵，用于将左视角相机坐标系中的点转换到整体坐标系中，其中，rl是旋转矩阵，tl是平移向量，是矩阵乘法运算符，pr是右视角相机坐标；

42、步骤s343：利用非线性优化方法迭代求解所述目标函数的最小化问题，并通过计算得到最优三维点云坐标；

43、步骤s35：稀疏点云生成，具体为依据所述点对视差信息数据和所述最优三维点云坐标，生成稀疏点云；

44、步骤s36：稠密点云生成，具体为依据所述稀疏点云和所述多视角图像特征点数据集进行稠密点云生成，包括以下步骤：

45、步骤s361：采用卷积神经网络进行深度图计算，具体为构建编解码结构，并采用归一化卷积层代替标准卷积层；

46、步骤s362：采用所述归一化卷积层，计算归一化置信图，计算公式为：

47、；

48、式中，是第l层归一化卷积层计算得到的归一化置信图，其中，c是归一化置信图，l是归一化卷积层层数，i是水平方向像素索引，j是垂直方向像素索引，m是所述归一化卷积层的长，n是所述归一化卷积层的宽，是非负值转换函数，计算公式为，是上下文信息适用性权重，是防被零除常数；

49、步骤s363：采用所述归一化卷积层，依据所述归一化置信图计算深度图，计算公式为：

50、；

51、式中，是第l层归一化卷积层计算得到的深度图，其中，z是深度图，c是归一化置信图，l是归一化卷积层层数，i是水平方向像素索引，j是垂直方向像素索引，m是所述归一化卷积层的长，n是所述归一化卷积层的宽，是非负值转换函数，计算公式为，是上下文信息适用性权重，是防被零除常数；

52、步骤s364：点云补全，具体为通过计算所述归一化置信图和所述深度图，依据深度图中每个像素的深度值进行像素位置填补，得到初始稠密点云；

53、步骤s365：点云优化，具体为采用icp算法对所述初始稠密点云进行非线性优化，得到优化稠密点云数据；

54、步骤s37：二维建筑信息图生成，具体为依据所述优化稠密点云数据和三维信息采集增强图像数据进行二维建筑信息图生成，得到二维建筑信息图像数据。

55、进一步地，在步骤s4中，所述三维模型拟合，具体为基于所述优化稠密点云数据和所述三维信息采集增强图像数据生成三维模型，包括以下步骤：

56、步骤s41：构建三维坐标表示矩阵，用于表示三维模型的中心坐标、水平方向向量、垂直方向向量、深度方向向量和四角位置，所述三维坐标表示矩阵的计算公式为：

57、；

58、式中，是三维坐标表示矩阵，f是相机焦距，-w/2和-h/2是左下角图像，其中，w是图像宽度，h是图像高度，w/2和h/2是右上角图像，所述三维坐标表示矩阵的前四列分别是三维模型的中心坐标、水平方向向量、垂直方向向量、深度方向向量，后四列是四角位置；

59、步骤s42：坐标转换，具体为通过相机旋转矩阵r和相机平移矩阵t，将所述三维坐标表示矩阵转换为相机坐标表示矩阵，计算公式为：

60、；

61、式中，是相机坐标表示矩阵，r是相机旋转矩阵，是三维坐标表示矩阵，t是相机平移矩阵；

62、步骤s43：三维空间图像绘制，具体为通过所述相机坐标表示矩阵结合相机观察向量u，计算得到三维空间向量v，并依据所述三维空间向量v将所述三维信息采集增强图像数据绘制为三维模型，得到初始三维模型，所述三维空间向量v的计算公式为：

63、；

64、式中，v是三维空间向量，是相机坐标表示矩阵，u是相机观察向量，计算公式为，其中是相机旋转矩阵的转置矩阵，f是相机焦距；

65、步骤s44：三维模型优化，具体为采用三角平面相交计算，优化所述初始三维模型的三维空间中的平面位置，得到优化三维模型，所述三角平面相交计算的计算公式为：

66、；

67、式中，是三角平面交线，d1是第一平面和第二平面间的平面间距离，d2是第二平面和第三平面间的平面间距离，是第一平面的平面法向量，是第二平面的平面法向量；

68、步骤s45：模型缩放，具体为对所述优化三维模型进行自动缩放处理，将所述优化三维模型中的像素距离单位转换为三维坐标中的毫米单位，得到建筑信息拟合三维模型。

69、进一步地，在步骤s5中，所述建筑三维信息采集，具体为通过结合所述点云数据处理得到的二维建筑信息图像数据和通过所述三维模型拟合得到的建筑信息拟合三维模型，得到建筑三维信息数据。

70、本发明提供的一种建筑三维信息采集系统，包括数据收集模块、数据预处理模块、点云数据处理模块、三维模型拟合模块和建筑三维信息采集模块。

71、所述数据收集模块通过建筑测绘仪器对真实建筑进行多视角移动摄像图像采集，得到三维信息采集原始图像数据，并将所述三维信息采集原始图像数据发送至数据预处理模块；

72、所述数据预处理模块接收来自数据收集模块的三维信息采集原始图像数据，采用基于零参考深度曲线结合卷积神经网络的方法，对所述三维信息采集原始图像数据进行图像增强，得到三维信息采集增强图像数据，并将所述三维信息采集增强图像数据发送至点云数据处理模块和三维模型拟合模块；

73、所述点云数据处理模块接收来自数据预处理模块的三维信息采集增强图像数据，并对所述三维信息采集增强图像数据进行点云数据处理，得到优化稠密点云数据和二维建筑信息图像数据，并将所述优化稠密点云数据发送至三维模型拟合模块，将所述二维建筑信息图像数据发送至建筑三维信息采集模块；

74、所述三维模型拟合模块接受来自数据预处理模块的三维信息采集增强图像数据和来自点云数据处理模块的优化稠密点云数据，并基于所述优化稠密点云数据和所述三维信息采集增强图像数据生成三维模型，得到建筑信息拟合三维模型，并将所述建筑信息拟合三维模型发送至建筑三维信息采集模块；

75、所述建筑三维信息采集模块接受来自点云数据处理模块的二维建筑信息图像数据和来自三维模型拟合模块的建筑信息拟合三维模型，并通过结合所述点云数据处理得到的二维建筑信息图像数据和通过所述三维模型拟合得到的建筑信息拟合三维模型，得到建筑三维信息数据。

76、采用上述方案本发明取得的有益效果如下：

77、（1）针对在已有的建筑三维信息采集方法中，存在着基于图像的三维模型拟合对图像数据的质量要求较高，且在光照恶劣条件下面临挑战的技术问题，本方案创造性地采用基于零参考深度曲线结合卷积神经网络的方法进行图像增强，提高了所采集图像在弱光条件下的图像质量，为后续的点云数据处理和三维模型拟合任务提供了良好的数据支持；

78、（2）针对在已有的建筑三维信息采集方法中，存在着点云数据处理的由稀疏到稠密点云的处理过程中，点云数据处理的深度不足且不均匀，生成的深度图缺乏密集的纹理，进而影响二维数据和三维模型拟合的质量的技术问题，本方案创造性地采用归一化卷积层代替标准卷积层的卷积神经网络进行深度图生成，提高了稠密点云数据处理的总体精度，进而提高了生成的二维数据的数据质量，并为三维模型拟合提高更精细的数据基础；

79、（3）针对在已有的建筑三维信息采集方法中，存在着基于图像的三维模型拟合固有的视点局限性和视角变化敏感性影响三维模型拟合效果的技术问题，本方案创造性地结合相机视点和相机坐标优化三维空间图像绘制，并采用三角平面相交计算优化三维模型本体，提高了建筑三维信息采集的总体数据质量。