基于移动终端的多视角3D智能成像测量系统

本发明涉及成像测量，具体为基于移动终端的多视角3d智能成像测量系统。

背景技术：

1、计算机视觉是人工智能领域中快速发展的一个分支，基于多视图的三维视觉成像技术方法从上世纪六十年代开始就已经有研究，现在在各行各业都有了一定的发展，由于实景三维具有直观、信息丰富、数据结构通用、自动化程度高等一系列特点，使得其在旅游、游戏设计、工业机器人、室内设计、影视设计、医学领域、军工设计、vr/ar、展览、测绘等行业都有较为广泛的应用。

2、以往的3d建模软件并没有专门基于图像的数据测量功能，因此，在3d建模时往往会出现各类尺寸数据与图像上的数据不一致的情况，导致模型无法使用，使3d建模软件的使用率下降，为此提供基于移动终端的多视角3d智能成像测量系统，对图像内的图形长宽高等各类数据进行模拟测量，为3d建模软件在3d建模时带来更大的便利。

3、目前为了实现3d模型的数据测量功能，需要采用具有3d成像功能的移动终端进行3d图像的数据采集，或者针对特定的应用场景按照特定的要求对采集数据进行建模。例如中国专利文件cn107255813a提供的基于3d技术的测距方法、中国专利文件cn109974658a提供的测量方法均需要采用3d摄像头进行图像采集，才能获得深度图。而中国专利文献cn105698733a提供了一种专门针对房屋内部形状的测量方法，其需要以房屋内部的先验模型为基础，根据房屋内部结构的特点按照特定的轨迹收集房屋内部图像，从而实现3d建模测量。

4、对成像设备或成像方法的严格要求限制了上述基于3d视觉的测量方法的大规模推广和应用。

技术实现思路

1、针对现有技术的以上缺陷和改进需求，本发明提供了一种基于移动终端的多视角3d智能成像测量系统，其目的在于通过移动端采集待测对象多个视角的2d的图像及相机参数，结合云端强大的计算能力，利用对输入图像数量不受限制的mvsnet进行精确的3d图像构建，从而实现模型测量，由此解决现有的基于3d视觉测量方法对图像获取端具有严格限制条件的技术问题。

2、为实现上述目的，按照本发明的一个方面提供了一种基于移动终端的多视角3d智能成像测量系统，包括：

3、包括具有摄像头的角度移动终端、展示终端、以及布置在云端高性能服务器的云端数据服务单元、mvsnet深度网络单元、以及3d模型构建单元；

4、所述角度移动终端，用于获取待检测对象多个角度的图像序列以及图像序列的实时相机参数，提交给所述云端数据服务单元；

5、所述展示终端，用于展示3d模型及获取用户指定的测量对象，提供相应测量数据；

6、所述云端数据服务单元，用于将多个角度的图像序列以及图像序列的实时相机参数，进行预处理为多个待检测对象的多视角输入图像集合，提交给所述mvsnet深度网络单元；并用于接收3d模型构建单元输出的3d模型并进行数据测量，提交给展示终端；所述多视角输入图像集合，用作mvsnet的输入，包括一张具有相机参数的参考图像、以及与参考图像匹配的多张具有相机参数的源图像；

7、所述mvsnet深度网络单元，用于生成所述多视角输入图像集合中参考图像相应的深度图，并输出给所述3d模型构建单元；

8、所述3d模型构建单元，用于将多个多视角输入图像集合中参考图像相应的深度图融合为待检测对象的3d模型并进行测量。

9、优选地，所述基于移动终端的多视角3d智能成像测量系统，其所述待检测对象多个角度的图像序列优选为连续图像序列；具体可利用角度移动终端，录制关于待测对象的视频，并在录制过程中对待测对象呈现不同的角度，优选连续的呈现不同的角度。

10、优选地，所述基于移动终端的多视角3d智能成像测量系统，其所述云端数据服务单元包括云端数据传导模块和图像处理模块；所述云端数据传导模块分别与所述角度移动终端和所述展示终端相连，用于数据传导；所述图像处理模块包括图像预处理模块、图像选择模块和视角选择模块，所述图像预处理模块的输出端与图像选择模块的输入端连接，所述图像选择模块的输出端与视角选择模块的输入端连接；所述图像预处理模块，用于筛除图像序列中的模糊图像，将清晰图像输出到所述图像选择模块；所述图像选择模块，用于根据图像序列的实时相机参数，归类图像预处理模块筛选后得到的清晰图像每一帧的拍摄方位，输出给所述视角选择模块；所述视角选择模块用于对图像预处理模块筛选后得到的清晰图像每一帧为参考图像，选择图像预处理模块筛选后得到的清晰图像中多张与所述参考图像具备预设视差的图像作为源图像，形成多视角输入图像集合，输出到所述mvsnet深度网络单元。

11、优选地，所述基于移动终端的多视角3d智能成像测量系统，其所述mvsnet深度网络单元包括依次连接的深度特征提取模块、构造代价体模块、代价体正则化模块、深度估计模块四个部分；

12、所述深度特征提取模块用于提取参考图像和与之匹配的多张源图像的深度特征进行密集匹配，采用8层2d卷积神经网络得到通道数为32的特征映射，与输入图像相比各维度缩小了4倍，输出到构造代价体模块；

13、所述构造代价体模块用于将所有特征映射扭曲到参考相机的不同前平行平面以形成各自的特征体，扭曲的过程类似传统的平面扫描算法，然后通过方差操作将所有特征体聚合成一个统一的代价体，输出到代价体正则化模块；

14、所述代价体正则化模块用于处理由非朗伯平面或物体遮挡造成的噪声污染，采用类似3d版本的unet四尺度三维卷积神经网络对代价体进行正则化后得到可推断深度的概率体，输出到深度估计模块；

15、所述深度估计模块用于对概率体沿着深度方向计算期望值，即采用soft argmin操作产生连续的深度估计，然后应用深度残差学习网络使初始深度图学习参考图像中的边界信息等以输出参考图像的精细深度图。

16、优选地，所述基于移动终端的多视角3d智能成像测量系统，其所述3d模型构建单元，用于将多视图的深度图融合为三维空间中的点云，优选使用基于可见性的融合算法，使得不同视图间的深度遮挡最小化。融合的深度图重新投影回3d空间得到点云。

17、优选地，所述基于移动终端的多视角3d智能成像测量系统，其所述3d模型构建单元，包括图像匹配模块和图像融合模块；所述图像匹配模块用于将多个待检测对象的多视角输入图像集合的参考图像进行像素点匹配，并将匹配结果提交给所述图像融合模块。

18、优选地，所述基于移动终端的多视角3d智能成像测量系统，其按照图像序列进行相邻参考图像的像素点匹配。

19、优选地，所述基于移动终端的多视角3d智能成像测量系统，其基于图像局部特征对在图像序列上相邻的参考图像进行逐像素点匹配。

20、优选地，所述基于移动终端的多视角3d智能成像测量系统，其所述图像融合模块用于根据多个参考图像的像素点匹配结果，将所述参考图像的深度图进行融合，在世界坐标系内形成三维空间中的点云。

21、优选地，所述基于移动终端的多视角3d智能成像测量系统，其所述角度移动终端和所述展示终端集成在如手机、平板、便携式电脑等智能设备中。

22、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

23、本发明通过云端强大的计算能力，采用mvsnet进行3d视觉成像，从而实现精确测量，巧妙地结合了mvsnet可以输入2d图像的特点和移动终端的成像能力，即mvsnet对不同角度的视图要求多张图片输入，而非传统的双目视觉，而移动终端可以方便的获取连续、多角度视图，而无需双摄像头硬件，也无需按照特定的轨迹和速度进行终端移动，即可通过尽量多的拍摄来提高3d建模的精确度，从而实现精确测量。本发明基于深度学习的3d视觉成像建模等技术，操作简便，只需要一部移动终端进行拍照即可，可降低使用成本。

24、优选方案，通过云端数据服务单元将3d模型重建软件移植到移动终端app，实现随时随地、人人能用，并将在每个人进行3d智能成像建模时需要租用的成本高昂的深度学习gpu服务器通过移动终端app的方式实现只在需要的时候进行使用，从而降低了成本。