基于立体约束的光束法平差方程的三维建模方法及系统与流程

本发明涉及数字影像处理，尤其涉及一种基于立体约束的光束法平差方程的三维建模方法及系统。

背景技术：

1、三维建模是计算机视觉和图形学中的一个基础且重要的研究，探索如何借助物体的二维平面信息从而获取其三维空间结构，在医疗诊断、影视制作、工程设计、城市规划等方面均具有广泛的用途和前景。三维重建方法根据成像模型和重构原理的不同，可以大致分为主动式重建和被动式重建，其中被动式的多视角重建方法在重建领域内备受青睐。双目深度视觉模型是多视角重建方法中最常用的一种模型，具备结构简单、操作方便、精度合适等优点。但针对一些弱纹理的对象如人脸等进行三维重建时，常规低成本重建方法下特征点匹配质量较低，位姿参数解算不够精确，从而导致最终的重建精度较差。

2、因此，如何在低成本下提升针对弱纹理对象的三维重建精度成为一个亟待解决的问题。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种基于立体约束的光束法平差方程的三维建模方法及系统，旨在解决如何在低成本下提升针对弱纹理对象的三维重建精度的技术问题。

2、为实现上述目的，本发明提供了一种基于立体约束的光束法平差方程的三维建模方法，所述基于立体约束的光束法平差方程的三维建模方法包括：

3、通过双目相机获取目标对象的多视角双目像对；

4、对所述多视角双目像对进行图像预处理，获得处理后的多视角双目影像，所述图像预处理包括极线校正处理、双边滤波处理及特征点定位处理；

5、对所述处理后的多视角双目影像进行立体匹配计算，获得初始点云；

6、解算双目相机立体约束下的光束法平差方程获得相片位姿信息和连接点坐标改正数；

7、基于所述相片位姿信息和所述连接点坐标改正数对所述初始点云进行三维点云融合，以实现重建三维模型。

8、可选地，所述解算双目相机立体约束下的光束法平差方程获得相片位姿信息和连接点坐标改正数的步骤之前，还包括：

9、根据所述处理后的多视角双目影像确定角点检测的预特征点；

10、根据所述角点检测的预特征点计算预特征点的二进制描述子；

11、根据所述预特征点的二进制描述子获得匹配点对；

12、根据所述匹配点对确定像对连接点数据；

13、根据所述像对连接点数据通过对极几何约束确定相片的相对位姿初值；

14、基于所述相片的相对位姿初值构建双目相机立体约束下的光束法平差方程。

15、可选地，所述基于所述相片的相对位姿初值构建双目相机立体约束下的光束法平差方程的步骤，包括：

16、根据所述相片的相对位姿初值通过前方交会原理计算控制点的三维坐标初值；

17、根据所述控制点的三维坐标初值、光束法平差的待优化参数确定左相机方程和右相机方程；

18、基于所述左相机方程和所述右相机方程构建双目相机立体约束下的光束法平差方程。

19、可选地，所述根据所述控制点的三维坐标初值、光束法平差的待优化参数确定左相机方程和右相机方程的步骤，包括：

20、根据所述控制点的三维坐标初值和左相机待优化参数确定左相机方程；

21、通过双目相机标定获取左右相机的相对位姿；

22、根据所述左右相机的相对位姿确定右相机待优化参数；

23、根据所述右相机待优化参数确定右相机方程。

24、可选地，所述基于所述相片位姿信息和所述连接点坐标改正数对所述初始点云进行三维点云融合，以实现重建三维模型的步骤，包括：

25、判断所述连接点坐标改正数是否小于限差；

26、若否，则迭代求解光束法平差方程直至连接点坐标改正数小于限差；

27、若是，则根据所述相片位姿信息对所述初始点云进行三维点云融合，以实现重建三维模型。

28、此外，为实现上述目的，本发明还提出一种基于立体约束的光束法平差方程的三维建模系统，所述基于立体约束的光束法平差方程的三维建模系统包括：

29、获取模块，用于通过双目相机获取目标对象的多视角双目像对；

30、处理模块，用于对所述多视角双目像对进行图像预处理，获得处理后的多视角双目影像，所述图像预处理包括极线校正处理、双边滤波处理及特征点定位处理；

31、计算模块，用于对所述处理后的多视角双目影像进行立体匹配计算，获得初始点云；

32、确定模块，用于解算双目相机立体约束下的光束法平差方程获得相片位姿信息和连接点坐标改正数；

33、重建模块，用于基于所述相片位姿信息和所述连接点坐标改正数对所述初始点云进行三维点云融合，以实现重建三维模型。

34、可选地，所述基于立体约束的光束法平差方程的三维建模系统还包括构建模块；

35、所述构建模块，用于根据所述处理后的多视角双目影像确定角点检测的预特征点；

36、所述构建模块，还用于根据所述角点检测的预特征点计算预特征点的二进制描述子；

37、所述构建模块，还用于根据所述预特征点的二进制描述子获得匹配点对；

38、所述构建模块，还用于根据所述匹配点对确定像对连接点数据；

39、所述构建模块，还用于根据所述像对连接点数据通过对极几何约束确定相片的相对位姿初值；

40、所述构建模块，还用于基于所述相片的相对位姿初值构建双目相机立体约束下的光束法平差方程。

41、可选地，所述构建模块，还用于根据所述相片的相对位姿初值通过前方交会原理计算控制点的三维坐标初值；

42、所述构建模块，还用于根据所述控制点的三维坐标初值、光束法平差的待优化参数确定左相机方程和右相机方程；

43、所述构建模块，还用于基于所述左相机方程和所述右相机方程构建双目相机立体约束下的光束法平差方程。

44、可选地，所述构建模块，还用于根据所述控制点的三维坐标初值和左相机待优化参数确定左相机方程；

45、所述构建模块，还用于通过双目相机标定获取左右相机的相对位姿；

46、所述构建模块，还用于根据所述左右相机的相对位姿确定右相机待优化参数；

47、所述构建模块，还用于根据所述右相机待优化参数确定右相机方程。

48、可选地，所述重建模块，还用于判断所述连接点坐标改正数是否小于限差；

49、所述重建模块，还用于若否，则迭代求解光束法平差方程直至连接点坐标改正数小于限差；若是，则根据所述相片位姿信息对所述初始点云进行三维点云融合，以实现重建三维模型。

50、此外，为实现上述目的，本发明还提出一种基于立体约束的光束法平差方程的三维建模设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于立体约束的光束法平差方程的三维建模程序，所述基于立体约束的光束法平差方程的三维建模程序配置为实现如上文所述的基于立体约束的光束法平差方程的三维建模方法的步骤。

51、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于立体约束的光束法平差方程的三维建模程序，所述基于立体约束的光束法平差方程的三维建模程序被处理器执行时实现如上文所述的基于立体约束的光束法平差方程的三维建模方法的步骤。

52、本发明首先通过双目相机获取目标对象的多视角双目像对，然后对多视角双目像对进行图像预处理，获得处理后的多视角双目影像，图像预处理包括极线校正处理、双边滤波处理及特征点定位处理，之后对处理后的多视角双目影像进行立体匹配计算，获得初始点云，最后解算双目相机立体约束下的光束法平差方程获得相片位姿信息和连接点坐标改正数，基于相片位姿信息和连接点坐标改正数对初始点云进行三维点云融合，以实现重建三维模型。相较于现有技术中常规低成本重建方法下特征点匹配质量较低，位姿参数解算不够精确，从而导致最终的重建精度较差，而本发明中在低成本双目相机多视影像的基础上，提出优化改进的立体约束光束法平差方法，在低成本、低计算复杂度下完成更高精度的三维重建，进而提升整体建模的几何精度。