一种优化二维时间序列重建三维数据的方法

本发明涉及一种重建三维数据的方法，特别是一种优化二维时间序列重建三维数据的方法。

背景技术：

1、在计算机视觉中，三维重建技术是根据单视图或多视图的图像重建目标物体三维信息的过程。由于单视图的信息不完全，三维重建时需要依靠经验信息。而多视图包含了足够的信息，能够利用多张二维图像重建出目标的三维模型。

2、目前常用的多视图三维重建流程为：图像获取，摄像机标定，特征提取，立体匹配，三维重建。其中，图像获取即为拍摄一组目标物体的图像；摄像机标定过程是通过拍摄有效的成像模型求解相机的内外参数，便于后续求解图像像素在空间中的三维坐标；特征提取与立体匹配是根据二维图像中的某些特征建立图像间的对应关系；最后三维重建是根据图像间关系与相机内外参矩阵恢复目标的三维信息。这一过程中，特征提取与立体匹配部分易受图像质量与噪声的影响，将极大降低定位精度。

3、另一种探头定位法通过定位拍摄用的相机或探头间接获取目标的空间位姿信息。常用的定位方式有机械定位、电磁定位、光学定位等，其中光学定位是一种使用便捷成本较低的方法，通过在扫描用的相机或探头上固定某一光学特征如标定板，另外使用一台固定相机拍摄该特征以计算扫描相机或探头在空间中的位姿。此类方法易受扫描时的抖动、系统时延等问题的影响，三维重建结果可能存在偏移与抖动。

技术实现思路

1、发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种优化二维时间序列重建三维数据的方法。

2、为了解决上述技术问题，本发明公开了一种优化二维时间序列重建三维数据的方法，包括如下步骤：

3、步骤1，同步采集目标的二维图像和对应空间位姿关于时间的序列，获得原始数据；所述原始数据中包括二维图像序列和空间位姿矩阵序列；

4、步骤2，将采集到的空间位姿矩阵序列转化为六个自由度关于时间的序列，分别对上述六个自由度序列做分段三次样条拟合并重新采样，将采样后的六个自由度序列重新转化为矩阵形式的新的空间位姿序列；

5、步骤3，结合二维图像序列，根据图像间相关性，采用迭代优化的方法确定二维图像序列中每张二维图像在拟合后的空间位姿序列中最佳的对应时间节点；

6、步骤4，将二维图像序列依据对应的空间位姿信息映射到三维空间中，完成三维重建。

7、进一步的，步骤1中所述的同步采集，具体方法包括：通过同步信号对图像采集装置与位姿采集装置进行同步。

8、进一步的，步骤1中所述的原始数据中：

9、空间位姿矩阵序列，即将空间位姿信息视为刚体变换，由旋转平移矩阵表示；

10、二维图像序列，记为p，第i张图像p(i)对应的时间节点记为ti＝told(i),i＝0,1,2,···，空间位姿矩阵序列记为mold(ti)，设未优化时told(i)＝i。

11、进一步的，步骤1中所述的采集目标的二维图像，即采用线性扫描方式采集目标的二维图像，所述线性扫描方式采集目标的二维图像至少包括超声扫描方式。

12、进一步的，步骤2中所述的将采集到的空间位姿矩阵序列转化为六个自由度关于时间的序列，即将空间位姿矩阵序列中的旋转矩阵部分根据罗德里格斯公式分解为三个旋转分量α、β、γ，平移矩阵部分分解为三个沿坐标轴的平移分量x、y、z。

13、进一步的，步骤2中所述的新的空间位姿序列记为：

14、mnew(t),t＝0,δt,2δt,···,1,1+δt,1+2δt,···

15、其中，δt为采样间隔。

16、进一步的，步骤3中所述的迭代优化的方法，具体包括：

17、步骤3-1，初始化：将二维图像对应的时间节点初始化为原时间节点，即令p(i)对应待优化的新时间节点tnew(i)＝told(i)＝i；

18、固定首尾两张图像和对应的时间节点与空间位姿，在迭代中全程不做改变；

19、步骤3-2，固定所有序号为偶数的二维图像所对应的时间节点，则图像p(i_even)对应的新的空间位姿为mnew(ti_even)，将上述序号为偶数的二维图像映射到三维空间；

20、步骤3-3，对于序号i_odd为奇数的二维图像p(i_odd)，根据设定范围遍历其前后偶数序号的二维图像对应时间节点之间的空间位姿；

21、将该图像p(i_odd)依据空间位姿映射到三维空间，将其向前后两张图像所在的平面进行投影并重采样，分别计算其与前后图像的相关系数并相加，选择相关系数之和最大的时间节点ti_odd作为该图像p(i_odd)新的对应节点，即：

22、tnew(iodd)＝ti_odd

23、步骤3-4，对所有序号为奇数的二维图像执行步骤3-3中所述的操作；

24、步骤3-5，参照步骤3-2中所述方法，固定所有序号为奇数的二维图像及其对应的时间节点；

25、步骤3-6，参照步骤3-2至步骤3-5中所述的方法，对所有序号为偶数的二维图像进行操作，更新对应的时间节点；

26、步骤3-7，判断是否满足停止迭代的条件，若是，则完成迭代，将此时的时间节点tnew(i)作为最佳的对应时间节点，否则重新回到步骤3-2，继续迭代。

27、进一步的，步骤3-3中所述的设定范围即限定如下遍历范围：

28、范围一，设定两张图像间最小的时间间隔mδt，其中m属于正整数；

29、范围二，设定允许最大偏差值l，即遍历范围满足如下条件：

30、told(iodd)-[tnew(iodd-1)+mδt]<l或[tnew(iodd+1)-mδt]-told(iodd)<l

31、在范围二的条件下遍历mnew(t),t＝tnew(iodd-1)+mδt,tnew(iodd-1)+(m+1)δt,···,tnew(iodd+1)-mδt。

32、进一步的，步骤3-7中所述的停止迭代的条件，包括：

33、条件一，定义稳定率s为隔次迭代间二维图像对应时间节点相同的个数除以总对应时间节点数，当s大于设定阈值时退出迭代；

34、条件二，定义迭代次数n，当n大于设定阈值时退出迭代。

35、进一步的，执行步骤3中所述的迭代优化的方法时，采用并行计算减少耗时。

36、进一步的，步骤4中所述的完成三维重建，即根据步骤3迭代完成后得到的新空间位姿序列及其对应的时间节点，将二维图像映射到三维空间中，并使用表面渲染、体渲染或切片渲染方式显示最终的三维重建结果。

37、有益效果：

38、本发明设计了一种优化二维图像对应空间位姿序列的方法，采用分段三次样条拟合的方法初步减轻扫描时抖动的影响；此外，还使用了基于图像间相关性的迭代方法，进一步优化图像序列在空间中轨迹的平滑，弥补或减轻了三维重建结果中存在偏移与抖动的不足。

技术特征：

1.一种优化二维时间序列重建三维数据的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤1中所述的同步采集，具体方法包括：通过同步信号对图像采集装置与位姿采集装置进行同步；

3.根据权利要求1所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤1中所述的采集目标的二维图像，即采用线性扫描方式采集目标的二维图像，所述线性扫描方式采集目标的二维图像至少包括超声扫描方式。

4.根据权利要求3所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤2中所述的将采集到的空间位姿矩阵序列转化为六个自由度关于时间的序列，即将空间位姿矩阵序列中的旋转矩阵部分根据罗德里格斯公式分解为三个旋转分量α、β、γ，平移矩阵部分分解为三个沿坐标轴的平移分量x、y、z。

5.根据权利要求4所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤2中所述的新的空间位姿序列记为：

6.根据权利要求1所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤3中所述的迭代优化的方法，具体包括：

7.根据权利要求6所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤3-3中所述的设定范围即限定如下遍历范围：

8.根据权利要求7所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤3-7中所述的停止迭代的条件，包括：

9.根据权利要求8所述的优化二维时间序列重建三维数据的方法，其特征在于，执行步骤3中所述的迭代优化的方法时，采用并行计算减少耗时。

10.根据权利要求1所述的优化二维时间序列重建三维数据的方法，其特征在于，步骤4中所述的完成三维重建，即根据步骤3迭代完成后得到的新空间位姿序列及其对应的时间节点，将二维图像映射到三维空间中，并使用表面渲染、体渲染或切片渲染方式显示最终的三维重建结果。

技术总结
本发明公开了一种优化二维时间序列重建三维数据的方法，包括如下步骤：步骤1，同步采集目标的二维图像和对应空间位姿关于时间的序列，获得原始数据；步骤2，将采集到的空间位姿矩阵序列转化为六个自由度关于时间的序列，分别对其做分段三次样条拟合并重新采样，将采样后的六个自由度序列重新转化为矩阵形式的空间位姿序列；步骤3，结合二维图像序列，根据图像间相关性，采用迭代优化的方法确定其在拟合后的空间位姿序列中最佳的对应时间点；步骤4，将图像序列依据对应的空间位姿信息映射到三维空间中，完成三维重建。本发明通过优化原始数据关于时间的空间位姿序列以优化三维重建结果。

技术研发人员：袁杰,蔡昀烨,沈恩翔,王育昕,赵康僆,陶超,刘晓峻
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/1/16