一种视差自动矫正方法、装置、设备和可读存储介质与流程

本技术涉及立体成像，特别是涉及一种视差自动矫正方法、装置、设备和可读存储介质。

背景技术：

1、随着虚拟现实等技术的快速发展，立体视觉正成为广泛关注的技术，在不同领域的应用正在快速拓展。目前常见的立体视觉技术是基于双目视差实现的，观察者的双眼从不同的方向获取同一物体的二维图像，左右两幅图像存在差异，大脑对这种差异进行分析和处理，得到物体的亮度、形状、空间分布等信息，以区分物体的远近，从而产生立体感。

2、立体视觉技术在医疗领域同样发挥着重要的作用，相比较于传统技术，立体视觉技术能够为微创手术提供手术场景的三维重建，丰富场景的深度信息，提高手术操作的安全性。但是在实际使用过程中，由于眼睛都聚焦在显示屏上，使用者观察不同深度的物体时，显示画面与视觉系统对景深的推断信息不匹配，容易产生辐辏调节冲突(vergence-accommodation conflict，vac)，长时间地使用会产生疲劳感和眩晕感。在立体成像中，影响观察者对深度感知的主要因素是双目视差，因此我们可以根据视差的分布范围，将视差调整到舒适范围，从而提升立体视觉的舒适度。

3、现有技术中，通常采取立体匹配算法(例如bm(block matching)算法、sgbm(semi-global block matching)算法等)获取深度图像，需要设置固定窗口对图像进行滑动，并利用代价函数作为评价，以完成两幅图像中图像块的匹配，由于立体匹配算法对参数敏感，窗口的大小对匹配结果的影响较大，窗口越小所得深度图的噪声越大，窗口越大可能会导致误匹配，体现在深度图中为空洞增多，因此具有计算成本大，准确性不高的问题。或者通过用红外测距、激光测距或者超声波测距等测距硬件单元获取被拍摄对象到摄像头的距离；然后根据被摄物体的距离得到左右图像之间的视差值，但在使用上有很大的局限性，并且测距硬件的加入不仅会影响设备的体积，同时也会增加成本。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种视差自动矫正方法、装置、设备和可读存储介质。

2、第一方面，本技术实施例提供了一种视差自动矫正方法，所述方法包括：

3、对不同工作距离下双目拍摄设备获取的左视图和右视图分别进行位移调整，直至达到目标立体视觉效果，以获得图像位移表；

4、获取当前工作距离下左视图和右视图中的多个特征点对；

5、基于所述多个特征点对之间的坐标映射关系，确定所述左视图和所述右视图中所有对应的像素点对；

6、基于所述所有对应的像素点对的坐标，确定所述双目拍摄设备的当前工作距离；

7、基于所述双目拍摄设备的当前工作距离以及所述图像位移，确定所述左视图的位移调整值和所述右视图的位移调整值，以分别对所述左视图和所述右视图进行移动调整。

8、在其中一个实施例中，所述获取当前工作距离下左视图和右视图中的多个特征点对包括：

9、在所述左视图中选取第一感兴趣区域，以及在所述右视图中选取第二感兴趣区域；

10、利用特征点检测算法分别对所述第一感兴趣区域和所述第二感兴趣区域进行特征点检测，获得对应的特征点；

11、利用特征点匹配算法将所述第一感兴趣区域的特征点与所述第二感兴趣区域的特征点进行匹配，获取左视图和右视图中的多个特征点对。

12、在其中一个实施例中，所述基于所述多个特征点对的坐标之间的坐标映射关系，确定所述左视图和所述右视图中所有对应的像素点对包括：

13、基于所述多个特征点对的坐标，求解单应性矩阵；

14、基于所述单应性矩阵，确定所述左视图和所述右视图中所有对应的像素点对。

15、在其中一个实施例中，所述基于所述多个特征点对的坐标，对求解单应性矩阵包括：

16、剔除所述多个特征点对中匹配错误的特征点对；

17、基于剔除匹配错误后的多个特征点对的坐标，求解单应性矩阵。

18、在其中一个实施例中，所述基于所述单应性矩阵，确定所述左视图和所述右视图中所有对应的像素点对的计算公式具体如下：

19、

20、

21、其中，h为单应性矩阵，(x，y)为左视图中像素点的坐标，(x″，y″)为右视图中与所述左视图对应像素点的坐标。

22、在其中一个实施例中，所述基于所述双目拍摄设备的当前工作距离以及所述图像位移，获得所述左视图的位移调整值和所述右视图的位移调整值包括：

23、基于所述双目拍摄设备的当前工作距离对所述图像位移表进行查询，获得位移查询结果；

24、对所述位移查询结果进行插值，获得所述左视图的位移调整值和所述右视图的位移调整值。

25、在其中一个实施例中，所述基于所述双目拍摄设备的当前工作距离对所述图像位移表进行查询，获得位移查询结果；对所述位移查询结果进行插值，获得所述左视图的位移调整值和所述右视图的位移调整值包括：

26、基于所述双目拍摄设备的当前工作距离，在所述图像位移表中确定与所述当前工作距离邻近的第一工作距离以及第二工作距离；

27、对所述图像位移表进行查询，确定所述第一工作距离对应的第一位移调整值以及所述第二工作距离对应的第二位移调整值；

28、对所述第一位移调整值和所述第二位移调整值进行插值计算，获得所述左视图的位移调整值和所述右视图的位移调整值。

29、第二方面，本技术实施例还提供了一种视差自动矫正装置，所述装置包括：

30、第一获得模块，用于对不同工作距离下双目拍摄设备获取的左视图和右视图分别进行位移调整，直至达到目标立体视觉效果，以获得图像位移表；

31、第二获得模块，用于获取当前工作距离下左视图和右视图中的多个特征点对；

32、确定模块，用于基于所述多个特征点对之间的坐标映射关系，确定所述左视图和所述右视图中所有对应的像素点对；

33、第三获得模块，用于基于所述所有对应的像素点对的坐标，确定所述双目拍摄设备的当前工作距离；

34、调整模块，用于基于所述双目拍摄设备的当前工作距离以及所述图像位移，确定所述左视图的位移调整值和所述右视图的位移调整值，以分别对所述左视图和所述右视图进行移动调整。

35、第三方面，本技术实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

36、第四方面，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

37、上述视差自动矫正方法、装置、设备和可读存储介质，通过对不同工作距离下双目拍摄设备获取的左视图和右视图分别进行位移调整，直至达到目标立体视觉效果，以获得图像位移表；获取当前工作距离下左视图和右视图中的多个特征点对；基于所述多个特征点对之间的坐标映射关系，确定所述左视图和所述右视图中所有对应的像素点对；基于所述所有对应的像素点对的坐标，确定所述双目拍摄设备的当前工作距离；基于所述双目拍摄设备的当前工作距离以及所述图像位移，确定所述左视图的位移调整值和所述右视图的位移调整值，以分别对所述左视图和所述右视图进行移动调整。本技术能够不依赖硬件单元获取图像的深度信息，并且对深度信息的获取方式进行改进，具有更好的稳定性，尽可能准确地得到当前相机的工作距离，以实现左右视图的调整，减小成像视差，提高立体视觉显示的舒适性。相比于现有方法，本技术降低了视差自动矫正过程中的计算成本消耗，提高稳定性和所得深度信息的准确性。

38、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。