一种双目设备的校正方法、装置和计算机设备与流程

本技术涉及光学设备，特别是涉及一种双目设备的校正方法、装置和计算机设备。

背景技术：

1、随着图像处理技术的发展，三维立体图像显示技术在医疗领域的应用逐渐受到重视。例如，三维立体图像显示技术可以应用于判断医疗器械或待治疗部位的相对深度。三维立体图像显示技术主要是基于多目设备采集到的左右立体图像对的三维显示来提供观察区域的立体感。但是为了获取舒适的立体成像和正确的目标三维几何关系，需要根据多目设备的内参、外参及畸变参数建立几何成像模型。其中，求解每个相机的内参、外参及畸变参数的过程，为相机标定的过程，利用每个相机的内参、外参及畸变参数对输入图像进行旋转与投影变换得到立体图像的过程，为相机校正的过程。相机标定和相机校正是三维立体图像显示技术的重点和难点。

2、现有的技术，主要采用张正友标定算法和bouguet算法分布对相机进行标定和校正，但是利用现有技术进行校正后，因为立体图像的零视差点在无穷远处，导致立体图像存在较大的负视差。另外，医疗内窥镜中常用大广角镜头来获取更大角度的拍摄范围，大广角镜头会造成了画面畸变程度较高，使得在对相机进行畸变校正后，图像边缘的拉伸较明显。而较大的负视差和边缘拉伸，会导致三维立体图像的观看舒适度不高。而现有的相机舒适度的调整方法，主要是在标定阶段调整左图像和右图像的行对齐，在校正阶段根据现场图像视差进行舒适度调整。但是，在校正阶段根据现场图像视差进行舒适度调整，操作复杂且计算量大，致使校正效率低。

3、针对现有的双目设备的校正方式，因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题，目前还没有提出有效的解决方案。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种双目设备的校正方法、装置和计算机设备。

2、第一方面，本技术提供了一种双目设备的校正方法。所述方法包括：

3、基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置；

4、计算在预设的显示区域中的有效区域最大的情况下的新焦距；

5、基于所述新焦距，以及所述新主点的位置，计算更新后的投影矩阵；

6、对所述更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；

7、基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表；

8、基于所述左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。

9、在其中一个实施例中，在所述基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置之前，还包括：

10、基于所述初始投影矩阵下的所述双目设备的初始焦距、所述双目设备的相对位移，以及所述双目设备的工作距离，计算所述初始投影矩阵下的所述双目设备的左右镜头偏移所述初始主点的距离。

11、在其中一个实施例中，在所述基于所述初始投影矩阵下的所述双目设备的初始焦距、所述双目设备的相对位移，以及所述双目设备的工作距离，计算所述初始投影矩阵下的所述双目设备的左右镜头偏移所述初始主点的距离之前，还包括：

12、计算第一旋转矩阵；所述双目设备的左右镜头按照所述第一旋转矩阵进行旋转变换后，能够极线平行；

13、按照所述第一旋转矩阵，对所述双目设备的所述左右镜头进行旋转；

14、求解在所述双目设备的左右镜头在极线平行的情况下的内参矩阵，作为所述初始投影矩阵。

15、在其中一个实施例中，在计算所述第一旋转矩阵之前，还包括：

16、利用预设的标定板对所述双目设备的左右镜头进行标定，得到所述双目设备的左右镜头的内参矩阵和畸变参数；

17、对所述双目设备的左右镜头所拍摄的标定板的图像进行立体标定，得到所述双目设备的外参。

18、在其中一个实施例中，所述计算所述第一旋转矩阵，包括：

19、计算所述双目设备的左右镜头的第二旋转矩阵；所述双目设备的左右镜头按照所述第二旋转矩阵旋转变换后，能够与三维空间坐标轴平行；

20、基于所述第二旋转矩阵，以及按照预设的构造规则所构造的正交矩阵，计算所述第一旋转矩阵。

21、在其中一个实施例中，所述计算在预设的显示区域中的有效区域最大的情况下的新焦距，包括：

22、根据所述双目设备的左右镜头的内参矩阵、畸变参数、第一旋转矩阵、以及所述初始投影矩阵，计算所述双目设备的左右镜头的映射表；

23、基于所述双目设备的左右镜头的映射表，确定所述左右镜头的有效信息区域；

24、基于所述左右镜头的有效信息区域，确定所述左右镜头的公共信息区域；

25、基于初始焦距，以及所述左右镜头的公共信息区域的大小与原始图像的大小的比值，计算在所述预设的显示区域中的所述有效区域最大的情况下的所述新焦距。

26、在其中一个实施例中，所述根据所述双目设备的左右镜头的所述内参矩阵、所述畸变参数、所述第一旋转矩阵、以及所述初始投影矩阵，计算所述双目设备的左右镜头的映射表，包括：

27、基于所述双目设备的左右镜头的所述第一旋转矩阵和所述初始投影矩阵，计算所述双目设备的左右镜头的第一合并投影矩阵；

28、基于所述第一合并投影矩阵，对所述双目设备的左右镜头图像中的每个像素点的坐标位置进行投影变换，得到第一投影变换后的每个位置的坐标；

29、根据所述畸变参数，对所述第一投影变换后的每个位置的坐标进行畸变校正，得到第一校正后的每个位置的坐标；

30、根据所述内参矩阵，对所述第一校正后的每个位置的坐标进行坐标映射，得到所述双目设备的左右镜头的映射表。

31、在其中一个实施例中，所述基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表，包括：

32、基于所述左右镜头的第一旋转矩阵和所述更新后的投影矩阵，计算所述双目设备的左右镜头的第二合并投影矩阵；

33、基于所述第二合并投影矩阵，以及所述柱面投影变换后的每个像素点的所述坐标位置，对映射表中的每个像素点的坐标位置进行投影变换，得到第二投影变换后的每个位置的坐标；

34、根据畸变参数，对所述第二投影变换后的每个位置的坐标进行畸变校正，得到第二校正后的每个位置的坐标；

35、根据内参矩阵，对所述第二校正后的每个位置的坐标进行坐标映射，得到所述双目设备的左右镜头的所述重映射坐标表。

36、第二方面，本技术还提供了一种双目设备的校正装置。所述装置包括：

37、主点位置更新模块，用于基于初始投影矩阵下的所述双目设备的左右镜头偏移初始主点的距离，以及所述初始投影矩阵所对应的所述初始主点的位置，更新所述初始主点的位置，得到新主点的位置；

38、焦距计算模块，用于计算在预设的显示区域中的有效区域最大的情况下的新焦距；

39、投影矩阵计算模块，用于基于所述新焦距，以及所述新主点的位置，计算更新后的投影矩阵；

40、柱面投影模块，用于对所述更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置；

41、坐标表计算模块，用于基于所述柱面投影变换后的每个像素点的所述坐标位置，计算所述左右镜头的重映射坐标表；

42、以及校正模块，用于基于所述左右镜头的重映射坐标表，对获取到的待校正的立体图像进行校正，得到校正后的立体图像。

43、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的双目设备的校正方法。

44、上述双目设备的校正方法、装置和计算机设备，基于初始投影矩阵下的双目设备的左右镜头偏移初始主点的距离，以及初始投影矩阵所对应的初始主点的位置，按照预设的主点位置更新策略，更新双目设备初始主点的位置，得到新主点的位置，进而，计算在预设的显示区域中的有效区域最大的情况下的新焦距。其通过更新主点位置，使零视差点位于双目设备的工作距离以内，以及更新焦距的大小，使得预设的显示区域中的有效区域最大，从而避免立体图像存在较大的负视差。另外基于新焦距，以及新主点的位置，按照预设的投影矩阵计算方式，计算更新后的投影矩阵，并对更新后的投影矩阵所对应的左右镜头的映射表中的每个像素点的坐标位置进行柱面投影，得到柱面投影变换后的每个像素点的坐标位置，计算左右镜头的重映射坐标表。通过引入柱面投影的方式，能够有效缓解大广角立体相机去畸变产生的边缘拉伸的问题。其通过在离线标定阶段对图像的视差进行舒适度调整，避免了根据现场图像视差进行舒适的调整的复杂操作以及大量的计算，解决了现有技术因为根据现场图像视差进行舒适度调整操作复杂且计算量大而导致的校正效率低的问题。

45、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。