三维成像系统、三维成像系统校准方法及装置与流程

本发明涉及三维成像技术领域，尤其涉及一种三维成像系统、三维成像系统校准方法及装置。

背景技术

三维成像需要获得两幅具有视差的图像，但是两幅图像的放大倍率、图像大小、旋转角度都要求一致，并且两幅图像在显示时图像中心必须重合。这对三维成像系统的装配提出了非常高的要求，为了达到理想的效果，现有三维成像系统必须增加很多精密的微调结构来微调两套光学系统的放大倍率、图像大小、旋转角度和成像位置。这样不仅大大增加了设备的生产成本，同时也降低了三维成像系统的可靠性。此外，当三维成像系统的光学系统和摄像头采用分体式设计时(如三维内窥镜和摄像头可拆分，摄像头可搭配多款三维内窥镜使用)，由于三维成像系统的光学系统可更换，每套光学系统的装配很难做到高度一致，所以很难通过提高安装精度的方式来使得每一套光学系统搭配同一套摄像头都能获得理想的三维图像。

技术实现要素：

本发明实施例的目的在于提供一种三维成像系统、三维成像系统校准方法、装置及存储介质，其能够降低三维成像系统的生产成本，并能够提高三维成像系统的三维成像的可靠性，尤其是对于采用分体式设计的三维成像系统。

为了实现上述目的，本发明一实施例提供了一种三维成像系统的校准方法，其包括以下步骤：

获取三维成像系统在预定位置上对带有校准图案的目标拍摄到的具有视差的两幅校准图像；

识别出所述两幅校准图像的拍摄视野，并移动所述两幅校准图像的拍摄视野，使其中心点与各自所在的校准图像的图像中心点重合；

所述两幅校准图像的拍摄视野的中心点与各自所在的校准图像的图像中心点重合之后，将所述两幅校准图像的拍摄视野调至形状大小一致；

识别出调整后的所述两幅校准图像中的校准图案，并将所述两幅校准图像中的校准图案调至形状大小一致；

计算并获取所述两幅校准图像中的校准图案调整后相对于调整前的大小调整参数；其中，所述大小调整参数包括缩放倍率参数及拉伸参数中的至少一种；

以其中一幅校准图像中的校准图案为基准，对另一幅校准图像中的校准图案进行旋转，以使所述两幅校准图像中的校准图案的图案方向一致；

计算并获取已旋转的校准图案的旋转角度参数；

将获取到的所述大小调整参数及所述旋转角度参数作为校准参数进行保存，以使所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准。

作为上述方案的改进，所述校准图案为一条线段、十字构型、三角形、圆圈内带有一条线段的圆圈图案或圆圈内带有由两条线条正交成的十字构型的圆圈图案。

作为上述方案的改进，所述目标为带有所述校准图案的校准卡片。

本发明另一实施例对应提供了一种三维成像系统的校准装置，包括：

图像获取模块，用于获取三维成像系统在预定位置上对带有校准图案的目标拍摄到的具有视差的两幅校准图像；

第一调整模块，用于识别出所述两幅校准图像的拍摄视野，并移动所述两幅校准图像的拍摄视野，使其中心点与各自所在的校准图像的图像中心点重合；

第二调整模块，用于所述两幅校准图像的拍摄视野的中心点与各自所在的校准图像的图像中心点重合之后，将所述两幅校准图像的拍摄视野调至形状大小一致；

第三调整模块，用于识别出调整后的所述两幅校准图像中的校准图案，并将所述两幅校准图像中的校准图案调至形状大小一致；

第一计算模块，用于计算并获取所述两幅校准图像中的校准图案调整后相对于调整前的大小调整参数；其中，所述大小调整参数包括缩放倍率参数及拉伸参数中的至少一种；

第四调整模块，用于以其中一幅校准图像中的校准图案为基准，对另一幅校准图像中的校准图案进行旋转，以使所述两幅校准图像中的校准图案的图案方向一致；

第二计算模块，用于计算并获取已旋转的校准图案的旋转角度参数；

校准模块，用于将获取到的所述大小调整参数及所述旋转角度参数作为校准参数进行保存，以使所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准。

本发明另一实施例提供了一种三维成像系统，包括用于对目标成像出两幅具有视差的图像的成像组件、处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的三维成像系统的校准方法。

作为上述方案的改进，所述成像组件包括第一镜头、第二镜头、第一图像传感器及第二图像传感器；

所述第一镜头与所述第二镜头并排布置；所述第一图像传感器的靶面具有第一感光区，所述第二图像传感器的靶面具有第二感光区；

所述第一镜头与所述第二镜头用于在同时刻对同一场景进行取像；所述第一镜头对所述场景的取像，投射至所述第一感光区而成像为第一图像；所述第二镜头对所述场景的取像，投射至所述第二感光区而成像为第二图像；其中，所述第一图像与所述第二图像具有视差，且两者均具有感光的拍摄视野区域及未感光的无效区域。

作为上述方案的改进，所述成像组件包括第一镜头、第二镜头及第三图像传感器；

所述第一镜头与所述第二镜头并排布置；所述第三图像传感器的靶面包括第三感光区与第四感光区，所述第三感光区与所述第四感光区相互分离；

所述第一镜头与所述第二镜头用于在同时刻对同一场景进行取像；所述第一镜头对所述场景的取像，投射至所述第三感光区而成像为第三图像；所述第二镜头对所述场景的取像，投射至所述第四感光区而成像为第四图像；其中，所述第三图像与所述第四图像具有视差，且两者均具有感光的拍摄视野区域及未感光的无效区域。

相比于现有技术，本发明实施例提供的所述三维成像系统、三维成像系统校准方法及装置，通过获取三维成像系统在预定位置上对带有校准图案的目标拍摄到的两幅具有视差的校准图像；识别出所述两幅校准图像的拍摄视野，并移动所述两幅校准图像的拍摄视野，使其中心点与各自所在的校准图像的图像中心点重合，并将所述两幅校准图像的拍摄视野调至形状大小一致；识别出所述两幅校准图像中的校准图案，并将所述两幅校准图像中的校准图案调至形状大小一致；计算并获取所述两幅校准图像中的校准图案调整后相对于调整前的大小调整参数；以其中一幅校准图像中的校准图案为基准，对另一幅校准图像中的校准图案进行旋转，以使所述两幅校准图像中的校准图案的图案方向一致；计算并获取已旋转的校准图案的旋转角度参数；将获取到的所述大小调整参数及所述旋转角度参数作为校准参数进行保存，以使所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准。由上分析可知，本发明实施例只需要通过获取所述三维成像系统的所述大小调整参数与所述旋转角度参数来作为所述三维成像系统的校准参数，就能够使得所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准，从而能够使得三维成像系统能够成像出理想的图像。所以本发明实施例，无需对所述三维成型系统添加过多的微调结构，从而能够降低三维成像系统的生产成本，并能够提高三维成像系统的三维成像的可靠性，尤其是对于采用分体式设计的三维成像系统而言。

附图说明

图1是本发明一实施例提供的一种三维成像系统的校准方法的流程示意图；

图2是本发明一实施例提供的一种三维成像系统的结构示意图；

图3是图2示出的成像组件的第一种结构示意图；

图4是图2示出的成像组件的第二种结构示意图；

图5是三维成像系统成像出的初始的第一图像与第二图像的示意图；

图6是初始的第一图像的拍摄视野与第二图像的拍摄视野移动至各自图像中间的示意图；

图7是第一图像与第二图像两者的拍摄视野调至形状大小一致的状态示意图；

图8是第一图像与第二图像两者的校准图案调至形状大小一致的状态示意图；

图9是第一图像与第二图像两者旋转至图案方向一致后的状态示意图；

图10是本发明一实施例提供的一种三维成像系统的校准装置的结构示意图；

图11是本发明中举例说明的校准图案的示意图。

附图标记说明：

3.成像组件；4.目标；5.第一图像；6.第二图像；30.第一镜头；31.第二镜头；32.第一图像传感器；320.第一感光区；33.第二图像传感器；330.第二感光区；34.第三图像传感器；340.第三感光区；341.第四感光区；35.壳体。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明一实施例提供的一种三维成像系统的校准方法的流程示意图，包括步骤s10至步骤s16：

s10，获取三维成像系统在预定位置上对带有校准图案的目标4拍摄到的两幅具有视差的校准图像。

具体地，在将三维成像系统的各个组件装配好后，需要对所述三维成像系统进行校准。在对所述三维成像系统进行校准时，首先控制所述三维成像系统在预定的位置上对带有校准图案的目标4进行拍摄成像，参见图5，以成像出两幅具有视差的校准图像,即第一图像5和第二图像6。

可以理解的是，在对所述三维成像系统的各个组件进行装配时，可以对所述三维成像系统的两套光学系统(每套光学系统包括有一个镜头和聚焦组件等)的装配精度进行初步控制，以使得这两套光学系统分别在图像传感器上投射形成的两幅具有视差的图像的放大倍率、图像大小、旋转角度以及成像位置的差别尽量控制在合理的范围内。

请参见图5至图9，这些图示出了两幅校准图像，即包括黑色矩形区域在内的第一图像5和第二图像6为校准图像，校准图像中的白色区域为拍摄视野区域，黑色区域为未感光的无效区域。

s11，请参见图6，识别出所述两幅校准图像的拍摄视野，并移动所述两幅校准图像的拍摄视野，使其中心点与各自所在的校准图像的图像中心点重合。

s12，请参见图7，所述两幅校准图像的拍摄视野的中心点与各自所在的校准图像的图像中心点重合之后，将所述两幅校准图像的拍摄视野调至形状大小一致。

s13，识别出所述两幅校准图像中的校准图案，并将所述两幅校准图像中的校准图案调至形状大小一致。

具体地，通过霍夫变换等图像识别算法识别出所述两幅校准图像中的校准图案，并将所述两幅校准图像中的校准图案调至形状大小一致。所述校准图案可用选自如图11校准图案的示意图中的一种，或本领域技术人员能够容易想到的其他合适的形状。其中，调整图案形状大小一致的方法可以为对相关的校准图案进行放大和缩小。当然，若由于镜头畸变等原因而导致所述三维成像系统成像出的所述两幅校准图像的校准图案的形状不一致时，还可以通过对出现变形的校准图案进行拉伸。或者，也可以是单纯地对所述两幅校准图像中的校准图案进行拉伸而使得两者的校准图案的形状大小一致。

此外，当所述三维成像系统应用于三维内窥镜等领域时，即三维成像系统成像出的具有视差的两幅图像均具有感光的拍摄视野区域及未感光的无效区域，例如，请参见图5至图9，这些图示出了两幅校准图像，即包括黑色矩形区域在内的第一图像5和第二图像6，校准图像中的白色区域为拍摄视野区域，黑色区域为未感光的无效区域。

识别出调整后的所述两幅校准图像中的校准图案，将所述两幅校准图像中的校准图案调至形状大小一致。具体地，请参见图8，识别出调整后的所述两幅校准图像中的校准图案，并分析出所述所述两幅校准图像中的校准图案的大小，然后将所述两幅校准图像中的校准图案调至形状大小一致。例如，第一幅校准图像中的校准图案的大小为10cm²，第二幅校准图像中的校准图案的大小为9cm²，那么可以以第一幅校准图像中的校准图案为基准，将第二幅校准图像中的校准图案的大小也调至10cm²，然后在后续步骤中计算出第二幅校准图像的校准图案相对于原始图像的放大倍数和/或拉伸参数。或者，可以以第二幅校准图像中的校准图案为基准，将第一幅校准图像中的校准图案的大小调至9cm²，然后在后续步骤中计算出第一幅校准图像的校准图案相对于原始图像的缩小倍数和/或拉伸参数。当然，还可以是将所述两幅校准图像中的校准图案的大小均调至为11cm²或8cm²，然后计算这两者的校准图案的缩放倍数和/或拉伸参数。

s14，计算并获取所述两幅校准图像中的校准图案调整后相对于调整前的大小调整参数；其中，所述大小调整参数包括缩放倍率参数及拉伸参数中的至少一种。

s15，请参见图9，以其中一幅校准图像中的校准图案为基准，对另一幅校准图像中的校准图案进行旋转，以使所述两幅校准图像中的校准图案的图案方向(图案方向指的是图案的各个部位所在的方位)一致。

s16，计算并获取已旋转的校准图案的旋转角度参数。

s17，将获取到的所述大小调整参数及所述旋转角度参数作为校准参数进行保存，以使所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准。

具体地，将获取到的所述大小调整参数及所述旋转角度参数作为校准参数进行保存，这样所述三维成像系统在进行三维成像时，就可以根据保存的所述校准参数来对拍摄到的图像进行校准，从而能够得到理想的两幅具有视差的图像，最后才能够根据这两幅具有视差的图像来合成理想的三维图像。例如，假设所述三维成像系统的两套光学系统分别为第一光学系统与第二光学系统，第一光学系统拍摄到的图像为第一图像5，第二光学系统拍摄到的图像为第二图像6，其中，在经过上述校准过程时，得到的校准参数为第一光学系统成像的图像的大小需要放大1.1倍，第二光学系统成像的图像需要顺时针旋转5度，那么就将所述第一图像5放大1.1倍，并将所述第二图像6顺时针旋转5度。

在本发明实施例中，优选地，所述校准图案为圆圈内带有由两条线条正交成的十字构型的圆圈图案。当然，所述校准图案还可以为其他形状，例如为一条线段、十字构型、三角形、圆圈内带有一条线段的圆圈图案或等，在此不做具体限定。此外，较佳地，所述目标4为带有所述校准图案的校准卡片。当然，所述目标4还可以为带有校准图案的木板或玻璃块等，在此也不做具体限定。

综上所述，在本发明实施例中，通过获取三维成像系统在预定位置上对带有校准图案的目标4拍摄到的两幅具有视差的校准图像；识别出所述两幅校准图像中的校准图案，并将所述两幅校准图像中的校准图案调至形状大小一致；计算并获取所述两幅校准图像中的校准图案调整后相对于调整前的大小调整参数；以其中一幅校准图像中的校准图案为基准，对另一幅校准图像中的校准图案进行旋转，以使所述两幅校准图像中的校准图案的图案方向一致；计算并获取已旋转的校准图案的旋转角度参数；将获取到的所述大小调整参数及所述旋转角度参数作为校准参数进行保存，以使所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准。由上分析可知，本发明实施例只需要通过获取所述三维成像系统的所述大小调整参数与所述旋转角度参数来作为所述三维成像系统的校准参数，就能够使得所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准，从而能够使得三维成像系统能够成像出理想的图像。所以本发明实施例，无需对所述三维成型系统添加过多的微调结构，从而能够降低三维成像系统的生产成本，并能够提高三维成像系统的三维成像的可靠性，尤其是对于采用分体式设计的三维成像系统而言。

参见图10，是本发明另一实施例提供的一种三维成像系统的校准装置的结构示意图，包括：

图像获取模块10，用于获取三维成像系统在预定位置上对带有校准图案的目标拍摄到的具有视差的两幅校准图像；

第一调整模块11，用于识别出所述两幅校准图像的拍摄视野，并移动所述两幅校准图像的拍摄视野，使其中心点与各自所在的校准图像的图像中心点重合；

第二调整模块12，用于所述两幅校准图像的拍摄视野的中心点与各自所在的校准图像的图像中心点重合之后，将所述两幅校准图像的拍摄视野调至形状大小一致；

第三调整模块13，用于识别出调整后的所述两幅校准图像中的校准图案，并将所述两幅校准图像中的校准图案调至形状大小一致；

第一计算模块14，用于计算并获取所述两幅校准图像中的校准图案调整后相对于调整前的大小调整参数；其中，所述大小调整参数包括缩放倍率参数及拉伸参数中的至少一种；

第四调整模块15，用于以其中一幅校准图像中的校准图案为基准，对另一幅校准图像中的校准图案进行旋转，以使所述两幅校准图像中的校准图案的图案方向一致；

第二计算模块16，用于计算并获取已旋转的校准图案的旋转角度参数；

校准模块17，用于将获取到的所述大小调整参数及所述旋转角度参数作为校准参数进行保存，以使所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准。

相比于现有技术，本发明实施例只需要通过获取所述三维成像系统的所述大小调整参数与所述旋转角度参数来作为所述三维成像系统的校准参数，就能够使得所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准，从而能够使得三维成像系统能够成像出理想的图像。所以本发明实施例，无需对所述三维成型系统添加过多的微调结构，从而能够降低三维成像系统的生产成本，并能够提高三维成像系统的三维成像的可靠性，尤其是对于采用分体式设计的三维成像系统而言。

参见图2，发明另一实施例提供了一种三维成像系统，包括用于对目标4成像出两幅具有视差的图像的成像组件3、处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的三维成像系统的校准方法。

具体地，当所述三维成像系统应用于三维内窥镜等领域时，所述成像组件3可以为以下两种结构：

第一种：参见图3，所述成像组件3包括第一镜头30、第二镜头31、第一图像传感器32及第二图像传感器33；所述第一镜头30与所述第二镜头31并排布置；所述第一图像传感器32的靶面具有第一感光区320，所述第二图像传感器33的靶面具有第二感光区330，这两个图像传感器安装于一壳体5内；所述第一镜头30与所述第二镜头31用于在同时刻对同一场景进行取像；所述第一镜头30对所述场景的取像，投射至所述第一感光区320而成像为第一图像5；所述第二镜头31对所述场景的取像，投射至所述第二感光区330而成像为第二图像6；其中，所述第一图像5与所述第二图像6具有视差，且两者均具有感光的拍摄视野区域及未感光的无效区域。

第二种：参见图4，所述成像组件3包括第一镜头30、第二镜头31及第三图像传感器34；所述第一镜头30与所述第二镜头31并排布置，所述第三图像传感器34安装于一壳体5内；所述第三图像传感器34的靶面包括第三感光区340与第四感光区341，所述第三感光区340与所述第四感光区341相互分离；所述第一镜头30与所述第二镜头31用于在同时刻对同一场景进行取像；所述第一镜头30对所述场景的取像，投射至所述第三感光区340而成像为第三图像；所述第二镜头31对所述场景的取像，投射至所述第四感光区341而成像为第四图像；其中，所述第三图像与所述第四图像具有视差，且两者均具有感光的拍摄视野区域及未感光的无效区域。

相比于现有技术，本发明实施例只需要通过获取所述三维成像系统的所述大小调整参数与所述旋转角度参数来作为所述三维成像系统的校准参数，就能够使得所述三维成像系统在进行三维成像时根据所述校准参数对拍摄到的图像进行校准，从而能够使得三维成像系统能够成像出理想的图像。所以本发明实施例，无需对所述三维成型系统添加过多的微调结构，从而能够降低三维成像系统的生产成本，并能够提高三维成像系统的三维成像的可靠性，尤其是对于采用分体式设计的三维成像系统而言。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述三维成像系统中的执行过程。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述三维成像系统的控制中心，利用各种接口和线路连接整个三维成像系统的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述三维成像系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述三维成像系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。