一种3D内窥镜影像系统的双相机自动调校方法及系统与流程

本发明涉及3d内窥镜调校，具体涉及一种3d内窥镜影像系统的双相机自动调校方法及系统。

背景技术：

1、内窥镜技术的产生是医学技术发展史上的一个重要的里程碑。内窥镜技术的应用使得微创的医学检查及外科手术成为可能，大大减小了手术对病人所造成的伤害，也降低了术后感染等并发症的风险，同时术后恢复的时间也更短。

2、3d影像的基本成像原理在于，观察者的左眼和右眼由于视差的原因对于真实世界中的物体分别会观察到不同的图像，之后图像信息经过大脑进行叠加重生，会感觉到构成了一个具有前后、上下、左右、远近等立体方向效果的影像。3d内窥镜系统的基本原理与此类似，通过使用立体成像技术，3d内窥镜系统能够产生两路独立的视频信号，这两路独立的视频信号之间存在着一定的视差：采集到的各视频信号并不直接向操作者显示，而是通过一定的显示技术分别供操作者的左眼和右眼观看，以实现内窥镜图像的3d可视化。

3、由医用3d内窥镜系统的基本工作原理可以知道，最基本的医用3d内窥镜包括3d视频信号的采集系统和3d图像显示系统两大部分。

4、3d视频信号采集系统包括位于内窥镜远端的照明系统、光学镜头系统、图像传输系统。当内窥镜远端被放置到人体内部需要检查的部位附件之后，光学镜头系统借助于内窥镜的照明系统能够对感兴趣的组织部位进行拍摄；图像传输系统通常使用图像传感器和图像编码芯片。图像传感器一般使用ccd等微型图像捕获装置，将光学镜头所产生的图像转换成数据；视频编码信号能够把图像的数据进行编码、压缩，从而使得数据能够高质量地传输并显示出来。

5、当前3d内窥镜的双相机安装调校的主要步骤，包括：

6、步骤1：双相机接入映像系统，并实时成像至医用显示器。

7、步骤2：依靠手工调节有安装虚位的相机位置，同时肉眼观察成像靶标与标准位置是否重合。

8、步骤3：重复第2步工作，直至两路相机成像达到预期的标准位置，固定好相机，即可完成调校工作。

9、当前技术的缺点：

10、(1)采用人工的方式进行调校，效率低，一般调校好一组相机需要专人花费0.5-1个小时的时间完成；

11、(2)采用人工的方式进行调校，准确性因人而异，批量产品精度的重复性不好。

技术实现思路

1、为了克服现有技术的不足，本发明提供一种3d内窥镜影像系统的双相机自动调校方法及系统，用于解决现有的调校方法存在调校效率低和调校精度的重复性差的技术问题，从而达到提高3d内窥镜的调校效率和调校精度的重复性的目的。

2、为解决上述问题，本发明所采用的技术方案如下：

3、本发明公开了一种3d内窥镜影像系统的双相机自动调校方法，包括以下步骤：

4、将3d内窥镜所用的第一相机和第二相机分别安装在夹具上，并对所述第一相机和所述第二相机进行上电，所述第一相机和所述第二相机输出第一视频流和第二视频流；

5、获取所述第一视频流和所述第二视频流进行处理，得到当前捕捉到的第一靶标位置和第二靶标位置；

6、获取所述第一靶标位置和所述第一目标位置的第一差值，获取所述第二靶标位置和所述第二目标位置的第二差值；

7、根据所述第一差值发送指定命令，驱动所述第一相机进行移动，并获取实时第一差值；

8、根据所述第二差值发送指定命令，驱动所述第二相机进行移动，并获取实时第二差值；

9、根据所述实时第一差值不断调整所述第一相机的位置，直至所述实时第一差值小于阈值，完成所述第一相机的调校；

10、根据所述实时第二差值不断调整所述第二相机的位置，直至所述实时第二差值小于阈值，完成所述第二相机的调校。

11、作为本发明优选的实施方式，在得到当前捕捉到的第一靶标位置和第二靶标位置时，包括：

12、对所述第一视频流和所述第二视频流进行全局化阈值，得到第一二值化图像和第二二值化图像；

13、将所述第一二值化图像和所述第二二值化图像进行去噪，得到第一去噪图像和第二去噪图像；

14、对所述第一去噪图像和所述第二去噪图像进行取边界、拟合直线，得到第一靶标和第二靶标；

15、获取所述第一靶标和所述第二靶标的中心坐标与偏转角度，得到当前捕捉到的第一靶标位置和第二靶标位置。

16、作为本发明优选的实施方式，在进行全局化阈值时，包括：

17、对所述第一视频流和所述第二视频流进行图像帧提取，得到第一帧图像和第二帧图像；

18、利用最大类间方差算法获取使所述第一帧图像和所述第二帧图像类间方差达到最大值的第一阈值和第二阈值；

19、根据所述第一阈值和所述第二阈值实现所述第一帧图像和所述第二帧图像的二值化，得到所述第一二值化图像和所述第二二值化图像。

20、作为本发明优选的实施方式，在进行去噪时，包括：

21、通过结构元素b分别对所述第一二值化图像和所述第二二值化图像进行闭运算，公式1所示：

22、

23、式中，a为所述第一二值化图像或所述第二二值化图像，a·b表示a和b进行闭运算，运算符表示膨胀操作，运算符θ表示腐蚀操作。

24、作为本发明优选的实施方式，在进行取边界时，包括：

25、获取靶标水平方向上的梯度值和垂直方向上的梯度值，如公式2所示：

26、

27、式中，gx为靶标水平方向上的梯度值，gy为靶标垂直方向上的梯度值，igray为所述第一去噪图像或所述第二去噪图像，*表示卷积运算符；

28、根据所述靶标水平方向上的梯度值和所述靶标垂直方向上的梯度值，获取各像素点的梯度强度，如公式3所示：

29、

30、式中，m(x,y)表示像素点(x,y)的梯度强度，θ(x,y)表示像素点(x,y)的梯度方向；根据所述梯度强度和所述梯度方向进行非极大值抑制，如公式4所示：

31、

32、式中，ml表示梯度强度的低阈值，δx和δy表示梯度方向的偏移值，δx＝cosθ(x,y)，δy＝sinθ(x,y)；

33、进行双阈值处理，如公式5所示：

34、

35、式中，mh表示梯度强度的高阈值，strong、weak、non-edge分别表示强边缘、弱边缘和非边缘。

36、作为本发明优选的实施方式，在拟合直线时，包括：

37、设标靶的水平直线和垂直直线，如公式6所示：

38、y＝k*x+b  (6)；

39、通过最小二乘法拟合所述水平直线和所述垂直直线的斜率k，如公式7所示：

40、

41、根据拟合得到的斜率利用待定系数法得到截距b。

42、作为本发明优选的实施方式，在获取中心坐标与偏转角度时，包括：

43、设标靶的水平直线和垂直直线分别如公式8和公式9所示：

44、a1x+b1y+c1＝0  (8)；

45、a2x+b2y+c2＝0  (9)；

46、式中，a、b、c分别为系数；

47、将所述水平直线和所述垂直直线联立，利用消元得到x和y的值，即所述第一靶标和所述第二靶标的中心坐标；

48、使用反正切函数得到所述第一靶标和所述第二靶标的偏转角度，如公式10所示：

49、θ＝arctan(k) (10)；

50、式中，k为所述水平直线的斜率。

51、作为本发明优选的实施方式，在获取第一差值和第二差值时，包括：

52、获取所述第一靶标位置和所述第一目标位置的第一水平差值、第一垂直差值以及第一角度差值；

53、获取所述第二靶标位置和所述第二目标位置的第二水平差值、第二垂直差值以及第二角度差值。

54、作为本发明优选的实施方式，在驱动所述第一相机和所述第二相机进行移动时，包括：

55、根据所述第一水平差值、所述第一垂直差值和所述第一角度差值驱动所述第一相机分别进行水平移动、垂直移动以及旋转移动；

56、根据所述第二水平差值、所述第二垂直差值和所述第二角度差值驱动所述第二相机分别进行水平移动、垂直移动以及旋转移动。

57、一种3d内窥镜影像系统的双相机自动调校系统，包括：

58、靶标位置生成单元：用于获取所述第一视频流和所述第二视频流进行处理，得到当前捕捉到的第一靶标位置和第二靶标位置；

59、差值获取单元：用于获取所述第一靶标位置和所述第一目标位置的第一差值，获取所述第二靶标位置和所述第二目标位置的第二差值；获取实时第一差值和实时第二差值；

60、调校单元：用于根据所述第一差值发送指定命令，驱动所述第一相机进行移动；根据所述第二差值发送指定命令，驱动所述第二相机进行移动；根据所述实时第一差值不断调整所述第一相机的位置，直至所述实时第一差值小于阈值，完成所述第一相机的调校；根据所述实时第二差值不断调整所述第二相机的位置，直至所述实时第二差值小于阈值，完成所述第二相机的调校；

61、其中，将3d内窥镜所用的第一相机和第二相机分别安装在夹具上，并对所述第一相机和所述第二相机进行上电，所述第一相机和所述第二相机输出第一视频流和第二视频流。

62、相比现有技术，本发明的有益效果在于：

63、(1)本发明通过全局化阈值、去噪、取边界以及拟合直线等步骤，使得第一相机和第二相机所形成的标靶为对焦清晰的黑色十字图像，该黑色十字图像便于获取到标靶的中心坐标以及偏移角度，从而能够更好地获取到标靶在水平方向、垂直方向以及旋转角度上所存在的偏差，从而分别基于水平偏差、垂直偏差以及旋转角度偏差驱动第一相机和第二相机在不同的方位上，进行相应的调整，准确地实现第一相机和第二相机的自动调校；

64、(2)本发明可分别针对第一相机和第二相机单独同时进行水平方向、垂直方向以及旋转角度上的控制，从而不仅能根据不同方位上的偏差同时采取最有效的调校方式，大大提高了调校的效率，并且两个相机的彼此之间调校不会造成干扰；

65、(3)本发明所提供的自动调校方法效率高，适合大规模量产工作，将需要调校的3d成像模组放置好，一键即可完成调校，时间可控制在较短的范围内；

66、(4)本发明所提供的调校算法可实现高精度调校及批量产品精度良好的重复性。

67、下面结合附图和具体实施方式对本发明作进一步详细说明。