一种用于3D内窥镜白光图像和荧光图像齐焦的方法及系统与流程

本发明涉及内窥镜图像对焦，具体涉及一种用于3d内窥镜白光图像和荧光图像齐焦的方法及系统。

背景技术：

1、人类探索自身体内奥秘的兴趣丝毫不亚于探索周围环境奥秘的兴趣，内窥镜就是人类窥视自身体内器官的重要工具。被认为最早的内窥镜原型是在罗马的庞培遗迹中发现的，这些诊视器曾用于阴道与子宫颈、直肠的检查。内窥镜真正的发展还是始于近代，一般可将其发展阶段分为：硬管式窥镜、半可屈式内窥镜、纤维内窥镜，超声与电子内窥镜阶段。内窥镜发展史上最具有突破性是1957年hirschowitz和他的研究组制成了世界上第一个用于检查胃、十二指肠的光导纤维内镜原型并在美国胃镜学会上展示了自行研制的光导纤维内镜。1983年美国welchallyn公司研制并应用微型图像ccd(charge coupled device)传感器代替了内镜的光导纤维导像，宣告了电子内镜的诞生。内窥镜的前端装有高敏感度微型摄像机，将所记录下的图像以电讯号方式传至电视信息处理系统，然后把信号转变成为电视显像机上可看到的图像。内窥镜在200年里其结构发生了4次大的改进，从最初的硬管式内镜、半曲式内镜到纤维内镜，又到如今的电子内镜。随着科技的进步，影像质量也发生了一次次质的飞跃。

2、目前，内窥镜摄像系统在医疗、工业和科学领域中均有广泛应用，用于观察和记录难以直接访问的区域的图像和视频。其中，荧光成像技术在医疗领域中具有重要的应用，例如用于癌症检测和治疗。

3、然而，在传统的内窥镜摄像系统中，白光成像和荧光成像通常是分开的过程，这意味着医生或操作者需要在观察过程中切换不同的模式，这将导致操作不便以及效率低下。若对白光和荧光进行同时成像，则会由于白光和荧光成像存在焦距差异，从而导致图像不清晰或不准确的问题。

技术实现思路

1、为了克服现有技术的不足，本发明提供一种用于3d内窥镜白光图像和荧光图像齐焦的方法及系统，用于解决现有技术由于白光和荧光成像存在焦距差异，无法同时成像的技术问题，从而达到提升图像质量，增强对病变的检测能力的目的。

2、为解决上述问题，本发明所采用的技术方案如下：

3、一种用于3d内窥镜白光图像和荧光图像齐焦的方法，包括以下步骤：

4、通过3d内窥镜荧光摄像系统中的成像设备同时采集若干帧白光图像和若干帧荧光图像；

5、对所述若干帧白光图像和所述若干帧荧光图像进行去噪、亮度校正以及色彩校正，得到预处理后的若干帧白光图像和预处理后的若干帧荧光图像；

6、获取所述预处理后的若干帧白光图像和所述预处理后的若干帧荧光图像的清晰度值；

7、将所述清晰度值进行线性加权融合，得到融合后的清晰度值，并将所述融合后的清晰度值应用于所述预处理后的若干帧白光图像和所述预处理后的若干帧荧光图像，以生成白光焦点清晰度分值图和荧光焦点清晰度分值图；

8、获取所述白光焦点清晰度分值图和所述荧光焦点清晰度分值图中分值最高的位置，得到最佳白光焦点位置和最佳荧光焦点位置；

9、根据所述最佳白光焦点位置和所述最佳荧光焦点位置调整所述成像设备，实现自动对焦。

10、作为本发明优选的实施方式，在对所述若干帧白光图像和所述若干帧荧光图像进行去噪时，包括：

11、通过导向滤波对所述若干帧白光图像和所述若干帧荧光图像进行滤波，如公式1所示：

12、

13、式中，q为引导图像，l为滤波窗口的中心位置，o为窗口中像素的索引，s和n表示线性函数的常数系数；

14、定义一损失函数，如公式2所示：

15、

16、式中，μ为正则项；

17、利用线性回归得到sl和nl的值，如公式3和公式4所示：

18、

19、

20、式中，νl和为分别为窗口中引导图像q的均值和方差，|σ|为窗口中像素的个数，为输入图像o的均值；

21、获取输出的滤波图像p的均值，得到滤波后的图像，如公式5所示：

22、

23、将所述若干帧白光图像和所述若干帧荧光图像减去滤波后的图像，得到边缘细节图像；

24、将所述边缘细节图像和所述滤波后的图像进行重构，得到若干帧去噪后的白光图像和若干帧去噪后的荧光图像。

25、作为本发明优选的实施方式，在对所述若干帧白光图像和所述若干帧荧光图像进行亮度校正时，包括：

26、将所述若干帧去噪后的白光图像和所述若干帧去噪后的荧光图像的亮度值归一化到区间[0,1]；

27、获取暗通道图odark，并在所述暗通道图中选取亮度值大于阈值的像素点，并将所述亮度值大于阈值的像素点构成一集合φ，则每个颜色通道的光照强度sv,v∈{r,g,b}，如公式6所示：

28、

29、式中，ov(q)表示所述若干帧去噪后的白光图像和所述若干帧去噪后的荧光图像的v颜色通道图在像素点q处的值，num(φ)表示集合φ中元素的个数；

30、获取所述若干帧去噪后的白光图像和所述若干帧去噪后的荧光图像的全局光照s，如公式7所示：

31、

32、作为本发明优选的实施方式，在得到全局光照s后，包括：

33、根据所述全局光照s对所述若干帧去噪后的白光图像和所述若干帧去噪后的荧光图像进行亮度校正，如公式8所示：

34、

35、式中，olow表示若干帧亮度校正后的白光图像和若干帧亮度校正后的荧光图像，y为预设的光照阈值，o为所述若干帧去噪后的白光图像和所述若干帧去噪后的荧光图像，表示对o中的每个元素乘以

36、作为本发明优选的实施方式，在对所述若干帧白光图像和所述若干帧荧光图像进行色彩校正时，包括：

37、通过所述若干帧亮度校正后的白光图像和所述若干帧亮度校正后的荧光图像rgb三通道之和进行无色差点的提取，以获得无色差像素集，如公式9所示：

38、e＝{g(xo)do＞y}       (9)；

39、式中，o为像素的下标，g(xo)为图像函数，do为rgb三通道之和，即do＝ro+go+bo，y为无色差像素检测的阈值；

40、获取所述无色差像素集的各通道加权平均值，如公式10所示：

41、

42、作为本发明优选的实施方式，在得到所述无色差像素集的各通道加权平均值后，包括：

43、根据所述各通道加权平均值获取光照色度估计值，如公式11所示：

44、

45、根据对角模型对所述若干帧亮度校正后的白光图像和所述若干帧亮度校正后的荧光图像rgb三通道值进行线性变化，校正图像色彩，如公式12所示：

46、

47、式中，gr0(x)、gg0(x)、gb0(x)和gr(x)、gg(x)、gb(x)分别代表校正前后图像的r、g、b三通道值，qr、qg、qb分别为调节r、g、b三通道值的增益系数；

48、保持g分量不变，即qg＝1，而r通道和b通道的增益如公式13和公式14所示：

49、

50、

51、作为本发明优选的实施方式，在获取清晰度值时，包括：

52、设所述预处理后的白光图像和所述预处理后的荧光图像的数量场i＝i(x,y,z)在场中s点的方向导数，在某一方向q上取得最大值，则称max(i)为s点的梯度大小，方向为q；

53、给定一函数g(x,y)，在坐标(x,y)上的梯度定义为一个矢量，如公式15所示：

54、

55、式中，grad[g(x,y)]为g(x,y)最大增率的方向；

56、通过grad[g(x,y)]表示grad[g(x,y)]的幅值，则梯度的模如公式16所示：

57、

58、用差分运算替代微分运算，以采用离散形式处理所述预处理后的白光图像和所述预处理后的荧光图像，如公式17所示：

59、

60、在进行梯度运算时，采用绝对值运算，如公式18所示：

61、g[g(x,y)]≈|g(x,y)-g(x+1,y)+|g(x,y)-g(x,y+1)    (18)；

62、采用四邻域灰度差值绝对值之和评价函数来作为m×m图像区域的清晰度评价函数，如公式19所示：

63、

64、通过所述清晰度评价函数获取所述预处理后的若干帧白光图像和所述预处理后的若干帧荧光图像的清晰度值。

65、作为本发明优选的实施方式，在将所述清晰度值进行线性加权融合时，包括：

66、基于所述清晰度值，对所述预处理后的白光图像和所述预处理后的荧光图像进行清晰度顺序排序，筛选出清晰度排序结果中满足预设帧数阈值的若干帧目标帧图像；

67、确定每一帧目标帧图像的加权值，如公式20所示：

68、

69、式中，em表示第m帧目标帧图像的加权值，dm表示第m帧目标帧图像的清晰度值，e表示所述帧数阈值。

70、作为本发明优选的实施方式，在确定每一帧目标帧图像的加权值后，包括：

71、利用加权融合公式对所述若干帧目标帧图像进行多帧加权融合处理，如公

72、式21所示：

73、

74、式中，width表示z帧目标帧图像的宽度，height表示z帧目标帧图像的高度，o表示当前帧的目标帧的宽度，k表示当前帧的目标帧的高度，uo,k表示z帧图像宽度o和高度k区域内加权融合后的清晰度值。

75、一种用于3d内窥镜白光图像和荧光图像齐焦的系统，包括：

76、预处理单元：用于对若干帧白光图像和若干帧荧光图像进行去噪、亮度校正以及色彩校正，得到预处理后的若干帧白光图像和预处理后的若干帧荧光图像；

77、清晰度值获取单元：用于获取所述预处理后的若干帧白光图像和所述预处理后的若干帧荧光图像的清晰度值；

78、分值图生成单元：用于将所述清晰度值进行线性加权融合，得到融合后的清晰度值，并将所述融合后的清晰度值应用于所述预处理后的若干帧白光图像和所述预处理后的若干帧荧光图像，以生成白光焦点清晰度分值图和荧光焦点清晰度分值图；

79、对焦位置获取单元：用于获取所述白光焦点清晰度分值图和所述荧光焦点清晰度分值图中分值最高的位置，得到最佳白光焦点位置和最佳荧光焦点位置；

80、自动对焦单元：用于根据所述最佳白光焦点位置和所述最佳荧光焦点位置调整所述成像设备，实现自动对焦；

81、其中，所述若干帧白光图像和所述若干帧荧光图像通过通过3d内窥镜荧光摄像系统中的成像设备同时采集。

82、相比现有技术，本发明的有益效果在于：

83、(1)提高病灶检测率：三维内窥镜白光荧光齐焦设计可以同时利用白光和荧光成像，提升图像质量，从而增强了对病变的检测能力；

84、(2)辅助导航和定位：这种设计还可以用于辅助医生进行导航和定位，特别是在微创手术中，医生可以更准确地定位和定向治疗区域，减少误差和损伤周围健康组织的风险；

85、(3)提高手术效果：通过提供更清晰的可视化和对病变的更精确诊断，三维内窥镜白光荧光齐焦设计有助于提高手术的效果，减少手术并发症的风险，缩短康复时间。

86、下面结合附图和具体实施方式对本发明作进一步详细说明。