3D光学分子影像腹腔镜成像系统的制作方法

本发明属于生物医学腹腔镜的技术领域，具体涉及一种3D光学分子影像腹腔镜成像系统。

背景技术：

随着现代科学技术和医疗设备的发展，医学外科手术将由微创外科，发展为精准外科和分子靶向外科，手术的精准度也将由器官、组织、细胞发展到分子水平，分子水平的影像学诊断和治疗将成为未来医学发展的重要方向。

分子影像学是运用影像学技术，通过显示组织、细胞和亚细胞水平特定分子的分子动力学特征，定性和定量研究活体状态下分子变化及其生物学行为的科学。目前医学影像包括：显示人体解剖结构和生理功能的X线、CT、MR、超声成像；分子影像学是以MR、PET、光学成像等为主。

光学成像在医学的应用主要是以医学腹腔镜为代表，在医学多种疾病的诊断和治疗过程中发挥着非常重要的作用，如：胃镜、膀胱镜、腹腔镜等，这些腹腔镜不仅能够诊断识别微小肿瘤，还能进行微创治疗。腹腔镜技术能完成例如阑尾切除术，胃、十二指肠溃疡穿孔修补术、疝气修补术、结肠切除术、脾切除术、肾上腺切除术，还有卵巢囊肿摘除、宫外孕、子宫切除等，随着腹腔镜技术的日益完善和腹腔镜医生操作水平的提高，几乎所有的外科手术都能采用这种手术。腹腔镜手术时，医师利用腹腔镜及其相关器械进行手术。主要步骤包括使用冷光源提供照明，将腹腔镜镜头（直径为3-10mm）插入腹腔内，运用数字摄像技术对腹腔镜镜头拍摄到的图像信号进行处理，并通过专用监视器实时显示。医生通过监视器屏幕显示的病变图像，进行病情诊疗和治疗。传统腹腔镜是二维图像，医生眼睛所看到的二维图像和实际的三维关系存在误差，手术中难免产生手眼不协调的失误。

目前传统腹腔镜正在逐步被3D腹腔镜替代。3D高清腹腔镜的基本原理包括，插入患者体内的两个腹腔镜镜头，两个镜头各自拍下腹腔内解剖学图像，通过高性能的摄像主机进行处理后，在专用3D监视器上能够呈现逼真的立体图像，完全再现人体内的真实解剖学特征。此时，如果用眼睛直接观看，看到的画面是重叠、模糊不清的图像；佩戴偏振眼镜后使左眼只能看到左摄像头拍摄的画面，右眼只能看到右摄像头拍摄的画面，组合起来就会看到立体影像，而且层次分明。

3D腹腔镜将会替代传统腹腔镜，现代3D腹腔镜优质的立体光学图像将使外科手术的精准度进一步提高。但不论是传统腹腔镜的2D图像、还是3D腹腔镜的3D图像都是解剖学结构图像，都未实现分子水平精准的功能图像。

2003年美国哈佛大学医学院John V.Frangioni教授提出了光学分子影像导航的外科手术，但多年来该手术技术并没有大力推广，主要原因是没有可以供外科医生使用的术中成像设备。2009年世界分子影像大会上，2008年度诺贝尔化学奖获得者钱永健先生报告了使用荧光显微镜成像引导切除荧光标记小鼠肿瘤组织的研究结果，开启了光学分子影像技术在手术领域应用的先河。2011年欧洲科学家研发了腹腔镜光学分子影像手术导航的原型系统，并首次应用到人体卵巢癌的临床手术中，相比传统腹腔镜方法，提高了手术治疗效果。2013年欧洲分子影像学会成立的“近红外荧光术中导航研究小组”，目前德国（Technical University Munich）研制了近红外荧光腹腔镜、荷兰（Leiden University Medical Center）研制了荧光成像系统（Artemis NIR imaging system）、加拿大（NOVADAQ Technologies Inc.）研制了腹腔镜荧光成像系统（Endoscopic Fluorescence Imaging System）。但这些荧光腹腔镜的缺点在于没有3D成像的技术和功能，与现代外科3D腹腔镜技术有明显的脱节。

本发明将3D腹腔镜技术和荧光腹腔镜相结合，发明了新一代3D光学分子影像腹腔镜。

技术实现要素：

本发明为了解决现有腹腔镜技术和荧光腹腔镜存在的上述问题，提供了一种3D光学分子影像腹腔镜成像系统

本发明采用如下的技术方案实现：

3D光学分子影像腹腔镜成像系统，包括3D腹腔镜， 3D腹腔镜的两个输出光通道平行，3D腹腔镜外对应3D腹腔镜的两个目镜的位置处分别设置双通道CCD，每个双通道CCD内有分光棱镜，分光棱镜后的近红外光通道处设置截止滤光片截止滤光片后设置黑白近红外CCD，分光棱镜后的可见光通道处设置彩色CCD。

所述的截止滤光片为845±10nm的截止滤光片。

3D光学分子影像腹腔镜成像系统，还包括冷光源、导光束、冷光源能够输出白光和780±10nm的激发光，并通过导光束与3D腹腔镜的光源接头连接。

3D光学分子影像腹腔镜成像系统，还包括3D光学分子影像视频处理器、视频接口、3D显示器以及偏光眼镜。

3D光学分子影像视频处理器包括与黑白红外线CCD以及彩色CCD的模拟信号输出端分别连接的两片视频解码芯片ADV7180，两片视频解码芯片ADV7180的数字信号输出端分别连接FPGA的数字信号输入端，FPGA控制FIFO和两片SDRAM对两路图像数据进行缓存，实现两路视频信号的时分复用及输出视频的120Hz倍频，输出数据经视频编码芯片ADV7123完成视频信号的数模转换，并与由FPGA产生的同步信号HS、VS、时钟信号CLK一同由VGA接口送入3D液晶显示器。

彩色CCD输出的彩色图像和黑白近红外CCD输出的黑白图像信号通过图像融合技术进行图像配准和融合，形成显示靶病灶的2D融合图像；将两台双通道CCD形成的两幅2D融合图像经立体匹配算法和三维图像匹配处理后经三维显示器显示，通过3D偏振眼镜识别。

其图像融合具体步骤为：

a、单独一组双通道2CCD图像融合的处理，

（1）彩色CCD摄取红、绿、蓝的多光谱彩色图像，近红外CCD摄取近红外图像，两路已配准和同步的可见光与红外视频信号经视频解码器形成数字信号，DSP通过视频口读入并进行融合处理,待处理的图像和中间结果存放在片外大容量SDRAM中,融合后的数据存储在计算机硬盘，

（2）彩色图像与近红外图像预处理，

①采用双线性插值法对彩色图像数据进行重采样，获得与全色图像大小相同的重彩色图像[R，G，B]；②采用算数平均法计算重彩色图像[R，G，B]的强度分量；所述重采样重彩色图像[R，G，B]的强度分量I用下列公式（1）表示为：

（1），

根据公式（2）：

（2），

（3）采用重采样重彩色图像[R，G，B]的强度分量的均值和方差调整全色图像P的均值和方差，使调整后的全色图像P_t的均值和方差与重采样重彩色图像[R，G，B]的强度分量的均值和方差匹配，式中P_t为调整后的全色图像，μ_p为原始全色图像P的均值，σ_p为原始全色图像p的方差，μ_I为采样重彩色图像[R，G，B]的强度分量I的均值，σ_I为重样彩色图像[R，G，B]的强度分量I的方差；将重样彩色图像[R，G，B]分量分别与（P_t-I）相加，获得最终的彩色图像[R_c，G_c，B_c]，所述的最终的彩色图像[R_c，G_c，B_c]用公式（3）表示：

（3），

（4）彩色图像与近红外图像的配准，

采用互信息作为相似性测度、结合PV(partial volume)插值及,powell搜索算法实现彩色图像与近红外图像的配准；

（5）彩色图像与近红外图像的融合，

采用主成份变换法实现两种图像同一视野同一时刻的融合，对多光谱图像进行主成分变换，然后用拉伸的高空间分辨率图像代替第一主分量进行逆主分量变换，从而得到融合的图像，采用基于像素级的PCA融合方法，将有效定位显示手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织，

b、两组CCD的立体匹配算法，

SSD算法进行立体匹配寻找最佳匹配点，并进行立体匹配后检测出误匹配点并且对之进行校正，基于误匹配校正的SSD立体匹配算法解决方案的具体流程为，

（1）初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对；

（2）初步立体匹配：对图像对进行SSD算法和平滑滤波处理后,得到初始的左、右视差图；

（3）以左视差图为参考，校正右视差图：判断是否为误匹配点，并校正误匹配点；

（4）以校正好的右视差图为参考，校正左视差图：判断是否为误匹配点，获取的视差值是否可信。

本发明的用途，将光学分子影像学成像技术和现代3D腹腔镜成像技术相结合，实现了靶病灶立体结构及其与周围组织立体解剖学关系的精准显示，是腹腔镜技术和腹腔镜外科的新理念，将主要用于传统腹腔镜、3D腹腔镜和手术机器人的技术改造，产品升级。本发明实现了外科手术术中肿瘤病灶的精准定位、定性识别和以及转移淋巴结的示踪定位，将使现有微创手术器械和手术技术的精准度显著提高，将是未来靶向分子外科诊疗技术的重要的医疗器械。

本发明具有如下有益效果：实现了靶向光学分子影像与可见光图像的精准融合，并三维立体显示，更加精准显示靶病灶的立体结构及其与周围组织的立体解剖学关系，给医生提供更为丰富的深度信息，从而极大提高医生手术和科学研究的准确度。

附图说明

图1为本发明基本结构示意图，

图2为本发明总体光路设计和图像采集结构示意图，

图3为多元视频图像融合的逻辑图，

图4为互信息计算流程图，

图5.1、5.2、5.3为改进的Powell算法流程图，

图6为本发明算法的总体流程图，

图7为3D光学分子影像视频处理器示意图，

图中：1、冷光源，2、3D光学分子影像摄像头，3、3D光学分子影像视频处理器，4、3D显示器，5、偏光眼镜，6、3D腹腔镜，7、双通道CCD，8、分光棱镜，9、截止滤光片，a、内窥镜部分，b、立体成像部分。

具体实施方式

结合附图对本发明的具体实施方式作进一步说明。

本发明将3D腹腔镜技术与荧光腹腔镜技术相结合，形成了新一代3D光学分子影像腹腔镜系统。如图1所示，3D光学分子影像腹腔镜成像系统主要由腹腔镜光学镜体、冷光源，导光束、3D光学分子影像摄像头、3D光学分子影像视频处理器、视频接口、3D显示器、偏光眼镜等组成。如图2所示，3D光学分子影像摄像头包括内窥镜部分和立体成像部分。内窥镜部分为3D腹腔镜，立体成像部分包括双通道CCD、分光棱镜、截止滤光片、黑白近红外CCD、彩色CCD。

3D腹腔镜的两个输出光通道平行，3D腹腔镜外对应3D腹腔镜的两个目镜的位置处分别设置双通道CCD，每个双通道CCD内有分光棱镜，分光棱镜后的近红外光通道处设置截止滤光片截止滤光片后设置黑白近红外CCD，分光棱镜后的可见光通道处设置彩色CCD。

3D光学分子影像腹腔镜冷光源能够输出白光和780±10nm的激发光，并能够通过光导纤维导光束与常规3D腹腔镜光源接头连接；3D腹腔镜为常规3D腹腔镜具有1个输入光通道和2个输出光通道，2个输出光通道输出于腹腔镜的目镜；腹腔镜目镜输出的2路光通过光路调整，平行进入2个图像采集通道；每一个通道中安置一个分光棱镜和截止滤光片，将输出光分为白光和近红外荧光发射光；白光通道与高清晰彩色CCD连接，荧光通道（即近红外光通道）与高灵敏黑白近红外CCD连接；采用物理方式和软件处理技术，对彩色CCD和黑白CCD摄取的图像信号进行图像配准、图像融合、伪色彩标记，形成精准标记靶向病变部位的荧光分子影像学图像和可见光图像融合的2维图像；将两幅相互独立的分子影像学图像和可见光图像融合的2维图像进行立体匹配、深度计算，实现光学分子影像图像和可见光图像的立体显像。

本发明的工作过程：

1.将780±10nm的近红外光和可见光通过导光束和腹腔镜传导进入体内，780±10nm近红外光激发靶向ICG荧光基团发出845±10nm的近红外荧光，即光学分子影像；可见光照射组织形成清晰的解剖学反射光图像；

2.光学分子影像和可见光反射图像通过双通道腹腔镜传到腹腔镜的目镜，腹腔镜目镜与两部双通道CCD连接，每一部双通道CCD的内部具有分光棱镜将目镜传出的近红外光学分子影像和可见光光学信号分离为可见光（400-700nm）和近红外光（760nm-1000nm），近红外光通道处再增加一个截止滤光片，仅允许845±10nm或特定波长的靶向荧光通过，并分别进入高清晰彩色CCD和高灵敏黑白CCD，形成彩色图像和黑白图像信号；采用图像融合技术将彩色图像和黑白图像信号进行图像配准和融合，形成显示靶病灶的2D融合图像；

3.将这两幅2D融合图像经立体匹配算法和三维图像匹配处理后经三维显示器显示，医师通过佩戴3D偏振眼镜即可精准识别靶病灶。

实施例：

1.CCD的选择

彩色CCD选用2/3，高性能CCD，逐行扫描捕捉运动图像，超高分辨率1200TVL，1920×1080P全高清输出数字图像，工作电压为12V；黑白CCD选用1/2寸，HAD技术，高灵敏度CCD，近红外高分辨率752×582像素。CCD为图像传感器,也叫图像控制器

2.棱镜的选择

棱镜是将从镜体输出的光分为可见光和近红外光，常用的ICG荧光染料，ICG的激发光是780±10nm，发射光是845±10nm，可见光波长是400-700nm，所以分光棱镜的作用是将输出的光分为400-700nm和845±10nm两束光，滤掉780±10nm的激光。

3.单独一组双通道2CCD的光路设计

腹腔镜输出的光，经二向棱镜分为可见光部分，波长是400nm-650nm和近红外光部分，波长是760nm-1000nm，同时在该通道再加一个截止滤光片，仅允许845±10nm波长的荧光通过，而后分别被彩色CCD和黑白CCD摄取。

单独一组双通道2CCD图像融合的处理

（1）彩色CCD摄取红、绿、蓝的多光谱彩色图像，近红外CCD摄取近红外图像，两路已配准和同步的可见光与红外视频信号经视频解码器形成数字信号，DSP通过视频口读入并进行融合处理,待处理的图像和中间结果存放在片外大容量SDRAM中,融合后的数据存储在计算机硬盘。如图3所示。

（2）彩色图像与近红外图像预处理

①采用双线性插值法对彩色图像数据进行重采样，获得与全色图像大小相同的重彩色图像[R，G，B]；②采用算数平均法计算重彩色图像[R，G，B]的强度分量；所述重采样重彩色图像[R，G，B]的强度分量I用下列公式（1）表示为：

（1），

根据公式（2）：

（2）。

（3）采用重采样重彩色图像[R，G，B]的强度分量的均值和方差调整全色图像P的均值和方差，使调整后的全色图像P_t的均值和方差与重采样重彩色图像[R，G，B]的强度分量的均值和方差匹配。式中P_t为调整后的全色图像，μ_p为原始全色图像P的均值，σ_p为原始全色图像p的方差，μ_I为采样重彩色图像[R，G，B]的强度分量I的均值，σ_I为重样彩色图像[R，G，B]的强度分量I的方差；将重样彩色图像[R，G，B]分量分别与（P_t-I）相加，获得最终的彩色图像[R_c，G_c，B_c]，所述的最终的彩色图像[R_c，G_c，B_c]用公式（3）表示：

（3）。

（4）彩色图像与近红外图像的配准

采用互信息作为相似性测度、结合PV(partial volume)插值及改进的powell搜索算法实现彩色图像与近红外图像的配准。互信息计算流程及改进的Powell算法分别如图4、5所示。

（5）彩色图像与近红外图像的融合

采用主成份变换法实现两种图像同一视野同一时刻的融合。其基本思想是对多光谱图像进行主成分变换，然后用拉伸的高空间分辨率图像代替第一主分量进行逆主分量变换，从而得到融合的图像。采用基于像素级的PCA融合方法，将有效定位显示手术野中的血管、淋巴管、淋巴结和被荧光染料标记的肿瘤组织。

4.两组CCD的立体匹配算法

SSD算法进行立体匹配寻找最佳匹配点，并进行立体匹配后检测出误匹配点并且对之进行校正。基于误匹酪校正的简单的SSD立体匹配算法解决方案的具体流程。

（1）初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对；

（2）初步立体匹配：对图像对进行简单的SSD算法和平滑滤波处理后,得到初始的左、右视差图；

（3）以左视差图为参考，校正右视差图：判断是否为误匹配点，并校正误匹配点；

（4）以校正好的右视差图为参考，校正左视差图：判断是否为误匹配点，获取的视差值是否可信。

5.立体视觉的深度计算

基于空间几何学的深度测量方法，在OpenCV的支持下,编写算法程序。如图6所示。

6.系统总体配置

通过双通道腹腔镜镜体传出的人体腔内的光学影像，并分别送入左右两组 CCD摄像头中，左右CCD采集来至不同的视角腔内影像并将其转换成标准制式的模拟视频信号，通过两片视频解码芯片ADV7180实现到数字视频数据的转换。FPGA通过输入的数字视频标准识别出有效视频图像数据，根据需要完成对有效图像数据的裁剪、色彩插值、颜色空间转换的一系列操作，并控制FIFO和两片SDRAM对两路图像数据进行缓存，实现两路视频信号的时分复用及输出视频的120Hz倍频。输出数据经视频编码芯片ADV7123完成视频信号的数模转换，与由FPGA产生的同步信号HS、VS、时钟信号CLK一同由VGA接口送入3D液晶显示器。如图7所示。

具体成像步骤为：(1)收集图像，镜体末端独特的左右分离式双通道镜片系统，能对同一物体收集左、右两束具有极小差别的影像；(2)处理图像，特殊的视频信号控制器可以同时将左、右两路视频信号快速、交替、无交叉地传送到显示器；(3)呈现图像，在视频同步信号的作用下，改变液晶调制屏的偏振状态，使其分别与左、右两路光学系统所获得的信号一致，这样两组图像同时呈现在显示器上。这时，术者通过裸眼看到的还仅是两组在显示器上重叠显示的模糊图像，但只要戴上一副左右眼与液晶屏幕偏振状态一致的无源偏振眼镜，就可获得物体的空间纵深感觉，产生三维立体视觉效果。