一种高精度近红外荧光导航内窥镜系统及其画面配准方法与流程

本发明涉及光学成像领域，尤其涉及的是一种高精度近红外荧光导航内窥镜系统及其画面配准方法。

背景技术：

近红外荧光造影剂被广泛应用于术中淋巴标记、肿瘤边界标定、血管造影和胆管造影等。一般的近红外荧光成像系统只能实现单纯的荧光成像，在画面上缺少可见光信息，导致无法精准定位荧光的位置，不能实现术中精确导航。为直观显示荧光位置，目前荧光导航图像的发展方向是在白光图像基础上，通过算法提取荧光信号，并标记于白光图像上。现有的产品主要通过单相机分时成像和双相机分光成像的方法来获取白光图和荧光图。单相机分时成像是通过控制白光和激发光前后帧依次频闪照明观察区域，从而依次获取白光图和荧光图，通过算法合成输出带有荧光标记的白光图；但是，白光和荧光是错时成像，两者之间存在时间差，导致拖影，并且，考虑到曝光时间，成像帧率一般在20Hz，不够流畅。双相机系统能够白光和荧光分开感光，通过算法合成；但是，相机之间的画面匹配是像素级的，约3μm差距，在画面匹配方面，需要高精度结构设计和加工，复杂的机械调试，并且，在画面配准后，在固定两个相机时可能会产生应力，导致画面偏移。

因此，现有技术还有待于改进和发展。

技术实现要素：

本发明的目的在于提供一种高精度近红外荧光导航内窥镜系统及其画面配准方法，旨在解决双相机荧光导航系统画面匹配复杂的问题，解决了繁琐的机械调试、装配和固定相机时应力带来的画面错位问题。

本发明的技术方案如下：一种高精度近红外荧光导航内窥镜系统，其中，包括：

配准装置，提供混合有白光和近红外光的混合光束；

摄像头模组，将混合光束分开成白光光束和近红外光光束，并使白光光束成像于白光图像感光单元，近红外光光束成像于荧光图像感光单元，所述白光图像感光单元和荧光图像感光单元的相对位置预先完全固定；

摄像主机，分别接收到白光图像和荧光图像，通过算法处理得到白光和荧光融合的图像；

显示器，用于显示白光和荧光融合的图像；

所述显示器与摄像主机连接，摄像头模组与摄像主机连接：配准装置提供混合有白光和近红外光混合光束至摄像头模组；摄像头模组将混合光束分开成白光光束和近红外光光束，并使白光光束成像于白光图像感光单元，得到白光信号，近红外光光束成像于荧光图像感光单元，得到荧光信号；摄像主机分别接收到白光信号和荧光信号，并对白光信号和荧光信号进行处理得到白光图像和荧光图像，分别读取白光图像和荧光图像重叠区域的坐标值，然后根据坐标值分别对白光图像和荧光图像进行图像截取，通过算法融合输出带有荧光标记的白光图，实现荧光精准导航。

所述的高精度近红外荧光导航内窥镜系统，其中，所述配准装置包括：

用于提供白光光束的白光LED；

用于提供近红外光光束的近红外LED；

标定板；

白光LED发出的白光光束和近红外LED发出的近红外光光束透过标定板后进入摄像头模组。

所述的高精度近红外荧光导航内窥镜系统，其中，近红外LED的发射光谱覆盖荧光光谱。

所述的高精度近红外荧光导航内窥镜系统，其中，所述摄像头模组包括：

用于搜集混合有白光和近红外光的混合光束的透镜；

用于对混合有白光和近红外光的混合光束进行滤波的陷波滤波片；

将混合有白光和近红外光的混合光束分开成白光光束和近红外光光束的二向色镜；

使白光光束感光成像的白光图像感光单元；

对近红外光光束进行过滤的长波通滤波片；

使近红外光光束感光成像的荧光图像感光单元；

存储白光图像的重合坐标点和荧光图像的重合坐标点的寄存器；

所述白光图像感光单元、荧光图像感光单元和寄存器均与摄像主机连接：透镜搜集到混合有白光和近红外光的混合光束，混合有白光和近红外光的混合光束透过陷波滤波片后，被二向色镜根据光谱分成白光光束和近红外光光束两束光束，其中白光光束高透并成像于白光图像感光单元，得到白光信号；近红外光光束被反射，经过长波通滤波片后成像于荧光图像感光单元，得到荧光信号；寄存器存储白光图像的重合坐标点和荧光图像的重合坐标点；白光信号和荧光信号被摄像主机接收。

所述的高精度近红外荧光导航内窥镜系统，其中，所述摄像主机包括：

对白光信号进行处理得到白光图像的白光图像处理器；

对荧光信号进行处理得到荧光图像的荧光图像处理器；

对白光图像和荧光图像通过算法处理得到白光和荧光融合的图像的图像处理器；

所述显示器与图像处理器连接，白光图像感光单元与白光图像处理器连接，荧光图像感光单元与荧光图像处理器，寄存器与图像处理器连接，白光图像处理器和荧光图像处理器均与图像处理器连接：白光信号传输至白光图像处理器，白光图像处理器对白光信号进行处理得到白光图像；荧光信号传输至荧光图像处理器，荧光图像处理器对荧光信号进行处理得到荧光图像；图像处理器分别接收白光图像和荧光图像，通过算法处理得到白光和荧光融合的图像，并输出到显示器。

一种如上述任一项所述的高精度近红外荧光导航内窥镜系统的画面配准方法，其中，具体包括以下步骤：

步骤S1：预先将白光图像感光单元和荧光图像感光单元的相对位置完全固定；

步骤S2：白光LED发出的白光光束和近红外LED发出的近红外光光束透过标定板后进入摄像头模组；

步骤S3：混合有白光和近红外光的混合光束透过陷波滤波片后，被二向色镜根据光谱分成白光光束和近红外光光束两束光束；

步骤S4：白光光束高透并成像于白光图像感光单元，得到白光信号；近红外光光束被反射，经过长波通滤波片后成像于荧光图像感光单元，得到荧光信号；寄存器存储白光图像的重合坐标点和荧光图像的重合坐标点；

步骤S5：摄像主机分别接收白光信号和荧光信号，并通过算法处理得到白光和荧光融合的图像。

所述的高精度近红外荧光导航内窥镜系统，其中，所述步骤S4中，寄存器存储白光图像的重合坐标点和荧光图像的重合坐标点，具体过程如下：选取荧光图像与白光图像的重叠部分，获取白光图像的重合坐标点（XW1，YW1）和（XW4，YW4）；荧光图像的重合坐标点（XF1，YF1）和（XF4，YF4），并将白光图像的四个重合坐标点和荧光图像的四个重合坐标点存储在寄存器中。

所述的高精度近红外荧光导航内窥镜系统，其中，所述步骤S4中，寄存器存储白光图像的重合坐标点和荧光图像的重合坐标点，当荧光图像感光单元的靶面尺寸比白光图像感光单元的靶面尺寸大时，具体过程如下：选取荧光图像与白光图像的重叠部分，寄存器存储荧光图像重叠区域的坐标值（XF1，YF1）和（XF4，YF4），白光图像按最大画面输出。

所述的高精度近红外荧光导航内窥镜系统，其中，所述步骤S5中，摄像主机分别接收白光信号和荧光信号，并通过算法处理得到白光和荧光融合的图像，具体过程如下：白光信号传输至白光图像处理器，白光图像处理器对白光信号进行处理得到白光图像；荧光信号传输至荧光图像处理器，荧光图像处理器对荧光信号进行处理得到荧光图像；图像处理器分别接收白光图像和荧光图像，图像处理器分别读取寄存器中白光图像和荧光图像重叠区域的坐标值，然后根据白光图像的重合坐标值对接收的白光图像进行图像截取，根据荧光图像的重合坐标值对接收的荧光图像进行图像截取，将两个截取的图像通过算法融合输出带有荧光标记的白光图，实现荧光精准导航。

发明的有益效果：本发明通过提供一种高精度近红外荧光导航内窥镜系统及其画面配准方法，通过先固定相机位置，再通过软件选取重合画面坐标，避免了繁琐的机械调配，也避免了在相机固定过程中应力带来的漂移；通过把坐标存储在摄像头模组的寄存器中，画面重合参数跟随摄像头模组，使得摄像头和任何摄像主机配合使用都能实现白光和荧光画面匹配，兼容性高。

附图说明

图1是本发明中高精度近红外荧光导航内窥镜系统的结构示意图。

图2是本发明中荧光图像和白光图像重合区域的截取示意图。

图3是本发明中荧光相机的靶面尺寸比白光相机的靶面尺寸大时重合区域截取示意图。

图4是本发明中高精度近红外荧光导航内窥镜系统的画面配准方法的步骤流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

如图1所示，一种高精度近红外荧光导航内窥镜系统，包括：

配准装置1，提供混合有白光和近红外光的混合光束；

摄像头模组2，将混合光束分开成白光光束和近红外光光束，并使白光光束成像于白光图像感光单元2-4，近红外光光束成像于荧光图像感光单元2-6，所述白光图像感光单元2-4和荧光图像感光单元2-6的相对位置预先完全固定；

摄像主机3，分别接收到白光图像和荧光图像，通过算法处理得到白光和荧光融合的图像；

显示器4，用于显示白光和荧光融合的图像；

所述显示器4与摄像主机3连接，摄像头模组2与摄像主机3连接：配准装置1提供混合有白光和近红外光混合光束至摄像头模组2；摄像头模组2将混合光束分开成白光光束和近红外光光束，并使白光光束成像于白光图像感光单元2-4，得到白光信号，近红外光光束成像于荧光图像感光单元2-6，得到荧光信号；摄像主机3分别接收到白光信号和荧光信号，并对白光信号和荧光信号进行处理得到白光图像和荧光图像，分别读取白光图像和荧光图像重叠区域的坐标值，然后根据坐标值分别对白光图像和荧光图像进行图像截取，通过算法融合输出带有荧光标记的白光图，实现荧光精准导航。

具体地，所述配准装置1包括：

用于提供白光光束的白光LED1-1；

用于提供近红外光光束的近红外LED1-2；

标定板1-3；

白光LED1-1发出的白光光束和近红外LED1-2发出的近红外光光束透过标定板1-3后进入摄像头模组2。

其中，近红外LED1-2的发射光谱覆盖荧光光谱。

具体地，所述摄像头模组2包括：

用于搜集混合有白光和近红外光的混合光束的透镜2-1；

用于对混合有白光和近红外光的混合光束进行滤波的陷波滤波片2-2；

将混合有白光和近红外光的混合光束分开成白光光束和近红外光光束的二向色镜2-3；

使白光光束感光成像的白光图像感光单元2-4；

对近红外光光束进行过滤的长波通滤波片2-5；

使近红外光光束感光成像的荧光图像感光单元2-6；

存储白光图像的重合坐标点和荧光图像的重合坐标点的寄存器2-7；

所述白光图像感光单元2-4、荧光图像感光单元2-6和寄存器2-7均与摄像主机3连接：透镜2-1搜集到混合有白光和近红外光的混合光束，混合有白光和近红外光的混合光束透过陷波滤波片2-2后，被二向色镜2-3根据光谱分成白光光束和近红外光光束两束光束，其中白光光束高透并成像于白光图像感光单元2-4，得到白光信号；近红外光光束被反射，经过长波通滤波片2-5后成像于荧光图像感光单元2-6，得到荧光信号；寄存器2-7存储白光图像的重合坐标点和荧光图像的重合坐标点；白光信号和荧光信号被摄像主机3接收，并通过算法处理得到白光和荧光融合的图像。

进一步地，根据荧光造影剂的吸收和发射波段，通过更换陷波滤波片2-2、二向色镜2-3和长波通滤波片2-5，可以实现其它荧光造影剂的标记成像。

具体地，所述摄像主机3包括：

对白光信号进行处理得到白光图像的白光图像处理器3-1；

对荧光信号进行处理得到荧光图像的荧光图像处理器3-2；

对白光图像和荧光图像通过算法处理得到白光和荧光融合的图像的图像处理器3-3；

所述显示器4与图像处理器3-3连接，白光图像感光单元2-4与白光图像处理器3-1连接，荧光图像感光单元2-6与荧光图像处理器3-2连接，寄存器2-7与图像处理器3-3连接，白光图像处理器3-1和荧光图像处理器3-2均与图像处理器3-3连接：白光信号传输至白光图像处理器3-1，白光图像处理器3-1对白光信号进行处理得到白光图像；荧光信号传输至荧光图像处理器3-2，荧光图像处理器3-2对荧光信号进行处理得到荧光图像；图像处理器3-3分别接收白光图像和荧光图像，通过算法处理得到白光和荧光融合的图像，并输出到显示器。

具体地，将白光图像感光单元2-4和荧光图像感光单元2-6的相对位置完全固定后，通过人工选择截取或算法自动识别，选取荧光图像与白光图像的重叠部分（如图2所示），获取白光图像的四个重合坐标点（XW1，YW1）、（XW2，YW2）、（XW3，YW3）和（XW4，YW4）；荧光图像的四个重合坐标点（XF1，YF1）、（XF2，YF2）、（XF3，YF3）和（XF4，YF4），并将白光图像的四个重合坐标点和荧光图像的四个重合坐标点存储在寄存器2-7中；调配好的摄像头模组2配合摄像主机3使用时，图像处理器3-3会分别读取寄存器2-7中白光图像和荧光图像重叠区域的坐标值（即白光图像的四个重合坐标点和荧光图像的四个重合坐标点），然后根据白光图像的四个重合坐标值对接收的白光图像进行图像截取，根据荧光图像的四个重合坐标值对接收的荧光图像进行图像截取，将两个截取的图像通过算法融合输出带有荧光标记的白光图，实现荧光精准导航。

优选地，荧光图像感光单元2-6的靶面尺寸比白光图像感光单元2-4的靶面尺寸大，以增加荧光导航成像的视场（如图3所示），此时，寄存器2-7只需要存储荧光图像重叠区域的坐标值（XF1，YF1）、（XF2，YF2）、（XF3，YF3）和（XF4，YF4），白光图像按最大画面输出，这样，可以降低寄存器2-7的存储量，同时增加荧光导航成像的视场。

具体地，获取白光图像的重合坐标点的数量为至少2个以上，其中2个白光图像的重合坐标点为2个对角点，如（XW1，YW1）和（XW4，YW4）、（XW2，YW2）和（XW3，YW3）；获取荧光图像的重合坐标点的数量为至少2个以上，其中2个白光图像的重合坐标点为2个对角点，如（XF1，YF1）和（XF4，YF4）、（XF2，YF2）和（XF3，YF3）；上述实施例获取白光图像的四个重合坐标点和荧光图像的四个重合坐标点是为了方便日常的操作惯性（即一般都是直接获取4个坐标点）。

具体地，将寄存器2-7设置在摄像头模组2内，通过人工选择截取或算法自动识别，选取荧光图像与白光图像的重叠部分，图像处理器3-3获取白光图像的四个重合坐标点（XW1，YW1）、（XW2，YW2）、（XW3，YW3）和（XW4，YW4）；荧光图像的四个重合坐标点（XF1，YF1）、（XF2，YF2）、（XF3，YF3）和（XF4，YF4），图像处理器3-3将白光图像的四个重合坐标点和荧光图像的四个重合坐标点存储在寄存器2-7中，这样，每当摄像头模组2和摄像主机3接插使用时，图像处理器3-3可以直接从寄存器2-7中读取存储在寄存器2-7中的白光图像的四个重合坐标点和荧光图像的四个重合坐标点，使摄像主机3可以适配多个摄像头模组2使用（如果将寄存器2-7设置在摄像主机3内，寄存器2-7可以同时存储多个与不同摄像头模组2对应的白光图像的四个重合坐标点和荧光图像的四个重合坐标点，但当把某个摄像头模组2与摄像主机3再次接插使用时，图像处理器3-3无法识别存储在寄存器2-7中的哪个白光图像的重合坐标点和荧光图像的重合坐标点与该摄像头模组2使对应的，导致摄像头模组2和摄像主机3不能适配使用；目前，当寄存器2-7设置在摄像主机3内时，寄存器2-7内只存储一个摄像头模组2的白光图像的重合坐标点和荧光图像的重合坐标点，即一个摄像主机3只能适配一个摄像头模组2使用，不能同时适配多个摄像头模组2使用）。

如图4所示，一种如上述所述的高精度近红外荧光导航内窥镜系统的画面配准方法，具体包括以下步骤：

步骤S1：预先将白光图像感光单元2-4和荧光图像感光单元2-6的相对位置完全固定；

步骤S2：白光LED1-1发出的白光光束和近红外LED1-2发出的近红外光光束透过标定板1-3后进入摄像头模组2；

步骤S3：混合有白光和近红外光的混合光束透过陷波滤波片2-2后，被二向色镜2-3根据光谱分成白光光束和近红外光光束两束光束；

步骤S4：白光光束高透并成像于白光图像感光单元2-4，得到白光信号；近红外光光束被反射，经过长波通滤波片2-5后成像于荧光图像感光单元2-6，得到荧光信号；寄存器2-7存储白光图像的重合坐标点和荧光图像的重合坐标点；

步骤S5：摄像主机3分别接收白光信号和荧光信号，并通过算法处理得到白光和荧光融合的图像。

具体地，所述步骤S4中，寄存器2-7存储白光图像的重合坐标点和荧光图像的重合坐标点，具体过程如下：通过人工选择截取或算法自动识别，选取荧光图像与白光图像的重叠部分，图像处理器3-3获取白光图像的四个重合坐标点（XW1，YW1）、（XW2，YW2）、（XW3，YW3）和（XW4，YW4）；荧光图像的四个重合坐标点（XF1，YF1）、（XF2，YF2）、（XF3，YF3）和（XF4，YF4），图像处理器3-3并将白光图像的四个重合坐标点和荧光图像的四个重合坐标点存储在寄存器2-7中。

具体地，所述步骤S5中，摄像主机3分别接收白光信号和荧光信号，并通过算法处理得到白光和荧光融合的图像，具体过程如下：白光信号传输至白光图像处理器3-1，白光图像处理器3-1对白光信号进行处理得到白光图像；荧光信号传输至荧光图像处理器3-2，荧光图像处理器3-2对荧光信号进行处理得到荧光图像；图像处理器3-3分别接收白光图像和荧光图像，图像处理器3-3分别读取寄存器2-7中白光图像和荧光图像重叠区域的坐标值（即白光图像的四个重合坐标点和荧光图像的四个重合坐标点），然后根据白光图像的四个重合坐标值对接收的白光图像进行图像截取，根据荧光图像的四个重合坐标值对接收的荧光图像进行图像截取，将两个截取的图像通过算法融合输出带有荧光标记的白光图，实现荧光精准导航。

本技术方案相对于现有技术具有以下优点：

（1）通过先将白光图像感光单元2-4和荧光图像感光单元2-6的相对位置完全固定，再通过软件选取重合画面坐标，能够很好的解决了双相机荧光导航系统画面匹配的问题，避免了繁琐的机械调试、装配和固定相机时应力带来的画面错位问题，也避免了在相机固定过程中应力带来的漂移；

（2）通过把坐标存储在摄像头模组2的寄存器2-7中，画面重合参数跟随摄像头模组2，使得摄像头和任何摄像主机3配合使用都能实现白光和荧光画面匹配，兼容性高。

在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。