内窥镜图像注册系统和方法与流程

1.本发明应用于生物和医学领域，尤其应用于医学图像处理，注册和手术机器人的自动导航。


背景技术：

2.用于微创或自然孔口检查或手术的内窥镜通过摄像头获取光谱图像。ct、mri、超声波和其他3d成像模式通常用于术前计划或术中辅助数据。在手术过程中，需要跟踪人体部位位置，以协助外科医生进行手术或引导手术机器人。上述跟踪可以通过融合或注册来自各种成像机制的图像或影像数据来完成。迄今，现有技术的图像注册主要偏向于以术前或术中获得的3d影像作为参考目标对内窥镜图像进行注册。


技术实现要素：

3.本发明披露了一种人体部位的三维光谱数据模型的建模方法，以及基于所述模型的图像处理系统，包括数据采集模块、处理模块和显示模块；数据采集模块用于获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；处理模块用于执行以下一项或多项：3d打印所述模型；参照所述点云，对所述模型进行矫正; 3d打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3d打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示模块显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
4.数据采集模块可以包括：至少一个摄像头，或至少一个内窥镜，所述内窥镜可以包括至少一个摄像头，光源。处理模块可以包括至少一个处理器，以及所述处理器的指令集、参数集及固、动态存储器。显示模块可以包括至少一个显示器；数据采集模块、处理模块、显示模块之间可以由通讯链路连接。系统可以通过设置人机接口界面和网络通讯来进行控制和数据传送。处理模块可以运行至少一个基于本系统的检查或手术机器人手术的程序。
5.处理模块还可以参照所述模型的任一坐标体素的一种光点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在hsv色空间中的第一h值与所述点云的所述一种光点的色调的第二h值之间的差值小于第一个阈值；进一步的参照第一亮度值，第一h值，数据采集模块的摄像头的光源的照度的空间分布和光谱特性，所述部位组织的光谱特性，以及所述光源、摄像头和部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个
体素的所述一种光点的色调的h值的差值小于第二个阈值。
6.处理模块还可以将所述点云与所述矫正后的模型进行匹配；参照所述匹配，确定或修改所述矫正后模型的数据或获取所述部位的位置。
7.所述其它影像包括ct、mri、超声的一项或多项；处理模块可以进一步执行下述一项或多项：参照所述其它影像，对所述模型进行第二注册，包括确定、修改所述模型的数据或获取所述部位的位置；参照所述第二注册，操控所述手术机器人或内窥镜。
8.处理模块还可以提取所述点云、模型和其它影像的一项或多项的特征，所述特征包括器官之间的横向位置关系或器官组织层之间的纵向位置关系；进一步执行下述一项或多项：参照所述特征对所述模型或所述矫正后的模型或所述注册后的模型进行第三注册，包括确定、修改所述模型或所述矫正后的模型或所述注册后的模型或获取所述部位的位置；参照所述第三注册，操控所述手术机器人或内窥镜；获取并通过显示模块显示所述特征的点集与所述模型、所述矫正后的模型、所述注册后的模型、所述第三注册后的模型、所述掩膜融合后的模型、所述点云、所述其它影像的一项或多项融合后的数据，包括参照所述点集对所述一项或多项进行掩膜融合包括将所述一项或多项的对应于所述点集任一特征点的坐标的至少一种光点设置为掩膜值后得到的数据。
9.进一步的，处理模块还可以参照所述注册、第二注册、第三注册的组合，操控所述手术机器人或内窥镜。
10.处理模块还可以将所述模型、所述矫正后的模型、所述注册后的模型，所述其它影像的一项或多项的对应于所述点云的任一光点的坐标的体素的至少一种光点设置为掩膜值，所述掩膜值能够被设置为所述任一光点，所述对应包括所述体素的坐标能够与所述点云的所述光点的坐标相关包括相同。
11.数据采集模块还可以通过一对双目视觉的摄像头拍摄所述部位的图像，获取与所述图像耦合的点云；或者在采用一个摄像头拍摄所述部位的图像的同时或同步，用另一个深度摄像头获取所述部位的点云的坐标；或者采用一个配有3d传感器的摄像头同时拍摄所述部位的图像和点云。
12.数据采集模块还可以获取对应于序列号n+1的点云或其它影像，处理模块基于参照对应于序列号n的点云或其它影像注册后的模型及所述对应于序列号n+1的点云或其它影像对所述模型进行注册，并实现权利要求1-10任一项所述的功能。
13.本发明还提供了与上述系统对应的一种图像处理方法，包括以下步骤：步骤一，获取生物体包括人体的部位的三维光谱数据模型，或所述模型及所述部位的点云，或所述模型、点云、以及所述部位的其它影像；步骤二，执行以下一项或多项：3d打印所述模型；参照所述点云，对所述模型进行矫正; 3d打印所述矫正后的模型；参照所述点云，对所述矫正后的模型进行注册; 3d打印所述注册后的模型；参照所述注册操控手术机器人或内窥镜；获取所述模型、点云、其它影像至少二项的融合包括将所述点云对所述模型或其它影像进行掩膜融合，将所述点云对所述矫正后的模型进行掩膜融合，将所述点云对所述注册后的模型进行掩膜融合后得到的一项或多项融合的数据；显示所述模型、点云、其它影像、数据的一项或多项，所述显示能够突出所述部位的形态、结构和位置的变化，以便医生辨认，达到视觉注册的效果。
14.上述方法所述矫正包括以下步骤：步骤1，参照所述模型的任一坐标体素的一种光
点的第一亮度值，与和所述坐标对应的所述点云的所述一种光点的第二亮度值的相关或相同，所述对应包括所述体素的坐标与所述点云的所述光点的坐标相关或相同，确定或修改所述第一亮度值；和/或确定或修改所述体素的所述一种光点的色调致使所述色调在hsv色空间中的第一h值与所述点云的所述一种光点的色调的第二h值之间的差值小于第一个阈值；步骤2，参照所述第一亮度值和第一h值，光源照度的空间分布和光谱特性，所述部位组织的光谱特性，以及光源、摄像头和所述部位之间的相对位置的一项或多项，确定或修改与所述体素相邻的体素的所述光点的亮度值和色调；其中，所述部位任一种组织的任意两个体素的所述一种光点的色调的h值的差值小于第二个阈值。
15.上述方法所述注册包括以下步骤：将所述点云与所述矫正后的模型进行匹配；参照所述匹配，确定或修改所述矫正后的模型的数据和/或获取所述部位的位置。
16.上述方法所述其它影像包括ct、mri、超声的一项或多项；所述方法还包括执行下述一项或多项：参照所述其它影像，对所述模型进行第二注册，包括确定、修改所述模型的数据或获取所述部位的位置；参照所述第二注册，操控所述手术机器人和/或内窥镜。
17.上述方法还可以包括以下步骤：将所述模型、或所述矫正后的模型、所述注册后的模型，或所述其它影像一项或多项的对应于所述点云的任一光点的坐标的体素的至少一种光点设置为掩膜值，所述掩膜值能够被设置为所述任一光点，所述体素的坐标能够与所述任一光点的坐标相关包括相同。
18.上述方法还可以包括以下步骤：步骤1，提取所述点云、模型和其它影像的一项或多项的特征，所述特征包括器官之间的横向位置关系或器官组织层之间的纵向位置关系；步骤2，执行下述一项或多项：参照所述特征对所述模型或所述矫正后的模型或所述注册后的模型进行第三注册，包括确定、修改所述模型或所述矫正后的模型或所述注册后的模型或获取所述部位的位置；参照所述第三注册，操控所述手术机器人或内窥镜；获取并显示所述特征的点集与所述模型、所述矫正后的模型、所述注册后的模型、所述第三注册后的模型、所述掩膜融合后的模型、所述点云、所述其它影像的一项或多项融合后的数据，包括参照所述点集对所述一项或多项进行掩膜融合包括将所述一项或多项的对应于所述点集任一特征点的坐标的至少一种光点设置为掩膜值后得到的数据。
19.上述方法还可以包括：参照所述注册、第二注册、第三注册的组合，操控所述手术机器人或内窥镜。
20.上述方法所述获取点云可以包括：通过一对双目视觉的摄像头拍摄所述部位的图像，获取与所述图像耦合的点云；或者在采用一个摄像头拍摄所述部位的图像的同时或同步，用另一个深度摄像头获取所述部位的点云的坐标；或者采用一个配有3d传感器的摄像头同时拍摄所述部位的图像和点云。
21.上述方法还可以包括以下步骤：获取对应于序列号n+1的点云或其它影像；基于参照对应于序列号n的点云或其它影像注册后的模型及所述对应于序列号n+1的点云或其它影像对所述模型进行注册，并实现上述所有功能。
22.本发明有助于内窥镜精准操作以及给自动微创手术机器人提供导航。人体部位3d数据模型可以用于3d打印。
附图说明
23.图1是系统架构的示意图。
24.图2是数据采集模块结构的示意图。
25.图3是显示模块结构的示意图。
26.图4是处理模块结构的示意图。
27.图5是系统链路的示意图。
28.图6是系统操作流程原理示意图。
具体实施例
29.以下实施例仅用于说明本发明而不限定本发明。 图2-图6是模块化的系统原理示意图。 本发明的提出基于以下观察和考量：术前获得的3d影像不一定吻合内窥镜检查或手术中身体部位的实际位置。尽管术中放射性影像可能有助于动态定位，但其获取可能会给患者和医务人员的安全带来风险，并增加手术室的设置的成本和复杂性。内窥镜图像和与图像耦合的点云包含了手术部位的实时信息，可以用作注册基于其它影像数据的模型的参考。如图1所示， xiyizi坐标系为模型在术前规划时的坐标系，xyz为术中坐标系。最小的圆点为体素。椭圆为部位特征。最大的轮廓为部位边界。人体部位可以模拟成一个三维空间体，个体的差异可以表现为空间体的体素各向特异地、平滑地膨胀或压缩，位移或旋转。部位模型可以包括一个通用模型，通用的范围可以包括相同的性别、种族和年龄段。通用模型的建立可以结合解剖学、部位组织的光谱特征特性和部位表面及内部的影像特征。由于人体各个部位组织结构的独特性，同一种组织的光谱特性可以是相同或相似的。模型中体素代表的包括皮肤、粘膜、脂肪、神经、筋膜、肌肉、血管、内脏器官以及骨骼的组织既可以通过如ct、mri、超声等影像区分，也可以通过其光谱图像来区分。具体的，可以优选的通过以下步骤来建立一个部位的三维光谱数据模型：从包含ct、mri和超声波的一种或多种3d图像中提取所述部位组织解剖的形态结构，所述形态结构包括所述部位的3d数据模型； 进一步的参照数据采集模块使用的光源照度的空间分布、光源的光谱特性和组织的光谱特性以及光源、摄像头和所述部位之间的相对位置，可以优选的通过查找表来确定所述模型体素的光点的亮度值。比如要获取手术部位肌肉模型的体素的光点，可以先得到肌肉的影像的轮廓，再将对应于轮廓内肌肉的体素按照上述步骤赋予亮度。可以参照光源以及部位组织的光谱特性确定体素的色调，任一种组织的任意两个体素的色调的h值的差值可以设置为小于一个阈值。体素的采样率和模型的空间分辨率，符合奈奎斯特采样定理。
30.处理模块还可以对所述模型进行实时矫正，包括获取所述部位的点云，参照所述模型的任一坐标体素的一种光点的亮度值，与所述点云所述坐标的同一种光点的亮度值的相关，所述坐标的所述一种光点对应于所述部位的一种光斑，确定或修改所述体素的所述光点的亮度值，和/或，确定或修改所述体素的所述光点的色调致使所述色调在hsv色空间中的第一h值与所述点云的所述光点的色调的第二h值之间的差值可以小于一个阈值，所述一个阈值可以和所述部位组织的光谱特性或荧光特性相关；进一步参照所述体素的所述光点的亮度值和色调确定或修改与所述体素相邻的体素的所述光点的亮度值和色调，其中，所述部位任一种组织的任意两个体素的所述光点的色调的h值的差值可以小于另一个阈值。进一步的，处理模块可以将所述点云与所述矫正后的模型进行匹配；参照所述匹配，对
所述模型进行注册，包括确定或修改所述模型的数据或获取所述部位的位置。
31.人体部位3d数据模型或影像数据可以用p(x,y,z, λi，n)表示, 式中，p代表任意一个体素；x，y，z 为所述体素在一个坐标系中的坐标；λi为一个光点数据结构：如对应于日光光点，则可用λ
1 =（r, g, b）表示；以此类推，λ
2 =（r, g, b）可以表示荧光光点；λ
3 =（ρc）表示ct图像值或所述ct图像值映射的光点；λ
4 =（ρm）表示mri 图像值或所述mri图像值映射的光点；λ
5 =（ρs）表示超声图像值或所述超声图像值映射的光点；λ6可以表示某一个掩膜值的光点。
32.n代表模型的一个序列号。实际应用时，模型的数据可以包含上述一种或多种光点，或对应其它度量值的光点，序列号n 可以代表图像或点云的获取序列。
33.本发明对模型的注册，可以包括以下的一个实施例：首先将所述部位的图像从图像视野中分割出来，处理模块可以自动进行图像分割，或者由人工进行边界标注；进一步获取与所述边界中的图像耦合的点云，所述点云包括所述边界中的图像的像素及所述像素对应的曲面或点云的坐标；对模型进行矫正后，将所述模型的体素的光点与所述点云进行匹配；基于所述匹配，修正所述模型。进一步的， 匹配的算法可以采用如最小均方误差的算法和以下步骤：步骤1：获取所述点云；步骤2，获取所述模型对应于所述点云的坐标的体素的光点；步骤3，计算所述体素的光点和所述点云的光点的均方误差；步骤4，获取对所述坐标进行平移、旋转、以及缩放变换后的新坐标；步骤5，计算所述模型对应于所述新坐标的光点和所述点云的光点的均方误差和对应的位移和转角；获取对应于最小均方误差的位移、转角和缩放数据；步骤6，遍态历经坐标变换的参数，重复步骤4-6，得到包括位移、转角和缩放数据的一组参数。可以基于所述一组参数对所述模型或其它影像数据进行修正，也可以对模型不同的体素采用不同的变换。 进一步的，参照注册后的模型可以实现以下一项或多项：操控手术机器人和内窥镜的一项或多项；处理模块还可以将对应于图像序列号n的一次处理的结果或中间数据保留在缓存中，作为处理下一次对应于图像序列号n+1的参照。特别的，可以采用包括卡尔曼滤波的方法，将注册后的模型反馈到系统的输入端作为对所述模型进行注册的参照。
34.在内窥镜检查或手术时，手术部位的层次结构随着手术的进行逐步暴露在手术视野。外科医生由于无法事先看到病灶的全貌，只能由表及里，由此及彼，即依据当前手术位置的视野，术前规划的数据和经验估计手术部位结构包括病灶的位置、深度或范围并决定下一步的手术路径。和医生的经验积累相仿，手术机器人不仅可以积累独立操作的经验，还可以直接或间接的借鉴其它同族机器人的经验。