专利名称：用于分析和处理荧光图像的方法
技术领域：
本发明涉及一种用于分析和处理医用外科显微镜的荧光图像的方法。
背景技术：
通过特殊的对比介质在肿瘤组织中的富集(enrichment)以及随后的紫 外光照射，来实现肿瘤组织的荧光辐射，这在医学领域已应用了很长时间， 例如用来支持在手术室中切除部分组织。
在被称为外科手术荧光检测法的这种方法中，在对脑肿瘤的手术之前， 给具有胶质母细胞瘤(gliobastoma)的病人安排服用自然内源性(endogenous ) 物质(5-氨基乙酰丙酸(5-aminolevulinic acid)，縮写为5-ALA) 。 5-ALA 作为血色素(hemoglobin)(即血液中的色素(pigment))的合成物的一部 分而形成于人体中，并且它在造血作用中是不可缺少的。5-ALA具有在恶性 脑肿瘤组织中将自身转变为色素原卟啉(protoporphyrin) IX的特性。原卟啉 IX积累于新生细胞(neoplastic cell)中，且因此而特别积累于肿瘤组织中。 当用紫外光照射时，原卟啉IX在约为635nm的波长处具有典型的荧光性。 原口卜啉IX分子吸收激发用紫外光，并随后发出具有较低能量的较长波长的 荧光，使得肿瘤组织具有红色荧光。
要被移除的肿瘤通常具有渗透进正常组织的宽细胞边界，或者说肿瘤细 胞簇(clusters)被正常细胞所包围。因此，难以仅移除肿瘤细胞而对正常的 组织破坏最小。即使外科医生在荧光图像中看到红色的荧光，他也必须独立 地估计要移除多少组织。
特别是在脑外科领域中，例如在胶质母细胞瘤的切除中，外科医生希望 尽可能彻底地切除肿瘤组织，而同时又尽可能少地伤害正常组织，或是完全 不伤害正常组织，以防止任何进一步的神经干扰(neurological disturbance)。 借助目前已知的方法，在客观确定肿瘤边界的基础上进行优化切除是不可能 的。
4公知外科显微镜用于帮助外科手术，并将患者身体的受关注区域的放大 图像提供给外科医生，同时还提供了其他支持特性。
DE 202005021111U1公开了一种组合式的诊断支持及治疗支持系统。其 所描述的系统包括至少一个光源、图像检测设备、图像处理系统以及投影系 统。图像信息由图像检测设备来检测，并在图像处理系统中进一步处理。图 像处理产生额外信息，通过借助投影系统将这种额外信息投影到手术区域的 方式，使得额外信息对外科医生来说成为可访问的。例如可通过投影仪 (beamer)将图像投影到手术区域，或外科显微镜的目镜和监视器。
通过其上叠加了所产生的图像的投影，外科医生看到手术区域的真实图 像，其中手术区域内的正常组织例如呈现绿色，或者以更高的强度来标记病 态组织。这种额外信息是在图像处理系统中脱机产生的。
上述引用文件说明了在荧光放射物质进行激发的基础上，对肿瘤组织的 光动力学诊断，但它没有公开图像处理系统是否能够和如何分析要切除的组 织部分，或如何确定和显示切口线，以使得外科医生在实施切除时能够得到 这些额外信息的支持。
DE 202005021111U1公开的主要重点在于将额外信息投影到手术区域 中，但它并没有提及如何进行额外信息的分析、确定和计算。根据以上引用 的专利，本领域技术人员并不知道如何将正常组织与肿瘤组织区别开来，这 也就是为什么外科医生需要自己估计荧光强度和/或投影图像的强度，并确定 哪个组织是需要被移除的肿瘤组织。由于对荧光的视觉感知度(perception) 和估计很大程度上取决于特定的外科医生，所以切除的区域可能在某些情况 下有大幅变化。
为了延滞复发性肿瘤的复发时间，尽可能多地移除肿瘤细胞是绝对有必 要的。
由于色彩感知度会依这个或下一个外科医生而变化，并且荧光图像的主 观感觉取决于手术室的环境和照明。因此，迄今为止，还没有公开独立于外 科医生而确定肿瘤边界的客观方法。
发明内容
本发明的目的是创立一种可量化的、客观的、可重复的确定肿瘤组织边界的方法，使得外科医生的主观感觉和经验不再起作用。
为此，本发明提供一种用于分析和处理医用外科显微镜的荧光图像的方 法，包括如下步骤用来自激发设备的紫外辐射照射手术区域；图像检测设
备记录数字荧光图像，并将该数字荧光图像传输到图像处理系统，其中；从 该荧光图像提取红色道；且随后定义最高强度；此后将阈值确定为该最高强 度的百分比的量值；确定围绕肿瘤组织区域的界限强度线，所述肿瘤组织区 域的像素的强度高于被定义的该阈值；随后计算线轮廓图像，该线轮廓图像 包含所述肿瘤组织区域的该界限强度线；以及将该线轮廓图像叠加到显示设 备中的荧光图像上，其中将没有被所述界限强度线围绕的多个区域定义为正 常组织区域。
本发明的方法达到了这个目的并对肿瘤组织的切除提供了相关支持，所 以只有最小量的与肿瘤相邻的正常组织被移除，并由此能在很大程度上防止 了额外的神经障碍的发生。
本发明主题的另一 目的是提高生活质量，并通过实际上完全移除肿瘤的 得以实现，来增加患者的预期寿命。
以下结合
本发明主题优选的示例性实施例。 图la示出用作外科显微镜的荧光显微镜的示意图lb示出荧光光谱，其中辐射强度为波长的函数，并且荧光激发是可 视的。
图2示出被照射和反射的手术区域的荧光图像；而
图3以叠加的临界界限强度线示出图2中被照射的手术区域的荧光图
像；
图4示出对应于图3的荧光图像，其中以额外的轮廓线绘出其他强度的 区域；而
图5示出由图像处理系统产生的界限强度线(全黑)以及额外轮廓线的 简单轮廓图。
图6示出具有不同轮廓线和不同色彩区域的手术区域的假色彩图像。 并且，上述附图中的附图标记说明如下
61激发设备
2图像检测设备
3图像处理系统
4显示设备
5激发线
6发射线
10荧光图像
11线轮廓图像
12假色彩图像
20手术区
21正常组织
22肿瘤组织
23正常组织区域
24轮廓线(全部)
25界限强度线(特定)
26最高强度(相当于100%强度)
27肿瘤组织区域
具体实施例方式
在用于产生肿瘤检测特性的物质(优选为氨基乙酰丙酸)已经被以口服 方式安排给(administered orally)具有胶质母细胞瘤的患者以产生原卟啉荧 光，患者业已准备好实施外科手术并已被麻醉，且要实施手术的手术区20 也已经就绪之后，使用外科显微镜实施肿瘤组织22的切除。
图la示意性地绘出了一种外科显微镜的可能的配置。以来自激发设备1 的紫外光辐射来照射手术区20，该紫外辐射处于约400nm的波长范围内， 因而也处于可见蓝光波长范围内。所述的荧光紫外辐射例如可通过配备滤光 镜而提供的或来自激光器的氙光源而产生。5-氨基乙酰丙酸合成具有荧光特 性并选择性地积累在病变细胞(pathologically altered cell)中的原卟啉IX。
除了激发设备1中由荧光激发的约400nm的紫外辐射的激发线5之外， 图lb中的荧光光谱还示出了荧光原卟啉IX所发出的在可见光谱范围内(约600nm至700nm)的辐射的发射线6。根据在可见光谱范围内的发射线6， 肿瘤组织22发出荧光并发射出红光，其中所发出的光的强度与细胞内原卟 啉的浓度有关。
图像检测设备2通过检测器上的光学元件来收集发射光并将所述发射光 聚成光束，由上述光学元件以从手术区20发射出的荧光图像10的形式产生 数字图像信息。在图像检测设备2中，实际检测可通过数字CCD摄像机或 荧光分光器来实施。
因为用分别检测红色分量R、绿色分量G和蓝色分量B的强度的CCD 摄像机来进行所发射辐射的检测，所以在使用发射线6的情况下，在高于 600nm的范围中不需要额外的滤光镜即可获得优化的测量结果。当使用CCD 摄像机时，因为发射线6仅位于红色分量R中，所以在激发线5与发射线6 之间的远距离是有利的，并因此不会由于蓝色分量B中的蓝色激发线5而干 扰检测。此外，大多数CCD传感器的量子效应在红光范围内是最高的，因 此CCD摄像机的最高灵敏度处于红光区域内。
图像检测设备2记录每一个像素单元的红色分量R、绿色分量G、蓝色 分量B的各种亮度值。如果选择8位的传感器，则可记录256种不同的亮度 值。如果选择16位的传感器，则可记录65536种不同的亮度值，并且以数 字荧光图像10的形式直接传输到显示设备4，显示设备4显示这些亮度值。 显示设备4可为单目镜或双目镜、监视器等。外科医生借助于显示设备4观 测整个过程。
此外，还将数字荧光图像10传输到图像处理系统3。图像处理系统3包 括计算机单元。该计算机单元具有计算机程序以及至少一个读/写存储器；该 计算机程序执行对荧光图像的分析和处理，并完成所产生的线轮廓图像11 和产生的假色彩图像12的输出，以及在所产生的图像上叠加荧光图像10。
荧光处于红色光谱区域中，且富集原卟啉IX的肿瘤组织22被照亮为红 色，因此要对荧光图像10的红色分量进行分析和处理，以实现肿瘤组织22 的区域和界限的定量确定。图像处理系统3的第一个分析步骤就是从记录的 荧光图像10中提取红色道(redchannel)。
荧光图像10在红色光谱范围中具有光强度不同的不同区域。可选择由 图像处理系统3或者由外科医生来确定在荧光图像10中具有最高强度26的范围。
通过比较荧光图像10的红色分量的全部像素的强度，图像处理系统3 能够断定最高强度26，并将其作为最高强度而储存起来。为了手动选择最高
强度26，诸如计算机鼠标等输入设备被连接至图像处理系统3，外科医生借 此可选择荧光图像10中他认为是最亮处的像素区域。虽然最高强度26的自 动确定总是将事实上的最高强度值可重复地确定为最髙强度26，但通过外科 医生对最高强度26的手动确定，就防止了在通过自动确定而自荧光图像10 转换出最高强度26时可能出现的图像错误。为防止外科医生一方的色盲(如 果有的话)在手动确定最高强度26时导致错误，在确定最亮区域中的最高 强度26之前，通过已知手段将所关注的荧光图像10的红色道转化为灰度图 像是颇有助益的。
在下一步骤中，通过图像处理系统3定义强度的阈值，该强度的阈值表 示最高强度26的分数值。阈值表示被检测的荧光辐射的强度，其介于正常 组织21的强度与肿瘤组织22的强度之间。如实验所示，在最高强度26的 30%的范围内的阈值相对精确地表现出了健康的正常组织21与肿瘤组织22 之间的分界。
在荧光图像10中，具有高于这种阈值的强度的像素区域表征为肿瘤组 织22;而发射出高于阈值强度的光、在荧光图像10中是可视区域的组织却 被划归为正常组织21。所期望的阈值可存储到图像处理系统3中，并且如果 需要还可改变。根据在肿瘤组织22复发领域所做的外科手术的临床实验和 分析，已经证实阈值为最高强度26的33%时是特别有利的。
在确定最高强度26和阈值之后，产生二进制图像，其中具有低于阈值 的强度的荧光图像10的红色道的像素与具有高于阈值的强度的像素被区分 开。通过传统数字图像处理方法来确定强度介于高于阈值的区域与强度低于 阈值的区域之间的边界，并将其加重。通过图像处理的基本形态学运算 (morphological operation)，例如，通过呈3x3矩阵形式的结构单元的扩张 (dilatation)和侵蚀(erosion)，来确定不同图像区域之间的边界。实际上， 扩张和侵蚀的组合和多重应用(例如开和闭)是可取的，以此来检测边缘。 通过使用这些己知的数字图像处理方法，产生包括肿瘤组织22与正常组织 21之间边界的图像信息来作为界限强度线25，该界限强度线25为几个像素
9宽。
其中界限强度线25的宽度是可变的，并且该界限强度线25的宽度可通 过作为形态算子组元的结构单元来确定。因此如果结构单元不是在图像处理 系统3内定义的，那么界限强度线25就可能变化。界限强度线25可使用诸 如高通滤波和低通滤波或梯度算子等其他操作来产生。
界限强度线25是自相包容(sdf-contained)的，并且围绕肿瘤组织区域 27，肿瘤组织区域27中含有强度高于所定义阈值的像素。在肿瘤组织区域 27中具有高于阈值的强度的像素被表征为肿瘤组织22。在界限强度线25包 围之外的像素具有低于阈值的强度，所以位于这些像素构成的区域中的组织 被定义为正常组织21，并且该区域被称为正常组织区域23。
图像处理系统3自界限强度线25建立线轮廓图像11，且该线轮廓图像 11可叠加在所记录的荧光图像10上并可由显示设备4显像。图3示出荧光 图像IO作为实例，其具有根据图5的线轮廓图像11，该线轮廓图像11包括 以闭合的界限强度线25为边界的多个区域，在各种情况下该线轮廓图像11 都叠加在荧光图像上。这样所产生的线轮廓图像11可以选择性地分别显示， 如图5所示，而不叠加到荧光图像10上，或者作为如图6所示的假色彩图 像12，并且可由外科医生进行分析和选择以支持外科手术。
虽然数字荧光图像10由显示设备4直接实时显示而不加处理，但也可 将图像处理系统3产生的线轮廓图像11和假色彩图像12叠加在荧光图像10 上并显示。通过这种方式，外科医生能够看到与在其普通显示设备4中所计 算和处理的手术区域20有关的额外信息，并且在对肿瘤组织22的实际操作 中这么去做。
为在稍后的时间点分析手术，并优化通过研究而确定的阈值，故将图像 处理系统3中的荧光图像10和所产生的线轮廓图像11及假色彩12存储到 硬盘或其他只读存储器中以用于研究目的。
根据上述方法，除了已经显示出来的界限强度线25之外，显示额外的 轮廓线24也是可预期的。
轮廓线24围绕荧光图像10中这样的区域这些区域的强度与定义的阈 值存在取值固定的差距。例如，可选择阈值与最高强度26之间的差值的10% 的强度差异。该轮廓线24被示出在图5的线轮廓图案11中。为区别不同的
10轮廓线24，由显示设备4以不同的方式(例如使用虚线或点划线)来表示轮 廓线24。每个轮廓线24所包围的像素区域的强度与阈值之间具有确定的比 率。可预期的是，轮廓线24用以围绕正常组织区域23和/或强度高于阈值直 到最高强度的肿瘤组织区域27。
由轮廓线24围绕的区域(这些区域位于被界限强度线25围绕的肿瘤区 域27内部)表征肿瘤组织区域27内不同强度的荧光区域。同样可预期对由 界限强度线25围绕的肿瘤组织区域22以外的正常组织23的显示，所述正 常组织23由轮廓线24作为边界。这也在图5中示出了。
上述额外轮廓线24也在图6中的假色彩图像(或彩色编码图像)12中 示出，由此示出荧光图像10的多个荧光区域的不同强度，这些荧光区域是 用与轮廓线24所围绕的肿瘤组织区域27不同的颜色来着色的。界限强度线 25和轮廓线24的确定以及具有不同荧光的区域的着色均由图像处理设备3 执行。外科医生可选择性地显示具有叠加线轮廓11的荧光图像10，或遮掩 伴随荧光图像10的线轮廓图像11或假色彩图像12。
为了在肿瘤组织22的区域的程度确定中减少人为的个体误差，这里所 述的方法已经发展为量化的、客观的并且可重复进行的肿瘤组织22边界确 定方法。阈值的确定可由外科医生来执行，或由图像处理系统3来定义。
在外科手术中，连续记录荧光图像IO，并基于一开始时确定的最高强度 26以及阈值来分析不同的区域，并且界限强度线25和轮廓线24被不断地重 复计算和显示。在手术过程中，由界限强度线作为边界的肿瘤组织区域27 的面积也减少了 ，所以通过完全切除肿瘤组织22就使得肿瘤组织22得以减 少。 一旦检测不到具有高于阈值的强度的辐射，则所有被划归肿瘤组织的组 织都被移除，手术结束。
权利要求
1. 一种用于分析和处理医用外科显微镜的荧光图像的方法，其特征在于，包括以下步骤用来自激发设备(1)的紫外辐射照射手术区域(20)；图像检测设备(2)记录数字荧光图像(10)，并将该数字荧光图像(10)传输到图像处理系统(3)，其中；从该荧光图像(10)提取红色道(R)；且随后定义最高强度(26)；此后将阈值确定为该最高强度(26)的百分比的量值；确定围绕肿瘤组织区域(27)的界限强度线(25)，所述肿瘤组织区域的像素的强度高于被定义的该阈值；由此随后计算线轮廓图像(11)，该线轮廓图像(11)包含所述肿瘤组织区域(27)的该界限强度线(25)；以及将该线轮廓图像(11)叠加到显示设备(4)中的荧光图像(10)上，其中将没有被所述界限强度线(25)围绕的多个区域定义为正常组织区域(23)。
2. 根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在 于该阈值的量至少约为该最高强度(26)的30%。
3. 根据权利要求2所述的用于分析和处理荧光图像的方法，其特征在 于该阈值的量为该最高强度(26)的33%。
4. 根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在 于该最高强度(26)能够由该图像处理系统(3)自动确定。
5. 根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在 于该最高强度(26)能够由外科医生使用连接到该图像处理系统(3)的 输入设备手动确定，其中该荧光图像(10)的最亮像素是手动选择的。
6. 根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在 于在确定该界限强度线(25)之前，由该图像处理系统(3)将该荧光图 像(10)的该红色道(R)转换为二进制图像。
7. 根据权利要求6所述的用于分析和处理荧光图像的方法，其特征在 于该界限强度线(25)是通过诸如结构元素的扩张和/或侵蚀等图像处理的基本形态学运算来确定的，该界限强度线(25)表示肿瘤组织(22)与正常 组织(21)之间边界。
8. 根据权利要求7所述的用于分析和处理荧光图像的方法，其特征在 于扩张和/或侵蚀的该结构单元为3x3矩阵。
9. 根据权利要求8所述的用于分析和处理荧光图像的方法，其特征在 于该界限强度线(25)的宽度是可变的。
10. 根据权利要求6所述的用于分析和处理荧光图像的方法，其特征在 于该界限强度线(25)是通过高通滤波和/或低通滤波或通过采用梯度算子 产生的。
11. 根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在于该图像处理系统(3)自该荧光图像(10)的红色道产生闭合的轮廓线(24)，该轮廓线(24)与定义的阈值有取值固定的差距并表示高于与低于 该阈值的不同强度的区域之间的界限。
12. 根据权利要求1所述的用于分析和处理荧光图像的方法，其特征在 于由该显示设备(4)显示假色彩图像(12)，以不同的色彩示出该正常 组织区域(23)和该肿瘤组织区域(27)。
13. 根据权利要求12所述的用于分析和处理荧光图像的方法，其特征在 于该线轮廓图像(11)和/或该假色彩图像(12)能够以可激活和不可激活 的方式叠加在该荧光图像(10)上。
14. 一种计算机程序产品，用于处理根据权利要求1-13至少之一的医用 外科显微镜的荧光图像，具有执行方法的程序部分，其中该计算机产品执行 以下步骤a. 提取该荧光图像的该红色道(R);b. 确定该最高强度(26);c. 确定被定义的强度阈值为该最高强度(26)的分数值；d. 通过诸如结构元素的扩张和侵蚀等图像处理的基本形态运算来产生 界限强度线(25);e. 基于所产生的该界限强度线(25)来产生线轮廓图像(11);以及f. 在此处记录的该荧光图像(10)上叠加该线轮廓图像(11)。
全文摘要
本发明公开一种用于分析和处理荧光图像(10)的方法。通过图像检测设备检测在被照射的手术区域(20)中由肿瘤组织(22)发射的荧光，并将其传输到图像处理系统。在确定最高强度后，图像处理系统将阈值确定为最高强度的预定的分数值。借助图像处理的基本形态学运算，产生用来分隔强度高于阈值的肿瘤组织(22)和强度低于阈值的正常组织(21)的界限强度线(25)，并在线轮廓图像(11)中成像，其中线轮廓图像(11)可叠加到荧光图像(10)上。
文档编号A61B5/00GK101461706SQ20081017809
公开日2009年6月24日 申请日期2008年12月19日 优先权日2007年12月19日
发明者汉斯·兰多尔特, 赫伯特·络塞, 马丁·黑夫蒂 申请人:坎通斯比特阿劳股份有限公司