用于眼部的层析成像设备的图像处理装置及图像处理方法

专利名称：用于眼部的层析成像设备的图像处理装置及图像处理方法
技术领域：
本发明涉及一种支持眼部的图像诊断的技术。
背景技术：
为了实现与生活方式相关的疾病以及容易导致失明的各种疾病的早期诊断，眼部的检查被广泛应用。诸如OCT (光学相干层析成像，Optical Coherence Tomography)的眼部层析成像装置能够对视网膜层的内部状态进行三维观察。为此，期望眼部层析成像装置有助于更加精确的疾病诊断。
图IA至图ID各自为通过OCT成像的视网膜黄斑区域的断层图像的示意图。OCT 以三维方式获得眼部的断层图像。然而，为了便于描述和说明，图IA至图ID各自以二维方式示出了一个断面。参照图IA至图1D，附图标记1表示视网膜色素层(pigmented retinal layer)；附图标记2表示神经纤维层；附图标记3表示内界膜。假定输入这种断层图像。在这种情况下，测量神经纤维层2的厚度(图IA中的T2)使得能够定量地诊断诸如青光眼的疾病的发展程度或者治疗后的恢复程度。
为了定量地测量这些层的厚度，专利文献1公开了一种通过使用计算机根据断层图像来检测各视网膜层的边界、并测量各层的厚度的技术。例如，如图IB所示，该技术检测内界膜3、神经纤维层2、以及神经纤维层2与其下面的层之间的边界(神经纤维层边界4)， 并测量神经纤维层2的厚度。
在诸如年龄相关黄斑变性的疾病中，视网膜色素层1的形状根据疾病的状况而变形为三维形状。因此，在理解疾病的状况中，量化形状的形变度是有效的。
图IC是年龄相关黄斑变性中的视网膜的层结构的示意图。年龄相关黄斑变性中的视网膜色素层1具有在垂直方向上部分呈波浪状的区域。可使用以下方法作为使用OCT 诊断年龄相关黄斑变性的方法。该方法获得能够在断层图像上观察到的视网膜色素层1的边界5 (实线)、与假设在正常条件下存在的视网膜色素层1的边界的估计位置6 (虚线下文中称为正常结构)之间的差(图ID中的阴影部分)的面积或者它们之间的差的和(体积)。这就量化了疾病的状态。
在体检等中，期望通过一次检查来检测诸如青光眼和年龄相关黄斑变性的多种眼部疾病。与此相反，在使用胸部CT图像和X射线图像的领域中，公开了一种同时执行与要分析的区域相对应的诊断支持算法以检测异常区域候选、并确定异常区域的疾病类型的技术。
请注意，在本说明书中，将通过以上测量获取到的用于诊断眼部的信息(S卩，通过量化预定层的厚度以及与正常结构的差而获得的值)统称为“眼部诊断信息数据”，或简称为“诊断信息数据”。
现有技术文献 专利文献 专利文献1 日本特开2008-073099号公报 专利文献2 日本特开2007-275318号公报

发明内容
本发明要解决的问题 然而，专利文献1中描述的技术没有公开用于检测多种疾病的任何层边界检测方法。因此，需要使用固定的分析方法来进行处理，或者在操作者指定适合于各种情况的分析方法之后进行测量。如果无法获得合适的处理结果，则需要在改变分析方法或用于图像处理的参数的情况下，再次进行测量。
根据专利文献2中描述的技术，同时执行多种CAD算法包含许多无用的处理，导致了不必要的大的计算量。
在考虑以上问题的情况下作出本发明，并且，本发明旨在提供一种在不增加用户负担的情况下、从眼部的断层图像中适应性地获取用于诊断多种疾病的眼部诊断信息数据的技术。
更具体地说，本发明旨在提供一种从眼部的断层图像中检测与多种疾病相对应的病损、并定量地分析病损的发展程度或者治疗后的恢复程度的技术。
本发明的另一目的在于，提供一种从眼部的断层图像中有效地检测病损、并对病损进行定量分析的技术。
解决问题的手段 为了实现本发明的目的，例如，根据本发明的图像处理装置具有以下配置。
也就是说，提供了一种图像处理装置，其处理眼部的断层图像，其特征在于该图像处理装置包括层获取单元，用于从所述断层图像中获取预定层区域；改变单元，用于基于从所述层区域中提取出的信息数据，改变用于从所述断层图像中获取作为用于诊断所述眼部的信息的诊断信息数据的算法；以及用于基于所述改变单元改变的所述算法从所述断层图像中获取所述诊断信息数据的单元。
为了实现本发明的目的，例如，根据本发明的图像处理方法具有以下配置。
也就是说，提供了一种图像处理装置执行的图像处理方法，该图像处理装置处理眼部的断层图像，其特征在于所述图像处理方法包括层获取步骤，从所述断层图像中获取预定层区域；改变步骤，基于从所述层区域中提取出的信息数据，改变用于从所述断层图像中获取作为用于诊断所述眼部的信息的诊断信息数据的算法；以及基于所述改变步骤中改变的所述算法从所述断层图像中获取所述诊断信息数据的步骤。
本发明的技术效果 根据本发明的配置，可以在不增加用户负担的情况下、从眼部的断层图像中适应性地获取用于诊断多种疾病的眼部诊断信息数据。
此外，可以从眼部的断层图像中检测与多种疾病相对应的病损、并定量地分析病损的发展程度以及治疗后的恢复程度。
此外，可以通过使用眼部的断层图像，有效地检测病损、并对病损进行定量分析。
通过以下结合附图的描述，本发明的其他特征和优点将变得清楚，其中，在所有附图中，相同的附图标记指定相同或相似的部分。


包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例，并且与文字说明一起用来解释本发明的原理。
图IA是通过OCT成像的视网膜黄斑区域的断层图像的示意图； 图IB是通过OCT成像的视网膜黄斑区域的断层图像的示意图； 图IC是通过OCT成像的视网膜黄斑区域的断层图像的示意图； 图ID是通过OCT成像的视网膜黄斑区域的断层图像的示意图； 图2是示出包括根据本发明的第一实施例的图像处理装置的系统的配置的示例的框图； 图3是示出图像处理装置10的功能配置的示例的框图； 图4是根据本发明的第一实施例的图像处理装置10执行的处理的流程图； 图5是示出步骤S460中执行的处理的详情的流程图； 图6是示出步骤S465中执行的处理的详情的流程图； 图7是示出三种加权函数的示例的图； 图8A是示出视神经乳头(optic papilla)的示例的图； 图8B是示出视神经乳头的示例的图； 图9是示出作为根据本发明的第一实施例的图像处理装置的图像处理装置900的功能配置的示例的框图； 图10是用于描述本发明的第二实施例中的图像处理的内容的图； 图11是示出根据本发明的第二实施例的步骤S460中的处理的详情的流程图； 图12是示出根据本发明的第二实施例的步骤S465中的处理的详情的流程图； 图13是用于描述根据本发明的第三实施例的步骤S440中的处理的图； 图14是示出根据本发明的第三实施例的步骤S465中的处理的详情的流程图；以及 图15是示出具有与存储单元320和显示单元340相对应的硬件、并且作为软件保持和执行其余单元的计算机的硬件配置的示例的框图。
具体实施例方式[第一实施例] 根据本实施例的图像处理装置获取要检查的眼部(检查目标眼部)的黄斑区域的断层图像，并对获取的断层图像中描绘的预定层执行分析处理，由此量化病损。例如，如果通过对预定层的分析处理确定视网膜色素层正常，则装置进行分析处理，以检查青光眼等。 也就是说，如图IB所示，装置从断层图像中检测内界膜3、神经纤维层边界4以及视网膜色素层1的边界5 (下文中称为视网膜色素层边界幻，并且测量神经纤维层2的厚度和整个视网膜层的厚度，从而获取诊断信息数据。如果通过对预定层的分析处理确定视网膜色素层1异常，则装置进行分析处理，以检查年龄相关黄斑变性等。也就是说，如图ID所示，装置从断层图像中检测内界膜3和视网膜色素层边界5，并估计视网膜色素层边界5的正常结构6。然后，装置测量整个视网膜层的厚度作为诊断信息数据，并量化视网膜色素层1的干扰(disturbance)。
该实施例将例示测量视网膜色素层1的情况。然而，可以通过使用其他的视网膜深层边界(外界膜(未示出)、视觉细胞内段(inner segment)/外段(outer segment)边界(未示出)、以及视网膜色素层的内层侧边界(未示出)等)替代视网膜色素层边界5， 来进行测量。
此外，通过测量内界膜3与内网织层(inner plexiform layer)的外层侧边界如之间的距离替代内界膜3与神经纤维层边界4之间的距离，能够获得相同的诊断信息数据。
包括该实施例的各随后的实施例例示了测量神经纤维层的厚度的情况。然而，可以测量内网织层的外层侧边界如替代神经纤维层边界4。
图2是示出包括根据本实施例的图像处理装置的系统的配置的示例的框图。如图 2所示，作为根据本实施例的图像处理装置的图像处理装置10经由诸如以太网(Ethernet )的局域网(LAN) 30与层析成像装置20和数据服务器40相连接。请注意，各设备之间的连接不限于经由LAN的连接，而可以是经由诸如USB或IEEE1394的接口的连接。或者，该连接可以是经由诸如互联网的外部网络的连接。
层析成像装置20是获得眼部的断层图像的装置，并包括例如时间域OCT或 Rmrier (傅立叶)域OCT。根据操作者的操作，层析成像装置20以三维方式获得要检查的眼部的黄斑区域的断层图像。然后，层析成像装置20经由LAN 30将获得的断层图像发送至图像处理装置10。
数据服务器40是保持要检查的眼部的断层图像、图像处理装置10基于断层图像获得的分析结果(例如，层边界和量化的数值数据)、以及正常眼部数据(例如，层厚度的正常范围)的服务器。图像处理装置10控制数据在数据服务器40中的存储。例如，图像处理装置10将从层析成像装置20接收到的断层图像，不做任何改变地存储在数据服务器 40中；或者在对该断层图像执行了某种处理时，将该断层图像存储在数据服务器40中；或者将通过使用该断层图像执行的分析处理的结果，存储在数据服务器40中。此外，数据服务器40根据来自图像处理装置10的请求，按照需要将关于要检查的眼部的各种历史数据发送至图像处理装置10。
下面将参照图3描述根据本实施例的图像处理装置10的功能配置。图3是示出图像处理装置10的功能配置的示例的框图。如图3所示，图像处理装置10包括图像获取单元310、存储单元320、图像处理单元330、显示单元；340、结果输出单元350、以及指令获取单元337。
图像获取单元310向层析成像装置20发出请求以请求发送断层图像，还接收(获取)层析成像装置20根据该请求发送的断层图像。请注意，如果层析成像装置20保持用于识别要检查的眼睛的信息(例如，对象的标识号或指示检查对象是右眼还是左眼的标识符)，则图像获取单元310可以从层析成像装置20与断层图像一起获取上述信息。假定在以下描述中，图像获取单元310获取的断层图像附有作为信息的与层析成像相关的各种参数。
存储单元320临时保持图像获取单元310获取的断层图像。另外，存储单元320 临时保持图像处理单元330获得的断层图像的分析结果。根据需要，将保持在存储单元320 中的数据发送至图像处理单元330、显示单元340、以及结果输出单元350。
图像处理单元330获取保持在存储单元320中的断层图像，并确定断层图像中描绘的预定层的状态。图像处理单元330根据结果缩小候选疾病的范围，并执行适于疾病的图像处理。图像处理单元330包括层获取单元331、改变单元332、第二层获取单元334、正常结构估计单元335、以及量化单元336。
层获取单元331由从存储单元320获取的断层图像中，检测诸如内界膜3和视网膜色素层边界5的预定层(层区域)。稍后将详细描述层获取单元331执行的特定处理的内容。
改变单元332包括状态确定单元333。状态确定单元333确定层获取单元331检测的预定层的状态。改变单元332根据状态确定单元333获得的状态确定结果改变图像分析算法，并向各单元通知相应的信息。稍后将详细描述改变单元332执行的特定处理的内容。
如果状态确定单元333确定视网膜色素层1正常，则第二层获取单元334根据改变单元332指定的处理内容，从断层图像中检测神经纤维层边界4作为第二层(第二层区域)。稍后将详细描述第二层获取单元334执行的特定处理的内容。
如果状态确定单元333确定视网膜色素层1异常，则正常结构估计单元335根据改变单元332指定的处理内容，估计视网膜色素层边界5的正常结构(图ID中的正常结构 6)。相反，如果状态确定单元333确定视网膜色素层1正常，则正常结构估计单元335不根据改变单元332的指令执行处理。稍后将详细描述正常结构估计单元335执行的特定处理的内容。
量化单元336根据层获取单元331检测到的预定层，量化整个视网膜层的厚度。如果第二层获取单元334检测到神经纤维层边界4，则量化单元336量化神经纤维层2的厚度。如果正常结构估计单元335估计了视网膜色素层边界5的正常结构6，则量化单元336 量化层获取单元331检测到的视网膜色素层边界5与正常结构估计单元335估计的正常结构6之间的差(即视网膜色素层1的干扰)。稍后将详细描述量化单元336执行的特定处理的内容。
显示单元340显示当将与层边界相关的信息与图像处理单元330获得的正常结构相叠加时的断层图像。显示单元340还显示各种量化后的数值数据。
结果输出单元350使检查日期、识别要检查的眼睛的信息、要检查的眼睛的断层图像、以及图像处理单元330获得的分析结果相关联，并将所得的信息作为要存储的信息发送至数据服务器40。
指令获取单元337接收外部输入的指令(例如，用户输入的指令)，并在后续阶段将其发送至图像处理单元330。
请注意，可以通过硬件实现图3所示的所有单元，或者可以通过软件实现存储单元320和显示单元340以外的单元。在任一情况下，可以实现类似的装置。在后者的情况下，软件被安装在包括作为硬件的存储单元320和显示单元340的计算机的存储器中。该计算机的CPU执行该软件，以实现与通过硬件实现各单元的装置类似的装置。
图15是示出包括与存储单元320和显示单元340相对应的硬件、并且作为软件保持并执行其余单元的计算机的硬件配置的示例的框图。
CPU 1501使用存储在RAM 1502和ROM 1503中的程序和数据控制整个计算机，并执行作为图像处理装置10进行的处理的各处理(稍后描述)。
8 RAM 1502具有临时存储从外部存储设备1504加载的程序和数据的区域、以及CPU 1501执行各种处理必需的工作区。也就是说，RAM 1502能够根据需要提供各种区域。可以通过RAM 1502实现图3所示的存储单元320。
ROM 1503通常存储计算机的BIOS、设置数据等。
外部存储设备1504是用作诸如硬盘驱动器的大容量信息存储设备的设备。外部存储设备1504存储OS (操作系统)以及使CPU 1501执行稍后描述的作为图像处理装置 10进行的处理的各处理的计算机程序和数据。计算机程序包括使CPU 1501实现图像获取单元310、图像处理单元330、结果输出单元350、以及指令获取单元337的功能的计算机程序。在以下描述中，假定该数据包括作为已知信息(预先生成的信息)处理的数据。按照需要，在CPU 1501的控制下，存储在外部存储设备1504中的计算机程序和数据被加载到RAM 1502中。CPU 1501将执行这些程序。
监视器1505包括液晶显示器等。可以通过监视器1505实现图3所示的显示单元 340。
键盘1506和鼠标1507各自用作输入设备的示例。用户能够使用这种输入设备向 CPU 1501输入各种指令。请注意，与指令获取单元337相对应的计算机程序向CPU 1501通知通过使用该输入设备输入的各种指令。
接口 1508用于在图像处理装置10与外部设备之间交换各种数据，并且，接口 1508 包括IEEE1394、USB以及以太网端口等。经由接口 1508获取的数据存储在RAM 1502和外部存储设备1504中。图像获取单元310和结果输出单元350经由接口 1508交换数据。
以上各单元连接到总线1509。
下面将参照图4的流程图描述该实施例的图像处理装置10执行的具体处理。为了便于理解，在以下描述中，图3所示的各单元用作处理中的实体。然而，实际上，执行与这些单元相对应的计算机程序的CPU 1501用作处理中的实体。另外，很明显，执行以下处理必需的计算机程序和数据在开始基于图4的流程图的处理之前，已经被从外部存储设备1504 加载到RAM 1502中。
< 步骤 S410> 在步骤S410中，图像获取单元310将断层图像的获取请求发送至层析成像装置 20。在接收到该获取请求时，层析成像装置20发送与请求相对应的断层图像。因此，图像获取单元310经由LAN 30接收从层析成像装置20发送的该断层图像。然后，图像获取单元310将接收到的断层图像存储在存储单元320中。
< 步骤 S420> 在步骤S420中，显示单元340显示在步骤S410中存储在存储单元320中的断层图像。例如，显示如图IA或图IC中示意性示出的图像。在这种情况下，由于断层图像是三维数据，因此实际显示在显示单元340中的断层图像是通过从三维数据中切出关注截面而获得的二维断层图像。优选经由⑶I等任意选择要显示的截面。还可以并排显示通过之前成像而获得的各种数据(断层图像及其分析结果)。
< 步骤 S430> 在步骤S430中，层获取单元331获取在步骤S410中存储在存储单元320中的断层图像。层获取单元331从该断层图像中检测内界膜3和视网膜色素层边界5。层获取单元331从该断层图像中检测中央窝(fossa)的坐标作为黄斑区域的中心。层获取单元331 将以此方式检测到的各信息存储在存储单元320中。
下面将描述检测层边界的具体处理。在这种情况下，将作为处理目标的三维断层图像视为一组二维断层图像(B超扫描图像)，针对各二维断层图像执行以下处理。
首先，对关注二维断层图像进行平滑滤波处理，以移除噪声分量。然后，从二维断层图像中提取出边缘分量，并且基于边缘分量的连通性提取几条线段作为层边界候选。从这些候选中选择最上面的线段作为内界膜3。选择最下面的线段作为视网膜色素层边界5。
另外，可以通过使用诸如使用这些线段作为初始值的Snakes模型或水平组 (level set)方法模型的可变形模型，来提高检测精度。还可以通过使用像图切割方法的技术，来检测层边界。请注意，可以针对作为目标的三维断层图像，以三维的方式进行使用可变形模型或图切割的边界检测。作为另选方案，可以将三维断层图像视为一组二维断层图像，并以二维的方式对各二维断层图像应用以上技术。请注意，检测层边界的方法不限于这些方法，而可以使用任何方法，只要其能够从眼部的断层图像中检测层边界即可。
层获取单元331还使用内界膜3检测中央窝的坐标。更具体地说，层获取单元331 将接近断层图像的中央的、所检测到的内界膜3的ζ坐标最大的坐标位置，设置为中央窝的坐标位置。
< 步骤 S440> 在步骤S440中，状态确定单元333基于层获取单元331在步骤S430中检测到的视网膜色素层边界5，来确定视网膜色素层1是否正常。然后，状态确定单元333将确定结果输出至存储单元320。例如，如果构成检测到的视网膜色素层边界5的控制点序列的曲率的最大值等于或大于预定阈值，或者角度的最小值等于或小于预定阈值，则状态确定单元333 确定视网膜色素层1异常。
请注意，可以通过确定视网膜色素层边界5的极值的数量是否等于或大于阈值、 或者基于诸如拐点数或曲率方差的统计值，来确定视网膜色素层1是否正常。可以仅对容易出现异常的中央窝附近的视网膜色素层边界5进行这些处理。
< 步骤 S450> 在步骤S450中，改变单元332根据状态确定单元333在步骤S440中获得的确定结果使处理分支(即改变算法)。如果步骤S440中的确定结果指示“正常”，则改变单元332 指示第二层获取单元334执行相应的处理。然后，处理进行到步骤S460。
相反，如果步骤S440中的确定结果指示“异常”，则改变单元332指示正常结构估计单元335执行相应的处理。然后，处理进行到步骤S465。
< 步骤 S460> 在步骤S460中，图像处理单元330执行在预定层正常的情况下进行的分析处理。 显示单元340还显示分析结果。稍后将参照图5所示的流程图详细描述该步骤的处理。
< 步骤 S465> 在步骤S465中，图像处理单元330执行在预定层异常的情况下进行的分析处理。 显示单元340还显示分析结果。稍后将参照图6所示的流程图详细描述该步骤的处理。
〈步骤S470> 在步骤S470中，指令获取单元337从外部获取是否在数据服务器40中存储关于要检查的眼睛的当前处理结果的指令。该操作者经由键盘1506或鼠标1507输入该指令。 如果操作者输入存储指令，则处理进行到步骤S480。如果操作者没有输入存储指令，则处理进行到步骤S490。
〈步骤S480> 在步骤S480中，结果输出单元350使检查日期和时间、识别要检查的眼睛的信息、 要检查的眼睛的断层图像、以及图像处理单元330获得的分析结果相关联，并将所得的信息作为要存储的信息发送至数据服务器40。
〈步骤S490> 在步骤S490中，指令获取单元337从外部获取是否结束图像处理装置10对断层图像的分析处理的指令。操作者经由键盘1506或鼠标1507输入该指令。如果操作者输入结束处理的指令，则图像处理装置10结束处理。如果操作者输入继续处理的指令，则处理返回至步骤S410以对要检查的眼睛执行下一个处理(或对同一要检查的眼睛执行再处理)。
下面将参照图5描述步骤S460中执行的处理的详情。
〈步骤S510> 在步骤S510中，第二层获取单元334从断层图像中获取神经纤维层边界4。作为获取神经纤维层边界4的方法，例如，可以想到使用如下方法，即在ζ轴的正向从内界膜3 的ζ坐标值开始扫描，并连接亮度值或边缘等于或大于阈值的点。
〈步骤S520> 在步骤S520中，量化单元336基于在步骤S510中获取的神经纤维层边界4，量化神经纤维层2的厚度和整个视网膜层的厚度。首先，量化单元336通过获得神经纤维层边界4与内界膜3之间在ζ坐标上的差，来计算x-y平面上的各坐标点上的神经纤维层2的厚度(图IA中的Tl)。同样地，量化单元336通过获得视网膜色素层边界5与内界膜3之间在ζ坐标上的差，来计算整个视网膜层的厚度(图IA中的1 。量化单元336还通过针对各y坐标将χ轴方向上的各坐标点处的层厚度相加，来计算各截面处的各层(神经纤维层2和整个视网膜层)的面积。另外，量化单元336通过将在y轴方向上获得的面积相加， 来计算各层的体积。然后，将这些结果存储在存储单元320中。
〈步骤S530> 在步骤S530中，显示单元340在将在步骤S510中检测到的神经纤维层边界4叠加在断层图像上的同时，对其进行显示。当由线指示各层之间的边界时，如图IB所示，优选针对各边界使用预定颜色的线。例如，红色、黄色以及绿色线分别用于内界膜3、神经纤维层边界4以及视网膜色素层边界5，以表达它们。作为另选方案，可以通过向层区域中添加半透明颜色来表达层边界，而不明确指示它们。例如，可以通过对指示神经纤维层2以外的整个视网膜层的区域着绿色、并对指示神经纤维层2的区域着红色，来表达神经纤维层2和整个视网膜层。当显示它们时，优选使用允许经由GUI等选择关注截面的配置。还可以通过使用已知的体绘制(volume rendering)技术以三维的方式显示作为三维数据的断层图像。
显示单元340还显示与在步骤S520中量化的层厚度相关的信息。在这种情况下， 显示单元340可以将信息表达为关于整个三维断层图像的层厚度分布映射(x-y平面)，或者可以与以上检测结果的显示相结合地显示关注截面上的各层的区域。作为另选方案，可以显示整个体积，或者计算并显示操作者在χ-y平面上指定的区域的体积。
执行上述步骤S510至步骤S530的处理将实现上述步骤S460中的处理。请注意， 在本实施例中，在步骤S460中，仅核查神经纤维层2和整个视网膜层的厚度。然而，可以分析其他层，例如视觉细胞层和外界膜。
下面将参照图6描述步骤S465中执行的处理的详情。
〈步骤S610> 在步骤S610中，正常结构估计单元335根据步骤S430中获得的视网膜色素层边界5估计正常结构6。下面将例示将作为处理目标输入的三维断层图像视为一组二维断层图像(B超扫描图像)、并估计各二维断层图像的正常结构的情况。更具体地说，正常结构估计单元335通过对代表在各二维断层图像中获取的视网膜色素层边界5的坐标点组应用二次函数，来估计正常结构6。假设ε i为视网膜色素层边界5的层边界数据的第i个点的ζ 坐标zi、与正常结构6的数据的第i个点的ζ坐标z’ i之间的差，按如下方式表达用于获得近似函数的评估公式 M = min Σ P ( ε i) 其中，Σ代表i的总和，P 0为加权函数。图7示出了三种加权函数的示例。参照图7，横轴代表X，纵轴代表P (X)0要使用的加权函数不限于图7所示，而可以设置任意类型的函数。在上面的公式中，估计函数从而使评估值M最小。
该上述方法是将三维断层图像视为一组二维断层图像(B超扫描图像)、并针对各二维断层图像估计正常结构6的方法。然而，估计正常结构6的方法不限于该方法，可以直接处理三维断层图像。在这种情况下，可以使用与上面情况相同的加权函数选择基准、对步骤S430中获取的层边界的三维坐标点组进行椭圆拟合。另外，近似正常结构6的形状不限于二次函数，可以使用其他次数的函数来进行评估。
〈步骤S620> 在步骤S620中，量化单元336基于步骤S430中获取的层边界，来量化整个视网膜层的厚度。量化单元336还基于步骤S430中获取的视网膜色素层边界5与步骤S610中估计的正常结构6之间的差，来量化视网膜色素层1的干扰。尽管量化单元336量化整个视网膜层的厚度，但是由于该处理与步骤S520相同，因此将省略处理的详细描述。然后，将这些结果存储在存储单元320中。
代表视网膜色素层1的干扰的特征量可以是任何特征量，只要其可以量化所获取的视网膜色素层边界5与正常结构6之间的差即可。例如，可以获得所获得的差(厚度) 的统计值(例如，分布、最大值、平均值、中间值、方差、标准差、或等于或大于阈值的点的数量或比率)，作为与差相对应的区域的特征。作为另选方案，可以获得诸如浓度直方图、平均浓度值、浓度方差或对比度的浓度特征，作为差区域的特征。
〈步骤S630> 在步骤S630中，显示单元340叠加并显示步骤S430中获取的视网膜色素层边界 5和步骤S610中估计的正常结构6。另外，根据该信息，显示单元340显示步骤S620中量化的信息。该显示处理与步骤S530中的处理相同，因此将省略详细描述。
执行上述步骤S610至步骤S630的处理将实现步骤S465中的处理。
如上所述，根据该实施例，图像处理装置10确定要检查的眼睛的视网膜色素层1是否正常，并获取适于各情况的诊断信息数据。也就是说，如果视网膜色素层1正常，则图像处理装置10不仅测量视网膜层的厚度，还测量神经纤维层2的厚度，作为眼部的诊断信息数据。如果视网膜色素层1异常，则图像处理装置10量化视网膜色素层1的形状的干扰， 作为眼部的诊断信息数据。结果，可以在不增加用户负担的情况下、从眼部的断层图像中适应性地获取用于诊断多种疾病的眼部的诊断信息数据。
(第一变型例) 本实施例获取和测量黄斑区域的层和第二层。然而，要获取和测量多个层的目标区域不限于黄斑区域。例如，可以对视神经乳头进行层的获取。
假定在获取了黄斑区域的层之后，状态确定单元333确定视网膜深层正常。在这种情况下，获取视神经乳头的第二层。可以测量神经纤维层的厚度、或如图8A和图8B所示指示视神经乳头的凹槽形状的指标801和802 (例如，凹槽的面积或体积)。
(第二变型例) 在本实施例中，当在步骤S430中获取内界膜3和视网膜色素层边界5、并且状态确定单元333确定它们正常时，在步骤S460中获取神经纤维层边界4。层获取单元331能够一起获取这些层。也就是说，可以在步骤S430中获取内界膜3、神经纤维层边界4以及视网膜色素层边界5，并使第二层获取单元334不进行任何处理(或者使图像处理单元330 不包括第二层获取单元334)。
层获取单元331通过以下方法获取内界膜3、神经纤维层边界4以及视网膜色素层边界5。例如，层获取单元331从基于断层图像的边缘信息检测到的几个层边界候选中选择最上面的线段作为内界膜3。层获取单元331还选择与内界膜3相邻并位于其下方的线段作为神经纤维层边界4。层获取单元331进一步选择最下面的线段作为视网膜色素层边界 5。
(第三变型例) 使改变单元332改变图像处理算法的方法不限于以上示例。例如，可以根据状态确定单元333获得的视网膜深层状态来区分图像处理模式(能够处理的图像处理参数或疾病候选)的优先次序，从而使得操作者能够进行选择。更具体地说，例如，显示单元340显示列表，使得当确定视网膜深层状态异常时，对异常的视网膜深层的处理模式分配高的优先级，而对正常的视网膜深层的处理模式分配低的优先级。这就使得操作者能够经由指令获取单元337选择图像处理模式。在这种情况下，如果操作者没有发出指令，则可以自动执行具有高优先级的图像处理模式。
(第四变型例) 在本实施例中，仅对眼部的断层图像应用改变单元332确定的图像处理算法。然而，本发明不限于此。例如，当图像处理装置10还包括使用眼底照相机获取眼底图像、从而通过使用眼底图像和断层图像来获得眼部的诊断信息数据的眼底图像获取单元时，改变单元332可以改变眼底图像的图像处理算法。例如，如果视网膜深层具有微小的凹槽并且状态确定单元333获得的视网膜深层状态接近正常与异常之间的边界，则可以发出针对眼底图像执行如下处理的指令(改变算法的指令)，即核查是否存在指示视网膜深层的异常的特征。也就是说，可以使显示单元340进行显示以提示操作者根据眼底图像核查是否存在玻璃膜疣(dursen)，或者通过使用以下参考文献中公开的图像处理技术对眼底图像进行检CN 102186407 A
说明书
11/15 页
IlJ^ !! W^bS “ Takuro Iwasaki et al. ，“ An automatic extraction procedure of Drusen region in the fundus image “ ， IEICE technical report, MI2003-10, pp. 17-22,2004" [第二实施例] 根据第一实施例的图像处理装置10使状态确定单元333确定层状态，并根据确定结果确定图像处理算法。根据第二实施例的图像处理装置10与第一实施例的相同之处在于，状态确定单元333确定层状态。然而，请注意，本实施例不同于第一实施例之处在于，假定的情况为糖尿病性黄斑水肿，并且状态确定单元333进行多次层状态确定。
图9是示出作为根据本实施例的图像处理装置的图像处理装置900的功能配置的示例的框图。通过从图3所示的配置中省略第二层获取单元334和正常结构估计单元335 而获得图9所示的配置。其余配置与第一实施例相同。另外，包括图像处理装置900的系统的配置与第一实施例相同。
下面将参照图10描述本实施例中的图像处理的内容。
在黄斑水肿的情况下，视网膜层厚度呈现异常值，因此在眼部的断层图像上测量视网膜层厚度。在一些黄斑水肿的情况下，视觉细胞层可能具有缺陷1002。核查是否具有视觉细胞缺陷的处理，可以是有效的。另外，视觉细胞层的缺陷区域距离中央窝1001越近， 则阻碍视力恢复的可能性越高。当出现缺陷区域时，在与缺陷区域的中央窝1001距离1003 处(χ轴方向上的距离)进行测量，可以是有效的。
请注意，视觉细胞层邻接视网膜色素层的上部，确切地说，范围从外界膜1004到视网膜色素层的上端。然而，现有的眼睛层析成像装置很难在视觉上核查或识别外界膜。为此，在测量视觉细胞层厚度时，本实施例获取位于外界膜略下方的称为视觉细胞内段/外段边界(未示出)的边界，来替代外界膜，并且测量视觉细胞内段/外段边界与视网膜色素层之间的厚度。很明显，在x-z平面上呈现高分辨率的眼部的断层图像的情况下，可以直接测量外界膜。假定预先将视网膜层厚度和视觉细胞层厚度的正常值范围的数据从数据服务器40载入到了存储单元320中。
图像处理装置900进行的具体处理基本上遵循图4所示的流程图，仅在以下方面存在不同之处。
〈步骤S430> 在步骤S430中，层获取单元331从断层图像中检测内界膜3和视网膜色素层5。
〈步骤S440> 在步骤S440中，状态确定单元333基于在步骤S430中检测到的内界膜3和视网膜色素层5确定视网膜层的厚度是否正常。更具体地说，首先，状态确定单元333从存储单元320中获取指示视网膜层厚度的正常值范围的数据。状态确定单元333核查在步骤S430 中获取的内界膜3和视网膜色素层5之间的距离是否落在正常值范围内。如果距离落在正常值范围内，则状态确定单元333确定层厚度正常。如果距离落在正常值范围外，则状态确定单元333确定层厚度异常。
〈步骤S450> 在步骤S450中，改变单元332根据步骤S440中获得的确定结果，使处理分支(即改变算法)。也就是说，如果确定视网膜层厚度“正常”，则改变单元332指示量化单元336执行处理(处理进入步骤S460)。如果确定视网膜层厚度异常，则改变单元332指示层获取单元331执行处理(处理进入步骤S465)。
〈步骤S460> 步骤S460是在视网膜层厚度正常的情况下进行的处理。下面，将参照图11描述该步骤中的处理的详情。
〈步骤S1110〉 在步骤SlllO中，量化单元336基于层获取单元331获取的层边界测量整个视网膜层的厚度。请注意，步骤SlllO中的视网膜层厚度测量与步骤S520中相同，因此将省略该步骤的详细描述。
〈步骤S1120〉 在步骤S1120中，显示单元340叠加并显示步骤SlllO中的视网膜层厚度获取结果和断层图像。请注意，步骤S1120中的处理与步骤S530中的对视网膜层厚度的显示处理相同，因此将省略该步骤的详细描述。
执行上述步骤SlllO和Sl 120中的处理能够实现步骤S460中的处理。
〈步骤S465> 步骤S465是在视网膜层厚度异常的情况下进行的处理。下面，将参照图12描述该步骤中的处理的详情。
〈步骤S1210〉 在步骤S1210中，层获取单元331从断层图像中获取视觉细胞内段/外段边界(未示出)与视网膜色素层的上边界(未示出)。例如，层获取单元331能够通过使用A扫描方向(y方向)上的亮度值或边缘信息来获取这些边界。
〈步骤S1220〉 在步骤S1220中，状态确定单元333获得视觉细胞内段/外段边界(未示出)与视网膜色素层的上边界(未示出)之间的距离。如果获得的距离小于从存储单元320获取的视觉细胞层的正常值，则状态确定单元333确定视觉细胞层状态异常。异常区域的坐标以及距其的距离被存储在存储单元320中。
〈步骤S1230〉 在步骤S1230中，改变单元332根据步骤S1220中获得的确定结果，使处理分支。 也就是说，如果确定视觉细胞层状态正常，则改变单元332指示显示单元340进行处理(处理进入步骤S1M0)。如果确定视觉细胞层状态异常，则改变单元332指示量化单元336进行处理(处理进入步骤S1M5)。
〈步骤S1240〉 在步骤SlMO中，显示单元340叠加并显示在步骤S1210中获取的结果和断层图像。
〈步骤S1245〉 在步骤S1M5中，量化单元336从存储单元320中获取异常区域的坐标以及视觉细胞层厚度，并测量中央窝1001与异常区域在X轴方向上的距离。如果异常区域与中央窝之间的距离等于或小于阈值，则显示单元340显示异常区域的位置和层厚度。
执行上述步骤S1210至步骤S1M5的处理能够实现步骤S465中的处理。
如上所述，根据本实施例，图像处理装置900能够确定要检查的眼睛的视网膜层厚度是否正常，并获取适于各种情况的诊断信息数据。
也就是说，在本实施例中，当层异常时，该装置测量视觉细胞层的厚度(或者从视觉细胞内段/外段边界到视网膜色素层的厚度)作为眼部的诊断信息数据。然后，装置确定视觉细胞层的厚度是否正常。如果厚度正常，则装置测量距视觉细胞层较薄的区域的中央窝的距离作为眼部的诊断信息数据。
[第三实施例] 根据第一实施例的图像处理装置10使状态确定单元333确定层状态，并使改变单元332根据确定结果确定图像处理算法。根据第三实施例的图像处理装置与第一实施例的相同之处在于，根据状态确定单元333获得的层状态确定结果确定图像处理算法。然而，请注意，第三实施例不同于第一实施例之处在于，改变单元332根据状态确定单元333获得的确定结果改变作为图像处理算法的图像处理参数。
另外，根据本实施例的图像处理装置与根据第二实施例的图像处理装置900相同，并且系统的配置与第一实施例相同。
在本实施例中，考虑对视神经乳头进行圆周扫描以测量神经纤维层厚度的情况。 假定预先将神经纤维层厚度的正常值范围从数据服务器40载入到存储单元320中。
根据本实施例的图像处理装置(图像处理装置900)进行的具体处理基本上遵循图4所示的流程图，仅在以下方面存在不同之处。
〈步骤S430> 在步骤S430中，层获取单元331从断层图像中检测内界膜3和神经纤维层边界4。
〈步骤S440> 在步骤S440中，状态确定单元333基于在步骤S430中获得的检测结果确定神经纤维层2的厚度是否正常。更具体地说，首先，状态确定单元333从存储单元320中获取神经纤维层厚度的正常值范围。在步骤S430中，状态确定单元333基于在步骤S430中检测到的内界膜3和神经纤维层边界4确定神经纤维层厚度是否落在正常值范围内。在这种情况下，可以基于与图13所示的异常区域1305线性对称的区域1306(相对于连接视神经乳头1301和黄斑区域1302的线段1303对称的区域)处的层厚度比率或差值，来进行该确定。 存储单元320存储关于神经纤维层2的状态的确定结果，并且如果存在神经纤维层厚度异常区域，则还存储区域的位置、面积和厚度。
〈步骤S450> 在步骤S450中，改变单元332根据步骤S440中获得的确定结果，使处理分支(即改变算法)。也就是说，如果确定神经纤维层厚度正常，则改变单元332发送指示量化单元 336执行处理的信号(处理进入步骤S460)。如果确定神经纤维层厚度异常，则改变单元 332根据异常区域的位置、面积和层厚度来改变图像处理参数，然后发送指示层获取单元 331执行处理的信号(处理进入步骤S465)。
〈步骤S460> 步骤S460是在神经纤维层厚度正常的情况下进行的处理。该步骤中的处理的内容与步骤S520中相同，因此将省略该步骤的描述。
〈步骤S465> 步骤S465是在神经纤维层厚度异常的情况下进行的处理。下面，将参照图14描述该步骤中的处理的详情。
〈步骤S1410〉 在步骤S1410中，改变单元332从存储单元320中获取神经纤维层厚度异常区域的坐标、面积以及层厚度。作为改变图像处理参数(分析参数)的方法，例如以如下方式重新设置进行图像处理的空间范围和处理间隔。也就是说，扩大图像处理目标区域，使得异常区域完全包括在目标区域不超出眼部的断层图像的成像区域的范围内的图像处理目标区域中(使得图像处理目标区域的边界附近不存在异常区域)。另外，如果存在异常区域，则设置短的处理间隔来详细分析包括异常区域的区域。
〈步骤S1420〉 在步骤S1420中，层获取单元331使用在步骤S1410中重新设置的图像处理参数重新测量神经纤维层厚度。如果存在神经纤维层厚度异常区域，则将异常区域的坐标、面积和层厚度存储在存储单元320中。
〈步骤S1430〉 在步骤S1430中，显示单元340将步骤S1420中的神经纤维层厚度获取结果叠加在断层图像上，并显示叠加后的图像。
以此方式执行步骤S1410至S1430中的处理将实现上述步骤S465中的处理。
如上所述，根据本实施例，图像处理装置能够确定要检查的眼睛的神经纤维层厚度是否正常，并获取适于各种情况的诊断信息数据。也就是说，如果层异常，则装置根据层变薄的神经纤维层部分的位置和面积、改变诸如图像处理的空间范围和处理间隔的图像处理参数，并测量诸如神经纤维层厚度的诊断信息数据。
(第一变型例) 使用改变单元332改变图像处理参数的方法不限于以上示例。例如，考虑图像处理装置还包括使用眼底照相机获取眼底图像、从而通过使用眼底图像和断层图像获得眼部的诊断信息数据的眼底图像获取单元的情况。如果状态确定单元333确定在断层图像处理目标区域的端部存在病损，则改变单元332能够发出改变眼底图像的图像处理参数的指令，从而使病损包含在眼底图像的处理目标区域中。作为另选方案，该装置可以被配置为在使改变单元332发出改变眼底图像的图像处理参数的指令时处理眼底图像，从而减小病损附近的处理间隔。
(第二变型例) 并不总是需要独立执行在第一至第三实施例中描述的使用改变单元332改变图像处理算法的各方法。也就是说，可以组合执行这些方法。例如，在像第二实施例中那样多次进行层状态确定的同时，改变单元332能够像第三实施例中那样根据状态确定结果来发出改变图像处理参数的指令。另外，可以组合执行第一实施例和第二实施例。很明显，可以组合执行任何实施例。
[其他实施例] 本发明还可以通过执行以下处理来实现。即，经由网络或各种存储介质向系统或装置提供用于实现以上实施例的功能的软件(程序)、并使系统或装置的计算机(或CPU、 MPU等)读出并执行程序的处理。
本发明不限于以上实施例，而可以在本发明的实质和范围内进行各种改变和变型。因此，为了向公众告知本发明的范围，作出了所附权利要求。
本申请要求2008年10月17日提交的日本专利申请第2008-269186号的优先权， 该申请的全部内容通过引用并入本文。
权利要求
1.一种图像处理装置，其处理眼部的断层图像，该图像处理装置包括层获取单元，用于从所述断层图像中获取预定层区域；改变单元，用于基于从所述层区域中提取出的信息数据，改变用于从所述断层图像中获取作为用于诊断所述眼部的信息的诊断信息数据的算法；以及用于基于所述改变单元改变的所述算法从所述断层图像中获取所述诊断信息数据的单元。
2.根据权利要求1所述的图像处理装置，该图像处理装置还包括用于获取所述断层图像的图像获取单元。
3.根据权利要求1所述的图像处理装置，其中，所述改变单元包括用于基于所述层获取单元获取的所述层区域来确定所述层的状态的状态确定单元，并且根据所述状态确定单元获得的确定结果来改变所述算法。
4.根据权利要求3所述的图像处理装置，其中，所述状态确定单元确定所述预定层的状态是否正常。
5.根据权利要求3所述的图像处理装置，该图像处理装置还包括第二层获取单元，该第二层获取单元用于从所述断层图像中获取第二层区域作为用于获取所述诊断信息数据的信息，其中，所述改变单元根据所述状态确定单元获得的确定结果，确定所述第二层获取单元是否要获取所述第二层区域。
6.根据权利要求3所述的图像处理装置，该图像处理装置还包括正常结构估计单元， 该正常结构估计单元用于估计所述断层图像上的所述层的正常结构作为用于获取所述诊断信息数据的信息，其中，当所述状态确定单元确定所述层的所述状态不正常时，所述改变单元确定使用所述正常结构估计单元执行正常结构的估计。
7.根据权利要求3所述的图像处理装置，其中，当所述状态确定单元确定所述层的所述状态不正常时，所述改变单元基于所述层的异常区域的位置、面积或体积、以及形状，来改变用于获取所述诊断信息数据的图像处理的目标区域、处理的方向、处理序列以及处理间隔。
8.根据权利要求1所述的图像处理装置，该图像处理装置还包括量化单元，该量化单元用于通过使用所述层获取单元获得的所述层区域的形状和层厚度中的一者，来量化所述层的状态。
9.根据权利要求6所述的图像处理装置，该图像处理装置还包括量化单元，该量化单元用于通过使用由所述层获取单元获得的所述层区域与所述正常结构估计单元估计的所述层的正常结构之间的差所指示的厚度分布、面积、体积以及浓度特征中的一者，来量化所述层的状态。
10.根据权利要求1所述的图像处理装置，该图像处理装置还包括指令获取单元，用于从外部获取是否存储所述层获取单元获得的获取结果的指令；以及输出单元，用于当所述指令获取单元获取表示存储的指令时，输出所述层获取单元获得的所述获取结果。
11.根据权利要求3所述的图像处理装置，其中，所述预定层是存在于从内界膜到内网织层的范围中的层中的至少一个层，并且所述状态确定单元通过使用所述层获取单元检测到的层厚度、以及指示凹槽形状的指标或其统计值中的至少一个信息，来确定所述层的状态是否正常。
12.根据权利要求3所述的图像处理装置，其中，所述预定层是存在于从外界膜到视网膜色素层的范围中的层中的至少一个层，并且所述状态确定单元通过使用指示是否存在所述层获取单元检测到的层和层厚度的信息、以及与构成所检测到的层的点序列的极值、拐点的数量、曲率以及角度相关的统计值中的至少一个信息，来确定所述层的状态是否正常。
13.根据权利要求3所述的图像处理装置，其中，所述预定层是整个视网膜层，并且所述状态确定单元通过使用指示是否存在所述层获取单元检测到的所述层和层厚度的信息， 来确定所述层的所述状态是否正常。
14.根据权利要求1所述的图像处理装置，其中，所述预定层是存在于从内界膜到内网织层的范围中的层中的至少一个层。
15.根据权利要求1所述的图像处理装置，其中，所述预定层是存在于从外界膜到视网膜色素层的范围中的层中的至少一个层。
16.根据权利要求1所述的图像处理装置，其中，所述预定层是整个视网膜层。
17.一种图像处理装置执行的图像处理方法，该图像处理装置处理眼部的断层图像，所述图像处理方法包括层获取步骤，从所述断层图像中获取预定层区域；改变步骤，基于从所述层区域中提取出的信息数据，改变用于从所述断层图像中获取作为用于诊断所述眼部的信息的诊断信息数据的算法；以及基于所述改变步骤中改变的所述算法从所述断层图像中获取所述诊断信息数据的步骤。
18.一种使计算机充当权利要求1中限定的所述图像处理装置中包括的各单元的计算机程序。
19.一种存储权利要求18中限定的所述计算机程序的计算机可读存储介质。
全文摘要
本发明提供一种用于眼部的层析成像设备的图像处理装置及图像处理方法。本发明提供了一种在不增加用户负担的情况下、从眼部的断层图像中适应性地获取用于诊断多种疾病的眼部诊断信息数据的技术。层获取单元(331)从眼部的断层图像中获取预定层区域。改变单元(332)基于从层区域中提取出的信息数据，改变用于从所述断层图像中获取作为用于诊断所述眼部的信息的诊断信息数据的算法。量化单元(336)基于所改变后的算法从所述断层图像中获取诊断信息数据。
文档编号A61B3/10GK102186407SQ20098014089
公开日2011年9月14日 申请日期2009年8月3日 优先权日2008年10月17日
发明者今村裕之, 岩瀬好彦, 佐藤清秀, 片山昭宏 申请人:佳能株式会社