图像处理装置及图像处理方法
【专利摘要】本发明提供一种图像处理装置及图像处理方法。该图像处理装置被配置为处理指示被检体的偏光状态的断层图像，其包括：获取单元，其被配置为获取在不同时间拍摄的多个断层图像；提取单元，其被配置为从所述多个断层图像提取各去偏光区域；以及显示控制单元，其被配置为将关于各去偏光区域的信息相互关联地显示在显示单元上。
【专利说明】图像处理装置及图像处理方法
【技术领域】
[0001]本发明涉及用于处理被检体的图像的图像处理装置及图像处理方法。
【背景技术】
[0002]使用多波长光波干涉的光学相干断层成像术(optical coherence tomography,OCT)能够获取样本(特别是眼底)的高分辨率断层图像。
[0003]近年来，眼科OCT装置不仅能够获取拍摄眼底组织的形状的通常OCT图像，还能够获取使用作为眼底组织的光学特性之一的偏光参数(相位差(retardation)和取向(orientation))拍摄的偏光OCT图像。
[0004]偏光OCT能够使用偏光参数构成偏光OCT图像，并且能够进行眼底组织的区别和分割。偏光OCT图像使用被调制为圆偏光的光作为用于观察样本的测量光束，从而检测被划分为两个正交线性偏光的干涉光并生成偏光OCT图像(参照国际专利申请W02010/122118A1)。
[0005]然而，国际专利申请W02010/122118A1没有讨论作为偏光OCT的本来目的的诊断支持，更具体地说，没有讨论用于有效确认视网膜层上出现的渗出物(exudate)的方法，因此无法有效地确认渗出物。
【发明内容】
[0006]本发明旨在提供一种能够使用关于从偏光OCT图像获取的偏光分量的信息在显示单元上显示关于渗出物的信息`、使得用户能够有效地确认渗出物的图像处理装置及图像处理方法。
[0007]根据本发明的一个方面，提供了一种图像处理装置，该图像处理装置被配置为处理指示被检体的偏光状态的断层图像，该图像处理装置包括:获取单元，其被配置为获取在不同的时间拍摄的多个所述断层图像；提取单元，其被配置为从所述多个断层图像提取各去偏光区域；以及显示控制单元，其被配置为将关于各去偏光区域的信息相互关联地显示在显示单元上。
[0008]根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【专利附图】
【附图说明】
[0009]图1是例示根据示例性实施例的图像处理装置的整体结构的示意图。
[0010]图2A至图2E例示了由信号处理单元190生成的图像的示例。
[0011]图3是根据示例性实施例的处理流程的流程图。
[0012]图4是例示图像分析单元的示例的示意图。
[0013]图5是例示根据示例性实施例的处理的流程的流程图。
[0014]图6是例示根据示例性实施例的图像处理装置的显示单元的显示画面上的显示的示例。[0015]图7是例示根据示例性实施例的图像处理装置的显示单元的显示画面上的显示的示例。
[0016]图8是例示根据示例性实施例的图像处理装置的显示单元的显示画面上的显示的示例。
[0017]图9是例示根据示例性实施例的处理的流程的流程图。
[0018]图10是例示根据示例性实施例的图像处理装置的显示单元的显示画面的显示示例。
【具体实施方式】
[0019]根据本发明的摄像装置适用于诸如被检眼、皮肤以及内脏器官的被检体。根据本发明的摄像装置例如是眼科装置和内窥镜。下面参照附图详细描述根据本示例性实施例的眼科装置作为本发明的示例。
[0020][装置的整体结构]
[0021]图1是例示作为本示例性实施例的摄像装置的示例的“眼科装置”的整体结构的示意图。下面描述的信号处理单元190的至少一部分可以被视为“图像处理装置”。在这种情况下，整个“眼科装置”可以被视为“眼科系统”，或者整个“摄像装置”可以被视为“摄像系统”。
[0022]眼科装置包括偏光敏感(polarizationsensitive) OCTlOO (以下称为 PS-OCT)、偏光敏感扫描激光检眼镜(polarization sensitive scanning laser ophothalmoscope)140 (以下称为PS-SL0)、前眼摄像单元160、内部固视灯170以及控制单元200。
[0023]在内部固视灯170开启并且使`被检眼注视的状态下，使用由前眼摄像单元160观察的被检体的前眼部的图像进行眼科装置的对准。对准完成后，PS-0CT100和PS-SL0140对眼底进行摄像。
[0024]〈0CT100 的结构 >
[0025]描述0CT100的结构。
[0026]例如,光源101是相干性低的超发光二极管(SLD, super luminescent diode)并且发射例如中心波长为850nm、带宽为50nm的光。虽然SLD用作光源101，但是例如可以使用诸如放大的自发发射(ASE, amplified spontaneous emission)光源的能够发射低相干光的任何光源。
[0027]从光源101发射的光经由保偏(PM,polarization maintaining)光纤102和偏光控制器103被导向至具有偏光保持功能的光纤稱合器104,并被划分为测量光束(下文中简称为“断层图像的测量光束”或“0CT测量光束”)以及与测量光束相对应的参照光束。
[0028]偏光控制器103用于将从光源101发射的光的状态调整为线性偏光。光纤稱合器104的分支比为90 (参考光束)比10 (测量光束)。
[0029]测量光束经由PM光纤105被从准直器106发射作为平行光。所发射的测量光束经由X扫描器107和Y扫描器110到达分色镜111，X扫描器107包括在眼底Er处在水平方向上扫描测量光束的检流计反射镜，Y扫描器110包括在透镜108和109以及眼底Er处在垂直方向上扫描测量光束的检流计反射镜。X扫描器107和Y扫描器110被驱动控制单元180控制，并且能够在眼底Er的期望范围扫描测量光束。在眼底上扫描测量光束的范围能够被视为断层图像的获取范围、断层图像的获取位置以及测量光束的照射位置。X扫描器107和Y扫描器110是PS-OCT的扫描单元的示例，并且可以被配置为公共的XY扫描器。分色镜111具有反射波长为800nm至900nm的光并且透射其余光的特性。
[0030]由分色镜111反射的测量光束经由透镜112经过λ /4偏光板以将测量光束的相位偏移90° ,并且该测量光束被偏光控制为圆偏光,其中,相对于作为旋转轴的光轴从P偏光到S偏光倾斜45°布置λ/4偏光板。λ/4偏光板是用于调整测量光束的偏光状态的测量光束的偏光调整部件的不例。如果应用下文所述的PS-SLO光学系统,则λ/4偏光板113可以布置在PS-OCT光学系统的一部分和PS-SLO光学系统的一部分的公共光路中。这使得能够相对抑制由PS光学系统获取的图像以及由PS-OCT光学系统获取的图像上发生的偏光状态的分散。在这点上，PS-SLO和PS-OCT的扫描单元被布置在相互共轭的位置，并且可以布置在与被检眼的瞳孔共轭的位置。λ /4偏光板113的倾斜是λ /4偏光板113的状态的不例，例如是相对于作为旋转轴的、内置偏光分光器的光纤稱合器123的偏光划分面的光轴的预定位置的角度。
[0031]能够从光路安装和拆卸λ/4偏光板113。例如，存在用于以光轴或与光轴平行的轴作为旋转轴旋转λ /4偏光板113的机械结构。这使得可以实现能够在SLO和PS-SLO光学系统之间进行简单切换的小型装置。此外，这使得可以实现能够在OCT和PS-SLO光学系统之间进行简单切换的小型装置。
[0032]通过布置以45°倾斜的λ/4偏光板,入射到被检眼上的光被偏光控制为圆偏光，然而，根据被检眼的特性，在眼底Er处，光可能不被控制为圆偏光。为此，通过控制驱动控制单元180能够微调λ /4偏光板的倾斜。
[0033]由安装在台座116 上的聚焦透镜114，将被偏光控制为圆偏光的测量光束，经由作为被检体的眼睛的前眼部Ea聚焦在眼底Er的视网膜层上。照射眼底Er的测量光束被各视网膜层反射和散射，并经由以上光路返回到光纤耦合器104。
[0034]由光纤耦合器104分支的参照光束从准直器118经由PM光纤117发射作为平行光。与测量光束的情况一样，所发射的参照光束由λ/4偏光板119偏光控制,其中,相对于作为旋转轴的光轴从P偏光到S偏光倾斜22.5°角度布置λ/4偏光板119。λ/4偏光板119是用于调整参照光束的偏光状态的参照光束的偏光调整部件的示例。参照光束经过散射补偿玻璃120，由相干门台121上的反射镜122反射，并返回到光纤耦合器104。这意味着，参照光束经过λ /4偏光板119两次，以使线性偏光返回到光纤耦合器104。
[0035]相干门台121被驱动控制单元180控制以处理眼睛轴向长度的差异。相干门是指测量光束的光路中与参照光束的光路长度相对应的位置。在本示例性实施例中，参照光束的光路长度被改变，然而，仅需改变测量光束与参照光束的光路之间的光路长度的差异。
[0036]返回到光纤耦合器104的光与参照光束合成以成为干涉光(下文称为“合成光”)。干涉光被入射到内置偏光分光器上的光纤I禹合器123上。偏光分光器将干涉光以50:50的比率划分为偏光方向不同的P和S偏光。
[0037]P偏光经过PM光纤124和准直器130，由光栅131分离，并由透镜132和线条照相机(line camera) 133接收。类似地，S偏光经过PM光纤125和准直器126，由光栅127分离，并由透镜128和线条照相机129接收。光栅127和131以及线条照相机129和133被布置在与各偏光相对应的方向上。[0038]由线条照相机129和133中的各个接收的光被输出作为与光的强度相对应的电信号，并由作为断层图像生成单元的示例的信号处理单元190接收。
[0039]基于偏光分光器的偏光划分面的倾斜,能够自动调整λ /4偏光板113和119的倾斜，但是参照连接眼底的视神经乳头的中心与眼底的黄斑的中心的直线，也可以自动调整入/4偏光板的倾斜。期望具有用于检测λ/4偏光板113和119的倾斜的倾斜检测单元(未示出)。倾斜检测单元能够检测当前倾斜和预定倾斜。当然，基于接收到的光的强度可以检测λ /4偏光板113和119的倾斜以调整λ /4偏光板的倾斜，使得能够获取预定的光的强度。如下所述，指示倾斜的物体被显示在图形用户界面(GUI)上，用户可以使用鼠标调整倾斜。参照作为偏光基准的垂直方向调整偏光分光器以及λ/4偏光板113和119,以获取类似的效果。
[0040]〈PS-SL0140 的结构 > [0041]下面描述PS-SL0140的结构。
[0042]在本示例性实施例中，光源141是的半导体激光器并且发射例如中心波长为780nm的光。从光源141发射的测量光束(下文中称为“眼底图像的测量光束”或“SL0测量光束”)经过PM光纤142，由偏光控制器145偏光控制为线性偏光，并从准直器143发射作为平行光。所发射的光经过穿孔反射镜144的孔部分，并经由透镜155、包括在眼底Er处沿水平方向扫描测量光束的检流计反射镜的X扫描器146、透镜147和148以及包括在眼底Er处沿垂直方向扫描测量光束的检流计反射镜的Y扫描器149，到达分色镜154。X扫描器146和Y扫描器149被驱动器控制单元180控制，并且能够使用测量光束扫描眼底上的期望范围。X扫描器146和Y扫描器149是PS-SLO的扫描单元的示例，并且可以被配置为公共的XY扫描器。分色镜154具有反射波长为760nm到800nm的光并透射其余光的特性。
[0043]由分色镜154反射的线性偏光的测量光束经过与PS-0ST100的测量光束相同的光路，并到达眼底Er。
[0044]照射眼底图像Er的测量光被反射和散射在眼底Er，并且经由上述光路到达穿孔镜144。由穿孔反射镜144反射的光经过透镜150,被偏光分光器151划分偏光方向不同的光(在本示例性实施例中为P偏光和S偏光)，被雪崩光电二极管(APD) 152和153接收，转换为电信号，并由作为眼底图像生成单元的示例的信号处理单元190接收。
[0045]穿孔反射镜144的位置与被检眼的瞳孔的位置共轭。照射眼底Er的测量光束被反射和散射的光当中的、经过瞳孔周围的光，被穿孔反射镜144反射。
[0046]在本示例性实施例中，PS-OCT和PS-SLO都使用PM光纤，然而，使用单模光纤(SMF)使得能够通过使用偏光控制器控制偏光来获取类似的结构和效果。
[0047]<前眼摄像单元160〉
[0048]描述前眼摄像单元160。
[0049]在前眼摄像单元160中，由照明光源115 (由发射波长为1000nm的照明光的发光二极管(LED) 115-a和115_b构成)照射前眼部Ea。由前眼部Ea反射的光经由透镜114、偏光板113、透镜112以及分色镜111和154到达分色镜161。分色镜161具有反射波长为980nm到IlOOnm的光并且透射其余的光的特性。由前眼照相机165经由透镜162、163和164接收由分色镜161反射的光。由前眼照相机165接收的光被转换成电信号，并由信号处理单元190接收。[0050]<内部固视灯170〉
[0051]描述内部固视灯170。
[0052]内部固视灯170包括内部固视灯显示单元171和透镜172。多个以矩阵形式布置的发光二极管(LD)用作内部固视灯显示单元171。通过控制驱动控制单元180，根据期望摄像的部位改变开启发光二极管的位置。从内部固视灯显示单元171发射的光经由透镜172导向至被检眼。从内部固视灯显示单元171发射的光的波长为520nm，由驱动控制单元180显示所期望的图案。
[0053]<控制单元200〉
[0054]下面描述用于控制整个装置的控制单元200。
[0055]控制单元200包括驱动控制单元180、信号处理单元190、显示控制单元191以及显示单元192。
[0056]驱动控制单元180控制上述各单元。
[0057]信号处理单元190包括图像生成单元193和图像分析单元194。信号处理单元190基于从线条照相机129和133、APD152和153、以及前眼照相机165输出的信号，生成图像、分析所生成的图像并生成分析结果的可视化信息。下面详细描述图像的生成及分析。
[0058]显示控制单元191将由断层图像生成单元以及眼底图像生成单元生成并由眼底图像获取单元(未示出)以及断层图像获取单元(未示出)获取的图像，分别显示在显示单元192的显示画面上。显示单元192例如是液晶显示器。由信号处理单元190生成的图像数据可以通过有线发送到显示控制单元191或通过无线发送。在这种情况下，显示控制单元191可以被视为图像处理装置。`作为摄像系统，眼底图像获取单元可以包括SLO光学系统，断层图像获取单元可以包括OCT光学系统。在本说明书中，针对除了被检眼以外的被检体情况，“眼底图像(眼底辉度图像)”可以被转述为“平面图像(平面辉度图像)”，“眼底图像获取单元”可以被转述为“平面图像获取单元”。
[0059]在显示控制单元191的控制下，显示单元192显示指示以下描述的各种信息的显示形式。来自显示控制单元191的图像数据可以通过有线方式发送到显示单元192或通过无线方式发送。显示单元192被包括在控制单元200中，然而本发明不限于此，并且显示单元192可以独立于控制单元200设置。可选地，可以提供作为集成显示控制单元191和显示单元192的用户便携装置的示例的平板电脑。在这种情况下，期望在显示单元上安装触摸屏功能，以使得能够在触摸屏上移动图像的显示位置、放大和缩小图像、并改变显示图像。
[0060][图像处理]
[0061]下面描述由信号处理单元190中包括的图像生成单元193进行的图像生成。
[0062]图像生成单元193对从线条照相机129和133输出的干涉信号进行在一般的谱域OCT (SD-OCT)中使用的再配置处理，从而基于各偏光分量生成与作为两个断层图像的第一和第二偏光相对应的断层图像。
[0063]图像生成单元193从干涉信号中去除固定图形噪声。以如下方式去除固定图形噪声:多个检测到的A扫描信号被平均化以提取固定图形噪声，并从输入的干涉信号中去除所提取的固定图形噪声。
[0064]图像生成单元193对干涉信号进行从波长到波数的转换，并进行傅立叶变换，从而生成指示偏光状态的断层信号。[0065]对两个偏光分量的干涉信号进行以上处理从而生成两个断层图像。
[0066]图像生成单元193与X扫描器146和Y扫描器149的驱动同步地将从APD152和153输出的信号对准,从而基于各偏光分量生成与作为两个眼底图像的第一和第二偏光相对应的眼底图像。
[0067]<断层辉度图像或眼底辉度图像的生成>
[0068]图像生成单元193由两个断层信号生成断层辉度图像。
[0069]断层辉度图像基本上与传统OCT中的断层图像相同。通过公式I由从线传感器129和133获取的断层信号Ah和Av计算像素值r:
【权利要求】
1.一种图像处理装置，其被配置为处理指示被检体的偏光状态的断层图像，该图像处理装置包括: 获取单元，其被配置为获取在不同的时间拍摄的多个所述断层图像； 提取单元，其被配置为从所述多个断层图像提取各去偏光区域；以及 显示控制单元，其被配置为将关于各去偏光区域的信息相互关联地显示在显示单元上。
2.根据权利要求1所述的图像处理装置，其中，所述显示控制单元将各去偏光区域中的图像与对应于各区域中的各个图像的摄像时间相关联，并将所述图像显示在所述显示单元上。
3.根据权利要求1所述的图像处理装置，其中，所述被检体是包括眼底的区域，并且所述提取单元从除了所述眼底的预定层的区域之外的区域提取去偏光区域。
4.根据权利要求3所述的图像处理装置，其中，所述提取单元对指示所述偏光状态的断层图像的预定范围的像素值范围的区域进行缩小和放大处理以提取预定层。
5.根据权利要求1所述的图像处理装置，其中，所述提取单元提取预定像素值范围中的区域作为去偏光区域。
6.根据权利要求1所述的图像处理装置，其中，所述显示控制单元将各去偏光区域中的图像作为在与所述被检体的平面图像相对应的位置显示的改变图像，显示在所述显示单元上。
7.根据权利要求1所述的图像处理`装置，其中，所述显示控制单元将去偏光区域中的位置作为与所述摄像时间相关联的位置图像，显示在所述显示单元上。
8.根据权利要求1所述的图像处理装置，其中，所述显示控制单元还将各去偏光区域中的图像作为叠加在所述被检体的平面图像上的图像，显示在所述显示单元上。
9.根据权利要求8所述的图像处理装置，其中，所述显示控制单元按照与摄像时间相对应的颜色显示各去偏光区域中的图像。
10.根据权利要求7所述的图像处理装置，其中，所述提取单元提取通过对指示所述偏光状态的断层图像的预定范围的像素值范围的区域进行缩小和放大处理而获取的区域的重心，作为去偏光区域的位置。
11.根据权利要求1所述的图像处理装置，其中，所述提取单元还获取所述去偏光区域的大小，并且所述显示控制单元将所述去偏光区域中的各个中的图像与对应于所述区域中的各个中的图像的大小相关联，并将所述图像显示在所述显示单元上。
12.—种图像处理方法，该图像处理方法用于处理指示被检体的偏光状态的断层图像，基于来自使用测量光照射的被检体的返回光与对应于所述测量光的参照光相合成的并且偏光相互不同的光，来获取所述断层图像，所述图像处理方法包括: 获取在不同的时间拍摄的多个所述断层图像； 从所述多个断层图像提取各去偏光区域；以及 将关于各去偏光区域的信息相互关联地显示在显示单元上。
【文档编号】A61B3/14GK103767679SQ201310511930
【公开日】2014年5月7日 申请日期:2013年10月25日 优先权日:2012年10月25日
【发明者】佐藤真, 新畠弘之 申请人:佳能株式会社