专利名称：摄像设备及其控制方法
技术领域：
本发明涉及一种摄像设备及其控制方法。特别地，本发明涉及ー种使用眼球运动信息并将该眼球运动信息反映到眼底的断层图像中的摄像设备及其控制方法。
背景技术：
近年来，能够获取眼底的断层图像的光学相干断层成像(OCT)设备已引起关注。关注的原因之ー是可以以非侵入性方式诊断其它设备无法观察到的眼底的内部结构。除此之外，能够以高速进行拍摄并且具有实际成绩的傅立叶域光学相干断层成像(FD-OCT)设 备已成为市场上的关注焦点。该OCT设备在同一设备内配备有眼底照相机和扫描激光检眼镜(SLO)，并且可以通过显示要通过OCT扫描眼底的哪个区域来获取期望区域的OCT图像。另ー方面，要求质量较高的OCT图像，以在早期诊断和早期治疗方面检测到微小肿瘤或异常状況。为了实现较高的质量，公开了使OCT光束跟随眼球运动的设备(日本特表 2004-512125 (日本专利 3976678))。日本特表2004-512125向OCT设备添加用于检测眼球运动的装置。该装置通过跟随眼底的视盘并实时控制OCT扫描器来获取期望部位的OCT图像。随着FD-OCT的高速化的实现，获取OCT图像所需的时间可能比获取眼球运动信息所需的时间短。这种设备存在未必获得了与所有OCT图像相对应的位置信息的问题。根据上述的日本特表2004-512125的结构，可以以高速跟随眼球运动，但需要添加追踪装置，这导致设备大小増大并且需要诸如扫描器等的昂贵装置。如果在具有追踪图像的获取速率比通常的OCT图像的获取速率慢的追踪装置的OCT设备中叠加图像，则存在不具有位置信息的OCT图像，还发生由于眼球特有的微扫视所引起的图像叠加的精度低的问题。
发明内容
为了解决上述问题，根据本发明的ー种摄像设备，包括眼底图像获取単元，用于在不同的时间获取被检眼的多个眼底图像；断层图像获取单元，用于在不同的时间获取所述被检眼的多个断层图像；以及计算单元，用于根据所述多个眼底图像来计算所述被检眼的运动信息，其中，所述计算単元基于具有相匹配的运动信息的断层图像中的、与不具有相匹配的运动信息的断层图像在时间上接近的断层图像的运动信息，计算不具有相匹配的运动信息的断层图像的运动信息。为了解决上述问题，根据本发明的ー种摄像设备的控制方法，包括以下步骤在不同的时间获取被检眼的多个眼底图像；在不同的时间获取所述被检眼的多个断层图像；根据所述多个眼底图像来计算所述被检眼的运动信息；以及基于具有相匹配的运动信息的断层图像中的、与不具有相匹配的运动信息的断层图像在时间上接近的断层图像的运动信息，计算不具有相匹配的运动信息的断层图像的运动信息。根据本发明，即使无法从眼底图像获取到被检眼的运动信息也可以计算眼球运动信息，因此可以进行适当的图像处理。通过以下參考附图对典型实施例的说明，本发明的其它特征将变得明显。
图I是根据本发明第一实施例的眼科设备的光学系统结构的示意图。图2是根据本发明第一实施例的设备的功能系统的示意图。图3是根据本发明的第一实施例和第二实施例的眼球运动的示意图。图4是根据本发明第一实施例的SLO图像和OCT图像的示意图。图5是根据本发明第二实施例的SLO图像和OCT图像的示意图。
图6是根据本发明第二实施例的标绘有根据SLO图像所计算出的值的示意图。图7是根据本发明第二实施例的图形的示意图。
具体实施例方式现在将根据附图来详细说明本发明的优选实施例。第一实施例以下将说明本发明的第一实施例。在本实施例中，将说明如下的情况通过包含内部固视灯、使用SLO获取眼底图像、根据SLO所获取到的SLO图像确定眼球的运动量、并将该结果反映到针对OCT设备所获取的OCT图像的处理中，来获取高质量的OCT图像的叠加图像(例如，通过对多个OCT图像进行平均所获得的图像)。OCT摄像单元的结构图I是根据本实施例的摄像设备的光学系统结构的示意图。首先，将通过使用图I来说明本发明中的用于获取被检眼的断层图像的断层图像获取单元或者用作摄像单元的OC T摄像单元的光学系统结构。使用低相干光源101作为光源。作为光源101，可以适当使用超发光二极管(SLD)光源或放大自发辐射(ASE)光源。作为低相干光源，适当使用850nm或1050nm附近的波长来进行眼底拍摄。在本实施例中，使用中心波长为840nm且波长半值宽度为45nm的SLD光源。从低相干光源101发射出的低相干光经由光纤入射到光纤耦合器102并被分割成測量光(0CT光束)和參考光。这里示出使用光纤的干渉仪结构，但还可以采用在空间光光学系统中使用分束器的结构。測量光经由光纤103从光纤准直器104作为平行光出射。出射的測量光在经由OCT扫描器(Y) 105和中继透镜106、107之后进ー步穿过OCT扫描器(X) 108，并且在透过ニ色分束器109之后穿过扫描透镜110、分色镜111和目镜112以照射到被检眼e上。使用检流计扫描器(galvano-scanner)作为OC T扫描器(X) 108和OCT扫描器(Y) 105。被检眼e中的測量光由视网膜反射并且通过穿过相同的光路返回至光纤耦合器102。參考光从光纤耦合器102被引导至光纤准直器113并被转换成平行光，之后出射。出射的參考光穿过色散校正玻璃114并且由光路长度可变台115上的參考镜116反射。由參考镜116反射的參考光通过穿过相同的光路返回至光纤耦合器102。
所返回的測量光和參考光由光纤耦合器102合成并被引导至光纤准直器117。这里，该合成光被称为干涉光。分光器包括光纤准直器117、光栅118、透镜119和线传感器120。该分光器将干涉光測量为针对各波长的强度信息。将线传感器120測量出的针对各波长的强度信息传送至后面所述的CPU 201，其中，在CPU 201中，将该强度信息生成为被检眼e的断层图像。SLO摄像单元的结构接着，将通过同样地使用图I来说明本发明中的用于获取被检眼的眼底图像的眼底图像获取単元或者用作摄像单元的SLO摄像单元的光学系统结构。作为激光光源130，可以适当使用半导体激光或SLO光源。不限制要使用的波长，只要光源具有可以利用二色分束器109与OCT用的低相干光源101的波长分离开的波长即可，但适宜使用有利于眼底图像的图像质量的700nm IOOOnm的近红外波段。在本实施例中，使用波长为760nm的半导体激光。从激光光源130发射出的激光束(SL0光束)经 由光纤131从光纤准直器132作为平行光出射，并且经由穿孔镜(环形镜)133和透镜134被引导至SLO扫描器(Y) 135。该激光束经由透镜136、137穿过SLO扫描器(X) 138并且由二色分束器109反射，之后入射到目标被检眼e。二色分束器109被配置为允许OCT光束透过，同时反射SLO光束。如同OCT摄像单元那样，使用检流计扫描器作为SLO摄像单元中的扫描器。已入射到被检眼e的SLO光束利用该光束照射被检眼e的眼底。该光束由被检眼e的眼底反射或散射并且通过穿过相同的光路返回至环形镜133。环形镜133的位置与被检眼e的光瞳位置呈共轭，并且对眼底进行照射所利用的光束的背散射光中穿过光瞳外周的光被环形镜133反射以经由透镜139在雪崩光电ニ极管(APD) 140上形成图像。基于APD140的強度信息，CPU 201生成眼底的平面图像。在本实施例中，使用通过利用某种光斑半径的光束照射眼底并进行扫描来获得眼底图像的SL0，但还可以使用利用线光束的线型SLO (LSLO)的结构。内部固视灯在本实施例中，具有用以使被检眼e进行注视以稳定固视微动的内部固视灯。如同OCT摄像单元和SLO摄像单元那样，将通过使用图I来说明该内部固视灯。发光二极管(LD)用作内部固视灯所使用的光源150。通过经由后面所述的CPU201的控制适合于要拍摄的区域来改变发光二极管的点亮位置。以发光二极管150的500nm波长从光源发射出的光束穿过透镜151和分色镜111，之后利用该光束照射被检眼e。分色镜111位于扫描透镜110和目镜112之间并将波长分割成短波长(约500nm)的光以及OCT光束和SLO光束(700nm以上)。单元结构图2示出本实施例所使用的功能系统。该功能系统包括CPU 201，用于控制整体设备；控制器202、203，用于分别控制SLO摄像单元和OCT摄像单元；固视灯208 ；APD204(140)和线传感器205(120)，用于分别获取SLO图像和OCT图像；显示单元206，用于显示系统状态和所拍摄图像；以及记录单元207，用于记录眼底图像和拍摄条件。为了拍摄眼底，对固视灯208进行控制以使眼睛注视该固视灯从而能够拍摄所期望的眼底区域，CPU201向控制器202、203发出各种拍摄条件，并且驱动各扫描器以拍摄眼底。在拍摄了眼底之后，将该眼底的图像从APD 204和线传感器205发送至CPU 201，并且在对该图像进行了处理之后，显示单元206显示该图像并且同时或者随后将该图像存储在记录单元207中。眼球运动如果测量出眼球在眼底平面方向上的运动量，则检测到如图3的实线所示的运动。在该测量期间，对固视灯进行控制，以使得被检体的注视区域在虚线307周围。通常，对该运动进行如下粗略划分作为高速直线运动的微扫视301、306 ;作为略慢运动的漂移302、304 ;以及在漂移期间以高速微小振动的震颤303、305。运动的运动速度和频率依赖于个体，并且认为微扫视为3mm/sec、即比约ΙΟΟμπι/sec的漂移快的量级。微扫视的周期约为每3秒I次或2次。漂移总是持续运动。震颤是振幅为5 μ m的微小运动并且以约IOOHz的周期运动。
具体例子使用上述设备，OCT摄像单元被配置为能够以40Hz的断层图像获取速率来获取8X3mm2的图像，并且SLO摄像单元被配置为能够以20Hz的眼底图像获取速率来获取8X6mm2的图像。图4示出各摄像单元所获取到的图像。在获取I个SLO图像的时间内可以获取2个OCT图像。在測量完成之后，根据在不同的时间所获得的多个图像中的各SLO图像S-I S-4 S-n(n:整数)来计算眼球的运动。根据该计算方法，基于作为SLO图像的S-I和S-2的图像利用光流来计算眼球的运动量。接着，还根据SLO图像S-2和S-3来计算眼球的运动量，并且顺次重复上述过程以计算眼球的运动量作为运动信息。该用于根据多个眼底图像计算运动信息的步骤由CPU 201的用作计算单元的部分来执行。假定与SLO图像S-I相对应的OCT图像是0_2并且与SLO图像S_2相对应的OCT图像是0-4。因而，与SLO图像S-n相对应的OCT图像是0_2n。同样在不同的时间获取到多个OCT图像。当将OCT图像叠加时，基于SLO图像而存在位置信息的OCT图像被叠加在考虑到眼球的运动量的位置处。此时，将所计算出的运动信息和获得该信息的SLO图像与相应的OCT图像相匹配。该匹配操作由CPU 201的用作匹配単元的部分来进行。換言之，该匹配单元使运动信息和断层图像相匹配。如果y方向上的位置信息超过预设的基准值，则认为图像不适合作为要叠加的图像并且不用于进行叠加。此外，通过使用在前SLO图像S-(n-l)和在后SLO图像S-n的位置信息的平均值并反映位置信息来叠加不存在相应的SLO图像的OCT 图像 0-(2n-l)。计算单元使用与在时间上接近不匹配OCT图像的、即紧挨在获取到该不匹配OCT图像的时间之前和之后所获取到的OCT图像相匹配的运动信息来计算要与不匹配OCT图像相匹配的运动信息。即，计算単元基干与运动信息相匹配的断层图像中的和与运动信息不匹配的断层图像在时间上接近的断层图像的运动信息，计算不匹配断层图像的运动信息。如果SLO图像的获取速率和OCT图像的获取速率显著不同并且仍存在无法与运动信息相匹配的OCT图像，则可以使用已匹配并且在时间上位于这种不匹配OCT图像之前或之后的任意OCT图像。因而，通过使用通过根据存在位置信息的图像执行计算所确定的位置信息，不存在位置信息的OCT图像的叠加可以实现质量更高的图像。CPU 201的用作合成単元的部分通过实际叠加和合成OCT图像来进行多个断层图像的叠加。第二实施例在本实施例中，将说明如下的例子通过包含内部固视灯、SLO摄像单元和OCT摄像単元、根据SLO图像检测眼球的运动、对眼球的运动量进行插值、确定所有OCT图像的位置信息、基于微扫视和y方向上的运动量(Ay的值)选择要使用的OCT图像、并且考虑到眼球的运动来叠加这些OCT图像，来获得高质量的OCT图像。设备结构与第一实施例相同，因而将不重复对该设备结构的说明。在本实施例中，OCT摄像设备被配置为能够以60Hz获取8X3mm2的图像并且SLO摄像单元被配置为能够以20Hz获取8X6mm2的图像。图5示出各摄像单元所获取到的图像。在获取I个SLO图像的时间内可以获取3个OCT图像。在測量完成之后，根据各SLO图像来计算眼球的运动。本实施例中，通过模板匹配来计算眼球的运动。从最初的SLO图像中提取作为特征点的血管的两个位置。例如，在S-I/图像中T-I和T-2是特征点。根据各SLO图像的模板位置信息来计算眼球的运动量。以40Hz来获得眼球的位置信息。将眼球的特定运动量表示为与X和y各自有关的图形。图6示出该結果。如图7所示，CPU 201的用作图形绘制単元的部分对图6进行插值(图形绘制)。用作显示单元的显示装置206显示由该图形绘制单元绘制为图形的运动信息。在本实施例中，通过使用多项式近似来绘制图像。通过使用图7的信息，可以按反映了漂移和微扫视的近似来确定OCT图像(a) ⑴的眼球的位置信息。可以根据相对于时间的位置信息来获得获取到OCT图像时的位置信息。在本实施例中，当眼球在y方向上运动了100 μ m以上时，相应的OCT图像不用于进行叠加。在本实施例中，根据图形自动计算出的I μ m/msec以上的运动被判断为微扫视，以从要叠加的图像的集合自动去除该OCT图像，但用户还可以从所显示图形中选择该用户不应当用于进行叠加的OCT图像。可以通过进行上述处理并将OCT图像叠加来获取高质量的OCT图像。在本实施例中，在插值方法中使用多项式近似，但还可以使用诸如样条插值和线性插值等的其它插值方法。第三实施例在第一实施例和第二实施例中，通过使用不存在位置信息的OCT图像之前和之后的OCT图像的位置信息来确定该OCT图像的位置信息。在本实施例中，作为对比，根据紧挨在要确定位置信息的OCT图像之前的多个位置信息来预测该OCT图像的位置信息，并且如果所预测出的位置信息相对于第一实施例中所确定的位置信息的差大，则不使用该所确定的位置信息。设备结构与第一实施例相同，因而将不重复对该设备结构的说明。在图4中，分别根据SLO图像S-I和S_2来确定OCT图像0_2和0_4的位置信息，以及根据OCT图像0-2和0-4来确定OCT图像0-3的位置信息，因而将说明OCT图像0_3的位置信息的情況。首先，根据OCT图像0-1和0-2的位置信息来预测OCT图像0_3的位置信息。即，如果不存在与OCT图像相匹配的运动信息(0CT图像中的位置信息)，则根据已匹配了的并且在不具有匹配运动信息的OCT图像之前拍摄到的OCT图像的位置信息，预测不具有匹配 运动信息的OCT图像的位置信息。CPU 201的用作预测单元的部分进行该预测操作。
接着，根据OCT图像0-2和0-4的位置信息来确定OCT图像0_3的位置信息。通过将所预测出的位置信息和所确定的位置信息进行比较来确定偏移，并且如果该偏移在预设范围内，则所确定的位置信息相匹配且被存储为OCT图像0-3的位置信息。CPU 201的用作比较单元的部分进行该用以确定偏移的操作，其中该部分用于将上述的预测单元所预测出的运动信息与上述的计算单元所获得的运动信息进行比较。因此，即使在拍摄到眼底图像时发生不能预测的眼睛的大幅运动的情况下，也可以判断该图像是否适合于叠加。其它实施例在第一实施例中，与根据SLO图像S-I所获得的位置信息相对应的OCT图像是图4中的0-2。同样，与下一 SLO图像S-2相对应的OCT图像是0-4。在第一实施例中，将位置信息与通过用于获取SLO图像的扫描的后半部分所获取到的OCT图像相匹配，但可以将位置信息与通过扫描的前半部分所获取到的OCT图像相匹配。 在第二实施例中，与根据SLO图像所获得的位置信息T-I相对应的OCT图像是图5中的(a)，并且与通过扫描的后半部分所获得的位置信息T-2相对应的OCT图像是图5中的(b)。将位置信息与在获取到该位置信息的时刻所获取到的OCT图像相匹配。在各实施例中，使用内部固视灯，但还可以使用外部固视灯。当使用外部固视灯吋，固视比使用内部固视灯时更不稳定。此外，眼底摄像设备不限于SLO并且可以是眼底照相机或LSLO。通过上述处理所确定的位置信息不仅可以用于进行图像的叠加处理，还可以用于创建三维视网膜断层图像、即三维断层图像的情況。例如，当在y轴方向上等距地获取到OCT图像时，无论眼球的运动如何都构成了三维断层图像，而且可以通过进行这些实施例所述的处理以在适当位置形成图像来获取更加精确的三维断层图像。在这种情况下，CPU 201的用作生成単元的部分使用与上述运动信息相匹配的多个断层图像来生成三维断层图像。该操作通过确定根据运动信息所获得的三维位置信息并使用该三维位置信息来进行。在第一实施例和第二实施例中，根据SLO图像来确定眼球的运动量并且与OCT图像相匹配，并且说明了不匹配OCT图像的处理，并且当由于一部分的SLO图像的质量差(当获取到特定SLO图像等时发生眼球的大幅运动)而无法确定眼球的运动量时，可以应用该处理。在第一实施例中，考虑到数据插值，断层图像的获取速率是，眼底图像的获取速率的整数倍。然而，如果如同第二实施例那样、可以通过绘制图形来确定位置信息，则OCT摄像単元的速率可以不是SLO摄像单元的速率的整数倍。可以使用与上述近似不同的近似来进行插值。对于用于不是通过模板匹配或光流来进行位置检测的算法，也可以获得相同的效
果O本发明还通过进行以下的处理来实现。即，该处理是用于将实现上述实施例的功能的软件(程序)经由网络或各种存储介质供给至系统或设备的处理，其中该系统或设备的计算机(或者CPU或MPU)读取并执行该程序。尽管已经參考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1.ー种摄像设备，包括 眼底图像获取単元，用于在不同的时间获取被检眼的多个眼底图像； 断层图像获取单元，用于在不同的时间获取所述被检眼的多个断层图像；以及 计算单元，用于根据所述多个眼底图像来计算所述被检眼的运动信息， 其中，所述计算単元基于具有相匹配的运动信息的断层图像中的、与不具有相匹配的运动信息的断层图像在时间上接近的断层图像的运动信息，计算不具有相匹配的运动信息的断层图像的运动信息。
2.根据权利要求I所述的摄像设备，其特征在于，还包括匹配単元，所述匹配単元用于将所计算出的运动信息与所述断层图像相匹配。
3.根据权利要求I所述的摄像设备，其特征在于，还包括合成単元，所述合成単元用于合成具有相匹配的运动信息的多个断层图像。
4.根据权利要求I所述的摄像设备，其特征在于，还包括生成単元，所述生成単元用于通过使用具有相匹配的运动信息的多个断层图像来生成三维断层图像。
5.根据权利要求4所述的摄像设备，其特征在于，根据所述运动信息来确定三维位置信息，并且基于所确定的三维位置信息来生成所述三维断层图像。
6.根据权利要求I所述的摄像设备，其特征在于，所述断层图像获取単元的断层图像获取速率是所述眼底图像获取単元的眼底图像获取速率的整数倍。
7.根据权利要求I所述的摄像设备，其特征在于，还包括 用于绘制与所述断层图像相匹配的运动信息的图形的単元；以及 显示单元，用于显示所述运动信息作为所述图形。
8.根据权利要求I所述的摄像设备，其特征在于，还包括 预测单元，用于根据与在不具有相匹配的运动信息的断层图像之前拍摄到的多个断层图像相匹配的运动信息，预测该不具有相匹配的运动信息的断层图像的运动信息；以及比较单元，用于将所述预测単元预测出的运动信息与所述计算单元计算出的运动信息进行比较， 其中，基于所述比较单元的比较结果将该不具有相匹配的运动信息的断层图像与所计算出的运动信息相匹配。
9.ー种摄像设备的控制方法，包括以下步骤 在不同的时间获取被检眼的多个眼底图像； 在不同的时间获取所述被检眼的多个断层图像； 根据所述多个眼底图像来计算所述被检眼的运动信息；以及 基于具有相匹配的运动信息的断层图像中的、与不具有相匹配的运动信息的断层图像在时间上接近的断层图像的运动信息，计算不具有相匹配的运动信息的断层图像的运动信息ο
全文摘要
本发明提供一种摄像设备及其控制方法。在用于获取眼底断层图像和眼底图像的眼科设备中向眼底的断层图像提供适当的位置信息。对包括眼底摄像设备的眼科设备提供用于根据眼底图像来计算眼球的运动信息的计算单元、以及用于将所计算出的运动信息与眼底断层图像相匹配的匹配单元，以获取被检眼的运动量，其中该计算单元根据眼底断层图像前后的断层图像的运动信息来计算不具有进一步进行匹配的运动信息的眼底断层图像的运动信息，以使得根据眼底断层图像前后的断层图像的运动信息来计算要与原始不具有运动信息的眼底断层图像相匹配的运动信息。
文档编号A61B3/12GK102670166SQ201210064118
公开日2012年9月19日 申请日期2012年3月12日 优先权日2011年3月10日
发明者牧平朋之 申请人:佳能株式会社