图像显示设备、图像显示方法和摄像系统的制作方法

图像显示设备、图像显示方法和摄像系统的制作方法
【专利摘要】一种图像显示设备，其获得通过拍摄眼底的多个摄像区域所获得的多个运动图像和通过拍摄所述眼底的包括所述多个摄像区域的区域所获得的广视角图像。所述多个运动图像各自与基于拍摄运动图像时所获得的生物医学信号的脉冲数据相关联。所述图像显示设备将所述多个运动图像的各运动图像的至少一个帧叠加并显示在所述广视角图像上的基于与所述多个摄像区域的位置有关的信息所确定出的位置处。在所述叠加/显示操作中，所述图像显示设备在基于所述脉冲数据所同步的显示时刻处显示所述多个运动图像。
【专利说明】图像显示设备、图像显示方法和摄像系统

【技术领域】
[0001] 本发明涉及一种适用于眼科诊疗的图像显示设备、图像显示方法和摄像系统。

【背景技术】
[0002] 为了对与生活方式相关的疾病和作为致盲主要原因的其它疾病进行早期治疗的 目的，广泛进行眼部检查。用作基于共焦激光显微镜的原理的眼科设备的扫描激光检眼镜 (Scanning Laser Ophthalmoscope, SL0)利用用作测量光的激光束对眼底进行光栅扫描， 并且基于返回光束的光强度快速获得高分辨率平面图像。下面将用于拍摄平面图像的这类 设备称为SL0设备。下面将该平面图像称为SL0图像。
[0003] 近年来，通过在SL0设备中增大测量光的光束尺寸，使得可以获得横向分辨率提 高的视网膜的SL0图像。然而，随着测量光的光束尺寸的增大，在获得视网膜的SL0图像时， 平面图像的分辨率和SN比由于待检眼的像差而降低。为了解决该问题，开发了包括自适应 光学系统的自适应光学SL0设备，其中，自适应光学系统用于使得波前传感器实时测量待 检眼的像差，并且使得波前校正装置对在待检眼处发生的测量光及其返回光束的像差进行 校正。这类自适应光学SL0设备可以获得高横向分辨率SL0图像。
[0004] 对于血液动力学，比较和观察血管异常的好发部位和其它部位（正常部位）的血 管直径和血球速度，对于诊断和经过观察来说是有用的。由于视网膜血管相对于视神经乳 头在垂直方向上对称，因而用于检测眼病的早期症状的方法之一是比较上部和下部的血管 直径和血球速度。
[0005] 在上述比较和观察操作中，为了充分了解疾病的进展，重要的是识别与运动图像 的摄像区域外部的解剖学部位/病变或者正常部位的位置关系。因此，附加地获得广视角 图像以用于该比较和观察操作（参考日本特开2010-259543 (以下称为文献1))。注意，血管 直径或者血流速度可能由于诸如（除由疾病所引起的变化以外的）心动周期、运动或者体 温变化等的正常活体反应而变化。因此，为了比较在不同摄像位置处所拍摄的图像，需要在 这类活体反应的影响几乎相等的情况下拍摄图像。也就是说，需要获得拍摄图像时诸如脉 波等的生物医学信号数据（脉冲数据）、并且分别比较心脏舒张末期时（当血管直径最大、 并且血流速度最低时）的血管直径和血流速度。为了比较摄像位置不同的多个运动图像， 除由于活体反应所导致的变化以外、还需要避免诸如固视期间的眨眼或者无意识眼动等的 眼球/眼睑运动的影响，并且还需要校正由于诸如摄像设备的像差校正位置的差异等的摄 像条件的差异所导致的图像特征的差异。
[0006] 作为用于在被检者的活体反应的影响几乎相等的情况下同时显示多个运动图像 的方法，日本特开2011-005312(以下称为文献2)记载了这样一种技术：该技术用于根据心 脏脉搏来同时显示按照时间序列排列的多个诊断图像。
[0007] 然而，文献2仅记载了用于同时显示同一部位的多种类型的运动图像、或者同一 部位不同摄像时刻的运动图像的技术，但是没有说明用于将这些图像的位置与广视角图像 上的位置相关联的技术。文献2所述的技术是用于超声波诊断设备的分析/显示技术，但 是并没有考虑显示眼科图像应考虑的显示调整，即没有考虑固视期间的眨眼或者无意识眼 动的影响以及摄像设备的像差校正位置等。
[0008] 文献1记载了用于将自适应光学SL0图像的摄像区域叠加并显示在宽范围眼底图 像上的技术，然而该技术用于单个SL0图像的处理，并且没有考虑用于进行摄像位置不同 和摄像时刻不同的SL0图像之间的显示调整的技术。


【发明内容】

[0009] 本发明的实施例提供一种用于通过使得能够容易地比较和观察眼底的多个摄像 区域中所拍摄的多个运动图像以支持适当诊断的图像显示设备及其方法。
[0010] 根据本发明的一个方面，提供一种图像显示设备，包括：图像获得部件，用于获得 广视角图像和多个运动图像，其中所述多个运动图像是通过拍摄眼底的多个摄像区域所获 得的、并且各自与基于拍摄该运动图像时所获得的生物医学信号的脉冲数据相关联，以及 所述广视角图像是通过拍摄所述眼底的包括所述多个摄像区域的区域所获得的；显示部 件，用于将所述多个运动图像的各运动图像的至少一个帧叠加并显示在所述广视角图像上 的基于与所述多个摄像区域的位置有关的信息所确定出的位置处；以及同步部件，用于基 于所述脉冲数据，使利用所述显示部件的所述多个运动图像的显示时刻同步。
[0011] 此外，根据本发明的另一方面，提供一种图像显示设备的图像显示方法，包括以下 步骤：获得广视角图像和多个运动图像，其中所述多个运动图像是通过拍摄眼底的多个摄 像区域所获得的、并且各自与基于拍摄该运动图像时所获得的生物医学信号的脉冲数据相 关联，以及所述广视角图像是通过拍摄所述眼底的包括所述多个摄像区域的区域所获得 的；叠加显示步骤，用于将所述多个运动图像的各运动图像的至少一个帧叠加并显示在所 述广视角图像上的基于与所述多个摄像区域的位置有关的信息所确定出的位置处；以及基 于所述脉冲数据，使所述叠加显示步骤的所述多个运动图像的显示时刻同步。
[0012] 通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。

【专利附图】

【附图说明】
[0013] 图1是示出根据第一实施例的图像显示设备10的功能结构的示例的框图；
[0014] 图2是示出包括根据第一实施例的图像显示设备10的摄像系统的结构的示例的 框图；
[0015] 图3是示出能够执行根据实施例的图像显示方法的计算机的硬件结构的示例的 框图；
[0016] 图4是示出由根据第一实施例的图像显示设备10所执行的处理的流程图；
[0017] 图5A?5E是用于说明根据第一实施例的图像显示内容的图；
[0018] 图6是示出根据第一实施例的步骤S430中所执行的处理的流程图；
[0019] 图7A和7B是用于说明根据第一实施例的步骤S430中所执行的同步处理的图；
[0020] 图8是示出根据第二实施例的图像显示设备10的功能结构的示例的框图；
[0021] 图9是示出由根据第二实施例的图像显示设备10所执行的处理的流程图；
[0022] 图10A?10C是示出根据第二实施例的步骤S920中所执行的处理的流程图；
[0023] 图11是示出根据第三实施例的图像显示设备10的功能结构的示例的框图；
[0024] 图12是示出由根据第三或第四实施例的图像显示设备10所执行的处理的流程 图；
[0025] 图13是示出根据第三实施例的步骤S1240中所执行的处理的流程图；
[0026] 图14是示出根据第四实施例的图像显示设备10的功能结构的示例的框图；以及
[0027] 图15是示出根据第四实施例的步骤S1240中所执行的处理的流程图。

【具体实施方式】
[0028] 下面参考附图，详细说明根据本发明的图像显示设备和方法的优选实施例。注意， 本发明不局限于此。
[0029] 第一实施例
[0030] 基于脉波数据，根据第一实施例的图像显示设备将摄像位置不同的多个SL0运动 图像同时显示在基于广视角图像上的摄像位置信息的位置处。在多个SL0运动图像中固视 差异、眨眼或者像差校正失败的影响几乎相等的情况下，进行该同步显示操作。
[0031] 更具体地，图像显示设备拍摄不同摄像位置处的多个SL0运动图像Di(i = 1， 2，……，n0)，并且分别在拍摄SL0运动图像Di时获得脉波数据Pi(i = 1，2，……，n0)。 此后，图像显示设备根据各SL0运动图像Di来判断受到了固视差异或眨眼等的影响的例外 帧，并且基于相应脉波数据Pi的极值来从SL0运动图像Di中选择要显示的帧编号序列。此 时，设备选择要显示的帧编号序列以排除所确定的例外帧。图像显示设备针对所选择的帧 编号序列的帧组调整SL0运动图像Di之间的重放速度，并且基于拍摄图像时所获得的固视 目标位置Fi (i = 1,2, ......，nO)将该巾贞组同时显示在广视角SL0图像W上。该处理使得 由于诸如脉动或眨眼等的活体反应以及诸如像差校正位置的差异等的摄像条件的不同所 引起的图像特征的变化的影响在SL0运动图像Di之间几乎相同。另外，可以在理解与摄像 位置不同和摄像时刻不同的SL0运动图像Di的摄像区域外的疾病进展和解剖学部位的关 系的同时，比较和观察这些SL0运动图像Di之间的血管形状变化和血球动态。
[0032] 例如，图5B和5C示出通过在图5A所示的眼底上拍摄近中央凹D1和D2的区域所 获得的平面图像的例子。可以获得这类高横向分辨率的SL0图像，作为在从各帧提取视网 膜血管和血球之后测量毛细血管中的血球移动速度来非侵入性地观察血液动力学所使用 的运动图像（SL0运动图像）。此外，为了根据这些平面图像评价与视觉功能的关系，可以检 测光感受细胞，然后可以测量这些光感受细胞的密度分布和排列。在本实施例中，如图5D 所示，将SL0运动图像D1和D2同时显示在广视角SL0图像W上。
[0033] 图2是示出包括根据本实施例的图像显示设备10的摄像系统的结构的示例的框 图。在图2所示的摄像系统中，经由由光纤、USB或IEEE1394等所形成的局域网（以下称 为LAN 40)，将图像显示设备10与SL0设备20、脉冲数据获得设备30和数据服务器50相 连接。注意，可以经由诸如因特网等的外部网络将设备10与这些设备连接。一个设备可以 实现图像显示设备10、SL0设备20、脉冲数据获得设备30和数据服务器50中的一部分。例 如，一个信息处理设备可以包括图像显示设备10和数据服务器50。
[0034] 在图2中，SL0设备20用作用于通过利用激光束扫描眼底来拍摄眼底区域的平面 图像（SL0运动图像）的扫描激光检眼镜，并且包括自适应光学系统（还称为像差校正装 置）。SL0设备20拍摄摄像位置不同的SL0运动图像Di，并且经由LAN 40将上述SL0运动 图像Di和与拍摄这些运动图像所使用的固视目标位置Fi有关的信息发送给图像显示设备 10和数据服务器50。用作自适应光学扫描激光检眼镜（AO-SLO)的SLO设备20包括SLD、 夏克-哈特曼波前传感器、自适应光学系统、第一分束器和第二分束器、X-Y扫描镜、调焦透 镜、光圈、光学传感器、图像形成单兀和输出单兀。通过眼底来反射由用作光源的SLD (Super Luminescent Diode,超发光二极管）所发射的光。反射光中的一部分经由第二分束器入射 至夏克-哈特曼波前传感器，并且其余的光经由第一分束器入射至光学传感器。夏克-哈 特曼波前传感器是用于测量眼的像差的装置，并且CCD被连接至透镜阵列。当入射光穿过 透镜阵列时，亮点组出现在(XD上，从而基于投影的亮点的位置偏移（misregistration)来 测量波像差。基于通过夏克-哈特曼波前传感器所测量到的波像差，自适应光学系统驱动 像差校正装置（可变形镜或者空间光相位调制器）来校正像差。经过了像差校正的光经由 调焦透镜和光圈进入光学传感器。可以通过移动X-Y扫描镜来控制眼底上的扫描位置，从 而获得时间（帧频X帧的数量）和操作者预先所指定的摄像对象区域的数据。将该数据 发送给图像形成单元，其中，图像形成单元通过校正由于扫描速度的变化所导致的图像失 真或者校正亮度值来形成图像数据（运动图像或者静止图像）。输出单元输出通过图像形 成单元所形成的图像数据。为了聚焦于眼底上的特定深度位置，可以进行以下调整中的至 少一个：使用自适应光学系统的像差校正装置的调整以及通过在该光学系统中配置焦点调 整透镜（未示出）并移动该透镜的调整。注意，可以使用诸如包括自适应光学系统或像差 校正装置的眼底照相机等的眼科设备来代替SL0设备20。
[0035] 脉冲数据获得设备30用来获得自律地改变的生物医学信号数据（脉冲数据），并 且包括例如脉搏计或者心电图仪。在本实施例中，由于使用脉波数据作为脉冲数据，因而将 上述脉波数据Pi描述为脉冲数据Pi。响应于操作者（未示出）的操作，脉冲数据获得设备 30获得脉冲数据Pi以及SL0运动图像Di。经由LAN 40将所获得的脉冲数据Pi发送给图 像显示设备10和数据服务器50。
[0036] 数据服务器50保持待检眼的SL0运动图像Di、诸如固视目标位置Fi等的摄像条 件数据、脉冲数据Pi和来自图像显示设备10的信息。也就是说，数据服务器50存储广视 角图像W、从SL0设备20输出的SL0运动图像Di和固视目标位置Fi、从脉冲数据获得设备 30输出的脉冲数据Pi和从图像显示设备10输出的信息（图4的步骤S460)。此外，响应 于来自图像显示设备10的请求，数据服务器50经由LAN 40将广视角图像W、SL0运动图像 Di、脉冲数据Pi、眼部的图像特征和这些图像特征的正常值数据发送给图像显示设备10。 尽管下面将说明图像显示设备10从SL0设备20和脉冲数据获得设备30获得SL0运动图 像和脉冲数据、并且执行图像显示处理的结构，但是本发明不局限于此。显而易见地，例如， 图像显示设备10可以获得存储在数据服务器50中的SL0图像及与其相关联的脉冲数据， 并且执行下面将说明的图像显示处理。
[0037] 将参考图3说明图像显示设备10的硬件结构。参考图3,附图标记301表示中央 处理单元（以下称为CPU 301)，附图标记302表示可读写存储器（以下称为RAM 302)，附 图标记303表示控制存储器（以下称为ROM 303)，以及附图标记304表示外部存储装置。 此外，参考图3,附图标记305表示监视器，附图标记306表示键盘，附图标记307表示指示 装置（例如鼠标），以及附图标记308表示接口。上述各个单元经由总线309相互通信连 接。外部存储装置304存储用于实现根据本实施例的图像处理功能的控制程序以及执行控 制程序所要使用的数据。在必要时，在CPU 301的控制下，经由总线309将控制程序和数据 加载到RAM 302,并且通过CPU 301来执行，从而用作下面将参考图1所述的各单元。
[0038] 现参考图1说明根据本实施例的图像显示设备10的功能结构。图1是示出根据 第一实施例的图像显示设备10的功能结构的框图。图像显示设备10包括图像获得单元 110、脉冲数据获得单元120、存储器单元130、图像处理单元140和指示获得单元150。图像 处理单元140包括摄像位置信息获得单元141、例外巾贞判断单元142、同步单元143和显示 单元144。同步单元143包括脉冲数据分析单元1431、图像选择单元1432和帧间隔调整单 元1433。下面将与图4的流程图所示的图像显示设备10的具体执行程序相关联地说明图 像显示设备10的各块的功能。
[0039] 〈步骤S410>图像获得单元110和脉冲数据获得单元120获得通过拍摄眼底的多 个摄像区域所获得的多个运动图像（SL0运动图像）和通过拍摄包括这多个区域的区域所 获得的广视角图像。注意，将这多个运动图像与基于拍摄图像时分别获得的生物医学信号 的脉冲数据相关联地存储在存储器单元130中。更具体地，脉冲数据获得单元120请求脉冲 数据获得设备30获得与生物医学信号相关联的脉冲数据Pi。在本实施例中，使用脉搏描记 器作为脉冲数据获得设备30,以从被检者的耳垂获得脉波数据作为脉冲数据Pi。注意，如 图5E所示，将脉冲数据Pi表示为点的序列，其中，这些点的序列具有表示获得时间（t)的 横轴和表示通过脉搏描记器所测量到的脉波信号值（P)的纵轴。响应于来自脉冲数据获得 单元120的获得请求，脉冲数据获得设备30获得相应的脉冲数据Pi、并且发送该数据。然 后，脉冲数据获得单元120经由LAN 40从脉冲数据获得设备30接收脉波数据Pi。脉冲数 据获得单元120将所接收到的脉冲数据Pi存储在存储器单元130中。
[0040] 与用于获得脉冲数据的处理同时地，图像获得单元110请求SL0设备20获得广视 角SL0图像（以下称为广视角图像W)、多个不同固视目标位置Fi处所拍摄的摄像位置不 同的多个SL0运动图像Di、以及固视目标位置Fi的数据。在本实施例中，SL0设备20通过 将固视目标位置设置在近中央凹和黄斑区域的广视角图像W的鼻侧（F1)、耳侧（F2)、上侧 (F3)和下侧（F4)这四个位置，来顺序获得SL0运动图像Di(Dl?D4)。注意，摄像位置设 置方法不局限于此，并且可以将摄像位置设置在任意位置处。
[0041] 为了将SL0运动图像分别与基于拍摄这些SL0运动图像时所获得的生物医学信号 的脉冲数据相关联，
[0042] ?图像获得单元110可以根据脉冲数据获得设备30所获得的脉冲数据Pi的给定 相位来开始获得SL0运动图像Di ;或者
[0043] ?图像获得单元110可以紧挨在发出用于获得SL0运动图像Di的请求之后，同时 开始获得脉波数据Pi和SL0运动图像Di。在本实施例中，假定图像获得单元110紧挨在发 出用于获得SL0运动图像Di的请求之后开始获得脉冲数据Pi和SL0运动图像Di。
[0044] 响应于来自图像获得单元110的获得请求，SL0设备20获得广视角SL0图像（以 下称为广视角图像W)、SL0运动图像Di和固视目标位置Fi，以发送它们。图像获得单元110 经由LAN 40从SL0设备20接收广视角图像W、SL0运动图像Di和固视目标位置Fi。图像 获得单元110将所接收到的广视角图像W、SL0运动图像D和固视目标位置Fi存储在存储 器单元130中。注意，在本实施例中，所接收到的SL0运动图像Di是经过了帧间位置对准 的运动图像。帧间位置对准表示使得邻接帧的图像处于相同位置的调整，并且通过众所周 知的技术来实现。SLO设备20包括像差校正装置，并且输出经过了像差校正的SLO运动图 像Di。注意，由于与各个位置的SL0运动图像相比，广视角图像W不需要高分辨率，因而像 差校正装置无需对该广视角图像W进行像差校正。
[0045] 〈步骤S420>例外帧判断单元142从SL0运动图像Di的各帧获得图像特征，并且 判断SL0运动图像Di的多个帧中的例外帧。在本实施例中，例外帧判断单元142获得平均 亮度值Aij和血管区域Vij，作为SL0运动图像Di的各帧j(j = 1，2，……，nl)的图像特 征。注意，所述图像特征仅是例子，并且本发明不局限于此。还应注意，可以使用任意已知 血管提取方法作为血管区域获得方法。在本实施例中，将具有等于或者小于阈值T1的区 域确定为血管区域。此外，还获得通过间隔剔除血管区域Vj所获得的点序列Bijk(k= 1， 2，……，n2)的交叉部Cijl(l = 1，……，n3)。
[0046] 例外帧判断单元142从各SLO运动图像Di检测例外帧，即亮度因眨眼而十分低的 帧、由于固视期间的无意识眼动而发生图像失真的帧、或者SN比（信噪比）由于像差校正 失败而低的帧。在本实施例中，如果平均亮度值Aij等于或者小于阈值T2,则将SL0运动图 像Di的帧j认为是由于眨眼而发生了亮度误差的帧，从而将该帧判断为例外帧。如果血管 交叉部Cijl之间的距离的平方和的值在邻接帧之间为等于或者大于阈值T3的差异，则认 为因固视期间的无意识眼动而发生了图像失真，因而将该帧判断为例外帧。此外，如果SN 比等于或者小于阈值T4,则认为发生了像差校正失败，因而将该帧判断为例外帧。
[0047] 〈步骤S430>同步单元143在（稍后说明的）步骤S440的多个SL0运动图像的重 放/显示处理中，执行用于基于脉冲数据来使各个运动图像的重放时刻同步的处理。同步 单元143从脉冲数据获得单元120获得各SL0运动图像Di的脉冲数据Pi，并且检测脉冲数 据Pi的局部最大值以计算心动周期。然后，同步单元143针对各SL0运动图像Di，获得步 骤S420中检测到的例外帧编号序列。同步单元143选择要显示的帧以排除例外帧。此外， 如果所选择的帧的心动周期在SL0运动图像Di之间存在差异，则同步单元143调整SL0运 动图像Di之间的显示帧间隔。稍后将参考图6、图7A和图7B详细说明同步单元143的处 理。
[0048] 〈步骤S440>显示单元144在广视角图像W上的基于与多个摄像区域的位置有关 的信息所确定的位置处，叠加并显示多个SL0运动图像。在第一实施例中，使用固视目标位 置作为与摄像区域的位置有关的信息。即，在同步单元143所确定的重放时刻处，显示单元 144将摄像位置不同的SL0运动图像Di同时显示在广视角图像W上的与摄像位置信息获得 单元141所获得的固视目标位置Fi相对应的位置处。摄像位置不同的运动图像Di不是被 简单配置成相对于脉波相互同步，而是将叠加并显示在广视角图像W上的相应部分处。这 样帮助作为观察者（医生等）的操作者来识别SL0运动图像Di的摄像区域外的病变、或者 摄像区域和解剖学部位之间的位置关系，从而使得观察者能够更容易且全面地了解SL0运 动图像Di上的疾病的进展。
[0049] 注意，图像显示方法不局限于此，并且可以使用任意显示方法。例如，使用已知的 特征提取方法来从SL0运动图像Di检测诸如血管区域Vi或病变区域等的特定区域，并且 可以仅将诸如血管区域Vi或病变区域等的特定区域同时显示在广视角图像W上。
[0050] 〈步骤S450>指示获得单元150获得表示是否将步骤S440所显示的广视角图像W 和SL0运动图像Di、固视目标位置Fi、例外帧编号序列和脉波的分析数据（极值和周期） 存储在数据服务器50中的指示。操作者经由例如键盘306或者指示装置307输入该指示。 如果指示了存储操作，则处理进入步骤S460,否则，处理进入步骤S470。
[0051] 〈步骤S460>图像处理单元140将检查日期/时间、用于识别待检眼的信息、广视 角图像W、SL0运动图像Di、图像组的固视目标位置Fi、例外帧编号序列和脉波的分析数据 彼此相关联地发送给数据服务器50。
[0052] 〈步骤S470>指示获得单元150获得表示是否终止图像显示设备10的SL0运动图 像的显示处理的指示。操作者经由键盘306或者指示装置307输入该指示。如果指示获得 单元150获得用于终止该处理的指示，则结束分析处理。另一方面，如果指示获得单元150 获得用于继续该处理的指示，则处理返回至步骤S410以执行针对下一待检眼的处理（或者 再次执行针对同一待检眼的处理）。
[0053] 将参考图6、图7A和图7B详细说明步骤S430所执行的同步处理。同步处理从多 个SL0运动图像的各个SL0运动图像中选择显示对象区间以限制要重放的例外帧的数量 (将要重放的例外帧的数量设置成等于或者小于预定数量（包括0))，并且同时显示所选择 的区间。
[0054] 〈步骤S610>脉冲数据分析单元1431从脉冲数据获得单元120获得各SL0运动 图像Di的脉冲数据Pi，并且检测脉冲数据Pi的局部最大值以计算心动周期。在本实施例 中，将脉冲数据中邻接的局部最大值或者局部最小值之间的时间间隔设置为心动周期。
[0055] 〈步骤S620>同步单元143获得步骤S420中通过例外帧判断单元142所判断的 SL0运动图像Di的例外帧编号序列。
[0056] 〈步骤S630>图像选择单元1432从SL0运动图像Di中选择要通过显示单元144 显示的帧编号序列，从而使得例外帧的数量尽可能地小。
[0057] 将参考图7A说明步骤S630的具体帧选择方法。参考图7A，在不同的固视目标位 置F1?F4处，获得了 SL0运动图像D1?D4。在各SL0运动图像Di中，白色部分表示不具 有任何例外帧的、包括连续帧的正常帧序列（Dioi)，灰色部分（阴影部分）表示例外帧序 列（Eipi)。此外，对于SL0运动图像Di(Dl?D4)，摄像时间段彼此相等，但是各个开始中贞 中的脉冲数据Pi的相位相互不同。在本实施例中，从Dlol(ol = 1，2)、D2〇2(〇2 = 1，2)、 D3o3(o3 = 1)和D4o4(o4 = 1，2)中的每一个中选择一个正常帧序列，从而获得共通脉冲区 间长度。从各SL0运动图像Di(Dl?D4)中选择共通脉冲的区间长度最大的脉冲区间C1 中所包括的帧编号序列。即，将如下的脉冲区间设置为共通区间，并且选择具有最长长度的 共通区间，其中该脉冲区间是所有SL0运动图像共通的，并且在该区间中，正常帧连续（不 包括例外帧）。显示单元144同时显示与各SL0运动图像的所选择的共通区间相对应的帧。 注意，在获得各SL0运动图像Di时，心动周期并非严格是恒定的。因此，将心动周期标准化， 并且配置SL0运动图像Di从而使得共通脉冲区间长度变长。
[0058] 注意，显示帧选择方法不局限于此，并且可以使用任意选择方法。例如，可以选择 以脉冲周期为单位的最长区间。在图7A的例子中，选择具有一个周期长度的最长区间C2。 可选地，可以设置例外帧序列的数量的容许值T5(在该例子中为1)，并且可以从各SL0运动 图像Di (D1?D4)中选择通过延长脉冲区间C1所获得的最长脉冲区间中所包括的帧编号 序列，其中，在该最长脉冲区间中，例外帧序列的数量等于或者小于容许值T5。例如，图7A 示出在T5 = 1时选择了最长脉冲区间C3的情况。
[0059] 〈步骤S640>帧间隔调整单元1433添加或者删除帧，从而使得至少要同步重放的 区间中的各个SL0运动图像的帧数几乎彼此相等。在本实施例中，执行下面的处理，从而使 得通过脉冲数据所表示的各周期中的帧数彼此相等。帧间隔调整单元1433获得步骤S640 从各SL0运动图像Di所选择的帧编号序列Ii中的心动周期Hi。心动周期Hi通常可能根 据SL0运动图像Di而改变，并且如图7B所示，还可以在同一 SL0运动图像内改变。在本实 施例中，将最接近正常周期的心动周期Hr (图7B中的1. 0[秒])设置为基准周期。如果给 定周期和基准周期Hr之间的差等于或者大于容许值T6,则认为该周期是不同的周期，然后 处理进入步骤S650。如果给定周期和基准周期Hr帧间的差小于容许值T6,则结束同步处 理，并且处理进入步骤S440。
[0060] 注意，用于设置基准周期Hr的方法不局限于此，并且可以使用任意设置方法。例 如，可以简单地将一般的正常值（1.0[秒])设置为基准周期，或者可以将在视觉上可易于 识别的相对大的值（5.0[秒])设置为基准周期。可选地，代替单个值，可以设置容许区间 (例如,0.9?1. 1[秒])。
[0061] 〈步骤S650>如果基准周期Hr和与帧编号序列Ii相对应的脉冲数据的心动周期 Hi之间的差等于或者大于容许值T6,则帧间隔调整单元1433执行用于调整要重放的帧的 间隔的处理（步骤S650)。在本实施例中，作为具体的重放帧间隔调整方法，
[0062] ?如果Hi〈Hr，则插入通过根据前后帧进行插值处理所生成的帧；以及
[0063] ?如果Hi>Hr，则帧数降低。
[0064] 通过执行该处理，调整帧间隔，从而使得心动周期Hi变得几乎与基准周期Hr相 等。
[0065] 如果例如选择图7B的SL0运动图像的区间710作为显示帧，则区间711具有短于 基准周期Hr (1秒）的心动周期（0. 9秒），并且区间712具有长于基准周期Hr的心动周期 (1. 1秒）。在这种情况下，在区间711中，通过每隔10个帧的插值处理，生成并插入一个帧。 在区间712中，每隔11个帧删除一个帧。
[0066] 在本实施例中，广视角图像W是静止图像，并且针对SL0运动图像Di进行步骤 S420所执行的例外帧判断处理和步骤S430所执行的同步处理。然而，本发明不局限于此。 例如，广视角图像W可以是运动图像，针对广视角图像W还可以执行与步骤S420相同的例 外帧判断处理，然后可以在广视角图像W和SL0运动图像Di之间执行同步处理。
[0067] 如上所述，根据第一实施例的图像显示设备10基于脉冲数据Pi来使摄像位置不 同的多个SL0运动图像Di同步，并且将这多个SL0运动图像Di叠加并显示在基于广视角 图像上的固视目标位置信息的位置处。此时，从显示对象中排除包括固视差异或者眨眼的 帧、或者具有低SN比的帧。这样使得可以在由于摄像条件差异以及诸如脉动或眨眼等的活 体反应所引起的图像特征的差异的影响几乎相同的情况下，观察摄像位置不同的SL0运动 图像Di之间的血管形状变化和血球动态。因此，可以在理解与多个SL0运动图像Di的摄 像区域外的疾病进展和解剖学部位的关系的同时，比较和观察这多个SL0运动图像Di。
[0068] 第二实施例
[0069] 在第一实施例中，将SL0运动图像Di基于固视目标位置Fi配置在广视角图像上。 在第二实施例中，将说明SL0运动图像基于位置对准单元145(图8)所获得的位置对准参 数更正确地配置在广视角图像W上的结构。
[0070] 因此，根据第二实施例，即使SL0运动图像Di由于固视期间的无意识眼动而在一 定程度上相对于固视目标位置Fi偏移，也可以正确地确定广视角图像W上的位置。即使图 像特征由于诸如脉动、眨眼或固视差异等的活体反应或者诸如像差校正位置差异等的摄像 条件的不同而存在差异，也可以容易地比较和观察摄像位置不同的SL0运动图像Di之间的 血管形状变化和血球动态。
[0071] 图8是示出根据第二实施例的图像显示设备10的功能框图。代替第一实施例的 摄像位置信息获得单元141，根据第二实施例的图像显示设备10设置有位置对准单元145， 并且位置对准单元145包括例外帧判断单元142。图9示出根据第二实施例的图像显示过 程。除步骤S920以外的步骤与第一实施例中的相同（图9的步骤S910和S930?S970分 别对应于图4的步骤S410和S430?S470)。下面说明步骤S920的处理。
[0072] 〈步骤S920>位置对准单元145从存储器单元130读取广视角图像W和摄像位置 不同的多个SL0运动图像Di，以进行如下操作：
[0073] ⑴对各SL0运动图像Di进行帧间位置对准；以及
[0074] (ii)进行广视角图像W和SL0运动图像Di之间的位置对准。
[0075] 下面参考图10A所示的流程图，更详细地说明在步骤S920所执行的处理。
[0076] 〈步骤S1010〉位置对准单元145设置作为SL0运动图像Di中的位置对准用的基 准的基准帧，并且使用仿射变换进行粗略位置对准（粗位置对准）。位置对准单元145还进 行非刚性位置对准作为精细位置对准。注意，在步骤S1010,例外帧判断单元142从SL0运 动图像Di中检测包括亮度误差、图像失真、低SN比或失帧的例外帧。对于所有SL0运动图 像Di执行上述帧间位置对准处理。在本实施例中，在帧间位置对准之前使用单个帧的图像 特征来判断例外帧，然后针对除例外帧以外的帧进行帧间位置对准。此后，对于经过了帧间 位置对准的帧，基于帧之间的图像特征的差异来进行例外帧判断。如上所述，在帧间位置对 准时不使用例外帧，因此可以更有效且正确地进行帧间位置对准。稍后将参考图10B所示 的流程图更详细地说明该处理。此外，由于使用经过了帧间位置对准的运动图像、基于帧之 间的差异来进行例外帧判断，因而可以更高精度地判断例外帧。
[0077] 〈步骤S1020〉位置对准单元145进行各SL0运动图像Di相对于广视角图像W的 位置对准。位置对准单元145在改变位置对准参数的情况下，计算广视角图像W和各SL0 运动图像Di之间的图像间相似度，并且使用获得最高图像间相似度的位置对准参数来确 定SL0运动图像Di相对于广视角图像W的相对位置。稍后将参考图10C所示的流程图更 详细地说明该处理。
[0078] 现参考图10B所示的流程图详细说明步骤S1010中所执行的帧间位置对准处理。
[0079] 〈步骤S1011〉例外帧判断单元142针对各SL0运动图像Di的各个帧，进行利用单 个帧的例外帧判断。在本实施例中，例外帧判断单元142计算各帧的平均亮度值Aij和SN 比SNj。如果平均亮度值Ai j等于或者小于阈值T2、或者SN比SNj等于或者小于阈值T4， 则认为发生了亮度误差、或者该帧具有低的图像质量，从而将该帧判断为例外帧。
[0080] 注意，利用单个帧的例外帧判断方法不局限于此，并且可以使用任意例外判断方 法。例如，计算通过针对各帧执行微分处理所获得的微分图像的亮度统计量（平均值、众数 或者最大值）。如果该亮度统计量等于或者小于阈值17,则可以认为该帧由于被检者的运 动而模糊，从而将该帧判断为例外帧。
[0081] 〈步骤S1012〉位置对准单元145设置作为位置对准用的基准的基准帧。在本实 施例中，位置对准单元145将除步骤S1011被判断为例外帧的帧以外的帧中具有最小帧编 号的帧设置为基准帧。注意，基准帧设置方法不局限于此，并且可以使用任意设置方法。例 如，位置对准单元145可以从指示获得单元150获得用户所指定的基准帧编号，并且将具有 该基准帧编号的帧设置为基准帧。
[0082] 〈步骤S1013〉位置对准单元145粗略地使帧的位置彼此相关联（粗位置对准）。 尽管对于粗位置对准可以使用任意位置对准方法，但是在本实施例中，使用相关系数作为 图像间相似度评价函数、并且使用仿射变换作为坐标变换方法来进行粗位置对准。
[0083] 〈步骤S1014〉位置对准单元145基于步骤S1013中获得的帧之间的粗位置对应关 系的数据来进行精细位置对准。在本实施例中，位置对准单元145针对步骤S1013中经过 了粗位置对准的运动图像Die,使用FFD(Free Form Deformation,自由变形）方法作为非 刚性位置对准方法来进行帧之间的精细位置对准。注意，精细位置对准方法不局限于此，并 且可以使用任意位置对准方法。
[0084] 〈步骤S1015〉例外帧判断单元142针对经过了步骤S1014的精细位置对准的运动 图像Dif的各帧进行例外帧判断。在本实施例中，例外帧判断单元142计算基准帧和（基准 帧以外的）各帧之间的差，从而获得差分图像的直方图。如果该直方图的平均值等于或者 大于阈值T8、并且该直方图的方差等于或者大于阈值T9,则例外帧判断单元142认为由于 固视期间的无意识眼动而暂时拍摄了眼底上的不同位置，即帧之间的移动量超过预定值， 因而将该帧判断为例外帧。
[0085] 注意，步骤S1015中使用帧之间的图像特征的差的例外帧判断方法不局限于此， 并且可以使用任意判断方法。例如，对于经过了精细位置对准的运动图像Dif的各帧，如第 一实施例那样进行血管的提取和血管交叉部Cijl的检测。在各帧中获得血管交叉部Cijl 之间的距离的平方和。如果该距离的平方和的值在邻接帧之间为等于或者大于阈值T3的 差异，则认为发生了图像失真，由此将该帧判断为例外帧。
[0086] 参考图10C所示的流程图，详细说明步骤S1020所执行的、用于进行广视角图像和 各运动图像之间的位置对准的处理。
[0087] 〈步骤S1021〉位置对准单元145从存储器单元130获得拍摄SL0运动图像Di所 使用的固视目标位置Fi，并且将其设置为广视角图像W和SL0运动图像Di之间的位置对准 时的位置对准参数的搜索起始点。在本实施例中，获得平移（X和y)、旋转Θ和倍率 s作为 位置对准参数。按照如下设置这些参数的初始值。
[0088] (x〇, y〇，Θ 0, s0) = (Fi的X成分，Fi的y成分，0,（广视角图像的像素大小/运 动图像Di的像素大小））
[0089] 〈步骤S1022〉位置对准单元145使用步骤S1021所设置的位置对准参数值（x0， y〇, 0〇，s〇)的组合作为初始值，以在改变这些参数值的组合的情况下进行广视角图像W和 SL0运动图像Di之间的位置对准。
[0090] 注意，在本实施例中，广视角图像W是静止图像，并且米用广视角图像W和SL0运 动图像Di的基准帧之间的图像间相似度最高的位置对准参数值的组合，作为SL0运动图像 Di相对于广视角图像W的相对位置。还应注意，位置对准方法不局限于此，并且可以使用任 意位置对准方法。
[0091] 在本实施例中，使用基于像素值的图像间相似度对SL0运动图像Di进行帧间位置 对准，从而获得基准帧与广视角图像W最相似的位置对准参数的组合作为广视角图像W上 的相对位置。然而，本发明不局限于此。例如，
[0092] ?可以从SL0运动图像Di的各帧或者广视角图像W来检测要观察的图像特征（诸 如病变和中心凹等的部位、以及诸如血管分支等的特征点）；以及
[0093] ?可以进行SL0运动图像Di的帧之间的、或者广视角图像W和SL0运动图像Di 之间的位置对准，从而使得图像特征的位置最精细地彼此一致。
[0094] 在本实施例中，广视角图像W是静止图像，并且进行广视角图像W和SL0运动图像 Di的基准帧之间的位置对准。然而，本发明不局限于此。例如，广视角图像W可以是运动图 像，并且可以进行广视角图像W和SL0运动图像Di之间的位置对准。在这种情况下，例如， 可以执行下面的处理。
[0095] ?在步骤S920,对于包括广视角图像W的所有运动图像进行帧间位置对准。
[0096] ?在步骤S930,执行如第一实施例所述的同步处理。
[0097] ?获得广视角图像W的帧j和SL0运动图像Di的相应帧Dij之间的图像间相似 度最高的位置对准参数的组合。对广视角图像W的各帧进行该操作，从而确定广视角图像 W上的相对位置。
[0098] 如上所述，根据第二实施例，对于各SL0运动图像，图像显示设备10在帧间位置对 准之前和之后，消除固视差异、眨眼或像差校正失败的影响，然后将SL0运动图像叠加和显 示在广视角图像W上。这样使得可以在由于摄像条件差异以及诸如脉动或眨眼等的活体反 应所引起的图像特征的差异的影响几乎相同的情况下，显示摄像位置不同的SL0运动图像 Di之间的血管形状变化和血球动态。因此，观察者可以在理解与运动图像的摄像区域外的 疾病进展和解剖学部位的关系的同时，比较和观察这些运动图像。。注意，可以使用帧间位 置对准时所获得的图像特征，将SL0运动图像Di中的包括固视差异或眨眼的帧、或者具有 低图像质量的帧判断为例外帧。可选地，可以使用例外帧判断时所获得的图像特征来进行 帧间位置对准。这样，在帧间位置对准操作和例外帧判断操作中共用图像特征，这样可以提 高处理效率。
[0099] 第三实施例
[0100] 在第三实施例中，除第二实施例的结构以外，显示单元144在摄像位置不同的SL0 运动图像Di之间以及/或者广视角图像W和各SL0运动图像Di之间调整亮度。该操作同 样在摄像位置不同的SL0运动图像Di之间或者广视角图像W和各SL0运动图像Di之间， 不仅调整位置关系和显示定时，还调整亮度特性。因此，观察者可以更容易地比较和观察血 球动态和血管形状变化。
[0101] 图11是示出根据第三实施例的图像显示设备10的功能框图。第三实施例与第二 实施例（图8)的不同在于，显示单元144包括图像间显示调整单元1441。图12是示出根 据第三实施例的图像显示处理的流程图。除步骤S1240以外的步骤与第二实施例中的相同 (图12的步骤S1210?S1230和S1250?S1270分别对应于图9的步骤S910?S930和 S950?S970)。下面说明步骤S1240的处理。
[0102] 〈步骤S1240〉图像间显示调整单元1441进行SL0运动图像Di之间的亮度调整， 并且还进行广视角图像W和各SL0运动图像Di之间的亮度调整。此外，在本实施例中，基 于通过指示获得单元150所获得的用户指示，显示单元144交互式地调整广视角图像W和 SLO运动图像Di的合成图像整体的显示定时和倍率。参考图13所示的流程图详细说明步 骤S1240所执行的处理。
[0103] 〈步骤S1310〉图像间显示调整单元1441进行SL0运动图像Di之间的亮度调整， 并且还进行广视角图像W和各SL0运动图像Di之间的亮度调整。在本实施例中，获得各 SL0运动图像Di的直方图，并且使得广视角图像W和除具有最接近理想亮度平均值Ga和亮 度方差值Ja的亮度特性的SL0运动图像Di以外的SL0运动图像的亮度值经过线性变换， 从而使得这些亮度值与SL0运动图像Di的亮度平均值Gi和亮度方差Ji 一致。可以对SL0 运动图像的任意帧、多个任意帧、或者所有帧计算直方图。
[0104] 注意，亮度调整方法不局限于此，并且可以使用任意亮度调整方法。例如，可以将 SL0运动图像Di的亮度值调整成与通过拍摄模型眼所获得的SL0运动图像Di或广视角图 像W的亮度统计量（亮度平均值和亮度方差）一致。可选地，使用已知的血管提取方法，从 各SL0运动图像Di提取血管区域Vi。生成限制于血管区域Vi的直方图Kvi，然后可以调 整亮度值以使得基于直方图Kvi所计算出的亮度统计量（平均值和方差）与便于识别血管 区域Vi的特定值（Gv和Jv) -致。
[0105] 可选地，可以调整运动图像，从而使得要具体比较和观察的对象（例如，SL0运动 图像D1中的血管的病变和SL0运动图像D2中的正常血管部位）的位置的亮度特性彼此一 致。在这种情况下，例如，执行下面的过程。
[0106] ?用户使用指示装置（例如，点击鼠标）来指定要具体比较和观察的对象的位置 或范围。
[0107] ?图像间显示调整单元1441通过指示获得单元150获得所指定的位置和范围，并 且调整SL0运动图像D1和D2的亮度值，以使得这些位置附近的亮度特性（亮度平均值和 亮度方差）彼此一致。
[0108] 〈步骤S1320〉显示单元144对所显示的合成图像整体进行显示方法调整。在本实 施例中，基于通过指示获得单元150所获得的用户指示，显示单元144交互式地调整广视角 图像W和SL0运动图像Di的合成图像整体的倍率和重放速度。
[0109] 注意，在本实施例中，说明了图像之间的显示方法调整和合成图像整个的显示方 法调整。然而，显示单元144的功能不局限于此。例如，指示获得单元150可以能够单独调 整各SL0运动图像Di或者广视角图像W的亮度特性、倍率和重放速度。可选地，可以针对 各帧或者各关注区域（R0I)来调整显示方法。
[0110] 如上所述，根据第三实施例的图像显示设备10的显示单元144进行摄像位置不同 的SL0运动图像Di之间的亮度调整、以及广视角图像W和各SL0运动图像Di之间的亮度 调整。由于通过在摄像位置不同的SL0运动图像Di之间或者广视角图像W和各SL0运动 图像Di之间不仅调整位置关系和显示定时、还调整亮度来显示图像，因而变得可以容易地 比较和观察摄像位置不同的SL0运动图像Di之间的血管形状变化和血球动态。
[0111] 第四实施例
[0112] 在第四实施例中，向第三实施例的功能结构（图11)添加背景图像生成单元 1442(图14)。背景图像生成单元1442用于通过叠加作为运动图像所获得的广视角图像W 来生成具有高图像质量的背景图像，并且从广视角图像W中选择代表帧，以使该代表帧的 位置和亮度与摄像位置不同的SLO运动图像Di的位置和亮度一致。这样使得能够生成更 适合于SL0运动图像的广视角图像W，从而容易地比较和观察摄像位置不同的SL0运动图像 之间的血管形状变化和血球动态。
[0113] 图14是示出根据第四实施例的图像显示设备10的功能框图。第四实施例与第三 实施例的不同在于，显示单元144还包括背景图像生成单元1442。根据第四实施例的图像 显示处理过程如图12所示，并且除步骤S1220、S1230和S1240以外的步骤与第三实施例中 的相同。下面说明根据第四实施例的步骤S1220、S1230和S1240的处理。
[0114] 〈步骤S1220〉位置对准单元145对运动图像进行帧间位置对准。在第四实施例 中，位置对准单元145根据图10B所示的流程图，不仅对SL0运动图像Di、而且还对广视角 图像W进行例外帧判断和帧间位置对准。具体的例外帧判断和帧间位置对准过程与第二实 施例中针对SL0运动图像Di执行的相同。
[0115] 〈步骤S1230〉同步单元143在包括广视角图像W (运动图像）和SL0运动图像Di 的所有运动图像之间执行同步处理。广视角图像W(运动图像）和SL0运动图像Di之间的 同步处理的具体过程与第一实施例的步骤S610?S650所述的SL0运动图像Di之间的同 步处理相同，其中，从各运动图像中提取要重放的脉冲区间。
[0116] 〈步骤S1240〉背景图像生成单元1442通过叠加广视角图像W的所提取的脉冲区 间中的多个帧、或者从广视角图像W选择所提取的脉冲区间的多个帧中的代表帧，来生成 背景图像。位置对准单元145进行SL0运动图像Di和背景图像生成单元1442所生成的背 景图像之间的位置对准。此外，图像间显示调整单元1441调整SL0运动图像Di的亮度值， 从而使得这些亮度值与背景图像的亮度特性（亮度平均值和亮度方差）一致。最后，基于 从指示获得单元150所获得的指示，显示单元144对广视角图像W和SL0运动图像Di的合 成图像整体进行显示调整。
[0117] 参考图15所示的流程图，详细说明步骤S1240所执行的处理。图15的步骤S1530 和S1540的处理分别与第三实施例的步骤S1310和S1320(图13)的处理相同。
[0118] 〈步骤S1510〉背景图像生成单元1442基于广视角图像W (运动图像），生成背景 图像。如上所述，在第四实施例中，在步骤S1220中对广视角图像W进行了例外帧判断和帧 间位置对准处理，并且在步骤S1230中选择不包括例外帧的广视角图像的帧。更具体地，通 过在帧方向上对经过了帧间位置对准和同步处理的广视角图像的像素进行平均，来生成合 成图像。
[0119] 注意，背景图像生成方法不局限于此，并且可以使用任意方法。例如，在如上所述 选择并使用代表帧作为背景图像的情况下，
[0120] ?获得通过同步处理所选择的广视角图像W的各帧Wf和通过各SL0运动图像Di 的同步处理所选择的所有帧之间的图像相似度（例如，亮度特性的相似度）的总和Σ?·，以 及
[0121] ?选择具有总和Σ?·最大的帧编号的广视角图像帧Wf，作为背景图像（代表帧）。
[0122] 〈步骤S1520〉位置对准单元145进行SL0运动图像Di和背景图像生成单元1442 所生成的背景图像之间的位置对准。具体位置对准方法与第二实施例的步骤S1021和 S1022所述的相同。
[0123] 如上所述，在第四实施例中，背景图像生成单元1442进行如下操作：
[0124] ?通过叠加广视角图像W的多个帧来生成具有更高图像质量的背景图像，并且将 该背景图像显示为广视角图像，或者
[0125] ?从广视角图像W的多个帧中选择代表帧，从而使得该代表帧的位置和亮度与摄 像位置不同的SL0运动图像Di的位置和亮度一致，并且显示所选择的帧作为广视角图像。 这样使得能够容易地比较和观察摄像位置不同的SL0运动图像Di之间的血管形状变化和 血球动态。
[0126] 如上所述，根据上述实施例，可以在摄像条件不同或者被检者的活体反应的影响 几乎相同的情况下，显示与眼底的多个摄像位置（摄像区域）相对应的多个运动图像。将 这多个运动图像显示在眼底的广视角图像（包括多个摄像区域的宽范围图像）上的相应位 置处。因此，可以在理解与摄像位置不同的运动图像的摄像区域外的病变或正常部位/解 剖学部位的关系的同时，比较和观察这多个运动图像的组织/细胞的形态变化和动态。
[0127] 其它实施例
[0128] 尽管在上述实施例中同时显示多个运动图像，但是本发明不局限于此。可以从各 运动图像获得相应帧，然后进行显示。如果图像显示设备10根据用户指示控制显示单元 144逐帧重放帧图像，则用户可以容易地比较相同脉冲的帧图像。
[0129] 尽管详细说明了这些实施例，但是本发明还可以采用例如系统、设备、方法、程序 或者存储介质的形式的实施例。更具体地，本发明可应用于由多个装置构成的系统或者包 含单个装置的设备。
[0130] 还可以通过读出并执行记录在存储装置上的程序以进行上述实施例的功能的系 统或者设备的计算机（或者诸如CPU或MPU等的装置）、以及通过下述方法实现本发明的实 施例的方面，其中，例如，通过系统或设备的计算机读出并执行记录在存储装置上的程序来 进行该方法的步骤，以进行上述实施例的功能。为此，例如经由网络或者通过用作为存储装 置的各种类型的记录介质（例如，计算机可读存储介质）将该程序提供给该计算机。
[0131] 尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开 的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和 功能。
[0132] 本申请要求2012年2月20日提交的日本专利申请2012-034536的优先权，其全 部内容通过引用包含于此。
【权利要求】
1. 一种图像显示设备，其特征在于，包括： 图像获得部件，用于获得广视角图像和多个运动图像，其中所述多个运动图像是通过 拍摄眼底的多个摄像区域所获得的、并且各自与基于拍摄该运动图像时所获得的生物医学 信号的脉冲数据相关联，以及所述广视角图像是通过拍摄所述眼底的包括所述多个摄像区 域的区域所获得的； 显示部件，用于将所述多个运动图像的各运动图像的至少一个帧叠加并显示在所述广 视角图像上的基于与所述多个摄像区域的位置有关的信息所确定出的位置处；以及 同步部件，用于基于所述脉冲数据，使利用所述显示部件的所述多个运动图像的显示 时刻同步。
2. 根据权利要求1所述的图像显示设备，其中，还包括： 判断部件，用于基于所述多个运动图像的各运动图像的多个帧各自的图像特征，从所 述多个帧中判断例外帧， 其中，所述同步部件从所述多个运动图像中选择同步要重放的区间，以限制所述例外 中贞的显示。
3. 根据权利要求2所述的图像显示设备，其中， 所述同步部件从所述脉冲数据的相位对于所述多个运动图像是共通的、并且所述例外 帧的数量不大于预定数量的区间中，选择所述要重放的区间。
4. 根据权利要求2或3所述的图像显示设备，其中， 所述图像特征是亮度、图像失真量、信噪比和帧间移动量中的至少一个。
5. 根据权利要求2至4中任一项所述的图像显示设备，其中，还包括： 位置对准部件，用于使用所述多个运动图像的各运动图像中的各帧的图像特征，来进 行帧间的位置对准， 其中，所述判断部件在所述位置对准之前基于单个帧的图像特征来判断所述例外帧， 并且在所述位置对准之后基于与相对于另一帧的差相关联的图像特征来判断所述例外帧。
6. 根据权利要求5所述的图像显示设备，其中， 所述判断部件使用用于所述位置对准的图像特征来判断所述例外帧。
7. 根据权利要求2至6中任一项所述的图像显示设备，其中， 所述同步部件进行帧的内插以及添加或删除，以使得所述要重放的区间中所述脉冲数 据的一个周期的帧的数量在所述多个运动图像之间的差落入预定范围内。
8. 根据权利要求2至6中任一项所述的图像显示设备，其中， 所述广视角图像是运动图像，以及 所述图像显示设备还包括生成部件，所述生成部件用于对所述广视角图像的所述要重 放的区间的帧进行平均，以生成所述显示部件要显示的广视角图像。
9. 根据权利要求2至6中任一项所述的图像显示设备，其中， 所述显示部件从作为运动图像的广视角图像的所述要重放的区间的帧中，选择相对于 所述多个运动图像的图像相似度最高的帧，并且显示所选择的帧作为叠加了所述多个运动 图像的广视角图像。
10. 根据权利要求1至7中任一项所述的图像显示设备，其中，还包括： 调整部件，用于进行调整，以使得所述多个运动图像的亮度特性彼此一致、或者所述显 示部件要显示的所述广视角图像和所述运动图像的亮度特性彼此一致。
11. 根据权利要求10所述的图像显示设备，其中， 所述调整部件进行调整，以使得所述运动图像的指定部分的亮度特性彼此一致。
12. 根据权利要求1至11中任一项所述的图像显示设备，其中， 所述显示部件仅将从所述多个运动图像所提取的特定区域叠加在所述广视角图像上， 并且显示所获得的图像。
13. 根据权利要求1至12中任一项所述的图像显示设备，其中， 所述多个运动图像和所述广视角图像是通过包括像差校正装置的扫描激光检眼镜所 获得的眼底的图像，以及 所述多个运动图像是通过利用所述像差校正装置进行像差校正所获得的图像，并且所 述广视角图像是在没有利用所述像差校正装置进行像差校正的情况下所获得的图像。
14. 一种摄像系统，其特征在于，包括： 根据权利要求1至13中任一项所述的图像显示设备；以及 扫描激光检眼镜，其包括像差校正装置，并且用于拍摄广视角图像和多个运动图像。
15. -种图像显示设备的图像显示方法，其特征在于，包括以下步骤： 获得广视角图像和多个运动图像，其中所述多个运动图像是通过拍摄眼底的多个摄像 区域所获得的、并且各自与基于拍摄该运动图像时所获得的生物医学信号的脉冲数据相关 联，以及所述广视角图像是通过拍摄所述眼底的包括所述多个摄像区域的区域所获得的； 叠加显示步骤，用于将所述多个运动图像的各运动图像的至少一个帧叠加并显示在所 述广视角图像上的基于与所述多个摄像区域的位置有关的信息所确定出的位置处；以及 基于所述脉冲数据，使所述叠加显示步骤的所述多个运动图像的显示时刻同步。
16. -种用于使计算机用作根据权利要求1至13中任一项所述的图像显示设备的各部 件的程序。
【文档编号】A61B3/10GK104125798SQ201380010115
【公开日】2014年10月29日 申请日期:2013年2月13日 优先权日:2012年2月20日
【发明者】今村裕之 申请人:佳能株式会社