图像处理装置、成像系统和图像处理系统的制作方法
【技术领域】
[0001]本发明涉及图像处理装置、成像系统和图像处理系统，特别涉及用于利用数字图像辅助对象观察的技术。
【背景技术】
[0002]近年来，作为当前用作病理诊断工具的光学显微镜的后继物，虚拟载片(virtualslide)系统在病理领域中吸引了关注。虚拟载片系统通过将放置在载片上的待观察样品成像并且将图像数字化而使得能够在显示器上执行病理诊断。利用虚拟载片系统将病理诊断图像数字化使得可以作为数字数据操纵样品的常规光学显微镜图像。预期这将带来各种优点，诸如更加迅速的远程诊断、通过数字图像向病人提供信息、共享罕见病例的数据、以及更加有效的教育和培训。
[0003]当使用虚拟载片系统时，为了实现与光学显微镜相当的性能，需要将放置在载片上的待观察样品的整个图像数字化。样品的整个图像的数字化使得可以通过使用在PC或工作站上运行的观察器软件来检查利用虚拟载片系统产生的数字数据。当由像素数量代表时，样品的数字化的整个图像一般将构成从几亿像素到几十亿像素的巨量数据。
[0004]尽管通过虚拟载片系统产生的数据量是巨大的，这也使得可以通过用观察器缩放图像来微观地(以放大的细节图)或宏观地(以总体的透视图)检查样品图像，这提供各种优点和便利。可初步获取所有必要信息，使得可如用户请求的那样瞬时显示任何分辨率和任何倍率的图像。
[0005]尽管虚拟载片系统提供各种优点和便利，它就使用时的便利性而言在一些方面仍不及常规光学显微镜观察。
[0006]这样的缺点中的一种在于深度方向(沿光学显微镜的光轴的方向或与载片的观察表面垂直的方向)上的观察。一般地，当医师用光学显微镜检查样品时，他/她在光轴方向上轻微移动显微镜台架(stage)以改变样品中的焦点位置，使得可把握组织或细胞的三维结构。当要用虚拟载片系统进行相同的操作时，在某个焦点位置处捕获图像，并然后必须在(例如，通过在光轴方向上偏移其上放置载片的台架)改变焦点位置之后捕获另一图像。
[0007]作为用于处理和显示通过在改变焦点位置的同时重复图像捕获所捕获的多个图像的方法，提出如下所述的技术。专利文献(PTL) I公开了如下系统:在该系统中，将不同焦点位置处的多个图像中的每一个分成多个区段(sect1n)，并且对每个区段执行焦点层叠(focus stacking)，由此产生具有深的场深的深焦点图像。
[0008]引文列表
[0009]专利文献
[0010]PTL 1:日本专利申请公开 N0.2005-037902
【发明内容】
[0011]根据在PTL I中描述的方法，可以获得在整个范围上聚焦且具有很少模糊的图像，并由此提供可仅通过一个图像把握对象的总体上的状况的优点。但是，虽然这样的深焦点图像对对象的总体上的粗略观察是有用的，但它不适合于对象的一部分的详细观察以及对象的三维结构的把握。这是由于，由于大量图像的焦点层叠，因此深度方向上的信息(关于前后关系的信息)已丢失。
[0012]本发明是鉴于这些问题而作出的，并且提供用于在使用数字图像观察对象时辅助对象的深度方向上的详细观察的技术。
[0013]本发明在其第一方面中提供一种图像处理装置，该图像处理装置包括:图像获取单元，被配置为获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及图像产生单元，被配置为从所述多个层图像产生多个观察图像，其中，图像产生单元通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。
[0014]本发明在其第二方面中提供一种成像系统，该成像系统包括:成像装置，被配置为通过使用显微镜将对象的不同位置成像来产生多个层图像；以及根据权利要求1至12中任一项所述的图像处理装置，被配置为从成像装置获取所述多个层图像。
[0015]本发明在其第三方面中提供一种图像处理系统，该图像处理系统包括:服务器，用于存储通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及根据权利要求1至12中任一项所述的图像处理装置，被配置为从服务器获取多个原始图像。
[0016]本发明在其第四方面中提供一种存储于非暂态计算机可读介质上的计算机程序，所述程序导致计算机执行包括以下步骤的方法:获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及从所述多个层图像产生多个观察图像，其中，在产生观察图像的步骤中，通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。
[0017]根据本发明，可在使用数字图像观察对象时在深度方向上详细观察对象。
[0018]从参照附图对示例性实施例的以下描述，本发明的进一步的特征将变得明显。
【附图说明】
[0019]图1是示出根据本发明第一实施例的成像系统中的装置的布局的总体图。
[0020]图2是根据第一实施例的成像装置的功能框图。
[0021]图3是示出焦点层叠的概念图。
[0022]图4是示出在固定焦点位置的情况下改变场深的处理的概念图。
[0023]图5是示出根据第一和第二实施例的图像处理的流程的流程图。
[0024]图6是示出根据第一实施例的合成处理的流程的流程图。
[0025]图7是示出根据第一实施例的显示处理的流程的流程图。
[0026]图8A至图8C是示出根据第一实施例的图像显示画面(screen)的例子的示图。
[0027]图9是示出根据第一实施例的设定画面的例子的示图。
[0028]图10是示出根据第二实施例的图像处理系统中的装置的布局的总体图。
[0029]图11是示出在固定焦点位置的情况下改变场深的处理的概念图。
[0030]图12是示出根据第二实施例的合成处理的流程的流程图。
[0031]图13是示出根据第二实施例的显示处理的流程的流程图。
[0032]图14是示出根据第二实施例的设定画面的例子的示图。
[0033]图15是示出根据第三实施例的图像获取的流程的流程图。
[0034]图16是示出根据第三实施例的图像处理的流程的流程图。
[0035]图17A和图17B是示出根据第三实施例的模式指定画面的例子的示图。
[0036]图18是示出根据第三实施例的以多显示模式显示图像的画面的例子的示图。
[0037]图19是示出根据其它实施例的合成处理的流程的流程图。
【具体实施方式】
[0038]将参照附图描述本发明的示例性实施例。
[0039]<第一实施例>
[0040](系统配置)
[0041]图1是示出根据本发明第一实施例的成像系统中的装置的布局的总体图。
[0042]根据第一实施例的成像系统包括成像装置101、图像处理装置102和显示器件103，并且是具有获取和显示作为待成像对象的样品(对象)的二维图像的功能的系统。成像装置101和图像处理装置102利用专用或通用I/F线缆104相互连接。图像处理装置102和显示器件103利用通用I/F线缆105相互连接。
[0043]成像装置101是具有在光轴方向上在不同焦点位置处获取多个二维图像并且输出数字图像的功能的显微镜装置(虚拟载片装置)。利用诸如CCD或CMOS的固态成像器件进行二维图像的获取。作为替代方案，作为虚拟载片装置的替代，可通过数字照相机被附接于通常光学显微镜的目镜的数字显微镜装置形成成像装置101。
[0044]图像处理装置102是如下装置:其用于通过从由成像装置101获取的多个原始图像产生各自具有希望的焦点位置和场深的多个观察图像、并且在显示器件103上显示那些观察图像，来辅助用户进行显微镜观察。图像处理装置102的主要功能包括获取多个原始图像的图像获取功能、从这些原始图像产生观察图像的图像产生功能、以及在显示器件103上显示观察图像的图像显示功能。图像处理装置102由具有诸如CPU(中央处理单元)、RAM、储存器件、操作单元和I/F的硬件资源的通用计算机或工作站形成。储存器件是其中存储用于执行后面将描述的处理步骤的程序、数据、OS(操作系统)等的诸如硬盘驱动器的海量(mass)信息储存器件。通过CPU从储存器件下载RAM所需的程序和数据并且执行程序，实现上述的功能。操作单元由键盘或鼠标形成，并且被操作员使用来输入各种类型的指令。显示器件103是显示作为通过图像处理装置102进行的运算处理的结果的多个二维图像的监视器，并且由CRT、液晶显示器等形成。
[0045]虽然在图1所示的例子中成像系统由三个组件即成像装置101、图像处理装置102和显示器件103构成，但本发明不限于该配置。例如，图像处理装置可与显示器件一体化，或者图像处理装置的功能可被并入在成像装置中。并且，成像装置、图像处理装置和显示器件的功能可由单个装置实现。相反，图像处理装置等的功能可被分割，使得通过多个装置或器件来实现它们。
[0046](成像装置的配置)
[0047]图2是示出成像装置101的功能配置的框图。
[0048]成像装置101示意性地包括照明单元201、台架202、台架控制单元205、成像光学系统207、成像单元210、显影处理单元216、预测量单元217、主控制系统218和外部接口219。
[0049]照明单元201是用于用均匀的光照射放置在台架202上的载片206的构件，并且包括光源、照明光学系统和光源的驱动控制系统。台架202由台架控制单元205驱动控制，并且可沿X、Y和Z三个轴移动。光轴方向应被定义为Z方向。载片206是待检查的组织切片或涂片细胞被施加在载片玻璃上并且与封装剂一起被封装在盖玻璃下的部件。
[0050]台架控制单元205包括驱动控制系统203和台架驱动机构204。驱动控制系统203根据从主控制系统218接收的指令执行台架202的驱动控制。台架202的移动方向和移动量等基于通过预测量单元217的测量所获得的关于样品的位置信息和厚度信息(距离信息)以及来自用户的指令被确定。台架驱动机构204根据来自驱动控制系统203的指令驱动台架202。
[0051]成像光学系统207是用于在成像传感器208上形成载片206中的样品的光学图像的透镜组。
[0052]成像单元210包括成像传感器208和模拟前端(AFE) 209。成像传感器208是用于通过光电转换将二维光学图像转换成电物理量的一维或二维图像传感器，并且，例如，使用CXD或CMOS作为成像传感器208。当成像传感器208是一维传感器时，可通过在扫描方向上扫描图像获得二维图像。成像传感器208输出具有根据光强度的电压值的电信号。当希望彩色图像作为捕获图像时，可以使用具有附接于其的Bayer布置滤色器的单板图像传感器。
[0053]AFE 209是用于将从成像传感器208输出的模拟信号转换成数字信号的电路。AFE209包括如后所述的Η/V驱动器XDS、放大器、AD转换器和定时产生器。Η/V驱动器将用于驱动成像传感器208的垂直同步信号和水平同步信号转换成驱动传感器所需的电势。CDS (相关双采样)是用于从固定模式(fixed pattern)去除噪声的相关双采样电路。放大器是用于调整已通过CDS去除了其噪声的模拟信号的增益的模拟放大器。AD转换器将模拟信号转换成数字信号。当系统的最终级输出具有8位时，AD转换器考虑到在随后级中要进行的处理，将模拟信号转换成被量化为约10至