16位的数字数据，并且输出该数字数据。转换的传感器输出数据被称为RAW数据。RAW数据在随后的显影处理单元216中经受显影处理。定时产生器产生用于调整成像传感器208的定时和随后的显影处理单元216的定时的信号。
[0054]当CXD被用作成像传感器208时，上述的AFE 209是必不可少的。但是，当使用能够数字输出的CMOS图像传感器作为成像传感器208时，传感器包含AFE 209的功能。虽然在图中没有示出，但提供了用于控制成像传感器208的成像控制单元。该成像控制单元不仅执行成像传感器208的操作的控制，而且执行诸如快门速度、帧速率和ROI (关注区域)的操作定时的控制。
[0055]显影处理单元216包括黑校正单元211、白平衡调整单元212、去马赛克处理单元213、滤波处理单元214和伽马校正单元215。黑校正单元211执行从RAW数据的每个像素减去在遮光期间获得的黑校正数据的处理。白平衡调整单元212执行通过根据来自照明单元201的光的色温调整RGB的每个颜色的增益来再现希望的白色的处理。具体而言，白平衡校正数据被加到黑校正后的RAW数据。在操纵单色图像时，不需要该白平衡调整处理。
[0056]去马赛克处理单元213执行从Bayer布置的RAW数据产生RGB的每个颜色的图像数据的处理。去马赛克处理单元213通过内插RAW数据中的周边像素(包含同一颜色的像素和其它颜色的像素)的值计算关注像素的RGB的每个颜色的值。去马赛克处理单元213还对有缺陷的像素执行校正处理(补充(complement)处理)。当成像传感器208不具有滤色器并且获得的图像是单色时，不需要去马赛克处理。
[0057]滤波处理单元214是用于执行包含于图像中的高频分量的抑制、噪声去除和分辨率感觉增强的数字滤波器。伽马校正单元215执行根据常用显示器件的灰度表示能力向图像添加逆特性(inverse)的处理，或者通过高亮度部分的灰度压缩或暗部分处理根据人视觉能力执行灰度转换。由于在本实施例中出于形态观察的目的获取图像，因此对图像执行适于随后的图像合成处理或显示处理的灰度转换。
[0058]显影处理功能一般包括用于将RGB信号转换成诸如YCC信号的亮度色差信号的颜色空间转换、以及用于压缩海量图像数据的处理。但是，在本实施例中，直接使用RGB数据且不执行数据压缩。
[0059]虽然在图中没有示出，但可以提供周边暗化校正的功能，以校正由于形成成像光学系统207的透镜组的效果所导致的成像区域内的周边中的光量的减少。作为替代方案，可以提供用于光学系统的各种校正处理功能，以校正可能在成像光学系统207中出现的各种像差，诸如用于校正图像形成时的位置偏移的畸变校正或用于对每个颜色校正图像的大小差异的倍率颜色像差校正。
[0060]预测量单元217是用于执行预测量作为计算载片206上的样品的位置信息、关于到希望的焦点位置的距离的信息、以及用于调整可归因于样品厚度的光量的参数的准备的单元。在主测量之前通过预测量单元217获取信息使得可以执行有效的成像。还基于通过预测量单元217产生的信息执行捕获多个图像时的开始成像位置和终止成像位置以及成像间隔的指定。
[0061]主控制系统218具有执行到此为止描述的单元的控制的功能。主控制系统218和显影处理单元216的功能由具有CPU、ROM和RAM的控制电路实现。具体而言，程序和数据存储于ROM中，并且，CPU使用RAM作为工作存储器来执行程序，由此实现主控制系统218和显影处理单元216的功能。ROM可由诸如EEPROM或闪存的器件形成，并且RAM可由诸如DDR3的DRAM器件形成。
[0062]外部接口 219是用于将由显影处理单元216产生的RGB颜色图像传送到图像处理装置102的接口。成像装置101和图像处理装置102通过光学通信线缆相互连接。作为替代方案，可以使用诸如USB或Gigabit Ethernet (注册商标)的接口。
[0063]将简要描述主测量中的成像处理的流程。台架控制单元205基于通过预测量获得的信息在台架202上定位样品，使得针对成像定位样品。由照明单元201发射的光通过样品和成像光学系统207，由此在成像传感器208的成像表面上形成图像。来自成像传感器208的输出信号通过AFE 209被转换成数字图像(RAW数据)，并且该RAW数据通过显影处理单元216被转换成二维RGB图像。由此获得的二维图像被传送到图像处理装置102。
[0064]如上所述的配置和处理使得能够获取一定焦点位置处的样品的二维图像。可通过利用台架控制单元205在光轴方向(Z方向)上偏移焦点位置的同时重复成像处理，获得具有不同焦点位置的多个二维图像。通过主测量中的成像处理获得的具有不同焦点位置的图像组应被称为“Z层叠图像”，并且各个焦点位置处的形成Z层叠图像的二维图像应被称为“层图像”或“原始图像”。
[0065]虽然已关于使用单板方法来通过图像传感器获得彩色图像的例子描述了本实施例，但是，作为单板方法的替代，可以使用通过使用三个RGB图像传感器获得彩色图像的三板方法。作为替代方案，可以使用其中一起使用单图像传感器和三色光源并且在切换光源颜色的同时三次执行成像的三次成像方法。
[0066](焦点层叠)
[0067]图3是焦点层叠的概念图。将参照图3示意性地描述焦点层叠处理。
[0068]图像501至507是通过在光轴方向(Z方向)上依次改变焦点位置的同时在三维不同的空间位置处将包含多个待观察项目的对象成像7次所获得的7个层图像。附图标记508至510指示包含于获取的图像501中的待观察项目。待观察项目508在图像503的焦点位置处对焦，但在图像501的焦点位置处失焦。因此，难以在图像501中把握待观察项目508的结构。待观察项目509在图像502的焦点位置处对焦，但在图像501的焦点位置处轻微失焦。因此，尽管不令人满意，但可以在图像501中把握待观察项目509的结构。待观察项目510在图像501的焦点位置处对焦，由此可在图像501中充分地把握其结构。
[0069]在图3中，涂黑的待观察项目指示对焦的待观察项目，白色的待观察项目指示轻微失焦的待观察项目，并且由虚线表示的待观察项目指示失焦的待观察项目。具体而言，待观察项目 510、511、512、513、514、515 和 516 分别在图像 501、502、503、504、505、506 和 507中对焦。将在待观察项目510至516位于水平方向上的不同位置处的假定下进行图3所示的例子的描述。
[0070]图像517是通过切出在图像501至507中对焦的待观察项目510至516的各个区域并且合并这些区域所获得的图像。通过如上面描述的那样合并多个图像的聚焦区域，可以获得在整个图像中聚焦的焦点层叠图像。通过数字图像处理产生具有深的场深的图像的该处理也被称为焦点层叠或DOF(场深)扩展。
[0071](在固定焦点的情况下改变场深的处理)
[0072]图4是示出用虚拟载片装置实现在固定焦点位置的情况下改变场深的观察模式的方法的概念图。将参照图4描述表征本实施例的焦点层叠处理的基本概念。
[0073]焦点位置601至607与图3中的图像501至507对应。焦点位置在光轴方向上从601到607以相同的节距(pitch)偏移。将描述以焦点位置604用作基准(固定)执行焦点层叠的例子。
[0074]附图标记608、617、619和621指示已执行焦点层叠处理之后的场深。在本例子中，各个层图像的场深处于由608指示的范围内。图像609是处于焦点位置604处的层图像，即，没有经受焦点层叠的图像。附图标记610至616分别指示在焦点位置601至607处最佳对焦的区域。在图像609中，区域613对焦，区域612和614轻微失焦，并且其它区域610、611、615和616完全失焦。
[0075]附图标记617指示比附图标记608大(深)的场深。作为对包含于场深617的范围中的三个层图像执行的焦点层叠处理的结果，获得合成图像618。在合成图像618中，存在比图像609中多的对焦区域(对焦范围)，即，区域612至614对焦。当要在合成处理中使用的层图像的数量如619和621所示的那样增加时，对焦区域(对焦范围)在与其对应的合成图像620和622中扩展。在合成图像620中，区域611至615的范围是对焦区域，并且，在合成图像622中，区域610至616的范围是对焦区域(对焦范围)。
[0076]如上所述的图像609、618、620和622在自动地或者通过用户操作来切换它们的同时被产生和显示，由此，可在焦点位置被固定(在本例子中，在604处)的情况下增大或减小场深的同时实现观察。虽然在图4所示的例子中场深从焦点位置垂直增大/减小相等程度，但也可以仅在焦点位置的上侧或下侧增大/减小场深，或者在焦点位置的上侧和下侧之间将场深增大/减小不同的程度。
[0077](图像处理装置的操作)
[0078]将参照图5至9描述根据本实施例的图像处理装置102的操作。除非另外声明，否则通过执行程序的图像处理装置102的CPU实现以下描述的处理。
[0079]图5示出主处理的流程。一旦开始处理，图像处理装置102就在步骤S701中在显示器件103上显示范围指定画面。在范围指定画面中，水平方向(XY方向)上的范围被指定为要用于焦点层叠处理的目标范围。图8A示出范围指定画面的例子。在图像显示窗口1001中的区域1002中显示在某一焦点位置处捕获的整个层图像。用户能够通过拖动鼠标或者通过经由键盘输入值来指定目标范围1003在XY方向上的位置和尺寸。例如，可以假定用户可将在区域1002中显示的样品图像中的被确定为需要在深度方向(Z方向)上详细观察的部分指定为目标范围1003。如果应在深度方向上观察整个图像，那么应指定图像的整个范围。附图标记1004示出操作终止按钮。通过按压该按钮1004，关闭图像显示窗口10lo
[0080]一旦完成范围指定，图像处理装置102就在步骤S702中确定是否已在必要数量的焦点位置处捕获了层图像。如果否，那么图像处理装置102在步骤S703中向成像装置101传送包含成像开始位置和结束位置、成像节距等的成像参数，以请求其捕获图像。在步骤S704中，成像装置101根据成像参数在焦点位置处捕获图像，并且向图像处理装置102传送由此获得的层图像组。图像存储于图像处理装置102中的储存器件中。
[0081]随后，图像处理装置102从储存器件获取要经受焦点层叠处理的多个层图像(步骤S705)。图像处理装置102在显示器件103上显示焦点层叠设定画面，以允许用户指定诸如要用作基准位置的焦点位置和场深范围的参数(步骤S706)。
[0082]图9示出设定画面的例子。附图标记1101示出设定窗口。附图标记1102示出用于设定要用作焦点层叠处理中的基准位置的焦点位置的编辑框。附图标记1103示出用于设定基准位置上侧的合成范围的步数(number of steps)的编辑框。附图标记1104示出用于设定基准位置下侧的合成范围的步数的编辑框。在图9中示出其中上合成步数是2、下合成步数是1、基准位置处于6且焦点位置的总数是9的示例情况。在焦点层叠处理期间，通过设定的步值的整数倍来改变场深。具体而言，在图9所示的设定例子中，最小合成范围为从位置4到位置7，而最大合成范围为从位置2到位置8，并且产生两个焦点层叠图像。
[0083]附图标记1105示出用于图形显示基准位置和合成范围的区域。为了示出在1102中指定的基准位置，通过在宽度、长度、颜色等方面与指示图像(焦点位置)的其它线不同，仅强调指示基准位置的