放大观察设备的制作方法

1.本公开涉及一种放大观察设备。


背景技术：

2.包括光学透镜的光学显微镜和数字显微镜等用作放大观察设备，以通过放大来查看诸如非常小的物体等的样本或诸如工件等的被摄体。数字显微镜包括xy台架、光学部件、具有二维布置的像素的成像装置(诸如ccd或cmos等)以及显示器。待观察对象可以被保持在xy台架上。成像装置可以接收由对象反射或穿过对象的光，并且电测量各像素处的光。可以从xy台架上的目标位置的成像视野中的电测量到的光获得图像，并将图像显示在显示器上。此外，这种数字显微镜还可以包括调焦装置，该调焦装置具有焦点调整功能以获得要在显示器上显示的正确聚焦的图像。调焦装置可以移动z台架或物镜以调整物镜与被摄体之间的相对距离，从而调整显微镜的焦点。
3.在观察视野移动的情况下，换句话说，在显示器中显示的观察视野改变为另一观察视野的情况下，传统的数字显微镜首先移动观察视野，然后调整显微镜的焦点。也就是说，通过xy台架的水平移动的观察视野的水平改变以及z台架或物镜的垂直调焦移动在不同的时间段中执行，换句话说，在两个步骤中执行。
4.在传统的数字显微镜中，在xy台架的移动期间，换句话说，在观察视野的改变期间，无法在显示器上显示正确聚焦的图像(例如，参见日本特开jp2015-127770a)。
5.本公开的目的是提供可以响应于观察视野的改变而容易地调整放大观察设备的焦点的放大观察设备、放大观察方法和存储有放大观察程序的非暂时性计算机可读存储介质或存储装置。


技术实现要素：

6.根据本发明的第一方面的放大观察设备包括台架、物镜、照相机、显示控制部、调焦装置、视野改变部、聚焦程度评价部和调焦序列执行部。在台架上保持观察对象。物镜被布置成面向被保持在台架上的观察对象。照相机可以通过物镜拍摄观察对象的图像，并且生成表示图像的图像数据。显示控制部控制基于照相机所生成的图像数据来显示观察对象的图像的显示器。调焦装置可以通过使物镜和观察对象其中至少之一在物镜的光轴上朝向彼此或远离彼此移动而改变物镜的焦点位置与观察对象之间的相对距离，来调整图像焦点，从而聚焦观察对象的图像。视野改变部可以改变物镜的光轴相对于台架的位置以移动照相机的观察视野(fov)。聚焦程度评价部计算聚焦程度特征量，该聚焦程度特征量表示与通过物镜拍摄到的观察对象的图像相对应的图像数据的聚焦程度。调焦序列执行部可以在通过视野改变部移动观察fov期间执行fov移动调焦序列。在fov移动调焦序列中，调焦装置根据聚焦程度评价部连续计算出的、与在视野改变部移动观察fov期间拍摄到的观察对象的图像相对应的图像数据的聚焦程度特征量来调整物镜的焦点位置与观察对象之间的相对距离，使得通过显示控制部基于在观察fov的移动期间所获得的图像数据而在显示器上
显示观察对象的实时图像。上述放大观察设备即使在观察fov的移动期间也可以进行图像焦点调整。
7.提供了根据本发明的第二方面的放大观察方法，以通过使用照相机、调焦装置和视野改变部在物镜的光轴的位置相对于台架移动期间通过物镜拍摄放置在台架上的观察对象的图像以在显示器上显示该图像来对观察对象进行观察。调焦装置可以通过使所述物镜和所述观察对象其中至少之一在所述物镜的光轴上移动而改变物镜的焦点位置与观察对象之间的相对距离，来调整图像焦点，从而聚焦观察对象的图像。视野改变部可以改变物镜的光轴相对于台架的位置以移动要在显示器上显示的观察fov。该方法包括移动观察fov、连续计算聚焦程度特征量、以及执行fov移动调焦序列。在观察视野移动中，通过使用视野改变部来移动与可以由照相机在物镜相对于台架的位置处所生成的包括观察对象的图像相对应的观察fov。在聚焦程度特征量的连续计算中，计算聚焦程度特征量。聚焦程度特征量表示与在视野改变部移动观察fov期间通过物镜拍摄到的观察对象的图像相对应的图像数据的聚焦程度。在fov移动调焦序列执行中，执行fov移动调焦序列。在fov移动调焦序列中，调焦装置根据聚焦程度评价部连续计算出的、与在视野改变部移动观察fov期间拍摄到的观察对象的图像相对应的图像数据的聚焦程度特征量来调整物镜的焦点位置与观察对象之间的相对距离，使得基于在观察fov移动期间所获得的图像数据而在显示器上显示观察对象的实时图像。上述放大观察方法即使在观察fov的移动期间也可以进行图像焦点调整。
8.提供了根据本公开的第三方面的放大观察程序，以使计算机在放大观察设备中进行放大观察。放大观察设备包括台架、物镜、照相机、显示器、视野改变部和调焦装置。在台架上保持观察对象。物镜被布置成面向台架上的观察对象。照相机可以通过物镜拍摄观察对象的图像，并且生成表示图像的图像数据。显示器基于照相机所生成的图像数据来显示观察对象的图像。视野改变部可以改变物镜的光轴相对于台架的位置以移动要在显示器上显示的观察fov。调焦装置可以通过使物镜和观察对象其中至少之一在物镜的光轴上移动而改变物镜的焦点位置与观察对象之间的相对距离，来调整图像焦点，以聚焦观察对象的图像。放大观察程序包括移动观察视野、连续计算聚焦程度特征量、以及执行fov移动调焦序列。在观察视野移动中，通过使用视野改变部来移动与可以由照相机在物镜相对于台架的位置处所生成的包括观察对象的图像相对应的观察fov。在聚焦程度特征量的连续计算中，计算聚焦程度特征量。聚焦程度特征量表示与在视野改变部移动观察fov期间通过物镜拍摄到的观察对象的图像相对应的图像数据的聚焦程度。在fov移动调焦序列执行中，执行fov移动调焦序列。在fov移动调焦序列中，调焦装置根据聚焦程度评价部连续计算出的、与在视野改变部移动观察fov期间拍摄到的观察对象的图像相对应的图像数据的聚焦程度特征量来调整物镜的焦点位置与观察对象之间的相对距离，使得基于在观察fov的移动期间所获得的图像数据而在显示器上显示观察对象的实时图像。上述放大观察程序可以实现即使在观察fov的移动期间也可以进行图像焦点调整的放大观察。
9.非暂时性计算机可读存储介质可以是诸如cd-rom、cd-r、cd-rw、软盘、磁带、mo、dvd-rom、dvd-ram、dvd-r、dvd+r、dvd-rw、dvd+rw、hd dvd(aod)、蓝光(商品名)、uhd bd(商品名)、usb存储器或ssd存储器等的磁盘、光盘、磁光盘或半导体存储器或者可以存储程序的其他介质。程序可以以存储在存储介质中的形式分发，并且还可以通过诸如互联网等的
网络分发(下载)。存储介质可以包括可以存储程序的装置，例如，以可执行软件或固件等形式安装有上述程序的通用装置或专用装置。包括在程序中的处理或功能可以由程序软件来执行，该程序软件可以由计算机来执行。部件的处理可以通过诸如特定门阵列(fpga，asic)等的硬件来实现，或者通过程序软件和实现硬件的部分要素的部分硬件模块的组合的形式来实现。在本说明书中，存储介质包括非暂时性材料介质和暂时性传播信号。
附图说明
10.当结合附图考虑时，将容易获得对本公开及其许多伴随优点的更完整的理解，因为其通过参考以下详细描述变得更好理解，其中：
11.图1是示出根据本公开的第一实施例的放大观察设备的外部透视图；
12.图2是示出图1所示的放大观察设备的电路框图；
13.图3是示出放大观察设备的照明部的布置的示意图；
14.图4是示出照明部的同轴光和环形光的示意图；
15.图5是示出放大观察程序的包括导航区域的用户界面画面的示意图；
16.图6是示出台架、待观察对象、导航图像和观察视野的关系的示意图；
17.图7是示出3d导航图像读取功能的过程的流程图；
18.图8是示出3d导航图像读取画面的示意图；
19.图9是示出另一3d导航图像读取画面的示意图；
20.图10是示出另一3d导航图像读取画面的示意图；
21.图11是示出正常自动调焦(af)的过程的流程图；
22.图12是示出短距离自动调焦的过程的流程图；
23.图13是示出根据本公开的第二实施例的放大观察设备的框图；
24.图14a是示出头部移动的fov移动序列的示意性侧视图；
25.图14b是示出fov静止序列的示意性侧视图；
26.图15是示出另一3d导航图像读取画面的示意图；
27.图16是示出又一3d导航图像读取画面的示意图；
28.图17是示出正常模式下的头部移动的序列的示意性侧视图；
29.图18是示出可跟随调焦处理的细节的流程图；
30.图19是示出在存储有3d导航图像的区域和未存储这种3d导航图像的区域中进行可跟随调焦的情况下的fov移动序列的示意性侧视图；
31.图20是示出具有焦点跳跃功能的可跟随调焦的示意性侧视图；
32.图21是示出具有偏移功能的可跟随调焦的示意性侧视图；
33.图22a是示出在进行自动调焦的情况下的调焦框的示意图；
34.图22b是示出在未进行自动调焦的情况下的调焦框的示意图；
35.图22c是示出在进行与图22a的情况不同的使用调焦控制的自动调焦的情况下的调焦框的示意图；
36.图23是示出在进行可跟随调焦的情况下的指令和操作之间的关系的时序图；
37.图24a是示出平面跟随模式下的头部移动的示意性透视图；
38.图24b是示出平面的估计倾斜度的图；
39.图25是示出显示平面拟合功能的用户界面画面的图；
40.图26是示出可跳过帧正常自动调焦的过程的流程图；
41.图27是示出可跳过帧短距离自动调焦的过程的流程图；
42.图28是示出帧跳过功能的过程的流程图；
43.图29是示出搜索自动调焦中的头部移动的示意性透视图；
44.图30是示出搜索自动调焦的时序图；
45.图31是示出可跟随调焦模式的过程的流程图；
46.图32是示出单发合成(single-shot composition)的过程的流程图；
47.图33是示出根据本公开的第三实施例的放大观察设备的正面图；
48.图34是示出根据本公开的第四实施例的放大观察设备的侧面图；
49.图35是示出图34所示的侧照相机拍摄到的侧照相机图像的示意图；
50.图36是示出dof图像合成的示意图；以及
51.图37是例示确定是否执行偏移功能的示意图。
具体实施例
52.以下描述将参考附图描述根据本公开的实施例。然而，应当理解，下面所描述的实施例是放大观察设备、放大观察方法、放大观察程序和存储有放大观察程序的非暂时性计算机可读存储介质或存储装置的例示，并且本公开的放大观察设备、放大观察方法、放大观察程序和存储有放大观察程序的非暂时性计算机可读存储介质或存储装置不具体限于下面的描述。此外，应当理解，所附权利要求中所示的构件不具体限于实施例中的构件。除非另有说明，否则实施例中所描述的部件的任何尺寸、材料、形状和相对布置是作为示例而不是作为限制给出的。另外，为了便于说明，有时夸大地示出了各个附图中的构件的大小和位置关系。与本公开的构件相同或相似的构件附有相同的标记和相同的附图标记，并且省略对它们的描述。另外，本公开的多个结构要素可以被配置成用于多个要素的目的的单个部件，另一方面，单个结构要素可以被配置成用于单个要素的目的的多个部件。
53.在本公开的实施例中所使用的放大观察设备可以通过串行连接(诸如ieee1394、rs-232x、rs-422和usb等)、并行连接或网络(诸如10base-t、100base-tx和1000base-t等)电连接、磁连接或光连接到用于操作、控制、显示和其他处理的计算机、打印机、外部存储装置或其他外围装置，并与其通信。连接不限于使用线缆的物理连接。连接可以是使用包括无线lan(例如，ieee802.1x)和蓝牙(注册商标)等的电波、红外线、光通信等的无线连接。存储卡、磁盘、光盘、磁光盘或半导体存储器等可以用作用于数据交换和设置保持等的存储介质。在本说明书中，根据本公开的放大观察设备或放大观察方法不仅是指观察主装置或用于在这种观察主装置中进行放大观察的放大观察方法，而且还是指除了自身装置之外还包括计算机和诸如外部存储装置等的外围装置的放大观察系统或用于在这种放大观察系统中进行放大观察的放大观察方法。
54.在本说明书中，根据本公开的放大观察设备既不限于进行放大观察的系统，也不限于通过使用硬件来进行输入/输出、显示、计算、通信和与摄像相关的其他处理的设备。此外，根据本公开的放大观察方法既不限于在进行放大观察的系统中进行放大观察的方法，也不限于在通过使用硬件来进行输入/输出、显示、计算、通信和与摄像相关的其他处理的
设备中进行放大观察的方法。通过使用软件来实现这些处理的设备和方法也包括在本公开的范围内。例如，根据本公开的放大观察设备可以包括具有通用电路或计算机的装置或系统，该通用电路或计算机并入有可以在特定程序中执行的软件、程序、插件、对象、库、小应用程序、编译器、模块、宏，以进行摄像或与摄像有关的处理。在本说明书中，计算机包括工作站、终端和其他电子装置以及通用装置和专用电子计算机。在本说明书中，程序不限于可以单独使用的程序，而是可以是用作特定计算机程序、软件或服务等的一部分的形式；在需要时下载后起作用的形式；在os等的环境中作为服务提供的形式；保持驻留在环境中的形式或者在后台执行的形式或其他支持程序。
55.第一实施例
56.现在参考图1和图2描述根据本公开的第一实施例的放大观察设备100。放大观察设备100主要包括如图1所示的成像组部1和控制组部2。成像组部1包括照明部60和头部4，照明部60可以照明作为测试件或样本、工件或任何被摄体的待观察对象(观察对象)wk，头部4可以拍摄将被照明部60照明的观察对象wk的图像。如图2所示，头部4包括具有成像装置12的照相机10和可拆卸地附接到照相机10的端部的显微镜透镜20。显微镜透镜20形成包括多个光学透镜元件的成像光学单元(透镜光学单元)11。在该实施例中，显微镜透镜20包括如图3所示的物镜25。头部4用作接收由对象反射或穿过对象的照明光的成像部。
57.放大观察设备还包括调焦装置。调焦装置可以通过使物镜和观察对象其中至少之一在诸如物镜25等的光学成像组部的光轴上朝向彼此或远离彼此移动而改变光学成像组部的焦点位置与观察对象之间的相对距离，来调整图像焦点，以使观察对象的图像聚焦。调焦装置例如包括上z升降部16(例如，上z台架)和下z升降部35(例如，下z台架)。调焦装置可以是能够沿着光学成像组部的光轴移动头部4的装置，或者是能够沿着光学成像组部的光轴相对于头部4移动物镜25的装置。可替代地，物镜25中的透镜可以沿着光学成像组部的光轴移动。此外，在物镜25包括诸如液体透镜等的可变焦液体透镜的情况下，可以通过控制电路使液体透镜变形，以改变光学成像组部(例如，物镜25)的焦点位置与观察对象之间的相对距离，换句话说，沿着光学成像组部的光轴移动光学成像组部的焦点位置，以增加/减小相对距离。调焦装置可以包括用于在控制电路的控制下进行调焦的这种调焦装置或液体透镜。
58.(照相机10)
59.如图3所示，照相机10包括成像装置12，成像装置12可以通过成像光学单元11接收由照明部60照明的观察对象wk反射的光，并电测量该光。在本实施例中，cmos用于成像装置12。应注意，诸如ccd等的其他感光器装置可以用于成像装置12。物镜25被布置成面向台架30上的观察对象。照相机10可以通过物镜25拍摄观察对象的图像并生成表示该图像的图像数据。
60.成像组部包括台架30和上z升降部16，台架30保持观察对象wk，上z升降部16包括上z台架并用作第一焦点调整部，该第一焦点调整部可以改变台架30和头部4之间在头部4的光轴方向上的相对距离以调整物镜的焦点。上z升降部16能够使上z台架上下移动。照相机10的成像装置12可以电测量穿过成像光学单元11并且入射到保持在台架30上的观察对象wk上并被观察对象wk反射的光，或者从观察对象wk的底面侧穿过观察对象wk的光。
61.控制组部2包括控制主单元50，控制主单元50包括显示器70。显示器70可以显示由
照相机10拍摄到的放大图像。照相机10通过线缆3连接到控制主单元50。显示器70可以基于由照相机10生成的图像数据来显示将包括观察对象的观察视野(观察fov)的图像。在图1所示的该实施例中，显示器70一体地形成在控制主单元50中。注意，显示器可以与控制主单元分开形成。例如，除了可以生成要在显示器70上显示的显示信息的显示控制部52之外，控制主单元50还可以包括可以将显示器70连接到控制主单元50的显示器连接接口。
62.控制主单元50还包括处理器80。处理器80可以实现图2的框图中所示的多个功能(稍后讨论)。安装有专用程序的通用计算机或专用装置可以用作控制主单元50。在该实施例中，控制主单元由通用计算机形成，其中放大观察程序在放大观察设备中进行放大观察。控制主单元50包括处理器80、显示控制部52、存储装置53、接口54、操作者装置55和存储器56。
63.线缆3可以是能够将由照相机10的成像装置12获取到的图像信息传输到控制主单元50的电线缆。除了电线缆之外，还可以包括将照明光从控制主单元50传送到头部4的光线缆。在这种情况下，线缆3可以是集成的电线缆和光线缆。可替代地，可以单独提供电线缆和光线缆。
64.(显示器70)
65.可以将液晶显示器、有机电致发光显示器或crt监视器等用于显示器70。操作者装置55连接到控制主单元50。用户可以通过使用操作者装置55来进行各种操纵。操作者装置55包括诸如控制台和鼠标等的输入装置。在该实施例中，显示器70和操作者装置55可以被提供为外部设备。可替代地，显示器或操作者装置可以一体地形成在控制主单元中。显示器70可以由触摸面板构成。在这种情况下，显示器70和操作者装置55可以彼此一体地形成。
66.操作者装置55通过线缆或无线地连接到控制主单元50或计算机。可替代地，操作者装置可以直接附接到计算机。用于操作者装置55的指点装置的典型示例可以由鼠标、键盘、滑垫、追踪点(trackpoint)、平板电脑、操纵杆、控制台、滚轮拨盘、数字仪、光笔、数字小键盘(十键)、触摸板和accupoint来提供。操作者装置55可以用于进行放大观察操作程序以及放大观察设备本身及其外围装置的操作。此外，触摸屏或触摸面板可以用于显示器，该显示器显示界面画面，以使得用户能够通过用他们的手指直接触摸屏幕来执行输入或进行操纵。可替代地，可以使用语音输入装置或现有的输入装置。此外，这些输入装置和这种触摸屏可以一起使用。在图1所示的实施例中，操作者装置55包括鼠标55d、键盘和操纵杆55b。
67.(照明部60)
68.照明部60可以发射照明光以照明观察对象wk，使得成像装置12拍摄观察对象wk的图像。图3是示出照明部60的布置的示意图。照明部60包括照明控制部66。照明控制部66基于指定的照明条件来控制照明光。可以根据照明条件来调整照明部60所发射的照明光的亮度。例如，可以通过调整照明部60的光发射占空比或光发射强度来调整照明光的亮度。照明部60可以包括led作为光源。照明控制部66可以通过调整光源的发光或诸如快门等的遮光装置的光透射量来控制照明光的亮度。
69.可以使用作为落射照明的环形光(暗视野照明)或同轴光(明视野照明)等来进行照明。合适的透射光照明部或合适的微分干涉对比照明部等可以合适地用作照明部60。落射照明是指照明光从顶侧沿向下方向朝向观察对象行进的照明技术。环形光和同轴光等可用于落射照明。同轴光和环形光入射到观察对象上的光的角度彼此不同，使得它们的对比
度彼此不同。可以根据观察对象选择性地使用这种同轴光和环形光。与同轴光和环形光这两者相对应、仅与同轴光相对应或仅与环形光相对应的显微镜透镜和物镜可以作为可拆卸地附接到照相机10的端部的显微镜透镜20和可拆卸地附接到显微镜透镜20的物镜25。透射照明是照明光从底侧沿向上方向朝向观察对象行进的照明技术。在图3所示的实施例中，照明部60包括同轴落射照明部62和环形照明部63。来自同轴落射照明部62的光被分束器61反射以与物镜25的光轴ax平行地行进。照明部60可以并入头部4中，或者单独设置以可拆卸地附接到头部4。照明部60可以包括布置在同轴落射照明部62和环形照明部63中的作为光源的led或ld等，或者布置在控制主单元50中的公共照明光源。来自这种公共照明光源的光可以由光线缆传送到头部的照明部。
70.同轴光和环形光可以具有倾斜照明功能。图4是说明性地示出具有这种倾斜照明功能的同轴光和环形光的示意图。所例示的照明部60包括同轴落射照明部62和环形照明部63，同轴落射照明部62具有圆形形状并且布置在内侧上，环形照明部63同样具有圆形形状并且布置在外侧上。同轴落射照明部62和环形照明部63具有形成其相应圆的弧形照明块。同轴落射照明部62和环形照明部63可以通过选择性地启用/停用照明块来实现可以改变照明方向的倾斜照明功能。
71.因此，照明部60可以在入射到观察对象上的光的不同照明方向之间改变，使得可以用来自不同倾斜角度的照明光来照射观察对象。另外，照明部60可以用第一发光模式和第二发光模式其中之一来照射观察对象。在第一发光模式中，用不同照明方向的光逐个照射观察对象。在第二发光模式中，以第一发光模式中所包括的不同照明方向其中至少之一照射观察对象。照明控制部66控制不同照明方向之间的改变。
72.在图4所示的实施例中，环形照明部63包括四个照明块63a、63b、63c和63d。照明块63a至63d可以单独点亮(light on)。例如，可以通过启用照明块63a至63d其中之一并停用另一个(通过点亮照明块63a至63d其中之一并熄灭(light off)其他照明块)来选择入射在观察对象上的光的照明方向。应当注意，包括在环形照明部中的块的数量不限于四个，而是可以小于或大于四个。根据其观察用途等，环形照明部可以被设计为具有合适数量的块。第一发光模式中的照明块63a至63d可以以预定的点亮顺序(例如，顺时针顺序或z字形顺序)逐个点亮/熄灭。第一发光模式中的照明块63a至63d的点亮顺序可以作为点亮顺序信息存储在存储器56中。根据显微镜透镜20和物镜25的布置，第一发光模式可以选择性地仅应用于同轴落射照明部62，仅应用于环形照明部63，或者应用于同轴落射照明部62和环形照明部63这两者。换句话说，如果第一发光模式仅应用于同轴落射照明部62，则同轴落射照明部62的照明块逐个点亮/熄灭。如果第一发光模式仅应用于环形照明部63，则环形照明部63的照明块逐个点亮/熄灭。如果第一发光模式应用于同轴落射照明部62和环形照明部63这两者，则同轴落射照明部62的照明块逐个点亮/熄灭，并且环形照明部63的照明块逐个点亮/熄灭。例如，可以在第一发光模式中首先选择环形光，使得如果与同轴光和环形光这两者相对应的物镜用作物镜25，则环形照明部63将被选择作为用于第一发光模式的光，并且如果仅与同轴光相对应的物镜用作物镜25，则同轴落射照明部62将被选择作为用于第一发光模式的光。
73.(照明控制部66)
74.照明控制部66选择性地进行第一序列和第二序列以控制照明光。在第一序列中，
照明部60以第一发光模式操作。另外，显示器70将显示用第一发光模式的光照射的观察对象的实时图像。第一序列也被称为搜索发光(稍后讨论)。另一方面，在第二序列中，照明部60以作为不同照明方向其中至少之一的第二发光模式操作，不同照明方向其中至少之一是基于由稍后讨论的特征量计算部88与不同照明方向相对应地计算出的图像数据的特征量而选择的。另外，显示器70将显示用第二发光模式的光照射的观察对象的图像。结果，可以自动选择合适的照明方向，并且将显示在合适的照明方向上拍摄到的图像，以使得用户能够容易地识别观察对象的表面状况。例如，在照明部改变入射在观察对象上的照明方向期间，实时显示观察对象的图像，由此提供合适的观察环境，以供容易地识别观察对象的表面上的不规则、划痕或凹痕等。因此，用户可以避免忽略这些不规则、划痕或凹痕等。
75.在观察fov沿着视野移动路径移动的情况下(稍后讨论)，照明控制部66指示照明部60发射第一发光模式的光。在这种情况下，因为照明方向可以在观察fov的移动期间自动逐个改变，所以用户可以在不同的照明条件下观察观察对象的表面状况。结果，用户可以容易地发现划痕或缺口等。照明控制部66可以分析包括沿其相应照明方向拍摄并存储在缓冲存储器57中的多个图像的图像数据，并且当观察fov的移动被视野改变部5停止时，将选择不同照明方向中在这些图像的相应一个图像中最清楚地示出这种划痕的至少一个照明方向。照明部60然后用所选择的不同照明方向其中至少之一固定的第二发光模式的光照射观察对象。因此，当观察fov停止移动时，可以显示使得用户能够最容易地识别这种划痕的合适图像。这种合适的图像可以提供针对划痕搜索的良好观察。
76.图1所示的照明部60包括同轴落射照明部62(参见图3)和环形照明部63，同轴落射照明部62可以用同轴落射照明光照射观察对象wk，环形照明部63可以用来自其环形光源的环形照明光照射观察对象wk。照明部通过线缆连接到控制主单元50。控制主单元50包括用于连接线缆的连接器。环形照明部63可以在整体环形照明功能和倾斜照明功能之间改变。为了实现这种改变，可以将多个led布置成环形形状作为环形照明部63。在这种布置中，led可以选择性地点亮/熄灭。可替代地，可以提供可以部分地阻断照明光的转塔(turret)式掩模。注意，可以使用可以实现改变的其他合适的布置。照明控制部66控制照明光和改变。
77.(视野改变部5)
78.放大观察设备100包括可以移动要在显示器70上显示的观察fov的视野改变部(fov改变部)5。fov改变部5改变物镜25和台架30之间的相对位置，由此相对于台架30的载置面而移动物镜25的光轴ax的位置。当物镜25和台架30之间的相对位置被fov改变部5移动时，显示器70将显示移动之后在更新的观察fov中拍摄到的图像。在图1所示的实施例中，可以在xy平面中移动台架30的xy台架用于fov改变部5。应当注意，代替xy台架或除了xy台架之外，可以使用可以移动物镜的其他fov改变部作为本公开中的fov改变部。fov改变部仅需要改变如沿着光轴侧看到的物镜与台架之间的相对位置，换句话说，在xy平面中移动观察fov。
79.xy台架包括能够使台架30的载置面在x和y方向上移动的电动台架移动机构。fov改变部5还可以包括可以使台架30旋转的θ台架。
80.除了通过fov改变部5在xy平面上移动之外，还可以通过下台架升降部35在高度方向(即，z方向)上移动台架30。
81.现在描述下台架升降部35的操作。控制主单元50可以向马达控制电路36提供与步
进马达37的控制有关的控制数据，以改变台架30与包括成像光学单元11和成像装置12的头部4之间在光轴方向上的相对距离(在该实施例中为z方向上的高度)。更具体地，控制主单元50可以向马达控制电路36提供控制下台架升降部35以控制步进马达37的旋转从而升高/降低台架30的高度z(z方向上的位置)所需的控制数据。步进马达37根据其旋转生成旋转信号。控制主单元50可以基于通过马达控制电路36所提供的旋转信号来将台架30的高度z存储为与台架30和成像光学单元11之间在光轴方向上的相对距离有关的信息。台架30用作用于定位观察对象wk以提供适当的观察位置的观察定位部。
82.在该实施例中，可以通过不仅改变台架30的高度而且还改变成像光学单元的高度(即，头部4的高度)来改变台架30和成像光学单元11之间在光轴方向上的相对距离。头部4通过线缆3连接到控制主单元50。根据这种连接，由头部4获取的数据通过线缆3传输到控制主单元50，使得控制主单元50可以进行所需的处理。台架可以布置在显微镜主体中。可替代地，台架可以布置在与显微镜主体分开形成的头部中。不包括台架的成像单元可以附接到头部。这种不包括台架的成像单元可以附接到附接支架，并且对于用户来说是便携的。
83.成像装置12可以电测量以两个维度(x方向和y方向)布置的像素所接收的光量。在成像装置12上形成的观察对象wk的图像根据成像装置12的像素所接收的光量而转换为电信号。通过成像装置控制电路13将电信号转换为数字数据。控制主单元50将成像装置控制电路13所转换的数字数据作为接收光量数据d与关于像素的布置信息(x，y)组合地存储在存储装置53中，其中布置信息是观察对象wk在基本上垂直于光轴方向(图2中的z方向)的平面(图2中的x-y平面)中的二维位置信息。在本说明书中，基本上垂直于光轴方向的平面不需要相对于光轴方向严格形成90度的角度，而是指可以在使得用户能够从成像光学单元和成像装置12的分辨率的角度识别观察对象wk的外观的特定角度范围内相对于严格垂直于光轴方向的平面倾斜的观察平面。
84.尽管在上述实施例中，已将观察对象wk说明性地描述为保持在台架30上，但是可以设置能够在端部上保持观察对象wk的臂来代替台架。此外，尽管已将头部4说明性地描述为附接到照相机附件43，但是头部可以是可拆卸的，以使得用户能够将其以期望位置和期望角度握持在他们的手中。
85.(移动方向输入装置55a)
86.控制组部2包括操作者装置55。操作者装置55是连接到控制主单元50的输入装置。操作者装置55用作移动方向输入装置55a，该移动方向输入装置55a接收指示观察fov在显示器70中的移动方向的用户输入。根据来自操作者装置55的输入所指示的方向来引导fov改变部5的移动方向。操作者装置55可以包括操纵杆、触摸板、鼠标或键盘(箭头键或特定键)等。在操纵杆55b用作操作者装置55的情况下，用户可以直观地掌握在使操纵杆55b倾斜时观察fov的移动方向。另外，可以根据操纵杆55b相对于原始直立定向的倾斜角度来指定移动速度。
87.除了在与下台架升降部35相对应的高度方向(即，z方向)上移动之外，台架30还可以在xy平面上移动。更具体地，提供了在x和y轴向方向上可移动的可移动xy台架。另外，可以提供能够使台架30旋转的可旋转台架(θ台架)。
88.在该实施例中，上z升降部16和下z升降部35这两者都被说明性地描述为电动驱动。然而，上z升降部和下z升降部仅需要获取物镜25的焦点位置与台架30之间的相对距离，
并且没有必要一定是电动驱动的。例如，可以手动驱动上z升降部和下z升降部其中之一。
89.如图2的框图所示，控制主单元50包括处理器80、显示控制部52、存储装置53、接口54、操作者装置55和存储器56。该放大观察设备100可以在显示器70上显示由成像装置12拍摄到的观察图像，成像装置12电测量被引导通过成像光学单元11并且被保持在台架30上的观察对象wk反射或穿过该观察对象wk的光。
90.存储装置53用作存储要通过显示控制部52在显示器70上显示的图像数据作为静止图像或视频的存储部。另外，存储装置53可以与不同观察对象相对应地存储彼此相关联的图像数据和条件数据。图像数据是图像处理部84所生成的合成图像的图像数据。条件数据包括与生成合成图像时的一个或多于一个条件有关的信息。
91.接口54是控制主单元50向头部4和下台架升降部35等传输数据/从头部4和下台架升降部35等接收数据所通过的连接部。存储器56由ram或rom等构成。存储器56包括缓冲存储器57，缓冲存储器57可以临时存储与在fov改变部5的移动期间由照相机10逐个在不同照明方向上拍摄到的图像相对应地获取的图像数据。操作者装置55还用于指定用于通过使用照相机10拍摄图像的摄像条件以及其他所需的设置和操作。
92.缓冲存储器57与在第一序列中要在显示器70上显示的不同照明方向上拍摄到的多个图像相对应地临时存储图像数据。由于临时存储在缓冲存储器57中的图像数据在其从一个地方移动到(缓冲的)另一地方时将用于确定合适的照明方向，因此该图像数据被分配给其相应照明方向或者与其相应照明方向相关联。缓冲存储器57需要仅具有与一个循环相对应的容量。与一个循环相对应的图像数据可以被与下一循环相对应的图像数据覆盖。在本说明书中，一个循环是指逐个执行第一发光模式中所包括的不同照明操作的循环周期。第一发光模式中所包括的不同照明操作在一个循环中执行至少一次。也就是说，在一个或多于一个循环期间临时存储在缓冲存储器57中的图像数据足以从不同的照明方向中进行选择。
93.特征量计算部88被配置为：如果缓冲存储器57存储要与不同照明方向相对应地显示的图像的图像数据，则响应于通过区域指定部的区域指定，计算与第一发光模式中的不同照明方向相对应地存储在通过区域指定部所指定的区域中的图像数据的特征量。然后，照明控制部从不同照明方向中选择至少一个照明方向，并且从第一序列切换到第二序列。特征量可以包括图像数据的被摄体亮度值的方差和对比度值等。由于当照明部在照明方向之间逐个改变时，图像的图像数据存储在缓冲存储器57中，因此当用户指定期望区域时，可以基于已存储的图像数据来选择合适的照明方向。结果，可以在无需使用户等待新的摄像的情况下快速选择这种合适的照明方向。当通过区域指定部指定期望区域时，如果已存储在缓冲存储器57中的图像的图像数据包括小于一个周期量的数据或没有数据，则将保持第一序列，直到缓冲存储器57存储与一个周期相对应的图像数据为止。在缓冲存储器57存储了与一个周期相对应的图像数据之后，特征量计算部88将计算所指定的区域中的图像的已存储在缓冲存储器57中的图像数据的特征量。然后将选择照明方向其中至少之一，并且序列将从第一序列转到第二序列。
94.(显示控制部52)
95.显示控制部52将由照相机10所生成的图像数据提供至显示器70。显示器70可以显示由显示控制部52所提供的与观察fov相对应的图像数据所表示的图像。该显示控制部52
可以由gpu等构成。在图2所示的实施例中，显示控制部52与处理器分开地构成。该示例性显示控制部52由gpu构成。应当注意，本发明中的显示控制部52不限于这种gpu，而是可以并入到处理器中。例如，形成处理器的cpu或mpu可以包括显示控制部52。
96.(处理器80)
97.处理器80实现移动控制部83、图像处理部84、调焦控制部90、高度信息获取部89、特征量计算部88、判断部97和单发合成部98等的功能。移动控制部83根据移动方向输入装置55a所提供的移动方向来控制fov改变部5的移动。调焦控制部90控制调焦装置并调整图像焦点。例如，调焦控制部90可以控制调焦装置的自动调焦，其中调焦装置自动地调焦(进行自动调焦)。调焦控制部90实现聚焦程度评价部、帧跳过部92、移动/静止检测部94和调焦序列执行部93等的功能。聚焦程度评价部91计算聚焦程度特征量，该聚焦程度特征量表示与要通过显示控制部52在显示器70上显示的图像相对应的图像数据的聚焦程度。
98.在调焦装置使物镜和观察对象其中至少之一在光轴方向上朝向彼此或远离彼此移动的情况下，帧跳过部92将指示显示控制部52基于由聚焦程度评价部91连续计算出的与调焦装置移动之前和之后的图像相对应的图像数据的聚焦程度特征量之间的比较来跳过对显示器70上的实时图像的更新。结果，在调焦装置实现了聚焦的情况下，只有当移动之后的图像具有改善的聚焦程度特征量时，才将更新显示器70上的图像。
99.在调焦装置对图像进行调焦的情况下，如果由聚焦程度评价部91连续计算出的聚焦程度特征量中的与调焦装置移动之后的图像相对应的图像数据的聚焦程度特征量变得比与移动之前在显示器70上显示的图像相对应的图像数据的聚焦程度特征量差，则帧跳过部92将不更新显示器70上的图像。结果，在自动调焦中，用户可以免于由在传统放大观察设备中所显示的暂时失焦图像所引起的压力。因此，可以实现无压力的焦点调整。
100.在本说明书中，聚焦程度特征量是表示图像的聚焦程度的指标，并且可以包括诸如聚焦值或相位差等的已知参数。例如，可以使用基于图像数据计算出的对比度等的聚焦值。在这种情况下，在调焦装置的图像调焦期间，帧跳过部92将基于由聚焦程度评价部91连续计算出的与调焦装置(例如，升降部机构)移动之前和之后的图像相对应的图像数据的聚焦值之间的比较来更新显示器70上的图像。结果，调焦装置可以基于在无需专用传感器的情况下从图像数据获取到的诸如对比度等的聚焦值来进行自动调焦。
101.为了使用相位差作为聚焦程度特征量，布置有可以检测聚焦位置和当前位置之间的差的自动调焦传感器。在调焦装置对图像进行调焦的情况下，在调焦装置的图像调焦期间，通过自动调焦传感器连续测量相位差。在聚焦位置和当前位置之间的比较中，如果调焦装置移动之后的图像的测量值相对于与移动之前在显示器70上显示的图像相对应的测量值来说得到了改善，则显示控制部52更新显示器70上的图像。由于自动调焦传感器将不需要z方向上的移动，因此可以实现高速的自动调焦。
102.在fov改变部5移动观察fov期间，调焦序列执行部93可以执行fov移动调焦序列，在fov移动调焦序列中，调焦装置根据与观察fov的xy位置有关的信息来调整光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离。基于由显示控制部52在fov移动调焦序列中所获得的图像数据，将在显示器70上显示观察对象的实时图像。
103.移动/静止检测部94可以检测观察fov的移动的开始和停止。当移动/静止检测部94检测到观察fov的移动时，可以进行fov移动调焦序列，以根据在观察fov的移动期间由照
相机10拍摄到的图像的图像数据和与观察fov的xy位置有关的信息其中至少之一，通过使用调焦装置来调整光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离。可以通过显示控制部52基于在观察fov的移动期间由照相机10拍摄到的图像的图像数据在显示器70上显示观察对象的实时图像。当移动/静止检测部94检测到观察fov的移动停止(检测到观察fov静止)时，fov移动调焦序列将结束，并且进行fov静止序列以使调焦装置停止调整光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离。因此，即使在观察fov的移动期间也可以进行图像焦点调整。这种fov移动调焦序列无法由传统的放大观察设备来进行。
104.移动/静止检测部94可以由一个检测部构成，该检测部可以检测观察fov的移动的开始和停止，换句话说，可以检测观察fov的移动和静止。可替代地，移动/静止检测部可以包括能够单独检测观察fov的移动的开始和停止的检测部。
105.在照明控制部66进行第一序列的情况下，当进行fov移动调焦序列时，照明控制部66将引导照明部60以第一发光模式操作。在fov移动调焦序列中，根据与观察fov的xy位置有关的信息来调整光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离。当移动/静止检测部94检测到观察fov的移动停止时，将结束fov移动调焦序列，并且将进行fov静止序列。在fov静止序列中，例如，如果调焦装置进行自动调焦，则照明控制部将暂时将照明部60切换到整体照明模式，在整体照明模式中，同轴落射照明部62或环形照明部63等的所有照明块被点亮。在调焦装置完成自动调焦之后，照明控制部将引导照明部60再次以第一发光模式操作。如果移动/静止检测部94之后检测到观察fov的移动的开始，则在照明控制部66指示照明部60保持以第一发光模式操作期间，调焦序列执行部93进行fov移动调焦序列。
106.图像处理部84实现根据多个图像合成图像的功能(合成图像模式)。例如，在以低景深拍摄观察对象的图像的情况下，以不同焦点位置拍摄观察对象的图像，使得根据焦点信息选择图像的聚焦部分并将其合成以生成如同以高景深拍摄到的合成图像(dof合成图像)。此外，可以获得通过使用所谓的超分辨率技术拍摄到的改进的高分辨率图像或高动态范围图像。可以由图像处理部84生成的合成图像可以包括dof合成图像、3d合成图像、像素移位多发(pixel shift multi shot)图像、超分辨率图像和hdr图像等。图像处理部84还可以具有用于测量观察对象的功能。例如，可以在图像上显示包括用于相应测量操作的按钮的测量工具。可以通过操作其相应按钮来进行期望的测量操作，以在所显示的图像中测量观察对象。
107.在由照明控制部66进行的第一序列中，照明部60以第一发光模式操作，并且显示用第一发光模式的光照射的实时图像。在第二序列中，照明部60以第二发光模式操作，在第二发光模式中，基于由特征量计算部88计算出的与用相应照明方向照射观察对象时拍摄到的图像相对应的图像数据的特征量来选择照明方向其中至少之一，使得图像处理部84实现根据多个图像合成图像的功能(合成图像模式)。另外，显示器70将显示用第二发光模式的光照射的观察对象的这种合成图像(例如，dof合成图像、3d合成图像、像素移位多发图像、超分辨率图像和hdr图像)。
108.从第一序列到第二序列的切换可以由合成图像模式的执行指令或通过区域指定部对roi的指定来触发。
109.高度信息获取部89获取观察对象wk在不同xy位置处的高度信息作为三维参考信息，更具体地例如获取观察对象wk的高度图像数据。在fov改变部5移动通过显示控制部52要在显示器70上显示的观察fov的情况下，通过根据高度信息获取部89所获取的三维参考信息中的与下一fov移动步骤中的观察位置(下一观察位置)相对应的要移动的xy位置的高度信息来调整调焦装置，从而调整焦点位置。在本说明书中，高度信息表示观察对象相对于台架30的载置面在z方向上的位置。由于预先已获取了作为观察对象wk的三维信息的高度图像数据，因此可以根据高度图像数据的高度信息来进行图像焦点调整，使得即使在观察fov的移动期间也可以在显示器70上显示聚焦图像。例如，高度信息获取部89获取与观察对象wk的xy位置相对应的高度信息，作为与通过物镜25的低倍物镜部与三维信息一起拍摄到的广域图像的图像数据有关的三维参考信息。例如，高度信息获取部89可以获取与观察对象wk的xy位置相对应的高度信息，作为与预先作为导航图像(稍后讨论)与三维信息一起拍摄到的图像的广域图像数据有关的三维参考信息。如果显示观察对象wk的与高度信息获取部89所获取的高度信息不相关联的部分(高度信息缺失部分)时，调焦装置将根据基于不与高度信息相关联的高度信息缺失部分附近的周边部分的高度信息所估计的高度信息来进行图像焦点调整。在没有必要考虑台架30的载置面的移动的情况下，例如，在台架30的载置面固定的情况下，高度信息没有必要一定表示相对于台架30的载置面在z方向上的位置，而是可以表示在参考放大观察设备的基于设备的坐标系中的z方向上的位置。
110.可以基于与通过fov改变部移动观察fov期间拍摄到的图像相对应的图像数据，根据聚焦程度特征量变化来确定调焦装置的移动方向。在这种情况下，聚焦图像可以在通过fov改变部移动观察fov期间在显示器上显示。
111.此外，可以基于观察对象的测量结果从预定几何形状选择性地估计观察对象的几何形状，使得可以基于观察对象的与下一观察位置相对应的xy位置和作为选择性地估计的几何形状的信息来确定目标高度值，使得调焦装置根据该目标高度值来移动物镜和观察对象其中至少之一。预定几何形状可以包括平面、球面、圆柱形状、圆锥形状和抛物线形状等。
112.在由照明控制部66进行第一序列的情况下，如果调焦装置在fov移动调焦序列中基于从预定几何形状选择性地估计的几何形状来进行调焦，则照明部60将以第一发光模式操作，并且基于预先已测量的观察对象wk在xy位置处的高度信息和选择性地估计的几何形状(例如，平面形状)来调整焦点位置。当移动/静止检测部94检测到观察fov的移动停止时，fov移动调焦序列结束，并且进行fov静止序列。在fov静止序列中，进行观察对象wk的高度信息的测量和自动调焦，照明控制部将临时将照明部60切换到整体照明模式，在整体照明模式中，同轴落射照明部62或环形照明部63等的所有照明块被点亮。在高度信息的测量和自动调焦完成之后，照明控制部将引导照明部60再次以第一发光模式操作。将基于新测量到的高度信息来更新三维参考信息。如果移动/静止检测部94之后检测到观察fov的移动的开始，则在照明控制部66指示照明部60保持以第一发光模式操作期间，调焦序列执行部93进行fov移动调焦序列。
113.当fov改变部5停止观察fov的移动时，序列可以转到fov静止序列。在fov静止序列中，调焦装置自主地开始自动调焦。此外，调焦装置可以被配置为当接收到自动调焦停止指令时立即停止自动调焦。例如，在进行自动调焦的情况下，当fov改变部重新开始移动观察fov时，可以停止自动调焦并执行fov移动调焦序列。在这种情况下，如果进行该fov移动调
焦序列以根据在观察fov的移动期间由照相机10拍摄到的图像的图像数据通过使用调焦装置来调整光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离，则调焦装置可以将光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离调整到与在自动调焦停止中所获得的最大聚焦值相对应的相对距离。如果进行该fov移动调焦序列以根据高度信息获取部89所获取的、三维参考信息中的与下一观察位置相对应的xy位置的高度信息，通过使用调焦装置来调整光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离，则调焦装置可以将光学成像组部(例如，物镜25)的焦点位置与观察对象wk之间的相对距离调整到与三维参考信息中的与要移动的视野相对应的xy位置的高度信息相对应的相对距离。因此，即使在自动调焦停止之后，用户也可以在聚焦到一定可能程度的图像上保持对观察对象wk的观察。
114.判断部97在fov改变部5移动通过显示控制部52在显示器70上显示的观察fov期间，基于高度信息获取部89所获取的三维参考信息中的下一观察位置的高度信息来判断是否能够使得通过调焦装置将物镜25的焦点位置与观察对象之间的相对距离改变得超过预定条件。单发合成部98根据与在观察fov中显示的观察对象的图像相对应的高度信息来自动指定高度上限和高度下限，并且合成与来自高度上限到高度下限的高度相对应的图像以获得dof合成图像。
115.处理器80可以由通用cpu或mpu、soc、asic(专用集成电路)或诸如fpga等的门阵列构成。尽管已经说明性地描述了处理器由实现稍后在本实施例中描述的多个功能的单个cpu构成，但是本公开中的处理器不限于这样的单个cpu，而是可以由两个或多于两个cpu构成。这样的两个或多于两个cpu不仅包括在物理上分离的两个或多于两个cpu，而且还包括所谓的mpu(其在单个封装中包括两个或多于两个cpu内核)。在这种两个或多于两个cpu的情况下，在物理上分离的两个或多于两个cpu或cpu内核可以实现多个功能。可替代地，可以将多个功能逐个分配给在物理上分离的两个或多于两个cpu或cpu内核。此外，处理器可以由cpu和gpu构成。在这种情况下，gpu可以实现上述显示控制部52的功能以及被分配给处理器的一些或全部功能。
116.(导航图像读取功能)
117.根据该实施例的放大观察设备具有用于读取广域图像以帮助用户找到观察对象的要观察的目标部分的导航图像读取功能。导航图像读取功能预先通过物镜25的低倍物镜部拍摄观察对象的广域图像，以例如在导航窗口中与当前观察fov分开示出广域图像。如果用户点击导航窗口上的期望位置，则xy台架将被移动到该位置。现在参考图5所示的放大观察程序的用户界面画面来描述导航图像读取功能。所例示的导航图像读取画面230包括图像显示区域231、操作者区域232和导航区域233。图像显示区域231显示图像。操作者区域232显示操作者按钮和文本信息等。导航区域233显示作为广域图像的导航图像ni。
118.显示在图像显示区域231中的当前观察fov的位置部分由显示在导航区域233中的导航图像ni中的框(box)fr示出。显示在图像显示区域231中的当前观察fov的这种位置部分不限于由框fr示出，而是可以由导航区域233中的导航图像ni中的两个线彼此相交的交叉点示出。在这种情况下，导航图像ni中的由彼此相交的两个线表示的交叉点指示图像显示区域231中的当前观察fov的中心。框fr或交叉点使用户知道当前观察fov相对于观察对象的位置。在图5中，焊接在板上的片式电阻器cr1至cr3显示在导航图像ni中，并且片式电
阻器cr1的中心位于观察fov的中心处。如果移动xy台架以移动要在图像显示区域231中显示的观察fov，则框fr将相应地移动到导航区域233中的新位置部分。如果用户通过鼠标光标等在导航区域233中指定期望的位置，则xy台架将相应地移动到该位置。导航图像ni优选地显示观察对象的宽区域，但没有必要一定显示整个观察对象。在图6中示出了台架30、观察对象wk、导航图像和观察fov oa的关系。
119.(3d导航图像读取功能)
120.根据该实施例的放大观察设备具有3d导航图像读取功能，该3d导航图像读取功能用于读取结合有高度信息的广域图像。3d导航图像读取功能可以包括在导航图像读取功能中。也就是说，当广域图像被读取为导航图像时，高度信息可以与导航图像相关联以获得这样的3d导航图像。
121.现在参考图7的流程图和图8至图10中的用户界面画面来描述用于读取结合有与像素相对应的高度信息的广域图像的3d导航图像读取功能的过程。用户在图8所示的3d导航图像读取画面240中按下布置在操作者区域242中的“读取3d导航图像”按钮243，使得3d导航图像读取功能开始。在该示例性画面中，首先在图像显示区域241中显示失焦图像。在图8至图10中，直接安装在板的表面上(表面安装)的片式电阻器cr被显示为图像显示区域241中的观察对象的示例性图像。虚线表示片式电阻器cr的失焦部分。
122.随后，在步骤s701中接收用于选择物镜25的缩放因子的用户输入。在该步骤中，如果用户按下图8所示的3d导航图像读取画面240中的“读取3d导航图像”按钮243，则弹出如图9所示的低倍成像窗口244。用户可以通过该画面指定诸如缩放因子和焦点调整等的导航图像读取条件。在低倍成像窗口244中提供缩放因子下拉列表框245和焦点调整区域246。用户可以以物理方式将物镜25改变为物镜25的适合于拍摄广域图像的低倍物镜部。作为默认，放大观察设备可以向用户示出物镜25的预定低倍物镜部。随后，在步骤s702中，物镜25被改变为由用户选择的缩放因子。
123.随后，在步骤s703中接收用于指定z方向移动范围的用户输入。在该实施例中，用户预先将台架30或物镜25移动到与要拍摄的广域图像相对应的观察fov。低倍成像窗口244促使用户将台架30或物镜25移动到下限位置。在本说明书中，下限位置是指物镜25和观察对象之间的相对距离在z方向移动范围中最小、或者与最小高度信息值相对应的位置。此外，上限位置是指物镜25和观察对象之间的相对距离在z方向移动范围中最大、或者与最大高度信息值相对应的位置。可以在图9所示的低倍成像窗口244中的焦点调整区域246中设置用于将台架30或物镜25移动到下限位置以获取高度信息的移动按钮。另外，可以在焦点调整区域246中显示由侧照相机(稍后讨论)拍摄到的侧照相机图像si。侧照相机图像si使得用户能够在获取高度信息之前在无需使物镜与观察对象接触的情况下容易地将物镜的移动调整到下限位置。在这种情况下，当用户指定z方向移动范围时，可以通过将物镜移动到用户实际移动的下限位置以调整物镜25和观察对象之间的相对距离来指定下限位置。可替代地，用户可以通过侧照相机图像si指定下限位置。当用户指定z方向移动范围时，可以通过焦点调整区域246指定上限位置。在图9所示的示例性画面中，可以从被分配给三个按钮的三个级别(高、中和低)中选择上限位置。作为默认，最初选择低级别。上限位置的指定不限于该选择。例如，用户可以通过侧照相机图像si指定上限位置。
124.随后，在步骤s704中接收执行3d导航图像读取功能的指示。如果没有接收到指示，
则过程重复步骤s704。如果用户按下图9所示的低倍成像窗口244中的开始按钮247、并且执行3d导航图像读取功能，则在步骤s705中移动z台架以增加物镜25和台架30之间的相对距离。随后，拍摄图像，并且在步骤s706中基于拍摄到的图像来计算像素的聚焦值。此外，在该步骤中可以在拍摄图像时获取高度位置。例如，线性编码器可用于获取相对于台架30的载置面的高度位置。线性编码器沿z方向附接到上z升降部16和下z升降部35(例如，上z台架和下z台架)，以获取z方向位置信息。可以根据该z方向位置信息来获取在拍摄图像时相对于台架30的载置面的高度位置。随后，在步骤s707中判断该高度位置是否达到z方向移动范围的上限位置。如果未达到，则过程返回到步骤s705并重复该例程。如果高度位置达到z方向移动范围的上限位置，则在步骤s708中基于与像素的最大聚焦值相对应的高度位置和与该高度位置相对应的像素的被摄体亮度值来生成3d导航数据。3d导航数据被存储为3d导航图像。3d导航图像是指示当前显示在图像显示区域241中的观察fov的位置的广域图像。3d导航图像的像素被表示在导航区域250中的相应xy位置处。由于3d导航图像包括与像素相对应的高度位置，因此3d导航图像可以用作三维参考信息。最后，在步骤s709中，基于3d导航数据在显示器70上显示导航图像，并且3d导航图像读取功能的过程结束。如图10所示，可以在导航区域250中所显示的导航图像上示出彼此相交并指示交叉点的十字线。在这种情况下，导航图像中的由彼此相交的两个线表示的交叉点指示图像显示区域241中的当前观察fov的中心。交叉点让用户知道当前观察fov相对于观察对象的位置。紧挨在3d导航图像读取功能的过程结束之后，如图10所示，将在显示器70上显示正确聚焦的图像。此时，根据图像显示区域241的中央部分中的由虚线框示出的区域ri中的聚焦值来聚焦图像。在这种情况下，片式电阻器cr位于图像显示区域241的中央部分中的由虚线框示出的区域ri中。结果，在图10所示的示例性用户界面画面中，片式电阻器cr的表面聚焦，但是板cb上的焊盘(land)失焦。已经说明性地将由物镜25的低倍物镜部拍摄到的图像的图像数据描述为用于3d导航图像。用于3d导航图像的图像数据不限于此。例如，可以通过联结与多个图像相对应的数据来生成与导航图像相对应的广域图像。在这种情况下，为了生成3d导航图像，生成与在其位置处拍摄到的图像相对应的高度图像数据，使得通过联结高度图像数据来生成3d导航图像。为了更准确地获取诸如3d导航数据等的3d数据，可以添加可以获得正确平坦度的失真校正功能。由于显微镜透镜20的各个透镜具有曲率，因此即使通过透镜拍摄到了完全平坦的表面的图像，视野中的图像的周边部分也将失真，即，3d导航数据的周边部分将失真。为了解决该失真，可以通过失真校正功能来校正3d导航数据中的这种失真量。此外在生成dof合成图像(稍后描述)时，可以基于所存储的3d导航数据来自动指定dof合成图像的z范围的上限高度和下限高度。例如，在图36的示意图所示的观察对象wk的情况下，为了生成观察fov中的观察对象wk的dof合成图像，基于3d数据来计算观察fov中的高度分布，使得可以确定dof合成图像的z范围的上限高度zmax和下限高度zmin。这种dof合成图像的生成被称为单发合成。稍后将详细描述单发合成。
125.(自动调焦装置)
126.放大观察设备100具有自动调焦功能。更具体地，可以通过可以改变物镜25的焦点位置与台架30之间沿着物镜25的光轴的相对距离的调焦装置来进行自动调焦。可以基于来自照相机10所生成的图像数据的聚焦值的计算或者根据由外部测距传感器测量到的物镜25与观察对象之间的相对距离来进行自动调焦。诸如对比度检测和相位检测等的已知技术
可以用于自动调焦。根据第一实施例的放大观察设备使用对比度检测。
127.放大观察设备100中的自动调焦被分类为正常自动调焦和短距离自动调焦。在正常自动调焦中，将在正常高度范围内找到聚焦位置。在短距离自动调焦中，将在比正常自动调焦的高度范围更窄的范围内找到聚焦位置。现在参考图11的流程图描述正常自动调焦的过程。在本实施例中，例如，用户首先降低物镜25，使得物镜25被定位成靠近台架30的载置面上的观察对象，然后调焦装置等移动z台架以自动找到聚焦位置。在步骤s1101中，首先促使用户移动z台架，使得物镜25和台架30之间的相对距离变小。随后，在步骤s1102中判断是否接收到开始自动调焦的指示。例如，判断用户是否按下自动调焦开始按钮。如果接收到开始自动调焦的指示，则过程进入步骤s1103。如果不是，则过程重复步骤s1102。
128.随后，在步骤s1103中，调焦装置等在增加物镜25和台架30之间的相对距离的方向上移动z台架。随后，在步骤s1104中，在z台架的移动期间以预定周期拍摄图像，并且基于拍摄到的图像来计算聚焦值。随后，在步骤s1105中，判断z台架是否移动通过正常自动调焦的整个高度范围。如果不是，则过程返回到步骤s1103并重复该例程。随后，如果z台架移动通过正常自动调焦的整个高度范围，则过程进入步骤s1106，在步骤s1106中，确定与最大聚焦值相对应的高度位置，使得调焦装置等将z台架移动到与最大聚焦值相对应的高度位置。最后，在步骤s1107中，在显示器70上显示实时图像。因此，可以完成正常自动调焦。
129.(短距离自动调焦)
130.现在参考图12的流程图描述短距离自动调焦的过程。短距离自动调焦用于在图像被粗略聚焦的情况下在相对较窄的z方向范围内移动z台架以找到聚焦高度位置。在短距离自动调焦中，可以通过将z台架移动较窄的间距来更精确地测量高度信息。在步骤s1201中，首先在向前方向上移动z台架。随后，在步骤s1202中，在z台架的移动期间以预定周期拍摄图像，并且基于拍摄到的图像来计算聚焦值。随后，在步骤s1203中，判断z台架是否移动通过短距离自动调焦的整个高度范围。如果不是，则过程返回到步骤s1201并重复该例程。
131.随后，如果z台架移动通过短距离自动调焦的整个高度范围，则过程进入步骤s1204，在步骤s1204中，z台架在与向前方向相反的相反方向上移动。随后，在步骤s1205中，在z台架的移动期间以预定周期拍摄图像，并且基于拍摄到的图像来计算聚焦值。随后，在步骤s1206中，判断z台架是否移动通过短距离自动调焦的整个高度范围。如果不是，则过程返回到步骤s1204并重复该例程。
132.随后，如果z台架移动通过短距离自动调焦的整个高度范围，则过程进入步骤s1207，在步骤s1207中，确定与最大聚焦值相对应的高度位置，使得z台架移动到与最大聚焦值相对应的高度位置。最后，在步骤s1208中，在显示器70上显示实时图像。因此，可以完成短距离自动调焦。
133.第二实施例
134.在根据本公开的放大观察设备中所使用的自动调焦不限于对比度检测自动调焦，而是可以是相位检测自动调焦或其他类型的自动调焦。例如，根据图13所示的第二实施例的放大观察设备200使用相位检测以进行自动调焦。图24所示的放大观察设备包括自动调焦传感器15。根据与前述第一实施例相同的第二实施例的放大观察设备的组件附有与第一实施例相同的附图标记，并且省略对它们的描述。自动调焦传感器15是相位检测型自动调焦传感器。相位检测型自动调焦传感器接收在穿过物镜25之后分束的光。与分束光相对应
的两个图像之间的差用于确定在哪个方向(调焦方向)上以及以多少(调焦量)改变当前焦点以实现正确的聚焦。聚焦程度评价部91基于作为聚焦程度特征量的调焦方向和调焦量来确定正确的焦点。由于相位检测型自动调焦传感器在自动调焦中不需要物镜25的移动，因此与对比度检测自动调焦相比，可以实现高速的自动调焦。
135.自动调焦传感器不限于这种相位检测型自动调焦传感器，而是可以是例如用于测量物镜与观察对象之间的距离的测距传感器。当测距传感器测量物镜与观察对象之间的距离时，可以计算所测量的距离与预先所测量的物镜的焦距之间的距离差。结果，可以通过由自动调焦装置将z台架等移动所计算的距离差来进行自动调焦。尽管在该实施例中说明性地使用了相位检测，但是不用说，诸如对比度检测等的已知技术可以用于自动调焦。
136.通常，在xy台架的静止状态下进行自动调焦。也就是说，当头部4或物镜25移动时不进行自动调焦，并且在xy台架停止之后进行自动调焦。换句话说，在观察fov的移动序列期间不进行自动调焦，而是在静止序列期间进行自动调焦。自动调焦可以响应于由用户指示进行自动调焦的显式指令(例如，响应于按下自动调焦按钮)以及响应于通过放大观察设备检测到xy台架或观察fov的移动的停止而自动开始。结果，为了在显示器70上显示聚焦图像，用户不必指示放大观察设备开始自动调焦，而是当观察fov移动停止时，可以在显示器70上自动显示这种聚焦图像。因此，用户可以在没有感觉到压力的情况下对观察对象进行观察。移动/静止检测部94检测观察fov的移动的开始和停止。
137.(可跟随调焦)
138.另一方面，在根据该实施例的放大观察设备中，不仅可以在xy台架的静止状态下自动地调焦，而且可以在xy台架的移动期间(即，fov移动状态下)自动地调焦。在本说明书中，在xy平面内移动观察fov期间进行图像焦点调整的这种功能是指可跟随调焦。在可跟随调焦中，头部4可以朝向聚焦位置移动，就好像跟随观察对象的表面那样。
139.现在参考图14a和图14b描述这种调焦控制。可跟随调焦包括fov移动序列和fov静止序列。在fov移动序列中，在观察fov的移动期间进行一种类型的调焦控制。在fov静止序列中，在观察fov静止期间进行另一类型的调焦控制。图14a是示出fov移动序列的示意性侧视图。图14b是示出fov静止序列的示意性侧视图。为了便于说明，在图14a和图14b中通过说明性地移动物镜25来移动观察fov。不用说，观察fov的移动不限于物镜的移动，而是通过说明性地移动xy台架来移动观察fov。在图14a的示意性侧视图中，物镜25沿着片式电阻器cr1和cr2相对于台架30以25-1、25-2、25-3和25-4的顺序移动，其中片式电阻器cr1和cr2安装在放置在台架30的载置面上的板cb上。带箭头的分段线26示出物镜25相对于台架30的移动路径。如图14a所示，物镜25在观察fov的移动期间可以在垂直方向上移动，以大致跟随观察对象(诸如板cb以及片式电阻器cr1和cr2等)的外部形状，并且改变物镜25的焦点位置与台架之间的相对距离，使得调整焦点位置。如图14b所示，当观察fov的移动停止时，序列将转到fov静止序列，在fov静止序列中，进行短距离自动调焦以精确地调整焦点位置。箭头27表示在短距离自动调焦中物镜25与台架30之间的相对距离的变化方向。fov静止序列中的自动调焦精确度将高于fov移动序列中的自动调焦精确度。用户可以选择如下设置：当观察fov的移动停止时不自动进行fov静止序列中的自动调焦。
140.可跟随调焦可以在开(on)和关(off)之间改变。如果可跟随调焦被开启，则启用(开启)可跟随调焦模式。例如，用户可以通过按下图10所示的3d导航图像读取画面240上的“可跟随调焦”按钮248来启用可跟随调焦模式。图15是示出3d导航图像读取画面的示意图，该3d导航图像读取画面表示在图像显示区域241的中央部分中由虚线框示出的区域ri的图像以可跟随调焦模式来聚焦。在图15所示的示例性3d导航图像读取画面中，板cb位于图像显示区域241的中央部分中的由虚线框示出的区域ri中，使得板cb上的焊盘聚焦，但是片式电阻器cr的表面失焦。在可跟随调焦模式中，如图10所示，如果观察fov从图15所示的观察fov移动以将片式电阻器cr定位在图像显示区域241的中央部分中的由虚线框示出的区域ri中，则在观察fov的移动期间进行焦点调整，并且结果，片式电阻器cr的表面聚焦，但是板cb上的焊盘sd失焦。如果用户按下图16所示的“单发合成”按钮249，则进行单发合成，使得dof合成图像将显示在图像显示区域241中(稍后描述)。
141.可以使用移动物镜25或z台架的各种调焦控制技术来实现可跟随调焦模式中的自动调焦。在根据本实施例的放大观察设备中，可以在可跟随调焦模式中从多个调焦控制技术中选择调焦控制。换句话说，可以执行使用不同调焦控制技术的两个或多于两个类型的可跟随调焦模式。在可跟随调焦模式其中之一中，在视野在与光轴垂直的方向上移动期间选择并执行合适的所选调焦控制序列。此外，当观察fov的移动停止时，将根据可跟随调焦模式执行合适的调焦控制序列。具体地，可跟随调焦模式可以包括正常模式、3d形状跟随模式和平面跟随模式等。另外，在各个可跟随调焦模式中，可以在观察fov的移动期间和在该移动停止时自动选择适合于观察模式的调焦控制序列。
142.(正常模式)
143.图17是示出正常模式下的fov移动序列和fov静止序列的示意性侧视图。在图17的示意性侧视图中，物镜25沿着放置在台架30的载置面上的阶梯板cb相对于台架30以25-1、25-2、25-3、25-4、25-5和25-6的顺序移动。箭头dr1示出物镜25相对于台架30的视野移动方向(fov移动方向)。带箭头的分段线dr2示出物镜25相对于台架30的移动路径。箭头27’表示物镜25与台架30之间的相对距离的变化方向。另外，在图17中指示与其检测点相关联的聚焦值。如图17所示，在正常模式下根据聚焦值来进行调焦控制。即，基于当前观察fov(当前步骤视图)相对于当前观察fov之前的一个或多于一个观察fov步骤(较早的步骤视图)的聚焦值变化来控制调焦装置，使得如果当前步骤视图的聚焦值相对于较早的步骤视图增加，则较早的步骤视图中物镜的z方向移动方向保持不变，但是如果当前步骤视图的聚焦值相对于较早的步骤视图减少，则物镜在与当前步骤视图相反的方向上移动。最初，物镜25在向上方向和向下方向其中之一上移动。如果移动使当前步骤视图的聚焦值降低，则物镜25在另一方向上移动。在观察fov的移动期间，逐个获取聚焦值。根据所获取的聚焦值选择向上方向和向下方向其中之一以使得能够增加当前步骤视图的聚焦值。物镜25相对于台架30保持在向上方向和向下方向中的根据各步骤中的聚焦值变化而选择的一个方向上移动，使得可以在正常模式下在无需找到峰聚焦值的情况下在fov移动序列中进行调焦控制。注意，为了便于说明，物镜25的移动路径被夸大地示为带箭头的分段线dr2，使得路径被示为波浪形，但是物镜的实际移动路径将基本上与观察对象的外部形状一致。如果聚焦值变化变大，则可以将物镜移动较大间距。如果观察fov的移动停止，则序列转入fov静止序列。在fov静止序列中进行自动调焦，使得物镜被移动以在要观察的位置(观察位置)处获得最大聚焦值。在自动调焦完成之后，调焦控制结束。
144.具体地，现在参考图18描述正常模式下的自动调焦的过程(可跟随调焦处理)。在
初始状态下缓冲聚焦值之后，在步骤s1801中在预定方向上移动上z台架。随后，在步骤s1802中，拍摄图像，并且基于拍摄到的图像来计算聚焦值。此外，在步骤s1803中，根据当前步骤视图的聚焦值(当前聚焦值)和较早步骤视图的聚焦值(较早聚焦值)来计算聚焦值变化。逐个更新所缓冲的聚焦值以用作较早聚焦值。随后，在步骤s1804中，判断当前聚焦值是否相对于较早聚焦值增加。如果当前聚焦值增加，则过程进入步骤s1805，在步骤s1805中，上z台架的当前移动方向保持不变。如果当前聚焦值减少，则过程进入步骤s1806，在步骤s1806中，将上z台架的移动方向改变为与当前移动方向相反的方向。在视野的移动期间，作为fov移动序列，从步骤s1801起重复可跟随调焦处理。因此，即使在xy台架的移动期间，fov移动序列也可以通过监视聚焦值将z台架朝向聚焦位置移动，以避免显示失焦图像。如果视野的移动停止，则序列改变为fov静止序列，使得暂时存储在缓冲器中的聚焦值被清除，并且可跟随调焦处理结束。
145.(3d形状跟随模式)
146.在3d形状跟随模式中，预先获得观察对象的高度信息，使得高度信息用于实现调焦。当将拍摄3d导航图像作为以低倍拍摄到的广域图像时，可以通过获得高度图像数据来获得高度信息。注意，可以通过联结包括高度信息的高度图像数据来生成广域图像(联结图像)。因此，预先已拍摄并且包括高度信息的这种3d导航图像在3d形状跟随模式中用于自动调焦。与此相反，由于在上述正常模式下不使用这种高度信息，因此没有必要一定预先获得高度图像数据。例如，如果在图8所示的导航图像读取画面240中选中(on)复选框254“使用所存储的3d数据”，则在使用3d导航图像的高度信息的3d形状跟随模式下进行可跟随调焦。如果未选中(off)复选框254“使用所存储的3d数据”，则在不使用3d导航图像中的高度信息的正常模式下进行可跟随调焦。
147.图19是示出3d形状跟随模式的示意性侧视图。在图19的示意性侧视图中，物镜25沿着放置在台架30的载置面上的阶梯板cb相对于台架30以25-1、25-2、25-3、25-4、25-5、25-6、25-7、25-8和25-9的顺序移动。带箭头的分段线26”示出物镜25相对于台架30的移动路径。箭头27”表示在短距离自动调焦中物镜25与台架30之间的相对距离的变化方向。另外，在图19中指示与检测点相关联的聚焦值。在图19中，由闭合虚线包围的部分指示存在3d数据的区域。在存在高度信息(即，3d数据)作为三维参考信息的区域中，使用高度信息使得调整焦点位置。物镜25相对于台架30的相对位置25-1、25-2、25-3、25-4和25-5与存在3d数据作为三维参考信息的区域(3d数据包括区域)相对应。如果观察fov移动到尚未获得3d数据作为三维参考信息的区域，则将调焦控制改变为上述正常模式，这是因为无法获取高度信息。也就是说，如果观察fov移动到尚未获得3d数据的区域，则进行使用当前聚焦值相对于较早聚焦值的变化(通过观察fov的移动的聚焦值变化)的调焦控制。在图19的示例性情况下，物镜25相对于台架30的相对位置25-6、25-7、25-8和25-9与不存在3d数据作为三维参考信息的区域(3d数据缺失区域)相对应。注意，为了便于说明，通过带箭头的分段线26”夸大地示出物镜25在不存在3d数据的区域中的移动路径，使得路径被示为波浪形，但是除了存在实质上的水平差异(实质上的阶梯部分)之外，物镜的实际移动路径将基本上与观察对象的外部形状一致。此外，在3d形状跟随模式中，当观察fov的移动停止时，序列将转到fov静止序列。如上所论述的，即使在包括3d数据包括区域和3d数据缺失区域这两者的情况下，也根据3d数据包括区域和3d数据缺失区域来将可跟随调焦改变为合适的模式。因此，可以
无缝地进行合适的调焦控制。如稍后所述，可以根据是否已获得3d数据来改变调焦框的颜色。例如，可以改变图像显示区域241的中央部分中的由虚线框示出的区域ri的颜色。
148.(焦点跳跃功能)
149.在3d形状跟随模式中，可以仅基于3d数据中的高度位置来进行调焦控制。可替代地，可以与正常模式类似地基于聚焦值来正常地进行调焦控制，但是如果满足特定条件，则可以通过使用3d数据中的高度位置来使焦点位置跳跃到估计位置。例如，如果观察对象包括实质阶梯部分，则可以在焦点跳跃功能中通过使用3d数据中的高度位置来使焦点位置跳跃到估计位置。现在参考图20的示意性侧视图描述这种焦点跳跃功能。在图20的示意性侧视图中，物镜25沿着片式电阻器cr1至cr3相对于台架30以25-1、25-2和25-3的顺序移动，其中片式电阻器cr1至cr3安装在放置在台架30的载置面上的阶梯板cb上。箭头28-1表示与焦点跳跃相对应的物镜25与台架30之间的相对距离的变化。在图20中，由闭合粗虚线包围的部分指示存在3d数据的区域。例如，通过物镜25的低倍物镜部预先获取观察对象的3d数据。预先获取的3d数据偶尔包括从3d数据获得的形状与观察对象的实际形状之间的差异。与此相反，在基于实时测量到的聚焦值进行调焦控制的情况下，物镜可以沿着观察对象的实际形状移动。然而，即使在这种情况下，物镜也无法沿着包括实质阶梯部分的观察对象的实际形状移动，这将在短时间内给出大的聚焦值变化。例如，如果跟随响应速度高，则物镜的移动将振荡，使得调焦控制将不稳定。另一方面，稳定的调焦控制将降低跟随响应速度，并且无法适当地跟随包括实质阶梯部分等的这种观察对象的实际形状。为了解决这个问题，判断部97获得与下一fov移动步骤中的观察位置(下一观察位置)中的观察对象的一部分相对应的3d数据的高度信息，并通过使用在上述正常模式下测量到的聚焦值来计算高度。判断部97将3d数据中的高度与通过使用在上述正常模式下测量到的观察对象的聚焦值所获得的高度(基于聚焦值的高度)进行比较，并判断这些高度之间的差是否落在预定范围内。如果差落在预定范围内，则选择基于聚焦值的高度。如果基于聚焦值的高度与3d数据中的高度之间的差大，换句话说，如果差在预定范围之外，则选择3d数据中的高度。在视野的移动期间通过上述调焦控制，物镜25和台架30之间的相对距离可以从通过使用实时测量到的聚焦值所获得的相对距离改变为从与下一观察位置相对应的xy位置(下一xy观察位置)处的3d数据的高度信息所获取到的相对距离。也就是说，焦点位置可以从基于聚焦值的高度跳跃到3d数据中的高度。在图20中指示了判断阈值ds。判断阈值ds用于判断是选择基于实时测量到的聚焦值进行的调焦控制(与正常模式相对应的调焦控制)还是基于3d数据中的高度进行的调焦控制。观察对象在点25-1周围具有平坦部分。由于在该部分中高度之间的差小于判断阈值ds，因此通过与正常模式相对应的调焦控制来移动物镜25。观察对象在点25-1和25-2之间具有阶梯部分，并且在点25-2和25-3之间具有倾斜表面。如果物镜25通过高度之间的差不小于判断阈值ds的阶梯部分和倾斜表面，则物镜25在视野的移动期间跳跃(焦点跳跃)。例如，在点25-1处指定下限高度th1和上限高度th2。在视野的移动期间，高度之间的差变得在由下限高度th1和上限高度th2限定的预定范围之外，使得进行焦点跳跃(28-1)。在视野的移动期间，高度之间的差落在由下限高度th3和上限高度th4限定的预定范围内，使得不进行焦点跳跃(28-2)。由于选择性地使用3d数据的高度信息，因此即使在这样的边界部分中，也可以在不降低跟随响应速度的同时提供可靠的调焦控制。应当注意，如果物镜在倾斜表面上方缓慢移动，则基于聚焦值的高度与下一xy观察位置处的3d数据中的高度
之间的差将落在判断阈值ds内，使得不进行焦点跳跃。
150.(偏移功能)
151.3d形状跟随模式还可以具有用于使3d数据的高度偏移的功能。现在参考图21描述偏移功能。预先获取作为观察对象的包括片式电阻器cr1和cr2的板cb的3d数据。预先获取的3d数据偶尔具有与实际放置的观察对象的均匀偏差，这是由放置条件之间的差异等引起的。在这种情况下，已获得由与图20相同的粗虚线框示出的3d数据。当观察fov的移动在存在3d数据的位置处停止时，进行fov静止序列中的自动调焦操作，从而获取高度信息。箭头27
”’
表示在短距离自动调焦中物镜25与台架30之间的相对距离的变化方向。为了给出3d数据中的该位置的高度与所获取的高度信息之间的一致性，计算3d数据的偏移量。结果，可以根据偏移量来使3d数据偏移。例如，所计算的偏移量被存储在存储器56中。当在3d形状跟随模式中使用下一xy观察位置的高度信息时，基于下一观察位置的3d数据的高度信息和存储器56中所存储的偏移量来进行调焦控制。在图21的示例性情况下，由闭合粗虚线示出的3d数据向上偏移到由闭合细虚线包围的部分。在这种情况下，与偏移量相对应的正偏移值存储在存储器56中。在3d数据向下偏移的情况下，与偏移量相对应的负偏移值存储在存储器56中。由于如上所论述地调整3d数据的高度信息，因此可以获取观察对象的更准确的表面高度。因此，可以准确地进行调焦控制。可以基于获取高度信息的位置周围的形状来判断是否执行偏移功能。例如，在fov静止序列中获取位置的高度信息的情况下，基于3d数据来获取该位置周围的部分的形状信息。之后，如图37所示，如果形状信息示出水平表面，则执行偏移功能，并且如果形状信息示出倾斜表面，则不执行偏移功能。在这种情况下，可以准确地计算3d数据的偏移量。
152.(调焦框)
153.在进行自动调焦的情况下，可以显示指示在观察fov中要聚焦的部分的调焦框。在这种情况下，调焦框可以具有根据自动调焦的调焦控制条件而改变的不同显示形式。在图22a至22c中示出示例性的不同显示形式。例如，如图22a所示，在自动调焦期间显示闭合的粗不透明线的调焦框ff1。如图22b所示，在观察fov静止的情况下，显示闭合的粗透明线的调焦框ff2。调焦框的不同显示形式之间的改变帮助用户在视觉上识别当前是否进行自动调焦。调焦框的不同显示形式之间的这种改变不限于不透明框和透明框之间的改变。例如，可以使用可以由用户在视觉上区分的粗线框和细线框、闪烁框和非闪烁框、高亮框和非高亮框或彩色框和灰色框等之间的其他显著改变。根据是执行fov移动序列还是执行fov静止序列，可以在不同的显示形式之间改变调焦框。在进行使用3d数据的调焦控制(3d形状跟随模式)的情况下，以图22c所示的示例性显示形式来显示由浅蓝色细不透明线限定的调焦框ff3。在执行fov静止序列的情况下，以图22a所示的示例性显示形式来显示由浅蓝色粗不透明线限定的调焦框ff1。此外，在进行使用聚焦值的调焦控制(正常模式)的情况下，显示由绿色细不透明线限定的调焦框ff3。在执行fov静止序列的情况下，显示由绿色粗不透明线限定的调焦框。当自动调焦完成时，调焦框可以从不透明线改变为透明(正常)线。例如，在使用3d数据的调焦控制中，当自动调焦完成时，调焦框可以从由浅蓝色粗不透明线限定的调焦框ff1改变为由浅蓝色透明线限定的调焦框ff2。此外，在使用聚焦值的调焦控制(正常模式)中，当自动调焦完成时，调焦框可以从由绿色粗不透明线限定的调焦框ff1改变为由绿色透明线限定的调焦框ff2。当在显示区域中顺次更新图像作为运动视频图像时，可以显
示这种调焦框。另外，当指定roi时显示在图像显示区域或导航区域中的框可以具有根据是否进行自动调焦和调焦控制的类型等而改变的不同显示形式。
154.现在参考图23的时序图描述在进行可跟随调焦的情况下3d形状跟随模式中的指令和操作之间的关系。时序图说明性地示出：在3d导航图像读取功能等中预先获取3d数据，并且观察fov通过台架30移动而移动。在图23的时序图中，在初始状态下，台架30处于静止状态，并且其相应的观察位置位于存在3d数据的区域(3d数据包括区域)中。当在该状态下从用户接收到执行正常自动调焦的指示时，进行正常自动调焦，使得3d数据包括区域中的观察位置中的观察对象的图像正确地聚焦。之后，当从用户接收到执行可跟随调焦的指示时，将由浅蓝色透明线限定的调焦框叠加在显示在图像显示区域中的观察对象的实时图像上。之后，台架30响应于移动台架30的指示而移动。相应地，移动/静止检测部94检测台架30的移动，并且启用3d形状跟随模式中的fov移动序列。响应于fov移动序列的启用，调焦框从闭合的浅蓝色透明线改变为闭合的浅蓝色不透明线。即使如图23中的虚线圆所示暂时中断移动台架30的指示而使得台架30暂时停止，移动/静止检测部94也检测到台架30保持移动，只要台架30保持停止预定时间段即可。如果台架30停止了预定时间段，则移动/静止检测部94检测到台架30处于静止。如果移动/静止检测部94检测到停止(台架处于静止)，则可跟随调焦从fov移动序列改变到fov静止序列。当fov移动序列被改变为fov静止序列时，启用短距离自动调焦，并且根据在短距离自动调焦中所获取的高度信息以及3d数据的高度信息来计算偏移量。调焦框在fov静止序列中的短距离自动调焦期间由闭合粗线指示。当短距离自动调焦完成时，调焦控制变为空闲，并且调焦框被改变为闭合的浅蓝色透明线。之后，台架30响应于移动台架30的指示而移动。相应地，移动/静止检测部94检测台架30的移动，并且进行3d形状跟随模式中的fov移动序列。响应于fov移动序列的启用，调焦框从闭合的浅蓝色透明线改变为闭合的浅蓝色不透明线。当观察fov从3d数据包括区域移动到不存在3d数据的区域(3d数据缺失区域)时，fov移动序列转到与正常模式相对应的调焦控制，并且调焦框从浅蓝色改变为绿色。如果台架30停止了预定时间段，则移动/静止检测部94检测到台架30处于静止。如果移动/静止检测部94检测到停止(台架处于静止)，则可跟随调焦从fov移动序列改变到fov静止序列。当fov移动序列被改变为fov静止序列时，启用短距离自动调焦。调焦框在fov静止序列中的短距离自动调焦期间由闭合粗线指示。当短距离自动调焦完成时，调焦控制变为空闲，并且调焦框改变为闭合的浅蓝色透明线。之后，当从用户接收到结束可跟随调焦的指示时，可跟随调焦结束。
155.(平面跟随模式)
156.根据实施例的放大观察设备具有作为调焦控制的平面跟随模式。在平面跟随模式中，从预定几何形状(平面、球面等)中选择面，并且该面被构造为对观察对象的与不同xy位置相对应的高度具有最佳拟合，以估计物镜25的焦点位置要移动所沿的面作为三维参考信息，并且基于与该面有关的信息来确定被估计为下一观察位置的目标高度。平面跟随模式通过应用被构造为对观察对象的高度具有最佳拟合的几何形状来估计下一观察位置的高度信息。平面跟随模式可以用于观察具有几何面的对象。在平面跟随模式下，如图24a所示，在多个位置聚焦于观察对象上之后，如果基于聚焦的位置将观察对象的在聚焦部分中的形状识别为平面，则将该平面用作三维参考信息，使得物镜可以根据xy台架的移动中所识别的平面的倾斜度在z方向上移动。在xy台架的移动停止时，可以进行正常自动调焦。在图24a
所示的实施例中，sq1示出在多个点处获取高度的多点高度获取(自动调焦操作)，，并且sq3和sq5示出高度获取(自动调焦操作)。sq2和sq4示出fov移动序列。sq3和sq5进一步示出fov静止序列。例如，用户可以通过按下布置在图25所示的用户界面画面中的操作者区域242中的“平面拟合”按钮252来执行平面跟随模式。在这种情况下，平面跟随模式将响应于对按钮的按下而开始。更具体地，在图24a的观察fov中，在由虚线框示出的sq1中的多个点处获取高度，并且如图24b所示可以将观察对象识别为平面a。随后，可以移动物镜以在sq2的路径中跟随已在sq1中所识别的平面a。在图24a中，箭头i示出物镜25在sq2的路径上的控制方向。也就是说，箭头i示出在sq2的路径上fov改变部的控制方向以及物镜25的焦点位置与台架之间的相对距离的控制方向。在沿着路径sq2移动之后，物镜25在sq3中停止。在物镜停止的位置处附加地进行自动调焦，使得获取高度信息。在图24a中，箭头iv示出物镜25的焦点位置与台架之间的相对距离的控制方向。如图24b所示，除了在sq1中的多个点处所获取的高度之外，还根据在sq3中所获取的高度信息，估计平面b作为更新的三维参考信息。随后，可以移动物镜以在sq4的路径中跟随已在sq3中所识别的平面b。在沿着sq4的路径移动之后，物镜25在sq5中停止。在物镜停止的位置处附加地进行自动调焦，使得获取高度信息。如图24b所示，除了已在sq1和sq3中的点处所获取的高度之外，还根据在sq5中所获取的高度信息，估计平面c作为更新的三维参考信息。在平面跟随模式中，当观察fov的移动停止时，进行自动调焦使得获取高度。因此，每当观察fov的移动停止时，可以新估计平面。物镜可以在垂直方向上移动以跟随在观察fov的移动期间新估计的平面。因此，即使在观察fov的移动期间，也可以进行传统放大观察设备无法进行的图像焦点调整。应当注意，可以与sq1类似地在sq3和sq5中的多个点处获取高度。
157.(帧跳过功能)
158.根据该实施例的放大观察设备还具有帧跳过功能，该帧跳过功能用于仅在新拍摄到的图像比当前所显示的图像更正确地聚焦时才更新显示器上的图像，并且如果不是，则不更新该图像。结果，例如，在fov静止序列中进行自动调焦的情况下，用户可以观看之前拍摄并显示的相对正确聚焦的图像，而不是当前拍摄到的失焦图像。
159.下面将描述用于进行包括帧跳过处理的正常自动调焦和短距离自动调焦的过程，作为用于在自动调焦期间进行帧跳过处理的过程。
160.(可跳过帧正常自动调焦)
161.参考图26的流程图描述用于进行包括帧跳过处理的正常自动调焦的过程。高度方向上的正常自动调焦的范围是预先指定的。在步骤s2601中，z台架首先在增加物镜25和台架30之间的相对距离的方向上移动。随后，在步骤s2602中，在z台架的移动期间进行预定的帧跳过处理(稍后参考图28描述)。随后，在步骤s2603中，判断z台架是否移动通过正常自动调焦的整个高度范围。如果不是，则过程返回到步骤s2601并重复该例程。如果z台架移动通过正常自动调焦的整个高度范围，则过程进入步骤s2604，在步骤s2604中，z台架移动到与最大聚焦值相对应的高度位置。与最大聚焦值相对应的高度位置与聚焦位置相对应。最后，在步骤s2605中显示实时图像，并且用于进行正常自动调焦的过程结束。
162.(可跳过帧短距离自动调焦)
163.参考图27的流程图描述用于进行包括帧跳过处理的短距离自动调焦的过程。预先指定高度方向上的短距离自动调焦的范围。
164.在步骤s2701中，z台架首先在向前方向上移动。例如，向前方向是物镜25远离观察对象移动的方向。随后，在步骤s2702中，在z台架的移动期间进行预定的帧跳过处理(稍后参考图28描述)。随后，在步骤s2703中，判断z台架是否移动通过短距离自动调焦的整个高度范围。如果不是，则过程返回到步骤s2701并重复该例程。
165.随后，如果z台架移动通过短距离自动调焦的整个高度范围，则过程进入步骤s2704，在步骤s2704中，z台架在与向前方向相反的相反方向上移动。例如，z台架在物镜25朝向观察对象移动的方向上移动。随后，在步骤s2705中，在z台架的移动期间进行预定的帧跳过处理(稍后参考图28描述)。随后，在步骤s2706中判断z台架是否移动通过短距离自动调焦的整个高度范围。如果不是，则过程返回到步骤s2704并重复该例程。
166.如果z台架移动通过短距离自动调焦的整个高度范围，则过程进入步骤s2707，在步骤s2707中，z台架移动到与最大聚焦值相对应的高度位置。与最大聚焦值相对应的高度位置与聚焦位置相对应。最后，在步骤s2708中显示实时图像，并且用于进行短距离自动调焦的过程结束。
167.现在参考图28的流程图描述图27的流程图中的步骤s2702和s2705以及图26的流程图中的步骤s2602中的用于进行帧跳过功能的过程。首先，在步骤s2801中拍摄图像。在步骤s2802中，基于拍摄到的图像来计算聚焦值。将计算出的聚焦值缓冲。随后，在步骤s2803中判断计算出的聚焦值是否为最大值。即，判断当前计算出的聚焦值是否大于已计算出的所有聚焦值。如果当前聚焦值最大，那么过程进入步骤s2804，在步骤s2804中，更新最大聚焦值。随后，在步骤s2805中，将所显示的图像更新为新拍摄到的图像，然后过程进入步骤s2808。如果当前聚焦值不是最大，则过程进入步骤s2806，在步骤s2806中，放弃当前聚焦值。然后，该过程进入步骤s2807，在步骤s2807中，不更新所显示的图像。之后，过程进入步骤s2808。随后，在步骤s2808中判断物镜是否在高度方向上移动。如果物镜在高度方向上移动，则过程返回到步骤s2801并重复该例程。如果不是，则过程结束。结果，可以实现用于仅在观察对象的图像被正确聚焦时更新所显示的图像的帧跳过功能。如果完成短距离自动调焦，则重置所缓冲的聚焦值。在聚焦值缓冲中，可以缓冲在短距离自动调焦中已获得的所有聚焦值。可替代地，可以仅缓冲与已获得的所有聚焦值中的最大值相对应的聚焦值。
168.(搜索自动调焦功能)
169.此外，根据该实施例的放大观察设备具有搜索自动调焦功能作为自动调焦的示例。图29是示出台架30和物镜25之间的相对距离作为物镜25的z方向移动的示意性透视图。在图29的左侧部分中示出台架30、板cb和物镜25之间的位置关系。片式电阻器cr安装在板cb上。物镜25在z方向上移动。物镜25的z方向移动中的z方向位置以在图29的右侧部分中从左侧到右侧布置的25-1、25-2、25-3和25-4的时间顺序示出。如图29所示，搜索自动调焦功能使用粗搜索和精确搜索，在粗搜索和精确搜索中，在自动调焦时，物镜在z方向上分别在较宽和较窄的范围内移动。粗搜索和精确搜索的组合可以提供自动调焦的高速化和高精确度这两者。如图29所示，通过搜索自动调焦功能的控制，物镜25或z台架根据观察对象在垂直方向上的高度而移动。现在参考图30的时序图作为时间线图描述搜索自动调焦功能的控制。在时序图中示出图29所示的物镜或z台架的垂直方向控制中的聚焦值变化以及实时图像显示和帧跳过显示之间的改变。图30的时序图示出首先执行与较宽z范围相对应的粗搜索，然后执行与较窄z范围相对应的精确搜索。
170.如图30的上部所示，当启用搜索自动调焦功能时，首先执行粗搜索。在该时序图中，z台架响应于用户输入而向下移动到粗搜索的下限位置，然后从该下限位置向上移动到粗搜索的上限位置。在向上移动中，将显示实时图像(连续更新所显示的图像的实时显示)直到与峰聚焦值(峰位置)相对应的某个中点为止。在峰位置之后，聚焦值将不会超过峰，使得保持显示在峰位置处拍摄到的图像(停止更新所显示的图像)。也就是说，将实时图像显示改变为不更新所显示的图像的帧跳过显示。随后，当粗搜索完成时，z台架再次向下移动到精确搜索的下限位置。精确搜索的上限位置和下限位置根据粗搜索中的峰位置来指定。随后，精确搜索开始，使得z台架向上移动到精确搜索的上限位置。精确搜索的间距小于粗搜索。结果，精确搜索可以更精确地找到峰位置。当在精确搜索中所获取的聚焦值变得大于在粗搜索中所获取的最大聚焦值时，更新所显示的图像。在峰位置之后，将实时图像显示改变为保持显示在峰位置处拍摄到的图像(显示静止图像)的帧跳过显示。当在粗搜索和精确搜索之后找到与最大聚焦值相对应的峰位置时，z台架移动到该峰位置并停止，使得帧跳过显示改变为实时图像显示，并且连续显示实时图像。
171.(可跟随调焦模式的过程)
172.现在参考图31的流程图描述用于执行启用可跟随调焦的可跟随调焦模式的过程。在步骤s3101中，响应于用户输入，首先启用可跟随调焦模式。随后，在步骤s3102中判断是否进行平面估计。如果是，则过程进入步骤s3112。如果不进行平面估计，则过程进入步骤s3103。
173.在步骤s3103中，根据用户输入将台架30移动到观察位置。随后，在步骤s3104中判断观察位置是否在3d数据包括区域中。如果观察位置在3d数据缺失区域中，则过程进入步骤s3107，在步骤s3107中，进行预定的可跟随调焦处理。已参考图18描述了预定的可跟随调焦处理。
174.如果观察位置在3d数据包括区域中，则在步骤s3105中判断当前高度位置与3d数据中的下一xy观察位置处的高度之间的差是否大。例如，判断当前高度位置与3d数据中的下一xy观察位置处的高度之间的差是否大于预定阈值。如果不是，则过程进入步骤s3107，在步骤s3107中，进行预定的可跟随调焦处理。如果该差大于阈值，则在步骤s3106中基于观察位置和3d数据来控制z台架的z方向移动。
175.随后，过程从步骤s3106或s3107进入步骤s3108，在步骤s3108中，判断是否停止台架30的移动。如果不是，则过程返回到步骤s3103并重复该例程。如果判断为停止台架30的移动，则过程进入步骤s3109，在步骤s3109中，停止台架30的移动(停止处理)。在该示例性停止处理中，进行短距离自动调焦，并且测量观察对象上的z坐标(稍后描述)。随后，在步骤s3110中基于所测量的z坐标来校正3d数据。也就是说，更新要用于可跟随调焦的三维参考信息。随后，在步骤s3111中判断是否结束可跟随调焦模式。如果不是，则过程返回到步骤s3103并重复该例程。如果判断为结束可跟随调焦模式，则可跟随调焦模式结束。
176.(平面估计)
177.如果在步骤s3102中判断为进行平面估计，则过程进入步骤s3112，使得进行平面估计。具体地，在步骤s3112中，进行正常自动调焦，并且在测量参考点处测量坐标(进行坐标测量)。随后，在步骤s3113中，根据测量参考点处的坐标来估计平面。在步骤s3114中，根据用户输入将台架30移动到观察位置。随后，在步骤s3115中基于观察位置和所估计的平面
来控制z台架的z方向移动。随后，在步骤s3116中判断是否停止台架30的移动。如果不是，则过程返回到步骤s3114并重复该例程。如果判断为停止台架30的移动，则过程进入步骤s3117，在步骤s3117中进行坐标测量。在步骤s3117中还进行短距离自动调焦(稍后描述)。随后，在步骤s3118中基于所测量的坐标来再次估计平面。最后，在步骤s3119中判断是否结束可跟随调焦模式。如果不是，则过程返回到步骤s3114并重复该例程。如果判断为结束可跟随调焦模式，则可跟随调焦模式结束。
178.(单发合成)
179.此外，根据该实施例的放大观察设备可以生成通过合成在不同高度处拍摄到的图像所获得的3d图像数据(dof合成图像处理)。在dof合成图像处理中，上限高度和下限高度可以由用户指定为高度方向的范围。可替代地，可以通过自动指定高度方向的范围来省略这种用户指定。根据该实施例的放大观察设备具有使得用户能够通过使用这种自动高度范围指定来获得dof合成图像的单发合成功能(单发合成)。图2所示的处理器80可以执行单发合成。图2的框图示出在处理器80中实现的单发合成部98。
180.现在参考图32的流程图和图36的示意图来描述用于执行单发合成的过程。在步骤s3201中，首先从用户接收执行单发合成的指示。例如，用户点击图16所示的放大观察程序的用户界面画面上的“单发合成”按钮249。随后，在步骤s3202中，基于与视野相对应的3d数据来确定高度移动范围。随后，在步骤s3203中，将上z台架和/或下z台架移动到作为高度移动范围的下限位置的下限高度zmin。随后，在步骤s3204中，在物镜25和台架30之间的相对距离增加的方向上移动z台架。随后，在步骤s3205中，拍摄图像，并且基于拍摄到的图像来计算像素的聚焦值。聚焦程度评价部91计算聚焦值。随后，在步骤s3206中，判断上z台架和/或下z台架是否移动通过整个移动范围，换句话说，是否达到上限高度zmax。如果不是，则过程返回到步骤s3204并重复该例程。如果上z台架和/或下z台架达到上限高度zmax，则过程进入步骤s3207，在步骤s3207中，基于与像素的最大聚焦值相对应的高度位置和像素的与高度位置相对应的被摄体亮度值来生成3d导航数据作为dof合成图像。单发合成使得用户能够生成3d图像数据，该3d图像数据包括在不是用户自己指定上限高度和下限高度的情况下通过使用合适的上限高度和下限高度所获取的高度信息。单发合成可以通过点击图16所示的“单发合成”按钮249等来启用。可替代地，当序列改变为fov静止序列时，可以启用单发合成。当序列改变为fov静止序列时在短距离自动调焦中的台架和物镜之间的相对距离的改变可以在单发合成中共同使用。因为在dof合成图像处理中调整台架和物镜之间的相对距离以聚焦观察对象的图像，所以在单发合成之后序列改变为fov移动序列时，这种相对距离在短距离自动调焦和单发合成之间的共同使用可以立即显示聚焦的实时图像。
181.(fov移动序列)
182.尽管已说明性地描述了进行短距离自动调焦并且在停止位置处拍摄的fov移动序列，但是fov移动序列不限于这些。当序列改变为fov静止序列时，图像处理部84可以生成合成图像，使得可以在显示器70上显示合成图像。可以由图像处理部84生成的合成图像可以包括dof合成图像、3d合成图像、像素移位多发图像、超分辨率图像和hdr视频等。如果在fov移动序列中从用户接收到记录方向，则存储装置53存储在显示器上显示的合成图像。如果序列从fov移动序列再次改变为fov移动序列，则清除合成图像，并且在显示器70上显示实时图像。此外，如果序列改变为fov静止序列，则可以进行短距离自动调焦，并且可以生成一
个或多于一个类型的合成图像。例如，在如果序列改变为fov静止序列则进行短距离自动调焦并生成hdr图像的情况下，在短距离自动调焦之后，拍摄图像以生成hdr图像，使得图像处理部84基于拍摄到的图像来生成hdr图像。
183.第三实施例
184.根据本公开的第三实施例的放大观察设备300还具有倾斜观察功能。现在参考图33描述根据第三实施例的具有倾斜观察功能的放大观察设备300。图33是示出放大观察设备300的成像组部1的正面图。根据与前述第一实施例相同的图33所示的放大观察设备的组件附有与第一实施例相同的附图标记，并且省略对它们的描述。
185.成像组部1包括保持观察对象的台架30、头部4和用于支撑头部4的支撑件40。支撑件40包括台架可移动保持器42和头部倾斜器44，该台架可移动保持器42在水平平面和垂直方向上以可移动方式保持台架30，该头部倾斜器44可以在持续保持台架30期间使头部4倾斜。台架可移动保持器42和头部倾斜器44固定至基座41。支撑件40稳定地立在板状的基座41上。
186.通过由头部倾斜器44使头部4相对于台架30倾斜，可以在歪斜方向上观察观察对象(倾斜观察)。特别地，在头部4可以围绕枢轴45相对于直立姿势向左和向右摆动的情况下，可以在左歪斜方向和右歪斜方向这两者上对观察对象进行观察。这种不同的视图可以提供观察的高灵活性。另外，在倾斜观察中，当头部4倾斜时，观察fov需要固定，使得可以偏心地对观察对象进行观察(偏心观察)。为此，在倾斜观察中，为了使待观察的观察对象的表面与枢轴45的轴线对准，优选地预先调整台架30的高度。根据第三实施例的放大观察设备也可以在倾斜观察中执行可跟随调焦模式。在执行3d形状跟随模式的情况下，如果头部4相对于台架30倾斜了预定角度或更大角度，则取消3d形状跟随模式并自动改变为正常模式。之后，如果头部4相对于台架30的倾斜角度再次被调整到小于预定角度的范围内，则正常模式自动改变为3d形状跟随模式。无论头部4相对于台架30的倾斜角度如何，都可以始终执行正常模式。可以使用角度传感器来检测头部相对于台架的倾斜角度是否小于预定角度。在这种情况下，如果角度传感器检测到例如头部4相对于台架30倾斜不小于15度的角度，则可以取消3d形状跟随模式并自动改变为正常模式。此外，如果头部相对于台架的倾斜角被调整到小于15度的范围内，则正常模式可以自动改变为3d形状跟随模式。可替代地，可以提供物理锁以使头部相对于台架30固定在0度，换句话说，保持头部4直立。在这种情况下，可以根据物理锁的锁定/解锁来自动启用/停用(开启/关闭)3d形状跟随模式。在头部固定在0度的情况下，可以执行3d形状跟随模式。例如，如果检测到物理锁的解锁，则可以将3d形状跟随模式自动改变为正常模式。
187.第四实施例
188.根据本公开的第四实施例的放大观察设备400还包括侧照相机18。侧照相机18在侧视图中拍摄台架30上的观察对象的图像。侧照相机18使得用户能够知道台架30的载置面上的观察对象与物镜25之间的位置关系。也就是说，用户可以在对观察对象进行观察时实时看到位置关系。结果，可以防止意外接触。侧照相机18被布置为拍摄包括物镜25的下端和台架30的上端的侧照相机图像。当通过物镜25拍摄放大图像时，用户可以将观察对象的放大图像与其相应侧照相机图像一起存储。在这种情况下，日后用户可以容易地且在视觉上知道如何拍摄观察对象的放大图像。图34是示出根据第四实施例的包括侧照相机18的放大
观察设备400的侧面图。根据与前述第一实施例相同的图34所示的放大观察设备400的组件附有与第一实施例相同的附图标记，并且省略对它们的描述。所示的放大观察设备400包括台架30、头部4和用于支撑头部4的支撑件40作为成像组部1。头部4包括侧照相机18。
189.(侧照相机图像)
190.侧照相机18被布置为拍摄包括观察对象的上表面和物镜25的端部的图像。图35是示出由侧照相机18拍摄到的示例性侧照相机图像si的示意图。在如图35所示的侧照相机图像si中，指定侧照相机的缩放因子和观察fov，以使得用户能够知道物镜25的端部、观察对象和台架30之间的位置关系。另外，可以在侧照相机图像si中指示物镜25的幻影焦点(phantom focus)位置。此外，在如图35所示的侧照相机图像si中，从拍摄到的图像中提取的边缘线ed可以由粗线指示。例如，图像处理部84通过将边缘提取应用于由侧照相机18拍摄到的图像来检测观察对象的上边缘和物镜25的端部。结果，当拍摄观察对象的图像或测量观察对象时，可以进行计算以防止观察对象与物镜25之间的接触。此外，如果出现接触的可能性，则可以基于计算来发出警告。如图35所示，可以在显示器70上的侧照相机图像si中指示示例性警告消息“注意：小心移动的透镜”。这样的警告消息可以由黑白反转的、突出显示的、带下划线的或颜色改变等的字符明显地指示，以在视觉上向用户发出与接触有关的警报。此外，可以发出可听警告消息或警告蜂鸣声等。可替代地，可以启用警告灯或使警告灯闪烁。不用说，可以适当地一起使用它们。
191.背景部分可以与侧照相机图像si中的物镜25和观察对象不同地示出，使得用户可以容易地将物镜25和观察对象与背景部分区分开。例如，调整侧照相机18的景深以清楚地仅示出台架30的与景深相对应的深度区域。可以提供自动提取背景部分的背景判断部。例如，背景判断部判断侧照相机图像si中相对于背景部分的固定部分或亮度变化部分。在这种情况下，可以改变照明光的亮度。可替代地，可以提供用于掩蔽背景部分的背景影响减小部。可以单独地提供背景判断部或背景影响减小部。可替代地，图像处理部84可以用作背景判断部或背景影响减小部。
192.根据本公开的放大观察设备、放大观察方法、放大观察程序以及存储有放大观察程序的非暂时性计算机可读存储介质或存储装置可以适当地用作显微镜或数字显微镜(例如，反射或透射数字显微镜)等。
193.对于本领域普通技术人员来说显而易见的是，虽然已经示出和描述了本发明的各种优选示例，但是应预期到本发明不限于所公开的特定示例。相反，所公开的示例仅仅是本发明构思的说明，并且不应被解释为限制本发明的范围。落入本发明的精神内的所有合适的修改和变化旨在由所附权利要求书所涵盖。