些模式可仅在一个方面上是可改变的。并且，关于合成处理模式的选择，可包括用于切换到其它图像处理模式的选项。类似地，关于显示模式的选择，可包括用于切换到其它显示模式的选项。例如，其它显示模式包括其中仅显示还没有经受焦点层叠处理的原始图像(层图像)的显示模式、以及其中已经受焦点层叠处理的图像和还没有经受焦点层叠处理的图像都被显示使得它们可被比较的显示模式。提供用于显示经受焦点层叠处理的图像和没有经受焦点层叠处理的图像以使得能够相互比较的显示模式使得可以把握已从另一图像切出并且通过焦点层叠处理合成的区域在其原始成像时的状况。这使得可以在比较处于其清楚状况中的图像和处于具有深度感的状况中的图像的同时观看图像。
[0154]上述的配置使得可以通过希望的方法合成在多个焦点位置处成像的图像。并且，它还使得可以通过希望的方法显示合成图像。结果，用户能够通过选择性地切换合成处理模式和显示模式来根据对象的成像结果获得最佳合成和显示结果。
[0155]〈其它实施例〉
[0156]描述的实施例仅代表本发明的具体例子，并且本发明的配置不限于这些具体例子。
[0157]例如，虽然在第一和第二实施例中用户切换和自动切换是可选择的选项，但显示方法可以仅仅是它们中的一个。并且，可将用户切换和自动切换组合在一起。并且，还可以在不指定范围的情况下对在图8A的1002处显示的整个区域执行合成处理，并且显示该合成处理后的区域的图像。并且，在被切换的同时要被显示的图像可不仅包含合成处理之后的图像，而且包含在各个焦点位置处捕获的合成处理之前的图像(层图像)。在这种情况下，被提供用于选择的选项可包含用于仅显示作为合成处理的结果获得的图像的模式、用于仅显示合成处理之前的图像的模式、以及用于显示包含作为合成处理的结果获得的图像和合成处理之前的图像的所有图像的模式。
[0158]虽然在上述的实施例中示出了其中指定诸如场深变动范围和基准位置的参数的处理流程，但是本发明不限于此。例如，可以存储预设的参数，使得当指定范围(1003)或启动程序时取回存储的参数。这消除了对显示图9或图14所示的设定画面的需要，并且使得能够仅通过在图8A所示的图像显示画面上的操作来观察希望的图像。
[0159]并且，虽然已关于其中在固定焦点位置和场深中的一个的同时变动另一个的处理的例子进行了第一和第二实施例的描述，但本发明不限于此。例如，也可以通过变动焦点位置和场深两者产生合成图像，使得这些合成图像可被切换显示。在这种情况下，可以选择三种模式，即，固定焦点/可变场深模式、固定场深/可变焦点模式、以及可变焦点/可变场深模式。
[0160]并且，在第一到第三实施例中描述的配置可相互组合。例如，可在第一实施例的系统配置中执行根据第二实施例的图像合成处理和图像显示处理，并且，相反，可在第二实施例的系统配置中执行根据第一实施例的图像合成处理和图像显示处理。
[0161]在第一到第三实施例中，为了产生多个观察图像，图像处理装置在改变选择的原始图像(层图像)的组合的同时多次执行用于产生一个观察图像的合成处理。但是，在实施例中的任一个中，图像处理装置可通过在改变用于合成处理的参数、而不改变选择的原始图像的组合的同时多次执行用于产生一个观察图像的合成处理，来产生多个观察图像。即，可通过改变用于合成处理的参数，来从原始图像的同一组合产生场深和/或焦点位置不同的多个观察图像。在本方法中，可对每个合成处理使用所有原始图像(例如，形成一个Z层叠图像的所有层图像)。图19示出合成处理的流程的例子。该流程示出图5中的步骤S707中的处理的详细内容。图像处理装置102确定要用于合成处理的原始图像(层图像)的组合，并且从储存器件读出它们的数据(步骤S1901)。接下来，图像处理装置102确定第一场深(步骤S1902)，并且确定与该场深对应的合成处理的参数(步骤S1903)。控制场深的参数的类型依赖于合成处理方法的类型，并且可以使用各种参数，诸如用于合成的系数(权重)、滤波器的特性、孔径光阑和视点。接下来，图像处理装置102使用在步骤S1903中确定的参数执行合成处理，并由此产生具有希望的场深的图像(步骤S1904)。通过改变场深的指定(步骤S1906)并且在改变参数的同时重复合成处理，产生场深不同的多个观察图像(步骤 S1903 至 S1905)。
[0162]可对图19中的步骤S1904中的图像合成处理采用各种已知的场深控制技术。例如，如上面描述的那样，可使用用于从层图像中的每一个选择对焦区域并且组合它们以产生一个图像(观察图像)的第一方法(称为区块(patch)类型方法)。可以使用用于执行层图像和模糊函数(例如，Gaussian函数)的去卷积以由此产生希望的深度控制图像的滤波类型方法。滤波类型方法包括用于分别向层图像添加二维模糊函数并且执行去卷积的第二方法(称为二维滤波类型方法)、以及用于在所有的层图像之上直接执行希望的模糊函数的去卷积的第三方法(称为三维滤波类型方法)。在例如日本专利申请公开N0.2007-128009中公开了与第三方法有关的技术。日本专利申请公开N0.2007-128009公开了如下配置:用于通过向不同焦点位置中的多个图像施加用于匹配图像与三维卷积模型的坐标转换处理和用于改变三维频率空间上的模糊的三维滤波处理，来扩展场深。通过向图像合成处理(焦点层叠)应用这些场深控制技术，可从所有的原始图像或者从选自它们之中的原始图像的同一组合产生具有任意的场深的图像。可不仅对产生场深控制的图像，而且对产生焦点位置控制的图像，使用上述的第一到第三方法。通过组合根据上述实施例的各种技术获得的各种其它配置也落在本发明的范围内。
[0163]虽然在上述的实施例中通过鼠标轮操作来指示图像切换，但也可通过诸如跟踪板、跟踪球或操纵杆的指向设备的滚动操作来指示图像切换。并且，也可通过键盘的预定键(例如，垂直偏移键或页向上/向下键)给出指令。
[0164]也可通过读出并执行记录在存储设备上的程序以执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU的设备)、以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的程序以执行上述实施例的功能执行其步骤的方法，来实现本发明的各方面。出于这种目的，例如经由网络或从用作存储设备的各种类型的记录介质(例如，非暂态计算机可读介质)向计算机提供程序。因此，计算机(包含诸如CPU或MPU的设备)、方法、程序(包含程序代码和程序产品)、以及记录程序的非暂态计算机可读介质均包含于本发明的范围内。
[0165]虽然已参照示例性实施例描述了本发明，但要理解，本发明不限于公开的示例性实施例。以下的权利要求的范围要被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。
[0166]本申请要求在2012年9月28日提交的日本专利申请N0.2012-216048的权益，在此通过引用而并入其全部内容。
【主权项】
1.一种图像处理装置，包括: 图像获取单元，被配置为获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及 图像产生单元，被配置为从所述多个层图像产生多个观察图像， 其中，图像产生单元通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。
2.根据权利要求1所述的图像处理装置，其中，图像产生单元确定要被选择的层图像的组合，使得所述多个观察图像具有不同的场深。
3.根据权利要求2所述的图像处理装置，其中，所述多个观察图像包含第一观察图像和具有比第一观察图像大的场深的第二观察图像，以及 第二观察图像被产生，以使得第二观察图像的光轴方向上的对焦范围包含第一观察图像的光轴方向上的对焦范围，并且从第一观察图像的对焦范围扩展到光轴方向上的一侧和另一侧。
4.根据权利要求3所述的图像处理装置，其中，第二观察图像被产生，以使得第二观察图像的光轴方向上的对焦范围从第一观察图像的对焦范围以相等的程度扩展到光轴方向上的一侧和另一侧。
5.根据权利要求1所述的图像处理装置，其中，图像产生单元确定要选择的层图像的组合，使得所述多个观察图像具有不同的焦点位置。
6.根据权利要求1至5中任一项所述的图像处理装置，还包括:范围指定单元，被配置为允许用户从层图像指定要对其执行合成处理的目标范围， 其中，图像产生单元仅对图像的由范围指定单元指定的目标范围内的部分产生观察图像。
7.根据权利要求6所述的图像处理装置，还包括:图像显示单元，被配置为在显示器件上显不观察图像， 其中，图像显示单元在显示器件上显示其中将观察图像并入到层图像中的目标范围的部分中的图像。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，图像显示单元自动切换在显示器件上显示的观察图像。
9.根据权利要求8所述的图像处理装置，其中，所述多个观察图像至少在焦点位置或场深方面相互不同， 其中，图像显示单元在切换显示器件上显示的观察图像时选择要显示的观察图像，使得焦点位置或场深依次改变。
10.根据权利要求1至9中任一项所述的图像处理装置，还包括:图像显示单元，被配置为在显示器件上显示观察图像， 其中，所述多个观察图像至少在焦点位置或场深方面相互不同， 其中，图像显示单元将至少在焦点位置或场深方面不同的在空间上排列的观察图像显示于显示器件上。
11.根据权利要求8至10中任一项所述的图像处理装置，还包括:模式指定单元，被配置为允许用户从包含用于依次时分显示多个图像的模式和用于显示在空间上排列的多个图像的模式的多个显示模式指定要使用的显示模式， 其中，图像显示单元根据由模式指定单元指定的显示模式来显示所述多个观察图像。
12.根据权利要求1至11中任一项所述的图像处理装置，其中，图像产生单元通过用滤波类型方法执行合成处理来产生所述多个观察图像。
13.—种成像系统，包括: 成像装置，被配置为通过使用显微镜将对象的不同位置成像来产生多个层图像；以及根据权利要求1至12中任一项所述的图像处理装置，被配置为从成像装置获取所述多个层图像。
14.一种图像处理系统，包括: 服务器，用于存储通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及 根据权利要求1至12中任一项所述的图像处理装置，被配置为从服务器获取多个原始图像。
15.—种存储于非暂态计算机可读介质上的计算机程序，所述程序导致计算机执行包括以下步骤的方法: 获取通过使用显微镜将对象的不同位置成像所获得的多个层图像；以及 从所述多个层图像产生多个观察图像， 其中，在产生观察图像的步骤中，通过多次执行用于焦点层叠选自所述多个层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生所述多个观察图像。
【专利摘要】一种图像处理装置包括：图像获取单元，被配置为获取通过使用显微镜将对象的不同位置成像所获得的层图像；图像产生单元，用于从层图像产生多个观察图像。图像产生单元通过多次执行用于焦点层叠选自层图像之中的两个或更多个层图像以产生单个观察图像的合成处理，来产生观察图像。
【IPC分类】G06T19-00, G02B21-36, G06T1-00, H04N13-04
【公开号】CN104662463
【申请号】CN201380049529
【发明人】佐藤和行, 辻本卓哉, 日下部稔
【申请人】佳能株式会社
【公开日】2015年5月27日
【申请日】2013年9月5日
【公告号】EP2901199A1, US20150153559, WO2014049978A1