专利名称：图像处理方法和图像处理设备的制作方法
技术领域：
本发明涉及一种图像处理方法和图像处理设备，其能够对图像数据执行压缩编码 和解码。
背景技术：
虚拟显微镜系统包括能够获得图像数据的显微镜设备以及处理所述图像数据的 计算机。虚拟显微镜系统对放置有标本的整个显微镜载片成像，并且将图像存储并显示为 数字图像。在虚拟显微镜系统中，希望虚拟显微镜系统的可操作性等于或高于真实显微镜 的可操作性。所希望的操作之一是如真实显微镜中一样，通过旋转微动聚焦旋钮来改变焦点 位置以允许相对于任意焦平面进行观察的操作。上述操作是利用景深非常小的显微镜光学 系统来观察具有一定厚度的样品所必需的操作。具体地讲，在诊断学领域，上述操作对于检 验员通过一边改变焦点一边进行观察来掌握三维细胞结构而言是有用的。在虚拟显微镜系统中，为了实现上述操作，通过在多个焦点位置对样品成像而获 得的图像的数据集(以下称为“焦面图像”)是必需的(见图1)。因此，从一个样品获得大 量图像数据。鉴于此，在虚拟显微镜系统中，执行图像数据的压缩。例如，日本特许专利申请No. 2007-11977(以下称为专利文献1)公开了一种压缩 方法，其包括对多个焦面图像使用帧间编码。在帧间编码中，确定彼此相邻的帧之间的差。 另外，在专利文献1中，还描述了定义用作基准的焦面，并且利用依赖于光学参数的模糊变 化以及相对于基准焦面的Z坐标变化来执行模糊-补偿预测，以便执行压缩。另外，在虚拟显微镜系统中希望实现的另一操作是待观察图像的放大倍率的高速 切换。在真实显微镜中，通常，首先通过低放大倍数透镜观看整个显微镜载片，然后通过将 当前透镜切换为依次使用的更高放大倍数的透镜来逐渐增加观察的细节水平。在典型的虚 拟显微镜系统中，产生通过从所成像的原始图像数据逐渐降低分辨率而获得的各种分辨率 的图像数据集(见图2)并将其存储，并且根据由用户确定的图像显示范围的任意规格以及 任意分辨率来读取并显示相关图像数据。
发明内容
然而，在专利文献1所公开的帧间编码处理中，编码/解码处理量，特别是对基准 图像的编码/解码处理量非常大。因此，恐怕通过观察图像实现诊断的效率可能降低。另 外，需要在编码/解码期间存储基准图像的大容量存储器，这导致成本增加。另外，如上述 典型的虚拟显微镜系统中一样，每个焦面需要各种分辨率的图像，因此图像数据总量非常 巨大。另外，在采用专利文献1中的帧间编码处理来压缩各分辨率的图像数据的情况 下，为了对任意分辨率和焦点位置处的焦面图像进行解码，在对此焦面图像解码之前，必须 对沿焦点方向与上述焦面图像相邻的相同分辨率的焦面图像进行解码。因此，在任意焦面
4图像的解码之前需要花费很长时间，因此这是无益处的。另外，可以想到在分辨率彼此不同的各图像之间执行预测编码的处理。然而，在这 种情况下，为了对任意分辨率和任意焦点位置处的焦面图像解码，在对此焦面图像解码之 前，必须对上述位置中的与被定义为基准图像的焦面图像处于相同分辨率下的焦面图像进 行解码。因此，在此情况下，同样有在对任意焦面图像解码之前需要花费很长时间的问题。 如上所述，期望提供一种有效的压缩处理。鉴于上述情况，需要提供一种图像处理方法和图像处理设备，其能够以高压缩率 对相应的多个焦点位置处的各种分辨率的图像数据集进行编码。另外，需要提供一种图像处理方法和图像处理设备，其能够有效地对相应的多个 焦点位置处的各种分辨率的图像数据集进行编码。根据本发明的实施方式，提供一种图像处理设备，其包括预测部分、差分数据产生 部分和编码部分。预测部分对尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测，从 而产生多个焦点位置中各焦点位置处的放大倍率间模糊补偿预测图像，所述尺寸缩小的基 准焦面图像是通过缩小基准焦面图像的尺寸而获得的，所述基准焦面图像用作通过在所述 多个焦点位置处对被摄体进行成像而获得的多个焦面图像的基准。差分数据产生部分针对 多个焦点位置中的各焦点位置，产生焦面图像与预测部分所产生的放大倍率间模糊补偿预 测图像之间的差分数据。编码部分对尺寸缩小的基准焦面图像以及差分数据产生部分所产 生的差分数据进行编码。在本发明的上述实施方式中，作为压缩编码的结果，可获得尺寸缩小的基准焦面 图像以及各焦点位置处的差分数据。因此，与通常采用的对各焦点位置处的焦面图像进行 压缩的压缩处理相比，压缩率增大。另外，尺寸缩小的基准焦面图像用作基准图像，因此使 用的存储器容量以及总处理量可进一步减少。预测部分可通过放大滤波器和模糊补偿滤波器执行放大倍率间模糊补偿预测。预测部分可基于多个基准焦面图像执行放大倍率间模糊补偿预测。这样，可增加 放大倍率间模糊补偿预测的精度，因此可提高压缩效率。另外，即使在找到多个聚焦的焦面 的情况下，也可执行高精度的预测。所述图像处理设备还可包括尺寸缩小部分，该尺寸缩小部分缩小基准焦面图像的 尺寸，从而产生尺寸缩小的基准焦面图像。焦面图像可以是通过在多个焦点位置处对被摄体进行立体成像而获得的图像。根据本发明的另一实施方式，提供一种图像处理方法，包括对尺寸缩小的基准焦 面图像执行放大倍率间模糊补偿预测，从而产生多个焦点位置中各焦点位置处的放大倍率 间模糊补偿预测图像，所述尺寸缩小的基准焦面图像是通过缩小基准焦面图像的尺寸而获 得的，所述基准焦面图像用作通过在多个焦点位置处对被摄体进行成像而获得的多个焦面 图像的基准；针对多个焦点位置中的各焦点位置，产生焦面图像与所产生的放大倍率间模 糊补偿预测图像之间的差分数据；以及对尺寸缩小的基准焦面图像以及所产生的差分数据 进行编码。在本发明的上述实施方式中，作为压缩编码的结果，可获得尺寸缩小的基准焦面 图像以及各焦点位置处的差分数据。因此，与通常采用的对各焦点位置处的焦面图像进行 压缩的压缩处理相比，压缩率增大。另外，尺寸缩小的基准焦面图像用作基准图像，因此使用的存储器容量以及总处理量可进一步减少。根据本发明的另一实施方式，提供一种图像处理设备，其包括解码部分、预测部分 和恢复部分。解码部分对编码数据进行解码，所述编码数据是通过对尺寸缩小的基准焦面 图像以及差分数据进行编码而获得的，所述尺寸缩小的基准焦面图像是通过缩小基准焦面 图像的尺寸而获得的，所述基准焦面图像用作通过在多个焦点位置处对被摄体进行成像而 获得的多个焦面图像的基准，所述差分数据是通过针对多个焦点位置中的各焦点位置确定 焦面图像与放大倍率间模糊补偿预测图像之差而获得的，所述放大倍率间模糊补偿预测图 像是通过对尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测而获得的。预测部分对 由解码部分解码出的尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测，从而产生多 个焦点位置中各焦点位置处的放大倍率间模糊补偿预测图像。恢复部分将由预测部分产生 的放大倍率间模糊补偿预测图像与由解码部分产生的差分数据相组合，从而恢复多个焦点 位置中各焦点位置处的焦面图像。为了恢复各焦点位置处的焦面图像，仅需要执行一次基准图像的解码就足够了。 因此，解码期间的处理量减少。因此，可更快速地执行处理，并且可减小使用的存储器容量。根据本发明的另一实施方式，提供一种图像处理方法，包括对编码数据进行解 码，所述编码数据是通过对尺寸缩小的基准焦面图像以及差分数据进行编码而获得的，所 述尺寸缩小的基准焦面图像是通过缩小基准焦面图像的尺寸而获得的，所述基准焦面图像 用作通过在多个焦点位置处对被摄体进行成像而获得的多个焦面图像的基准，所述差分数 据是通过针对多个焦点位置中的各焦点位置确定焦面图像与放大倍率间模糊补偿预测图 像之差而获得的，所述放大倍率间模糊补偿预测图像是通过对尺寸缩小的基准焦面图像执 行放大倍率间模糊补偿预测而获得的；对解码出的尺寸缩小的基准焦面图像执行放大倍 率间模糊补偿预测，从而产生多个焦点位置中各焦点位置处的放大倍率间模糊补偿预测图 像；将产生的放大倍率间模糊补偿预测图像与解码出的差分数据相组合，从而恢复多个焦 点位置中各焦点位置处的焦面图像。为了恢复各焦点位置处的焦面图像，仅需要执行一次基准图像的解码就足够了。 因此，解码期间的处理量减少。因此，可更快速地执行处理，并且可减小使用的存储器容量。根据本发明的实施方式，可以对相应的多个焦点位置处的各种分辨率的图像数据 集进行高压缩率的编码。另外，相应的多个焦点位置处的各种分辨率的图像数据集可被高 效地编码。
图1是焦面图像的说明图；图2是焦面图像的金字塔结构的说明图；图3是根据本发明第一实施例的编码处理的说明图；图4是示出根据本发明第一实施例的编码过程的流程图；图5是示出根据本发明第一实施例的解码过程的流程图；图6是根据本发明第三实施例的编码处理的说明图；图7是本发明第四实施例的说明图；图8是本发明第五实施例的说明图9是示出根据本发明实施例的图像处理设备的硬件构造的框图。
具体实施例方式以下，将参照附图描述本发明的实施例。<第一实施例>[1.图像数据]首先，将描述图像数据。图1是焦面图像的说明图。例如，提供给显微镜的图像摄取装置(未示出)以下面的方式对预定分辨率的样 品(被摄体)2成像，其中样品2被保持在两个显微镜载片1和1之间。具体地讲，例如，每 当光学系统的焦点位置向图1的Z轴方向移动预定距离时，图像摄取装置执行成像。具有 各自景深的图像I被称为“焦面图像I”。上述处理被称为“虚拟滑动”。图2是在上述方法中摄取的焦面图像的金字塔结构的说明图。在图2中，水平轴是 聚焦方向轴(以下称为“Z轴”)，垂直轴是放大倍率(分辨率)方向轴(以下称为“M轴”)。 在图2中，I(z，m)表示由Z轴方向上的ζ和M轴方向上的m限定的图像。通常，每个焦面 图像I(z，m)产生各种分辨率下的各条图像数据I (z，l)、I (z，2)和I (z，3)，这些图像数据 是通过将所成像的最大分辨率的图像数据I (z，0)的分辨率逐渐降低而获得的。每个焦面 图像I(z，m)具有通过将上述图像数据构造成分层形式而获得的金字塔结构。[2.根据第一实施例的编码处理]图3是根据本发明第一实施例的编码处理的概要的说明图。在图3中，水平轴是 Z轴，垂直轴是M轴。这里，为了描述方便，每个焦面图像I(z，m)被构造成两层。下层被设 为放大倍数较高的焦面图像I (z，0)，上层被设为放大倍数较低的焦面图像I (z，1)。放大倍率较高的焦面图像I (z，0)是实际成像得到的图像。在这种情况下，焦面图 像Ι(ζ，0)是分辨率非常高(例如，60480X40320[像素])的图像。放大倍率均较高的若干 焦面图像Ι(ζ，0)被成像。通过根据预定基准在上述的放大倍率均较高的焦面图像I (z，0) 中选择一个焦面图像，然后通过已知的滤波器(例如，Lanczos滤波器)缩小所选焦面图像 的尺寸，来获得放大倍率较低的焦面图像I (z，l)。任意m下的图像的缩小率表示如下。缩小率Mag = 2任意m下的图像的缩小尺寸(1/Mag) "Μ鉴于计算机的运算和预测精度，可取的是缩小率为1/2。然而，也可选择1/4、1/8 或更小的值作为缩小率。在此焦面图像组中各自处于相同放大倍率的多个焦面图像彼此具有某种关联性， 因为所述多个焦面图像是在相同观察点处成像的图像。例如，假设存在一个聚焦的焦面 (聚焦的焦面是一个平面)，通过利用表达式3所表示的点扩展函数来对模糊变化建模，而 上述焦面被定义为基准。另外，在各种放大倍率的焦面图像之间也建立预定关联性。放大 倍率较高的焦面图像Ι(ζ，0)与通过经已知的滤波器(例如，由表达式1表示的Lanczos滤 波器)将放大倍率较低的焦面图像I (ζ，1)放大而获得的图像彼此具有关联性。第一实施 例的编码处理是利用上述焦面图像之间的关联性以及上述处于各种放大倍率的焦面图像 之间的关联性来实现高压缩率的数据压缩的一种编码处理。
[3.编码处理的细节]接下来，将描述第一实施例的编码处理的细节。在第一实施例中，根据载入ROM 102中的程序由CPU 101来执行利用上述焦面图 像之间的关联性以及上述处于各种放大倍率的焦面图像之间的关联性的编码处理。ROM 102是计算机100上的主存储器，计算机100具有如图9所示的典型构造。所述程序使计算机100运行为尺寸缩小部分、第一放大倍率间模糊补偿预测 (inter-magnification-ratio blur-compensation prediction)部分、差分数据产生部分 和输出部分。尺寸缩小部分是将通过在多个焦点位置处对被摄体成像而获得的多个焦面图 像中的至少一个焦面图像的尺寸缩小的模块，所述至少一个焦面图像作为基准焦面图像。 第一放大倍率间模糊补偿预测部分是这样的模块，其通过基于尺寸缩小后的基准焦面图像 执行的放大倍率间模糊补偿预测，来为多个焦点位置处的焦面图像产生放大倍率间模糊补 偿预测图像。在这种情况下，各放大倍率间模糊补偿预测图像的放大倍率高于基准焦面图 像的放大倍率。差分数据产生部分是生成在所产生的各焦点位置处的放大倍率间模糊补偿 预测图像与各焦点位置处的焦面图像之间的差分数据的模块。输出部分是输出尺寸缩小后 的基准焦面图像以及各焦点位置处的差分数据作为编码结果的模块。图4是示出编码过程的流程图。首先，CPU 101在均处于较高放大倍率的焦面图像I (z，0)中选择最佳聚焦的焦面 图像作为基准焦面图像(步骤S101)。这里，基准焦面图像由I (0，0)指示。作为确定最佳 聚焦的焦面图像的方法，以下面的方法为例。具体地讲，在该方法中，检查所成像的所有焦 面图像的边缘周围的对比强度，在所有焦面图像中具有最大对比强度的焦面图像被确定为 基准焦面图像。或者，可利用已知的焦点帧检测技术来确定基准焦面图像。接下来，CPU 101通过已知的滤波器(例如，Lanczos)来缩小基准焦面图像I (0， 0)的尺寸，从而产生尺寸缩小的基准焦面图像1(0，1)(步骤S102)。由于此时缩小率变大， 所以对基准图像进行编码期间的处理量以及用于存储编码后的基准图像的存储器大小可 减小。接下来，CPU 101执行基于尺寸缩小的基准焦面图像I (0，1)进行的放大倍率间模 糊补偿预测，从而产生在任意Z位置处的处于较高放大倍率的放大倍率间模糊补偿预测图 像 Ipred (Z，0)(步骤 S103)。放大倍率间模糊补偿预测以下面的方式进行。具体地讲，各种类型的已知放大滤 波器以及由点扩展函数(PSF)表示的模糊补偿滤波器被应用于尺寸缩小的基准焦面图像 I (0，1)。在这种情况下，根据模糊来应用模糊补偿滤波器，其在下面描述。例如，可使用以下述方式的放大滤波器定义的Lanczos。
[表达式1]
权利要求
1.一种图像处理设备，包括预测部分，所述预测部分对尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测， 从而产生多个焦点位置中各焦点位置处的放大倍率间模糊补偿预测图像，所述尺寸缩小的 基准焦面图像是通过缩小基准焦面图像的尺寸而获得的，所述基准焦面图像用作通过在所 述多个焦点位置处对被摄体进行成像而获得的多个焦面图像的基准；差分数据产生部分，所述差分数据产生部分针对所述多个焦点位置中的各焦点位置， 产生焦面图像与所述预测部分所产生的所述放大倍率间模糊补偿预测图像之间的差分数 据；以及编码部分，所述编码部分对所述尺寸缩小的基准焦面图像以及所述差分数据产生部分 所产生的差分数据进行编码。
2.根据权利要求1所述的图像处理设备，其中所述预测部分通过放大滤波器和模糊补 偿滤波器执行放大倍率间模糊补偿预测。
3.根据权利要求2所述的图像处理设备，其中所述预测部分基于多个基准焦面图像执 行放大倍率间模糊补偿预测。
4.根据权利要求1所述的图像处理设备，还包括尺寸缩小部分，所述尺寸缩小部分缩 小基准焦面图像的尺寸，从而产生尺寸缩小的基准焦面图像。
5.根据权利要求1所述的图像处理设备，其中所述焦面图像是通过在多个焦点位置处 对被摄体进行立体成像而获得的图像。
6.一种图像处理方法，包括对尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测，从而产生多个焦点位置中 各焦点位置处的放大倍率间模糊补偿预测图像，所述尺寸缩小的基准焦面图像是通过缩小 基准焦面图像的尺寸而获得的，所述基准焦面图像用作通过在所述多个焦点位置处对被摄 体进行成像而获得的多个焦面图像的基准；针对所述多个焦点位置中的各焦点位置，产生焦面图像与所产生的放大倍率间模糊补 偿预测图像之间的差分数据；以及对所述尺寸缩小的基准焦面图像以及所产生的差分数据进行编码。
7.一种图像处理设备，包括解码部分，所述解码部分对编码数据进行解码，所述编码数据是通过对尺寸缩小的基 准焦面图像以及差分数据进行编码而获得的，所述尺寸缩小的基准焦面图像是通过缩小基 准焦面图像的尺寸而获得的，所述基准焦面图像用作通过在多个焦点位置处对被摄体进行 成像而获得的多个焦面图像的基准，所述差分数据是通过针对所述多个焦点位置中的各焦 点位置确定焦面图像与放大倍率间模糊补偿预测图像之差而获得的，所述放大倍率间模糊 补偿预测图像是通过对所述尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测而获 得的；预测部分，所述预测部分对由所述解码部分解码出的尺寸缩小的基准焦面图像执行放 大倍率间模糊补偿预测，从而产生所述多个焦点位置中各焦点位置处的放大倍率间模糊补 偿预测图像；恢复部分，所述恢复部分将由所述预测部分产生的放大倍率间模糊补偿预测图像与由 所述解码部分产生的差分数据相组合，从而恢复所述多个焦点位置中各焦点位置处的焦面图像。
8. 一种图像处理方法，包括对编码数据进行解码，所述编码数据是通过对尺寸缩小的基准焦面图像以及差分数据 进行编码而获得的，所述尺寸缩小的基准焦面图像是通过缩小基准焦面图像的尺寸而获得 的，所述基准焦面图像用作通过在多个焦点位置处对被摄体进行成像而获得的多个焦面图 像的基准，所述差分数据是通过针对所述多个焦点位置中的各焦点位置确定焦面图像与放 大倍率间模糊补偿预测图像之差而获得的，所述放大倍率间模糊补偿预测图像是通过对所 述尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测而获得的；对解码出的尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测，从而产生所述多 个焦点位置中各焦点位置处的放大倍率间模糊补偿预测图像；将产生的放大倍率间模糊补偿预测图像与解码出的差分数据相组合，从而恢复所述多 个焦点位置中各焦点位置处的焦面图像。
全文摘要
本发明涉及图像处理方法和图像处理设备。该图像处理设备包括预测部分，对尺寸缩小的基准焦面图像执行放大倍率间模糊补偿预测，从而产生多个焦点位置中各焦点位置处的放大倍率间模糊补偿预测图像，所述尺寸缩小的基准焦面图像是通过缩小基准焦面图像的尺寸而获得的，所述基准焦面图像用作通过在所述多个焦点位置处对被摄体进行成像而获得的多个焦面图像的基准；差分数据产生部分，针对多个焦点位置中的各焦点位置，产生焦面图像与预测部分所产生的放大倍率间模糊补偿预测图像之间的差分数据；以及编码部分，对尺寸缩小的基准焦面图像以及差分数据产生部分所产生的差分数据进行编码。
文档编号H04N7/32GK102096932SQ20101056959
公开日2011年6月15日 申请日期2010年12月2日 优先权日2009年12月10日
发明者上森丈士, 中神央二, 北村卓也, 矢崎阳一 申请人:索尼公司