专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及能够对图像数据执行压缩编码和解码的图像处理设备和图像处理方法。
背景技术：
近年来，已知一种以数字形式摄取(pick up)由光学显微镜捕获的图像并将图像保存或显示为数字图像的系统。在上述系统中，希望可以利用等于或高于真实显微镜的可操作性来观察所摄取的数字图像。例如，当以小的景深通过显微镜光学系统观察具有一定厚度的样本时，通过旋转慢动聚焦螺杆来改变聚焦位置(focus position)的操作是必要的。为了在上述系统中实现该操作，通过在多个聚焦位置处对同一样本成像而获得的多个焦面图像(focus face image)是必要的。因而，要观察一个样本需要大量的图像数据，因而在上述系统中，希望高效地压缩图像数据。例如，日本专利申请早期公开No. 2007-11977 (下文中称为专利文献1)公开了一种压缩方法，该方法包括对多个焦面图像使用帧间编码。在帧间编码中，确定彼此相邻的帧之间的差分。另外，专利文献1还涉及一种包括使用经预测图像的压缩方法，该经预测图像是通过对作为基准的焦面图像执行模糊补偿预测而生成的。例如，当希望对一个焦面图像进行压缩时，对基准焦面图像执行模糊补偿预测，该模糊补偿预测取决于其焦面和作为基准的焦面之间的距离。然后，对所生成的经预测图像和要压缩的焦面图像之间的差分数据进行编码(参见专利文献1中的第0030、0033段，等等)。
发明内容
然而，在专利文献1所描述的帧间编码方法中，为了对任意聚焦位置处的焦面图像解码，必须对彼此相邻的焦面图像进行解码。因而，花费较长时间来执行解码处理，这是不实用的。另外，在上述模糊补偿预测中，仅在模糊方向上执行图像预测。因此，当基于一个基准焦面图像执行模糊补偿预测时，难以高精度地生成经预测图像。结果，经预测图像和要压缩的焦面图像之间的差分数据增大，因而压缩率不利地降低。考虑到上述情形，需要提供一种图像处理设备和图像处理方法，它们能够以高压缩率对不同聚焦位置处的多个焦面图像进行压缩编码，并且还能够在短处理时间内对不同聚焦位置处的多个焦面图像进行解码。根据本发明的一个实施例，提供了一种图像处理设备，包括接收装置和经预测图像生成装置。接收装置接收以下内容全对焦图像(all-in-focus image)，该图像是通过与形成多个焦面图像的多个分割区域相对应地、针对每个焦面图像从多个焦面图像中选择作为多个分割区域的图像中的最佳聚焦图像的代表性分割图像而生成的，该多个焦面图像是通过在多个聚焦位置处对对象成像而获得的，以及关于包括代表性分割图像的焦面图像的聚焦位置的信息。经预测图像生成装置通过基于关于包括代表性分割图像的焦面图像的聚焦位置的信息、针对代表性分割图像中的每一个利用模糊函数执行模糊补偿预测，来生成与每个焦面图像相对应的经模糊补偿预测的图像，其中该信息是由接收装置接收的。根据本发明的另一个实施例，提供了一种图像处理设备，包括接收器和经预测图像生成器。接收器接收以下内容全对焦图像，该图像是通过与形成多个焦面图像的多个分割区域相对应地、针对每个焦面图像从多个焦面图像中选择作为多个分割区域的图像中的最佳聚焦图像的代表性分割图像而生成的，该多个焦面图像是通过在不同聚焦位置处对对象成像而获得的，以及关于包括代表性分割图像的焦面图像的聚焦位置的信息。经预测图像生成器通过基于关于包括代表性分割图像的焦面图像的聚焦位置的信息针对代表性分割图像中的每一个利用模糊函数执行模糊补偿预测，来生成与每个焦面图像相对应的经模糊补偿预测的图像，其中该信息是由接收器接收的。在根据上述实施例中的每一个的图像处理设备中，针对作为形成全对焦图像的最佳聚焦图像的代表性分割图像中的每一个来执行模糊补偿预测。因而，可以高精度地生成与每个焦面图像相对应的经模糊补偿预测的图像。因此，例如，以生成焦面图像和经模糊补偿预测的图像之间的差分图像的方式，可以以高压缩率对不同聚焦位置处的多个焦面图像进行压缩编码。图像处理设备还可包括全对焦图像生成装置和差分图像生成装置。全对焦图像生成装置通过基于分割区域图像的亮度信息选择代表性分割图像来生成全对焦图像。差分图像生成装置生成每个焦面图像和与每个焦面图像相对应的经模糊补偿预测的图像之间的差分图像，该经模糊补偿预测的图像是由经预测图像生成装置生成的。如上所述，高精度地生成与每个焦面图像相对应的经模糊补偿预测的图像。因此， 可以减少焦面图像和经模糊补偿预测的图像之间的差分图像的数据量。因此，可以以高压缩率对不同聚焦位置处的多个焦面图像进行压缩编码。全对焦图像生成装置可以通过基于各个分割区域图像的对比度选择代表性分割图像来生成全对焦图像。经预测图像生成装置可以针对每个代表性分割图像执行模糊补偿预测，并且可以针对全对焦图像中包括的多个代表性分割图像之间的边界区域执行边界区域模糊补偿预测，该多个代表性分割图像是彼此相邻的。针对彼此相邻的代表性分割图像之间的边界区域执行边界区域模糊补偿预测，因而，例如可以防止诸如由于代表性分割图像之间的边界中的不连续性而引起的折叠(folding)之类的问题。图像处理设备还可包括存储装置。存储装置存储全对焦图像和关于包括代表性分割图像的焦面图像的聚焦位置的信息。存储装置可以存储每个焦面图像和与每个焦面图像相对应的经模糊补偿预测的图像之间的差分图像，该经模糊补偿预测的图像是由经预测图像生成装置生成的。另外，图像处理设备还可包括相加图像生成装置。相加图像生成装置生成存储在存储装置中的差分图像和与每个焦面图像相对应的经模糊补偿预测的图像的相加图像，该经模糊补偿预测的图像是由经预测图像生成装置生成的。在上述图像处理设备中，以生成所存储的差分图像和与每个焦面图像相对应的经模糊补偿预测的图像的相加图像的方式，对每个焦面图像进行解码。因而，为了对任意焦面图像解码，没有必要对其他焦面图像进行解码。因此，可以在短处理时间内对不同聚焦位置处的多个焦面图像进行解码。根据本发明的另一个实施例，提供了一种由图像处理设备执行的图像处理方法。 该图像处理方法接收以下内容全对焦图像，该图像是通过与形成多个焦面图像的多个分割区域相对应地、针对每个焦面图像从多个焦面图像中选择作为多个分割区域的图像中的最佳聚焦的图像的代表性分割图像而生成的，该多个焦面图像是通过在不同聚焦位置处对对象成像而获得的，以及关于包括代表性分割图像的焦面图像的聚焦位置的信息。该图像处理方法还包括通过基于关于包括代表性分割图像的焦面图像的聚焦位置的信息、针对代表性分割图像中的每一个利用模糊函数执行模糊补偿预测，来生成与每个焦面图像相对应的经模糊补偿预测的图像。如上所述，根据本发明的实施例，可以以高压缩率对不同聚焦位置处的多个焦面图像进行压缩编码，并且还可以在短的处理时间内对不同聚焦位置处的多个焦面图像进行
解码。
图1是示出至少包括根据本发明第一实施例的图像处理设备的图像处理系统的配置的框图；图2是被图1中所示的PC进行了压缩编码的多个焦面图像的说明图；图3是被图1中所示的PC进行了压缩编码的多个焦面图像的说明图；图4是用于对图2中所示的多个焦面图像进行压缩编码的全对焦图像的说明图；图5是示出PC生成图4中所示的全对焦图像的处理的流程图；图6是图2中所示的多个焦面图像的压缩编码的概况的说明图；图7是示出PC对图2中所示的多个焦面图像进行压缩编码的处理的流程图；图8是图2中所示的多个焦面图像的压缩编码的说明图；图9是示出根据本发明第二实施例由PC对每个经压缩编码的焦面图像进行解码的处理的流程图；图10是根据本发明第三实施例对代表性MB应用模糊补偿滤波器(blur compensation filter)的说明图；图11是根据本发明第四实施例的多个焦面图像的压缩编码的概况的说明图；以及图12是示出根据本发明另一实施例的图像处理系统的配置示例的视图。
具体实施例方式
下文中将参考附图描述本发明的实施例。<第一实施例>[图像处理系统的配置]图1是示出至少包括根据本发明第一实施例的图像处理设备的图像处理系统的配置的框图。例如，PC(个人计算机)100被用作图像处理设备。PC 100包括CPU(中央处理单元)101、R0M(只读存储器)102、RAM(随机访问存储器)103、输入/输出接口 105和将这些组件彼此连接的总线104。
连接到输入/输出接口 105的有显示部分106、输入部分107、存储部分108、通信部分109、驱动部分110等等。显示部分106例如是使用液晶、EL(电致发光)或CRT (阴极射线管)的显示设备。输入部分107包括点选设备、键盘、触摸面板和其他操作设备。在输入部分107包括触摸面板的情况下，触摸面板可以与显示部分106相集成。存储部分108是非易失性存储器，例如HDD (硬盘驱动器)、闪存或另一种固态存储
ο驱动部分110例如是能够驱动诸如光记录介质、软盘(floppy，注册商标)、磁记录带或闪存之类的可移除记录介质111的设备。同时，上述存储部分108经常用作预先安装在PC 100中的设备，其主要驱动不可移除的记录介质。通信部分109是调制解调器、路由器或者用于与其他设备通信的另一通信设备， 其可以连接到LAN(局域网)、WAN(广域网)等等。通信部分109可以执行有线通信或无线通信。通信部分109经常与PC 100分开使用。[要压缩编码的图像]图2和图3是多个焦面图像的说明图，这些焦面图像将要被根据第一实施例的PC 100进行压缩编码。例如，通过具有光学显微镜功能的扫描仪设备等(未示出)，要观察的对象2被成像。在这种情况下，要观察的对象2被夹持在两个显微镜滑片Ia和Ib之间。如图2所示， 景深F (它是在光学显微镜中获得对焦图像的范围)小于要观察的对象2的厚度t。考虑到此，要观察的对象2被在要观察的对象2的厚度方向(图2的Z方向)上的不同聚焦位置处成像，该厚度方向是光学显微镜的聚焦方向。因此，生成了在不同区域中聚焦的多个焦面图像3。这多个焦面图像3被适当地输出，因此可以实现与通过旋转光学显微镜的慢动聚焦螺杆来改变聚焦位置的操作类似的操作。尽管图2中示出了七个焦面图像3a至3g，但是焦面图像3的数目可以适当地设置。例如，可以生成大约几十或者更多个焦面图像3。应当注意，上述生成焦面图像3的处理被称为“虚拟滑动”。另外，如图3所示，针对各个焦面图像3a至3g生成图像金字塔结构如至4g。这些图像金字塔结构如至4g是多个图像群组，每个群组是针对各个焦面图像3a至3g以不同分辨率生成的。作为图3的横轴的Z轴指示出聚焦方向轴，并且作为图3的纵轴的M轴指示出图像放大倍率(分辨率)方向轴。在图像金字塔结构如至4g的最低层(M = 0)，分别布置了各自具有最大尺寸的焦面图像3a至3g。在图像金字塔结构如至48的最高层(M= 3)，分别布置了各自具有最小尺寸的焦面图像3’ a至3’ g。各自具有最大尺寸的焦面图像3a至3g的分辨率例如是 50 X 50 (K像素千像素)或者40 X 60 (K像素)。各自具有最小尺寸的焦面图像3 ’ a至3 ’ g 的分辨率例如是256 X 256 (像素)或者256 X 512 (像素)。低放大倍率(例如M = 1、2、3)处的焦面图像是通过利用诸如Lanczos之类的滤波器来缩减高放大倍率(M = 0)处的焦面图像3a至3g的尺寸来生成的。作为缩减比率， 例如可以选择1/2、1/4、1/8或更小。通过多个图像金字塔结构如至48，可以实现与改变由光学显微镜捕获的图像的放大倍率的操作类似的操作。
[图像处理设备的操作]将描述作为根据第一实施例的图像处理设备的PC 100的操作。PC100的以下处理是通过存储在存储部分108、ROM 102等中的软件和用于PC 100的硬件资源的协作来实现的。具体而言，CPU 101将构成软件的存储在存储部分108、ROM 102等中的程序载入到 RAM 103中以便执行程序，从而实现以下处理。[全对焦(allin-focus)图像]首先，将描述用于对图2中所示的多个焦面图像3进行压缩编码的全对焦图像。图 4是全对焦图像的说明图。如图4所示，通过CPU 101，Z方向上的位置坐标ζ (0至6)被定义为焦面图像3a 至3g的多条聚焦位置信息。图4的Z方向对应于图2中所示要观察的对象2的厚度方向。 例如，具有等于0的位置坐标ζ的焦面图像3a是以以下状态摄取的图像其聚焦位置是在从图2所示要观察的对象2的顶部部分一侧上确定的。下文中，焦面图像3a至3g被使用位置坐标ζ称为焦面图像I (ζ)。另外，如图4所示，通过CPU 101，每个焦面图像I(z)被分割为作为多个分割区域中的图像的MB(宏块)5。尽管MB 5的尺寸一般例如是16X16(像素)，但是也可以适当地设置8X8(像素)。每个MB 5设有作为二维位置信息的编号mb。例如，如图4所示，各个焦面图像I(Z)上各自具有相同编号mb(例如，mb = 10)的MB 5是各自被布置在各个焦面图像I (ζ)上相同的位置处的MB 5。通过CPU 101，针对所有编号mb中的每一个，选择了一个代表性MB 6作为在每个焦面图像I (ζ)中包括的MB 5中的最佳聚焦的代表性分割图像。这些代表性MB 6被彼此相加，从而生成图4中所示的全对焦图像Iall ―。例如，作为一种选择代表性MB 6的方法，基于MB 5的每个像素的亮度值计算每个MB 5的对比度，并且将各自具有最大对比度的 MB 5选为代表性MB 6。或者，可以将各自具有最大亮度值或最大平均亮度值的MB 5选为代表性MB 6。另外，可以采用基于MB 5的亮度值信息的各种聚焦检测方法。图5是示出PC 100生成全对焦图像Iall—f。。used的处理的流程图。首先，将在下面描述图5中所示的符号。MB_num 每个焦面图像I (ζ)的MB 5的数目Z_num 焦面图像I (ζ)的数目I (z, mb)焦面图像I (ζ)上具有编号mb的MB 5z0 (mb)包括具有编号mb的代表性MB 6的焦面图像I (ζ)的位置坐标ζ
Iall focused(mb)全对焦图像Iall f。。used中具有编号mb的代表性MB 6Enc (Iall focused(mb))在编码之后全对焦图像Iall—f。。used中具有编号mb的代表性MB 6Enc (Iall focused)在编码之后的全对焦图像 Iall—f。cused图5中所示的步骤IOla和IOlb意味着从具有编号mb = 1的MB 5开始，步骤IOla 和IOlb之间所描述的步骤被在MB_num的所有MB上重复。类似地，图5中所示的步骤10 和10 意味着从具有ζ = 1的位置坐标的焦面图像I (1)开始，步骤10 和10 之间所描述的步骤被在z_rmm的所有焦面图像上重复。通过CPU 101，首先，作为焦面图像I(I)中具有编号mb = 1的MB 5的(1(1，1))被输出(步骤IOla和102a)。然后，判定I (1，1)的MB 5是否相比于I (0，1)的MB 5被更好地聚焦(步骤103)。在确定1(1，1)的MB 5相比于1(0，1)的MB 5被更好地聚焦的情况下(步骤103中的“是”)，Ztl(I) = 1且Iall—f。。used(l) = 1(1，1)被设置(步骤104)。在确定 1(1,1)的MB 5相比于I (0，1)的MB 5没有被更好地聚焦的情况下(步骤103中的“否”)， 在返回到步骤102a之后接下来将作为焦面图像1(2)中具有编号mb = 1的MB 5的(1(2， 1))与1(0，1)相比较(步骤102b)。以这种方式，选择了编号mb = 1的代表性MB 6，并且定义了包括代表性MB 6的焦面图像的位置坐标Zq(1)。另外，全对焦图像的编号mb = 1的代表性MB 6被定义为Iall focused(D。应当注意，在步骤103中，在所有MB都被确定为“否”的情况下，作为焦面图像 I (0)中具有编号mb = 1的MB 5的I (0，1)变为代表性MB 6，并且位 置坐标变为Ztl(I)= O0在步骤105中，对Iall f。。used(l)进行编码从而生成Encdall f。。used(l))。返回步骤101a，针对具有编号mb = 2的MB 5执行步骤102a和102b之间的步骤，并且设置Iall focused(2)的代表性MB 6和包括该代表性MB 6的焦面图像I(Z)的位置坐标ζ。(2)。然后， 对Iall—f。。_d(2)进行编码。如上所述，针对编号mb的所有MB中的每一个，计算作为代表性 MB 6的Iallf。。used(mb)和包括该代表性MB 6的焦面图像I(Z)的位置坐标zQ (mb)，并且对每
I 丄 all_focused
(mb)进行编码。在步骤106中，生成经编码的全对焦图像Encdall f。。used)，然后与关于具有各个编号mb的代表性MB 6的位置坐标ZtlOiib) —起存储在存储部分108等中。应当注意，为了节省记录容量，全对焦图像Iall f。。used的像素值可以通过公知的压缩方法来编码，例如JPEG(联合图像专家组)或MPEG(运动图像专家组)。另外，位置坐标 z0(mb)可以通过使用无损编码等来编码。应当注意，可以使用除PC 100以外的PC等来生成经编码的全对焦图像Enc (Iall f。cused)，然后可以将全对焦图像Enc(Iall f。。used)存储在PC 100的存储部分108中。[焦面图像的压缩编码]图6是根据第一实施例对焦面图像I (ζ) (z = 0至6)的压缩编码的概况的说明图。 如图6所示，针对全对焦图像Iall f。。used的每个代表性MB 6，应用取决于每个代表性MB 6的模糊补偿滤波器(PSFa、PSFb, PSFc)。因而，生成了分别对应于焦面图像I (ζ)的经模糊补偿预测的图像(未示出)。计算每个焦面图像I (ζ)和每个相应经模糊补偿预测的图像之间的差分。这样获得的差分图像IOa至IOg被存储在存储部分108等中。因此，每个焦面图像I (ζ)被压缩编码。这将在下面详细描述。图7是示出PC 100对每个焦面图像I (ζ)进行压缩编码的处理的流程图。图8是上述压缩编码的说明图。首先，通过CPU 101，作为在图5所示的步骤106中被编码并保存在存储部分108 等中的全对焦图像Enc(Iall f。。used)中具有编号mb的代表性MB 6的Enc (Iall f。。used (mb))被解码(步骤 202)。经解码的 Encdall f。。used(mb))被称为 I，all focused(mb)。经解码的I’ alLfocused(mb)和关于存储在存储部分108等中的具有编号mb的代表性MB 6的位置坐标Zo(mb)被输出(步骤203)。然后，针对I’ all f。。used(mb)，基于位置坐标 z0 (mb)执行模糊补偿预测(步骤204)。
如图7的步骤204’所示，模糊补偿预测是以以下方式执行的其向I’all f。。used(mb) 应用取决于要编码的焦面图像I (ζ)的位置坐标ζ和代表性MB6的位置坐标ZtlOiib)的Z坐标位移ζ-ζ I的模糊补偿滤波器PSF(I Z-Ztl(Hib))。因此，Ipred(z, mb)被输出作为经模糊补偿预测的MB 7 (步骤205)。将详细描述模糊补偿滤波器PSF(I Z-Ztl(Hib) |)。模糊补偿预测是利用预先确定的光学参数和取决于上述Z坐标位移ι Z-Ztl (mb)|的混淆半径(confusion radius) R的容许圆、通过下面的PSF(点扩散函数)表达的。[表达式1]
权利要求
1.一种图像处理设备，包括接收装置，用于接收全对焦图像，该图像是通过与形成多个焦面图像的多个分割区域相对应地、针对每个焦面图像从所述多个焦面图像中选择作为所述多个分割区域的图像中的最佳聚焦的图像的代表性分割图像而生成的，所述多个焦面图像是通过在多个聚焦位置处对对象成像而获得的，和关于包括所述代表性分割图像的焦面图像的聚焦位置的信息；以及经预测图像生成装置，用于通过基于关于包括所述代表性分割图像的焦面图像的聚焦位置的信息针对所述代表性分割图像中的每一个利用模糊函数执行模糊补偿预测，来生成与每个焦面图像相对应的经模糊补偿预测的图像，其中该信息是由所述接收装置接收的。
2.如权利要求1所述的图像处理设备，还包括全对焦图像生成装置，用于通过基于所述分割区域图像的亮度信息选择所述代表性分割图像，来生成所述全对焦图像；以及差分图像生成装置，用于生成每个焦面图像和与每个焦面图像相对应的经模糊补偿预测的图像之间的差分图像，所述经模糊补偿预测的图像是由所述经预测图像生成装置生成的。
3.如权利要求2所述的图像处理设备，其中所述全对焦图像生成装置通过基于每个分割区域图像的对比度选择所述代表性分割图像，来生成所述全对焦图像。
4.如权利要求3所述的图像处理设备，其中所述经预测图像生成装置针对每个代表性分割图像执行模糊补偿预测，并且针对所述全对焦图像中包括的多个代表性分割图像之间的边界区域执行边界区域模糊补偿预测，所述多个代表性分割图像是彼此相邻的。
5.如权利要求4所述的图像处理设备，还包括存储装置，用于存储所述全对焦图像和关于包括所述代表性分割图像的焦面图像的聚焦位置的信息。
6.如权利要求5所述的图像处理设备，其中所述存储装置存储每个焦面图像和与每个焦面图像相对应的经模糊补偿预测的图像之间的差分图像，所述经模糊补偿预测的图像是由所述经预测图像生成装置生成的， 并且其中所述图像处理设备还包括相加图像生成装置，用于生成存储在所述存储装置中的差分图像和与每个焦面图像相对应的经模糊补偿预测的图像的相加图像，所述经模糊补偿预测的图像是由所述经预测图像生成装置生成的。
7.—种由图像处理设备执行的图像处理方法，包括接收全对焦图像，该图像是通过与形成多个焦面图像的多个分割区域相对应地、针对每个焦面图像从所述多个焦面图像中选择作为所述多个分割区域的图像中的最佳聚焦图像的代表性分割图像而生成的，所述多个焦面图像是通过在多个聚焦位置处对对象成像而获得的，和关于包括所述代表性分割图像的焦面图像的聚焦位置的信息；以及通过基于接收到的关于包括所述代表性分割图像的焦面图像的聚焦位置的信息针对所述代表性分割图像中的每一个利用模糊函数执行模糊补偿预测，来生成与每个焦面图像相对应的经模糊补偿预测的图像。
8. 一种图像处理设备，包括 接收器，用于接收全对焦图像，该图像是通过与形成多个焦面图像的多个分割区域相对应地、针对每个焦面图像从所述多个焦面图像中选择作为所述多个分割区域的图像中的最佳聚焦图像的代表性分割图像而生成的，所述多个焦面图像是通过在多个聚焦位置处对对象成像而获得的，和关于包括所述代表性分割图像的焦面图像的聚焦位置的信息；以及经预测图像生成器，用于通过基于关于包括所述代表性分割图像的焦面图像的聚焦位置的信息针对所述代表性分割图像中的每一个利用模糊函数执行模糊补偿预测，来生成与每个焦面图像相对应的经模糊补偿预测的图像，其中该信息是由所述接收器接收的。
全文摘要
本发明公开了图像处理设备和图像处理方法。该图像处理设备包括接收器和经预测图像生成器，接收器用于接收全对焦图像，该图像是通过与形成多个焦面图像的多个分割区域相对应地、针对每个焦面图像从多个焦面图像中选择作为多个分割区域的图像中的最佳聚焦的图像的代表性分割图像而生成的，多个焦面图像是通过在多个聚焦位置处对对象成像而获得的，并且接收器用于接收关于包括代表性分割图像的焦面图像的聚焦位置的信息，经预测图像生成器用于通过基于关于包括代表性分割图像的焦面图像的聚焦位置的信息针对代表性分割图像中的每一个利用模糊函数执行模糊补偿预测，来生成与每个焦面图像相对应的经模糊补偿预测的图像，其中该信息是由接收器接收的。
文档编号G06T9/00GK102156997SQ20111000974
公开日2011年8月17日 申请日期2011年1月12日 优先权日2010年1月19日
发明者上森丈士, 中神央二, 北村卓也, 矢崎阳一 申请人:索尼公司