处理图像的方法和设备的制作方法

专利名称：处理图像的方法和设备的制作方法
技术领域：
本发明涉及处理图像的方法、设备和程序，尤其涉及利用包括单面 (single-plane)传感器的成像器件处理图像以获得清晰图像的方法、设备和程序。
背景技术：
近年来，数字照相机(camera)作为一种照相机已经变得非常流行了。在 数字照相机中，利用诸如CCD (电荷耦合器件)或CMOS (互补金属氧化物半 导体)之类的成像器件拍摄图像，将图像显示在位于数字照相机上诸如LCD
(液晶显示器)之类的监视器上，以便用户可以观看图像(在下文中，将这 样由成像器件拍摄的图像简称为捕获(captured)图像)。将捕获图像的图像信 号转换成数字形式，并且，通过诸如闪速存储器之类的存储々某体或通过利用 电缆或红外线的有线或无线通信传送给诸如个人计算机(PC)之类的图像处 理设备。 一旦接收到数字照相机捕获的图像数据，个人计算机就在诸如CRT
(阴极射线管)或LCD (液晶显示器)之类的监视器上显示图像，以便用户 可以观看图像和编辑它。
当在诸如阴影处或照明差的房间之类的微暗环境下用数字照相机拍摄照 明不太好的对象的图像时，应该将快门速度设置得足够慢，以获得充分的曝 光(也就是说，曝光时间应该足够长)。
当曝光时间足够长时，如果数字照相机被稳固地支承着，例如，将它放 置在三角架上，使数字照相机不摇晃的，那么，可以获得良好的图像。但是， 在用手握住数字照相机的情况下，数字照相机会摇晃。如果照相机在快门处 在打开状态时(在快门时间内)发生摇晃，所得对象的捕获图像变得模糊。模糊图像被称为"手晃模糊"图像或"照相机晃动模糊"图像。
通过简单地累积叠加两个或更多个捕获图像，而不是降低快门速度(增 加快门时间)获得等值充分曝光是众所周知的(例如，在日本待审专利申请
公告第05-236422号中可以找到这样技术的例子)。
但是，在日本待审专利申请公告第05-236422号公开的技术中，由于两 个或更多个捕获图像是简单叠加的，与以低快门速度捕获图像的情况一样， 如果数字照相机发生摇晃，那么，图像是模糊的。
在可从Canon Kabushiki Kaisha/>司购买到的一些数字照相机中，称为 图像稳定器(IS)的技术用于防止图像在数字照相机发生摇晃时变模糊。
在利用图像稳定器的技术中，数字照相机的摇晃或振动通过位于光学透 镜系统中的前置传感器来检测，按照指示数字照相机的检测摇晃或振动的数 字信号，沿着与光轴垂直的方向移动一部分透镜系统(校正透镜系统)，以便 改变光的折射，防止图像变模糊。
图像稳定器可以消除当用握在手中的数字照相机以低快门速度拍摄图像 时特别重要的、由于手的摇晃或风引起的照相机或照相机所在的载台的摇晃 造成的图像模糊，从而使用户可以获得清晰图像。
但是，图像稳定器需要负责检测照相机的摇晃的专用传感器，并且还需 要迅速移动一部分透镜系统(校正透镜系统)的机构，因此，图像稳定器具 有复杂的结构，导致产品成本增加。
防止图像在用摇晃照相机捕获图像时变模糊的另 一种已知技术是以高快 门速度相继捕获多个图像，检测第二和随后捕获图像相对于第 一捕获图像的 位移，补偿第二和随后捕获图像的位移，和将补偿图像叠加在第一捕获图像 上(例如，在日本待审专利申请公告第2000-217032 、 2000-224460 、 2000-244803、 2000-244797、 2000-069352、 10—341367和09—261526号中可 以找到这种技术的例子)。基本上，在这种传统技术中，通过校正或内插，从 第二和随后捕获图像中生成与第一捕获图像相似的图像，并且，逐个像素地 将所得图像简单加入(add)或线性加入第一捕获图像中。
在这种技术中，尽管图像是暗的以高快门速度相继捕获的每个图像实际 没有模糊。通过将第二和随后捕获图像叠加在第 一 图像上最后获得的图像可 以具有与当曝光时间被适当设置时获得的图像相似的高亮度。
在这种技术中，对检测的第二和随后捕获图像相对于第一捕获图像的位移的校正通过利用基于线性内插和双三次内插等的内插函数，为每个像素内
插包括R(红色)信号(红色数据)、G(绿色)信号(绿色数据)和B(蓝色) 信号(蓝色数据)的彩色信号(数据)来完成。
但是，在将利用单面传感器的成像器件作为成像器件的情况下，每个像 素只输出彩色信号之一，即，R信号、G信号、或B信号。这使得通过如上所 述的内插校正多个图像的位移是不可能实现的，并且，可应用于单面传感器 的任何内插方法都是已知的。

发明内容
鉴于上面情况，本发明的目的是供应即使在发生照相机摇晃的状态下， 也可以获得通过，例如，利用单面传感器的成像器件捕获的清晰图像的技术。
本发明提供了包括如下步骤的图像处理方法检测用于捕获其中具有n 个像素值之一的每个像素的图像的图像捕获装置捕获的多个输入图像之间的 位置关系；和通过对于输出图像的每个像素位置，从多个输入图像中识别应 该加以考虑的观测像素成分(component)，和根据识别的观测像素成分，生成 每个像素具有(n+l)个或更多个像素值的输出图像，估计输出图像。
在估计输出图像的步骤中，对于输出图像的每个像素位置，可以从多个 输入图像中选择应该加以考虑的观测像素成分，并且，可以根据所选的观测 像素成分，生成每个像素具有(n+l)个或更多个像素值的输出图像。
在估计输出图像的步骤中，可以根据在检测步骤中检测的位置关系，从 多个输入图像中生成每个像素具有(n+l)个或更多个彩色信号的输出图像。
在估计输出图像的步骤中，可以在考虑了在每个像素位置上和/或在输出 图像的每个像素的位置附近的颜色相关性之后确定输出图像。在估计输出图 像的步骤中，可以将输入图像的像素的像素值改变成取决于边缘陡度 (steepness)的像素值，和可以根据所得的改变像素值估计输出图像。
n可以等于l,并且，在估计输出图像的步骤中，可以根据在检测步骤中 检测的位置关系，从多个输入图像中生成每个像素具有三个像素值的输出图 像。
图像捕获装置可以是其中观测的彩色信号随每个输入图像的位置而改变 的单面传感器。
图像捕获装置可以捕获欠曝光的多个输入图像，和图像处理方法可以进一步包括通过放大多个输入图像的每个像素值校正曝光的步骤。
估计输出图像的步骤可以包括如下步骤对于多个输入图像中的每一个 的每个像素，取决于在检测步骤中检测的位置关系，确定每个像素的校正位 置；生成指示中心在校正位置的区域中光强度的积分与校正位置上的像素的 ^象素值之间的差值应该小于预定误差(error)的光强度积分约束(constraint) 公式；和计算光强度积分约束公式。
当生成光强度积分约束公式时，如果多个输入图像已经被放大(ga in up)，那么，误差可能随放大倍数而改变。
在估计输出图像的步骤中，对于多个输入图像中的每一个的每个像素， 取决于在检测步骤中检测的位置关系，可以确定每个像素的校正位置，并且， 可以在考虑了其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素的像素值，以及考虑了取决于放大倍数的误差之后确定输出图像。
在估计输出图像的步骤中，对于多个输入图像中的每一个的每个像素， 取决于在检测步骤中检测的位置关系，可以确定每个像素的校正位置，并且， 可以在考虑了其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素的像素值，以及考虑了校正位置和输出图像的相应像素的位置之间的距 离之后确定输出图像。
在估计输出图像的步骤中，对于多个输入图像中的每一个的每个像素， 取决于在检测步骤中检测的位置关系，可以确定每个像素的校正位置，并且， 可以在考虑了其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素的像素值，以及考虑了取决于放大倍数的误差之后确定输出图像。
在估计输出图像的步骤中，对于多个输入图像中的每一个的每个像素， 取决于在检测步骤中检测的位置关系，可以确定每个像素的校正位置，并且， 可以通过确定其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素值的加权和来估计输出图像。
在估计输出图像的步骤中，可以通过确定其校正位置位于输出图像的每 个像素的位置附近的输入图像的像素值的加权和来确定感兴趣像素的正确像 素值，加权和的权重是利用低通滤波特性关于输出图像中感兴趣像素的位置 与校正位置之间的距离的函数确定的。
在估计输出图像的步骤中，可以通过有选择地执行确定其校正位置位于 感兴趣像素的位置附近的输入图像的像素值的加权和的第一计算过程，或确定其校正位置位于与感兴趣像素相邻的输出图像的像素的位置附近的输入图 像的像素值的加权和的第二计算过程，来确定感兴趣像素的正确像素值。
在估计输出图像的步骤中，当第 一计算过程中的权重之和等于或几乎等 于0时，可以选择第二计算过程。
在估计输出图像的步骤中，可以通过有选择地执行确定其校正位置位于 感兴趣像素的位置的第一附近区域中的输入图像的像素值的加权和的第一计 算过程，或确定其校正位置位于感兴趣像素的位置的第二附近区域中的输入 图像的像素值的加权和的第二计算过程，确定感兴趣像素的正确像素值，第 二附近区域大于第一附近区域。
在估计输出图像的步骤中，当第一计算过程中的权重之和等于或几乎等 于0时，可以选择第二计算过程。
在估计输出图像的步骤中，可以通过有选择地执行确定其校正位置位于 感兴趣像素的位置附近的输入图像通过第 一加权倍数加权的像素值之和的第 一计算过程，或确定其校正位置位于感兴趣像素的位置附近的输入图像通过 第二加权倍数加权的像素值之和的第二计算过程，来确定感兴趣像素的正确 像素值。
在估计输出图像的步骤中，当第一计算过程中的权重之和等于或几乎等
于o时，可以选择第二计算过程。
在检测步骤中，可以相对于在捕获多个输入图像的时间的严格中心或严
格中心附近捕获的输入图^^r测多个输入图像之间的位置关系。
本发明提供了包括如下装置的图像处理设备捕获每个像素具有n个像 素值的多个输入图像的图像捕获装置；检测多个输入图像之间的位置关系的 检测装置；和通过对于输出图像的每个像素位置，从多个输入图像中识别应 该加以考虑的观测像素成分，和根据识别的观测像素成分，生成每个像素具 有(n+l)个或更多个像素值的输出图像，估计输出图像的装置。
本发明提供了使计算机执行包括如下步骤的过程的程序检测用于捕获 其中具有n个像素值之一的每个像素的图像的图像捕获装置捕获的多个输入 图像之间的位置关系；和通过对于输出图像的每个像素位置，从多个输入图 像中识别应该加以考虑的观测像素成分，和根据识别的观测像素成分，生成 每个像素具有(n+l)个或更多个像素值的输出图像，估计输出图像。
根据本发明，检测在每个像素上具有n个像素值的多个输入图像之间的位置关系。在多个输入图像的观测像素成分当中，根据检测的位置关系，为 输出图像的每个像素位置识别应该加以考虑的观测像素成分。根据识别的观
测像素成分，估计在每个像素上具有(n+l)个或更多个像素值的输出图像。 图像处理设备可以具有自含式设备或设备中负责图像处理的模块的形式。


图l是示出根据本发明一个实施例的数字照相机l的配置例子的方块图;
图2是如图1所示的数字照相机1进行拍摄图像的过程的流程图3是示出排列如图l所示的成像器件4的像素的方式的示意图4是示出如图1所示的信号处理器7的详细配置的例子的方块图5是示出第 一 图像和第二图^f象之间的坐标关系的示意图6是示出根据第一实施例的图像估计过程的流程图7是示出根据第一实施例的图像估计过程的流程图8是根据第二实施例的颜色相关性约束的示意图9是^^艮据第二实施例的颜色相关性约束的示意图10是示出才艮据第二实施例的图像估计过程的流程图11是示出根据第二实施例的图像估计过程的流程图12是示出根据第二实施例的图像估计过程的流程图13是示出存储在帧存储器22-l中的第一图像的示意图14是示出存储在帧存储器22-2中的第二图像的示意图15是示出存储在帧存储器22-3中的第三图像的示意图16是示出成像器件4的像素的示意图17是示出排列如图1所示的成像器件4的像素的方式的示意图18是示出弹簧模型的示意图19是示出弹簧模型的示意图20是示出弹簧模型的示意图21是示出弹簧模型的示意图22是示出弹簧模型的示意图23是示出弹簧模型的示意图24是示出根据第三实施例的图像估计过程的流程图；图25是示出根据第四实施例的困像估计过程的流程图； 图26是示出根据第五实施例的图像估计过程的流程图； 图27是示出通过成像器件4的各自像素检测绿色成分(G信号)的状态 的示意图28是示出沿着垂直方向延伸的边缘的示意图； 图29是示出沿着水平方向延伸的边缘的示意图； 图30是示出沿着从左上角到右下角的方向延伸的边缘的示意图； 图31是示出沿着从右上角到左下角的方向延伸的边缘的示意图； 图32是示出检测沿着垂直方向延伸的边缘时生成的平面Ql的示意图； 图33是示出检测沿着水平方向延伸的边缘时生成的平面Q2的示意图； 图34是示出检测沿着从左上角到右下角的方向延伸的边缘时生成的平 面Q3的示意图35是示出检测沿着从右上角到左下角的方向延伸的边缘时生成的平 面Q4的示意图36是示出根据第六实施例的图像估计过程的流程图37是根据第七实施例的颜色相关性约束的示意图38是才艮据第七实施例的颜色相关性约束的示意图39是示出根据第七实施例的图像估计过程的流程图40是示出本发明和传统技术之间的差异的示意图41是示出根据本发明一个实施例的计算机的配置例子的方块图42是示出三次函数的示意图43是示出参考坐标系中位置(r, r )上的像素值的示意图； 图44是示出参考坐标系中位置(r， J')在异常(exceptional)状态下 的像素值的示意图45是示出对G信号的异常管理(handl ing)过程的示意图46是示出对G信号的异常管理过程的示意图47是示出对R信号的异常管理过程的示意图48是示出对R信号的异常管理过程的示意图49是示出根据第八实施例的图像估计过程的流程图50是示出根据第八实施例的图像估计过程的流程图51是示出根据第八实施例的图像估计过程的流程图；图52是示出根据第八实施例的图像估计过程的流程图； 图53是示出根据第八实施例的图像估计过程的流程图； 图54是示出捕获图像401,到4018的流程图;
图55是示出通过将第一捕获图像用作参考图像从捕获图像中生成的输 出图^f象的示意图；和
图56是示出通过将中间捕获图像用作参考图像从捕获图像中生成的输 出图像的示意图。
实现本发明的最佳方式
图1是示出根据本发明一个实施例的数字(静止)照相机1的配置例子 的方块图。
如图l所示的数字照相机l包括透镜2、光圏3、成像器件4、相关双取 样器5、 A/D (模拟/数字)转换器6、信号处理器7、定时发生器8、 D/A (数 字/模拟)转换器9、视频编码器IO、监视器ll、编解码器12、存储器13、 总线14、 CPU (中央处理单元)15和输入器件16。 A/D转换器6包括移位器 12和信号处理器7包括帧存储器22。
源自对象(未示出)的光线穿过包括透镜2和光圈3的光学系统，入射 在成像器件4上。成像器件4具有单面传感器的形式，单面传感器由包括特 定个像素(像元)的CCD或CMOS构成。
成像器件4按照定时发生器8供应的曝光定时信号，在特定区间上^r测 特定时间间隔(period)(快门时间)内源自对象的入射光。成像器件4通过 光电转换，将位于图像检测平面上的每个光传感器元件检测的光强度转换成 电信号。将所得电信号作为图像信号供应给相关双取样器5。由于成像器件4 被构成成单面传感器的形式，以电图像信号的形式供应给相关双取样器5的 图像的每个像素是R、 G和B信号(数据)之一。
成像器件4以比获得最适合一个图像的曝光所需的快门速度(快门时间 (曝光时间))更高的快门速度(更短的快门时间)捕获多个图像(N个图像)， 以便用于即使发生照相机摇晃也可以生成清晰输出图像。成像器件4 (用欠 曝光)捕获的N个图像(输入图像)的每一个都比如果用最佳曝光捕获图像 获得的图像暗。也就是说，每个图像的亮度比用最佳曝光获得的亮度降低Mk (k-l至N)倍(也就是说，等于用最佳曝光获得的亮度的1/Mk倍)。Mk的值由快门速度决定。
相关双取样器5通过相关双取样从从成像器件4接收的图像信号(电信
号)中消除噪声，将所得图像信号供应给A/D转换器6。 一旦从相关双取样 器5接收到对象的噪声消除图像信号，A/D转换器6就将它转换成数字信号， 也就是说，A/D转换器6取样接收的图像信号和量化它。此后，移位器21通 过n'-位移动，将代表用欠曝光捕获的暗图像的数字图像信号的幅度增加(放 大)Mk倍，以便获得亮度(信号电平)与用最佳曝光获得的亮度相似的图像。 将所得图像信号供应给信号处理器7。
注意，在上述从图像信号中消除噪声的过程中，相关双取样器5不能消 除所有噪声成分，因此，从相关双取样器5输出的图像信号包括残余噪声成 分。相关双取样器5没有消除而保留的残余噪声成分引起与图像信号的真值 的误差，除了图像信号之外，这个误差也被移位器21增加了 Mk倍。因此， 所得误差依赖于移位器21进行放大的倍数。让E表示包括在从相关双取样器 5输出的图像信号中的残余噪声成分的幅度，噪声E被设置成取决于成像器 件4的特性的最大可能值。从A/D转换器6供应到信号处理器7的图像信号 包括幅度近似等于噪声E的Mk倍(E x Mk )的噪声。例如，当Mk = 8时，n' 被设置成3，和移位器21对第k捕获图像进行3-位移动，以便将第k捕获图
像的亮度增加到适当亮度。
在图像信号放大了Mk倍，致使亮度增加到最佳水平之后，从A/D转换器 6输出N个捕获图像中的每一个的图像信号，临时存储在信号处理器7的帧 存储器22中。
按照事先准备的程序，信号处理器7对亮度放大到存储在帧存储器22中 的适当水平的N个捕获图像中的每一个的图像信号进行处理。
更具体地说，信号处理器7将N个捕获图像的第一个用作参考图像，并 且依次选择第二到第N捕获图像作为目标图像。信号处理器7检测目标图像 相对于参考图像的位移。信号处理器7根据检测的位移补偿照相机摇晃，生 成每个像素都具有G、 R和B信号的位移补偿清晰图像(待输出)。将所得输 出图像信号供应给D/A转换器9和编解码器12之一或两者。信号处理器7可 以用DSP (数字信号处理器)等实现。在如下的讨论中，假设经过A/D转换 器6之后的部件处理的图像信号在亮度上已经被放大成与用最佳曝光获得的 水平相似的水平。定时发生器8将曝光定时信号供应给成像器件4、相关双取样器5、 A/D 转换器6和信号处理器7，以便在指定区间上捕获N个图像。例如，取决于 对象的亮度，用户可以改变该区间。如果用户通过输入器件16改变该区间， 那么，通过总线14将指示该区间的改变值的数据/人CPU 15供应到定时发生 器8。
D/A转换器9将从信号处理器7输出的图像信号转换成模拟信号，并且 将所得模拟图像信号供应给视频编码器10。视频编码器10将D/A转换器9 供应的图像信号(具有模拟信号的形式)转换成具有能够显示在监视器11上 的形式的视频信号。将所得视频信号供应给监视器11。监视器11用作数字 照相机l的取景器，它可以用LCD或CRT来实现。在监视器ll上显示出视频 编码器IO供应的视频信号。因此，在监视器11上显示出清晰图像。
编解码器12按照特定编码技术，譬如，基于JPEG (联合图像专家组) 标准、MPEG (运动图像专家组)标准、或DV (数字视频)标准的编码技术， 编码从信号处理器7输出的图像信号。将所得的编码图像信号供应给存储器 13。
存储器13由诸如闪速存储器之类的半导体存储器构成，用于临时或永久 存储编解码器12供应的编码图像信号。诸如磁盘或光(磁光)盘之类的存储 媒体可以用来取代存储器13。存储器13或用来取代存储器13的存储媒体可 以从数字照相机l中取走。数字照相机1可以包括以固定方式位于数字照相 机l中的存储4某体和以可取出方式位于数字照相机1中的存储媒体。
CPU 15通过总线14将控制信号供应给各种部件以控制各种过程。例如， 按照用户通过输入器件16发出的图像捕获开始信号，CPU 15将控制信号供 应给各种部件，以捕获对象的图像和将捕获图像存储在存储器13中。
输入器件16包括位于数字照相机l的主要部件上诸如释放按钮之类的操 作按钮。如果用户操作操作按钮，那么，生成信号，并且，通过总线14将信 号供应给CPU 15。按照通过总线14从输入器件16接收的信号，CPU 15控制 各种部件。输入器件16的操作按钮之一或多个可显示在监视器11上。施加 在显示在监视器11上的操作按钮上的操作可以由位于监视器11上的透明输 入板检测。
下面参照如图2所示的流程图，描述数字照相机1进行拍摄图像的过程。 首先，在步骤S1中，成像器件4拍摄对象的图像。更具体地说，每当按下释放按钮(快门按钮)时，成像器件4按照定时发生器8供应的曝光定时
信号，通过检测源自对象的入射光，以高快门速度依次捕获N个图像。因此， 每当拍摄图像时，获得亮度值比用最佳曝光获得的亮度值低的N个暗捕获图 像。检测源自对象的光线，并且将它转换成电信号。将具有电信号形式的所 得图像信号供应给相关双取样器5。相关双取样器5从图像信号中消除噪声 成分，并且将所得图像信号供应给A/D转换器6。此后，过程转到步骤S2。
在步骤S2中，A/D转换器6将从相关双取样器5接收的对象的噪声消除 图像信号转换成数字信号。并且，移位器21通过n'-位移动，将欠曝光暗图 像转换成亮度(信号电平)与用最佳曝光获得的亮度相似的图像。将所得图 像信号供应给信号处理器7。此后，过程转到步骤S3。
在步骤S3中，信号处理器7拍摄第一捕获图像作为参考图像，并且依次 选择第一图像之后的图像之一作为目标图像。信号处理器7检测目标图像(第 二到第N图像之一)相对于参考图像的位移(移动量)。此后，过程转到步骤 S4。
在步骤S4中，信号处理器7根据在步骤S3中检测的第N捕获图像相对 于参考图像的位移，执行正确图像估计过程。此后，过程转到步骤S5。在后 面将描述其细节的这个正确图像估计过程中，信号处理器7生成每个像素都 包括G、 R和B信号的位移补偿清晰信号(输出信号)，并且将所得图^象信号 供应给D/A转换器9和编解码器12之一或两者。
在步骤S5中，在监视器11上显示出输出图像，并且将输出图像存储在 诸如闪速存储器之类的存储器13中。因此，过程到此结束。更具体地说，在 步骤S5中，将在步骤S4中从信号处理器7供应到D/A转换器9的图^f象信号 转换成模拟信号，将其供应给视频编码器10。并且，在步骤S5中，视频编 码器10将D/A转换器9供应的模拟图像信号转换成具有能够显示在监视器 11上的形式的视频信号。将所得视频信号供应给监视器11。并且，在步骤 S5中，监视器ll按照视频编码器IO供应的视频信号显示图像。并且，在步 骤S5中，根据编码方案，譬如，基于JPEG标准或MPEG标准的编码方案，编 码在步骤S4中从信号处理器7供应到编解码器12的图像信号，将所得图像 信号存储在诸如闪速存储器之类的存储器13中。因此，从该过程退出。
图3是其中示出成像器件4的像素的排列方式的示意图。尽管在图3中 只示出了存储器件4的左上区中的一些像素(沿着水平方向的6个像素x沿着垂直方向的4个像素，因此，总共24个像素)，但其余像素以相似的方式 排列着。
在图3中，X-Y坐标系是这样定义的，成像器件4的左上角用作原点， 将水平方向(向右)取作X轴，和将垂直方向(向下)取作Y轴。 一个像素 的水平长度和垂直长度被设置成1。从左端算起第i位置和从上端算起第j 位置上的像素的位置(中心位置)可以表达成(i - 0. 5, j - 0. 5 )。在如图3 所示的成像器件4中，以Bayer (拜耳)阵列的形式排列像素。
提供G信号的像素包括在X方向的第一位置和Y方向的第一位置上的像 素GOO、在X方向的第三位置和Y方向的第一位置上的像素G02、在X方向的 第五位置和Y方向的第一位置上的像素G04、在X方向的第二位置和Y方向 的第二位置上的像素Gll，以及像素G13、像素G15、像素G20、像素G22、 像素G24、像素G31、像素G33和像素G35。
提供R信号的像素包括在X方向的第二位置和Y方向的第一位置上的像 素ROl、在X方向的第四位置和Y方向的第一位置上的像素R03、在X方向的 第六位置和Y方向的第一位置上的像素R05、在X方向的第二位置和Y方向 的第三位置上的像素Rn，以及像素和像素R25。
提供B信号的像素包括在X方向的第一位置和Y方向的第二位置上的像 素BIO、在X方向的第三位置和Y方向的第二位置上的像素R12、在X方向的 第五位置和Y方向的第二位置上的像素B14、在X方向的第一位置和Y方向 的第四位置上的像素B30，以及^f象素B32和<象素B34。
对于没有由照相机摇晃引起的模糊的清晰图像，存储器件4的X-Y坐标 系中特定位置(x, y )上的G信号、R信号和B信号分别用Lg ( x， y )、 Lr (x, y)和Lb(x, y)表示。并且，对于没有由照相机摇晃引起的模糊的清 晰图像，位于从左端算起第i位置和从上端算起第j位置上的第(i, j )像 素的G信号、R信号和B信号分别用Lg ( i， j )、 Lr ( i， j )和Lb ( i, j) 表示。也就是说，Lg (x， y)、 Lr (x， y )和Lb (x， y) (Lg ( i, j )、 Lr ( i， j )和Lb ( i, j ))分别表示既没有模糊又没有噪声的图像在特定位置(x， y ) (在第(i ， j )像素)上的纯绿光强度(数据)、纯红光强度(数据)和纯蓝 光强度(数据)。在下文中，将Lg (x， y)、 Lr (x， y)和Lb (x, y) ( Lg (i， j)、 Lr (i, j)和Lb (i， j))称为纯绿光强度Lg (x， y) (Lg (i， j))、纯 红光强度Lr (x， y) (Lr (i， j))和纯蓝光强度Lb (x, y) (Lb (i， j))。当x = i - 0. 5和y = j - 0. 5时，Lg (x, y ) =Lg ( i, j ), Lr (x， y ) = Lr (i， j),和Lb (x, y) =Lb (i, j)。
尽管在本实施例中，以Bayer阵列的形式排列成像器件4的像素，但也 可以以其它方式排列像素。
与G信号、R信号和B信号的像素相联系的变量ig、 jg、 ir、 jr、 ib和 jb定义如下。
变量ig和jg分别表示负责提供G信号的像素所在的X方向的位置i和 Y方向的位置j。也就是说，对于负责提供G信号的像素，变量ig和jg的组 合等于变量i和j的组合。在以Bayer阵列的形式排列像素的情况下，变量 ig和jg由其差值i-j、偶数的变量i和j给出。注意，变量ig和jg之间 的差值，即，ig-jg理所当然也是偶数。因此，"在第ig位置和第jg位置 上的像素，，就是负责提供G信号的像素。在以除了 Bayer阵列之外的阵列的 形式排列像素的情况下，因阵列而异地给出变量ig和jg。
变量ir和jr分别表示负责提供R信号的像素所在的X方向的位置i和 Y方向的位置j。也就是说，对于负责提供R信号的像素，变量ir和jr的组 合等于变量i和j的组合。在以Bayer阵列的形式排列像素的情况下，变量 ir和jr由满足变量i是偶数和变量i和j的差值，即，i - j是奇数的约束 的变量i和j给出。注意，变量ir和jr之间的差值，即，ir-jr理所当然 也是奇数。因此，"在第ir位置和第jr位置上的像素"就是负责提供R信号 的像素。在以除了 Bayer阵列之外的阵列的形式排列像素的情况下，因阵列 而异地给出变量ir和jr。
变量ib和jb分别表示负责提供B信号的像素所在的X方向的位置i和 Y方向的位置j。也就是说，对于负责提供B信号的像素，变量ib和jb的组 合等于变量i和j的组合。在以Bayer阵列的形式排列像素的情况下，变量 ib和jb由满足变量i是奇数和变量i和j的差值，即，i-j是奇数的约束 的变量i和j给出。注意，变量ib和jb之间的差值，即，ib-jb理所当然 也是奇数。因此，"在第ib位置和第jb位置上的像素"就是负责提供B信号 的像素。在以除了 Bayer阵列之外的阵列的形式排列像素的情况下，因阵列 而异地给出变量ib和jb。
从如图3所示的成像器件4的各自像素输出的彩色信号(G信号、R信号 和B信号)的值(像素值)定义如下。如前所述，成像器件4拍摄了 N个图像，因此，对于成像器件4的每个 像素，获得N个像素值。第k图像(k = l至N)在第ig位置和第jg位置上 的像素的像素值用Gobs (k， ig， jg)表示，第k图像(k=l至N)在第ir 位置和第jr位置上的像素的像素值用Robs (k, ir, jr )表示，和第k图像 (k = l至N)在第ib位置和第jb位置上的像素的l象素值用Bobs (k， ib， jb)表示。例如，第一图像的像素GOO的像素值由Gobs (1， 1， 1)给出， 和第二图像的像素G04的像素值由Gobs (2, 5, 1)给出。这里，以及在如 下的描述中，除非另有指定，k表示范围从l到N的整数。
换句话说，像素值Gobs (k， ig， jg)、 Robs (k， ir, jr)和Bobs (k， ib, jb )分别表示通过像素G (jg-1) ( ig-1 )、 R ( jr-1) ( ir-1)和B (jb-1) (ib-1 )获得的像素值。
图4示出了如图1所示的信号处理器7的一部分的详细配置的例子。信 号处理器7包括帧存储器22、运动检测器23、计算电路24和控制器25。帧 存储器22包括帧存储器22-1到22-N，和运动检测器23包括运动检测器23-1 到23-(N-l)。
如前所述，A/D转换器6将N个捕获图像供应给帧存储器22。帧存储器
22- 1存储A/D转换器6供应的第一捕获图像。帧存储器22-2存储A/D转换 器6供应的第二捕获图像。类似地，帧存储器22-k存储A/D转换器6供应的 第k捕获图像(其中，k-3至N)。
帧存储器22-1在适当的定时将存储在其中的第一捕获图像供应给计算 电路24和运动检测器23-1到23-(N-1)。帧存储器22-2在适当的定时将存 储在其中的第二捕获图像供应给计算电路24和运动检测器23-1。类似地， 帧存储器22-k在适当的定时将存储在其中的第k捕获图像供应给计算电路 24和运动4企测器23-(k-l)。
运动检测器23检测两个捕获图像之间的位置关系。更具体地说，运动检 测器23把第一捕获图像取作参考图像和把第一捕获图像之后的捕获图像之 一取作目标图像，并且，运动检测器23检测目标图像(第二到第N图像之一 ) 相对于参考图像的位移(运动量)。例如，照相机摇晃可以造成位移。
将用作参考图像的第一捕获图像从帧存储器22-1供应到运动检测器
23- 1，并且，将用作目标图像的第二捕获图像从帧存储器22-2供应到运动检 测器23-1。运动检测器23-1通过确定代表第一捕获图像和第二捕获图像之间的位
置关系的方程(1)的转换系数(62, T2x， T2y, S2 ),检测第二捕获图像的 每个像素(或当图像被划分成多个块时，每个块)的位置与第一捕获图像的 位置之间的对应关系，其中，e2表示转角，S2表示比例倍数，和(T2x， T2y) 表示平移。将所得转换参数供应给计算电路24。
X1(2)
=S2
cos购 sin购
COS1
sin(e2)
购,
义2、 72
+r2.
(l)
方程(1)具有所谓仿射(affine)变换的形式，其中，(X2， Y2 )代表第 二捕获图像的像素的位置，和(X1(2)， Yl(2,)代表第一捕获图像上的相应位置。 注意，下标(2)用于表示第二捕获图像上的位置的转换位置。
转换系数(e2， T2x, T2y, S2)代表由于照相机摇晃，第二捕获图像上 的位置(X2, Y2)相对于第一捕获图像上的相应位置(XI, Yl)旋转了角度 02,由于数字照相机1朝着对象的移动，放大(或如果S2〈1，缩小)了 S2 倍，和与对象平行地位移了 (T2x， T2y)。在大多数情况下，在照相机摇晃的 各种位移成分中，沿着与成像器件4的平面平行的方向的成分具有显著的影 响，但沿着从数字照相机1到对象的方向的位移成分小到足以忽略不计。也 就是说，S2可以近似成S2二1。
将用作参考图像的第一捕获图像从帧存储器22-1供应到运动检测器 23-2，并且，将用作目标图像的第三捕获图像从帧存储器22-3供应到运动检 测器23-2。
运动检测器23-2通过确定代表第一捕获图像和第三捕获图像之间的位 置关系的方程(2)的转换系数(63, T3x， T3y, S3),检测第三捕获图像的 每个像素(或当图像被划分成多个块时，每个块)的位置与第一捕获图像的 位置之间的对应关系，其中，63表示转角，S3表示比例倍数，和(T3x， T3y) 表示平移。将所得转换参数供应给计算电路24。
<formula>formula see original document page 23</formula>方程(2)也具有仿射变换的形式，其中，(X3， Y3)代表第三捕获图像 的像素的位置，和(X1。,， Yl(3))代表第一捕获图像上的相应位置。注意，下 标(3)用于表示第三捕获图像的位置被转换成带下标(3)的位置。
转换系数(03， T3x, T3y， S3)代表由于照相机摇晃，第三捕获图像上 的位置(X3, Y3)相对于第一捕获图像上的相应位置(XI, Yl)旋转了角度 63，由于数字照相机1朝着对象的移动，放大(或如果S3〈1，缩小)了 S3 倍，和相对对象平行地位移了 (T3x， T3y)。在大多数情况下，在照相机摇晃 的各种位移成分中，沿着与成像器件4的平面平行的方向的成分具有显著的 影响，但沿着从数字照相机1到对象的方向的位移成分小到足以忽略不计。 也就是说，S3可以近似成S3-1。
类似地，将用作参考图像的第一捕获图像从帧存储器22-1供应到运动检 测器23-(k-l)，并且，将用作目标图像的第k捕获图像从帧存储器22-k供 应到运动检测器23-(k-l)。
运动检测器23-(k-l)通过确定代表第一捕获图像和第k捕获图像之间的 位置关系的方程(3)的转换系数(ek， Tkx， Tky, Sk ),检测第k捕获图像 的每个像素(或当图像被划分成多个块时，每个块)的位置与第一捕获图像 的位置之间的对应关系，其中，ek表示转角，Sk表示比例倍数，和(Tkx, Tky)表示平移。将所得转换参数(ek, Tkx, Tky, Sk)供应给计算电路24。 <formula>formula see original document page 24</formula>
方程(3)也具有仿射变换的形式，其中，(Xk， Yk)代表第k捕获图像 的像素的位置，和(XU,, YU))代表第一捕获图像上的相应位置。注意，下 标(k)用于表示第k捕获图像的位置被转换成带下标(k)的位置。
转换系数(ek, Tkx， Tky, Sk)代表由于照相机摇晃，第k捕获图像上 的位置(Xk， Yk)相对于第一捕获图像上的相应位置(XI, Yl)旋转了角度 ek，由于数字照相机1朝着对象的移动，放大(或如果Sk〈1,缩小)了 Sk 倍，和与对象平行地位移了 (Tkx, Tky)。在大多数情况下，在照相机摇晃的 各种位移成分中，沿着与成像器件4的平面平行的方向的成分具有显著的影 响，但沿着从数字照相机1到对象的方向的位移成分小到足以忽略不计。也就是说，Sk可以近似成Sk二l。
382取代以上述方式从第k捕获图像相对于第一捕获图像的位置关系中 确定转换系数(ek, Tkx， Tky, Sk ),可以用力学(mechanically)方法根据从 位于数字照相机l上的加速度传感器输出的信号中确定转换系数(ek， Tkx， Tky， Sk)。
将N个捕获图像从帧存储器22-1到22-N供应到计算电路24，将代表第 一捕获图像和第k捕获图像之间的位置关系的转换系数(ek， Tkx, Tky， Sk ) 从运动检测器23-1到23-(N-l)供应到计算电路24。
计算电路24根据从运动检测器23-1到23-(N-l)供应的第二到第N捕获 图像相对于第一捕获图像的位置关系，通过执行如下所述的正确图像估计过 程，生成位移补偿清晰图^象信号(包括G信号成分、R信号成分和B信号成 分)，并且，计算电路24将所得位移补偿图像信号供应给D/A转换器9或编 解码器12。在从A/D转换器6供应到信号处理器7的N个捕获图像的每一个 中，每个像素拥有G、 R和B信号之一。另一方面，在计算电路24生成的补 偿图像信号中，每个像素拥有所有G、 R和B信号(数据)。
在CPU 15的控制下，控制器25控制信号处理器7的各种部件，譬如， 帧存储器22-1到22-N、运动检测器23-1到23-(N-1)和计算电路24等。取 代控制器25, CPU 15 (图1)也可以控制信号处理器7的部件，譬如，帧存 储器22-1到22-N、运动检测器23-1到23-(N-l)和计算电路24。在这种情 况下，控制器25不是必须的。
在利用Bayer阵列的单面传感器中，R或B信号的像素数量少于G信号 的像素数量。这使从信号处理器7输出的图像中的R信号或B信号具有比G 信号具有的误差大的误差。在这样的情况下，使只限制彩色信号的高频成分， 而不限制亮度信号的低通滤波器位于计算电路24之后的级上，从而消除噪 声。
如果计算电路24被设计成能够在依次捕获图像的同时，实时地高速处理 图像，那么，可以利用数量较少的帧存储器22-1到22-N和数量较少的运动 检测器23-1到23-(N-l)进行处理，因此，可以以较不复杂的更简单形式构 成信号处理器7。
现在，描述根据本发明第一实施例的信号处理器7执行的正确图像估计 过程。尽管在图中未示出，但片上透镜直接位于成像器件4的每个像素(每个 像素的光敏部分)上。每个片上透镜将源自对象和入射在片上透镜上的所有 光线聚焦成一点。因此，正好位于它自己的片上透镜下的每个像素接收入射 在片上透镜上的所有光线的积分。这导致每个像素的灵敏度提高。
因此，成像器件4的每个像素接收的数据(光强度)不是源自对象和入
射在一点上的光线的光强度(也就是说，不是点取样数据)，而是源自对象和 入射在平面(光^t面)的有限区域上的光线的积分。
在第一实施例中，将片上透镜的特性精确地公式化，以便通过正确图像 估计过程生成清晰图像(输出图像)。注意，在传统技术中，假设在每个像素
上点取样数据。但是，在实际成像器件4中，如上所述，每个像素接收入射 在平面的有限区域上的光线的积分，因此，点取样的假设导致正确图像的估 计(恢复)出现误差。
现在，针对存储在帧存储器22-1中的第一图像，将在每个像素上获得的 像素值与通过片上透镜入射的光线之间的关系公式化。
例如，对于如图3所示的左上角的第(1, 1)位置上的像素GOO，那个 像素的像素值Gobs (1, 1, 1)和纯绿光强度Lg (x, y)之间的关系通过如 下方程(4)给出。
H丄g(;c，少)血4^Gofo(U1) ... (4)
用绿光滤波器盖住用作单面传感器的光传感器4的左上角上的像素GOO， 以便只有入射光的绿光成分才能到达像素GOO。由于供应了片上透镜，入射 在图3中其角位于座标(0, 0)、 (0， 1)、 (1， 0)和(1， 1)的矩形区域上 的光线到达像素GOO。也就是说，入射在其角在坐标(0， 0)、 (0, 1)、 (1，
0) 和(1， 1)上的矩形区域上的所有光线被位于第(1， 1)位置上的像素 G00 4企测到。
方程(4)中的左侧部分代表在其角位于(0， 0)、 (0, 1)、 (1， O)和(l，
1) 的矩形范围上，即，在由0《x<l和0《y<l定义的范围上求出、第一捕获图 像(入射)在坐标系中的位置(x， y)上的纯绿光强度Lg (x， y)的积分。 方程(4 )的右侧部分代表第一图像的第(1,1)位置上的像素获得(观测到)的像素值Gobs(l, 1, 1)。因此，方程(4)代表对于第一图像，在像素GOO 的光敏面上求出、入射在像素GOO的光敏面上的纯绿光强度Lg (x， y)的积 分等于像素GOO观测到的像素值Gobs (1, 1, 1)。
取决于片上透镜的特性，源自对象和入射在每个像素的周围区域(接近 边缘)上的光线不会聚。在这样的情况下，稍微缩小计算方程(4)左侧部分 的积分的范围。例如，在其角位于(0.1, 0.1)、 (0.1, 0.9)、 (0.9, 0.1) 和(O. 9， 0. 9)的范围上计算积分。
在许多数字照相机中，为了避免成为单面传感器缺点的伪彩色，使光低 通滤波器位于每个像素上。在这种配置中，每个像素接收入射在稍微大于像 素的矩形区域的区域上的光线。在这样的情况下，稍微扩大计算方程(4)左 侧部分的积分的矩形范围。
接着，将图3中直接与像素G00的右边相邻的第(2， 1)像素R01取作 例子继续讨论。
对于第(2, l)位置上的像素ROl，那个像素的像素值Robs (1， 2， 1) 和纯红光强度Lr (x， y)之间的关系通过如下方程(5)给出。
fj^r(;c,少)血c/j^i 。fcC^1) ... (5)
用红光滤波器盖住用作单面传感器的光传感器4的左上角上的像素ROl， 以便只有入射光的红光成分才能到达像素ROl。由于供应了片上透镜，入射 在图3中其角位于座标(1， 0)、 (1， 1)、 (2， 0)和(2， 1)的矩形区域上 的光线到达像素ROl。也就是说，入射在其角在坐标(l， 0)、 (1, 1)、 (2， 0)和(2， 1)上的矩形区域上的所有光线被位于第(2， 1)位置上的像素 R01 ;险测到。
方程(5 )中的左侧部分代表第一捕获图像(入射)在坐标系中的位置(x， y)上的纯红光强度Lr (x, y)在其角位于(1, 0)、 (1, 1)、 (2, 0)和(2, l)的矩形范围上，即，在由lSx〈2和(^y〈l定义的范围上的积分。方程(5) 的右侧部分代表第一图像的第(2， 1)位置上的像素获得(观测到)的像素 值Robs (1， 2, 1)。因此，方程(5)代表对于第一图像，入射在像素R01 的光敏面上的纯红光强度Lr (x， y)在像素R01的光敏面上的积分等于像素R 0 0观测到的^象素值Rob s (1 ， 2 ， 1 )。
取决于片上透镜的特性，源自对象和入射在每个像素的周围区域(接近 边缘)上的光线不会聚。在这样的情况下，稍微缩小计算方程(5)左侧部分 的积分的范围。例如，在其角位于(l. 1， 0.1)、 (1.1, 0.9)、 (1.9, 0.1) 和(1.9, G. 9)的范围上计算积分。
在许多数字照相机中，为了避免成为单面传感器缺点的伪彩色，使光低 通滤波器位于每个像素上。在这种配置中，每个像素接收入射在稍微大于像 素的矩形区域的区域上的光线。在这样的情况下，稍孩i扩大计算方程(5)左 侧部分的积分的矩形范围。
对于第一捕获图像的其它像素，定义类似的方程。
也就是说，对于如图3所示的第(ig， jg )位置上的像素G( jg-l) ( ig-l )， 那个像素的像素值Gobs (1, ig， jg)和纯绿光强度Lg (x， y)之间的关系 通过如下方程(6)给出。
r, fg =G。&(t /g, yg) ... ( 6 )
如-i Jg-1
方程(6)代表像素值Gobs (1, ig， jg)等于纯绿光强度Lg (x, y)在 如图3所示的坐标系中其角位于(ig-l, jg-l)、 (ig-l, jg)、 (ig， jg-l) 和(ig, jg)的矩形范围上，即，在由ig-Kx〈ig和jg-l^y〈jg定义的范围 上的积分。
对于如图3所示的第(ir, jr )位置上的像素R (jr-1) ( ir-1 )，那个 像素的像素值Robs (1， ir, jr )和纯红光强度Lr ( x, y)之间的关系通过 如下方程(7)给出。
f ， j"" A(;c,永x办=z>， _/>) … (7 )
方程(7)代表像素值Robs (1, ir， jr )等于纯红光强度Lr (x， y)在 如图3所示的坐标系中其角位于(ir-l, jr-l)、 (ir-1, jr)、 ( ir， jr-l) 和(ir, jr)的矩形范围上，即，在由ir-Kx〈ir和jr-l《y<jr定义的范围 上的积分。对于如图3所示的第(ib, jb)位置上的4象素B ( jb-l) ( ib-1 )，那个 像素的像素值Bobs (1, ib, jb)和纯蓝光强度Lb (x， y)之间的关系通过 如下方程(8)给出。
，少)血办=
方程(8)代表像素值Bobs (1, ib, jb)等于纯蓝光强度Lb (x, y)在 如图3所示的坐标系中其角位于(ib-l， jb-l)、 (ib-l, jr)、 (ib， jb-1) 和(ib, jb)的矩形范围上，即，在由ib-l《x〈ib和jb-1^y〈jb定义的范围 上的积分。
实际上，如前所述，图像信号(观测像素值)包括放大了 Mk倍的噪声E。 如果计及噪声成分ExMk，公式(6)、 (7)和(8)分别重写成表示光强度积 分应该满足的约束的公式(9)、 (10)和(11)。
r r zg(x， w血办-/g，龙〗《Mix五 .…(9)
如-1 Jg-1 I
1《M1x￡ …(10)
f 广丄6(x，-5ofc(1 /6J6〗SM1x￡ ... ( 11 )
其中，lxl表示x的绝对值。
公式(9)代表光强度Lg (x， y)的积分与观测像素值Gobs (1, ig, jg ) 之差等于或小于噪声的最大可能值MlxE。不等式(10)和(11)代表类似 的约束。
在如下的描述中，将第k捕获图像也简称为第k图像。
现在，对于存储在帧存储器22-2中的第二图像，与对于第一图像一样，
用数学表达式的形式表示在每个像素上获得(观测到)的像素值与通过片上
透镜入射的光线之间的关系。
根据运动检测器23检测的转换参数(6k, Tkx， Tky， Sk )，将第二以及
随后捕获图像的坐标系转换成第一捕获图像的坐标系。对于第二图像的第(1, 1)位置上的像素GOO，那个像素的像素值Gobs (2， 1, 1)和纯绿光强度Lg (x， y)之间的关系通过如下方程(12)给出。
d)Zg(x,力血c/"Go碌11) …(12)
用绿光滤波器盖住光传感器4的左上角上的像素G00,以便只有入射光 的绿光成分才能到达像素GOO。由于供应了片上透镜，入射在第二图^f象的坐 标系中其角位于坐标(O， 0)、 (0， 1)、 (1， O)和(l， l)的矩形区域上的 光线到达像素GOO。
如果根据转换参数(e2， T2x, T2y, S2 ),将第二图像的坐标系中的位置 (0， 0)、 (0, 1)、 (1, O)和(l， 1)转换成第一图像的坐标系中的位置， 所得位置像(0(", 0(2))、 (0(2)， 1。) )、 (1(2)， 0(2))和(l (2) 7 1 (2) )那样给出。
也就是说，入射在其角位于坐标(0(2), 0(2))、 (0(2)， 1(2))、(1(2)，0(2))和(1(2)，
1(2))上的矩形区域上的所有光线被位于第(1,1)位置上的像素G00检测到。 在下文中，当第二图像的位置(x, y)被转换成第一图像的坐标系中的位置 时，将所得位置称为P (2， x， y)。
方程(12)中的左侧部分代表纯绿光强度Lg (x， y)在其角位于P (2, 0， 0)、 P (2, 0， 1)、 P (2, 1, 0)和P (2, 1, 1)的矩形区域上，即，在 第一图像的坐标系中其角位于坐标(0(2)， 0(2))、 ( 0 ), 1(2))、 (1( , 0(2))和(1。)， 1(2))上的矩形范围上的积分。方程(12 )的右侧部分代表在第二图像的第(1, 1)位置上的像素上获得的像素值Gobs (2， 1, 1)。方程(12)代表在第二 图像的像素G00上获得的像素值Gobs (2, 1, 1)等于入射在第一图像的坐
标系中其角位于坐标(0( ， 0。))、 (0( ， 1。))、 (l(", 0。))和(1( ， 上 的矩形区域上的纯绿光强度Lg (x， y)的积分。在方程(12)中，他xdy代 表在其角位于(0(2)， 0。))、 (0。)， 1 ))、 (1(2)， 0(2))和(1 (2) 1 (2) )上的矩形 区域上求出的积分。在出现在如下描迷中的方程(13)和其它类似方程中， J"Jdxdy也用于表示类似积分。
取决于片上透镜的特性，源自对象和入射在每个像素的周围区域(接近 边缘)上的光线不会聚。在这样的情况下，与在第一图像中一样，稍微缩小 计算方程(12)左侧部分中的积分的范围。在许多数字照相机中，为了避免成为单面传感器缺点的伪彩色，使光低 通滤波器位于每个像素上。在这种配置中，每个像素接收入射在稍微大于像 素的矩形区域的区域上的光线。在这样的情况下，稍微扩大计算方程(12) 左侧部分的积分的矩形范围。
接着，将直接与像素G00的右边相邻的第(2,1)像素R01取作例子继 续讨论。
对于第二图像的第(2， 1)位置上的像素R01,那个像素的像素值Robs (2， 2， 1)和纯红光强度Lr (x， y)之间的关系通过如下方程(13)给出。
7 o6似1) …(13)
用红光滤波器盖住光传感器4的左上角上的像素ROl，以便只有入射光 的红光成分才能到达像素ROl。由于供应了片上透镜，入射在第二图像的坐 标系中其角位于坐标(l, 0)、 (1, 1)、 (2， 0)和(2， l)上的矩形区域上 的光线到达像素ROl。
如果才艮据转换参数(02, T2x， T2y， S2 ),将第二图像的坐标系中的位置 (1， 0)、 (1, 1)、 (2， 0)和(2, 1)转换成第一图像的坐标系中的位置， 所得位置像(l(a, 0 ))、 (1(2), 1(2))、 (2(2), 0(2))和(2 (2)1 (2) )那样给出。
也就是说，入射在其角位于坐标(1(2)，0(2))、(1(2),1(2))、(2(2)，0(2))和(2(2),
1(2))上的矩形区域上的所有光线被位于第(2,1)位置上的像素R01抬r测到。 方程(13)中的左侧部分代表纯红光强度Lr (x, y)在其角位于P (2， 1, 0)、 P (2, 1, 1)、 P (2， 2， 0)和P (2， 2， 1)的矩形区域上，即，在 第一图像的坐标系中其角位于坐标(1(2)， 0(2))、 (1(2)， 1(2))、 (2(2)， 0(2))和(2(2)， 1(2))上的矩形范围上的积分。方程(13 )的右侧部分代表在第二图像的第(2, 1)位置上的像素上获得的像素值Robs (2, 2, 1)。方程(13)代表在第二 图像的像素R01上获得的像素值Robs (2， 2, 1)等于入射在第一图像的坐
标系中其角位于(1(2)， 0 (2) )、 O (2)， 1(2) )、 (2(2)， 0(2))和(2(2)， 1(2))上的矩
形区域上的纯红光强度Lr (x， y)的积分。
取决于片上透镜的特性，源自对象和入射在每个像素的周围区域(接近 边缘)上的光线不会聚。在这样的情况下，稍^t缩小求出方程(13)左侧部分中的积分的范围。
在许多数字照相机中，为了避免成为单面传感器缺点的伪彩色，使光低 通滤波器位于每个像素上。在这种配置中，每个像素接收入射在稍微大于像
素的矩形区域的区域上的光线。在这样的情况下，稍微扩大计算方程(13)
左侧部分的积分的矩形范围。
对于第二捕获图像的其它像素，定义类似的方程。
也就是说，对于第二图像的第(ig， jg )位置上的像素G (jg-1) ( U-1), 那个像素的像素值Gobs (2, ig， jg)和纯绿光强度Lg (x， y)之间的关系 通过如下方程(14)给出。
f (2) f:)化(x,麵=…(14)
(2)
方程(14)代表像素值Gobs (2, ig， jg)等于纯绿光强度Lg (x, y) 在第二图像的坐标系中其角位于(ig-l， jg-l)、 (ig-l, jg)、 (ig, jg-l) 和(ig, jg)的矩形范围上，即，在第一图像的坐标系中其角位于(ig-U)， jg-l(2))、 (ig—1(2)， jg(a)、 (ig(a， jg-l(a )和(ig(a, jg(a )的杀巨形范围上的 积分。
也就是说，对于第二图像的第(ir， jr)位置上的像素R( jr-l) ( ir-1 )， 那个像素的像素值Robs (2， ir, jr)和纯红光强度Lr (x， y)之间的关系 通过如下方程(15)给出。
f"(2) 「w Zr(x,_y>&^ = i ofe(2，/r,^) ... (15)
A>-1(2) "(2)
(2)
方程(15)代表像素值Robs (2, ir， jr)等于纯红光强度Lr (x, y) 在第二图像的坐标系中其角位于(ir-l， jr-l)、 (ir-l, jr )、 ( ir, jr-l ) 和(ir, jr)的矩形范围上，即，在第一图像的坐标系中其角位于(ir-1(2), jr-l(2))、 (ir-l(2), jr(2))、 (ir(2), jr-lu))和( i r (2) ， J r (2) )的矩形范围上的积分。也就是说，对于第二图像的第(ib, jb )位置上的像素B ( jb-1 ) ( ib-l )， 那个像素的像素值Bobs (2， ib， jb)和纯蓝光强度Lb (x， y)之间的关系 通过如下方程(16)给出。
n(2; "(x,y)^"5—... (16)
(2)
方程(16)代表像素值Bobs (2, ib， jb)等于纯蓝光强度Lb (x, y) 在第二图像的坐标系中其角位于(ib-l, jb-1)、 (ib-l， jb)、 (ib， jb-1) 和(ib， jb)的矩形范围上，即，在第一图像的坐标系中其角位于(ib-l(2)， jb-l(2))、 (ib—1(2), jb(2))、 (ib(2)， jb-1 (2))和(ib(2), jb(2))的头巨形范围上的 积分。
实际上，如前所述，图像信号(观测像素值)包括放大了 Mk倍的噪声E。 如果计及噪声成分ExMk,公式(14)、 (15)和(16)分别重写成表示光强 度积分应该满足的约束的公式(17 )、 ( 18 )和(19 )。
f卿fg(2) >^办-Gofe(a /g, M2x ￡ ...(17)
f2 f2丄^^X，y)i^tfy —及0&f(2; 1sM2xE …(18)
J户-、2) 1-、2) I
f(2)，)丄Z (:c，;;)^:办一^fe(W,^"M2xS ... (19)
加-、2)、2) I
其中，lxl表示x的绝对值。
公式(l7)代表光强度Lg (x， y)的积分与观测像素值Gobs (2， ig， jg )之差等于或小于噪声的最大可能值M2 x E。不等式(18 )和(19 )代表 类似的约束。
现在，参考图5，描述第二图像的位置(x， y)和将位置(x， y)转换 到第一图像的坐标系获得的位置P (2, x， y)之间的关系。
图5的左侧示出了第二图像的坐标系中其4个角位于(i-l， j-1 )、 ( i-l，『w 「wy^办—G^來fg 她x ￡ …(2 0 )
公式(20)代表位于第k图像的第(ig, jg)位置上的像素获得的像素 值Gobs(k, ig， jg)等于在其角位于P(k, ig-l, jg-l)、P(k, ig-l, jg)、 P(k， ig, jg-l)和P(k， ig, jg)的矩形范围上，即，在第一图像坐标系
中其角位于(ig-U" jg-U) )、 (ig-U), jgao)、 (igw, jg—1 oo )和(igw, jg(k))的矩形范围上求出的纯绿光强度Lg (x， y)的积分，最大可能误差等
j)、 (i, j-l)和(i， j)的矩形区域中的像素31。
左侧的像素31被转换成如图5的右侧所示、第一图像的坐标系中的像素 31'。注意，对象(例如，风景)的相同部分的光线落在图5左侧的<象素31 和图5右侧的像素31'上。
第二和随后捕获图像的每个像素的像素值被确定成采用作为参考图像的 第一图像中特定区域中的光线的积分。通过适当地设置积分区域，将存在位 移的第一到第N捕获图像排成正确位置(参照第一捕获图像)。
作为基于转换参数(e2， T2x， T2y, S2 )的转换结果，第二图像的坐标 系中的位置(i-l， j-l)被转换成第一图像的坐标系中的位置P (2， i-1, j-l)。作为基于转换参数(e2, T2x, T2y, S2)的转换结果，第二图i象的坐 标系中的位置(i-l, j)被转换成第一图像的坐标系中的位置P(2， i-l, j)。 类似地，作为基于转换参数(62, T2x, T2y, S2)的转换结果，第二图像的 坐标系中的位置(i， j-l)和(i， j)被转换成第一图像的坐标系中的位置 P(2， i， j-l)和P(2， i, j )。在下文中，将第一图像的坐标系中的X坐 标轴和Y坐标轴分别简称为X和Y。
与第二图像一样，作为基于转换参数(ek， Tkx, Tky， Sk)的转换结果,
-1)
和(i, j)被转换成第一图像的坐标系中的位置P (k， i-l, j-l)、 P (k, i-1， j)、 P (k, i, j-l)和P (k, i， j)。
在第k图像(k-3至N)中，如果计及幅度放大了 Mk倍的噪声E，获得 表示施加在光强度积分上的约束、与公式(17)到(19)相似的公式(20) 到(22 )。
置
图
至
--
k
第于幅度放大了Mk倍的噪声E。也就是说，纯绿光强度Lg(x, y)与观测像素 值Gobs (k， ig， jg)之差(的绝对值)等于或小于噪声的最大可能值。注 意，在公式(20)中，lxl表示x的绝对值。
「 「) -i 。昧/r, 級x ￡ ... ( 21 )
公式(21)代表位于第k图像的第(ir, jr)位置上的像素获得的像素 值Robs(k， ir, jr )等于在其角位于P ( k, ir-l, jr-l)、P(k, ir-1， jr )、 P(k， ir， jr-l)和P(k， ir, jr)的矩形范围上，即，在第一图像坐标系 中其角位于(ir-U)， jr-U))、 (ir-1 (k) ， J r (k) )、(ir", jr—l(k))和(ir(k), jr(k))的矩形范围上求出的纯红光强度Lr (x, y)的积分，最大可能误差等 于幅度放大了 Mk倍的噪声E。也就是说，纯红光强度Lr (x， y)与观测像素 值Robs (k, ir, jr)之差(的绝对值)等于或小于噪声的最大可能值。注 意，在公式(21)中，lxl表示x的绝对值。
公式(22)代表位于第k图像的第(ib, jb)位置上的像素获得的像素 值Bobs(k, ib, jb)等于在其角位于P (k， ib-1, jb-l )、 P(k， ib-l， jb )、 P(k， ib, jb-l)和P(k, ib， jb)的矩形范围上，即，在第一图像坐标系 中其角位于(ib—U)， jb-U))、 (ib-l(k), jb(k) )、 (ib(k)， jb—1 (k))和(ib(k), jb(k))的矩形范围上求出的纯蓝光强度Lb (x, y)的积分，最大可能误差等 于幅度放大了 Mk倍的噪声E。也就是说，纯蓝光强度Lb (x， y)与观测像素 值Bobs (k, ib, jb)之差(的绝对值)等于或小于噪声的最大可能值。注 意，在公式(22)中，lxl表示x的绝对值。
现在，参照如图6所示的流程图，描述根据本发明第一实施例、如图2 所示的步骤S4中的正确图像估计过程。
首先，在步骤S11中，计算电路24针对每个(ig, jg),从第一图像的 每个像素的像素值Gobs (1, ig, jg)中生成形式(9)的光强度积分^^式，针对每个(ir， jr)，从Robs (1， ir， jr)中生成形式(10)的光强度积分 公式，和针对每个(ib， jb),从Bobs (1， ib， jb)中生成形式(11)的光 强度积分公式。
在步骤S12中，计算电路24针对每个(ig, jg),从第二图像的每个像 素的像素值Gobs (2, ig， jg)中生成形式(17)的光强度积分公式，针对 每个(ir， jr)，从Robs (2， ir， jr )中生成形式(18 )的光强度积分公式， 和针对每个(ib， jb)，从Bobs (2, ib, jb)中生成形式(19)的光强度积 分公式。此后，过程转到步骤S13。在上面的过程中，计算电路24利用运动 检测器23-1供应的转换参数(62, T2x， T2y, S2 ),将第二图像的位置转换 成第一图像的相应位置。
在步骤S13中，计算电路24针对每个(ig， jg)，从第k图像(1^3至N) 的每个像素的像素值Gobs (k， ig, jg)中生成形式(20)的光强度积分公 式，针对每个(ir, jr),从Robs (k， ir, jr)中生成形式(21)的光强度 积分公式，和针对每个(ib， jb),从Bobs (k， ib, jb)中生成形式(") 的光强度积分公式。此后，过程转到步骤S14。在上面的过程中，计算电路 24利用运动检测器23-(k-l)供应的转换参数(ek， Tkx， Tky, Sk),将第k 图像的位置转换成第 一 图像的相应位置。
在步骤S14中，计算电路24通过求解与在步骤S11到S13中生成的光强 度积分约束(9)、 (10)、 (11)、 (17)、 (18)、 (19)、 (20)、 (21)和(22)相 联系的公式，估计纯绿光强度Lg (x， y)、纯红光强度Lr (x, y)和纯蓝光 强度Lb(x， y)。如果这些值都确定下来，从该过程退出。将纯绿光强度Lg (x, y)、纯红光强度Lr (x， y)和纯蓝光强度Lb (x, y)的获得值(它们 的估计值)作为代表清晰图像的所得图像信号(G信号、R信号和B信号)供 应给D/A转换器9或编解码器12。
在这个步骤S14中，当求解与光强度积分约束相联系的公式以确定纯绿 光强度Lg (x, y)、纯红光强度Lr (x, y)和纯蓝光强度Lb (x， y)时，使 用确定满足多个约束的图像数据的方法。这样方法的具体例子是POCS (凸集 _投影(Projecion onto Convex Sets))方法。在P0CS方法中，通过重复地进 行到凸集的投影，估计满足给定约束的最大似然解。这种方法的详细描述可 以从，例如，论文"利用凸投影方法的图像恢复第一部分，理论"("Image Restoration by the Method of Convex Projections: part 1 theory" ( D.C. You la and H. Webb, IEEE Trans. Med. Image., vol. 1， No. 2, pp81-94， Oct" 1982 )中找到。日本待审专利申请公告第八-263639号公开了利用P0CS 方法从多个低分辨率运动图像中生成高分辨率静止图像的技术。在公开在曰 本待审专利申请公告第八-263639号中的这种技术中，利用运动矢量进行运 动补偿，并且，识别精度等于1个或1/2个像素。取决于识别精度，固定用 于估计每个像素的最大似然像素值的像素数量。相反，在本实施例中，根据 半模拟过程进行运动补偿，并且，取决于与由照相机摇晃引起的位移相联系 的状态，自适应地改变用于估计每个像素的最大似然像素值的像素数量。
现在，参照如图7所示的流程图，进一步描述才艮据本发明第一实施例、 如图2所示的步骤S4中的正确图像估计处理。
首先，在步骤S21中，计算电路24将存储在计算电路24中的指示图像 数量的计数的变量k设置成l。此后，过程转到步骤S22。
在步骤S22中，计算电路24针对每个(ig， jg ),从第k图像的每个像 素的像素值Gobs (k, ig， jg)中生成形式(20)的光强度积分公式。此后， 过程转到步骤S23。
在步骤S23中，计算电路24针对每个(ir， jr)，从第k图像的每个像 素的像素值Robs (k, ir, jr)中生成形式(21)的光强度积分公式。此后， 过程转到步骤S24。
在步骤S24中，计算电路24针对每个(ib， jb ),从第k图像的每个像 素的像素值Bobs (k， ib， jb)中生成形式(22)的光强度积分公式。此后， 过程转到步骤S25。
当在如上所述的步骤S22到S24中生成与光强度积分相联系的不等式时， 按需要使用运动检测器23-1到23-(N-l)供应的转换参数。
在步骤S25中，计算电路24确定内部变量k是否等于帧存储器22-l到 22-N供应的图像数量N。如果确定变量k不等于图像数量N，过程转到步骤 S26，在步骤S26中，计算电路24将变量k加1。此后，计算电路24返回到 到步骤S22的处理流程，重复从S22到S25的过程。
另一方面，如果确定变量k等于图像数量N,过程转到步骤S27,在步骤 S27中，计算电路24通过求解在步骤S22到S24中生成的不等式(20)、 (21) 和(22)，估计纯绿光强度Lg (x, y)、纯红光强度Lr (x, y)和纯蓝光强度 Lb(x, y)。如果这些值都确定下来，结束整个过程。将可能是真值的纯绿光强度Lg (x， y)、纯红光强度Lr (x, y)和纯蓝光强度Lb (x, y)的获得值 作为代表清晰图像的所得图像信号(G信号、R信号和B信号)供应给D/A转 换器9或编解码器12。
这里获得的纯绿光强度Lg (x, y)、纯红光强度Lr (x, y)和纯蓝光强 度Lb (x, y)是模拟信号。也就是说，Lg (x, y)、 Lr (x, y)和Lb (x， y) 是(x, y)的函数，其中，如前所述，变量x和y不是整数，而是可以包括 小数的实数。尽管位数取决于设备的精度，但一般说来，每个小数有2个或 3个二进制位。由于Lg (x, y)、 Lr (x, y)和Lb (x， y)是实数(x， y) 的函数，如有需要，在(x, y)的整数上进行重新取样，并且将所得数字图 像信号供应给D/A转换器9或编解码器12。
在对象在以高快门速度拍摄N个图像期间发生运动的情况下，对象的纯 绿光强度Lg (x， y)、纯红光强度Lr (x, y)和纯蓝光强度Lb (x, y)随时 间而改变。在这样的情况下，如上所述的方法不能供应正确的解决方案。
因此，当对象包括运动部分时，执行异常管理过程。在异常管理过程中， 进行简单叠加。更具体地说，从N个图像中的每一个的Bayer阵列图像数据 (在每个像素上只有R、 G和B信号之一)中，通过去马赛克过程，为每个像 素恢复由R、 G和B信号组成的三个信号。在去马赛克过程之后，通过旋转、 增加或缩小尺寸和/或平移N个图像，进行对准，以便使N个图像变成正确位 置，和将N个图像叠加在一起。去马赛克过程可以利用任何已知技术来执行。
在第一实施例中，如上所述，执行计及直接位于每个像素上的片上透镜 的特性的过程，因此，可以生成清晰位移补偿图像。
现在，描述根据本发明第二实施例的信号处理器7执行的正确图像估计 过程。
在第二实施例中，除了对于k-l到N,与公式(20)到(22)给出的光 强度积分相联系的约束之外，使与R、 G和B信号之间的颜色相关性相联系的 约束施加在确定纯绿光强度Lg (x， y)、纯红光强度Lr (x, y)和纯蓝光强 度Lb (x, y)的过程上。
在图像的局部区域中，与源自对象和入射在成像器件4上的光线相对应 的纯绿光强度Lg (x， y)、纯红光强度Lr (x, y)和纯蓝光强度Lb (x, y) 的颜色之间存在颜色相关性。通过施加颜色相关性，以及与在公式(20)到 (22)中给出的光强度积分相联系的约束，可以获得更好的解决方案，即，更可能是正确图像的更清晰图像。
下面参考图8和9，描述确定颜色相关性约束的具体方法。在如下参考
图8和9的描述中，讨论绿色和红色之间的相关性。
例如，对如图8的左下部所示的第k'图像的第(ig， jg)位置上的绿光 像素G (jg-l) (ig-l)和如图8的右下部所示的第k"图像的第(ir, jr)位 置上的红光像素R ( jr-l) ( ir-l )加以讨论。
计算电路24以与根据第一实施例的方式相似的方式，利用转换参数 (ek'， Tk'x, Tk'y， Sk')和(0k", Tk"x， Tk"y， Sk"，将第k'图像的绿 光像素G (jg-l) ( ig-1)和第k"图像的红光像素R (jr-l) ( ir-l)的位置 转换成图8的上方第一图像的坐标系中的位置。注意，k'和k"可以等于l。 当V或'k"等于1时，转换参数像(ei， Tlx, Tly， Sl) = ( 0, 0， 0， 1)那 样给出。
然后，计算电路24计算转换到第一图像的坐标系的位置上的第k'图像 的绿光像素G (jg-l) (ig-1)与转换到第一图像的坐标系的位置上的第k" 图像的红光像素R ( jr-l ) ( ir-l)之间的距离。并且，计算电路24通过确 定计算的距离是否小于最大许可值(阈值)A (设置成，例如，像素尺寸的 0. 25倍)，确定是否可以认为这两个像素位于相同位置上。
当像素G (jg-l) ( ig-1)和R (jr-l) ( ir-l)的位置分别作为位置(ig, jg)和(ir, jr)给出时，如果第k'图像的坐标系中像素G (jg-1) (ig-l) 的位置(ig, jg)被表示成点Gw，第k"图像的坐标系中像素R( jr-l) (ir-l) 的位置(ir， jr)被表示成点Rw，第一图像的坐标系中像素G ( jg-l ) ( ig-1 ) 的位置(ig， jg)被表示成G,,和第一图像的坐标系中像素R( jr-l) (ir-l) 的位置(ir, jr )被表示成R。(k"，那么，要求点G"k,)和点R^,)之间的距离应 该在许可值A内的约束由如下所示的公式(23)给出。
'C05
sm (W) cos(说')
=加
说'
cos(W) - sin(eit')Y''g、 「■、 A
Ug」
+
，说"丫/。
+
丄>乂
(23)
将公式(23)称为距离约束公式。在公式(23)中，Dis[G"k,)， U表示点G"k。和点IU")之间的距离。通过根据与方程(1)到(3)相似的方程，
利用转换参凄t (ek', Tk'x， Tk'y, Sk')和(0k", Tk"x, Tk"y, Sk"),对位 置(ig， j'g)和(ir， jr)进行仿射变换，获得点G。(,')和点R。(k,的位置。
计算电路24确定在第一图像的坐标系中中心在位置(x, y)上的小区域 (x土dx, y土dy)中，^卩，在其角4立于(x—dx， y-dy )、 (x-dx， y+dy )、 (x+dx, y-dy)和(x+dx， y+dy )的矩形区域中是否存在许可容限A内可以认为相同的 位置上的第k'图像的绿光像素G (jg-l) ( ig-l)和第k"图像的红光像素R (jr-l) (ir-l),其中，dx和dy是定义位置(x, y)的附近区域的值，和 沿着X方向和Y方向，分别将它们设置成，例如，像素尺寸的2倍。
换句话说，计算电路24在第一图像的坐标系中中心在位置(x， y)上的 'J、区fe戈(x土dx， y土dy)内，艮卩，在其角^立于(x—dx, y-dy )、 (x—dx， y+dy )、 (x+dx， y-dy)和(x+dx, y+dy )的矩形区域中确定满足公式(23)的(r ， ig， jg )和(k"， ir, jr )。
然后，计算电路24获取分别与确定的(k', ig, jg)和(k", ir， jr) 相对应的像素值Gobs (k', ig, jg)和Robs(k"， ir， jr )。
计算电路24为从1到N的范围内V和k"的所有可能组合确定满足公式 (23)的(k'， ig， jg)和(k", ir， jr)。
一般说来，检测到(k', ig, jg)和(k"， ir, jr)的多种组合，和如 图9所示，计算电路24在水平轴代表G信号(Gobs (k、 ig， jg))和垂直 轴代表R信号(Robs (k", ir， jr ))的GR空间中画出与检测的(r ， ig, jg)和(k", ir， jr )相对应的像素值Gobs (k、 ig, jg)和Robs(k"， ir, jr)。
图9是示出认为位于相同位置上和在GR空间中画出的像素值Gobs (k'， ig, jg)和Robs (k"， ir， jr)的示意图。
在图9中，每个像x那样的标记表示与计算电路24检测的(k' , ig， jg ) 和(k", ir， jr )相对应的一对像素值Gobs (k', ig, jg )和Robs ( k" ， ir, jr)。
如图9所示的这些曲线表示在位置(x， y)附近确定的纯绿光强度Lg(x, y)和纯红光强度Lr (x， y)之间存在相关性。
因此，在第二实施例中，除了第一实施例中与公式(20)到(22)给出 的光强度积分相联系的约束之外，还要加入如图9所示的绿色和红色之间的计算电路24对在如图9所示的GR空间中画出的多个点进行主要成分分 析，其中，每个画出点对应于计算电路24按满足距离约束(23)检测的一对 像素值Gobs (k、 ig， jg)和Robs (k", ir, jr )。
然后，计算电路24确定沿着与作为主要成分分析结果获得的主要成分 (第一主要成分)的方向(在图9中用粗箭头表示)垂直的方向的成分(例 如，第二主要成分)的方差(variance)。并且，计算电路24以数学表达式的 形式表达颜色相关性约束，这个数学表达式表述，对于位置(x, y),与纯绿 光强度Lg(x， y)和纯红光强度Lr (x, y )相对应的点应该在GR空间中沿 着主要成分的方向延伸和宽度等于沿着与主要成分的方向垂直的方向的成分 的方差的带内。
如下所述，绿色和蓝色之间的颜色相关性约束也以相似的方式引入。
与如图8所示的绿光像素和红光像素一样，计算电路24以与根据第一实 施例的方式相似的方式，利用转换参数(ek', Tk'x， Tk'y， Sk')和(ek〃', Tk〃'x， Tk〃'y, Sk〃')，将第k'图像的绿光像素G (jg-1) ( ig-1)和第k〃'图 像的蓝光像素B ( jb-l) ( ib-l)的位置转换成第一图像的坐标系中的位置。
然后，计算电路24计算转换到第一图像的坐标系的位置上的第k'图像 的绿光像素G (jg-l) (ig-l)与转换到第一图像的坐标系的位置上的第k〃' 图像的蓝光像素B (jb-1) (ib-l)之间的距离。并且，计算电路24以与图8 相似的方式，通过确定计算的距离是否小于最大许可值(阈值)△,确定是否 可以认为这两个像素位于相同位置上。
当像素G ( jg-l) ( ig-l)和B ( jb-l) ( ib-l)的位置分别作为位置(ig, jg)和(ib， jb)给出时，如果第k'图像的坐标系中像素G (jg-l) (ig-l) 的位置(ig, jg)被表示成Gw，第k'〃图像的坐标系中像素B(jb-l) (ib-l) 的位置(ib， jb)被表示成Bw,第一图像的坐标系中像素G ( jg-1) (ig-l) 的位置(ig, jg)被表示成G"k,)，和第一图像的坐标系中像素B( jb-l) (ib-l) 的位置(ib， jb)被表示成JU，,，)，那么，要求点Gw,)和点！U〃,)之间的距离应 该在许可值A内的约束由如下所示的公式(24)给出。<formula>formula see original document page 42</formula>将公式(24)称为距离约束公式。在公式(24)中，Dis[Gc(k,)， Bc『)]表 示点G"w和点B"k〃,)之间的距离。通过根据与方程(1)到(3)相似的方程， 利用转换参数(ek、 Tk'x, Tk'y, Sk')和(9k'〃， Tk〃'x， Tk〃'y, Sk〃')，对 位置(ig， jg)和(ib, jb)进行仿射变换,获得点G。(k。和点B"k,〃,的位置。
计算电路24确定在第一图像的坐标系中中心在位置(x, y)上的小区域 (x士dx， y士dy)中，民卩，在其角^f立于(x—dx， y—dy )、 (x-dx, y+dy )、 ( x+dx, y-dy)和(x+dx, y+dy )的矩形区域中是否存在许可容限A内可以认为相同的 位置上的第k'图像的绿光像素G ( jg-l) ( ig-l)和第k〃'图像的蓝光像素B (jb-l) (ib-l),其中，dx和dy是定义位置(x, y)的附近区域的值，和 沿着X方向和Y方向，分别将它们设置成等于，例如，像素尺寸的2倍。
换句话说，计算电路24在第一图像的坐标系中中心在位置(x， y)上的 小区域(x土dx， y土dy)内，即，在其角位于(x-dx， y-dy )、 (x-dx, y+dy )、 (x+dx， y-dy)和(x+dx， y+dy )的矩形区域中确定满足公式(24)的(k'， ig, jg)和(k'"， ib， jb)。
然后，计算电路24获取分别与确定的(k', ig， jg)和(k〃'， ib, jb) 相对应的像素值Gobs ， ig, jg)和Bobs (k〃'， ib， jb)。
计算电路24为从1到N的范围内k'和k〃'的所有可能组合确定满足公式 (24)的(k', ig, jg)和(k〃'， ib, jb)。
一般说来，检测到(k'， ig, jg)和(k〃'， ib, jb)的多种组合，和计 算电路24在水平轴代表G信号(Gobs (k', ig, jg))和垂直轴代表B信号 (Bobs (k'〃， ib， jb))的GB空间中画出与检测的(k'， ig， jg)和(k〃'， ib, jb)相对应的像素值Gobs (k'， ig， jg )和Bobs ( k'〃， ib， jb)。
因此，在第二实施例中，除了第一实施例中与公式(20)到(")给出 的光强度积分相联系的约束之外，还要加入与如图9所示的绿色和红色之间 的相关性相似的绿色和蓝色之间的相关性作为约束。
计算电路24对在GB空间中画出的多个点进行主要成分分析，其中，每 个画出点对应于计算电路24检测的一对像素值Gobs (k、 ig, jg)和Bobs (k〃'， ib, jb)。然后，计算电路24确定沿着与作为主要成分分析结果获得的主要成分
(第一主要成分)的方向垂直的方向的成分(例如，第二主要成分)的方差。
并且，计算电路24以数学表达式的形式表达颜色相关性约束，这个数学表达 式表述，对于位置(x， y)，与纯绿光强度Lg (x, y)和纯蓝光强度Lb (x, y)相对应的点应该在GB空间中沿着主要成分的方向延伸和宽度等于沿着与
主要成分的方向垂直的方向的成分的方差的带内。
因此，计算电路24最后获得的纯绿光强度Lg (x, y)、纯红光强度Lr (x, y)和纯蓝光强度Lb (x, y)限制于满足如下两个约束的那些，第一个 约束是与位置(x, y)上的纯绿光强度Lg (x, y)和纯红光强度Lr (x, y) 相对应的点存在于在GR空间中沿着主要成分的方向延伸和宽度等于与主要 成分的方向垂直的成分的方差的带内，和第二个约束是与位置(x， y)上的 纯绿光强度Lg (x, y)和纯蓝光强度Lb (x， y)相对应的点存在于在GB空 间中沿着主要成分的方向延伸和宽度等于与主要成分的方向垂直的成分的方 差的带内。
尽管在本实施例中，使用了与GR空间中的颜色相关性相联系的约束和与 GB空间中的颜色相关性相联系的约束，但是，除了上面的约束之外，也可以 应用与R信号和B信号之间的颜色相关性(在RB空间中)相联系的相似约束。
与第一实施例中一样，例如，POCS方法可以用于确定满足与光强度积分 相联系的约束和与颜色相关性相联系的约束两者的纯绿光强度Lg (x， y)、 纯红光强度Lr (x， y)和纯蓝光强度Lb (x， y )。
颜色相关性约束可以施加在所有位置(x， y)上，或只施加在诸如x和 y等于整数的网格点之类的特定位置上。
现在，参照如图IO所示的流程图，描述才艮据本发明第二实施例、如图2 所示的步骤S4中的正确图像估计过程。
步骤S31到S33与如图6所示的根据第一实施例的正确图像估计过程中 的步骤Sll到S13相似。
也就是说，在步骤S31中，计算电路24针对每个(ig， jg)，从第一图 像的每个像素的像素值Gobs (1， ig， jg)中生成形式(9)的光强度积分公 式，针对每个(ir， jr),从Robs (1， ir， jr)中生成形式(10)的光强度 积分公式，和针对每个(ib, jb)，从Bobs (1, ib， jb)中生成形式(11) 的光强度积分公式。此后，过程转到步骤S32。在步骤S32中，计算电路24针对每个(ig, jg)，从第二图像的每个像 素的像素值Gobs (2， ig, jg)中生成形式(17)的光强度积分公式，针对 每个(ir, jr)，从Robs (2， ir, jr )中生成形式(18 )的光强度积分公式， 和针对每个(ib， jb),从Bobs (2, ib， jb)中生成形式(19)的光强度积 分公式。此后，过程转到步骤S33。在上面的过程中，计算电路24利用运动 检测器23-1供应的转换参数(62， T2x， T2y， S2 ),将第二图像的位置转换 成第一图像的相应位置。
在步骤S33中，计算电路24针对每个(ig， jg),从第k图像(k-l至 N)的每个像素的像素值Gobs (k, ig， jg)中生成形式(20)的光强度积分 公式，针对每个(ir, jr)，从Robs (k, ir, jr)中生成形式(21)的光强 度积分公式，和针对每个(ib, jb),从Bobs (k, ib, jb)中生成形式(22) 的光强度积分公式。此后，过程转到步骤S34。在上面的过程中，计算电路 24利用运动检测器23-(k-l)供应的转换参数(ek, Tkx, Tky， Sk )，将第k 图像的位置转换成第 一 图像的相应位置。
在步骤S34中，对于感兴趣的位置(x， y),计算电路24在位置(x， y) 的附近区域确定满足等式(23)所表示的距离约束的一对(k、 ig, jg)和 (k"， ir, jr)。此后，过程转到步骤S35。
在步骤S35中，计算电路24在GR空间中画出在步骤S34中确定的各自 位置(k'， ig， jg)和(k"， ir， jr )上的像素值Gobs (k'， ig， jg)和Robs (k", ir, jr )和进行主要成分分析。然后，计算电路24确定在与作为主要 成分分析结果确定的主要方向垂直的方向的方差，并且，以数学表达式的形 式表示颜色相关性约束，这个数学表达式表述同一像素的G信号和R信号存 在于等于所确定方差的范围内。此后，过程从步骤S35转到步骤S36。
在步骤S36中，对于感兴趣的位置(x， y)，计算电路24在位置(x, y) 的附近区域确定满足等式(24)所表示的距离约束的一对(k'， ig， jg)和 (k〃', ib, jb)。此后，过程转到步骤S37。
在步骤S37中，计算电路24在GR空间中画出在步骤S36中确定的各自 位置(k'， ig, jg)和(k〃'， ib， jb)上的像素值Gobs (k、 ig, jg)和 Bobs (k'〃， ib, jb)和进行主要成分分析。然后，计算电路24确定在与作 为主要成分分析结果确定的主要方向垂直的方向的方差，并且，以数学表达 式的形式表示颜色相关性约束，这个数学表达式表述同一像素的G信号和B信号存在于等于所确定方差的范围内。此后，过程从步骤S37转到步骤S38。
在步骤S38中，计算电路24确定是否对所有位置(x， y)都已经以数学 表达式的形式确定了颜色相关性约束。如果在步骤S38中确定还没有对所有 位置(x, y)都确定了颜色相关性约束，过程返回到步骤S34。在步骤S34 中，计算电路24选择还没有确定颜色相关性约束的位置(x， y),重复从步 骤S34到S38的过程。
另一方面，在步骤S38中确定对所有位置(x, y)都确定了颜色相关性 约束的情况下，过程转到步骤S39。在步骤S39中，计算电路24计算满足在 步骤S31、 S32、 S33、 S35和S37中确定的所有约束的纯绿光强度Lg (x， y )、 纯红光强度Lr (x, y)和纯蓝光强度Lb (x， y )。此后，处理流程/人当前过 程返回。在上面的计算中，计算电路24确定全部满足在步骤S31到S33中确 定的光强度约束公式和在步骤S35和S37中确定的颜色相关性约束的纯绿光 强度Lg (x, y)、纯红光强度Lr (x， y)和纯蓝光强度Lb (x, y )。
现在，参照如图11和12所示的流程图，进一步描述才艮据本发明第二实 施例、如图2所示的步骤S4中的正确图像估计过程。
步骤S51到S56与如图7所示的根据第一实施例的正确图像估计过程中 的步骤S21到S26相似。
也就是说，在步骤S51中，计算电路24将存储在计算电路24中的指示 图像数量的计数的变量k设置成l。此后，过程转到步骤S52。
在步骤S52中，计算电路24针对每个(ig, jg )，从第k图像的每个像 素的像素值Gobs (k, ig， jg)中生成形式(20)的光强度积分公式。此后， 过程转到步骤S53。
在步骤S53中，计算电路24针对每个(ir, jr)，从第k图像的每个像 素的像素值Robs (k， ir, jr )中生成形式(21)的光强度积分公式。此后， 过程转到步骤S54。
在步骤S54中，计算电路24针对每个(ib， jb ),从第k图像的每个像 素的像素值Bobs (k， ib， jb)中生成形式(22)的光强度积分公式。此后， 过程转到步骤S55。
当在如上所述的步骤S52到S54中生成与光强度积分相联系的不等式时， 按需要使用运动检测器23-1到23-(N-l)供应的转换参数。
在步骤S55中，计算电路24确定内部变量k是否等于帧存储器"-l到22-N供应的图像数量N。如果确定变量k不等于图像数量N，过程转到步骤 S56，在步骤S56中，计算电路24将变量k加1。此后，计算电路24返回到 步骤S52的处理流程，重复从S52到S56的过程。
另一方面，如果在步骤S55中确定变量k等于图像数量N,过程转到步 骤S57。步骤S57到S62与如图10所示的步骤S34到S39相似。
也就是说，在步骤S57中，对于感兴趣的位置(x, y),计算电路24在 位置(x, y)的附近区域确定满足等式(23)所表示的距离约束的一对(k、 ig, jg)和(k"， ir， jr)。此后，过程转到步骤S58。
在步骤S58中，计算电路24在GR空间中画出在步骤S57中确定的各自 位置(k'， ig, jg)和(k"， ir, jr)上的像素值Gobs (k'， ig, jg)和Robs (k"， ir， jr )和进行主要成分分析。然后，计算电路24确定在与作为主要 成分分析结果确定的主要方向垂直的方向的方差，并且，以数学表达式的形 式表示颜色相关性约束，这个数学表达式表述同一像素的G信号和R信号存 在于等于所确定方差的范围内。此后，过程从步骤S58转到步骤S59。
在步骤S59中，对于感兴趣的位置(x， y),计算电路24在位置(x, y) 的附近区域确定满足等式(24)所表示的距离约束的一对(k'， ig， jg)和 (k〃', ib, jb)。此后，过程转到步骤S60。
在步骤S60中，计算电路24在GR空间中画出在步骤S59中确定的各自 位置(k'， ig， jg)和(k〃'， ib, jb)上的像素值Gobs (r ， ig， jg)和 Bobs (k〃'， ib, jb)和进行主要成分分析。然后，计算电路24确定在与作 为主要成分分析结果确定的主要方向垂直的方向的方差，并且，以数学表达 式的形式表示颜色相关性约束，这个数学表达式表述同一像素的G信号和B 信号存在于等于所确定方差的范围内。此后，过程从步骤S60转到步骤S61。
在步骤S61中，计算电路24确定是否对所有位置(x， y)都已经以数学 表达式的形式确定了颜色相关性约束。如果在步骤S61中确定还没有对所有 位置(x， y)都确定了颜色相关性约束，过程返回到步骤S57。在步骤S57 中，计算电路24选择还没有确定颜色相关性约束的位置(x, y),重复从步 骤S57到S61的过程。
另一方面，在步骤S61中确定对所有位置(x， y)都确定了颜色相关性 约束的情况下，过程转到步骤S62。在步骤S62中，计算电路24计算满足在 步骤S52、 S53、 S54、 S58和S60中确定的所有约束的纯绿光强度Lg ( x, y )、纯红光强度Lr (x, y)和纯蓝光强度Lb (x, y )。此后，处理流程从当前过 程返回。在上面的计算中，计算电路24确定全部满足在步骤S52到S54中确 定的光强度约束公式和在步骤S58和S60中确定的颜色相关性约束的纯绿光 强度Lg (x， y)、纯红光强度Lr (x, y)和纯蓝光强度Lb (x， y )。
在本实施例中，如上所述，将与R信号、G信号和B信号之间的相关性 相联系的约束加入第一实施例中，对于k-l至N,由不等式(20)、 (21)和 (22)给出的与光强度积分相联系的约束中，纯绿光强度Lg (x， y)、纯红 光强度Lr (x， y)和纯蓝光强度Lb (x， y)满足上面所有约束。这使得可以 获取与理想图像接近的清晰图像。
尽管在如上所述的例子中，在二维空间中定义颜色相关性约束，但也可 以在三维空间中定义颜色相关性约束。
现在，描述根据本发明第三实施例的信号处理器7执行的正确图像估计 过程。
在如上所述的第一和第二实施例中，在考虑了位于成像器件4的每个像 素上的片上透镜的精确公式化特性之后估计纯绿光强度Lg(x， y)、纯红光 强度Lr (x, y)和纯蓝光强度Lb (x， y )，从而获得清晰图像。
在第三实施例中，忽略片上透镜的影响，假设源自对象和入射在每个像 素的一点(例如，每个像素的质心)上的光线的强度被成像器件4的那个像 素检测到(也就是说，每个像素获得点取样数据)。
并且，正如后面详细描述的那样，将弹簧模型用在第三实施例中。这使 得与用在第一和第二实施例中的POCS方法相比，可以降低确定纯绿光强度 Lg (x, y)、纯红光强度Lr (x, y)和纯蓝光强度Lb (x， y)所需的计算复 杂度。第三实施例还供应了可以生成清晰度与第 一或第二实施例取得的清晰 度相似和比传统技术取得的清晰度好的补偿图像的优点。
在第三实施例中，如上所述，每个像素检测的数据被当作点取样数据。 具体地说，在如图3所示的成像器件4的第(i， j )位置上的像素上，认为 数据是在第(i， j )位置上的像素的中心点(坐标为(i-0. 5， j-O. 5 ))上检 测的。
因此，例如，第一图像的第(ig, jg)位置上的像素作为数据获得的像 素值Gobs(l, ig, jg)是在第一图像的坐标系中，在位置(ig-O. 5, jg-O. 5) 上检测的绿光强度Lg (ig-O. 5, jg-O. 5)。类似地，第一图像的第(ir, jr)位置上的像素作为数据获得的像素值Robs (1， ir, jr)是在第一图像的坐 标系中，在位置(ir-O, 5， jr-O. 5)上检测的红光强度Lr (ir-0. 5， jr-0. 5 )， 和第一图像的第(ib， jb)位置上的像素作为数据获得的像素值Bobs (1, ib， jb)是在第一图像的坐标系中，在位置(ib-0.5, jb-0.5)上检测的蓝 光强度Lb (ib-0.5， jb-O. 5)。
图13示出了存储在帧存储器22-1中的第一图像。
在图13中，对于检测绿光成分的像素G (jg-l) (ig-l)，在用实心圆圏 表示的位置上观测像素值Gobs( 1, ig， jg )。对于检测红光成分的像素R( jr-l) (ir-l),在用实心方块表示的位置上观测像素值Robs (1, ir, jr )。对于 检测蓝光成分的像素B ( jb-l ) ( ib-l )，在用实心三角表示的位置上观测像 素值Bobs (1， ib, jb)。如上所述，在每个像素如在第一图像的坐标系中所 表示的那样的中心(质心)上观测第一图像的每个像素的像素值。例如，在 像素处在第(i， j)位置上的情况下，在位置(i-O. 5， j-O. 5)上观测像素 值。
图14示出了存储在帧存储器22-2中的第二图像。
在图14中，对于检测绿光成分的像素G (jg-l) (ig-l)，在用实心圆圏 表示的位置上观测像素值Gobs( 2, ig， jg )。对于检测红光成分的像素R( jr-l ) (ir-1)，在用实心方块表示的位置上观测^^素值Robs (2， ir， jr )。对于 检测蓝光成分的像素B ( jb-1 ) ( ib-1 )，在用实心三角表示的位置上观测像 素值Bobs(2， ib， jb)。如上所述，在每个像素如在第二图像的坐标系中所 表示的那样的中心(质心)上观测第二图像的每个像素的像素值。例如，在 像素处在第(i， j)位置上的情况下，在位置(i-0. 5， j-0. 5)上观测像素 值。
与第 一和第二实施例中 一样，将第二图像上的点转换成第 一 图像的坐标 系中的相应点。具体地说，利用运动检测器23-l检测的转换参数(e2， T2x, T2y， S2)，将第二图像上的每个点转换成第一图像的坐标系中的相应点。
对于像素值Gobs(2, ig， jg)、 Robs (2, ir, jr)和Bobs(2， ib, jb)， 在图14中也显示了从第二图像上的点转换的第一图像的坐标系中的相应点。
也就是说，第二图像的坐标系中像素G (jg-l) (ig-l)的像素值Gobs (2, ig， jg)是在利用运动检测器23-1检测的转换参数(62， T2x， T2y, S2)转换第二图像的坐标系中的位置(ig-O. 5, jg-0.5)获得、第一图像的. 5) 。)， (jg-0. 5) )上观测到的绿光强度Lg ( x， y )。 在图14中，像素值Gobs (2， ig， jg)所在的第一图像的坐标系中的位置 ((ig-0. 5)(2)， (jg-0.5) ))用空心圆圏表示。
第二图像的坐标系中像素R ( jr-l) (ir-1)的像素值Robs (2， ir， jr ) 是在利用运动检测器23-l检测的转换参数(02， T2x, T2y， S2)转换第二图 像的坐标系中的位置(ir-0. 5， jr-0.5)获得、第一图像的坐标系中的位置 ((ir-0. 5)。)， (jr-0. 5)(2))上观测到的红光强度Lr (x， y )。在图14中， 像素值Robs(2， ir， jr)所在的第一图像的坐标系中的位置((ir-0. 5)(2)， (jr-O. 5)(2))用空心方块表示。
第二图像的坐标系中像素B (jb-l) (ib-l)的像素值Bobs (2， ib， jb ) 是在利用运动检测器23-l检测的转换参数(62, T2x, T2y， S2)转换第二图 像的坐标系中的位置(ib-0. 5， jb-0.5)获得的、第一图像的坐标系中的位 置((ib-O. 5)(2), (jb-O. 5)。))上观测到的蓝光强度Lb (x， y)。在图14中， 像素值Bobs (2, ib， jb)所在的第一图像的坐标系中的位置((ib-O. 5)(2), (jb-O. 5)(2))用空心三角表示。
图15示出了存储在帧存储器22-3中的第三图j象。
在图15中，对于检测绿光成分的像素G (jg-l) (ig-l),在用实心圓圏 表示的位置上观测像素值Gobs( 3, ig, jg )。对于检测红光成分的像素R( jr-l ) (ir-1)，在用实心方块表示的位置上观测像素值Robs (3， ir， jr )。对于 检测蓝光成分的像素B ( jb-l) ( ib-l )，在用实心三角表示的位置上观测像 素值Bobs(3, ib, jb)。如上所述，在每个像素如在第三图像的坐标系中所 表示的那样的中心(质心)上观测第三图像的每个像素的像素值。例如，在 像素处在第(i, j)位置上的情况下，在位置(i-O. 5, j-0. 5)上观测像素 值。
与第一和第二实施例中一样，将第三图像上的点转换成第一图像的坐标 系中的相应点。具体地说，利用运动检测器23-2检测的转换参数(93, T3x, T3y, S3),将第三图像上的每个点转换成第一图像的坐标系中的相应点。
对于^象素值Gobs ( 3, ig, jg)、 Robs (3, ir， jr)和Bobs(3, ib， jb)， 在图15中也显示了从第三图像上的点转换的第一图像的坐标系中的相应点。
也就是说，第三图像的坐标系中像素G ( jg-l) (ig-l)的像素值Gobs (3， ig, jg)是在利用运动检测器23-2检测的转换参数(93, T3x, T3y,S3)转换第三图像的坐标系中的位置Ug-0.5, jg-0.5)获得、第一图像的 坐标系中的位置((ig-0. 5)(3)， (jg-O. 5)(3))上观测到的绿光强度Lg(x， y)。 在图15中，像素值Gobs (3， ig, jg)所在的第一图像的坐标系中的位置 ((ig-0. 5)(3), (jg-O. 5)(3))用空心圓圏表示。
第三图像的坐标系中像素R (jr-l) (ir-l)的像素值Robs (3, ir， jr) 是在利用运动检测器23-2检测的转换参数(63， T3x， T3y， S3)转换第三图 像的坐标系中的位置Ur-O. 5， jr-0.5)获得、第一图像的坐标系中的位置 ((ir-O. 5)(3)， (jr-0.5)(3))上观测到的红光强度Lr (x， y)。在图15中, 像素值Robs (3， ir， jr)所在的第一图像的坐标系中的位置((ir-0. 5)(3), (jr-O. 5) (3))用空心方块表示。
第三图像的坐标系中像素B (jb-1) (ib-l)的像素值Bobs (3， ib， jb) 是在利用运动检测器23-2检测的转换参数(93, T3x, T3y, S3)转换第三图 像的坐标系中的位置(ib-O. 5, jb-0.5)获得、第一图像的坐标系中的位置 ((ib-O. 5)(3), (jb-O. 5)(3))上观测到的蓝光强度Lb (x, y)。在图15中， 像素值Bobs(3， ib， jb)所在的第一图像的坐标系中的位置((ib-O. 5) )， (jb-0. 5) (3))用空心三角表示。
图16示出了在检测绿光成分的像素G ( jg-l) ( ig-l)上观测相应第一 到第N图像的像素值Gobs (1， ig， jg)到Gobs(N, ig， jg)、转换到第一 图像的坐标系的位置。
在如图16所示的例子中，在第一图像的坐标系中第(ig， jg)位置上的 像素G ( jg-l) Ug-l)的中心(像素中心)上观测第一图像的像素值Gobs (1， ig， jg)。在像素G (jg-l) (ig-1)的左上区中转换到第一图像的坐标 系的位置上观测第二图像的像素值Gobs(2， ig， jg)。在像素G(jg-1) (ig-l) 的左下区中转换到第 一 图像的坐标系的位置上观测第三图像的像素值Gobs (3, ig, jg)。在像素G (jg-l) (ig-1)的右上区中转换到第一图像的坐标 系的位置上观测第四图像的像素值Gobs (4， ig, jg)。注意，在图16中未 示出第五到第N图像的像素值Gobs (k, ig, jg)(k-5至N)。
在这个第三实施例中，计算电路24根据相应第一到第N图像的像素值 Gobs( k， ig, jg ) ( k = 1至N )，确定第一图像的坐标系中位置(ig-0. 5, jg-0. 5 ) 上的纯绿光强度Lg (x-0. 5， y-0.5)。
这里，将用作参考图像的第一图像的坐标系中第(i, j)位置上的像素的中心位置(i-o.5, j-o.5)重写成(r, r )。
也就是说，f = i-O. 5，和r = j-O. 5。要确定的纯绿光强度Lg ( f ， r ) 可以通过检测绿光成分的像素的中心位置(ig-O. 5, jg-O. 5 )上的Lg( ig-0. 5, jg-0. 5)来表示。类似地，要确定的纯红光强度Lr (r, r )可以通过检测 红光成分的像素的中心位置(ir-0. 5， jr-0. 5 )上的Lr ( ir-0. 5， jr-0. 5 ) 来表示，和要确定的纯蓝光强度Lb (I'， r )可以通过检测蓝光成分的像素 的中心位置(ib-0. 5， jb-0.5)上的Lb (ib-0. 5， jb-0. 5 )来表示。
图17示出了作为清晰图像的图像信号要由计算电路24确定的纯绿光强
度Lg (r, r )、纯红光强度Lr (r, r )和纯蓝光强度Lb (r, r )如在 第 一 图像的坐标系中所表示的那样的位置。
也就是说，在图17中，要确定纯绿光强度Lg r )、纯红光强度Lr
(r, r )和纯蓝光强度Lb (r, r )的成像器件4的各自像素如在第一图 像的坐标系中所表示的那样的中心位置(i、 r )用实心圆圈表示。
参考图18到23,描述将检测绿光成分的像素取作一个例子的弹簧模型。
在图18和随后的示意图中，要确定的纯绿光强度Lg (r， r )、纯红光强度 Lr r )和纯蓝光强度Lb (r， r )如在第一图像的坐标系中所表示的
那样的位置(r, J')用实心圆圏表示,观测像素值Gobs(k， ig， jg)、 Robs (k, ir， jr)和Bobs(k, ib, jb ) ( k = 1至N )如在第一图像的坐标系中 所表示的那样的位置用空心圓圏表示。在下文中，用作参考图像的第一图像 的坐标系也称为参考坐标系。
在图18中，点A的位置(x, y)表示利用运动检测器23-(k-l)检测的 转换参数(ek, Tkx， Tky, Sk)转换观测第k图像的第(ig, jg)位置上的 像素的像素值Gobs (k, ig， jg)的位置(ig-0. 5, jg-0. 5)获得的参考坐 标系中的位置((ig-0. 5)(k)， (jg-0. 5) (k))。当k = l时，认为转换系数是(ek， Tkx, Tky, Sk) = (0, 0, 0， 1)，因此，(x， y) = ( ig-0. 5, jg-0. 5 )。注 意，点A (x, y)上的像素值是Gobs (k， ig, jg)。
对于给定点A ( x, y )，确定分别满足I - 0. 5^x<I + 0. 5和J - 0. 5^y<J + 0. 5的整数I和J。确定纯绿光强度Lg ( I' ， r )的位置(I' , r )由矩 形(I±0. 5, J±0.5)的4个角(1-0.5， J-0.5)、 (1 — 0.5， J + 0. 5 )、 (I + 0.5， J-0. 5)禾口 (1 + 0. 5, J + 0.5)给出。
可以认为点A (x， y)上的像素值Gobs (k, ig， jg)几乎等于分别在与点A (x, y )接近的位置(I — 0. 5， J - 0. 5 )、 (I - 0. 5， J + 0. 5 )、 ( I + 0. 5， J - 0. 5 )和(I + 0. 5， J + 0. 5 )上的纯绿光强度Lg ( I - 0. 5, J - 0. 5 )、 Lg
(I - 0. 5， J + 0. 5 )、 Lg (I + 0. 5， J - 0. 5 )和Lg (I + 0. 5， J + 0. 5 )。也就 是说，可以用点A (x， y)上的像素值Gobs (k， ig， jg )近似纯绿光强度 Lg (1-0.5, J-0.5)、 Lg (1-0.5, J+ 0.5)、 Lg(I + 0. 5， J - 0. 5 )和Lg
(I + 0. 5, J + 0. 5 )。
正如在第一和第二实施例中所述的那样，在点A(x, y)观测到的像素 值Gobs (k, ig, jg)包括误差(噪声)MkxE。并且，在各自位置(I - 0. 5， J 一 0. 5 )、 ( I - 0. 5, J + 0. 5 )、 ( I + 0. 5， J - 0. 5 )和(I + 0. 5， J + 0. 5 )上 的纯绿光强度Lg (1-0.5， J-0. 5)、 Lg (1-0.5, J+ 0.5)、 Lg (1 + 0.5, J-O, 5)和Lg (1 + 0, 5， J+ 0.5)的每一个包括用点A (x， y)上的像素值 Gobs(k, ig, jg)近似它们引起的附加误差(在下文中，将这样的误差称为 近似误差)。
用点A (x, y)上的像素值Gobs (k， ig, jg)近似纯绿光强度，例如， 位置(I - 0. 5, J - 0. 5 )上的Lg (I - 0. 5， J - 0. 5 )可以通过利用弹簧的弹 簧模型来表示。
图19示出了用点A(x, y)上的像素值Gobs (k, ig， jg)近似位置(I -0. 5, J - 0. 5 )上纯绿光强度Lg ( I - 0. 5， J - 0. 5 )的弹簧模型的概念。
如图19所示，弹簧BA1的一端与像素值Gobs (k, ig, jg)相连，和弹 簧BA1的另一端与纯绿光强度Lg (I-0. 5， J-0. 5)相连。在如图19所示 的特定状态下，纯绿光强度Lg (1-0.5， J-0. 5)正被拉向像素值Gobs (k， ig, jg)。在如图19所示的弹簧模型中，纯绿光强度Lg (1-0.5， J-0.5) 被拉向像素值Gobs (k， ig， jg)的程度随点A (x, y)上的像素值Gobs (k， ig， jg)是纯绿光强度Lg(I-0. 5, J-0. 5)的拟然性(likelihood)而增力口。 相反，当拟然性低时，纯绿光强度Lg ( I - 0. 5， J - 0. 5 )远离像素值Gobs (k， ig, jg)。
用像素值Gobs(k， ig， jg)近似纯绿光强度Lg (I-0.5， J-0. 5)引 起的近似误差随点A(x， y)与位置(1-0.5， J-0. 5)之间的距离而增力口。 因此，在这里，引入随点(xl, yl)与点(x2， y2)之间的距离而增加的函 数F((xl， yl), (x2, y2))。至于函数F((xl, yl) ， (x2, y2))，例如，可 以应用F((xl， yl)， (x2, y2) ) "{(xl, yl)2+(x2, y2) 2}。如前所述，在点A(x, y)观测的像素值Gobs (k， ig, jg)包括噪声引 起的误差(噪声)MkxE。
纯绿光强度Lg (I-0. 5， J-O. 5)与像素值Gobs (k， ig， jg)相等的 拟然性，即，用像素值Gobs (k, ig, jg)近似纯绿光强度Lg (I-0. 5, J -0. 5 )的近似精度随近似误差和噪声E x Mk的增加或减小而减小或增加。因 此，近似精度(拟然性)随Mk x E x F ( (x， y) ， (I - 0. 5, J - 0. 5))而减小 (成反比)。也就是说，当MkxExF ( (x, y)， (1-0.5， J-0. 5))的值大 时，纯绿光强度Lg( 1-0.5， J-O. 5)等于点A(x， y)上的像素值Gobs (k, ig, jg)的拟然性就低。相反，当MkxExF((x, y), (1-0.5, J - 0. 5)) 的^直小时，拟然性就高。
如果用弹簧BA1的弹簧常数(强度)表示纯绿光强度Lg ( I - 0. 5， J -0. 5)与像素值Gobs (k, ig, jg)相等的拟然性，那么，弹簧常数像，例如， W2-F ( (x， y)， (1-0.5， J-0. 5) ) } / (MkxE)那样给出。分母(MkxE) 等于噪声E的Mk倍。因此，随着噪声增加，弹簧BA1的强度降低，因此，将 纯绿光强度Lg (1-0.5, J-0. 5)拉向点A上的像素值Gobs (k, ig, jg) 的力也下降。分子W2-F ( (x, y)， (1-0.5， J-O. 5) ) }等于从々12 + l2 =々2 中减去点A与点(1-0.5， J-0. 5)之间的距离获得的值(差)，即，如图 18所示的矩形区域(1±0. 5， J±0. 5)内两个任何点之间的距离的最大可能值。 因此，随着观测像素值Gobs (k， ig, jg)的点A(x, y)与要确定的纯绿光 强度Lg(I-0. 5, J-0. 5)的位置(1-0. 5， J-0. 5)之间的距离增加，々2 -F((x, y), (1-0.5， J-0. 5))减小，因此，弹簧BA1的强度也降低。因 此，弹簧BA1将纯绿光强度Lg (I - 0. 5， J - 0. 5 )拉向点A上的像素值Gobs (k， ig， jg)的力也下降。取代W2-F ( (x， y), (1-0.5, J - 0. 5) ) }， 诸如F ( (x, y) ， (I - 0. 5， J - 0. 5))的倒数之类的其它函数也可以用作弹 簧常数的分子。
在弹簧模型中，如果认为弹簧BA1具有0的自然长度(也就是说，当没 有负载施加在弹簧上时，长度等于0)，那么，弹簧BA1沿着光强度(像素值) 的轴的长度(伸长量)可以写成lGobs (k， ig， jg) -Lg (1-0.5， J-0.5) I ，和弹簧BA1施加在纯绿光强度Lg (I - 0. 5， J - 0. 5 )上将它拉向点A上 的像素值Gobs(k， ig， jg)的力可以写成弹簧常数x弹簧长度- W2-F( (x, y)， (1 — 0.5, J —0. 5) ) } / (MkxE) x |Gobs (k, ig， jg) -Lg (I —0. 5，J-0.5) I。
图20示出了点A (x, y)上的像素值Gobs (k， ig， jg)与各自位置(I —0. 5, J — 0, 5 )、 ( I — 0. 5, J + 0. 5 )、 ( I + 0. 5, J — 0. 5 )和(I + 0. 5, J + 0.5)上的纯绿光强度Lg (1-0.5， J-O. 5)、 Lg (1-0.5, J + 0. 5 )、 Lg ( I + 0. 5， J - 0. 5 )和Lg (I + 0. 5， J + 0. 5 )之间的关系的弹簧模型的概念。
与上面参考图19所述的点A (x, y)上的像素值Gobs (k, ig, jg )与 纯绿光强度Lg (I - 0. 5, J - 0. 5 )之间的关系的弹簧模型一样，纯绿光强度 Lg ( I — 0. 5， J + 0. 5 )、 Lg ( I + 0. 5， J — 0. 5 )和Lg ( I + 0. 5, J + 0. 5 )与 点A(x, y)上的像素值Gobs (k， ig， jg)之间的关系也用弹簧模型表示。
如图20所示，弹簧BA2的一端与像素值Gobs (k, ig, jg)相连，和弹 簧BA2的另一端与纯绿光强度Lg (I-0. 5， J + 0. 5)相连，和纯绿光强度Lg (1-0.5， J + 0. 5 )正被拉向像素值Gobs (k, ig, jg)。在如图20所示的 弹簧模型中，纯绿光强度Lg (1-0.5， J + 0. 5)被拉向像素值Gobs (k, ig, jg)的程度随点A (x， y)上的像素值Gobs (k, ig, jg)是纯绿光强度Lg (1-0.5， J + 0. 5)的拟然性而增加。相反，当拟然性低时，纯绿光强度Lg (1-0.5， J + 0. 5)远离像素值Gobs (k, ig， jg)。
用像素值Gobs(k, ig, jg)近似纯绿光强度Lg (I-0.5， J + 0. 5)引 起的近似误差随点A(x, y)与位置(1-0.5, J + 0. 5)之间的距离而增力口。 因此，在这里，引入随点(xl， yl)与点(x2, y2)之间的距离而增加的函 数F((xl， yl), (x2， y2))。至于函数F((xl, yl) ， (x2, y2)),例如，可 以应用F((xl， yl), (x2, y2) ) ""xl， yl"+(x2， y2)2}。
如前所述，在点A(x, y)观测的像素值Gobs (k, ig, jg)包括噪声引 起的误差(噪声)Mk x E。
纯绿光强度Lg (1-0.5, J + 0.5)与像素值Gobs (k， ig, jg)相等的 拟然性，即，用像素值Gobs (k, ig， jg)近似纯绿光强度Lg (I-0. 5， J + 0. 5 )的近似精度随近似误差和噪声E x Mk的增加或减小而减小或增加。因 此，近似精度(拟然性)随Mk x E x F ( (x， y) ， (I - 0. 5， J + 0. 5))而减小 (成反比)。也就是说，当MkxExF((x, y), (1-0.5， J + 0. 5))的值大 时，纯绿光强度Lg(I-O. 5， J + 0. 5)等于点A(x， y)上的像素值Gobs (k， ig， jg)的拟然性就低。相反，当MkxExF((x， y)， (1-0.5, J + 0.5)) 的值小时，拟然性就高。如果用弹簧BA2的弹簧常数(强度)表示纯绿光强度Lg ( I - 0. 5， J + 0. 5)与像素值Gobs (k, ig， jg)相等的拟然性,那么，弹簧常数像，例如，
W2-F ( (x， y)， (1-0.5， J + 0.5) ) }/ (MkxE)那样给出。分母(MkxE) 等于噪声E的Mk倍。因此，随着噪声增加，弹簧BAZ的强度降低，因此，将 纯绿光强度Lg (I-0. 5， J + 0. 5)拉向点A上的像素值Gobs (k, ig， jg) 的力也下降。分子W2-F((x， y)， (1-0.5， J + 0. 5) ) }等于从々(12 + 12)
=a/2中减去点A与点(1-0. 5, J + 0. 5)之间的距离获得的值(差)，即， 如图18所示的矩形区域(I±0. 5, J±0. 5 )内两个任何点之间的距离的最大可 能值。因此，随着观测像素值Gobs (k, ig， jg)的点A(x， y)与要确定的 纯绿光强度Lg (I-0. 5， J + 0. 5)的位置(1-0.5, J + 0. 5)之间的距离增 加，々2-F((x， y)， (1-0.5， J + 0. 5))减小，因此，弹簧BA2的强度也降 低。因此，弹簧BA2将纯绿光强度Lg (1-0.5， J + 0. 5)拉向点A上的像素 值Gobs(k, ig, jg)的力也下降。取代W2-F( (x, y) ， (1-0.5, J + 0.5) )}， 诸如F ( (x, y) , (I - 0. 5， J + 0. 5))的倒数之类的其它函数也可以用作弹 簧常数的分子。
在弹簧模型中，如果认为弹簧BA2具有0的自然长度(也就是说，当没 有负载施加在弹簧上时，长度等于0)，那么，弹簧BA2沿着光强度(像素值) 的轴的长度(伸长量)可以写成lGobs (k, ig, jg) -Lg (1-0,5, J + 0.5) I ，和弹簧BA2施加在纯绿光强度Lg (I - 0. 5， J + 0. 5 )上将它拉向点A上 的像素值Gobs(k， ig, jg)的力可以写成弹簧常数x弹簧长度- W2-F( (x， y)， (1-0.5， J +0. 5) ) }/ (MkxE) x|Gobs(k, ig, jg ) -Lg (1 — 0.5， J + 0.5) I。
并且，如图20所示，弹簧BA3的一端与像素值Gobs (k， ig， jg )相连， 和弹簧BA3的另一端与纯绿光强度Lg (1 + 0. 5， J-O. 5)相连，和纯绿光强 度Lg (1 + 0.5, J-0.5)正被拉向像素值Gobs (k， ig, jg)。在如图20所 示的弹簧模型中，纯绿光强度Lg (I + 0. 5, J - 0. 5 )被拉向像素值Gobs ( k， ig， jg)的程度随点A (x， y)上的像素值Gobs (k， ig， jg)是纯绿光强度 Lg (1 + 0. 5, J-0. 5)的拟然性而增加。相反，当拟然性低时，纯绿光强度 Lg (1 + 0.5， J-0. 5)远离像素值Gobs (k， ig， jg)。
用像素值Gobs(k， ig， jg)近似纯绿光强度Lg (1 + 0.5， J-0. 5)引 起的近似误差随点A(x, y)与位置(1 + 0.5， J-0. 5)之间的距离而增力口。因此，在这里，引入随点(xl, yl)与点(x2， y2)之间的距离而增加的函 数F((xl， yl)， (x2, y2))。至于函数F((xl， yl) ， (x2， y2))，例如，可 以应用F((xl， yl)， (x2， y2) ) "((xl, yl"+(x2， y2)2}。
如前所述，在点A(x, y)观测的像素值Gobs (k， ig， jg)包括噪声引 起的误差(噪声)MkxE。
纯绿光强度Lg (1 + 0. 5， J-0.5)与像素值Gobs (k， ig， jg)相等的 拟然性，即，用像素值Gobs (k， ig， jg)近似纯绿光强度Lg (1 + 0. 5, J -0. 5 )的近似精度随近似误差和噪声E x Mk的增加或减小而减小或增加。因 此，近似精度(拟然性)随Mk x E x F ( (x, y), (I + 0. 5， J - 0. 5))而减小 (成反比)。也就是说，当MkxExF((x， y)， (1 + 0.5， J - 0, 5))的值大 时，纯绿光强度Lg(I + 0. 5， J-0. 5)等于点A(x， y)上的像素值Gobs (k, ig, jg)的拟然性就低。相反，当MkxExF((x， y), (1 + 0.5， J - 0. 5)) 的《直小时，拟然性就高。
如果用弹簧BA3的弹簧常数(强度)表示纯绿光强度Lg ( I + 0. 5， J -0. 5)与像素值Gobs (k， ig, jg)相等的拟然性，那么，弹簧常数像，例如， h/2-F ( (x, y)， (1 + 0.5, J-0.5) ) } / (MkxE)那样给出。分母(MkxE) 等于噪声E的Mk倍。因此，随着噪声增加，弹簧BA3的强度降低，因此，将 纯绿光强度Lg (1 + 0.5, J-0. 5)拉向点A上的像素值Gobs (k, ig， jg) 的力也下降。分子W2-F((x， y)， (1 + 0.5， J-0. 5) ) }等于从々(12 + 12) =々2中减去点A与点(1 + 0. 5， J-0. 5)之间的距离获得的值(差)，即， 如图18所示的矩形区域(I±0. 5, J±0. 5 )内两个任何点之间的距离的最大可 能值。因此，随着观测像素值Gobs (k, ig， jg)的点A (x， y)与要确定的 纯绿光强度Lg (1 + 0.5， J-0,5)的位置(1 + 0.5, J-0.5)之间的距离增 加，々2-F((x， y)， (1 + 0.5, J-0. 5))减小，因此，弹簧BA3的强度也降 低。因此，弹簧BA3将纯绿光强度Lg (1 + 0.5， J-0. 5)拉向点A上的像素 值Gobs(k, ig， jg)的力也下降。取代W2-F( (x, y), (1 + 0.5， J-0.5) )}, 诸如F ( (x， y) , (I + 0. 5， J - 0. 5))的倒数之类的其它函数也可以用作弹 簧常数的分子。
在弹簧模型中，如果认为弹簧BA3具有Q的自然长度(也就是说，当没 有负载施加在弹簧上时，长度等于Q),那么，弹簧BA3沿着光强度(像素值) 的轴的长度(伸长量)可以写成lGobs (k, ig, jg) -Lg (1 + 0.5, J-0.5)绿光强度Lg (I + 0. 5, J - 0. 5 )上将它拉向点A上 的像素值Gobs(k, ig， jg)的力可以写成弹簧常数x弹簧长度- W2-F( (x, y)， (1 + 0.5， J-0.5) ) } / (MkxE) x |Gobs (k， ig, jg ) —Lg (1 + 0.5， J-0.5) |。
并且，在图20中，弹簧BA4的一端与像素值Gobs (k, ig， jg)相连， 和弹簧BA4的另一端与纯绿光强度Lg (1 + 0,5, J + 0.5)相连，和纯绿光强 度Lg (1 + 0.5， J + 0. 5)正被拉向像素值Gobs (k, ig, jg)。在如图20所 示的弹簧模型中，纯绿光强度Lg ( I + 0. 5， J + 0. 5 )被拉向像素值Gobs ( k， ig, jg)的程度随点A (x, y)上的像素值Gobs (k， ig， jg)是纯绿光强度 Lg (1 + 0.5， J + 0. 5)的拟然性而增加。相反，当拟然性低时，纯绿光强度 Lg (1 + 0.5， J + 0. 5)远离像素值Gobs (k, ig， jg)。
用像素值Gobs(k, ig, jg)近似纯绿光强度Lg (1 + 0.5, J + 0.5)引 起的近似误差随点A(x， y)与位置(1 + 0.5, J + 0. 5)之间的距离而增力口。 因此，在这里，引入随点(xl, yl)与点(x2， y2)之间的距离而增加的函 数F((xl, yl), (x2， y2))。至于函数F((xl， yl) , (x2, y2))，例如，可 以应用F((xl， yl), (x2, y2))=々{(xl， yl)2+(x2， y2)2}。
如前所述，在点A(x, y)观测的像素值Gobs (k， ig, jg)包括噪声引 起的误差(噪声)MkxE。
纯绿光强度Lg (1 + 0.5, J + 0. 5)与像素值Gobs (k, ig, jg)相等的 拟然性，即，用像素值Gobs (k， ig， jg)近似纯绿光强度Lg (1 + 0.5, J + 0. 5 )的近似精度随近似误差和噪声E x Mk的增加或减小而减小或增加。因 此，近似精度(拟然性)随Mk x E x F ( (x, y), (I + 0. 5， J + 0. 5))而减小 (成反比)。也就是说，当MkxExF ( (x, y)， (1 + 0.5, J + 0. 5))的值大 时，纯绿光强度Lg(I + 0. 5， J + 0. 5)等于点A(x, y)上的像素值Gobs (k， ig, jg)的拟然性就低。相反，当MkxExF((x， y)， (1 + 0.5， J + 0. 5)) 的^直小时，拟然性就高。
如果用弹簧BA4的弹簧常数(强度)表示纯绿光强度Lg ( I + 0. 5， J + 0. 5)与像素值Gobs (k， ig， jg)相等的拟然性，那么，弹簧常数像，例如， W2-F ( (x, y)， (1 + 0.5, J + 0.5) ) }/ (MkxE)那样给出。分母(MkxE) 等于噪声E的Mk倍。因此，随着噪声增加，弹簧BAA的强度降低，因此，将 纯绿光强度Lg (1 + 0.5, J + 0.5)拉向点A上的像素值Gobs (k， ig， jg)的力也下降。分子W2-F((x， y)， (1 + 0.5, J+0. 5) ) }等于从乂(12 + 12) =a/2中减去点A与点(1 + 0. 5, J + 0. 5)之间的距离获得的值(差)，即， 如图18所示的矩形区域(1±0. 5, J±0. 5)内两个任何点之间的距离的最大可 能值。因此，随着观测像素值Gobs (k， ig， jg)的点A(x， y)与要确定的 纯绿光强度Lg (1 + 0. 5, J + 0.5)的位置(1 + 0. 5, J + 0. 5)之间的距离增 加，々2-F((x， y)， (1 + 0.5， J + 0. 5))减小，因此，弹簧BA4的强度也降 低。因此，弹簧BA4将纯绿光强度Lg (1 + 0. 5， J + 0. 5)拉向点A上的像素 值Gobs(k, ig， jg)的力也下降。取代W2-F( (x, y) ， (1 + 0,5， J + 0. 5) )}, 诸如F ( (x， y) ， (I + 0. 5， J + 0. 5))的倒数之类的其它函数也可以用作弹 簧常数的分子。
在弹簧模型中，如果认为弹簧BA4具有G的自然长度(也就是说，当没 有负载施加在弹簧上时，长度等于0)，那么，弹簧BA4沿着光强度(像素值) 的轴的长度(伸长量)可以写成lGobs (k， ig, jg) -Lg (1 + 0.5, J + 0. 5) I,和弹簧BA4施加在纯绿光强度Lg (I + 0. 5， J + 0. 5 )上将它拉向点A上 的像素值Gobs(k， ig, jg)的力可以写成弹簧常数x弹簧长度- W2-F( (x， y)， (1 + 0.5, J + 0. 5) ) } / (MkxE) x |Gobs (k， ig， jg ) -Lg (1 + 0. 5， J + 0. 5) I。
在如上所述的过程中，对于参考坐标系中的给定任意位置A (x， y),引 入弹簧模型来表达位置A (x， y)上的像素值Gobs (k, ig, jg)与位置(x， y)附近的位置上，即，由整数I和J指出的位置上的纯绿光强度Lg( 1-0.5， J - 0. 5 )、 Lg ( I - 0. 5， J + 0. 5 )、 Lg (I + 0. 5, J - 0. 5 )和Lg ( I + 0. 5, J + 0. 5)之间的关系，其中，整数I和J满足不等式I-0. 5^x<I + 0. 5和J-0. 5^y<J + 0. 5。取而代之，对于参考坐标系中像素的中心所在的感兴趣给定
位置(i、 r )，正如下面所描述的那样，可以用弹簧模型表达位置(i' ， r ) 上的纯绿光强度Lg (r， r )与在位置(i'， r )的附近区域观测到的像素
值Gobs (k， ig， jg)之间的关系。
注意，(r， r)表示像素的中心，因此，i'和r具有其小数部分等于
0. 5的值。因此，在如图20所示的具体例子中，诸如(I-0. 5， J-O. 5)之
类用实心圆圈表示的位置^皮认为是位置(r ， r )。
如图20所示，为点A(x, y)附近的4个纯绿光强度Lg (I-0. 5， J-0. 5 )、 Lg ( I — 0. 5, J + 0. 5 )、 Lg (I + 0. 5， J — 0. 5 )和Lg ( I + 0. 5, J + 0. 5 )定义弹簧模型。类似地，除了点A (x， y)之外，利用4个弹簧为观测第一 到第N捕获图像的像素值Gobs (k, ig, jg)的每个点定义的弹簧模型。因
此，对于位置(r, r ),如图2i所示，将弹簧模型定义成表示位置(r, r )上的纯绿光强度Lg (i', r )与，例如，在位置(r, r )附近的点a
到E上观测的像素值Gobs (k, ig， jg)之间的关系。
也就是说，对于感兴趣的给定位置(r ， r ),确定相对于参考坐标系中
根据转换参数(ek, Tkx， Tky， Sk)转换位置(ig - 0. 5， jg - 0. 5 )获得的
位置(x, y),满足r - i《x<r +1和r - i^y<r +1的整数值k、 ig和jg 的所有组合。举例来说，如图2l所示，让我们假设为位置(r, r )获得标
识在点A到E观测的相应5个像素值Gobs ( k， ig， jg )的整数(k, ig, jg ) 的组合。
在这种情况下，如图22所示，将弹簧模型定义成表示位置(r， r )上
的纯绿光强度Lg ( r , r )与在点A到E观测的5个像素值Gobs ( k， ig，
jg)的每一个之间的关系。也就是说，对于要确定纯绿光强度Lg r ) 的给定位置(i'， r )，用弹簧模型表示纯绿光强度Lg (r, r )与每个观
测像素值Gobs(k， ig， jg)之间的关系。
图23示出了根据与感兴趣的位置(i', r )相联系的弹簧模型，估计位 置(r ， r )上的纯绿光强度Lg (r, r )的方法。在图23中，轴代表绿 光强度(g信号)。
在如图23所示的弹簧模型中，5个弹簧每一个的一端与质量为0的物体 V相连，和5个弹簧每一个的另一端与点A到E上的5个像素值Gobs(k， ig， jg)之一相连。也就是说，对于如图22所示的给定位置(I', r )，在相应 点A到E上的5个^f象素值Gobs ( k， ig, jg )对应于相对于参考坐标系中才艮 据转换参数(ek， Tkx， Tky, Sk)通过转换位置(ig-0. 5, jg - 0. 5 )获得 的位置(x， y ),满足I' - l^x<I' + 1和J' - l《y<r + 1的(k， ig， jg )的 组合。
5个弹簧具有o的自然长度。如前所述，其一端与在点(x， y)上观测 到的像素值Gobs(k， ig， jg)相连的弹簧具有等于W2-F ( (x, y)， (r , JO ) }/ (MkxE)的弹簧常数。
5个弹簧通过与相应弹簧的弹簧常数成正比的力，分别将物体V拉向5 个像素值Gobs(k， ig, jg),并且，当物体V处在特定位置时达到平衡。在达到平衡的位置上获得的光强度用作纯绿光强度Lg (r， r )的估计值。当 作用在物体v上的合力等于o时，弹簧处在平衡状态。也就是说，当满足如 下方程时，达到平衡。
<formula>formula see original document page 60</formula> …(25)
在下文中，将方程(25)称为与绿光强度相联系的弹簧方程。对于给定
位置(r, r ),方程(25)中的求和s是针对相对于参考坐标系中根据转换
参数(ek, Tkx, Tky, Sk )通过转换位置(ig - 0. 5, jg - 0. 5 )获得的位置 (x, y),满足I' -l《x<F +1和卩-l^y<r +1的所有组合(k， ig， jg) 而取的。具体地说，在如图23所示的例子中，求和是对与点A到E相对应的 整数(k, ig， jg)的5种组合而取的。
方程(25 )具有包括作为未知数的Lg ( r ， r )的线性方程的形式。通
过求解方程(25)，可以确定位置(r, r )上的纯绿光强度Lg (i'， r )。 对于位置(r, r )上的纯红光强度Lr (r, r )和纯蓝光强度Lr (r ，
J')，可以以与如上面参考图18到23所述，为检测绿光成分的像素写出方程 (25)的方式相似的方式写出线性方程(26)和(27)。
<formula>formula see original document page 60</formula> (26)
在下文中，将方程(26)称为与红光强度相联系的弹簧方程。对于给定
位置(r, r )，方程(26)中的求和s是针对相对于参考坐标系中根据转换
参数(ek, Tkx， Tky， Sk )通过转换位置(ir - 0. 5， jr - 0. 5 )获得的位置 (x, y),满足I' -l《x<I'十1和J' - Ky〈J' +1的所有组合(k, ir, jr ) 而取的。
<formula>formula see original document page 60</formula> …(27)在下文中，将方程(27)称为与蓝光强度相联系的弹簧方程。对于给定 位置(r, r )，方程(27)中的求和2是针对相对于参考坐标系中才艮据转换 参数(ek， Tkx, Tky， Sk)通过转换位置(ib-0.5, jb - 0. 5 )获得的位置 (x， y),满足I' - lSxW + 1和r - l^y<r + 1的所有组合(k， ib， jb) 而取的。
因此，在这个第三实施例中，对于给定位置(i', r )，根据与相对于参
考坐标系中根据转换参数(ek, Tkx， Tky， Sk)通过转换位置(i-0. 5, j -0. 5 )获得的位置(x， y ),满足P - l《x<r + 1和J' - Ky〈r + 1的组合 (k， ib， jb)相对应的像素值，确定纯绿光强度Lg(r， J')、纯红光强度
Lr (r ， r )和纯蓝光强度Lb (i' ， r )。
现在，参照如图24所示的流程图，描述根据本发明第三实施例的如图2 所示的步骤S4中的正确图像估计过程。
首先，在步骤S71中，计算电路24选择参考坐标系中的位置(i'， r)
(下文称这样的所选位置为感兴趣位置(r， r))。注意，感兴趣位置U',
r )位于取作参考图像的第一图像的第(i， j)像素的中心(i-0. 5， j-O. 5)。 此后，过程从步骤S71转到步骤S72。在步骤S72中，计算电路24针对
第一到第n图像中的每一个的感兴趣位置(i、 r ),确定相对于参考坐标系
中根据转换参数(ek， Tkx, Tky, Sk)通过转换检测第k图像的绿光成分的 像素的中心位置(ig-O. 5， jg-O. 5)获得的位置(x， y),满足P - 1《x〈I' + 1和J' - l^y<r + 1的整数(k, ig， jg )的所有组合。此后，过程转到步 骤S73。
在步骤S73中，计算电路24利用在步骤S72中确定的(k, ig, jg)的 所有组合，为绿光强度生成形式(25)的弹簧方程。
在步骤S74中，计算电路24针对第一到第N图像中的每一个的感兴趣位 置(I、 r ),确定相对于参考坐标系中根据转换参数(ek， Tkx， Tky, Sk) 通过转换检测第k图像的红光成分的像素的中心位置(ir - 0. 5, jr - 0. 5 ) 获得的位置(x, y),满足r -1^<1' +1和卩-l^y<r +1的整数(k， ir， jr)的所有组合。此后，过程转到步骤S75。
在步骤S75中，计算电路24利用在步骤S74中确定的(k, ir, jr)的 所有组合，为红光强度生成形式(26)的弹簧方程。此后，过程转到步骤S76。在步骤S76中，计算电路24针对第一到第N图像中的每一个的感兴趣位 置(r, J'),确定相对于参考坐标系中根据转换参数(ek, Tkx， Tky, Sk) 通过转换检测第k图像的蓝光成分的像素的中心位置(ib - 0. 5, jb - 0. 5 ) 获得的位置(x， y ),满足r - l;x〈r + 1和J' - l《y<r + l的整数(k, ib, jb)的所有组合。此后，过程转到步骤S77。
在步骤S77中，计算电路24利用在步骤S76中确定的(k， ib, jb)的 所有组合，为蓝光强度生成形式(27)的弹簧方程。
在步骤S78中，计算电路24求解都具有线性方程的形式、在步骤S73中 确定的与绿光强度相联系的弹簧方程(25)、在步骤S75中确定的与红光强度 相联系的弹簧方程(26)和在步骤S77中确定的与蓝光强度相联系的弹簧方
程(27),从而确定感兴趣位置(i', r )上的纯绿光强度Lg (r, r )、纯
红光强度Lr ( r , r )和纯蓝光强度Lb ( I' , r )。此后，过程转到步骤S79。 在步骤S79中，计算电路24确定是否对所有可能位置(r， r)都已完
成了上述过程，即，是否已经通过将第一图像的所有像素的每一个的中心位 置取作感兴趣位置(r ， r )确定了纯绿光强度Lg (r, r )、纯红光强度
Lr ( F ， J')和纯蓝光强度Lb ( F , J')。
如果在步骤S79中确定还没有对所有可能感兴趣位置(r ， r )都完成
了上述过程，过程返回到步骤S71，重复步骤S71到S79。也就是说，计算电
路24选择还没有选为感兴趣位置的位置(r ， r )，作为新感兴趣位置，并 且确定感兴趣位置(i' ， r )上的纯绿光强度Lg (r, r )、纯红光强度Lr (i、 r )和纯蓝光强度Lb (r, r )。
另一方面，在步骤S79中确定已经将所有可能位置(i'， r )取作感兴
趣位置完成了上述过程的情况下，过程转到步骤S80。在步骤S80中，计算 电路24从在步骤S78中确定的纯绿光强度Lg (I' ， r )、纯红光强度Lr ( I、
r )和纯蓝光强度Lb (r， r )中估计正确图像(信号)。将所得图像作为
输出图像供应给D/A转换器9或编解码器12，并且从当前过程中退出。例如， 对于第(i， j)像素，计算电路24从在步骤S78中作为绿光值(G信号)确 定的纯绿光强度Lg (i-O. 5, j-O. 5)、在步骤S78中作为红光值(R信号) 确定的纯红光强度Lr (i-O. 5， j-O. 5)和在步骤S78中作为蓝光值(B信 号)确定的纯蓝光强度Lb (i-O. 5， j-0.5)中估计(生成)它们的正确图 像信号。计算电路24通过对中心位于所选位置(r, r )的所有像素估计图像信号，估计输出图像。
在第三实施例中，如上所述，成像器件4的每个像素检测的数据被当作 点取样数据，用弹簧模型表示在每个像素的中心观测的像素值与不包括由照 相机摇晃引起的模糊的清晰图像的理想图像信号之间的关系，和根据弹簧模 型确定可能是真图像的清晰图像。
现在，描述根据本发明第四实施例的正确图像估计过程。在这个第四实
施例中，部分改进了上面参考图24所述的第三实施例。
也就是说，在如图24所示的第三实施例中，在步骤S72中，计算电路 24针对第一到第N图像中的每一个的感兴趣位置(r， J')，确定相对于参 考坐标系中根据转换参数(ek, Tkx, Tky， Sk)通过转换检测第k图像的绿 光成分的像素的中心位置(ig-0. 5, jg-O. 5)获得的位置(x, y)，满足 P - Kx<r + 1和J' - lSy〈J' + 1的整数(k， ig, jg )的所有组合。在步骤 S73中，计算电路24利用在步骤S72中确定的整数(k， ig, jg)的所有组 合，为绿光强度生成形式(25)的弹簧方程。类似地，对于检测红光或蓝光 成分的像素，为感兴趣位置(I', r)确定整数(k, ig， jg)的组合，和利 用整数(k， ig, jg)的所有确定组合生成形式(26)或(27)的弹簧方程。 取决于捕获图像的状态，存在着第一到第N图像的特定图像的特定像素 的数据不可靠的拟然性。在如图1所示的数字照相机1中，拍摄N个图像和 将它们存储在帧存储器22中。因此，即使废弃可靠性低的数据，其余数据的 数量也可以足够大。
鉴于上面情况，在第四实施例中，只将可靠性高的数据用于(和废弃可 靠性低的数据)生成清晰度更好的图像。具体地说，在第四实施例中，从为 感兴趣位置(1、 r )确定的所有(k, ig， jg)中提取多达预定个L的整数
(k， ig, jg)的组合，作为可靠性高的数据。可以将数字L固定在诸如8之 类的值上或可以将它设置成用户指定的可变值。计算电路24计算整数(k， ig, jg)的所有组合的像素值Gobs (k， ig， jg)的平均值，并且选择像素 值Gobs(k， ig， jg)与平均值最接近的整数(k, ig， jg)的L(-8)种组 合。所选L种组合用于确定位置(I'， J')上的纯绿光强度Lg (I'， J')。
因此，在第四实施例中，用在第三实施例中的与绿光、红光和蓝光强度 相联系的弹簧方程(25 )、 ( 26 )和(27 )被分别重写成如下所示的方程(28 )、
(29)和(30)。=0
(28)
其中，z代表针对像素值Gobs (k, ig, jg)与为感兴趣位置(r， r )
确定的整数(k, ig， jg)的所有组合的像素值Gobs (k， ig， jg)的平均值 最接近的整数(k， ig， jg)的L种组合而取的求和。
(滅x五) 1、，，" 、，"
=0
...(29)
其中，Z代表针对像素值Robs (k, ir， jr)与为感兴趣位置(r, T ) 确定的整数(k, ir， jr)的所有组合的像素值Robs (k， ir, jr)的平均值 最接近的整数(k， ir, jr )的L种组合而取的求和。
(30)
其中，2代表针对像素值Bobs (k， ib, jb)与为感兴趣位置(1、 r ) 确定的整数(k， ib， jb)的所有组合的像素值Bobs (k， ib， jb)的平均值 最接近的整数(k, ib， jb)的L种组合而取的求和。
现在，参照如图25所示的流程图，描述根据本发明第四实施例的如图2 所示的步骤S4中的正确图像估计过程。
首先，在步骤S91中，计算电路24选择参考坐标系中的位置(r, r)
(下文称这样的所选位置为感兴趣位置(r， r ))。注意，感兴趣位置(r，
J')位于取作参考图像的第一图像的第(i， j)像素的中心(i-O. 5， j-0. 5)。 此后，过程从步骤S91转到步骤S92。在步骤S92中，计算电路24针对 第一到第N图像中的每一个的感兴趣位置(I' ， r )，确定相对于参考坐标系 中根据转换参数(ek, Tkx， Tky， Sk)通过转换检测第k图像的绿光成分的 像素的中心位置(ig-0. 5, jg-O. 5)获得的位置(x， y)，满足I' - 1"<1'+ 1和J' - l《y<r + 1的整数(k, ig， jg)的所有组合。此后，过程转到步 骤S93。
在步骤S93中，计算电路24计算在步骤S92中确定的整数(k， ig， jg) 的所有组合的像素值Gobs (k， ig, jg)的平均值，并且选择像素值Gobs (k， ig， jg)与平均值最接近的整数(k, ig， jg)的L种组合。此后，过程转到 步骤S94。也就是说，在如上所述的步骤S93中，与针对在步骤S92中确定 的整数(k, ig， jg)的所有组合所得的平均值不接近的像素值Gobs (k， ig, jg)被当作可靠性低的数据，并且，废弃它们。在步骤S92中确定的整数(k, ig， jg)的组合的总数小于L的情况下，选择整数(k， ig， jg)的所有组合 (不废弃任何数据)。
在步骤S94中，计算电路24利用在步骤S93中选择的(k， ig， jg)的 L种组合，为绿光强度生成形式(28)的弹簧方程。此后，过程转到步骤S95。
在步骤S95中，计算电路24针对第一到第N图像中的每一个的感兴趣位 置(r, r )，确定相对于参考坐标系中根据转换参数(ek， Tkx， Tky， Sk) 通过转换检测第k图像的红光成分的像素的中心位置(ir - 0. 5， jr - 0. 5 ) 获得的位置(x, y)，满足F - 1^x〈I' +1和尸-l^y<r +1的整数(1^， ir， jr)的所有组合。此后，过程转到步骤S96。
在步骤S96中，计算电路24计算在步骤S95中确定的整数(k， ir， jr) 的所有组合的像素值Robs (k， ir， jr )的平均值，并且选择像素值Robs ( k, ir, jr )与平均值最接近的整数(k， ir， jr)的L种组合。此后，过程转到 步骤S97。也就是说，在如上所述的步骤S96中，与针对在步骤S95中确定 的整数(k， ir, jr )的所有组合所作的平均值不接近的像素值Robs (k, ir， jr)被当作可靠性低的数据，并且，废弃它们。在步骤S95中确定的整数(k， ir， jr)的组合的总数小于L的情况下，选择整数(k， ir, jr)的所有组合
(不废弃任何数据)。
在步骤S97中，计算电路24利用在步骤S96中选择的(k， ir, jr)的 L种组合，为红光强度生成形式(29)的弹簧方程。此后，过程转到步骤S98。
在步骤S98中，计算电路24针对第一到第N图像中的每一个的感兴趣位 置(r, r )，确定相对于参考坐标系中根据转换参数(ek， Tkx, Tky， Sk) 转换4企测第k图像的蓝光成分的像素的中心位置(ib _ 0. 5, jb - 0. 5 )获得 的位置(x, y)，满足r - lSx〈I' +1和'-lSy〈r +1的整数(^ ib, jb)的所有组合。此后，过程转到步骤S99。
在步骤S99中，计算电路24计算在步骤S98中确定的整数(k， ib, jb) 的所有组合的像素值Bobs (k， ib, jb)的平均值，并且选择像素值Bobs ( k， ib， jb)与平均值最接近的整数(k, ib, jb)的L种组合。此后，过程转到 步骤SIOO。也就是说，在如上所述的步骤S99中，与针对在步骤S98中确定 的整数(k， ib， jb)的所有组合所作的平均值不接近的像素值Bobs (k， ib， jb)被当作可靠性低的数据，并且，废弃它们。在步骤S98中确定的整数(k, ib, jb)的组合的总数小于L的情况下，选择整数(k， ib， jb)的所有组合 (不废弃任何数据)。
在步骤S100中，计算电路24利用在步骤S99中选择的(k, ib, jb)的 L种组合，为蓝光强度生成形式(30)的弹簧方程。此后，过程转到步骤SIOI。
在步骤SIOI中，计算电路24求解都具有线性方程的形式、在步骤S94 中确定的与绿光强度相联系的弹簧方程(28)、在步骤S97中确定的与红光强 度相联系的弹簧方程(29 )和在步骤S100中确定的与蓝光强度相联系的弹簧 方程(30 ),从而确定感兴趣位置(I、 T )上的纯绿光强度Lg ( P ， r )、 纯红光强度Lr ( I、 r )和纯蓝光强度Lb (r ， r )。此后，过程转到步骤 S102。
在步骤si02中，计算电路24确定是否对所有可能位置(r, r )都已 完成了上述过程，即，是否已经通过将第一图像的所有像素的每一个的中心 位置取作感兴趣位置(i'， r )确定了纯绿光强度Lg (r, r )、纯红光强 度Lr (r ， r )和纯蓝光强度Lb (r ， r )。
如果在步骤si02中确定还没有对所有可能感兴趣位置(r ， r )都完成
了上述过程，过程返回到步骤S91，重复步骤S91到S102。也就是说，计算
电路24选择还没有选为感兴趣位置的位置(r, r )，作为新感兴趣位置， 并且确定感兴趣位置(r， r )上的纯绿光强度Lg (r, r )、纯红光强度 Lr (r ， r )和纯蓝光强度Lb (r, r )。
另一方面，在步骤si02中确定已经将所有可能位置(r, r)取作感兴
趣位置完成了上述过程的情况下，过程转到步骤S103。在步骤S103中，计 算电路24从在步骤S101中确定的纯绿光强度Lg ( P ， J')、纯红光强度Lr
(r， r )和纯蓝光强度Lb (r， r )中估计正确图像(信号)。将所得图
像作为输出图像供应给D/A转换器9或编解码器12，并且从当前过程中退出。例如，对于第(i, j)像素，计算电路24从在步骤S101中作为绿光值(G 信号)确定的纯绿光强度Lg (i-0. 5, j-0. 5)、在步骤SIOI中作为红光值 (R信号)确定的纯红光强度Lr ( i - 0. 5， j -0. 5)和在步骤SIOI中作为蓝 光值(B信号)确定的纯蓝光强度Lb ( i - 0. 5， j - 0. 5 )中估计它们的正确 图像信号。计算电路24通过对中心位于所选位置(r， r )的所有像素执行 上述过程，估计正确图像。
在第四实施例中，如上所述，与平均值接近的像素值用作可靠数据，和 弹簧模型只应用于所用的可靠数据。这使得可以获得比上面第三实施例可以 获得的图像更有可能是正确图像的更清晰图像。
现在，描述根据本发明第五实施例的正确图像估计过程。在这个第五实 施例中，与第四实施例一样，从为感兴趣位置(I', r)确定的整数(k, ig， jg)的所有组合中提取多达预定个L的整数(k， ig, jg)的组合，作为可靠 性数据，并且，通过求解每一个利用L个可靠数据的与绿光、红光和蓝光强 度相联系的弹簧方程，确定纯绿光强度Lg(r， J')、纯红光强度Lr(I',
r )和纯蓝光强度Lb (r， r )。
在如上所述的第四实施例中，例如，在纯绿光强度Lg(r， r )的确定
中，计算电路24确定整数(k， ig， jg)的所有组合的像素值Gobs (k， ig, jg)的平均值，并且选择像素值Gobs (k, ig, jg)与平均值最接近的整数 (k, ig， jg)的L种组合。
另一方面，在第五实施例中，对于给定感兴趣位置(r, r ),计算电路 24通过选择从感兴趣位置(r ， r )到参考坐标系中根据转换参数(ek， Tkx,
Tky， Sk)通过转换;险测第k图像的绿光成分的像素的中心位置(ig-0. 5, jg-0. 5)获得的位置(x, y)的距离最短的整数(k, ig， jg)的L种组合， 提取可靠数据。这是因为，正如前面参考图19所述的那样，用在位置(x, y) 上观测到的像素值Gobs (k， ig, jg)近似感兴趣位置(r， r )上的纯绿
光强度Lg (r， r )时出现的近似误差随感兴趣位置(f, r )与位置(x, y)之间的距离而增加。换句话说，在远离感兴趣位置(r， r )的位置(x,
y)上观测到的像素值Gobs (k， ig， jg)可靠性低。为了确定两个点(xl， yl)和(x2， y2)之间的距离，例如，可以使用前面参考图19描述的函数F ((xl， yl), (x2， y2))。
在第五实施例中，如下所示的与绿光、红光和蓝光强度相联系的弹簧方程(31)、 (32)和(33)用来取代用在第三实施例中的弹簧方程(25)、 (26) 和(27)。
=0
(31)
其中，z表示针对从感兴趣位置(r, r )到参考坐标系中根据转换参数
(ek， Tkx, Tky, Sk)通过转换检测第k图像的绿光成分的像素的中心位置 (ig-O. 5， jg-O. 5)获得的位置(x, y)的距离最短的整数(k， ig， jg) 的L种組合而取的求和。
^^p2^。昧^)"々v'》
0
(32)
其中，s表示针对从感兴趣位置(r, r)到参考坐标系中根据转换参数
(ek， Tkx， Tky， Sk)通过转换;f企测第k图像的红光成分的像素的中心位置 (ir-0. 5, jr-0.5)获得的位置(x， y )的距离最短的整数(k， ir， jr) 的L种组合而取的求和。
x {5。fo(A:，/6，_/6)-Z6(/V)}
=0
…(33)
其中，s表示针对从感兴趣位置(i、 r )到参考坐标系中根据转换参数
(ek， Tkx, Tky, Sk)通过通过通过转换检测第k图像的蓝光成分的像素的 中心位置(ib-0. 5， jb-O. 5)获得的位置(x, y)的距离最短的整数(k， ib， jb)的L种组合而取的求和。
现在，参照如图26所示的流程图，描述根据本发明第五实施例的如图2 所示的步骤S4中的正确图像估计过程。
首先，在步骤S121中，计算电路24选择参考坐标系中的位置(I', J')(下文称这样的所选位置为感兴趣位置U、 r))。注意，感兴趣位置(r，
r )位于取作参考图像的第一图像的第(i， j)像素的中心(i-o.5, j-o.5)。 此后，过程从步骤S121转到步骤S122。在步骤S122中，计算电路24
针对第一到第n图像中的每一个的感兴趣位置(i', r )，确定相对于参考坐
标系中根据转换参数(ek， Tkx, Tky, Sk)转换检测第k图像的绿光成分的 像素的中心位置(ig-0. 5, jg-0. 5)获得的位置(x, y),满足I' - 1"〈I' + 1和r-l《y<r + 1的整数(k, ig， jg)的所有组合。此后，过程转到步 骤S123。
在步骤S123中，从在步骤S122中确定的整数(k, ig， jg)的所有组合 中，计算电路24选择从感兴趣位置(r， r )到参考坐标系中根据转换参数 (ek, Tkx， Tky, Sk )转换检测第k图像的绿光成分的像素的中心位置(ig -0.5， jg-O. 5)获得的位置(x, y)的距离最短的整数(k, ig, jg)的L 种组合。此后，过程转到步骤S124。也就是说，在如上所述的步骤S123中， 在步骤S122中确定的整数(k， ig, jg)的所有组合当中，位置(x， y)与 感兴趣位置(I', r )之间的距离长的那些被当作可靠性低的数据，并且， 废弃它们。在步骤S122中确定的整数(k， ig, jg)的组合的总数小于L的 情况下，选择整数(k, ig， jg)的所有组合(不废弃任何数据)。
在步骤S124中，计算电路24利用在步骤S123中选择的(k， ig, jg) 的L种组合，为绿光强度生成形式(31)的弹簧方程。此后，过程转到步骤 S125。
在步骤S125中，计算电路24针对第一到第N图像中的每一个的感兴趣
位置(r, r ),确定相对于参考坐标系中根据转换参数(ek， Th， Tky, sk)
通过转换检测第k图像的红光成分的像素的中心位置(ir - 0. 5, jr - 0. 5 )
获得的位置(x， y)，满足r - i^x<r +1和r - i^y<r +1的整数(k, ir，
jr)的所有组合。此后，过程转到步骤S126。
在步骤S126中，从在步骤S125中确定的整数(k, ir， jr )的所有组合
中，计算电路24选择从感兴趣位置(r ， r )到参考坐标系中根据转换参数 (ek， Tkx, Tky, Sk)通过转换检测第k图像的红光成分的像素的中心位置 (ir-O. 5, jr-O. 5)获得的位置(x， y )的距离最短的整数(k， ir, jr )
的L种组合。此后，过程转到步骤S127。也就是说，在如上所述的步骤S126
中，从在步骤S125中确定的整数(k, ir, jr)的所有组合当中，位置(x,y)与感兴趣位置(r, r )之间的距离长的那些被当作可靠性低的数据，并
且，废弃它们。在步骤S125中确定的整数(k, ir, jr)的组合的总数小于 L的情况下，选择整数(k， ir， jr)的所有组合(不废弃任何数据)。
在步骤S127中，计算电路24利用在步骤S126中选4奪的(k， ir， jr ) 的L种组合，为红光强度生成形式(32)的弹簧方程。此后，过程转到步骤 S128。
在步骤S128中，计算电路24针对第一到第N图像中的每一个的感兴趣 位置(r， r )，确定相对于参考坐标系中根据转换参数(ek, Tkx， Tky, Sk) 通过转换检测第k图像的蓝光成分的像素的中心位置(ib- 0. 5， jb- 0. 5 ) 获得的位置(x， y )，满足r - l^x<r + 1和J' - 1W + 1的整数(k， ib， jb)的所有组合。此后，过程转到步骤S129。
在步骤S129中，从在步骤S128中确定的整数(k， ib, jb)的所有组合 中，计算电路24选择从感兴趣位置(r， J')到参考坐标系中根据转换参数 (ek, Tkx， Tky， Sk)通过转换检测第k图像的蓝光成分的像素的中心位置 (ib-O. 5, jb-O. 5)获得的位置(x， y)的距离最短的整数(k， ib, jb ) 的L种组合。此后，过程转到步骤S130。也就是说，在如上所述的步骤S129 中，在步骤S128中确定的整数(k, ib， jb)的所有组合当中，位置(x, y) 与感兴趣位置(r, r)之间的距离长的那些被当作可靠性低的数据，并且， 废弃它们。在步骤S128中确定的整数(k， ir, jr )的组合的总数小于L的 情况下，选择整数(k， ib， jb)的所有组合(不废弃任何数据)。
在步骤S130中，计算电路24利用在步骤S129中选择的(k， ib， jb) 的L种组合，为蓝光强度生成形式(33)的弹簧方程。此后，过程转到步骤 S131。
在步骤S131中，计算电路24求解都具有线性方程的形式、在步骤S124 中确定的与绿光强度相联系的弹簧方程(31)、在步骤S127中确定的与红光 强度相联系的弹簧方程(32 )和在步骤S130中确定的与蓝光强度相联系的弹
簧方程(33 )，从而确定感兴趣位置(r ， r )上的纯绿光强度Lg (r, r )、 纯红光强度Lr (r, r )和纯蓝光强度Lb (i' ， r )。此后，过程转到步骤
在步骤S132中，计算电路24确定是否对所有可能位置(I' ， T )都已
完成了上述过程，即，是否已经通过将第一图像的所有像素的每一个的中心位置取作感兴趣位置(r ， r )确定了纯绿光强度Lg (r ， r )、纯红光强 度Lr (r, r )和纯蓝光强度Lb (i' ， r )。
如果在步骤si32中确定还没有对所有可能感兴趣位置(r ， r )都完成
了上述过程，过程返回到步骤S121，重复步骤S121到S132。也就是说，计
算电路24选择还没有选为感兴趣位置的位置(r, r )，作为新感兴趣位置， 并且确定感兴趣位置(r ， r )上的纯绿光强度Lg (i', r )、纯红光强度
Lr ( F , J')和纯蓝光强度Lb ( F , J')。
另一方面，在步骤S132中确定已经将所有可能位置(i、 r)取作感兴
趣位置完成了上述过程的情况下，过程转到步骤S133。在步骤S133中，计 算电路24从在步骤S131中确定的纯绿光强度Lg ( r , J')、纯红光强度Lr
(r ， r )和纯蓝光强度Lb (r, r )中估计正确图像(信号)。将所得图
像作为输出图像供应给D/A转换器9或编解码器12,并且从当前过程中退出。 例如，对于第(i, j)像素，计算电路24从在步骤S131中作为绿光值(G 信号)确定的纯绿光强度Lg (i-0. 5, j-O. 5)、在步骤S131中作为红光值 (R信号)确定的纯红光强度Lr (i-0. 5， j-0. 5)和在步骤S131中作为蓝 光值(B信号)确定的纯蓝光强度Lb ( i - 0. 5， j - 0. 5 )中估计它们的正确 图像信号。计算电路24通过对中心位于所选位置(I', r )的所有像素估计 图像信号，估计正确图像。
在第五实施例中，如上所述，在与感兴趣位置(I', r )接近的位置上 观测的像素值被选作可靠数据，和弹簧模型只应用于所选数据。这使得可以 获得比如上所述的第三实施例可以获得的图像清晰度更高的更理想图像。
现在，描述根据本发明第六实施例的正确图像估计过程。
在这个第六实施例中，进一步改进了如上所述的第三实施例。也就是说， 在这个第六实施例中，检测图像的边缘部分，并且将基于与绿光、红光和蓝 光强度相联系的弹簧方程(25)、 (26)和(27)的形式改进了的弹簧方程应 用于所检测边缘部分中的像素值。
在绿光、红光和蓝光成分当中，与绿光成分(G信号)相联系的参考坐 标系显示在图27中。
在如图27所示的例子中，在边界(边缘)51右边的区域中观测到亮绿 光的像素值，和在边界(边缘)51左边的区域中观测到暗绿光的像素值。绿 光的每个像素值例如用8个位表示。亮绿光像素值例如等于240,和暗绿光像素值例如等于16。
在图27中，空心圓圈52-1到52-10、 53-1到53-9和54表示才艮据转换 参数(ek， Tkx， Tky， Sk)转换到参考坐标系中的表示的第k图像的第(i， j)像素的中心位置(ig-0. 5, jg-O. 5)。在那些位置上，观测绿光像素值 Gobs(k, ig, jg)。注意，在空心圆圈52-1到52-10、 53-1到53-9和54之 间的(k, ig, jg)是不同的。
图27中虚线表示的网格的交叉点上的每个实心圆圈指示要由计算电路
24确定的绿光强度Lg (r ， r )的位置(i' ， r )。如前所述，位置(r ，
P )表示用作参考图像的第一图像的第(i, j)像素的中心位置(ig-O. 5，
jg-o.5)。相邻Lg(r， r )之间的距离在x和Y两个方向都等于i，因此，
像素尺寸在X和Y两个方向都等于1。
在如图27所示的区域61中的空心圆圈52-1到52-8所表示的位置上， 观测到约等于240的亮绿光像素值Gobs (k， ig， jg)。
在如图27所示的区域62中的空心圆圈53-1到53-7所表示的位置上， 观测到约等于16的暗绿光像素值Gobs (k, ig， jg)。
在图27中，空心圓圏54所指的位置在边界51上。在这样的位置上，由 于片上透镜的特性，像素均等地接收水平(level)为240的亮绿光和水平为 16的暗绿光两者，因此，在空心圆圏54所表示的位置上观测到的像素值Gobs (k, ig， jg)等于240和16的平均值，即，128 ( = (240 + 16)/2 )。
在空心圆圏52-1到52-10、 53-1到53-9和54所表示的位置上观测到的 像素值Gobs (k, ig， jg) —般包括误差成分，因此，严格地说，像素值例 如是约240、约16、约128等。但是，为了简单起见，忽略误差成分，将像 素值简单表达成240、 16、 128等。
例如，当图27中实心圓圏71所表示的位置被选作感兴趣位置(r, r ) 时，如果使用如上所述的第三实施例，实心圓圈71所表示的感兴趣位置(F ，
r )上的纯绿光强度Lg ( f ， r )确定如下。
也就是说，当实心圓圏7i所表示的位置被选作感兴趣位置(r ， r )时，
在感兴趣位置U、 r )的附近观测的像素值Gobs (k, ig， jg)，譬如，在 空心圓圈52-3、 52-6、 52-10和54所表示的位置上;!见测的那些用作方程(25) 中的Gobs(k， ig， jg)。在这种情况下，由于纯绿光强度Lg(r， r )受在 空心圆圈54所表示的位置上观测到的128的像素值拉动(影响)，通过求解方程(25)获得的纯绿光强度Lg (r， r )变成低于24o。但是，由于实心
圓圈71所表示的位置位于观测到的绿光像素值高达240的边界51右边的区 域中，实际的纯绿光强度Lg J')是240。因此，通过求解方程25)获
得的绿光强度Lg (r ， r )最好等于mo。
当实心圓圈72所表示的位置被选作感兴趣位置(i、 r )时，在感兴趣
位置(1、 r )的附近观测的像素值Gobs (k， ig， jg)，譬如，在空心圆圏 53-2、 53-3、 53-5、 53-9和54所表示的位置上观测的那些用作方程(25 ) 中的Gobs(k， ig， jg)。在这种情况下，由于纯绿光强度Lg r )受在
空心圓圈54所表示的位置上观测到的128的像素值拉动(影响)，通过求解 方程(25)获得的纯绿光强度Lg (r， r)变成大于16。但是，由于实心圓 圈72所表示的位置位于观测到的绿光像素值低至16的边界51左边的区域 中，实际的纯绿光强度Lg T )是16。因此，通过求解方程2"获得
的绿光强度Lg (r ， r )最好等于16。
上面的讨论也可应用于实心圓圈73和74所表示的位置。正如上面所讨 论的那样，在通过根据第三实施例的正确图像估计过程生成的图像中，在像 如图27所示的边界51所在的那个那样的边缘部分中，存在边缘变模糊(也 就是说，相邻像素的像素值之差变小)的拟然性。
在第六实施例中，为了避免上面的问题，检测包括如图27所示的边界 51的边缘部分，并且，对所检测边缘部分中的像素值Gobs (k, ig, jg)进 行特殊处理，也就是说，改变代入与绿光强度相联系的弹簧方程(25)中的 像素值Gobs (k， ig， jg)。
下面参考图27,针对确定绿光强度(G信号)的情况进一步详细描述根 据第六实施例的方法。
首先，计算电路24根据转换到参考坐标系的位置上的所有像素值Gobs (k, ig, jg)检测边缘部分。也就是说，计算电路24确定是否存在沿着垂 直方向、沿着水平方向、沿着从左上角到右下角的方向和沿着^^人右上角到左 下角的方向延伸的边缘。
下面参考图28,描述确定是否存在垂直边缘的方法。
图28示出了参考坐标系。在图28中，空心圓圏81-1到81-10、 82-l到 82-9和83表示根据转换参数(ek, Tkx， Tky, Sk )转换到参考坐标系中的 表示的第k图像的第(i， j)像素的中心位置(ig-0. 5， jg-0. 5)，并且，在那些位置上观测像素值Gobs(k, ig， jg)。注意，在空心圆圏81-1到81-10、 82-1到82-9和83之间的(k， ig， jg)是不同的。
图28中虚线表示的网格的交叉点上的每个实心圆圈指示要由计算电路
24确定的绿光强度Lg (r, r )的位置(r, r )。如前所述，位置(r ， r )表示用作参考图像的第一图像的第(i, j)像素的中心位置Ug-o. 5，
jg-O. 5)。与如图27所示的例子一样，相邻Lg (I'， J')之间的距离在X 和Y两个方向都等于l,因此，像素尺寸在X和Y两个方向都等于1。
例如，计算电路24选择如图28所示的空心圆圏83所表示的位置，作为 感兴趣位置，并且确定是否存在像如图28所示的边缘94那样的垂直边缘。 这里，让我们假设空心圆圈83所表示的位置(x, y )满足不等式I - 0. 5^x<I + 0. 5和J-0. 5^y<J + 0. 5。在如图28所示的例子中，空心圆圈83所表示的 位置(x, y)位于4个角位于实心圆圈84所表示的(I + 0. 5， J - 0. 5 )、实 心圆圏85所表示的(1-0.5, J-0. 5)实心圆圏86所表示的(1 + 0.5, J + 0.5)和实心圆圈87所表示的(1-0.5， J + 0. 5)的矩形区域All中。如 在前述实施例中一样，I和J是整数。
计算电路24定义每一个具有等于一个像素尺寸的尺寸1的9个区域，以 便包括感兴趣的空心圓圈83的区域All位于这9个区域的中心。这9个区域 是由I - 1. 5《x<I - 0. 5和J - 1. 5《y<J - 0. 5定义的区域A00;由I - 1. 5^x<I -0. 5和J - 0. 5^y<J + 0. 5定义的区域A01;由I - 1. 5^x<I - 0. 5和J + 0. 5^y<J + 1. 5定义的区域A02;由I - 0. 5《x<I + 0. 5和J - 1. 5，J - 0. 5定 义的区域A10;由I - 0. 5《x<I + 0. 5和J - 0. 5《y<J + 0. 5定义的区域All;由 I - 0. 5^x<I + 0. 5和J + 0. 5《y<J + 1. 5定义的区域A12;由I + 0. 5^x<I + 1. 5 和J - 1. 5^y<J - 0. 5定义的区域A20;由I + 0. 5《x<I + 1. 5和J - 0. 5^y<J + 0. 5定义的区域A21;和由I + 0. 5^x<I + 1. 5和J + 0. 5Sy〈J + 1. 5定义的区域 A22。空心圓圈83所表示的当前感兴趣位置在区域A11中。
包括为空心圓圏83所表示的感兴趣位置定义的9个区域A00到A22的总 区域被称为边缘判断区。
为了确定是否存在像边缘94那样的垂直边缘，计算电路24计算边缘判 断区中的包括区域AOO、区域A01和区域A02的左边区域91 (下文将这个区 域91简称为左侧区91)中，空心圓圏所表示的位置上的像素值Gobs (k, ig, jg)的平均值和方差、边缘判断区中的包括区域A10、区域All和区域A12的中间区域92 (下文将这个区域92简称为中间区92)中，空心圆圈所表示 的位置上的像素值Gobs (k, ig, jg)的平均值和方差和边缘判断区中的包 括区域A20、区域A21和区域A22的右边区域93 (下文将这个区域93简称为 右侧区93)中，空心圆圈所表示的位置上的像素值Gobs (k， ig, jg)的平 均Y直和方差。
也就是说，计算电路24确定左侧区91中空心圓圏82-1到82-7所表示 的位置上的像素值Gobs (k, ig， jg)的平均值EGO，以及确定那些^^素值 Gobs(k, ig， jg)的方差SG0。计算电路24还确定中间区92中空心圓圏81-9、 81-10、 82-8、 82-9和83所表示的位置上的像素值Gobs (k, ig, jg)的平 均值EG0"。并且，计算电3各24确定右侧区93中空心圆圈81-1到81-8所表 示的位置上的像素值Gobs (k, ig， jg)的平均值EGO',以及确定那些像素 值Gobs (k, ig， jg)的方差SGO'。
举例来说，如果存在与空心圆圈83所表示的感兴趣位置接近的垂直边缘 94，那么，对于左侧区91的平均值EGO、中间区92的平均值EGO"和右侧区 93的平均值EG0、如下不等式(a)成立，因此，当不等式(a)满足时，计 算电路24确定存在垂直边缘。
EGO < EGO" < EG(K或EG(T < EGO" < EGO ( a )
实际上，如果例如由于对象的精细图案，存在数据变化，对于不接近边 缘94的区域，不等式(a)也是满足的。为了避免上面的问题和为了作出更 可靠的确定，计算电路24通过确定包括附加项的方差SGO和SGO'的如下不 等式是否满足，确定是否存在垂直边缘94，也就是说，当如下所示的不等式 (b)满足时，计算电路24确定存在垂直边缘。
EGO + SGO < EGO" <EG0' - SGO' 或
EG(T +SG0' < EGO" < EGO - SGO ( b )
不等式(b)的使用使得可以防止由于精细图案等，像素值存在变化，因 此，方差SGO和SG(T大的区域，被不正确地识别为存在边^^的区域。下面参考图29，描述确定是否存在水平边缘的方法。在图29中，与图 28中的那些相同的部分用相同的标号表示，这里不给出它们的重复描述。
为了确定是否存在水平边缘104，计算电路24确定沿着水平方向延伸和 包括区域AOO、区域A10和区域A20的上边缘判断区101 (下文将区域IOI简 称为上区101)中，空心圓圏所表示的位置上的像素值Gobs (k， ig， jg)的 平均值和方差、沿着水平方向延伸和包括区域AOl、区域A11和区域A21的 中间边缘判断区102 (下文将区域102简称为中间区102)中，空心圓圈所表 示的位置上的像素值Gobs (k, ig, jg)的平均值和方差和沿着水平方向延 伸和包括区域A02、区域A12和区域A22的下边缘判断区103 (下文将区域 103简称为下区103)中，空心圆圏所表示的位置上的像素值Gobs (k， ig，
jg)的平均值和方差。
也就是说，计算电路24确定上区101中空心圆圈81-1到81-3、 81-10、 82-1、 82-2和82-9所表示的位置上的像素值Gobs (k， ig， jg)的平均值 EG1，以及确定那些像素值Gobs (k, ig， jg)的方差SGl。计算电路24还确 定中间区102中空心圓圈81-4到81-6、 82-3到82-5和83所表示的位置上 的像素值Gobs (k, ig， jg)的平均值EG1"。并且，计算电路24确定下区 103中空心圆圈81-7到81-9和82-6到82-8所表示的位置上的像素值Gobs (k, ig， jg)的平均值EGl、以及确定那些像素值Gobs (k, ig， jg)的方 差SG1'。
举例来说，如果存在与空心圆圏83所表示的感兴趣位置接近的水平边缘 104，那么，计及由于对象的精细图案引起的数据变化，对于上区101的平均 值EG1、中间区102的平均值EG1"和下区103的平均值EG1',如下不等式(c) 成立，因此，当不等式(c)满足时，计算电路24确定存在水平边缘。
EG1 + SGKEG1" <EGF - SGI' 或
EG1'+SG1' <EG1" <EG1 - SGI (c)
不等式(c)的使用使得可以防止由于精细图案等，像素值存在变化，因 此，方差SG1和SG1'大的区域被不正确地识别为存在边缘的区域。注意，是 否存在水平边缘的确定可以根据与不考虑方差，只包括平均值的(a)相似的不等式作出。
下面参考图3 0,描述确定是否存在从左上角向右下角延伸的边缘的方法。 在图30中，与图28中的那些相同的部分用相同的标号表示，这里不给出它 们的重复描述。
为了确定是否存在从左上角向右下角延伸的边缘114，计算电路24确定 包括区域AOl、区域A02和区域A12的左下边缘判断区111 (下文将区域lll 简称为左下区lll)中，空心圆圈所表示的位置上的像素值Gobs (k, ig, jg) 的平均值和方差、包括区域AOO、区域All和区域A22的中间边缘判断区112 (下文将区域112筒称为中间区112)中，空心圓圈所表示的位置上的像素 值Gobs(k, ig, jg)的平均值和方差和包括区域AIO、区域A20和区域A21 的右上边缘判断区113 (下文将区域113简称为右上区113)中，空心圓圏所 表示的位置上的像素值Gobs (k， ig， jg)的平均值和方差。
也就是说，计算电路24确定左下区111中空心圆圈81-9和82-3到82-8 所表示的位置上的像素值Gobs (k， ig， jg)的平均值EG2，以及确定那些像 素值Gobs (k， ig, jg)的方差SG2。计算电路24还确定中间区112中空心 圓圈81-7、 81-8、 82-1、 82-3和83所表示的位置上的像素值Gobs (k， ig， jg)的平均值EG2"。并且，计算电路24确定右上区113中空心圓圈81-1到 81-6、 81-10和82-9所表示的位置上的像素值Gobs (k， ig, jg)的平均值 EG2、以及确定那些像素值Gobs (k， ig, jg)的方差SG2'。
举例来说，如果在与空心圓圏83所表示的感兴趣位置接近的位置上存在 从左上角向右下角延伸的边缘114，那么，计及由于对象的精细图案引起的 数据变化，对于左下区111的平均值EG2、中间区112的平均值EG2"和右上 区113的平均值EG2、如下不等式(d)成立，因此，当不等式(d)满足时， 计算电路24确定存在从左上角向右下角延伸的边缘。
EG2 + SG2<EG2" <EG2' - SG2' 或
EG2' +SG2' < EG2" < EG2 — SG2 ( d )
不等式(d)的使用使得可以防止由于精细图案等，像素值存在变化，因 此，方差SG2和SG2'大的区域被不正确地识别为存在边缘的区域。注意，是否存在从左上角向右下角延伸的边缘的确定可以根据与不考虑方差，只包括 平均值的(a)相似的不等式作出。
下面参考图31 ，描述确定是否存在从右上角向左下角延伸的边缘的方法。
在图31中，与图28中的那些相同的部分用相同的标号表示，这里不给出它
们的重复描述。
为了确定是否存在从右上角向左下角延伸的边缘124,计算电路24确定 包括区域AOO、区域AOl和区域AIO的左上边缘判断区121 (下文将区域121 简称为左上区121)中，空心圆圏所表示的位置上的像素值Gobs (k, ig， jg) 的平均值和方差、包括区域A02、区域All和区域A20的中间边缘判断区122 (下文将区域122简称为中间区122)中，空心圆圏所表示的位置上的像素 值Gobs(k, ig, jg)的平均值和方差和包括区域A12、区域A21和区域A22 的右下边缘判断区123 (下文将区域123简称为右下区123)中，空心圆圈所 表示的位置上的像素值Gobs (k， ig， jg)的平均值和方差。
也就是说，计算电路24确定左上区121中空心圆圈81-10、 82-1到82-5 和82-9所表示的位置上的像素值Gobs (k, ig, jg)的平均值EG3，以及确 定那些像素值Gobs (k, ig， jg)的方差SG3。计算电路24还确定中间区1" 中空心圓圏81-1到81-3、 82-6、 82-7和83所表示的位置上的像素值Gobs (k， ig, jg)的平均值EG3"。并且，计算电路24确定右下区中空心圆 圈81-4到81-9和82-8所表示的位置上的像素值Gobs (k, ig, jg)的平均 值EG3',以及确定那些像素值Gobs (k, ig， jg)的方差SG3'。
举例来说，如果从左上角向右下角延伸的边缘U4位于空心圆圏83所表 示的感兴趣位置附近，那么，计及由于对象的精细图案引起的数据变化，对 于左上区121的平均值EG3、中间区122的平均值EG3"和右下区123的平均 值EG3、如下不等式(e)成立，因此，当不等式(e)满足时，计算电路24 确定存在从左上角向右下角延伸的边缘。
EG3 + SG3〈EG3" 〈EG3' - SG3' 或
EG3'+SG3' <EG3" <EG3 —SG3 (e)
不等式(e)的使用使得可以防止由于精细图案等，像素值存在变化，因此，方差SG3和SG3'大的区域被不正确地识别为存在边缘的区域。注意，是 否存在从右上角向左下角延伸的边缘的确定可以根据与不考虑方差，只包括 平均值的(a)相似的不等式作出。
正如参考图28到31所述的那样，计算电路24通过确定如上所述的不等 式是否满足，确定在4个方向，即，垂直方向、水平方向、从左上角到右下 角的方向和从右上角到左下角的方向的每一个中是否存在边缘。注意，计算 电路24不仅对绿色作出是否存在边缘的确定，而且对红色和蓝色作出是否存 在边缘的确定。
存在上面4个方向的几个方向中如上所述的不等式都满足的拟然性。由 于只能存在一个真边缘，因此，只应用一个最主要边缘，废弃其它边缘。 更具体地说，例如，计算电路24在检测到边缘的每个方向中计算如下值
I (EGm' - EGm) / (SGm' + SGm) |
其中，m-()到3,和计算电路24确定与最大值相对应的m。如果当m-0 时，值最大，垂直边缘被确定为主要的。如果111=1,水平边缘被确定为主要 的。如果111 = 2，沿着>^人左上角到右下角的方向延伸的边缘#1确定为主要的。 如果111=3,沿着从右上角到左下角的方向延伸的边缘被确定为主要的。注意， 在上面的方程中，lxl表示x的绝对值。
取决于在感兴趣位置上检测到的边缘的方向，计算电路24对在边缘部分 中的感兴趣位置上观测到的像素值Gobs (k， ig， jg)进行如下所述的特殊 处理。
也就是说，在特殊处理中，当将像素值Gobs (k, ig, jg)代入与绿光 强度相联系的弹簧方程(25)中时，将像素值Gobs (k， ig， jg)换成在边 缘部分中的位置上观测到的像素值Gobs (k， ig, jg)。
例如，按照如上所述的第一种或第二种方法，进行要代入的像素值Gobs (k, ig, jg)的改变。
在第一种方法中，当例如在图28到31中空心圆圈所表示的感兴趣位置 上检测到边缘时，废弃那个位置上的像素值Gobs (k, ig， jg)。也就是说， 不使检测到边缘的位置上的像素值Gobs (k， ig, jg)包含在与绿光强度相 联系的弹簧方程(25)中。换句话说，从如图22 (图23)所示的弹簧才莫型中除去沿着错误方向拉动光强度的弹簧，因此，可以更精确地确定Lg(i、 r) 的值(因此，可以获得更清晰的图像)。
在第二种方法中，用从在9个区域A00到A22中观测到的像素值Gobs( k， ig， jg)中计算的值替代，例如，图28到31中空心圆圈83所表示的感兴趣 位置上的像素值Gobs (k， ig, jg)，其中，9个区域A00到A22包含在如上 所述的边缘检测过程中，定义在感兴趣位置上的边缘判断区中，并且，将所 得替代值代入与绿光强度相联系的弹簧方程(25)中。
下面更详细地描述第二种方法。
图32示出了在;ft测到如图28所示的垂直边缘的状态下，包括空心圆圈 83所表示的感兴趣位置的区域A11。在图32中， 一轴定义在参考坐标系中的 X方向，参考坐标系中的Y方向定义在与X方向垂直的方向，和与X方向和Y 方向都垂直的轴代表像素值。
在如图32所示的例子中，为边缘判断区确定的平均值EGO、 EG(K和EGO" 和方差SGO和SGO'满足条件EGO' +SG(T < EGO" < EGO - SGO，因此，存在垂直 边缘。
在这种情况下，实心圓圏85所表示的位置(I - 0. 5, J - 0. 5 )上的纯绿 光强度Lg(1-0. 5, J-O. 5)和实心圆圈87所表示的位置(1-0.5， J + 0. 5 ) 上的纯绿光强度Lg (I - 0. 5， J + 0. 5 )大于在空心圆圈83所表示的感兴趣 位置(x， y)上观测到的像素值Gobs (k， ig, jg)。实心圓圏85所表示的 位置(I-0. 5, J-0. 5)上的纯绿光强度Lg (1-0.5， J-0. 5)与空心圓圈 83所表示的位置(x， y)上的像素值Gobs (k, ig， jg)之间的差值和实心 圆圈87所表示的位置(1-0.5， J + 0. 5)上的纯绿光强度Lg (1-0. 5, J + 0. 5)与空心圆圈83所表示的位置(x， y)上的像素值Gobs (k， ig, jg) 之间的差值依赖于平均值EGO和EG(T之间的差值，即，EG0-EG0'。
实心圆圈84所表示的位置(1 + 0.5, J-0. 5)上的纯绿光强度Lg (1 + 0.5， J-0. 5)和实心圆圈86所表示的位置(1 + 0. 5, J + 0. 5)上的纯绿光 强度Lg (1 + 0.5， J + 0. 5)大于在空心圓圈83所表示的感兴趣位置(x, y) 上观测到的像素值Gobs (k, ig, jg)。实心圓圈84所表示的位置(I + 0. 5， J-0.5)上的纯绿光强度Lg (1 + 0. 5， J-0. 5)与空心圓圏83所表示的位 置(x， y)上的像素值Gobs (k, ig, jg )之间的差值和实心圆圈86所表示 的位置(1 + 0.5， J + 0. 5)上的纯绿光强度Lg (1 + 0. 5, J + 0. 5)与空心圆圏83所表示的位置(x， y)上的像素值Gobs (k, ig， jg)之间的差值依赖 于平均值EGO和EGO'之间的差值，即，EG0-EG0'。
鉴于上面情况，计算电路24确定经过空心圓圈83所表示的位置(x， y) 上的像素值Gobs (k， ig， jg)和在X方向具有斜率p的平面Ql,其中，p =(EGO-EG(T ) /2。斜率p是将图28中左侧区91中的像素值的平均值EGO 与右侧区93中的像素值的平均值EGO'之间的差值除以左侧区91与右侧区93 之间在X方向的中心-中心距离，即，除以2确定的。斜率p表示垂直边缘 部分中的光强度在与边缘垂直的方向的变化率，即，斜率p表示边缘的斜率。
并且，计算电路24计算平面Q1中，实心圓圈85所表示的位置(1-0.5， J-0.5)上的值(像素值)。计算的像素值用GobsO(k, ig， jg)表示。并 且，计算电路24计算平面Ql中，实心圓圈87所表示的位置(I - 0. 5， J + 0.5)上的值(像素值)。计算的像素值用Gobsl (k， ig， jg)表示。类似地， 计算电路24计算平面Ql中，实心圆圈84所表示的位置(1 + 0. 5， J-0. 5) 上的值(像素值)和平面Ql中，实心圓圈86所表示的位置(1 + 0. 5， J + 0.5) 上的值(像素值)。所得的计算像素值分别用Gobs2 (k, ig， jg)和Gobs3 (k， ig， jg )表示。
由于平面Ql只在X方向具有斜率p，像素值GobsO(k， ig， jg)和Gobsl (k， ig， jg)彼此相等,和像素值Gobs2(k， ig， jg)和Gobs3(k, ig, jg)彼此相等。
在如上所述的第三实施例中，如图22所示，方程(25 )是根据代表位置
(r ， r )上的纯绿光强度Lg (i' ， r )和在位置(i', r )的附近观测到
的像素值Gobs (k， ig， jg)之间的平衡的弹簧模型写出的。这里，在位置
(r， r )的附近观测到的像素值Gobs (k， ig， jg)指的是相对于参考坐
标系中根据转换参数(ek, Tkx， Tky, Sk)通过转换第k图像的坐标系中的 位置(ig-O. 5， jg-0.5)获得的位置(x, y),其(k， ig， jg)满足I'-1《x〈I' + 1和J' - 1^y〈r + 1的那些l象素值Gobs ( k, ig， jg )。
在图32中，例如，当实心圓圈84所表示的位置(I + 0. 5， J-0. 5)被 选作感兴趣位置(I'， J')时，空心圆圏83所表示的位置(x， y)上的像素 值Gobs (k， ig, jg)包括在实心圆圈84所表示的位置的附近观测到的一组 Gobs (k, ig, jg)中。因此，在如上所述的第三实施例中，将空心圓圈83 所表示的位置(x， y)上的像素值Gobs (k， ig, jg)代入方程(25)中。施例中，取代空心圆圈83所表示的位置(x， y)上 的像素值Gobs(k， ig, jg),将计算值，即，平面Ql中实心圆圈84所表示 的位置(1 + 0.5， J-0.5)上的像素值Gobs2 (k, ig， jg)代入方程(25) 中。
当实心圆圈85所表示的位置(I - 0. 5， J - 0. 5 )被选作感兴趣位置(P , J')时，取代空心圆圈83所表示的位置(x， y)上的像素值Gobs (k, ig, jg),将平面Q1中实心圓圈85所表示的位置(1-0.5, J-0. 5)上的计算像 素值GobsO (k， ig， jg)代入方程(25)中。
在实心圓圈86所表示的位置(I + 0. 5， J + 0. 5 )被选作感兴趣位置(r ， J')的情况下，取代空心圆圈83所表示的位置(x， y)上的像素值Gobs (k， ig， jg),将平面Q1中实心圆圏86所表示的位置(1 + 0. 5， J + 0. 5)上的计 算像素值Gobs3 (k， ig, jg)代入方程(25)中。
当实心圆圈87所表示的位置(I - 0. 5, J + 0. 5 ) ^皮选作感兴趣位置(r , T )时，取代空心圓圈83所表示的位置(x, y)上的像素值Gobs (k, ig, jg),将平面Q1中实心圆圈87所表示的位置(1-0.5, J + 0. 5)上的计算像 素值Gobsl (k, ig, jg)代入方程(25)中。
如上所述，当在垂直边缘部分(其中绿光强度存在突变)中观测像素值 Gobs(k， ig, jg)(譬如，图32中空心圆圈83所表示的位置上的那个)时， 将像素值改变(校正)成取决于边缘的斜率p (像素值的变化率)的像素值 (Gobs0 (k, ig， jg)、 Gobsl (k， ig， jg)、 Gobs2 (k, ig， jg)、或Gobs3 (k， ig， jg)),将改变的像素值代入方程(25)中。结果，在弹簧模型中， 如图23所示指示Lg ( r ， J')的物体V祐L拉向正确位置，因此，获得的值
Lg (r， r )更有可能是纯绿光强度(因此，可以获得更清晰的图像)。
图33示出了在检测到如图29所示的水平边缘的状态下，包括空心圆圈 83所表示的感兴趣位置的区域A11。在图33中， 一轴定义在参考坐标系中的 X方向，参考坐标系中的Y方向定义在与X方向垂直的方向，和与X方向和Y 方向都垂直的轴代表像素值。
在如图33所示的例子中，为边缘判断区确定的平均值EG1、 EGr和EGl" 和方差SG1和SG1"禹足条件EG1' +SG1' <EG1" <EG1-SG1,因此，存在水平 边缘。
在这种情况下，实心圆圏84所表示的位置(1 + 0. 5, J-0. 5)上的纯绿光强度Lg(I + 0. 5， J-0. 5)和实心圆圈85所表示的位置(1-0. 5， J - 0. 5 ) 上的纯绿光强度Lg (1-0.5， J-0. 5)大于在空心圆圏83所表示的感兴趣 位置(x， y)上观测到的像素值Gobs (k， ig， jg )。实心圆圏84所表示的 位置(1 + 0.5， J-0. 5)上的纯绿光强度Lg (1 + 0. 5， J-0.5)与空心圆圏 83所表示的位置(x， y)上的像素值Gobs (k, ig， jg)之间的差值和实心 圓圏85所表示的位置(I-0. 5, J-0. 5)上的纯绿光强度Lg (1-0. 5, J + 0.5)与空心圓圈83所表示的位置(x， y)上的像素值Gobs (k, ig， jg) 之间的差值依赖于平均值EG1和EGr之间的差值，即，EG1-EGF。
实心圓圈86所表示的位置(1 + 0.5, J + 0. 5)上的纯绿光强度Lg (1 + 0.5， J + 0. 5)和实心圆圈87所表示的位置(1-0.5, J + 0.5)上的纯绿光 强度Lg (1-0.5， J + 0.5)大于在空心圓圏83所表示的感兴趣位置(x, y) 上观测到的像素值Gobs (k， ig， jg)。实心圆圈86所表示的位置(I + 0. 5， J + 0. 5)上的纯绿光强度Lg (1 + 0. 5, J + 0.5)与空心圆圈83所表示的位 置(x， y)上的像素值Gobs (k, ig, jg )之间的差值和实心圆圈87所表示 的位置(1-0. 5, J + 0. 5)上的纯绿光强度Lg (1-0. 5, J + 0. 5)与空心圆 圏83所表示的位置(x， y)上的像素值Gobs (k, ig, jg)之间的差值依赖 于平均值EG1和EG1'之间的差值，即，EG1-EG1、
鉴于上面情况，计算电路24确定经过空心圆圈83所表示的位置(x， y) 上的像素值Gobs (k, ig， jg)和在Y方向具有斜率p的平面Q2,其中，p - (EG1-EG1' ) /2。斜率p是将图29中上区101中的像素值的平均值EG1 与下区103中的像素值的平均值EG1'之间的差值除以上区101与下区103之 间在Y方向的中心-中心距离，即，除以2确定的。斜率p表示水平边缘部 分中的光强度在与边缘垂直的方向的变化率，即，斜率p表示边缘的斜率。
并且，计算电路24计算平面Q2中，实心圓圏85所表示的位置(I - 0. 5, J-0. 5)上的值(像素值)。计算的像素值用Gobs0(k， ig， jg)表示。并 且，计算电路24计算平面Q2中，实心圆圈87所表示的位置(I-0. 5， J + 0.5)上的值(像素值)。计算的像素值用Gobsl (k, ig， jg)表示。类似地， 计算电路24计算平面Q2中，实心圆圏84所表示的位置(1 + 0. 5, J-0. 5) 上的值(像素值)和平面Q2中，实心圆圈86所表示的位置(I + 0, 5， J + 0. 5 ) 上的值(像素值)。所得的计算像素值分别用Gobs2 (k， ig， jg)和Gobs3 (k, ig， jg)表示。由于平面Q2只在Y方向具有斜率p，像素值GobsO(k, ig, jg)和Gobs2 (k， ig， jg)彼此相等,和像素值Gobsl(k， ig, jg)和Gobs3(k， ig， jg)彼此相等。
对于水平边缘，与如图32所示的垂直边缘相似的方式进行替代。也就是 说，当实心圓圈84所表示的位置(1 + 0.5, J-O. 5)被选作感兴趣位置(I', ■P )时，取代空心圓圈83所表示的位置(x, y)上的像素值Gobs (k, ig， jg),将平面Q2中实心圓圏84所表示的位置(1 + 0. 5， J-0.5)上的计算像 素值Gobs2(k， ig, jg)代入方程(25)中。
当实心圆圏85所表示的位置(I - 0. 5， J - 0. 5 )被选作感兴趣位置(P , J')时，取代空心圆圈83所表示的位置(x， y)上的像素值Gobs (k， ig, jg),将平面Q2中实心圆圏85所表示的位置(1-0.5， J-0. 5)上的计算像 素值GobsO(k， ig, jg)代入方程(25)中。
当实心圓圈86所表示的位置(I + 0, 5, J + 0. 5 )被选作感兴趣位置(I', r )时，取代空心圆圏83所表示的位置(x， y)上的像素值Gobs (k, ig， jg),将平面Q2中实心圓圏86所表示的位置(I + 0. 5, J + 0.5)上的计算像 素值Gobs3 (k, ig， jg)代入方程(25)中。
当实心圆圈87所表示的位置(I - 0. 5， J + 0. 5 )被选作感兴趣位置(P , r )时，取代空心圆圏83所表示的位置(x, y)上的像素值Gobs (k， ig， jg),将平面Q2中实心圓圈87所表示的位置(1-0.5， J + 0. 5)上的计算像 素值Gobsl (k， ig, jg)代入方程(25)中。
如上所述，当在水平边缘部分(其中绿光强度存在突变)中观测像素值 Gobs(k, ig， jg)(譬如，图33中空心圓圈83所表示的位置上的那个)时， 将像素值改变(校正)成取决于边缘的斜率p (像素值的变化率)的像素值 (Gobs0 (k， ig， jg)、 Gobsl (k, ig， jg )、 Gobs2 (k， ig, jg)、或Gobs3 (k， ig， jg)),将改变的像素值代入方程(25)中。结果，在弹簧模型中， 如图23所示指示Lg ( I、 r )的物体V被拉向正确位置，因此，获得的值
Lg (r, r )更有可能是纯绿光强度(因此，可以获得更清晰的图像)。
图34示出了在;f企测到如图30所示沿着v^人左上角到右下角的方向延伸的 边缘的状态下，包括空心圓圏83所表示的感兴趣位置的区域All。在图34 中， 一轴定义在参考坐标系中的X方向，参考坐标系中的Y方向定义在与X 方向垂直的方向，和与X方向和Y方向都垂直的轴代表像素值。在如图34所示的例子中，为边缘判断区确定的平均值EG2、 EG2'和EG2" 和方差SG2和SG2"葛足条件EG2' + SG2' < EG2" < EG2 - SG2,因此，存在沿着 从左上角到右下角的方向延伸的边缘。
在这种情况下，实心圆圈84所表示的位置(1 + 0. 5, J-O. 5)上的纯绿 光强度Lg (1 + 0.5, J-0. 5)大于在空心圆圈83所表示的感兴趣位置(x， y)上观测到的像素值Gobs (k， ig， jg)。实心圆圈84所表示的位置(1 + 0.5， J-0.5)上的纯绿光强度Lg (1 + 0.5, J-0.5)与空心圆圏83所表示 的位置(x, y)上的像素值Gobs (k， ig, jg)之间的差值依赖于平均值EG2 和EG2'之间的差值，即，EG2-EG2'。
实心圓圈87所表示的位置(1-0.5， J + 0. 5)上的纯绿光强度Lg (I-0.5， J + 0. 5)大于在空心圆圈83所表示的感兴趣位置(x， y)上观测到的 像素值Gobs(k, ig, jg)。实心圓圈87所表示的位置(1-0.5, J + 0. 5 ) 上的纯绿光强度Lg (I-0. 5, J + 0. 5)与空心圓圈83所表示的位置(x, y) 上的像素值Gobs(k， ig, jg)之间的差值依赖于平均值EG2和EG2'之间的 差值，即，EG2-EG2'。
鉴于上面情况，计算电路24确定经过空心圓圈83所表示的感兴趣位置 (x， y)上的像素值Gobs (k， ig， jg)和在区域All的对角线方向具有斜 率p的平面Q3，其中，p= (EG2' - EG2) /2々2。斜率p是将图30中右上区 113中的像素值的平均值EG2'与左下区111中的像素值的平均值EG2之间的 差值除以2a/2，即，右上区113中的区域A20与左下区111中的区域A02之 间在实心圆圈84所表示的位置(I + 0. 5， J - 0. 5 )到实心圓圏87所表示的 位置(I-0. 5， J + 0. 5)的对角线方向的中心-中心距离确定的。注意，沿 着从左上角到右下角的方向延伸的边缘部分的斜率p表示光强度在与边缘垂 直的方向的变化率，即，斜率p表示边缘的斜率。
并且，计算电路24计算平面Q3中，实心圆圏85所表示的位置(I - 0. 5， J-0. 5)上的值(像素值)。计算的像素值用Gobs0 (k， ig， jg)表示。计 算电路24还计算平面Q3中，实心圆圈87所表示的位置(1-0.5, J + 0. 5 ) 上的值(像素值)。计算的像素值用Gobsl (k， ig， jg)表示。类似地，计 算电路24计算平面Q3中，实心圆圏84所表示的位置(1 + 0. 5, J - 0. 5 )上 的值(像素值)和平面Q3中，实心圆圈86所表示的位置(1 + 0. 5, J + 0. 5) 上的值(像素值)。所得的计算像素值分别用Gobs2 (k， ig， jg)和Gobs3(k， ig， jg )表示。
由于平面Q3只在区域A11的对角线方向，即，在实心圆圏84所表示的 位置(I + 0. 5， J - 0. 5 )到实心圓圈87所表示的位置(I - 0. 5， J + 0. 5 )的 方向具有斜率p,像素值GobsO(k, ig, jg)和Gobs3(k, ig, jg)彼此相等。
对于沿着从左上角到右下角的方向延伸的边缘，与如图32所示的垂直边 缘相似的方式进行替代。也就是说，当实心圓圈84所表示的位置(I + 0. 5， J-O. 5)被选作感兴趣位置(1、 J')时，取代空心圆圏83所表示的位置(x， y)上的像素值Gobs (k, ig, jg)，将平面Q3中实心圆圈84所表示的位置 (1 + 0.5, J-0. 5)上的计算像素值Gobs2 (k， ig, jg)代入方程(25)中。
当实心圆圈85所表示的位置(I - 0. 5， J - 0. 5 )被选作感兴趣位置(r ， J')时，取代空心圆圈83所表示的位置(x, y)上的像素值Gobs (k， ig, jg)，将平面Q3中实心圆圏85所表示的位置(1-0.5， J-0. 5)上的计算像 素值GobsO (k， ig, jg)代入方程(25)中。
当实心圆圈86所表示的位置(I + 0. 5， J + 0. 5 )被选作感兴趣位置(I'， r )时，取代空心圆圏83所表示的位置(x， y)上的像素值Gobs (k， ig， jg),将平面Q3中实心圓圈86所表示的位置(1 + 0. 5, J + 0. 5)上的计算像 素值Gobs3 (k, ig， jg)代入方程(25)中。
当实心圓圏87所表示的位置(I - 0. 5, J + 0. 5 )被选作感兴趣位置(r ， r )时，取代空心圓圈83所表示的位置(x， y)上的像素值Gobs (k， ig， jg)，将平面Q3中实心圓圈87所表示的位置(1-0. 5， J + 0. 5)上的计算像 素值Gobsl (k， ig, jg)代入方程(25)中。
如上所述，当在沿着从左上角到右下角的方向延伸的边缘部分(其中绿 光强度存在突变)中观测像素值Gobs (k， ig, jg)(譬如，图34中空心圆 圏83所表示的位置上的那个)时，将像素值改变(校正)成取决于边缘的斜 率p (像素值的变化率)的像素值(Gobs0 (k， ig， jg)、 Gobsl(k， ig， jg )、 Gobs2(k， ig， jg)、或Gobs3(k, ig, jg))，将改变的像素值代入方程(25 ) 中。结果，在弹簧模型中，如图23所示指示Lg ( I' , J')的物体V被拉向
正确位置，因此，获得的值Lg(r, r )更有可能是纯绿光强度(因此，可 以获得更清晰的图像)。
图35示出了在检测到如图31所示沿着从右上角到左下角的方向延伸的边缘的状态下，包括空心圆圈83所表示的感兴趣位置的区域All。在图35 中， 一轴定义在参考坐标系中的X方向，参考坐标系中的Y方向定义在与X 方向垂直的方向，和与X方向和Y方向都垂直的轴代表^f象素值。
在如图35所示的例子中，为边缘判断区确定的平均值EG3、 EG3'和EG3" 和方差SG3和SG3'满足条件EG3' + SG3' < EG3" < EG3 - SG3，因此，存在沿着 从右上角到左下角的方向延伸的边缘。
这种情况下，实心圆圈85所表示的位置(1-0.5, J-O. 5)上的纯绿光 强度Lg (1-0.5, J-0. 5)大于在空心圆圏83所表示的感兴趣位置(x, y) 上观测到的像素值Gobs (k, ig, jg)。实心圓圏85所表示的位置(I - 0. 5， J-0. 5)上的纯绿光强度Lg (1-0,5, J-0. 5)与空心圆圏83所表示的位 置(x, y)上的像素值Gobs (k, ig, jg)之间的差值依赖于平均值EG3和 EG3'之间的差值,即，EG3-EG3'。
实心圓圏86所表示的位置(1 + 0.5， J + 0. 5)上的纯绿光强度Lg (1 + 0.5, J + 0. 5)大于在空心圆圏83所表示的感兴趣位置(x, y)上观测到的 像素值Gobs(k, ig, jg)。实心圆圏86所表示的位置(1 + 0.5， J + 0. 5 ) 上的纯绿光强度Lg (1 + 0. 5， J + 0.5)与空心圆圏83所表示的位置(x, y) 上的像素值Gobs(k, ig， jg)之间的差值依赖于平均值EG3和EG3'之间的 差值，即，EG3-EG3'。
鉴于上面情况，计算电路24确定经过空心圓圈83所表示的感兴趣位置 (x， y)上的像素值Gobs (k， ig， jg)和在区域All的对角线方向(即在从 实心圓圈85所表示的位置(1-0.5， J-0. 5)到实心圆圏86所表示的位置 (1 + 0.5, J + 0. 5)的方向)具有斜率p的平面Q4，其中，p= (EG3-EG3') /2a/2。斜率p是将图31中左上区121中的像素值的平均值EG3与右下区123 中的像素值的平均值EG3'之间的差值除以2>/2,即，左上区121中的区域AOO 与右下区123中的区域A22之间在实心圆圏85所表示的位置(1-0.5， J-0.5)到实心圆圈86所表示的位置(1 + 0.5， J + 0. 5)的对角线方向的中心 -中心距离确定的。注意，沿着从右上角到左下角的方向延伸的边缘部分的 斜率p表示光强度在与边缘垂直的方向的变化率，即，斜率p表示边缘的斜率。
并且，计算电3各24计算平面Q4中，实心圓圏85所表示的位置(1-0. 5, J-0. 5)上的值(像素值)。计算的像素值用Gobs0(k， ig， jg)表示。计算电路24还计算平面Q4中，实心圆圈87所表示的位置(1-0.5, J + 0. 5 ) 上的值(像素值)。计算的像素值用Gobsl (k, ig， jg)表示。类似地，计 算电路24计算平面Q4中，实心圓圈84所表示的位置(1 + 0. 5， J - 0. 5 )上 的值(像素值)和平面Q4中，实心圓圈86所表示的位置(I + 0. 5, J + 0. 5) 上的值(像素值)。所得的计算像素值分别用Gobs2 (k, ig， jg)和Gobs3 (k， ig， jg )表示。
由于平面Q4只在区域All的对角线方向，即，在实心圆圏85所表示的 位置(I-0. 5, J-0. 5)到实心圆圈86所表示的位置(1 + 0. 5， J + 0. 5)的 方向具有斜率P,像素值Gobsl (k, ig， jg)和Gobs2(k， ig， jg)彼此相 等。
对于沿着从右上角到左下角的方向延伸的边缘，与如图32所示的垂直边 缘相似的方式进行替代。也就是说，当实心圆圏84所表示的位置(I + 0. 5， J - 0. 5 )被选作感兴趣位置(r , r )时，取代空心圆圏83所表示的位置(x， y)上的像素值Gobs (k, ig， jg)，将平面Q4中实心圆圏84所表示的位置 (1 + 0.5, J-0. 5)上的计算像素值Gobs2 (k， ig, jg )代入方程(25 )中。
当实心圆圏85所表示的位置(I - 0. 5, J - 0. 5 )被选作感兴趣位置(r , r )时，取代空心圆圈83所表示的位置(x， y)上的像素值Gobs (k, ig, jg)，将平面Q4中实心圆圈85所表示的位置(1-0.5, J-0. 5)上的计算像 素值Gobs0(k， ig， jg)代入方程(25)中。
当实心圆圏86所表示的位置(I + 0. 5， J + 0. 5 )被选作感兴趣位置(I', J')时，取代空心圆圏83所表示的位置(x， y)上的像素值Gobs (k， ig, jg)，将平面Q4中实心圓圈86所表示的位置(1 + 0.5， J + 0. 5)上的计算像 素值Gobs3 (k, ig, jg)代入方程(25)中。
当实心圆圈87所表示的位置(I - 0. 5, J + 0. 5 )被选作感兴趣位置(r ， P )时，取代空心圓圈83所表示的位置(x, y)上的像素值Gobs (k, ig, jg),将平面Q4中实心圆圈87所表示的位置(I-0. 5, J + 0.5)上的计算像 素值Gobsl (k， ig， jg)代入方程(25)中。
如上所述，当在沿着从右上角到左下角的方向延伸的边缘部分(其中绿 光强度存在突变)中观测像素值Gobs (k, ig， jg)(譬如，图35中空心圓 圈83所表示的位置上的那个)时，将像素值改变(校正)成取决于边缘的斜 率p(像素值的变化率)的像素值(Gobs0(k， ig， jg)、 Gobsl(k, ig, jg)、Gobs2(k， ig, jg)、或Gobs3(k， ig, jg)),将改变的像素值代入方程(25 ) 中。结果，在弹簧模型中，如图23所示指示Lg ( r, r )的物体V被拉向
正确位置，因此，获得的值Lg(r, r )更有可能是纯绿光强度(因此，可
以获得更清晰的图像)。
从上面的讨论中可以看出，在这个第六实施例中，与根据第三实施例的
方程(25)相对应的与绿光强度相联系的弹簧方程由如下所示的方程(34) 给出。注意，纯红光强度Lrr )和纯蓝光强度Lbr )可以以与
纯绿光强度Lg (r， r )相似的方式确定。
<formula>formula see original document page 89</formula>(34)
对于给定位置(i、 r ),方程(34)中的求和s是针对相对于参考坐标
系中根据转换参数(ek， Tkx, Tky, Sk)通过转换第k图像上的位置(ig-0.5， jg-O. 5)获得的位置(x， y),满足I' -l^x<:r +1和J' -Ky<r +1 的所有组合(k， ig， jg)而取的。
注意，当在包括在方程(34)中的整数(k， ig, jg)的组合之一的像素 值Gobs (k, ig， jg)的位置上检测到垂直边缘、水平边缘、从左上角向右 下角延伸的边缘和从右上角向左下角延伸的边缘之一时，取代(k， ig, jg) 的像素值Gobs (k， ig， jg)，将经过(k， ig, jg)的像素值Gobs (k， ig，
jg)和斜率p等于边缘的斜率的平面中位置(r, r )上的计算像素值代入
方程(34)的Gobs' (k, ig， jg)中。当在包括在方程(34)中的整数(k， ig， jg)的任何组合的像素值Gobs (k， ig, jg)的位置上都没有检测到垂 直边缘、水平边缘、从左上角向右下角延伸的边缘和从右上角向左下角延伸 的边缘之一时，将(k, ig， jg)的像素值Gobs (k, ig， jg)直接代入方程 (34)中的Gobs' (k， ig， jg)中。
并且，在这个第六实施例中，与根据第三实施例的方程(26)和(27) 相对应的与红光强度相联系的弹簧方程和与蓝光强度相联系的弹簧方程由如 下所示的方程(35 )和(36 )给出。=0
(35)
对于给定位置(i、 r )，方程(35)中的求和i:是针对相对于参考坐标
系中根据转换参数(ek， Tkx， Tky， Sk)通过转换第k图像上的位置(ir-0.5, jr —0. 5)获得的位置(x, y),满足I' - l^x<r十1和J' - lSy〈尸+1 的所有组合(k, ir， jr)而取的。
注意，当在包括在方程(35)中的整数(k, ir, jr)的组合之一的像素 值Robs (k， ir, jr )的位置上检测到垂直边缘、水平边缘、从左上角向右 下角延伸的边缘和从右上角向左下角延伸的边缘之一时，取代(k， ir, jr) 的像素值Robs (k， ir， jr),将经过(k, ir， jr)的像素值Robs (k, ir， jr )和斜率p等于边缘的斜率的平面中位置(r, r )上的计算像素值代入 方程(35)的Robs' (k, ir， jr)中。当在包括在方程(35 )中的整数(k, ir， jr)的任何组合的像素值Robs (k， ir， jr )的位置上都没有4企测到垂 直边缘、水平边缘、从左上角向右下角延伸的边缘和从右上角向左下角延伸 的边缘之一时，将(k, ir, jr)的像素值Robs (k， ir， jr)直接代入方程 (35 )中的Robs' (k， ir， jr )中。
:0 ... (36)
对于给定位置(I', r )，方程(36)中的求和S是针对相对于参考坐标 系中根据转换参数(ek， Tkx, Tky， Sk)通过转换第k图像上的位置(ib-0.5， jb-O. 5)获得的位置(x， y)，满足I' - l^x<r + 1和J' - 1W +1 的所有组合(k, ib， jb)而取的。
注意，当在包括在方程(36)中的整数(k, ib, jb)的组合之一的像素 值Bobs (k, ib, jb)的位置上才企测到垂直边缘、水平边缘、从左上角向右 下角延伸的边缘和从右上角向左下角延伸的边缘之一时，取代(k, ib, jb) 的像素值Bobs (k, ib, jb),将经过(k, ib, jb)的像素值Bobs (k, ib， jb)和斜率p等于边缘的斜率的平面中位置(I' ， J')上的计算像素值代入 方程(36)的Bobs' (k, ib, jb)中。当在包括在方程(36 )中的整数(k,ig, jg)的任何组合的〗象素值Bobs (k， ib， jb)的位置上都没有^r测到垂 直边缘、水平边缘、从左上角向右下角延伸的边缘和从右上角向左下角延伸 的边缘之一时，将(k, ib， jb)的像素值Gobs (k, ib, jb)直接代入方程 (36)中的Bobs' (k， ib， jb)中。
现在，参照如图36所示的流程图，描述根据本发明第六实施例的如图2 所示的步骤S4中的正确图像估计过程。
首先，在步骤S141中，计算电路24选择参考坐标系中的位置(r， r)
(下文称这样的所选位置为感兴趣位置(i', r))。注意，感兴趣位置U',
r )位于取作参考图像的第一图像的第(i, j)像素的中心(i-O. 5, j-O. 5)。 此后，过程从步骤S141转到步骤S142。在步骤S142中，计算电路24 针对第一到第N图像中的每一个的感兴趣位置(I、 r )，确定相对于参考坐 标系中根据转换参数(ek, Tkx， Tky, Sk)转换检测第k图像的绿光成分的 像素的中心位置(ig-O. 5, jg-O. 5)获得的位置(x， y),满足I' - Kx〈I' + 1和J' - lSy<r + 1的整数(k， ig， jg)的所有组合。此后，过程转到步 骤S143。
在步骤S143中，计算电路24为在步骤S142中确定的整数(k， ig， jg) 的每种组合确定是否存在垂直边缘、水平边缘、从左上角向右下角延伸的边 缘和从右上角向左下角延伸的边缘。如果在步骤S143中确定存在沿着4个方 向之一延伸的边缘，过程转到步骤S144。在步骤S144中，对于与检测到边 缘的位置相对应的每种组合(k, ig, jg)，计算电路24生成(确定)经过像 素值Gobs (k, ig， jg)和斜率等于边缘的斜率p的平面。然后，计算电路 24计算该平面中感兴趣位置(r， r )上的值(像素值)。此后，过程从步 骤S144转到步骤S145。
在步骤S143中确定在4个方向的任何一个中都没有边缘的情况下，过程 转到步骤S145。注意，在完成步骤S1"之后，过程也转到步骤S145。在步 骤S145中，计算电路24利用在步骤S142中确定的(k, ig， jg)的所有组 合，为绿光强度生成形式(34)的弹簧方程。此后，过程转到步骤S146。对 于在步骤S143中检测到边缘的在参考坐标系中与(k, ig, jg)相对应的位 置上的像素值Gobs (k， ig， jg),计算电路24将在步骤S144中确定的平面 中位置(r， r )上的值(像素值)用作检测到边缘的(k， ig， jg)的像素 值Gobs(k, ig， jg),和计算电路24将它代入方程(34)中的像素值Gobs'(k, ig， jg)中。但是，对于像素值Gobs (k, ig, jg)，如果在步骤S143 中确定在参考坐标系中与(k， ig, jg)相对应的位置上，在4个方向的任何 一个中都没有边缘，计算电路24直接将(k, ig, jg)的像素值Gobs (k， ig， jg)代入方程(34)中的像素值Gobs' (k, ig, jg)中。
在步骤S146中，计算电路24针对第一到第N图像中的每一个的感兴趣 位置(r, J'),确定相对于参考坐标系中根据转换参数(ek， Tkx， Tky, Sk) 通过转换;险测第k图像的红光成分的像素的中心位置(ir - 0. 5， jr - 0. 5 ) 获得的位置(x, y)，满足r - 1^x〈I' +1和卩-lSyW十l的整数(k， ir， jr)的所有组合。此后，过程转到步骤S147。
在步骤S147中，计算电路24为在步骤S146中确定的整数(k, ir, jr ) 的每种组合确定是否存在垂直边缘、水平边缘、从左上角向右下角延伸的边 缘和从右上角向左下角延伸的边缘。如果在步骤S147中确定存在沿着4个方 向之一延伸的边缘，过程转到步骤S148。在步骤S148中，对于与检测到边 缘的位置相对应的每种组合(k, ir, jr)，计算电路24生成(确定)经过像 素值Robs (k, ir， jr)和斜率等于边缘的斜率p的平面。然后，计算电路 24计算该平面中感兴趣位置(r, J')上的值(像素值)。此后，过程从步 骤S148转到步骤S149。
在步骤S147中确定在4个方向的任何一个中都没有边缘的情况下，过程 转到步骤S149。注意，在完成步骤S148之后，过程也转到步骤S149。在步 骤S149中，计算电路24利用在步骤S146中确定的(k, ir， jr)的所有组 合，为红光强度生成形式(35)的弹簧方程。此后，过程转到步骤S150。对 于在步骤S147中检测到边缘的在参考坐标系中与(k, ir， jr)相对应的位 置上的像素值Robs (k， ir, jr ),计算电路24将在步骤S148中确定的平面 中位置U、 T )上的值(像素值)用作检测到边缘的(k， ir， jr)的像素 值Robs(k， ir， jr)，和计算电路24将它代入方程(35 )中的像素值Robs' (k， ir, jr)中。但是，对于像素值Robs (k， ir, jr),如果在步骤S147 中确定在参考坐标系中与(k, ig, jg)相对应的位置上，在4个方向的任何 一个中都没有边缘，计算电路24直接将(k， ir， jr)的像素值Robs (k, ir, jr)代入方程(35)中的像素值Robs' (k, ir, jr)中。
在步骤S150中，计算电路24针对第一到第N图像中的每一个的感兴趣 位置(r, r ),确定相对于参考坐标系中根据转换参数(ek， Tkx, Tky， Sk)转换检测第k图像的蓝光成分的像素的中心位置(ib-0. 5， jb-0. 5)获得 的位置(x， y )，满足r - lSx〈I' + 1和J' - 1^y〈J' + 1的整数(k， ib， jb ) 的所有组合。此后，过程转到步骤S151。
在步骤S151中，计算电路24为在步骤S150中确定的整数(k, ib， jb) 的每种组合确定是否存在垂直边缘、水平边缘、从左上角向右下角延伸的边 缘和从右上角向左下角延伸的边缘。如果在步骤S151中确定存在沿着4个方 向之一延伸的边缘，过程转到步骤S152。在步骤S152中，对于与检测到边 缘的位置相对应的每种组合(k, ir， jr),计算电路24生成(确定)经过像 素值Bobs (k, ib, jb)和斜率等于边缘的斜率p的平面。然后，计算电路 24计算该平面中感兴趣位置(r， r )上的值(像素值)。此后，过程从步 骤S152转到步骤S153。
在步骤S151中确定在4个方向的任何一个中都没有边缘的情况下，过程 转到步骤S153。注意，在完成步骤S152之后，过程也转到步骤S153。在步 骤S153中，计算电路24利用在步骤S150中确定的(k, ib, jb)的所有组 合，为蓝光强度生成形式(36)的弹簧方程。此后，过程转到步骤S154。对 于在步骤S151中检测到边缘的在参考坐标系中与(k, ir, jr)相对应的位 置上的l象素值Bobs (k， ib, jb),计算电路24将在步骤S152中确定的平面 中位置(I', r )上的值(像素值)用作检测到边缘的(k， ib, jb)的像素 值Bobs(k， ib, jb),和计算电路24将它代入方程(36 )中的像素值Bobs' (k, ib， jb)中。但是，对于像素值Bobs (k， ib， jb),如果在步骤S151 中确定在参考坐标系中与(k, ig, jg)相对应的位置上，在4个方向的任何 一个中都没有边缘，计算电路24直接将(k, ib， jb)的像素值Bobs (k， ib, jb)代入方程(36)中的像素值Bobs' (k， ib， jb)中。
在步骤S154中，计算电路24求解都具有线性方程的形式、在步骤S145 中确定的与绿光强度相联系的弹簧方程(34)、在步骤S149中确定的与红光 强度相联系的弹簧方程(35 )和在步骤S153中确定的与蓝光强度相联系的弹 簧方程(36 ),从而确定感兴趣位置(r ， J')上的纯绿光强度Lg ( I' ， J')、
纯红光强度Lr (r, r )和纯蓝光强度Lb (i', r )。此后，过程转到步骤
S155。
在步骤S155中，计算电路24确定是否对所有可能位置(I' , J')都已 完成了上述过程，即，是否已经将第一图像的所有像素的每一个的中心位置取作感兴趣位置(r ， r )确定了纯绿光强度Lg (r, r )、纯红光强度Lr (r, r )和纯蓝光强度Lb (r, r )。
如果在步骤S155中确定还没有对所有可能感兴趣位置(i' ， r )都完成
了上述过程，过程返回到步骤S141，重复步骤S141到S155。也就是说，计
算电路24选择还没有选为感兴趣位置的位置(i', r ),作为新感兴趣位置， 并且确定感兴趣位置(i' ， r )上的纯绿光强度Lg (i' ， r )、纯红光强度 Lr (r, r )和纯蓝光强度Lb (r ， r )。
另一方面，在步骤S155中确定已经将所有可能位置(i'， r)取作感兴
趣位置完成了上述过程的情况下，过程转到步骤S156。在步骤S156中，计 算电路24从在步骤S154中确定的纯绿光强度Lg (I、 J')、纯红光强度Lr
(r ， r )和纯蓝光强度Lb (i', r )中估计正确图像(信号)。将所得图
像作为输出图像供应给D / A转换器9或编解码器12 ，并且从当前过程中退出。 例如，对于第(i, j)像素，计算电路24从在步骤S154中作为绿光值(G 信号)确定的纯绿光强度Lg (i-O. 5, j-O. 5)、在步骤S154中作为红光值 (R信号)确定的纯红光强度Lr (i-0. 5， j-0.5)和在步骤S154中作为蓝 光值(B信号)确定的纯蓝光强度Lb ( i - 0. 5， j - 0. 5 )中估计它们的正确 图像信号。计算电路24通过对中心位于所选位置(r， J')的所有像素估计 图像信号，估计输出图像。
在第六实施例中，如上所述，对于在边缘部分中观测到的像素值，像素 值随边缘的斜率(像素值的变化率)而改变，并且将所得的改变像素值代入 相应弹簧方程中。这使得可以获得更有可能是正确图像的图像。也就是说， 可以获得更清晰的图像。
在如上所述的例子中，用取决于边缘的斜率(P走度)的感兴趣位置(P ，
r)上的像素值取代位于边缘部分的像素值。可选地，例如，可以直接使用 边缘部分中的像素值，和依到感兴趣位置(r， J')的距离而定地修正权重， 以便位于边缘部分中的像素值对弹簧方程没有显著影响。
在如上所述的例子中，在参考坐标系中利用在中心位于位置(x, y)的 9个区域(即，大小为3 x 3个像素的区域)内观测的像素值确定平面Ql到 Q4的斜率。可选地，可以利用在不同选择的区域中观测的像素值确定平面Ql 到Q4的斜率。例如，可以应用16个区域(即，大小为4x4个像素的区域)。
现在，描述根据本发明第七实施例的信号处理器7执行的正确图像估计过程。第七实施例是前面参考图24所述的第三实施例的变型。
也就是说，在第七实施例中，除了弹簧方程(25)、 (26)和(27)之外， 使与R、 G和B信号之间的颜色相关性相联系的约束施加在确定纯绿光强度 Lg (x， y)、纯红光强度Lr (x， y)和纯蓝光强度Lb (x, y)的过程上。
在图像的局部区域中，与源自对象和入射在成像器件4上的光线相对应 的纯绿光强度Lg (x, y)、纯红光强度Lr (x， y)和纯蓝光强度Lb (x， y) 的颜色之间存在颜色相关性。因此，通过对真图像的估计施加颜色相关性约 束，可以生成更可能是正确图像的更清晰低噪声图像。
下面参考图37和38,描述确定颜色相关性约束的具体方法。在如下参 考图37和38的描述中，将讨论例如绿色和红色之间的相关性。
例如，对如图37的左下部所示的第k'图像的第(ig， jg)位置上的绿 光像素G ( jg-1) ( ig-l)和如图37的右下部所示的第k"图像的第(ir, jr) 位置上的红光像素R ( jr-l ) ( ir-l )加以讨i仑。
计算电路24以与根据第三实施例的方式相似的方式，利用转换参数 (ek'， Tk'x, Tk'y, Sk"和(6k"， Tk"x, Tk"y， Sk")，将第k'图像的绿 光像素G (jg-l) ( ig-l )和第k"图像的红光像素R (jr-1) ( ir-l)的位置 转换成图37的上方第一图像的坐标系中的位置。
然后，计算电路24计算转换到第一图像的坐标系的位置上的第V图像 的绿光像素G (jg-l) (ig-1)与转换到第一图像的坐标系的位置上的第k" 图像的红光像素R ( jr-1) ( ir-l)之间的距离。并且，计算电路24通过确 定计算的距离是否小于最大许可值(阈值)A (例如设置成像素尺寸的0.25 倍)，确定是否可以认为这两个像素位于相同位置上。
当像素G ( jg-l ) ( ig-l )和R ( jr-l ) ( ir-l)的位置分别作为位置(ig， jg)和(ir, jr)给出时，如果第k'图像的坐标系中像素G (jg-l) (ig-l) 的位置(ig， jg)被表示成G(。)，第k"图像的坐标系中像素R ( jr-1) (ir-l) 的位置(ir， jr)被表示成R(。)，第一图像的坐标系中像素G (jg-l ) ( ig-l ) 的位置(ig, jg)被表示成G"k,)，和第一图像的坐标系中像素R( jr-l) (ir-l) 的位置(ir, jr )被表示成R"k,,)，那么，要求点G"k,)和点R^，)之间的距离应 该在许可值A内的约束由如下所示的公式(37)给出。cos(W) -sin(欣')Yg〕 ■ 「7Tx〕 c, 「cos(eF) -sin(W)丫/r) ，x、
+
sin(狄')cos(狄')人ygJ (sin(W) cos(9Ar")人/ ^
《△
(37)
将公式(37)称为距离约束公式。在公式(37)中，Dis[G"k,)， IU")]表 示点G"k。和点IU,)之间的距离。通过利用转换参数(ek', Tk'x, Tk'y， Sk') 和(ek"， Tk"x， Tk"y, Sk")，对位置(ig, jg)和(ir， jr)进行仿射变换, 获得点G。(k,)和点Rc(k,的位置。
计算电路24确定在第一图像的坐标系中中心在位置(r, r )上的小区 域(I'士dx， J'土dy)中,即，在其角位于(r一dx， J'-dy )、 (r-dx，尸十dy )、 (r+dx, r-dy)和(r+dx， r+dy)的矩形区域中，是否存在许可容限A 内可以认为相同的位置上的第k'图像的绿光像素G ( jg-l) (ig-l)和第k" 图像的红光像素R (jr-l) (ir-1)，其中，dx和dy是定义位置(x, y)的附 近区域的值，和沿着X方向和Y方向，例如分别将它们设置成等于像素尺寸 的2倍。
换句话说，计算电路24在第一图像的坐标系中中心在位置(r, r)上 的小区域(r土dx, r士dy)内，即，在其角位于(I'-dx， J'-dy)、 (r—dx， J'+dy)、 ( r+dx, J'-dy)和(I'+dx， J'+dy )的矩形区域中确定满足公式(37) 的(k\ ig, jg)和(k"， ir， jr)。
然后，计算电路24获取分别与确定的(k'， ig， jg)和(k"， ir， jr) 相对应的像素值Gobs (k', ig, jg)和Robs (k", ir, jr)。
计算电路24为从1到N的范围内k'和k"的所有可能组合确定满足公式 (37)的(k', ig, jg)和(k"， ir， jr)。
一4殳说来，才企测到(k、 ig, jg)和(k", ir， jr)的多种组合，和如 图38所示，计算电路24在水平轴代表G信号(Gobs (k'， ig， jg))和垂直 轴代表R信号(Robs (k"， ir， jr ))的GR空间中画出与4企测的(k、 ig， jg)和(k"， ir, jr)相对应的像素值Gobs (k', ig， jg)和Robs(k"， ir， jr)。
图38示出了画出满足公式(37)的数组像素值Gobs (k'， ig, jg)和 Robs (k"， ir, jr)的GR空间。
在图38中，每个像x那样的标记表示与计算电路24检测的(k', ig, jg)和(k", ir, jr )相对应的一对像素值Gobs (k、 ig, jg)和Robs(k",ir， jr)，即，满足公式(37)的一对像素值Gobs (k、 ig, jg)和Robs(k", ir， jr)。
如图38所示的这些曲线表示要在感兴趣位置(I' ， r )附近确定的纯绿 光强度Lg ( P , r )和纯红光强度Lr ( I' ， r )之间存在相关性。
因此，在第七实施例中，除了由第三实施例中的公式(25)到(27)给 出的弹簧约束之外，还要加入如图38所示的绿色和红色之间的相关性作为约 束。
计算电路24对在如图38所示的GR空间中画出的多个点进行主要成分分 析，其中，每个画出点对应于计算电路24按满足距离约束(37)检测的一对 像素值Gobs(k'， ig, jg)和Robs (k", ir， jr)。
然后，计算电路24按照主要成分分析结果确定主要方向和确定代表所确 定方向(轴)的直线QgxG + Qr xR = Qc,其中，Qg、 Qr和Qc是与GR空间中 的直线相联系的常数，和G和R是GR空间中与G和R信号相联系的变量。并 且，计算电路24确定沿着与主要方向垂直的方向的方差。
这里，引入自然长度为0和弹簧常数(强度)为H的弹簧。弹簧常数可 以是与在GR空间中确定的主要成分的方向垂直的成分的方差的任意单调下 降函^:。例如，可以-使用H= (1/variance (方差))。在任何情况下，弹簧 的强度(弹簧常数)都随方差的减小而增大。
在GR空间中弹簧常数为H的弹簧的一端与点(Lg(I'， JO， Lr(r, JO ) 相连，和弹簧的另一端是这样连接的，它可以移动到直线QgxG + Qr xR = Qc 上的任意点。结果，沿着从点(Lg(I', J0， Lr(r， JO)到直线QgxG + QrxR-Qc的垂直线的方向拉动点(Lg(r， J0， Lr(I', J'))。也就是说，
这样拉动点(Lg(r, r)， Lr(i、 r))，使颜色相关性约束(g和r信号之 间)得到满足。
这里，如果点(Lg(r, r)， Lr(r， r))和沿着主要成分的方向延伸
的直线QgxG + Qr xR-Qc之间的距离用u表示，那么，弹簧常数为H的弹簧
施加在点(Lg(r， r)， Lr(i'， r))上的拉力由Hxu给出(下文称这个力
为GR弹簧力)。将GR空间中的GR弹簧力H x u分解成G信号成分和R信号成 分，并且，将这些成分分别加入方程(25)和(26)的左侧中，以便在方程 (25)和(26)中计及颜色相关性。
绿色(G)信号和蓝色(B)信号之间的颜色相关性按如下处理。与上面参考图37所述的绿色信号和红色信号之间的颜色相关性的情况 一样，计算电路24利用转换参数(0k'， Tk'x, Tk'y， Sk"和(ek〃', Tk'〃x, Tk'〃y， Sk〃')，将第k'图像的绿光像素G (jg-l) ( ig-l)和第k〃'图像的蓝光 像素B (jb-l) ( ib-l)的位置转换成第一图像的坐标系中的位置。
然后，计算电路24计算转换到第一图像的坐标系的位置上的第k'图像 的绿光像素G (jg-l) (ig-l)与转换到第一图^f象的坐标系的位置上的第k〃' 图像的蓝光像素B (jb-l) ( ib-1)之间的距离。并且，计算电路24通过确 定计算的距离是否小于最大许可值(阈值)A，确定是否可以认为这两个像素 位于相同位置上。
当像素G ( jg-l) ( ig-1)和B (jb-l) ( ib-l)的位置分别作为位置(ig， jg)和(ib, jb)给出时，如果第k'图像的坐标系中像素G (jg-l) (ig-l) 的位置(ig， jg)被表示成Gw,第k〃'图像的坐标系中像素B(jb-l) (ib-l) 的位置(ib, jb)被表示成Bw,第一图像的坐标系中像素G ( jg-l) (ig-1) 的位置(ig， jg)被表示成G"k,),和第一图像的坐标系中像素B( jb-l) (ib-l) 的位置(ib， jb)被表示成fU,〃,，那么，要求点G。(k,)和点R。(k〃,)之间的距离应 该在许可值A内的约束由如下所示的公式(38)给出。
<formula>formula see original document page 98</formula>
(38)
将公式(38)称为距离约束公式。在公式(38)中，Dis[G"k,)， B"k〃,)]表 示点G。(k,)和点Be(k,〃)之间的距离。通过利用转换参数(ek、 Tk'x， Tk'y， Sk') 和(ek〃'， Tk'〃x， Tk〃'y， Sk〃'),对位置(ig, jg)和(ib, jb)进行仿射变 换，获得点^^和点8^〃,)的位置。
计算电路24确定在第一图像的坐标系中中心在位置(r， J')上的小区 域(r土dx， J'土dy)中，即，在其角位于(r-dx, J'-dy)、 (r-dx， r+dy)、 (r+dx， r-dy)和(I'+dx， T+dy)的矩形区域中，是否存在许可容限A 内可以认为相同的位置上的第k'图像的绿光像素G ( jg-l) ( ig-l)和第k〃' 图像的蓝光像素B (jb-l) (ib-l )，其中，dx和dy是定义位置(x, y)的附近区域的值，和沿着X方向和Y方向，例如分别将它们设置成等于像素尺寸 的2倍。
换句话说，计算电路24在第一图像的坐标系中中心在感兴趣位置(I'， r )上的小区域(I'土dx， r士dy)内，即，在其角位于(I'-dx， J'-dy)、 ( r-dx， J'+dy)、 (r+dx, r-dy)和(r+dx, r+dy)的矩形区域中确定满足公式(38) 的(k' , ig, jg)和(k'", ib, jb)。
然后，计算电路24获取分别与确定的(k'， ig, jg)和(k'〃， ib， jb) 相对应的像素值Gobs (k、 ig, jg)和Bobs (k〃'， ib, jb)。
计算电路24为从1到N的范围内k'和k〃'的所有可能组合确定满足公式 (38)的(k', ig， jg)和(k〃'， ib, jb)。
一般说来，才企测到(k'， ig, jg)和(k'〃， ib, jb)的多种组合，和计 算电路24在水平轴代表G信号(Gobs (k、 ig， jg))和垂直轴代表B信号 (Bobs (k〃'， ib, jb))的GB空间中画出与^企测的(k、 ig, jg)和(k'〃， ib， jb)相对应的像素值Gobs (r , ig， jg )和Bobs (k〃'， ib， jb)。
因此，在第七实施例中，除了由第三实施例中的公式(25)到(27)给 出的弹簧约束之外，还要加入所示的绿色和红色之间的相关性作为约束。
计算电路24对在GR空间中画出的多个点进行主要成分分析，其中，每 个画出点对应于计算电路24按满足距离约束(38)检测的一对像素值Gobs (k', ig， jg)和Robs (k〃'， ir， jr)。
然后，计算电路24按照主要成分分析结果确定主要方向和确定代表所确 定方向(轴)的直线Qg' x G + Qb' x B = Qc、其中，Qg' 、 Qb'和Qc'是GR空 间中与直线相联系的常数，和G和B是GB空间中与G和B信号相联系的变量。 并且，计算电路24确定沿着与主要方向垂直的方向的方差。
这里，引入自然长度为0和弹簧常数(强度)为H的弹簧。弹簧常数可 以是与在GB空间中确定的主要成分的方向垂直的成分的方差的任意单调下 降函数。例如，可以使用H= (1/variance)。在任何情况下，弹簧的强度(弹 簧常数)都随方差的减小而增大。
在GB空间中弹簧常数为H的弹簧的一端与点(Lg(I'， J0， Lb(I'， J')) 相连，和弹簧的另一端是这样连接的，它可以移动到直线Qg' xG' xB -Qc'上的任意点。结果，沿着从点(Lg(I'， JO, Lb(r， JO)到直线Qg' xG + Qb' xB-Qc'的垂直线的方向拉动点(Lg(r， JO, Lb(I', J'))。也就是说，这样拉动点(Lg(i、 r)， LB(r, 使颜色相关性约束(G和B 信号之间)得到满足。
这里，如果点(Lg(i', jo, Lb(i', r))和沿着主要成分的方向延伸
的直线Qg' xG + Qb' xB-Qc'之间的距离用u表示，那么，弹簧常数为H的
弹簧施加在点(Lg(i', r)， Lb(r， r))上的拉力由Hxu给出(下文称这
个力为GB弹簧力)。将GB空间中的GB弹簧力H x u分解成G信号成分和B信 号成分，并且，将这些成分分别加入方程(25)和(27)的左侧中，以便在 方程(25)和(27)中计及颜色相关性。
尽管在本实施例中，使用了与GR空间中的颜色相关性相联系的约束和与 GB空间中的颜色相关性相联系的约束，但是，除了上面的约束之外，也可以 应用与R信号和B信号之间的颜色相关性(在RB空间中)相联系的相似约束。
现在，参照如图39所示的流程图，描述根据本发明第七实施例的如图2 所示的步骤S4中的正确图像估计过程。
步骤S171到S177与上面参考图24所述的根据第三实施例的正确图像估 计过程中的步骤S71到S77相似。
也就是说，在步骤S171中，计算电路24选择参考坐标系中的位置(r，
r )(下文称这样的所选位置为感兴趣位置(i', r ))。注意，感兴趣位置(i'，
r )位于取作参考图像的第一图像的第(i， j)像素的中心(i-O. 5， j-O. 5)。 此后，过程从步骤S171转到步骤S172。在步骤S172中，计算电i 各24
针对第一到第n图像中的每一个的感兴趣位置(i、 r )，确定相对于参考坐
标系中根据转换参数(ek， Tkx, Tky, Sk)通过转换检测第k图像的绿光成 分的像素的中心位置(ig-O. 5, jg-O. 5)获得的位置(x， y),满足r -
ia<r +1和r -i^y<r +1的整数(k， ig， jg)的所有组合。此后，过程
转到步骤S173。
在步骤S173中，计算电路24利用在步骤S172中确定的(k， ig， jg ) 的所有组合，为绿光强度生成形式(25)的弹簧方程。此后，过程转到步骤 S174。
在步骤S174中，计算电路24针对第一到第N图像中的每一个的感兴趣 位置(r, r ),确定相对于参考坐标系中根据转换参数(ek, Tkx, Tky， Sk) 通过转换检测第k图像的红光成分的像素的中心位置(ir - 0. 5, jr - 0. 5 ) 获得的位置(x， y )，满足I' - lSx〈I' + 1和J' - l^y<r + 1的整数(k， ir，jr)的所有组合。此后，过程转到步骤S175。
在步骤S175中，计算电^各24利用在步骤S174中确定的(k， ir, jr) 的所有组合，为红光强度生成形式(26)的弹簧方程。此后，过程转到步骤 S176。
在步骤S176中，计算电路24针对第一到第N图像中的每一个的感兴趣 位置(r, r ),确定相对于参考坐标系中根据转换参数(ek, Tkx， Tky， Sk) 通过转换检测第k图像的蓝光成分的像素的中心位置(ib - 0. 5， jb - 0. 5 ) 获得的位置(x, y ),满足r - l;x〈r + 1和J' - l^y<r + l的整数(k， ib， jb)的所有组合。此后，过程转到步骤S177。
在步骤S177中，计算电路24利用在步骤S176中确定的(k， ib, jb) 的所有组合，为蓝光强度生成形式(27)的弹簧方程。此后，过程转到步骤 S178。
在步骤178中，计算电^各24在由(r士dx， r土dy)定义的和中心在感兴 趣位置(r， r )上的区域中确定满足方程(37)的所有(k'， ig， jg)和
(k", ir, jr)对。并且，计算电3各24在GR空间中画出通过确定的(k'， ig, jg)和(k", ir， jr )对识另'J的点Gobs (k'， ig， jg )和Robs ( k", ir， jr )和进行主要成分分析。然后，计算电路24确定沿着与主要方向垂直的方 向的方差和将方差的倒数用作弹簧常数H。并且，计算电路24确定代表主要 成分的方向的直线Qg x G + Qr x R = Qc和定义指示GR弹簧力的未知量H x u， 其中，u是GR空间中的点(Lg(r， J0， Lr(I'， r))与直线QgxG + QrxR =Qc之间的距离。计算电路24将GR弹簧力H x u的G信号成分加入方程(25 ) 的左侧中和将GR弹簧力Hxu的R信号成分加入方程(26 )的左侧中。此后， 过程从步骤S178转到步骤S179。
在步骤179中，计算电路24在由(I'士dx, r士dy)定义的和中心在感兴 趣位置(r, J')上的区域中确定满足方程(38)的所有(k'， ig， jg)和
(k'〃， ib, jb)对。并且，计算电3各24在GB空间中画出通过确定的(k', ig， jg)和(k〃'， ib, jb)对识别的点Gobs ( k', ig， jg)和Bobs (k〃'， ib, jb)和进行主要成分分析。然后，计算电路24确定沿着与主要方向垂直 的方向的方差和将方差的倒数用作弹簧常数H。并且，计算电路24确定代表 主要成分的方向的直线Qg' xG + Qb' xB-Qc'和定义指示GB弹簧力的未知量 Hxu，其中，u是GB空间中的点(Lg(I、 J0， Lb(I', J'))与直线Qg' xG+ xB-Qc'之间的距离。计算电路24将GB弹簧力H x u的G信号成分加 入方程(25 )的左侧中和将GB弹簧力H x u的B信号成分加入方程(27 )的 左侧中。此后，过程从步骤S179转到步骤S180。
在步骤S180中，计算电路24求解线性方程，即，与绿光强度相联系和 包括与GR和GB空间中的颜色相关性相联系的附加项的弹簧方程、与红光强 度相联系和包括与GR空间中的颜色相关性相联系的附加项的弹簧方程和与 蓝光强度相联系和包括与GB空间中的颜色相关性相联系的附加项的弹簧方
程，从而确定感兴趣位置(r ， r )上的纯绿光强度Lg (r, r )、纯红光
强度Lr(I'， J')和纯蓝光强度Lb (1、 J')。此后，过程转到步骤S181。
在步骤si81中，计算电路24确定是否对所有可能位置(r, r )都已 完成了上述过程，即，是否已经通过将第一图像的所有像素的每一个的中心 位置取作感兴趣位置(r, r )确定了纯绿光强度Lg (i'， r )、纯红光强 度Lr (r, r )和纯蓝光强度Lb (i' ， r )。
如果在步骤si81中确定还没有对所有可能感兴趣位置(r, r )都完成
了上述过程，过程返回到步骤S171，重复步骤S171到S181。也就是说，计
算电路24选择还没有选为感兴趣位置的位置(r ， r ),作为新感兴趣位置， 并且确定感兴趣位置(r, r )上的纯绿光强度Lg (i、 r )、纯红光强度 Lr (i、 r )和纯蓝光强度Lb (r ， r )。
另一方面，在步骤si81中确定已经将所有可能位置(i、 r )取作感兴
趣位置完成了上述过程的情况下，过程转到步骤S182。在步骤S182中，计 算电路24从在步骤S180中确定的纯绿光强度Lg (I'， r )、纯红光强度Lr
(i、 r )和纯蓝光强度Lb (r， r )中估计正确图像(信号)。将所得图
像作为输出图像供应给D/A转换器9或编解码器12,并且从当前过程中退出。 例如，对于第(i, j)像素，计算电路24从在步骤S180中作为绿光值(G 信号)确定的纯绿光强度Lg (i-0. 5, j-O. 5)、在步骤S180中作为红光值 (R信号)确定的纯红光强度Lr ( i - 0. 5, j -0. 5)和在步骤S180中作为蓝 光值(B信号)确定的纯蓝光强度Lb ( i - 0. 5, j - 0. 5 )中估计它们的正确 图像信号。计算电路24通过对中心位于所选位置(r, r )的所有像素估计 图像信号，估计输出图像。
如上所述，在第七实施例中，当生成输出图像时，通过计及颜色相关性 来减小由于噪声等引起的误差。这使得可以生成更有可能是正确图像的更清晰输出图像。
为了更好地理解本发明的特征，下面进一步描述本发明和传统技术之间 的差异。
图40示出了根据本发明的方法的处理流程和传统方法的处理流程。 如图40所示，在现有技术中已知将从单面传感器输出的图像(例如，每 个像素只有R、 G和B信号之一的Bayer阵列图像)转换成正常彩色图像(每 个像素含有R、 G和B信号)的许多种方法(在图40中用(A)表示)。实际 上，在一些数字静止照相机中这种转换能力是利用可在市场上购买到的单面 传感器实现的。这种转换称为去马赛克。
从多个暗彩色图像(每个像素含有R、 G和B信号)(低信噪比)中生成 清晰彩色图像(每个像素含有R、 G和B信号)(高信噪比)的方法在现有技 术中也是已知的。这种方法的具体例子包括前面在背景技术中引用的日4^寺 审专利申请公告第2000-217032号和曰本待审专利申请公告第2000-224460
通过组合这些方法，可以从单面传感器输出的图像(例如，每个像素只 有R、 G和B信号之一的Bayer阵列图像)(低信噪比)中生成清晰彩色图像 (每个像素含有R、 G和B信号)(高信噪比)。
更具体地说，对从单面传感器输出的数(m)个暗图像201-m (例如，每 个像素只有R、 G和B信号之一的Bayer阵列图像)(低信噪比)的每一个执 行图40中(A)所表示的去马赛克过程202-m，生成暗彩色图像(每个像素 含有R、 G和B信号)(低信噪比)203-m。此后，通过图40中(B)所表示的 方法，譬如，公开在曰本待审专利申请公告第2000-217032号或曰本待审专 利申请公告第2000-224460号中的方法，从彩色图像203-m中生成清晰彩色 图像(每个像素含有R、 G和B信号)(高信噪比)204。注意，m是表示图像 数量的整数。
在去马赛克过程中进行的内插或类似处理使图像的清晰度降低。在公开 在曰本待审专利申请公告第2000-217032或2000-22"60号中的过程中，为
了对齐，在数字取样数据之间进行内插，因此，也造成清晰度变差。也就是 说，在图40中(A)所表示的过程中，以及在过程(B)中都进行内插。总共 进行两次的内插使清晰度显著变差。内插还用于从相邻点的数据中再现特定 点的丢失数据。进行内插的次数越多，清晰度变差就越严重。与此不同，在本发明中，直接从从单面传感器输出的图像(例如，每个
像素只有R、 G和B信号之一的Bayer阵列图像)中生成清晰彩色图像(每个 像素含有R、 G和B信号)(高信噪比)。因此，只进行一次内插或类似处理。 因此，可以生成比传统方法更清晰的图像。正如从上面的讨论中所看到的那 样，显而易见，本发明有别于传统技术，和本发明具有很大优点。
传统技术带来的另一个问题是对每个图像进行去马赛克。例如，当给出 8个图像作为多个图像时，进行8次(图40中(A)所表示的)去马赛克。 这意味着需要大量计算。
下面进一步描述本发明与传统技术之间的差异。
在公开在前面在背景技术中引用的日本待审专利申请公告第2000-2170 32号中的传统技术中，当叠加多个图像时，移动图像使它们对齐，以便消除 由于照相机摇晃引起的原始图像之间的位移。为了生成移动了消除照相机摇 晃所需的数量的图像，内插是必不可少的。通过在输出图像的每个像素上叠 加N个数据将N个图像叠加在一起。在叠加了N个图像之后，将每个像素的 像素值除以特定值(等于N或等于(最佳曝光时间)/ (实际曝光时间)/N )。 通过在每当捕获一个图像时使像素位置移动固定量的同时捕获多个图像，和 在适当地对齐它们的同时叠加多个捕获图像来获得高清晰度图像在现有技术 中也是已知的。在这种技术中，位移量是固定的，并且用固定值去除(归一 化)输出图像的每个像素的像素值。
与此不同，在根据本发明的第一或第二实施例中，在可用于估计真值的 输出图像的给定位置(x, y)上观测的像素值的个数随情况而变。例如，当 用户拍摄风景照时，存在着在位置(x， y )附近存在大量输入像素值Gobs ( k, ig, jg)的拟然性。在这样的情况下，可获得具有数学表达式(20)形式的 与位置(x, y)相联系的大量约束。相反，如果在位置(x, y)附近只存在 少量输入像素值Gobs (k, ig， jg)，那么，只能获得具有数学表达式(20) 形式的与位置(x， y)相联系的少量约束。如上所述，与输出图像的每个位 置(x, y)相联系的数学约束的个数是:f又决于拍摄照片的状态(更具体地说， 例如，取决于照相机摇晃)的变量。也就是说，在估计每个像素上的真值的 过程中，用在估计中的像素值候选者的观测点和它们的个数自适应地随拍摄 照片的状态(随多个捕获图像之间的移动)而改变。例如，根据候选者选择 像素值候选者的观测点的个数和特定个观测点。可选地，候选者的观测点的个数和要选择的观测点的个数两者是可以改变的。取决于观测点的位置、个 数和/或分布，可以有选择地使用上述两种方法。
在本发明的第三到第七实施例中，当叠加图像时，移动图像以便消除由
于照相机摇晃引起的位移。但是，在Bayer阵列结构中，没有必要将数据加 在所有输出位置上。当第k图像发生位移时，如果在如图21所示的2 x 2像 素内没有位置校正数据，第k图像的任何数据都对输出图像的那些2 x 2像素 没有贡献。相反，如果在如图21所示的2 x 2像素内存在两个位置校正数据， 将两个(加权)数据加入输出像素中。例如，如果将IO个数据加在特定像素 上，那么，将总和除以IO获得输出图像的最后像素值。如果在另一个像素上 3. 5个数据加在一起，将总和除以3. 5获得输出图像的那个像素上的像素值。 也就是说，在本发明中，在方程(25)、 (26)和(27)中进行求和i:的次数随 拍摄照片的状态(更具体地说，例如，随照相机摇晃)而改变。也就是说， 在估计每个像素上的真值的过程中，用在估计中的像素值候选者的观测点和 它们的个数自适应地随拍摄照片的状态(随多个捕获图像之间的移动)而改 变。
在本发明中，如上所述，当从单面传感器(Bayer阵列传感器)中输出 的多个图像中恢复清晰图像时，约束方程或权重的个数随情况而变。关于这 一点，本发明与传统技术非常不同。
如上所述的一系列处理可以通过硬件或软件来执行。例如，数字照相机 1可以通过执行像如图41所示的那个那样的计算机上的程序来实现。
在图41中，CPU (中央处理单元)301按照存储在ROM (只读存储器)302 中的程序或按照从存储单元308装入RAM (随机访问存储器)303中的程序执 行各种各样过程。RAM 303也用于存储CPU 301在执行各种各样过程中使用 的数据。CPU 301执行信号处理器7的运动检测器23和计算电路24进行的 过程。
CPU 301、 ROM 302和RAM 303通过总线304相互连接。总线304也用于 连接输入/输出接口 305。
输入/输出接口 305与包括^:盘、鼠标等的输入单元306、包括诸如CRT (阴极射线管)或LCD (液晶显示器)之类的显示器、扬声器等的输出单元 307、诸如硬盘之类的存储单元308和包括调制解调器、终端适配器等的通信 单元309连接。通信单元309允许通过诸如因特网之类的网络进行通信。存储单元311包括如图1所示的成像器件4和用于捕获对象的图像。通过输入/
输出接口 305将对象的所得图像数据供应给CPU 301。
如有需要，输入/输出接口 305还与驱动器310连接。如有需要，将诸如 磁盘321、光盘322、磁光盘323、或半导体存储器324之类的存储媒体安装 在驱动器310上，和如有需要，从存储i某体中读取计算机程序和将它安装到 存储单元308上。
现在，描述根据本发明第八实施例的信号处理器7执行的正确图像估计 过程。在这个第八实施例中，部分改进了上面参考图24所述的第三实施例。
在如上所述的第三实施例中，成像器件4 (图1)的每个像素检测的数据 (光强度)被当作点取样数据，在每个像素的中心观测到的像素值与不包括 由照相机摇晃引起的模糊的清晰图像的理想图像信号之间的关系用弹簧模型 表示，和根据弹簧模型确定可能是真图像的清晰图像。
例如，在没有由于照相机摇晃引起的模糊的清晰图像的图像信号的G、 R 和B信号当中，根据第三实施例的纯G信号的估计按如下进行。也就是说，
对要为每个像素的中心位置(r， J')确定的纯绿光强度Lg (r， r )的约
束用如前所述，与绿光强度相联系的弹簧方程(25)表示。
在方程(25)中，弹簧常数W2-F ( (x, y) )， (r , J') ) } / (MkxE)
的W2 - f ((x， y)), (r, r)) }代表随位置(i' ， r )与位置(i', r )
附近的位置(x， y)之间的距离而减小的权重。这意味着施加在位置(x, y)
上的像素值Gobs (k, ig, jg)与位置(r, r )上的纯绿光强度Lg (i'， r )之间的弹簧的拉力随位置(r， r )与位置(x， y)之间的距离而减小。
相反，弹簧的拉力随位置(i、 r )与位置(x， y)之间的距离的减小而增大。
另一方面，方程(25)中弹簧常数W2-F ( (x, y) )， (I', JO ) } / (Mk x E )的(Mk x E )代表包括不能通过相关双取样器5 (图1 )消除的部分的残 余噪声E被放大了 Mk (k = l至N)倍。因此，1/ (MkxE)代表随噪声E而 减小的与噪声相联系的权重。因此，施加在位置(x， y)上的像素值Gobs (k, ig， jg)与位置(r ， r )上的纯绿光强度Lg r )之间的弹簧的拉力
随噪声E的增大而减小和随噪声E的减小而增大。
在第八实施例中，用包括三次函数的函数Cubic (I' -x) xCubic(r -y)取代方程(25)中的W2-F ( (x， y) ), (I'， JO ) }，即，取决于位置(1、 T )与像素值Gobs (k, ig, jg)的位置(x， y)之间的距离的权重 (下文简称为距离权重)。也就是说，在第八实施例中，用Cubic (I'-x) x Cubic (J' - y)取代方程(25)中的W2-F ( (x, y) )， (r , JO ) }。 三次函数Cubic (z)具有如下所述的形式(39)。
("2)z|3-(" +3^|2 + 1 一<1) "|z|3-5a|z|2 + 8a|z|-4a (1非|<2) 0 (2非|)
...(39)
其中，a例如是被设置成-1的预定常数。
如图42所示，当2^Izl时或当lzl =1时，三次函数Cubic (z)具有0 的值，和当l<|z|<2时，三次函数Cubic (z)是负值。当lzkl时，Cubic (z)是正值，并且随lzl而减小。换句话说，三次函数Cubic (z)在频域中 (对于付里叶变换变量)用作低通滤波器。
在方程(25)中，如果经历求和S的第p像素值Gobs (k, ig, jg)用Vp 表示，与第p像素值Vp相联系的弹簧常数W2-F ( (x, y) ), (r， r)))/ (MkxE)被表示成弹簧常数Kp,和如果针对纯绿光强度Lg r )求解
所得方程，那么，获得方程(40)。
丄g(/'外^^ ... (40)
其中，Z表示对p的求和。
从方程(40)中可以看出，在弹簧模型中，纯绿光强度Lg (r, r )通 过像素值Vp的加权求和给出，其中，弹簧常数Kp用作权重。纯红光强度Lr
(i、 r )和纯蓝光强度Lb (r, r )可以以相似的方式确定。
在图43中，对于位置(I' ， r )，当N个捕获图像的位置(ig - 0. 5， jg -0. 5)被转换到参考坐标系(定义在第一图像上的坐标系)中的位置(x， y) 时，确定出满足r -2^x<I'十2和J' -2^y<r十2的整数k、 ig和jg的所有 组合，并且示出了观测像素值Gobs (k， ig， jg)的点G11到G19。
在图43中，对于用实心圆圏表示的位置(r， r )，获得标识在空心圆圏所表示的点Gll到G19上观测到的9个像素值Gobs (k， ig, jg)的整数 (k， ig, jg)的组合。注意，整数k、 ig和jg的组合在点Gll到G19之间 是不同的。
在如前所述的第三实施例中，如图21所示，对于位置(r， r ), N个 捕获图像上的位置(ig - 0. 5， jg - 0. 5 )被转换到参考坐标系(定义在第一 图像上的坐标系)中的位置(x， y)，并且确定出满足I' - l^x<r +1和J' -1^y〈r+l的整数k、 ig和jg的所有组合。与此不同，在第八实施例中， 如图43所示，确定出满足r -2《x<r +2和J' -2《y<J' +2的整数k、 ig 和jg的组合。如上所述，对于-2^z《2,形式(39)的三次函数Cubic (z) 具有取决于z的值(对于在范围|z|>2内的任意z， Cubic (z)具有0的值)， 并且，利用在范围-2SzS2内，即，在由P - 2Sx〈r + 2和J' - 2^y<J' + 2 定义的范围内观测到的像素值Gobs (k， ig， jg)估计位置(1、 r )上的
纯绿光强度Lg (r, r )。在如前所述的第三实施例中，第k捕获图像上的
位置(ig - 0. 5, jg - 0. 5 )按如下转换到定义在第一捕获图像上的参考坐标 系中的位置((ig - 0. 5) w, (jg - 0. 5) ( )。也就是说，运动检测器23-(k-l) 从第一捕获图像与第k捕获图像之间的位置关系中确定包括转角ek、比例倍 数Sk和平移(Tkx， Tky)的仿射转换参数(ek, Tkx, Tky， Sk )。将所得的 转换参数(ek, Tkx， Tky, Sk )供应给计算电路24。根据来自运动检测器23-(k-l) 的转换参数(ek， Tkx， Tky, Sk)，计算电路24按照仿射转换方程(3)，将 第k捕获图像上的位置(ig - 0. 5, jg - 0. 5 )转换到参考坐标系中的位置((ig -0. 5)(k), (jg-0. 5)(k))。
另一方面，在第八实施例中，运动检测器23-(k-l)确定代表第一捕获图 像与第k捕获图像之间的位置关系的仿射转换方程(41)的仿射转换参数。
<formula>formula see original document page 108</formula>(41)
更具体地说，运动检测器23-(k-l)确定代表第一捕获图像与第k捕获图 ^f象之间的位置关系的方程(41)中的矩阵(ak、 bk', ck', dk')和二维矢 量(Tkx' , Tky')，并且将所得矩阵(ak' ， bk' ， ck' ， dk')和二维矢量(Tkx'， Tky')供应给计算电路24。下文将包括矩阵(ak'， bk、 ck', dk')和二维矢量(Tkx'， Tky')的仿射转换参数简称为转换参数(ak', bk'， ck'， dk', Tkx' ， Tky')。
如果相应参数是这样给出的,使ak' = dk' = Sk x cos ( ek ),和-bk' = ck' =SkxSin (ek)，方程(41)变成与方程(3)相同。
在方程(41)中，与方程(3) —样，(Xk， Yk)代表第k捕获图像的像 素的位置，和(XU)， Yl(k))代表按照方程(41)仿射转换位置(Xk, Yk)获 得的第一捕获图像(在参考坐标系中)上的位置。注意，下标(k)用于指示 转换到参考坐标系的第k捕获图像的位置。如果第一捕获图像的转换参数像 (al'， br， cl、 dl、 Tlx', Tly" = (1， 0， 0， 1， 0， O)那样给出， 那么，方程(41)对从l到N的范围内的所有k值都成立。
例如，运动检测器23-1确定代表第一捕获图像与第二捕获图像之间的位 置关系的方程(42)的仿射转换参数(a2'， b2、 c2'， d2'， T2x'， T2y'), 并且将所得转换参数(a2' ， b2' , c2' , d2' , T2x' ， T2y')供应给计算电路 24。
a2 62 c2
v
乂乂
12、 72
+
J2凡
(42)
另一方面，运动检测器23-2确定代表第一捕获图像与第三捕获图像之间 的位置关系的方程(43)的仿射转换参数(a3'， b3', c3', d3、 T3x'， T3y')， 并且将所得转换参数(a3'， b3'， c3'， d3', T3x'， T3y')供应给计算电路 24。
a3 WY义3、 c3 d3人y3乂
+
r3/
(43)
方程(43)代表由于照相机摇晃等，第三捕获图像上的位置(X3， Y3) 相对于第一捕获图像上的位置(Xl， Yl)移动了与转换参数(a3、 b3'， c3', d3'， T3x、 T3y')相对应的数量。
取代以如上所述的方式从第k捕获图像相对于第一捕获图像的位置关系 中确定转换参数(ak'， bk'， ck', dk', Tkx', Tky'),可以用力学方法从从位于数字照相机1上的加速度传感器输出的信号中确定转换参数(ak' ， bk'， ck', dk、 Tkx'， Tky')。在用手握住照相^L时出现照相^/L摇晃的情况下，第 一捕获图像和第k捕获图像之间的位置关系基本上不包括转动成分。因此， 转换参数(ak、 bk', ck', dk'， Tkx、 Tky')中的转换成分可以忽略不计 (也就是说，可以假设没有发生转动)。
在第八实施例中，根据所有N个捕获图像被放大了相同倍数(通过n'-位移动)的假设设置方程(25)中与噪声相联系的权重。也就是说，在第八 实施例中，假设成像器件4捕获的所有N个图像(输入图像)具有等于用最 佳曝光获得的亮度的1/M-1/Mk倍的亮度。例如，如果捕获图像具有等于用 最佳曝光获得的图像的亮度的1/8倍的亮度，那么，M=8,因此，移位器(图 1 )通过进行3-位移动放大捕获图像。
在第八实施例中，由于移位器21将所有N个捕获图像放大了相同倍数， 方程(25 )中与噪声相联系的权重1/ (Mk x E )可以简单地重写成1/ (M x E )。
因此，在这个第八实施例中，用在第三实施例中的方程(25)可以重写 成(44)。
C*C(/'—(，x:々")"G。6來^,g)-坫(/',4
=0 ... (44)
对于给定位置(r， r ),方程(44)中的求和s是针对相对于参考坐标
系中根据转换参数(ak' ， bk' ， ck' ， dk' , Tkx' , Tk,)通过转换位置(ig -0. 5， jg-0. 5)获得的位置(x, y),满足I' -2《x<r +2和J' -2^y<r + 2的所有组合(k， ig， jg)而取的。在如图43所示的具体例子中，求和 是对与点G11到G19相对应的整数(k, ig, jg)的9种组合而取的。
对应于与绿光强度相联系的弹簧方程(25)，方程(44)可以当作根据第 八实施例的利用函数Cubiz (z)的与绿光强度相联系的弹簧方程。
在方程(44)中，与噪声相联系的权重1/ (MxE)是与经历求和2的整 数(k， ig， jg)的组合无关的常数，因此，可以将权重1/ (MxE)移到S的 外面。因此，可以将方程(")重写成(45)。",r、Z[C"Wc(/'-x)x a^c(J'-力x (G。fc(A:,/g,7g)-Zg(/', /')}] = 0 (M x五)"
Z[a^c(/'-JC)x0^c(J'-j;)x(G。昧/g,;g)-丄g(/V,0 …(45 )
如果针对纯绿光强度Lg (I'， J')求解方程(45)，获得方程(46)。
在这个第八实施例中，利用方程(46)确定纯绿光强度Lg (r， r )。
方程(46)表明，通过将Cubic ( r -x) xCubic (J' - y)用作权重，
计算像素值Gobs(k, ig， jg)的加权和，可以获得纯绿光强度Lg (r, r )。
注意，权重Cubic (r -x) x Cubic (r -y)作为低通滤波器，用于位置(r ， r )和像素值Gobs (k, ig, jg)的位置(x， y)之间的距离。
下文将方程(46)称为与绿光强度相联系的加权求和方程。将与绿光强 度的加权和相联系的方程(46)的分母和分子分开，分别重写成方程47)和 (48)。
ZO/Wc(/'-x)xQ/6/c(J'-少)xGo&(&，/g,/g) ... ( 47 )
Zo^/c(/'-x)xCwW4/'-:k) ... (48)
如果在像素值Gobs (k， ig， jg)还没有经过移位器21放大M倍的状态 下的原始数据(光强度)被表示成DG。bs(k, ig, jg)，那么，方程(46)可以重写 成(49)。
丄g、 ， ZO^/c(/'-jc)xCwWc(J'-y) …
感兴趣位置(r ， r )上的纯红光强度Lr (r, r )和纯蓝光强度Lb(r， r )可以分别用与方程(46)类似的方程(50)和(51)表示。
下文将方程(50)称为与红光强度相联系的加权求和方程。对于给定位
置(r， r )，方程(50)中的求和z是针对相对于参考坐标系中根据转换参
数(ak' ， bk' ， ck', dk' , Tkx' , Tky')通过转换位置(ir - 0. 5， jr - 0. 5 ) 获得的位置(x, y ),满足I' - 2Sx〈I' + 2和J' - 2^y〈r + 2的所有组合(k, ir， jr )而取的。
下文将方程(51)称为与蓝光强度相联系的加权求和方程。对于给定位
置(r， r )，方程(51)中的求和s是针对相对于参考坐标系中根据转换参
数(ak' , bk' , ck' , dk' , Tkx' , Tky')通过转换位置(ib - 0. 5, jb - 0. 5 ) 获得的位置(x, y ),满足P - 2《x〈I' + 2和J' - 2Sy<J' + 2的所有组合(k， ib, jb)而取的。
将与红光强度的加权和相联系的方程(50)的分母和分子分开，分别重 写成方程52)和(53)。
ZCW)/c(/'-x)xCwZ)/c( /，-_y)xi oZw(A: ) ... ( 52 )
ZCw6/c(/'—x)xCw6/c(J'—少) ...(53)
将与蓝光强度的加权和相联系的方程(51)的分母和分子分开，分别重 写成方程54)和(55)。
Z C当c(/'-x)x Q/Wc(J'-_y)x 5。昧...(54) ZCt^/c(/'—x)xCwWc(J'—少) ...(55)通过计算根据方程(46)的与绿光强度相联系的加权和、根据方程(50) 的与红光强度相联系的加权和和根据方程(51)的与蓝光强度相联系的加权 和，计算电路24确定纯绿光强度Lg (r, J')、纯红光强度Lr(r， r)和
纯蓝光强度Lb(r, r )。将计算电路24为确定那些光强度而执行的过程称 为正常过程，以便将它与如后所述的异常过程区分开。
下面进一步讨论由方程(46)给出的与绿光强度相联系的加权和、由方 程(50)给出的与红光强度相联系的加权和和由方程(51)给出的与蓝光强 度相耳关系的加4又和。
方程(46)表明，将位置(x, y)上的像素值Gobs (k, ig, jg )与距 离权重Cubic(P -x) xCubic(r -y)的乘积的和值(即,用距离权重Cubic (I' - x) x Cubic (J' - y)加权的像素值Gobs (k， ig， jg)的和值)除以 距离权重Cubic (I' - x) x Cubic (J' - y)的和值，即，将等于方程(46) 的分子的方程(47)给出的值除以等于方程(46)的分母的方程(48)给出 的值，获得与绿光强度相联系的加权和。
如果等于方程(46)的分母的方程(48)给出的值变成等于0，代表纯 绿光强度Lg (r, r )的方程(46)变得不稳定(不确定)，因此，结果是 不可靠的。换句话说，在等于方程(46)的分母的方程(48)给出的值变成 等于0的位置(I', J')上，包括在等于方程(46)的分子的方程(47)中 的像素值Gobs (k， ig， jg)中的小噪声(误差)被除以等于0的分母，因 此，结果变得很大。在这种情况下，根据方程(46)计算的纯绿光强度Lg(r, r )包括大噪声，是不可靠的。
例如，当三次函数Cubic (I' - x)和Cubic (J' - y)的至少一个在方程 (48 )中的整个求和范围上变成等于0时，等于方程(46 )的分母的方程(48 ) 给出的值变成等于0。从图42可以看出，当I' -x = ±l或J' -y = ±l时，即， 当x-F士l或y-r士l时，三次函数Cubic (I' — x)或Cubic (J' — y)变成 等于O。
因此，对于给定位置(r ， r )，当利用转换参数(ak',， ck' ， dk',
Tkx' , Tky')将位置(ig - 0. 5， jg - 0. 5 )转换到参考坐标系时，如果出现 在由r -2《x<r +2和r -2《y<r +2定义的范围内的(k, ig， jg)的像素 值Gobs(k， ig， jg)的所有位置(x, y)满足x-I'土l或y:r土l，代表纯绿光强度Lg (r, r )的方程(46)的分母变成等于o (或几乎等于o),因 此，结果变成不稳定的和不可靠的。但是，出现在由I' -2^x<I' + 2和j'-
2^<r +2定义的范围内的像素值0(^3 (k, ig， jg)的所有位置(x， y)只 有在非常罕见的和异常的状态下才满足x = I'±l或y = r±i。下文将这样的
特殊状态简单为异常状态。
下文将利用转换参数(ak' ， bk' ， ck' ， dk', Tkx' , Tky')从第k捕获 图像上的位置(k， i, j)转换到参考坐标系的位置(x， y)简称为转换(校 正)位置(x， y)。
图44示出了位置(r ， r )上的异常状态。
在如图44所示的具体例子中，当利用转换参数(ak', bk'， ck', dk'， Tkx' ， Tky')转换位置(ig _ 0. 5, jg - 0. 5 )时，转换点(转换位置)Gll' 和G15'位于满足x-F -1的位置上，和转换点G12'和G16M立于满足x-r + 1的位置上。
并且，转换点G13'和G14'位于满足y-r - 1的位置上，和转换点G17'
和019'位于满足7 = J' +1的位置上。
在如图44所示的具体例子中，落在坐标系中由I' -2《x<r + 2和J'-2^y<r +2定义的区域内的转换位置(x， y)对于(k， ig， jg)的所有组合， 与位置(i'， r ),即，x-I'土l或y-r士l存在特殊关系。在这种状态下，
在中心在位置(i', r)上的区域(r士i， r±i)(大小为2x2的正方形区
域)中不存在G信号数据(像素值Gobs (k, ig， jg))。
在这样的状态(异常状态)下，如果按照方程(46)确定位置(r ， r ) 上的纯绿光强度Lg (r, r ),如上所述，所得的纯绿光强度Lg (r, r ) 是不可靠的(不稳定的)。
为了避免上面的问题，当位置(i'， r )上的像素处在这样的异常状态
下时，计算电路24执行异常过程。
更具体地说，对于给定感兴趣位置(r， r ),当估计感兴趣位置(r， r )上的输出图像的像素的纯绿光强度Lg (r， j')(下文将这样的像素简 称为感兴趣像素)时，如果感兴趣像素(感兴趣像素的位置(i'， r ))处在
异常状态下时，计算电路24利用校正位置(x, y)位于处在感兴趣像素附近 的输出图像像素的位置附近的第k捕获图像的像素值Gobs (k, ig, jg)，以 及校正位置(x， y)位于感兴趣位置(r， r )附近的第k捕获图像的像素值Gobs (k, ig， jg),确定异常状态下，感兴趣像素的感兴趣位置(r， r ) 上的纯绿光强度Lg (r， r )。至于与位于感兴趣位置(r, r )上的感兴 趣像素相邻的像素(相邻像素)，可以应用如图45所示的位置(r - i, r )、 (r +1, r )、 ( r, r -1)和(r, j' +1)上的像素。
正如前面参考图3所述的那样，根据本实施例的数字照相机i成像器件
4具有Bayer阵列结构。在Bayer阵列结构中，沿着X和Y两个方向(图3) 每隔一个像素位置安排一个检测绿光成分的像素。在这个第八实施例中，假 设成像器件4的像素是这样排列的，沿着水平(X )方向排列W个像素和沿着 垂直(Y )方向排列H个像素，因此，成像器件4总共有W x H个像素。
当在感兴趣位置(r ， J')附近没有G信号的观测值(像素值)Gobs ( k, ig, jg)时，在Bayer阵列结构中，感兴趣位置(I、 r )上的感兴趣像素 不能是检测绿光成分的像素。
例如，如图46所示，当在Bayer阵列结构中，感兴趣位置(I、 J')上 的感兴趣像素是空心圆圏所示的检测蓝光成分的像素B12时，在直接与像素 B12的上下左右相邻的位置上存在检测绿光成分的像素。类似地，当感兴趣 像素是成像器件4中的检测红光或蓝光成分的像素时，在直接与感兴趣像素 的上下左右相邻的位置上存在检测绿光成分的像素。
因此，当在感兴趣位置(I、 r )附近没有G信号的观测值(像素值) Gobs(k, ig， jg)时(当转换位置(x， y)位于感兴趣位置(I', r )附近 的捕获图像的绿光像素不存在时)，在直接与感兴趣位置(r, J')上的感兴
趣像素的上下左右相邻的位置上的相邻像素的位置(r - i, r )、 (i' +1, r )、 ( i' ， r -1)和(r ， r +1)之一附近存在g信号的观测值。当在位 于位置(r -1， r )、 ( i' +1, r )、 ( r ， r -1)和(i、 j' +1)上的相
邻像素中的特定一个附近存在G信号的观测值Gobs (k, ig， jg)时，相邻
像素中的特定一个不处在异常状态下。对于位于位置(r - i, r )、 (i' +1， r )、 ( r, r -1 )、或(i' ， r +1)上的这个特定相邻像素，可以利用方程 (46)确定纯绿光强度Lg (i'， r )的可靠值。
如上所述，当感兴趣像素处在异常状态下，计算电路24利用校正位置(x,
y)位于处在与感兴趣像素相邻的(r - i， r )、 (i' +1， r )、 (i'， r - i)、
或(I、 J' +1)上的相邻像素附近的像素的像素值Gobs (k， ig, jg)，以 及校正位置(x， y )位于感兴趣位置(r , r )附近的像素的像素值Gobs ( k,ig， jg)，确定感兴趣位置(r， r )上的纯绿光强度Lg (r， r )。
更具体地说，在这种情况下，计算电路24通过执行基于方程(56)的异
常过程，确定感兴趣位置(i、 j')上的纯绿光强度Lg (r, j')。 Lg (f, r )=
{r )上的G信号的分子值
+ (i'-i， r)上的G信号的分子值
+ (r +1, j')上的G信号的分子值
+ (F， r -i)上的G信号的分子值
+ (r, r +1)上的g信号的分子值)/
{(r, r)上的G信号的分母值
+ (r -1, r )上的G信号的分母值
+ (r+i， r)上的G信号的分母值
+ (r， r -i)上的G信号的分母值
+ (r ， r +1)上的g信号的分母值) ...(56)
方程(56)代表通过将在正常过程中对总共5个位置，即，感兴趣像素 的感兴趣位置(i'， r )和与感兴趣像素相邻的像素的位置(r - i， r )、 (i' +1, r )、 ( r ， r -1)和(i、 j' +1)获得的方程(46)的分子的和 值除以在正常过程中对总共5个位置，即，感兴趣像素的感兴趣位置(r, r )和与感兴趣像素相邻的像素的位置(r -1， r )、 ( i' +1， r )、 ( r, r -1)和(i、 r +1)获得的方程(46)的分母的和值，即，通过将方程
(47)的和值除以方程(48)的和值，获得纯绿光强度Lg (i、 r )。
注意，当感兴趣处在异常状态下时，用于确定感兴趣位置(r, r )上 的纯绿光强度Lg (r, r )的方程不限制于方程(56)，也可以使用其它方
程。例如，如下所示的方程(57)可以用于这个目的。 Lg j"=
{((i' -i, r )上的G信号的分子值)/ ((f -i， r )上的G信号的分母值) + ((f +1， r )上的G信号的分子值)/((r+i， r)上的G信号的分母值)
+ ((r， r - i)上的G信号的分子值)/
((f， r-i)上的G信号的分母值)
+ ((r， r+i)上的G信号的分子值)/
((r, r+i)上的G信号的分母值)}/4 ... (57)
方程(57)代表通过计算将方程(46)用于与感兴趣像素相邻的像素的
4个位置(r -1, r )、 ( r +1, r )、 ( i、 r -1)和(r, j' +1)计算 的纯绿光强度Lg(r -1， r )、 Lg(i' +1, j"、 Lg(i', r -i)和Lg(i', r +1)的平均值，获得感兴趣位置(r ， r )上的纯绿光强度Lg (r ， r )。 下面进一步讨论方程(50)给出的与红光强度相联系的加权和。
与根据方程(46 )计算纯绿光强度Lg ( I' ， r ) 一样，当根据方程(50 ) 计算纯红光强度Lr (1、 J')时，如果感兴趣像素处在异常状态下，解变成 不稳定的。更具体地说，对于给定感兴趣位置(F ， r ),当利用转换参数(ak'， bk' ， ck' ， dk' ， Tkx' , Tky')将位置(ir - 0. 5， jr - 0. 5 )转换到参考坐标 系时，如图44所示，存在出现在由P -2^x<r十2和J' -2《y<r +2定义的 范围内的像素值Robs (k， ir， jr )的所有转换位置(x， y)满足x = I'±1 或7 = ^±1的拟然性。在这样的状态(异常状态)下，在中心在位置(r，
r )上的区域(r±i, r±i)(大小为2x2的正方形区域)中不存在r信号
数据(像素值Robs (k， ir， jr ))。
在这种情况下，计算电路24执行如下所述的异常过程。 也就是说，计算电路24利用校正位置位于处在感兴趣像素附近的输出图 像像素的位置附近的第k捕获图像的像素值Robs (k， ir， jr )，以及校正位 置位于感兴趣像素附近的第k捕获图像的像素值Robs (k, ir, jr),确定异 常状态下，感兴趣像素的感兴趣位置(I', r )上的纯红光强度Lr ( r, r )。 至于与位于感兴趣位置(i', r )上的感兴趣像素相邻的像素(相邻像素)，
可以应用如图47所示的位置(i' -1, r -1 )、 ( r ， r -1 )、 ( r +1， r -1 )、 ( f -1, j' )、 ( f +1, r )、 ( i' -1， r +1 )、 ( f , r +1)和(r + 1， r +1)上的像素。
当在感兴趣位置(r , r )附近没有R信号的观测值(像素值)Robs (k， ir, jr)时，在Bayer阵列结构中，感兴趣位置(I、 J')上的感兴趣像素不能是检测红光成分的像素。
例如，如图48所示，当在Bayer阵列结构中，感兴趣位置(I' ， J')上 的感兴趣像素是空心圓圈所示的检测绿光成分的像素Gll时，在直接与像素 G11的上下相邻的位置上存在检测红光成分的像素。
另一方面，例如，如图48所示，当在Bayer阵列结构中，感兴趣位置(I', r )上的感兴趣像素是空心圆圈所示的检测绿光成分的像素G22时，在直接 与像素G22的左右相邻的位置上存在检测红光成分的像素。
并且，例如，如图48所示，当在Bayer阵列结构中，感兴趣位置(r , T )上的感兴趣像素是空心圆圏所示的检测蓝光成分的像素B14时，在直接 与像素B14的右上、右下、左上、或左下相邻的位置上存在4企测红光成分的 像素。
类似地，当感兴趣像素是除了检测红光成分的像素之外的像素时，在直 接与像素B14的左、右、右上、右下、左上、或左下或像素B14的上下相邻 的位置上存在^r测红光成分的像素。
因此，当在感兴趣位置(r ， r )附近没有R信号的观测值Robs (k， ir， jr)时(当转换位置(x, y)位于感兴趣位置(I'， r )附近的捕获图 像的红光像素不存在时)，在直接与感兴趣位置(1、 J')上的感兴趣像素的 上或下、或左、右、右上、右下、左上、或左下相邻的位置上的相邻像素的
位置(f -1， r -1 )、 ( r ， r -1 )、 ( r +1， j' -1 )、 ( f -1， r )、 ( r + 1， r )、 ( f -1, r +1 )、 ( r ， r +1)和(r +1, j' +1)之一附近存 在R信号的观测值。当在位于位置(r -1， r -1)、 (r， r -1)、 (r +1， r -1 )、 ( f -1， r )、 ( r +1, r )、 ( r -1， r +1 )、 ( r, r +1)和(r
+ 1， J' +1)上的相邻像素的特定一个附近存在R信号的观测值Robs (k, ir, jr)时，相邻像素中的特定一个不处在异常状态下。对于位于位置(I'
-1, j' -1 )、 ( f , r -1 )、 ( r +1， r -1 )、 ( r -1， r )、 ( r +1, r )、 (r -1， r +1 )、 ( r, j' +1 )、或(r +1， r +1)上的这个特定相邻像
素，可以利用方程(50)确定纯红光强度Lrr )的可靠值。
如上所述，当感兴趣像素处在异常状态下，计算电路24利用校正位置(x， y)位于处在与感兴趣像素相邻的(I' -1, J'-1)、(1、 J'-1)、(I'+1,
r -1 )、 ( i' -1, j' )、 ( r +1， r )、 ( r -1, j' +1 )、 ( i', j' +1 )、或(r
+ 1, r +1)上的相邻像素附近的像素的像素值Robs (k， ir, jr ),以及校正位置(x, y)位于感兴趣位置(r, J')附近的像素值Robs (k, ir, jR)， 确定感兴趣位置(I' , J')上的纯红光强度Lr ( r ， r )。
更具体地说，在这种情况下，计算电路24通过执行基于方程(58)的异
常过程，确定感兴趣位置(i、 r )上的纯红光强度Lr (r, r )。
Lr (r, r )={(i'， r )上的R信号的分子值
+ (r -1,J' - 1)上的R信号的分子值
+ (f，尸-1)上的R信号的分子值
+ 1r +1，r - i)上的R信号的分子值
+ (i' -1，r )上的R信号的分子值)
+ 1f +1,r)上的R信号的分子值
+ 1f _ 1，r +1)上的R信号的分子值
+ (r， r+ 1)上的R信号的分子值
+ (f +1,尸+1)上的R信号的分子值)/
{(['，r )上的R信号的分母值
+ (r -1，r -i)上的R信号的分母值
+ (f, r-1)上的R信号的分母值
+ (f +1，r - i)上的R信号的分母值
+ 1i' -1，r)上的R信号的分母值
+ 1f +1，r)上的R信号的分母值
+ 1f _ i，J' +1)上的R信号的分母值
+ 1r， r+ 1)上的R信号的分母值
+ (i' +1,r +1)上的R信号的分母值)
方程(58)代表通过将在正常过程中对总共9个位置，即，感兴趣像素
的感兴趣位置(i、 r )和与感兴趣像素相邻的像素的位置(i' -1， j' -1 )、 (f , r -1 )、 ( i' +1, j' — i )、 ( f -1， r )、 ( r +1， r )、 ( i' -1，尸 + 1)、 (r， j' +1)和(r + i， r +1)获得的方程(50)的分子的和值除 以在正常过程中对总共9个位置，即，感兴趣像素的感兴趣位置(i、 r ) 和与感兴趣像素相邻的像素的位置(r -1， r -1 )、 ( r, r -1 )、 ( r +1,r -1 )、 ( f -1, r )、 ( f +1， r )、 ( r -1， J' +1 )、 ( f ， r +1)和(i'
+ 1， J' +1)获得的方程(50)的分母的和值，即，通过将方程(52)的和 值除以方程(53)的和值，获得纯红光强度Lr (r, r )。
与和G信号相联系的方程(57) —样，取代使用方程(58),通过计算与
感兴趣像素相邻的8个位置(r -1， j' -1 )、 ( i' ， r -1 )、 ( i' +1， r -1 )、 (i' -1， r )、 ( f +1， r )、 ( f -1, r +1 )、 ( i' ， r +1)和(i' +1，
r +1)上的像素的纯红光强度Lr (r -1， J' - 1)、 Lr (r, J' - 1)、 Lr(I' + 1， r - 1 )、 Lr ( F - 1， r )、 Lr ( F + 1， r )、 Lr ( F - 1， r + 1 )、 Lr
(i' ， r +1)和Lr (i' +1， j' +1)的平均值，确定感兴趣位置(r ， r )
上的纯红光强度Lr (F， r )。
当利用与蓝光强度相联系的加权求和方程(51)确定纯蓝光强度Lb ( F ， J')时，与利用与绿光强度相联系的加权求和方程(46)确定的纯绿光强度
Lg (r， r ) 一样，或与利用与红光强度相联系的加权求和方程(50)确定
的纯红光强度Lr(I'， J') 一样，如果感兴趣位置上的感兴趣像素处在异常
状态下，解变成不稳定的。
在这种情况下，计算电路24执行如下所述的异常过程。
在Bayer阵列结构中，就位置关系而言，以与排列检测红光成分的像素
的方式相似的方式排列检测蓝光成分的像素。因此，计算电路24根据与方程 (58 )相似的方程(59 )确定异常状态下，感兴趣像素的感兴趣位置(r ，
r )上的纯蓝光强度Lb (r， r )。
Lb (r，r)=
r ，r )上的B信号的分子值
+ i:r_ i，r - i)上的B信号的分子值
+ i'f，r-1)上的b信号的分子值
+ i'i'+1,J' -1)上的B信号的分子值
+ i'r-1，J')上的B信号的分子值)
+ i'r+1,r)上的B信号的分子值
+ i:r_ i，r + i)上的B信号的分子值
+ i，r+ 1)上的B信号的分子值
+ i:r+1,尸+1)上的B信号的分子值)/{(r,r )上的B信号的分母值
+ ( I_ i,r -i)上的B信号的分母值
+ ( I,r-1)上的B信号的分母值
+ ( I+1,r - i)上的B信号的分母值
+ ( I_ i,r)上的B信号的分母值
+ ( I+1, P )上的B信号的分母值
+ (r-1,r + i)上的B信号的分母值
+ (r,r+ 1)上的B信号的分母值
+ (i.+ i，r + i)上的B信号的分母值)
方程(59)代表通过将在正常过程中对总共9个位置，即，感兴趣像素
的感兴趣位置(r, r )和与感兴趣像素相邻的像素的位置(r -1， r -1 )、 (i、 r -1 )、 ( f +1， j' -1 )、 ( f -1， r )、 ( f +1， r )、 ( i' -1, r +1 )、 ( r ， r +1)和(i' +1， r +1)获得的方程(51)的分子的和值除 以在正常过程中对总共9个位置，即，感兴趣像素的感兴趣位置(1、 r ) 和与感兴趣像素相邻的像素的位置(r -1, r -1 )、 ( r, r -1 )、 ( r +1， j' -1 )、 ( i' -1, r )、 ( r +1, r )、 ( r -1, j' +1 )、 ( r, j' +1)和(r + 1, r +1)获得的方程(51)的分母的和值，即，通过将方程(54)的和 值除以方程(55)的和值，获得纯蓝光强度Lb (r， r )。
与与G信号相联系的方程(57) —样，取代使用方程(59)，通过计算与 感兴趣像素相邻的8个位置(r -i， j' -i)、 (r, r -1)、 (r +1, r -1)、 (f -1， r )、 ( f +1, r )、 ( 1' -1， r +1 )、 ( 1、 j' +1)和(i' +1, 尸+1)上的像素的纯蓝光强度1^(1' -1, j' -i)、 Lb(r， j' -i)、 Lb(r
+ 1, J' - 1 )、 Lb (I' - 1, r )、 Lb ( r + 1， r )、 Lb ( I' - l， J' + 1 )、 Lb
(r ， r +1)和Lb (r +1， r +1)的平均值，确定感兴趣位置(r ， r ) 上的纯蓝光强度Lb (i'， r )。
现在参照如图49和50所示的流程图，描述根据本发明第八实施例的如 图2所示的步骤S4中的正确图像估计过程。
首先，在步骤S20i中，计算电路24将(r, r)的变量r设置成i，
以指示参考坐标系中像素在Y方向的位置。此后，过程转到步骤S202。
在步骤S202中，计算电路24将(r， r)的变量r设置成i，以指示参考坐标系中像素在X方向的位置。此后，过程转到步骤S203。注意，变量
i'和r也用于指示输出图像的像素在x和y方向的位置。
在步骤S203中，计算电路24选择位置(r ， r )作为感兴趣位置，并 且，对于感兴趣位置(i' ， r )，计算电路24为所有第一到第N图像确定相 对于参考坐标系中根据转换参数(ak'， bk、 ck、 dk'， Tkx', Tky')通过 转换检测第k图像的绿光成分的像素的中心位置(ig - 0. 5, jg - 0. 5 )获得 的位置(x, y )，满足I' - 2《x〈I' + 2和J' - 2《y<r + 2的整数(k, ig, jg ) 的所有组合。此后，过程转到步骤S204。
在步骤S204中，计算电路24利用在步骤S203中确定的整数(k, ig, jg)的所有组合，根据方程(48)确定与绿光强度相联系的加权求和方程的 分母，和根据方程(47)确定与绿光强度相联系的加权求和方程的分子。计 算电路24将计算结果存储在存储器(未示出)中。此后，过程转到步骤S205。
在步骤S205中，对于感兴趣位置(r， J')，计算电路24为所有第一到 第N图像确定相对于参考坐标系中根据转换参数(ak' ， bk' , ck' , dk' , Tkx'， Tk/ )通过转换检测第k图像的红光成分的像素的中心位置(ir-O. 5, jr -0. 5 )获得的位置(x， y ),满足r - 2Sx〈I' + 2和J' - 2Sy〈J' + 2的整数 (k， ir， jr)的所有组合。此后，过程转到步骤S206。
在步骤S206中，计算电路24利用在步骤S205中确定的整数(k， ir， jr)的所有组合，根据方程(53)确定与红光强度相联系的加权求和方程的 分母，和根据方程(52)确定与红光强度相联系的加权求和方程的分子。计 算电路24将计算结果存储在存储器中。此后，过程转到步骤S207。
在步骤S207中，对于感兴趣位置(I'， r ),计算电路24为所有第一到 第N图像确定相对于参考坐标系中根据转换参数(ak' , bk' ， ck' ， dk' , Tkx'， Tk/ )通过转换检测第k图像的蓝光成分的像素的中心位置(ib-0. 5， jb - 0. 5 )获得的位置(x, y )，满足I' - 2Sx〈r + 2和J' - 2^y〈J' + 2的整数 (k， ib, jb)的所有组合。此后，过程转到步骤S208。
在步骤S208中，计算电路24利用在步骤S207中确定的整数(k, ib, jb)的所有组合，根据方程(55)确定与蓝光强度相联系的加权求和方程的 分母，和根据方程(54)确定与蓝光强度相联系的加权求和方程的分子。计 算电路24将计算结果存储在存储器中。此后，过程转到步骤S209。
在步骤S209中，计算电路24确定变量r是否等于X方向的像素数量W。如果在步骤S209中确定变量r不等于像素数量w，也就是说，如果还没有对
Y位置是r的所有像素完成步骤S203到S208,过程转到步骤S210。在步骤 S210中，计算电路24将变量r加1。此后，过程返回到步骤S203。
在步骤S209中确定变量r等于像素数量w的情况下，也就是说，如果
对Y位置是r的所有像素都完成了步骤S203到S208，过程转到步骤S211。 在步骤S211中，计算电路24确定变量r是否等于Y方向的像素数量H。 如果在步骤S211中确定变量r不等于像素数量H，也就是说，如果还没有对 成像器件4的所有Y位置完成步骤S203到S208,过程转到步骤S212。在步 骤S212中，计算电路24将变量r加l。此后，过程返回到步骤S202。
另一方面，如果在步骤S211中确定变量r等于像素数量H,也就是说， 如果对成#>器件4的所有Y位置都完成了步骤S203到S208，过程转到图50 中的步骤S213。注意，像素数量W和H分别等于输出图像在X和Y方向的像 素数量。
在步骤S213中，与步骤S201—样，计算电路24将变量J'设置成l。此 后，过程转到步骤S214。
在步骤S214中，与步骤S202 —样，计算电路24将变量r设置成l。此 后，过程转到步骤S215。
在步骤S215中，计算电路24将位置(I', r )用作感兴趣位置，计算
感兴趣位置(i、 r )上的纯绿光强度Lg (r, r )。此后，过程转到步骤
5216。 更具体地说，在如上所述的步骤S215中，通过l象后面将进一步描述的 那样，利用与绿光强度相联系的加权求和方程(46)执行正常过程(第一计 算过程)或根据方程(56 )执行异常过程(第二计算过程)，确定感兴趣位置
(F ， r )上的纯绿光强度Lg ( F ， r )。
在步骤S216中，计算电路24将位置(r， J')用作感兴趣位置，计算
感兴趣位置(i、 r )上的纯红光强度Lr (r, r )。此后，过程转到步骤
5217。 更具体地说，在如上所述的步骤S216中，通过^f象后面将进一步描述的 那样，利用与红光强度相联系的加权求和方程(50)执行正常过程(第一计 算过程)或根据方程(58 )执行异常过程(第二计算过程)，确定感兴趣位置
(r ， r )上的纯红光强度Lr (r ， r )。
在步骤S2i7中，计算电路24将位置(r, r )用作感兴趣位置，计算 感兴趣位置(i、 r )上的纯蓝光强度Lr (i'， r )。此后，过程转到步骤S218。更具体地说，在如上所述的步骤S217中，通过像后面将进一步描述的 那样，利用与蓝光强度相联系的加权求和方程(51)执行正常过程(第一计 算过程)或根据方程(59 )执行异常过程(第二计算过程)，确定感兴趣位置
(r, r )上的纯蓝光强度Lb ( f ， r )。
在步骤S218中，计算电路24确定变量r是否等于X方向的像素数量W。
如果在步骤S218中确定变量r不等于像素数量w，也就是说，如果还没有对
Y位置是J'的所有^^素完成步骤S215到S217，过程转到步骤S219。在步骤 S219中，计算电路24将变量I'加1。此后，过程返回到步骤S215。
在步骤S218中确定变量r等于像素数量W的情况下，也就是说，如果 对Y位置是r的所有像素都完成了步骤S215到S217,过程转到步骤S220。
在步骤S220中，计算电路24确定变量r是否等于Y方向的像素数量H。 如果在步骤S220中确定变量r不等于像素数量H，也就是说，如果还没有对 成像器件4的所有Y位置完成步骤S215到S217,过程转到步骤S221。在步 骤S221中，计算电路24将变量r加1。此后，过程返回到步骤S214。
另一方面，如果在步骤S220中确定变量r等于像素数量H，也就是说， 如果对成像器件4的所有Y位置都完成了步骤S215到S217,过程转到步骤 S222。
在步骤S222中，计算电路24从分别在步骤S215、 S216和217中确定的
纯绿光强度Lg (r, r )、纯红光强度Lr (r ， r )和纯蓝光强度Lb (r,
r )中估计输出图像(信号)。将所得的输出图像供应给D/A转换器9或编解 码器12。此后，处理流程从当前过程返回。更具体地说，对于第(i， j)像 素，计算电路24从在步骤S215中作为绿光值(G信号)确定的纯绿光强度 Lg (r， r )、在步骤S216中作为红光值(R信号)确定的纯红光强度Lr (i -0.5, j-0.5) ( =Lr (IS r ))和在步骤S217中作为蓝光值(B信号) 确定的纯蓝光强度Lb (i-O. 5， j-0.5) ( =Lb (r, J'))中估计第(i, j)
像素的正确图像信号。计算电路24通过对中心位于位置(r, r ) ( = u
-0.5， j-0. 5))的输出图像的所有像素执行如上所述的过程，估计输出图像。
现在参照如图51所示的流程图，描述图50中的步骤sn5中为了计算位
置(r, r )上的纯绿光强度Lg ( f ， r )而执行的过程。
首先，在步骤S251中，计算电路24确定在图49中的步骤S204中为感兴趣位置(r, r )计算的方程(46)中的绿光强度的加权和的分母的绝对
值，即，方程(48)的绝对值是否大于等于阈值。阔值用于确定是否应该认 为方程(48)的绝对值等于0,并因此，应该执行异常管理过程。在计算电 路24中阈值是事先设置的。可以可变地将阈值设置成用户指定的值。
如果在步骤S25i中确定对于感兴趣位置(r ， r )方程(48)的绝对值 大于等于阈值，即，如果对于感兴趣位置(i'， r )方程(48)的绝对值没
有小到可以认为它等于0,过程转到步骤S252。在步骤S252中，计算电路 24选择正常过程和计算与绿光强度相联系的加权求和方程(46 )。也就是说， 计算电路24将在步骤S204中计算的与绿光强度相联系的加权求和方程(46 ) 的分子的值，即，方程(47)的值除以在步骤S204中计算的与绿光强度相联 系的加权求和方程(46)的分母的值，即，方程(48)的值。因此，在步骤
S252中，确定出感兴趣位置(r， r )上的纯绿光强度Lg (r, r )。 另一方面，如果在步骤S251中确定对于感兴趣位置(r, r)方程(48)
的绝对值小于阈值，即，方程(48)的绝对值等于或几乎等于0，过程转到 步骤S253。在步骤S253中，计算电路24选择异常过程和执行它。也就是说， 计算电路24通过计算方程(56 ),确定感兴趣位置(I、 J')上的纯绿色的
光强度Lg (i'， r )。
现在参照如图52所示的流程图，描述图50中的步骤S216中为了计算感
兴趣位置(f ， r )上的纯红光强度Lg (i', r )而执行的过程。
首先，在步骤S271中，计算电路24确定在图49中的步骤S206中为感
兴趣位置(r, r )计算的方程(50)中的红光强度的加权和的分母的绝对
值，即，方程(53)的绝对值是否大于等于阈值。阈值用于确定是否应该认 为方程(53)的绝对值等于0，并因此，应该执行异常管理过程。在计算电 路24中阈值是事先设置的。可以可变地将阈值设置成用户指定的值。注意， 该阈值可以等于也可以不等于在图51中的步骤S251使用的阈值。
如果在步骤S271中确定对于感兴趣位置(I' , J')方程(53 )的绝对值 大于或等于阔值，即，如果对于感兴趣位置(I'， r )方程(53)的绝对值 没有小到可以认为它等于0，过程转到步骤S272。在步骤S272中，计算电路 24选择正常过程和计算与红光强度相联系的加权求和方程(50)。也就是说， 计算电路24将在步骤S206中计算的与红光强度相联系的加权求和方程(50 ) 的分子的值，即，方程(52)的值除以在步骤S206中计算的与红光强度相联系的加权求和方程(50)的分母的值，即，方程(53)的值。因此，在步骤 S272中，确定出感兴趣位置(I、 r )上的纯红光强度Lr J')。
另一方面，如果在步骤S271中确定对于感兴趣位置(I、 J')方程(53) 的绝对值小于阈值，即，方程(53)的绝对值等于或几乎等于0,过程转到 步骤S273。在步骤S273中，计算电路24选择异常过程和执行它。也就是说， 计算电路24通过计算方程(58 )，确定感兴趣位置(r , J')上的纯红色的 光强度Lr (F， T )。
现在参照如图53所示的流程图，描述图50中的步骤S217中为了计算感
兴趣位置(r ， r )上的纯蓝光强度Lg (r, r )而执行的过程。
首先，在步骤S291中，计算电路24确定在图49中的步骤S208中为感
兴趣位置(r， r )计算的方程(51)中的蓝光强度的加权和的分母的绝对
值，即，方程(55)的绝对值是否大于或等于阔值。阈值用于确定是否应该 认为方程(55)的绝对值等于0,并因此，应该执行异常管理过程。在计算 电路24中阈值是事先设置的。可以可变地将阈值设置成用户指定的值。注意， 该阈值可以等于也可以不等于用在图51中的步骤S251中的阈值或用在图52 中的步骤S72中的阈值。
如果在步骤S291中确定对于感兴趣位置(r ， r )方程(55 )的绝对值
大于或等于阈值，即，如果对于感兴趣位置(i'， r )方程(55)的绝对值
没有小到可以认为它等于0，过程转到步骤S292。在步骤S292中，计算电路 24选择正常过程和计算与蓝光强度相联系的加权求和方程(51)。也就是说， 计算电路24将在步骤S208中计算的与蓝光强度相联系的加权求和方程(51 ) 的分子的值，即，方程(54)的值除以在步骤S208中计算的与蓝光强度相联 系的加权求和方程(51)的分母的值，即，方程(55)的值。因此，在步骤 S292中，确定出感兴趣位置(r， J')上的纯蓝光强度Lr (1、 r )。
另一方面，如果在步骤S291中确定对于感兴趣位置(r， r)方程(55)
的绝对值小于阈值，即，方程(55)的绝对值等于或几乎等于0，过程转到 步骤S293。在步骤S293中，计算电路24选择异常过程和执行它。也就是说， 计算电路24通过计算方程(59 ),确定感兴趣位置(r ， r )上的纯蓝色的 光强度Lb (F， r )。
如上所述，在第八实施例中，通过将特性与低通滤波器的特性相似的三
次函数用作取决于感兴趣位置(r ， r )与感兴趣位置(i' ， r )附近的转换位置(x, y)之间的距离的权重计算加权和，确定出纯绿光强度Lg (I:
r )、纯红光强度Lr (r, r )和纯蓝光强度Lb (i'， r )，从而确定非常接 近理想图像的清晰图像。
在第八实施例中，对于感兴趣位置(r， r )，当利用转换参数(ak、
bk' ， ck' ， dk' ， Tkx' ， Tk/ )将位置(ig - 0. 5， jg - 0. 5 )转换到参考坐标 系时，如果像素值Gobs (k, ig， jg)的一个或多个转换位置(x， y)落在 由F -2^x<r +2和丌-2^y<r +2定义的范围内，那么，按照与绿光强度 相联系的加权求和方程(46)计算转换位置(x, y)位于感兴趣位置(1、 )附近的上述范围内的那些像素值Gobs (k, ig， jg)的加权和，并且，
将结果用作纯绿光强度Lg (r, r )(正常过程)。
但是，如果为感兴趣位置(r， r)计算的与绿光强度相联系的加权求
和方程(46)的分母的绝对值即方程(48)中的值小于可以认为基本上等于0 的预定小阈值，加权求和方程(46)的解变成不稳定的。在这样的情况下， 按照加权求和方程(56)计算转换位置(x， y)落在感兴趣位置(I'， J') 附近的像素值Gobs (k， ig, jg)和转换位置(x， y)落在与感兴趣像素相 邻的像素附近的像素值Gobs (k, ig, jg)的加权和，并且，将结果用作纯
绿光强度Lg (r ， r )(异常过程)。
纯红光强度Lr ( F , r )和纯蓝光强度Lb (I' , r )以相似的方式确定。
因此，可以获得基本上不包括噪声的好输出图像。
下面从另一个角度进一步描述正常过程和异常过程。
例如，对于绿光强度，在如上所述的正常过程中，利用转换位置(x, y)
落在感兴趣像素的感兴趣位置(f, r)附近内的捕获图像的像素的像素值
Gobs(k， ig， jg)计算加权和。另一方面，在异常过程中，利用转换位置(x，
y)落在感兴趣像素的感兴趣位置(r, r)附近内的捕获图像的像素的像素
值Gobs (k, ig， jg)，以及利用转换位置(x, y)落在与感兴趣像素相邻的 像素的位置附近内的捕获图像的像素的像素值Gobs (k， ig， jg)计算加权 和。
也就是说，在异常过程中，不仅利用转换位置(x， y)落在感兴趣像素 的位置(r， J')附近内的捕获图像的像素的像素值Gobs (k, ig, jg)，而 且利用转换位置(x, y)落在与感兴趣像素相邻的像素附近内的捕获图像的 像素的像素值Gobs (k， ig， jg)来计算加权和。也就是说，如上所述，在正常过程中，通过计算在感兴趣位置(r， J') 附近的区域内，即，在由r-2《x<r +2和卩-2《y<r +2定义的区域内观 测的捕获图像的像素值Gobs (k， ig, jg)的加权和，确定感兴趣位置(r,
r )上的纯绿光强度Lg (r, r )。与此不同，在异常过程中，通过计算在 比用在正常过程的附近区域大的感兴趣位置(i', r )附近的区域内，即，
更具体地说，在由I' - 3Sx〈I' + 3和J' - 3^y<r + 3定义的区域内观测的捕
获图像的像素值Gobs (k， ig， jg)的加权和，确定感兴趣位置(i', r ) 上的纯绿光强度Lg (F， r )。
换句话说，当确定感兴趣位置(r， r )上的纯绿光强度Lg (r, r) 时，感兴趣位置(r, r )附近的区域由r _ 3&<r + 3和j' - 3《y<r + 3 定义。在正常过程中，通过计算对于在上面定义的附近区域内观测到的，但
在由I' -2《x<r + 2和J' -2《y<r +2定义的区域之外的那些像素值Gobs (k, ig, jg)，将权重设置成G的加权求和方程(46 )，确定感兴趣位置(I、
r )上的纯绿光强度Lg (i'， r )。另一方面，在异常过程中，根据对于在
上面定义的附近区域内观测到的，但在由I' - 2^x<I' + 2和r - 2^y<r +2 定义的区域之外的那些像素值Gobs (k， ig， jg)，即，对于在与感兴趣像素 相邻的像素的附近观测到的像素值Gobs (k， ig， jg),不是将权重设置成O， 而是设置成其原点取在那个相邻像素的位置上的三次函数Cubic (z)给出的
值的方程(56)，确定感兴趣位置(r， r )上的纯绿光强度Lg (i'， r )。 也就是说，当通过计算加权和确定纯绿光强度Lg (r， r )时，取决于 在正常过程中还是在异常过程中进行计算，不同地设置权重(设置成第一权 重或第二权重)。
尽管在第八实施例中，具有方程(39)的形式的三次函数Cubic (z)用 于定义取决于观测Gobs (k, ig, jg)的感兴趣位置(F， r )和附近位置 (x， y)之间的距离z的权重，但也可以利用在特性方面用作低通滤波器的 其它任意函数，譬如，sin(z)/z来定义权重。
在如上所述的实施例中，第一捕获图像用作参考图像，和第二到第N捕 获图像用作目标图像。取代第一捕获图像，第二到第N捕获图像的任何一个 都可以用作参考图像。
图54示出了相继N次捕获操作(高快门速度)获得的N个图像。在如图 54所示的这个具体例子中，N = 8。第一到第八捕获图像401,到4018 (第k图像40L)在时间上是依次捕获 的，并且，由于照相机摇晃，随着时间的流逝向右上方移动。
图55示出了与如图54所示的那些相似的8个捕获图像401i到401"
在信号处理器7通过将捕获图像40L到4018的第一个用作参考图像和将 第二到第八个图像用作目标图像估计输出图像的情况下，像在定义在用作参 考图像的第一图像401,上的坐标系中形成的图像那样获取输出图像。在图55 中，第一图像401i,即输出图像用粗实线表示。
图55中用粗实线表示的输出图像的区域包括区域411，其位于右上角和 用虚线表示其中第一到第八图像401,到4018组成的所有8个捕获图像都可以 用在估计预期是纯的光强度(像素值)中的。在这个区域411中，由于利用 由第一到第八图像401,到4018组成的所有8个捕获图像的数据进行像素值的 估计，可以获得高的图像质量。
但是，在图55中用粗实线表示的输出图像除了区域411之外的区域中， 只有一些第一到第八图像401,到4018的数据可用在估计预期输出图像中。在 这样的区域中，由于不能使用第一到第八图像401i到401s的所有数据，与区 域411相比，就清晰度而言，图像质量变低了。如上所述，在由于照相机摇 晃向右上方相继移动的一组捕获图像中，可用在估计输出图像中的数据量沿 着相反方向，即，沿着与右上方相反的方向随位置而减少，并且，就清晰度 而言，图像质量相对于区域411的质量降低了。
在用作目标图像的第二到第八捕获图像4012到4018的数据当中，图55 中粗实线所表示的输出图像外部的区域412中的数据不能用在估计输出图像 中，因此，作为无用数据废除它。
从上面的讨论中可以了解到，当将第 一捕获图像用作参考图像估计输出 图像时，如果由于照相机摇晃，沿着特定方向出现位移，那么，就清晰度而 言，尽管在沿着与位移方向相同的方向远离输出图像中心的区域(例如，图 55中的区域411)中获得高图像质量，但在沿着与位移方向相反的方向远离 输出图像中心的区域中出现图像质量变差。
一般说来，当用户观看图像时，图像的中心部分最吸引用户的注意力。 因此，就清晰度而言，最好在图像的中心部分具有高图像质量。
鉴于上面情况，在估计输出图像时，信号处理器7可以将N个相继捕获 图像的中间图像用作参考图像。更具体地说，在N个相继捕获图像当中，在捕获N个图像的时间的严格中心或严格中心附近捕获的图像用作参考图像 (下文将这样的图像筒称为中间图像)，和其它捕获图像可以用作目标图像。
例如，如图56所示，在8个捕获图像40L到4018当中，信号处理器7 将粗实线所表示的第四捕获图像用作参考图像和估计输出图像。在这种情况 下，当估计输出图像时，由第一到第八图像40^到4018组成的所有8个捕获 图像的数据都可用在中心区421中。
如上所述，在估计输出图像时，通过将在时间上依次捕获的多个图像的 中间图像用作参考图像和将其它捕获图像用作目标图像，尤其在输出图像的 中心区，就清晰度而言，可以获得质量更高的输出图像。
在大多数情况下，当用户拍摄对象的照片时，照相机的角度被摆成使对 象位于图像(帧)的中心。并且，如上所述，当用户观看图像时，图像的中 心部分最吸引用户的注意力。从这个观点来看，可以认为中心部分比周边部 分更清晰的图像是比就清晰度而言相反的图像更好的图像。
鉴于上面情况，如图56所示，如果中间图像用作参考图像和其它图像用 作目标图像，由第一到第八图像40h到4018组成的所有8个捕获图像的数据 都可用在估计输出图像的中心部分，和尤其在输出图4象的中心区，就清晰度 而言，所得的输出图像比将第一捕获图像用作参考图像时获得的图像具有更 高的质量。
照相机摇晃的频率一般在10到15Hz (赫兹)的范围内。因此，在图56 中，对于以1/50秒或更高的总有效快门速度依次捕获的一组8个图像401! 到4018,由于照相机摇晃引起的位移可以用线性位移来近似。也就是说，可 以将照相机摇晃当作以恒定速度沿着特定方向的运动，因此，对于在时间上 依次捕获的一组8个图像40L到4018，在正如上面参考图56所述的那样，输 出图像估计中当补偿位移时，可以用线性位移近似在曝光时间内由于照相机 摇晃引起的位移，其中将诸如第四捕获图像4014或第五捕获图像4015之类的 中间图像被用作参考图像，以此，尤其在输出图像的中心部分，就清晰度而 言，获得高图像质量的输出图像。
在如图4所示的信号处理器7中，例如，当8个捕获图像40^到4018的 第四捕获图像4014用作参考图像时，将用作参考图像的第四捕获图像4014供 应给帧存储器22-l和存储在其中，并且，将第一到笫三捕获图像401,到4013 和第五到第八捕获图像4015到4018分别供应给帧存储器22-2到22-8和存储在其中。
除了在输出图像的中心部分就清晰度而言的高图像质量之外，将中间图 像用作参考图像供应了可以更容易地设计信号处理器7的进一步优点。
这里，让我们假设如上所述，由于照相机摇晃引起的位移可以用线性位
移来近似，和让我们还假设当在时间上依次捕获8捕获图像4015到4018时， 例如出现10个像素的图像间位移。在这种情况下，如果第一捕获图像用作参 考图像，那么，即使每个图像的曝光时间无限短，也会引起至多70个像素的 位移。因此，不得不将信号处理器7设计成可以管理至多70个像素的位移。
与此不同，当诸如捕获图像40L到4018的第四图像4014之类的中间图像 用作参考图像时，最大可能位移是40个像素。因此，信号处理器7处理至多 40个像素的位移就足够了，因此，设计信号处理器7变得更加容易。
与其它实施例一样，根据第八实施例的一系列处理步骤可以通过硬件或 软件来执行。在根据第八实施例的一系列处理步骤例如通过软件执行的情况 下，与其它实施例一样，数字照相机l可以通过执行像如图41所示的那个那
样的计算机上的程序来实现。
在本说明书中，可以以按照在程序中描述的顺序的时间序列或以并行或 分立的方式执行在存储在存储i某体中的程序中描述的步骤。
尽管在如上所述的实施例中，单面传感器用作数字照相机1的成像器件 1，和从从成像器件4输出的每个像素具有一种彩色信号的图像信号中生成每 个像素具有三种颜色的图像，但成像器件4不限制于单面传感器。可以使用 能够每个像素输出n种彩色信号的其它类型成像器件4，并且，在正确图像 估计过程中，可以从从成像器件4输出的图像信号中生成每个像素具有(n+l) 个或更多个彩色信号的图像。
在如上所述的实施例中，第一捕获图像或中间捕获图像用作参考图像， 和检测目标图像和参考图像之间的位置关系。可选地，取代第一捕获图像或 中间捕获图像，任何捕获图像都可以用作参考图像，和可以检测目标图像和 参考图像之间的位置关系。本发明不仅可以应用于数字静止照相机，而且可 以应用于诸如数字摄像机之类的其它类型照相机。
工业可应用性
本发明可以获得更清晰的图像。
权利要求
1. 一种从多个输入图像中估计输出图像的图像处理方法，包括如下步骤检测用于捕获其中每个像素具有n个像素值的图像的图像捕获装置捕获的多个输入图像之间的位置关系；和通过对于输出图像的每个像素位置，从多个输入图像中标识观测像素成分，和根据标识的观测像素成分，生成每个像素具有(n+1)个或更多个像素值的输出图像，估计输出图像；其中，在估计输出图像的步骤中，将输入图像的像素的像素值改变成取决于边缘陡度的像素值，和根据所得的改变像素值估计输出图像。
2. 根据权利要求l所述的图像处理方法，其中，在估计输出图像的步骤 中，对于输出图像的每个像素位置，从多个输入图像中选择应该加以考虑的 观测像素成分，和根据所选的观测像素成分，生成每个像素具有(n+l)个或 更多个像素值的输出图像。
3. 根据权利要求l所述的图像处理方法，其中，在估计输出图像的步骤 中，根据在检测步骤中检测的位置关系，从多个输入图像中生成每个像素具 有(n+l)个或更多个彩色信号的输出图像。
4. 根据权利要求l所述的图像信息方法，其中，在估计输出图像的步骤 中，根据在每个像素位置上和/或在输出图像的每个像素的位置附近的颜色相 关性确定输出图像。
5. 根据权利要求1所述的图像处理方法，其中， n等于l;和在估计输出图像的步骤中，根据在检测步骤中检测的位置关系，从多个 输入图像中生成每个像素具有三个像素值的输出图像。
6. 根据权利要求l所述的图像处理方法，其中，图像捕获装置是观测的 彩色信号随每个输入图像的位置而改变的单面传感器。
7. 根据权利要求1所述的图像处理方法，其中， 图像捕获装置捕获欠曝光的多个输入图像；和图像处理方法进一步包括通过放大多个输入图像的每个像素值校正曝光 的步骤。
8. 根据权利要求7所述的图像处理方法，其中，估计输出图像的步骤包括如下步骤对于多个输入图像中的每一个的每个像素，取决于在检测步骤中4企测的 位置关系，确定每个像素的校正位置；生成指示中心在校正位置的区域中光强度的积分与校正位置上的像素的 像素值之间的差值应该小于预定误差的光强度积分约束公式；和计算光强度积分约束公式。
9. 根据权利要求8所述的图像处理方法，其中，当生成光强度积分约束 公式时，如果多个输入图像已经被放大，那么，误差随放大倍数而改变。
10. 根据权利要求7所述的图像处理方法，其中，在估计输出图像的步 骤中，对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的 位置关系，确定每个像素的校正位置；和基于校正位置位于输出图像的每个像素的位置附近的输入图像的像素的 像素值以及取决于放大倍数的误差，估计输出图像。
11. 根据权利要求1所述的图像处理方法，其中，在估计输出图像的步 骤中，对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的 位置关系，确定每个像素的校正位置；和基于校正位置位于输出图像的每个像素的位置附近的输入图像的像素的 像素值以及校正位置和输出图像的相应像素的位置之间的距离，估计输出图 像。
12. 根据权利要求1所述的图像处理方法，其中，在估计输出图像的步 骤中，对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的 位置关系，确定每个像素的校正位置；和基于校正位置位于输出图像的每个像素的位置附近的输入图像的像素的 像素值以及取决于放大倍数的误差，估计输出图像。
13. 根据权利要求1所述的图像处理方法，其中，在估计输出图像的步 骤中，对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的 位置关系，确定每个像素的校正位置；和通过确定其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素值的加权和来估计输出图像。
14. 根据权利要求13所述的图像处理方法，其中，在估计输出图像的步 骤中，通过确定其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素值的加权和来估计感兴趣像素的正确像素值，加权和的权重是利用低通 滤波特性关于输出图像中感兴趣像素的位置与校正位置之间的距离的函数确 定的。
15. 根据权利要求14所述的图像处理方法，其中，在估计输出图像的步 骤中，通过有选择地执行如下过程估计感兴趣像素的正确像素值 确定其校正位置位于感兴趣像素的位置附近的输入图像的像素值的加权和的第一计算过程；或确定其校正位置位于与感兴趣像素相邻的输出图像的像素的位置附近的输入图像的像素值的加权和的第二计算过程。
16. 根据权利要求15所述的图像处理方法，其中，在估计输出图像的步 骤中，当第一计算过程中的权重之和等于或几乎等于G时，选择第二计算过程。
17. 根据权利要求14所述的图像处理方法，其中，在估计输出图像的步 骤中，通过有选择地执行如下过程估计感兴趣像素的正确像素值 确定其校正位置位于感兴趣像素的位置的第一附近区域中的输入图像的像素值的加权和的第一计算过程；或确定其校正位置位于感兴趣像素的位置的第二附近区域中的输入图像的像素值的加权和的第二计算过程估计，第二附近区域大于第一附近区域。
18. 根据权利要求17所述的图像处理方法，其中，在估计输出图像的步 骤中，当第一计算过程中的权重之和等于或几乎等于0时，选择第二计算过 程。
19. 根据权利要求14所述的图像处理方法，其中，在估计输出图像的步 骤中，通过有选择地执行如下过程估计感兴趣像素的正确像素值确定其校正位置位于感兴趣像素的位置附近的输入图像通过第一加权倍数加权的像素值之和的第一计算过程；或确定其校正位置位于感兴趣像素的位置附近的输入图像通过第二加权倍 数加权的像素值之和的第二计算过程。
20. 根据权利要求19所述的图像处理方法，其中，在估计输出图像的步 骤中，当第一计算过程中的权重之和等于或几乎等于0时，选择第二计算过程。
21. 根据权利要求1所述的图像处理方法，其中，在检测步骤中， 相对于在捕获多个输入图像的时间的严格中心或严格中心附近捕获的输入图像检测多个输入图像之间的位置关系。
22. —种从多个输入图像中估计输出图像的图像处理设备，包括 捕获每个像素具有n个像素值的多个输入图像的图像捕获装置； 检测多个输入图像之间的位置关系的检测装置；和通过对于输出图像的每个像素位置，从多个输入图像中标识观测像素成 分，和根据标识的观测像素成分，生成每个像素具有(n+l)个或更多个像素 值的输出图像，估计输出图像的装置；其中，估计输出图像的装置将输入图像的像素的像素值改变成取决于边 缘陡度的像素值，和根据所得的改变像素值估计输出图像。
23. 根据权利要求22所述的图像处理设备，其中，所述估计输出图像的 装置对于输出图像的每个像素位置，从多个输入图像中选择应该加以考虑的 观测像素成分，和根据所选的观测像素成分，生成每个像素具有(n+l)个或更多个像素值的输出图像。
24. 根据权利要求22所述的图像处理设备，其中，所述估计输出图像的装置根据在检测步骤中检测的位置关系，从多个输入图像中生成每个像素具 有(n+l)个或更多个彩色信号的输出图像。
25. 根据权利要求22所述的图像处理设备，其中，估计输出图像的装置 根据在每个像素位置上和/或在输出图像的每个像素的位置附近的颜色相关性确定输出图像。
26. 根据权利要求22所述的图像处理设备，其中， n可以等于1;和所述估计输出图像的装置根据在检测步骤中检测的位置关系，从多个输 入图像中生成每个像素具有三个像素值的输出图像。
27. 根据权利要求22所述的图像处理设备，其中，图像捕获装置是观测的彩色信号随每个输入图像的位置而改变的单面传感器。
28. 根据权利要求22所述的图像处理设备，其中，图像捕获装置捕获欠曝光的多个输入图像；和图像处理设备进一步包括用于通过放大多个输入图像的每个像素值校正 曝光的校正装置。
29. 根据权利要求28所述的图像处理设备，其中，所述估计输出图像的 装置包括用于对于多个输入图像中的每一个的每个像素，取决于在检测装置中检 测的位置关系，确定每个像素的校正位置的确定装置；用于生成指示中心在校正位置的区域中光强度的积分与校正位置上的像 素的像素值之间的差值应该小于预定误差的光强度积分约束公式的生成装 置；和用于计算光强度积分约束^^式的计算装置。
30. 根据权利要求29所述的图像处理设备，其中，当所述生成装置生成 光强度积分约束公式时，如果多个输入图像已经被放大，那么，误差随放大 倍数而改变。
31. 根据权利要求28所述的图像处理设备，其中，所述估计输出图像的 装置还用于，对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的 位置关系，确定每个像素的校正位置；和在考虑了其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素的像素值，以及考虑了取决于放大倍数的误差之后估计输出图像。
32. 根据权利要求22所述的图像处理设备，其中，所述估计输出图像的装置还用于，对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的 位置关系，确定每个像素的校正位置；和在考虑了其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素的像素值，以及考虑了校正位置和输出图像的相应像素的位置之间的距 离之后估计输出图像。
33. 根据权利要求22所述的图像处理设备，其中，所述估计输出图像的装置还用于对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的位置关系，确定每个像素的校正位置；和在考虑了其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素的像素值，以及考虑了取决于放大倍数的误差之后估计输出图像。
34. 根据权利要求22所述的图像处理设备，其中，所述估计输出图像的 装置还用于，对于多个输入图像中的每一个的每个像素，取决于在检测步骤中检测的 位置关系，确定每个像素的校正位置；和通过确定其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素值的加权和来估计输出图像。
35. 根据权利要求34所述的图像处理设备，其中，所述估计输出图像的 装置还用于，通过确定其校正位置位于输出图像的每个像素的位置附近的输入图像的 像素值的加权和来估计感兴趣像素的正确像素值，加权和的权重是利用低通 滤波特性关于输出图像中感兴趣像素的位置与校正位置之间的距离的函数确 定的。
36. 根据权利要求35所述的图像处理设备，其中，所述估计输出图像的 装置还用于，通过有选择地执行如下过程估计感兴趣像素的正确像素值 确定其校正位置位于感兴趣像素的位置附近的输入图像的像素值的加权和的第一计算过程；或确定其校正位置位于与感兴趣像素相邻的输出图像的像素的位置附近的输入图像的像素值的加权和的第二计算过程。
37. 根据权利要求36所述的图像处理设备，其中，所述估计输出图像的 装置还用于，当第一计算过程中的权重之和等于或几乎等于0时，选择第二计算过程。
38. 根据权利要求35所述的图像处理设备，其中，在估计输出图像的步 骤中，通过有选择地执行如下过程估计感兴趣像素的正确像素值 确定其校正位置位于感兴趣像素的位置的第一附近区域中的输入图像的像素值的加权和的第一计算过程；或确定其校正位置位于感兴趣像素的位置的第二附近区域中的输入图像的 像素值的加权和的第二计算过程估计，第二附近区域大于第一附近区域。
39. 根据权利要求38所述的图像处理设备，其中，所述估计输出图像的 装置在第一计算过程中的权重之和等于或几乎等于0时，选择第二计算过程。
40. 根据权利要求35所述的图像处理设备，其中，所述估计输出图像的 装置通过有选择地执行如下过程估计感兴趣像素的正确像素值确定其校正位置位于感兴趣像素的位置附近的输入图像通过第一加权倍 数加权的像素值之和的第一计算过程；或确定其校正位置位于感兴趣像素的位置附近的输入图像通过第二加权倍 数加权的像素值之和的第二计算过程。
41. 根据权利要求40所述的图像处理设备，其中，所述估计输出图像的 装置还用于，当第一计算过程中的权重之和等于或几乎等于0时，选择第二计算过程。
42. 根据权利要求22所述的图像处理设备，其中，所述检测装置， 相对于在捕获多个输入图像的时间的严格中心或严格中心附近捕获的输入图像检测多个输入图像之间的位置关系。
全文摘要
一种生成更清晰图像的图像处理方法和设备，以及程序。在数字照相机(1)中，将由每个像素供应一种彩色信号的单面传感器组成的成像器件(4)快速成像的多个图像存储在信号处理电路(7)的帧存储器(27)中。信号处理电路(7)检测存储在帧存储器(22)中的图像之间的位置关系，和根据检测的位置关系，导出每个像素具有三种彩色信号的图像。本发明例如可应用于数字照相机。
文档编号H04N1/48GK101431685SQ20081017829
公开日2009年5月13日 申请日期2004年5月28日 优先权日2003年6月23日
发明者大木光晴 申请人:索尼株式会社