专利名称：图像处理装置、成像装置、图像处理方法和计算机程序的制作方法
技术领域：
本发明涉及图像处理装置、成像装置和图像处理方法以及计算机程序。具体地，本发明涉及基于两类图^象、即长期曝光图像(long-time exposure image)和短期曝光图像来生成高质量输出图像的图像处理装置、成像装置和 图像处理方法以及计算机程序。
背景技术：
固态成像元件、诸如视频摄像机、数字静态摄像机等等中使用的电荷耦 合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器 积累与其上的入射光量对应的电荷，并输出与所积累的电荷对应的电信号， 换句话说，进行光电转换。但是，能够被积累在光电转换元件中的电荷量存 在限制。当接收到多于某个电平的光量时，所积累的电荷量到达饱和电平， 以至于比某个值更亮的物体区域被设为饱和亮度电平。即，产生"泛白 (white-out)"问题。为了避免这种泛白现象，根据周围光中的变化等等来控制在光电转换元 件中积累电荷的时间段，以调整曝光时间来最佳地控制灵敏度。例如，当拍 摄明亮物体时，以高速释放(release)快门来减少曝光时间，以减少在光电 转换元件中积累电荷的时间段，以便在所积累的电荷量到达了饱和电平之前 输出电信号。这允许通过准确再现与物体一致的灰度及来输出图像。在包括明亮区域和暗沉区域两者的物体的拍摄中，高速快门释放不保证 在暗沉区域中的足够的曝光时间，导致了信噪(S/N )比的恶化和低图像质量。 在包括明亮和暗沉区域两者的这种物体的拍摄的图像中，通过增加具有在图 像传感器上的少量入射光的像素中的曝光时间，来准确地再现明亮和暗沉区 域的亮度电平，以在避免具有大量入射光的像素中的饱和的同时实现高S/N 比。在例如2005年2月的IEEE International Solid-State Circuits Conference (ISSCC)2005，pp.354中描述了用于实现这种准确再现的方法。具体地，如图1所示，放大型图像传感器包括以矩阵排列的像素100，每个像素具有光电二极管101、转移晶体管102、复位晶体管103、放大晶体管104、和选择晶体 管105。为了截止转移晶体管102,将被施加到转移晶体管102的控制电极的 电压被设置为允许在某个值以上过多的电子流入浮动扩散(floating diffusion ) (FD)节点106的电平Vtrg，而不是用于完全截止转移晶体管102的标准电平。当在光电二极管101中积累的电子数量超过电平Vtrg时，在低于阈值的 区域中开始发生过多电子泄漏到FD节点106。该泄漏在低于阈值的区域中操 作，保持在光电二极管101中的电子数量是对数响应的。如图2所示，在时间段TO中复位操作以后，当电压Vtrg仍然被施加到 转移晶体管102的控制电极时执行电子的积累。在积累的电子数量小的时间 段T1中，所有电子被存储在光电二极管101中。当所积累的电子数量超过电 平Vtrg时，如时间)殳T2所指示的，电子开始泄漏到FD节点106 。由于在低于阈值的区域中的泄漏，即使当积累继续(在时间段T3中)时， 电子也关于入射光强度呈对数特性地积累。在时间段T4中，复位溢出到FD 节点106的电子，且通过完全转移读取被存储在光电二极管101中的所有电 子。图3示出入射光强度和输出电子的数量之间的关系。关于超过由电压Vtrg 限定的线性区域的上限Qlinear的入射光强度，由对数响应来确定输出电子的 数量。虽然在前述现有技术中发表了 124dB的动态范围的实现，但是能够实现 高S/N比的线性区域的饱和电平小于或等于标准饱和电平Qs的一半。此外， 当由对数响应实现了很宽的动态范围时，对数响应电路易受转移晶体管102 的阈值改变等等的影响。因此，即使消除了阚值改变，对于对数区域的5mV 大的固定图样噪声，与对于线性区域的0.8mV的固定图样噪声相比，也保持 在宽的动态范围内。发明内容因此希望提供适合于产生包括明亮和暗沉区域的物体的拍摄的图像的图 像处理装置、成像装置、图像处理方法和计算机程序，其中生成两类图像、 即长期曝光图像和短期曝光图像，以及对所生成的图像进行图像处理以获得 在高亮度区域中有少量泛白且在低亮度区域中有高S/N比的高的高质量输出9图像。还希望提供适合于对两类输入图像、即长期曝光图像和短期曝光图像进 行图像处理的图像处理装置、成像装置、图像处理方法和计算机程序，其中 其亮度电平等等由于物体的运动等等而变化的像素被检测，并经过限制性处理，以防止像素的灰度级错误或伪色(false color)以生成高质量图像。根据本发明的某些实施例， 一种图像处理装置包括以下元件。图像输入 单元，被配置以接收长期曝光图像和短期曝光图像。图像分析单元，被配置 以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中 确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像 素。像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素 的像素值。像素值校正单元包括以下元件。组合图像生成器，被配置以选择 性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成 组合图像。中间图像生成器，被配置以生成中间图像，该中间图像是该组合 图像的模糊图像。输出图像生成器，被配置以使用该组合图像中的对应像素 的像素值和在该模糊图像中的该对应像素的像素值来确定由该图像分析单元 检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位 置上。在本发明的实施例中，在该图像处理装置中，该输出图像生成器被配置 以使用以下等式确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b=l。在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以 检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值 的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平 从高亮度电平改变到低亮度电平的亮度变化像素。在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以 检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输 出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度 电平从低亮度电平改变到高亮度电平的亮度变化像素。在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以 使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转 换，并被配置以基于作为该图像转换的结果而获得的图像来排除错误检测到 的亮度变化像素。在本发明的实施例中，在该图像处理装置中，该图像分析单元被配置以 使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并 被配置以放大亮度变化像素区域。在本发明的实施例中，在该图像处理装置中，该输出图像生成器被配置以使用系数通过以下等式来确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b-l。该输出图像生成器被配置以通过使用被用 于确定基于该组合图像而检测到的亮度变化像素区域的像素值的第 一组系数 和用于确定使用该滤波器放大的该亮度变化像素区域的像素值的第二组系数 作为系数，来确定在该输出图像中的该对应像素的像素值，该第一组系数和 该第二组系数具有彼此不同的值。在本发明的实施例中，在该图像处理装置中，该中间图像生成器被配置 以对该组合图像施加平滑滤波器，以生成模糊图像。在本发明的实施例中，在该图像处理装置中，该中间图像生成器被配置 以缩小和放大该组合图像以生成模糊图像。在本发明的实施例中，在该图像处理装置中，该像素值校正单元进一步 包括图像校正单元，其被配置以缩小由该组合图像生成器生成的组合图像的 颜色饱和，以生成饱和减少图像。该中间像素生成器被配置以接收由该图像 校正单元生成的该饱和减少图像并以生成模糊图像。在本发明的实施例中，在该图像处理装置中，该像素值校正单元进一步 包括图像校正单元，其被配置以进行对由该输出图像生成器生成的图像施加 低通滤波器的图像校正处理。在本发明的实施例中，在该图像处理装置中，生成该长期曝光图像的曝 光时间段包括生成该短期曝光图像的曝光时间段，且该短期曝光图像和该长 期曝光图像是由单个成像元件从相同像素生成的图像。根据本发明的某些实施例， 一种成像装置包括以下元件。成像设备，被 配置以生成长期曝光图像和短期曝光图像。图像分析单元，被配置以基于在 该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对 应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素。像素 值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值。 该像素值校正单元包括以下元件。组合图像生成器，被配置以选择性地组合 该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像。 中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊 图像。输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和 在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度 变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。在本发明的实施例中，在该成像处理装置中，生成该长期曝光图像的曝 光时间段包括生成该短期曝光图像的曝光时间段。该成像设备被配置以使用 单个成像元件从相同像素生成该短期曝光图像和该长期曝光图像。根据本发明的某些实施例， 一种用于在图像处理装置中进行图像处理的图像处理方法包括以下步骤通过图像输入单元，接收长期曝光图像和短期 曝光图像；通过图像分析单元，基于在该长期曝光图像和该短期曝光图像中 的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间 发生了亮度变化的亮度变化像素；以及通过像素值校正单元，校正所检测的 亮度变化像素的像素值。该校正的步骤包括以下步骤通过选#^生地组合该 长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像， 生成中间图像，该中间图像是该组合图像的模糊图像，以及使用该组合图像 中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该 图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度 曝光像素的位置上。在本发明的实施例中，在该图像处理方法中，该确定的步骤包括以下步 骤使用以下等式确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b^。该图像处理方法中，该4企测的步骤包括以下步 骤检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输 出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平从高 亮度电平改变到低亮度电平的亮度变化像素。在本发明的实施例中，在该图像处理方法中，该检测的步骤包括以下步骤检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平 从低亮度电平改变到高亮度电平的亮度变化像素。在本发明的实施例中，在该图像处理方法中，该检测的步骤包括以下步骤使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像 转换，以基于作为该图像转换的结果而获得的图像来排除错误检测到的亮度 变化像素。在本发明的实施例中，在该图像处理方法中，该检测的步骤包括以下步 骤使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换， 以放大亮度变化像素区域。在本发明的实施例中，在该图像处理方法中，该确定的步骤包括以下步 骤使用系数通过以下等式来确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b^。通过使用被用于确定基于该组合图像而检 测到的亮度变化像素区域的像素值的第 一组系数和用于确定使用该滤波器放 大的该亮度变化像素区域的像素值的第二组系数作为系数，来确定在该输出 图像中的该对应像素的像素值，该第一组系数和该第二组系数具有彼此不同 的值。在本发明的实施例中，在该图像处理方法中，该生成中间图像的步骤包 括以下步骤对该组合图像施加平滑滤波器，以生成模糊图像。在本发明的实施例中，在该图像处理方法中，该生成中间图像的步骤包 括以下步骤缩小和放大该组合图像以生成模糊图像。在本发明的实施例中，在该图像处理方法中，该校正的步骤进一步包括 以下步骤缩小所生成的组合图像的颜色饱和，以生成饱和减少图像。生成中间图像的步骤包括接收所生成的该饱和减少图像和生成模糊图像。在本发明的实施例中，在该图像处理方法中，该校正的步骤进一步包括以下步骤进行对在该确定步骤中生成的图像施加低通滤波器的图像校正处理。在本发明的实施例中，在该图像处理方法中，生成该长期曝光图像的曝 光时间段包括生成该短期曝光图像的曝光时间段，且该短期曝光图像和该长 期曝光图像是由单个成像元件从相同像素生成的图像。根据本发明的某些实施例， 一种用于使得图像处理装置执行图像处理的 计算机程序包括如下步骤使得图像输入单元接收长期曝光图像和短期曝光 图像；使得图像分析单元基于在该长期曝光图像和该短期曝光图像中的像素 值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了 亮度变化的亮度变化像素；以及使得像素值校正单元校正所检测的亮度变化 像素的像素值。该使得像素值校正单元校正像素值的步骤包括以下步骤通 过选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值， 以生成组合图像，生成该组合图像的模糊图像，以及使用该组合图像中的对 应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分 析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像 素的位置上。该计算机程序是能够以计算机可读形式通过存储介质或通信介质被提供 在例如能够执行各种程序代码的通用计算机系统中的计算机程序。存储介质 的示例包括紧致盘(CD)、软盘(FD)、和磁光(MO)盘，通信介质的示例 包括网络。通过以计算机可读形式提供程序，在计算机系统上实现与程序一 致的处理。从结合附图进行的本发明的示范实施例的以下详细描述，本发明的进一 步特征和优点将变得明显。在此使用的术语系统是指装置的逻辑组，而不管 是否在单个外壳中装配这些装置。因此，根据本发明的实施例，输入长期曝光图像和短期曝光图像，且通 过选择性地组合长期和短期曝光图像中的有效像素值来生成宽动态范围图 像。在该处理中，检测了其中在对应于长期曝光时间的拍摄时间段期间已经 发生了亮度变化的亮度变化像素，并替换所检测的亮度变化像素的像素值， 来进行图像校正处理。具体地，基于宽动态范围图像生成模糊图像，且使用在所生成的模糊图像和宽动态范围图像中的每个中、与亮度变化像素的像素 位置有关的像素值来确定输出图像的像素值。这能够防止由于物体的运动等 等而发生亮度变化像素的灰度级错误或伪色，得到了高质量的看起来自然的 输出图像。
图1是示出成像设备的示例电路结构的图； 图2是示出成像设备的输出操作的示例的图；图3是示出在成像设备上的入射光强度和输出电子的数量之间的关系的图；图4是示出根据本发明的第 一实施例的图像处理装置的示例结构的图； 图5是示出用于生成两类图像、即长期曝光图像和短期曝光图像的处理 的图；图6是示出用于生成两类图像、即长期曝光图像和短期曝光图像的处理 中的物体的亮度电平中的变化效果的图；图7 A和7 B是示出作为在典型的颜色滤波器中使用的颜色图样的拜尔图 才羊(Bayer pattern )的示例的图；图8是示出在图像处理装置中的图像处理器的示例结构的图；图9是示出图像处理器的操作的具体示例的图；图IOA和IOB是示出用于检测亮度变化像素的处理的具体示例的图；图IIA和IIB是示出用于图像模糊的低通滤波器(LPF)的示例的图；图12是示出在图像处理装置中的像素值校正单元的详细结构和操作的图；图13是示出亮度变化像素的错误检测到的图；图14是示出根据本发明的第二实施例的图像分析单元的结构和操作的图；图15是示出由根据第二实施例的图像分析单元进行的滤波处理的图； 图16是示出由根据第二实施例的图像分析单元进行的滤波处理的图； 图17是示出根据本发明的第三实施例的像素值校正单元的结构和操作 的图；图18是示出根据本发明的第四实施例的像素值校正单元的结构和操作的图；图19是示出由根据第四实施例的像素值校正单元进行的颜色饱和减少 处理的图；图20是示出根据本发明的第五实施例的像素值校正单元的结构和操作的图。
具体实施方式
此后将参考附图描述根据本发明的实施例的图像处理装置、成像装置、 图像处理方法和计算机程序。第一实施例图4是示出作为根据本发明的第一实施例的图像处理装置的示例的成像 装置的示例结构的方块图。通过光学镜头201进入的光入射在成像设备202 上。成像设备202是由例如CMOS图像传感器组成的，且光电地将入射光转 换成图像数据。图像数据被输入到图像处理器203。成像设备202生成两类 图像，即，长期曝光图像211和短期曝光图像212，并向图像处理器203输 入这两类图像数据。图像处理器203基于长期曝光图像211和短期曝光图像 212生成输出图像。长期曝光图像211和短期曝光图像212在曝光时间上是 不同的。首先，将参考图5描述由成像设备202进行的用于生成两类图像、即长 期曝光图像211和短期曝光图像212的处理。在2006年10月16日提交且被 分配给本发明的代理人的日本专利申请No.2006-280959中公开了用于由成像 设备202生成具有不同曝光时间的图像的处理。成像设备202当参考成像设备202的每个像素的饱和电平时生成输出图 像。如上所述，从成像设备202输出的电信号对应于入射在成像设备202上 的光的量。在某个曝光时间(长期曝光)中，从对应于更亮物体区域的像素 的光电转换元件输出的电信号可以达到饱和电平。因此，那些像素是其中输 出对应于饱和电平的电信号以便灰度电平差异不可感知的泛白像素。为了避免这种泛白现象以获得其中反射了物体的亮度电平的输出，成像 设备202生成具有长期曝光的图像数据和具有短期曝光的图像数据。图像处 理器203组合两类图像数据并进行其他处理以获得输出图像。例如，在长期曝光期间期望其像素值达到饱和电平的像素经过输出基于由短期曝光获得的 数据而计算的像素值的处理。No.2006-280959中还公开了该处理的基本才喿作。在本发明的实施例中，进一 步改善了图像处理器203的操作。具体地，在两类输入图像、即长期曝光图 像和短期曝光图像上进行的图像处理中，由于物体的运动等等而改变其亮度 电平等等的像素被检测，且经过限制性的处理以防止发生像素的灰度级错误 或伪色来生成高质量图像。将参考图5描述由成像设备202生成具有不同曝光时间(长期曝光图像 211和短期曝光图像212)的图像数据的处理。例如，在运动图像的拍摄中， 成像设备202在视频速率(30到60fps)内输出具有不同的曝光时间的两类 图像数据。还在静态图像的拍摄中，成像设备202生成并输出具有不同的曝 光时间的两类图像数据。本发明的实施例可用于静态图像或运动图像。图5是示出由成像设备202生成的具有不同曝光时间的两类图像(长期 曝光图像211和短期曝光图像212)的特性的图。在图5中，横坐标轴表示 时间(t)且纵轴表示对应于固态成像元件的一个像素的、在光电转换元件的 光接收光电二极管(PD)中的积累的电荷量(e)。例如，如图5所示的高亮度区域线251所示，在由光接收光电二极管(PD ) 接收的光的量大的区域、即明亮物体区域中，积累的电荷量随时间快速增加。 另一方面，如图5所示的低亮度区域线252所示，在由光接收二极管(PD) 接收的光的量小的区域、即暗沉物体区域中，积累的电荷量随时间緩慢增力口。从时间tO到时间t3的时间段对应于用于获得长期曝光图像211的曝光时 间TL。对于长期曝光时间TL的时间段，如由低亮度区域线252所示，积累 的电荷量在时间t3没有达到饱和电平(未饱和点Py)。基于使用基于积累的 电荷量(Sa)而获得的电信号所确定的像素的灰度电平，实现准确的灰度级 表示。如高亮度区域线251所清楚地指示的，积累电荷量在时间t3之前已经达 到了饱和电平(饱和点Px)。在由高亮度区域线251所指示的这种高亮度区 域中，从长期曝光图像211输出对应于饱和电平的电信号，且因此对应的像 素是泛白像素。在由高亮度区域线2 51所指示的高亮度区域中，在时间t3之前的时间处，例如在时间tl处(电荷扫除(sweep-out)开始点Pl )，扫除在光接收光电二 极管(PD)中的电荷。不对在光接收二极管(PD)中积累的所有的电荷，而 是对累积到由光电二极管(PD)控制的中间电压保持电平的电荷进行电荷扫 除操作。在电荷扫除处理之后，对于曝光时间段TS (时间tl到时间t2)执 行短期曝光。具体地，如图5所示，进行对于从短期曝光开始点P2到短期曝 光结束点P3的时间段的短期曝光。通过该短期曝光，获得积累的电荷量(Sb), 且使用基于积累的电荷量(Sb)获得的电信号来确定像素的灰度电平。可以基于如下电信号来确定像素值由在由低亮度区域线252指示的低 亮度区域中的长期曝光所获得的积累电荷量(Sa)的电信号，和由在由高亮 度区域线251指示的高亮度区域中的短期曝光所获得的累积电荷(Sb)的电 信号。在这种情况下，确定当曝光高亮度区域和低亮度区域长达相同的时间 段时评估的积累的电荷量、或对应于所评估的积累的电荷量的电信号的输出 值，且基于确定结果来确定像素值电平。如图5所示，在由高亮度区域线251指示的高亮度区域中，在时间t3之 前的时间处，例如在时间tl处(电荷扫除开始点Pl ),扫除在光接收光电二 极管(PD)中积累的电荷，且执行短期曝光以获得基于对于短期曝光时间段 (时间tl到时间t2)积累的电荷量(Sb)的电信号。然后，连续进行曝光操 作直到之间t3,且电荷积累到例如饱和电平。从长期曝光图像获得基于积累 到饱和电平的电荷的电信号。但是，该电信号不被施加到对应的像素以确定 像素值。相应地，成像设备202为每个像素选择基于作为长期曝光或短期曝 光的结果的积累的电荷量的电信号，作为用于确定有效像素值的信号，且确 定像素值。在例如图5所示的时间tj处，对于每个像素，确定长期曝光图像或短期 曝光图像的哪个像素值要应用于输出图像。如果在图5所示的时间tj处，对 于像素积累了多于或等于电荷的参考量、诸如图5所示的电荷量(ev)的电 荷量，则在时间tl处(电荷扫除开始点Pl )扫除在像素的光接收光电二极管 (PD)中积累的电荷，并执行短期曝光以从短期曝光图像确定输出像素值。 如果在时间tj处，对于像素没有积累多于或等于电荷量(ev)的电荷量，则 在不扫除电荷的情况下进行长期曝光，并从长期曝光图像确定输出像素值。相应地，例如，使用长期曝光图像211确定少于图5所示的阈值亮度电 平253的、对应于拍摄物体的暗沉部分的像素的像素值。另一方面，使用短期曝光图像212确定多于或等于阈值亮度电平253的、对应于拍摄物体的明 亮部分的像素的像素值。这保证了包括明亮和暗沉区域两者的物体的拍摄的 图像的建立，其中生成不出现泛白现象且在低亮度区域中不出现S/N比的减 少的高质量高动态范围的图像。在物体的发光度在拍摄时间段上不改变的情况下，上述操作、即使用长 期曝光图像211确定对应于拍摄物体的暗沉部分的像素的像素值和使用短期 曝光图像212确定对应于拍摄物体的明亮部分的像素的像素值没有问题。但 是，例如在拍摄时间段期间、由于物体的运动等等而改变物体的发光度的情 况下，出玉见问题。在图5所示的示例中，假设在拍摄时间段上像素的发光度不改变，且高 亮度区域线251的斜率和低亮度区域线252的斜率不随时间而改变。因此， 在图5中，假设在拍摄时间段上发光度恒定。因此，除了由电荷扫除操作减 少积累的电荷量的时间以外， 一直呈现线性增长的线。例如，在物体在拍摄时间段中运动的情况下，与像素有关的物体的发光 度不是恒定的而是改变的。图6示出当物体的发光度改变时在成像设备202 的光接收光电二极管(PD)中积累的电荷量(e)的时间过渡的示例。在图6 中，如图5 —样，横坐标轴表示时间(t)，且纵轴表示在对应于固态成像元 件的一个像素的、在光电转换元件的光接收光电二极管(PD)中积累的电荷 量(e)。亮度改变区域线261指示对应于位于拍摄操作中间(在图6的点Pq)的 低亮度区域中且突然变亮的像素的、在光接收光电二极管(PD)中积累的电 荷量(e)的过渡。例如，明亮的物体突然运动到焦点区域，或暗沉的物体移 走，且明亮的背景对象出现。如由亮度改变区域线261所示，在长期曝光时 间段结束的时间(时间t3)之前，积累的电荷量(e)已经达到了饱和电平(如 图6所示的点Pr)。基于确定了亮度改变区域线261表示在时间tj没有积累多于或等于电荷 量(ev)的电荷量的像素，成像设备202进行长期曝光而不扫除电荷。因此， 由亮度改变区域线261表示的像素的像素值变成其电平等于饱和电平的泛白 像素。因此，在物体的亮度电平在拍摄时间段中改变的情况下，即使通过使用 长期曝光图像和当前曝光图像，也可能产生像素值电平的不准确的表示。当例如使用包括诸如红、绿和蓝滤波器的颜色滤波器在内的适合于颜色成像的 固态成像元件时，这种问题变得更严重。典型的单芯片颜色固态成像元件包括粘结在其表面的颜色滤波器阵列， 该颜色滤波器阵列被配置用于仅允许通过每个像素的具体波长成分，且被配 置以便使用 一组像素来恢复期望的颜色成分。颜色滤波器阵列可以包括表示红(R)、绿(G)和蓝(B)的图7A所示的颜色图样，和表示用作亮度信号 的白(Y)、红(R)、绿(G)和蓝(B)的组合的图7B所示的颜色图样。在 单芯片颜色固态成像元件中，由于每个像素仅具有关于单个颜色成分的信息， 因此使用关于相邻像素的颜色信息来进行内插，以恢复每个像素中的期望的 颜色成分。该处理被称为去马赛克(demosaic)处理。当使用包括诸如红、绿和蓝滤波器的颜色滤波器在内的、适合于颜色成 像的固态成像元件时，由于诸如固态成像元件的光谱灵敏度、周围光线和物 体的反射之类的影响，灵敏度信息通常在红、绿和蓝像素之间不同。因此， 在红、绿和蓝像素的不同位置上可能发生如上所述的灰度级错误。例如，如 果关于红、绿和蓝像素的一个或两个信息不正确，则即使物体实际上是非彩 色的，也可能出现红、绿和蓝的伪色或其互补颜色。另外，伪色可能取决于 位置而改变。如上所述，在物体的发光度、颜色等等在拍摄时间段上不改变的情况下， 使用长期曝光图像确定对应于拍摄物体的暗沉部分的像素的像素值和使用短 期曝光图像确定对应于拍摄物体的明亮部分的像素的像素值没有问题。但是， 例如在拍摄时间段期间、由于物体的运动等等而改变物体的发光度、颜色等 等的情况下，出现问题。在物体运动的区域中，将出现诸如伪色或灰度级错 误。根据本发明的第一实施例的图像处理器203执行用于解决该问题的处 理。具体地，基于由成像设备202生成的具有不同曝光时间的两类图像，生 成高质量输出图像。图8示出图像处理器203的示例结构。图像处理器203包括图像输入 单元301，被配置用于接收输入图像，即长期曝光图像211和短期曝光图像 212;图像分析单元302，被配置用于检测基于输入图像而确定像素值在运动 物体区域等等中改变的像素位置；以及像素值校正单元303,被配置用于通 过用新的像素值替换由图像分析单元302检测的像素位置上的像素的像素值20来执行像素值校正。将参考图9描述图像处理器203的操作的具体示例。在图9中，如图5 和6 —样，横坐标轴表示时间(t)，纵轴表示对应于如成像设备202的固态 成像元件的一个像素的、在光电转换元件的光接收光电二极管(PD)中积累 的电荷量(e )。在光接收光电二极管(PD)中积累的电荷量(e)具有最大值255，其是 图像的输出值(数字数据范围从0到255 )。在亮度不随时间改变的情况下， 由虛线指示的阈值线323是低亮度信号和高亮度信号之间的边界。图9示出 两者亮度变化像素线，即亮度变化像素线A321和亮度变化像素线B 322。亮 度变化像素线A321由于例如物体的运动，在点Pl从高亮度电平改变到低亮 度电平，且亮度变化像素线B 322在点P2从低亮度电平改变到高亮度电平。如上所述，成像设备202在例如时间tj确定每个像素是否存储了比由阈 值线323所限定的积累的电荷量(ev)更大的电荷量，并确定是进行长期曝 光还是短期曝光。如果像素存储了比由阈值线323所限定的积累的电荷量(ev ) 更大的电荷量，则确定该像素处于高亮度区域，且对应于该像素的光接收光 电二极管(PD)经过类似于参考图5上述的电荷扫除处理，以减少积累的电 荷量到中间电压保持电平。然后，进行从时间tl到时间t2的时间段的短期曝 光，并在短期曝光图像212中设置该像素的像素值，其中设置基于由于短期 曝光而获得的积累的电荷量的像素值。另一方面，如果在时间tj,像素存储 了小于或等于由阈值线323所限定的积累的电荷量(ev)的电荷量，则确定 该像素处于低亮度区域，且对应于该像素的光接收光电二极管(PD)经过从 时间t0到时间t3的时间段的长期曝光，而不扫除电荷。在长期曝光图像211 中设置该像素的像素值，其中，设置基于由于长期曝光而获得的积累的电荷 量的像素值。图8所示的图像处理器203的图像输入单元301接收如此生成的长期曝 光图像211和短期曝光图像212，并将它们输出到图像分析单元302。图像分 析单元302检测基于两类图像确定像素值在运动物体区域等等中改变的像素 位置。像素值可能在如下两种情况下改变(a)物体的亮度电平从高亮度电 平改变到低亮度电平；以及(b)物体的亮度电平从低亮度电平改变到高亮度 电平。图像分析单元302使用不同的技术检测在上述两种情况(a)和(b)的每个中亮度改变的像素位置。首先，将描述由图像分析单元302进行的、用于检测(a)物体的亮度电 平从高亮度电平改变到低亮度电平的像素位置的处理。在图9中，亮度变化 像素线A321是指示由于例如物体的运动、其亮度电平在点Pl从高亮度电平 改变到低亮度电平的像素的线。如果在短期曝光图像212中获得关于如亮度变化像素线A 321所示亮度 电平从高亮度电平改变到低亮度电平的像素位置的有效像素信息，则确定该 像素位置是经过了从时间tl到时间t2的短时间段(TS)的短期曝光的像素 位置。因此，在长期曝光图像211中，对应于该像素位置的像素的像素值通常 处于饱和电平，且不获得有效信号。如图9所示，在经过从时间tl到时间t2 的短时间段(TS)的短期曝光处理之后测量(输出)了电荷以后，在时间t2 之后重新开始电荷的积累。如果该像素静止在高亮度电平，则在光接收光电 二极管(PD)中积累的对应于该像素的电荷量在点P3达到饱和电平，且在 长期曝光图像211中的像素的像素电平等于饱和电平(255的像素值)，导致 了泛白像素。如果与该像素有关的物体的亮度电平在拍摄时间段或长期曝光时间段 (从时间t0到时间t3)中改变，即如果如图9所示物体的亮度电平在点Pl 下降，则亮度变化像素线A321的斜率在点P1之后变得緩慢。换句话说，在 光接收光电二极管(PD)中积累电荷的速度减慢。如果物体的亮度电平不改变，则通常，在光接收光电二极管(PD)中积 累的电荷量在点P3达到饱和电平，且在长期曝光图像211中的像素的像素电 平等于饱和电平(255的像素值)，导致了泛白像素。但是，如图9所示，如 果在点Pl物体的亮度电平减少，且在光接收光电二极管(PD)中积累电荷 的速度减慢，则在长期曝光图像211中的像素的像素电平变得小于或等于饱 和电平(255的像素值)，且获得有效的输出像素值(小于255的像素值)。根据上述现象的分析，执行由图像分析单元302进行的、用于检测(a) 物体的亮度电平从高亮度电平改变到低亮度电平的像素位置的处理。具体地， 确定是否从短期曝光图像212和长期曝光图像211获得有效输出值(此后称 为"确定条件l")。确定满足确定条件1的像素位于(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置。通过与预定的阈值比较，确定在短期曝光图像212和长期曝光图像211中的有效输出值。例如，通过比较从基于由短期曝光积累的电荷量的电信号检测像素值(0 到255 )与阈值"10",短期曝光图像212的有效输出值。如果所检测的像素 值大于阈值"10"(所检测的像素值〉10),则确定所检测的像素值是有效输出值。通过比较从基于由长期曝光积累的电荷量的电信号检测像素值(0到 255 )与阈值"230",确定长期曝光图像211的有效输出值。如果所检测的像 素值小于阈值"230"(所检测的像素值<230),则确定所检测的像素值是有效像素值。在上述确定公式中的阈值诸如10和230仅是示例。用于确定短期曝光图 像212的有效输出值的阈值可以优选地是允许确定是否保证高于成像元件的 噪声的输出值的值。用于确定长期曝光图像211的有效输出值的阈值可以优 选地是保证准确的灰度级表示、同时考虑成像元件的截止特性(knee characteristic )的值。可以不使用上述使用阈值的确定处理，或可以以组合方 式使用上述使用阈值的确定处理来观察每个实际图像，以主观地评估图像以 确定是否获得有效像素值。接下来，将描述由图像分析单元302进行的、用于检测(b)物体的亮度 电平从低亮度电平改变到高亮度电平的像素位置的处理。在图9中，亮度变 化像素线B 322是指示由于例如物体的运动、其亮度电平在点P2从低亮度电 平改变到高亮度电平的像素的线。在由从时间t0到时间t3的时间段的长期曝光所生成的长期曝光图像211 中，该像素变成饱和的泛白像素(255的像素值)，且没有获得有效输出。对于在长期曝光图像211中变成饱和的泛白像素(255的像素值)的像 素，可以从没有改变亮度的像素区域中的短期曝光图像212确定有效像素值。 但是亮度变化像素线B 322在点P2从低亮度电平改变到高亮度电平，且不进 行用于获取短期曝光图像212的有效像素值的操作，也不进行参考图5所述 的电荷扫除和短期曝光操作。因此，没有从短期曝光图像212获得有效像素 值。根据上述现象的分析，执行由图像分析单元302进行的、用于检测(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位置的处理。具体地，确定长期曝光图像211的像素值是否饱和，和是否从短期曝光图像212获得 有效输出值(此后称为"确定条件2")。确定满足确定条件2的像素位于(b)物体的亮度电平从低亮度电平改变 到高亮度电平的像素位置。通过与预定阈值比较，进行关于长期曝光图像211的像素值是否饱和的 确定，或关于是否没有从短期曝光图像212获得有效输出值的确定。例如，通过比较从基于由长期曝光积累的电荷量的电信号检测的像素值 (0到255 )与阈值"240"，进行关于长期曝光图像211的像素值是否饱和的 确定。如果所检测的像素值多于或等于阈值"240"(所检测的像素值>240)， 则确定所检测的像素值是饱和的像素值。通过比较从基于由短期曝光记录的电荷量的电信号检测的像素值(0到 255 )与阈值"5"，进行关于是否没有从短期曝光图像212获得有效输出值的 确定。如果所检测的像素值小于或等于阈值"5"(所检测的像素值<5)，确 定没有获得有效输出值。上述确定公式中的阈值，诸如240和5仅是示例。用于确定长期曝光图 像211的像素值是否饱和的阈值可以优选地是保证准确的灰度级表示、同时 考虑成像元件的截止特性的值。用于确定是否从短期曝光图像212获得输出 值的阈值可以优选地是允许确定是否保证成像元件的噪声电平的数值。可以 不使用上述使用阈值的确定处理，也可以以组合方式使用上述使用阈值的确 定处理来观察每个实际图像，以主观地评估图像来确定是否获得有效像素值。将参考图IOA和IOB描述亮度变化像素的检测处理的具体示例。图10A 示出在(从时间tO到时间t3)长期曝光时间段中的物体的运动。在明亮背景 中，暗沉的矩形物体351侧向运动到物体位置352。图10B示出由于由图像分析单元302进行的上述检测处理而获得的像素 位置，上述检测处理即，(a)物体的亮度电平从高亮度电平改变到低亮度电 平的像素位置的检测处理，和(b)物体的亮度电平从低亮度电平改变到高亮 度电平的像素位置的4企测处理。在图IOB中，每个格元表示一个像素。由于图10A所示的物体351具有 低亮度电平，因此与位于物体351运动方向前端的区域362相对应的区域内 的成像像素的亮度电平从高亮度电平改变到低亮度电平。通过(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素位置的上述检测处理，也就是通过确定是否满足确定条件1,即是否从短期曝光图像212和长期曝光图像 211获得有效输出值，来检测像素区域362。图10B所示的像素位置372满足 确定条件1。另夕卜，由于图10A所示的物体351具有低亮度电平，因此与位于物体351 运动方向后端的区域361相对应的区域内的成像像素的亮度电平从低亮度电 平改变到高亮度电平。通过(b)物体的亮度电平从低亮度电平改变到高亮度 电平的像素位置的上述检测处理，也就是通过确定是否满足确定条件2,即 长期曝光图像211的像素值是否饱和，且是否没有从短期曝光图像212获得 有效输出值，来检测像素区域361。图10B所示的像素位置371满足确定条 件2。因此，图8所示的图像处理器203的图像分析单元302基于长期曝光图 像211的像素值和短期曝光图像212的像素值，来检测(a)物体的亮度电平 从高亮度电平改变到低亮度电平的像素位置，并检测(b)物体的亮度电平从 低亮度电平改变到高亮度电平的像素位置。如果使用参考图7A和7B上述的适合于颜色成像的单芯片固态成像元 件，则可以在未经过像素值内插的输入马赛克数据(原始数据)或经过像素 值内插的输入马赛克数据上进行图像分析单元302的像素位置检测处理。在 分析中使用的长期曝光图像211和短期曝光图像212的设置是马赛克数据的 设置或去马赛克数据的设置。接下来，将描述图8所示的由图像处理器203的像素值校正单元303进 行的像素值校正处理。像素值校正单元303校正位于由图像分析单元302检 测的每个像素位置、即(a)物体的亮度电平从高亮度电平改变到低亮度电平 的像素位置和(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素位 置上的像素的像素值。在上述被分配给本发明的代理人的日本专利申请No.2006-280959中公开 的技术中，获得两类输入图像，即长期曝光图像211和短期曝光图像212, 且使用长期曝光图像211确定小于图5所示的阈值亮度电平253的、与拍摄 物体的暗沉部分对应的像素的像素值，而使用短期曝光图像212确定大于或 等于阈值亮度电平253的、与拍摄物体的明亮部分对应的像素的像素值。因 此，进行替换的处理，即，选择长期曝光图像211的像素值和短期曝光图像212的像素值之一来生成组合图像。由替换的处理获得的组合图像此后被称 为"宽动态范围图像"。但是，参考图9描述的，如此生成的宽动态范围图像是如下图像，在该 图像中位于物体的亮度电平从高亮度电平改变到低亮度电平的像素位置(a)上的像素的像素值和位于物体的亮度电平从低亮度电平改变到高亮度电平的 像素位置(b)上的像素的像素值是不正确的，且出现灰度级错误或伪色。在 根据本发明的第一实施例的图像处理中，图像处理器203的像素值校正单元 303校正像素以防止像素的灰度级错误或伪色的发生，来生成高质量图像。像素值校正单元303通过用校正后的像素值来替换位于由图像分析单元 302检测的每个像素位置上的像素的像素值，来进行像素值校正处理，其中 由图像分析单元302检测的每个像素位置即，(a)物体的亮度电平从高亮度 电平改变到低亮度电平的像素位置，和(b)物体的亮度电平从低亮度电平改 变到高亮度电平的像素位置。考虑下列要点来进行像素值校正处理。由于被显示在由图像分析单元302检测的已经发生亮度改变的像素位置 上的物体图像可能运动，因此如果图像模糊了，则图像的高频成分是不重要 的且图像不自然。基于这种假设，像素值校正单元303从宽动态范围图像建 立模糊的图像数据，并使用模糊的图像数据来设置已经发生了亮度改变的像 素位置上的像素值，其中宽动态范围图像是使用长期曝光图像211像素值和 短期曝光图像212的像素值之一选#^生地生成的。使用例如典型的低通滤波器(LPF)来进行图像模糊操作。图11A和11B 示出可用的低通滤波器(LPF)的两个示例。图IIA示出具有5x5像素尺寸 的简单的平滑滤波器，诸如被配置用于将位于中心的目标像素381的像素值 与用1/25的因子加权后的、相邻的5 x 5像素的像素值相加并用于设置像素 值的滤波器。图11B示出具有5x5像素尺寸的加权滤波器，诸如被配置用于 将位于中心的目标像素382的像素值与根据位置用1/45到5/45的因子加权后 的、相邻的5 x 5像素的像素值相加并用于设置像素值的滤波器。为了模糊图像的目的，通过考虑二维加宽已经发生了亮度改变的成像像 素(此后称为"亮度变化像素")，来调整所使用的滤波器的尺寸(抽头数)。 例如，在以图10B所示的方式检测亮度变化像素的区域的情况下，在亮度变 化像素的区域的长端上提供四个像素，且滤波器可以具有相同尺寸或更大， 例如，大概5个抽头。多于或等于5个数量的抽头，诸如7个抽头或9个抽头在最终结果上将不具有大的影响。所检测的像素的上述尺寸仅是示例。在使用了适合于颜色成像的单芯片固态成像元件的情况下，可以在马赛 克数据(原始数据)或经过像素内插的凄t据上进行上述替换操作。将参考图12描述像素值校正单元303的详细结构和操作。通过图4所示 的成像设备202生成的具有不同曝光时间的两类图像数据，即长期曝光图像 211和短期曝光图像212被输入到检测亮度变化像素的图像分析单元302和 像素值校正单元303的图像组合器391中。如上所述，图像分析单元302基于长期曝光图像211的像素值和短期曝 光图像212的像素值，来检测(a)物体的亮度电平从高亮度电平改变到低亮 度电平的像素位置，和(b)物体的亮度电平从地亮度电平改变到高亮度电平 的像素位置。关于所检测的像素位置的信息(此后称为"亮度变化像素位置 信息"或"亮度变化像素位置")被输入到像素值校正单元303的输出图像生 成器393。像素值校正单元303的图像组合器391基于长期曝光图像211和短期曝 光图像212生成组合图像。具体地，根据还在上述被分配给本发明的代理人 的日本专利申请No.2006-280959公开的技术，图像组合器391进行替换的处 理以生成宽动态范围图像390。例如，使用长期曝光图像211确定与小于图5 所示的阈值亮度电平的暗沉物体部分对应的像素的像素值，并使用短期曝光 图像212确定与大于或等于阈值亮度电平253对应的像素的像素值。如上所述，通过计算当曝光高和低亮度区域长达与对应于评估的积累的 电荷量的电信号的输出值相同的时间段时评估的积累的电荷量，来确定由组 合处理生成的宽动态范围图像390的每个像素的像素值。例如，使长期曝光 时间为'T'而短期曝光时间为"0.1"。在这种情况下，对于选择短期曝光图 像212的像素值作为有效像素值的像素，由因子10来增加短期曝光图像212 的像素值，且结果被设为宽动态范围图像390的像素值。丢弃与对应的像素 位置有关的长期曝光图像211的像素值。另一方面，对于选择长期曝光图像211的像素值作为有效像素值的像素， 长期曝光图像211的像素值被直接设置为宽动态范围图像390的像素值。丟 弃与对应的像素位置有关的短期曝光图像212的像素值。因此，生成作为基于长期曝光图像211和短期曝光图像212的组合图像 的宽动态范围图像390。所生成的宽动态范围图像390被输入到中间图像生成器392和输出图像生成器393。中间图像生成器392使用参考图IIA或11B所述的低通滤波器(LPF), 并从宽动态范围图像390生成模糊中间图像数据。中间图像生成器392使用 例如图IIA所示的平滑滤波器、图IIB所示的加权滤波器等等来从宽动态范 围图像390生成模糊中间图像数据。为了模糊图像，滤波器的尺寸(抽头数) 可以与由图像分析单元302检测的亮度变化像素区域的二维区域一样大。所 生成的中间图像被输入到输出图像生成器393 。输出图像生成器393从图像组合器391接收宽动态图像390，从中间图 像生成器392接收作为模糊图像的中间图像数据，并从图像分析单元302接 收亮度变化像素位置信息。输出图像生成器393基于以上接收的数据来生成输出图像395。对于位 于从图像分析单元302输入的亮度变化像素位置上的像素，宽动态范围图像 390的像素值被设置为输出图像395的像素值。基于从图像组合器391输入 的宽动态范围图像390的对应的像素位置的像素值和从中间图像生成器392 输入的作为模糊图像的中间图像数据，确定位于从图像分析单元302输入的 亮度变化像素位置上的像素的像素值。例如，如果由[Dv]标示与亮度变化像素位置有关的宽动态范围图像390 的像素值，且由[Mv]标示与亮度变化像素位置有关的作为模糊图像的中间图 像的像素值，使用系数a和b通过如下等式来确定与对应的像素位置有关的 输出图像395的像素值[Rv]:[Rv]=a x [Dv] +b x [Mv] 其中a+b=l。因此，以预定的a:b的比率组合宽动态范围图像390的像素值[Dv]和作为 模糊图像的中间图像的像素值[Mv]来确定输出图像395的像素值[Rv]。使用 参数a和b来设置比率，且根据所使用的成像元件的特性和得到的图像的主 观评价来调整参数a和b的值。例如，分别设置参数a和b为0.2和0.8。使用宽动态范围图像390和从宽动态范围图像390生成的作为模糊图像 的中间图像来计算输出图像395的像素值。可以使用例如使用红、绿和蓝单 芯片成像元件获得的图像来生成那些图像，或可以处理通过转换RGB数据而 获得的由亮度信号Y和色差信号Cb和Cr组成的图像数据YCbCr以计算每 个信号Y、 Cb和Cr的输出信号值。另外，可以单独地为亮度信号Y和色差信号Cb和Cr计算参数a和b, 其中参数a和b被用于通过以预定比率相加和组合宽动态范围图像3卯的像 素值[Dv]与从宽动态范围图像390生成的作为模糊图像的中间图像的对应像 素的像素值[Mv],如[R中ax [Dv]+bx [Mv]，来计算输出图像395的像素值 [Rv]。可以对于红、绿和蓝的每个改变参数a和b,也可以为信号Y、 Cb和 Cr的每个改变参数a和b。由中间图像生成器392使用例如参考图IIA或IIB描述的低通滤波器生 成作为模糊图像的中间图像数据，如通过相加相邻像素信息而模糊的图像。在模糊的图像中，原始灰度电平仍然保持位于由图像分析单元302检测的亮 度变化像素位置区域，且可以在宽动态范围图像390中包含的不正确的亮度 或伪色与相邻的像素值组合，并因此而减少。从而，位于亮度变化像素位置 上的像素的像素值与作为模糊图像的中间图像数据和宽动态范围图像390组 合，由此生成不很偏离物体的原始像素值的一致的输出图像。因此，根据本发明的第一实施例，在用于基于输入的长期曝光图像和输 入的短期曝光图像生成宽动态范围图像的处理中，使用宽动态范围图像和从 宽动态范围图像生成的模糊图像确定由运动的运动等等导致的亮度变化像素 的像素值。这保证了生成高质量的输出图像，并减少由于运动物体等等而造 成的灰度级错误或伪色。第二实施例将关于防止亮度变化像素的错误检测到的示例结构，描述本发明的第二 实施例的成像装置。第二实施例与第一实施例不同之处在于图像处理器203 中的图像分析单元302的结构。其他结构与第一实施例相同。第二实施例的 成像装置的整体结构类似于参考图4描述的第一实施例。根据第二实施例的 图像处理器203基本上具有参考图8描述的结构，且根据第二实施例的图像 处理器203中的像素值校正单元303还具有类似于参考图12描述的结构的结 构。第二实施例与第一实施例不同之处在于图像处理器203中的图像分析单 元302的操作。在第二实施例中，在检测亮度变化像素的处理中防止错误检 测。将参考图13描述亮度变化像素的错误检测。图13示出由图像分析单元302检测到的亮度变化像素，关于根据第一实29施例的用于检测亮度变化像素的处理的示例的描述检测结果如图10B所示。图13示出所检测的亮度变化像素401到404。如上所述，图像分析单元302检测位于(a)物体的亮度电平从高亮度电 平改变到低亮度电平的像素位置和(b)物体的亮度电平从低亮度电平改变到 高亮度电平的像素位置的亮度变化像素。在用于检测(a)物体的亮度电平从高亮度电平改变到低亮度电平的像素 位置的处理中，确定是否满足确定条件1,也就是是否从短期曝光图像212 和从长期曝光图像211获得有效输出值。在用于检测(b)物体的亮度电平从低亮度电平改变到高亮度电平的像素 位置的处理中，确定是否满足确定条件2,也就是长期曝光图像211的像素 值是否饱和，和是否没有从短期曝光图像212获得有效的输出值。作为基于上述确定处理的亮度变化像素的检测结果，例如，检测了图13 所示的亮度变化像素401到404。在由于例如物体运动而在拍摄时间段(长 期曝光时间段)中物体的亮度电平改变的情况下，检测某块像素，如亮度变 化像素401。另一方面，由于由像素之间的制造变化、元件驱动条件(例如 中间电位)中的变化等等而导致的错误检测，检测如图3所示的亮度变化像 素402到404 —样的单个亮度变化像素。在第二实施例中，图像处理器203的图像分析单元302单独地标识由物 体的亮度电平的变化所导致的正确检测到的亮度变化像素(例如，图13所示 的亮度变化像素401),和由像素之间的制造变化(manufacturing variation )、 元件驱动条件中的变化等等(例如，图13所示的亮度变化像素402到404 )， 并仅提取正确检测到的亮度变化像素。图14示出操作以进行这种标识的图像分析单元302的示例结构。如图 14所示，根据第二实施例的图像分析单元302包括亮度变化像素检测器42、 图像转换器422和亮度变化像素选择器423。如在第一实施例中的一样，亮 度变化像素检测器421接收长期曝光图像211和短期曝光图像212，并根据 上述确定条件1和2，检测位于(a)物体的亮度电平从高亮度电平改变到低 亮度电平的像素位置和(b)物体的亮度电平从低亮度电平改变到高亮度电平 的像素位置的亮度变化像素。作为检测处理的结果，生成图13所示的检测结果图像。检测结果图像被 设为其中由亮度变化像素集线器421检测的亮度变化像素被设为1且其余像素被设为O的图像。例如，在从O到255范围的像素值电平的表示中，亮度 变化像素被设为0，且其余像素被设为255。图像转换器422接收检测结果图像，并使用滤波器进行滤波处理。将参 考图15具体描述滤波处理。如图15所示，由三抽头平滑滤波器432来倍增 其中亮度变化像素被设为1且其余像素被设为0的检测结果图像431。因此， 生成其中3x 3像素的区域具有像素值"0.11"的滤波器结果433。图15示出在检测到单个独立亮度变化像素的区域上进行的滤波处理的 示例。作为在检测到单个独立亮度变化像素的区域上进行的滤波处理的结果， 获得其中3x 3像素的区域具有像素值"0.11"的如图15所示的滤波器结果 4 33。在由于物体的运动等等物体的亮度电平改变的情况下，通常，检测某块 像素作为亮度变化像素区域。如果图15所示的平滑滤波器432被应用于这种 区域，则不获得其中3x 3像素的区域具有像素值"0.11"的如图15所示的 滤波器结果433,而获得具有大于0. 11的像素值的结果。由图像转换器422获得的滤波器结果被输入到亮度变化像素选择器423。 亮度变化像素选择器423基于滤波器结果中包含的像素的像素值，单独地标 识正确检测到的亮度变化像素、即基于物体的亮度电平的变化而检测的亮度 变化像素，和由设备错误等等导致的错误检测到的亮度变化像素。具体地， 如果在滤波器结果中包含的像素的像素值中检测到小于或等于"0.11"的像 素值，则确定对应于所检测到的像素值的像素是错误检测到的亮度变化像素。因此，排除错误检测到的亮度变化像素，且仅提取正确检测到的亮度变 化像素、即基于物体的亮度电平的变化而检测到的关于亮度变化像素的像素 位置信息，并将其输出到像素值校正单元303。这可以排除由像素之间的制 造变化、元件驱动条件中的变化(例如中间电位)等等而导致的错误检测到 的像素，且能够向像素值校正单元303仅输出关于来自物体的正确检测到的 亮度变化像素的位置信息。在图15中，亮度变化像素选择器423通过用于排除独立的亮度变化像素 的技术示例，使用滤波器结果中包含的像素值"0.11"作为阈值，以确定具 有小于或等于"0.11"的像素值的像素是错误检测到的区域。例如，为了排 除一组并排排列的大约两个亮度变化像素，亮度变化像素选择器423可以改 变将使用的阈值。具体地，可以使用略大于"0.11"的阈值来排除一组并排排列的大约两个亮度变化像素区域。接下来，将描述用于防止遗漏正确检测到的亮度变化像素、即其中由于 物体的运动等等物体的亮度电平在拍摄时间段(长期曝光时间段)中改变的 像素区域中的亮度变化像素的检测的处理。但是，在这种情况下，图像转换器422使用与上述用于排除错误检测到的亮度变化像素的滤波器不同的滤波器。例如，亮度变化像素检测器421输出图13所示的检测结果。如果假设图 13所示的检测结果中包括的亮度变化像素401是正确检测到的像素，则在正 确检测到的亮度变化像素401的周围通常发生检测遗漏。另外，由于以上述 方式排除错误检测到的像素，可能缩窄正确检测的亮度变化像素401的范围。换句话说，使用图15所示的滤波器432的滤波处理可能导致生成其中缩 窄了正确检测到的亮度变化像素401的范围的滤波器结果，导致亮度变化像 素选择器423仅确定比正确检测到的亮度变化像素401的实际范围小的范围 是正确检测的亮度变化像素范围。为了防止这种检测的遗漏，扩展正确检测到的亮度变化像素401的范围。 在这种情况下，使用图16所示的滤波器442。类似于参考图15上述的滤波 器432，由三抽头滤波器442倍增其中亮度变化像素被设为1且其余像素被 设为0的检测结果图像441。因此，生成其中3x 3像素的区域具有像素值"1" 的滤波器结果443。在图16所示的示例中，三抽头滤波器被应用于将位于中央的的像素的像 素值范围向外扩展一个像素。根据在检测时设置的条件来确定扩展范围的像 素数。用于扩展的范围尺寸对应于抽头数。由图像转换器422获得的滤波器结果被输入到亮度变化像素选择器423。 亮度变化像素选择器423基于滤波器结果中包含的像素的像素值，检测正确 检测到的亮度变化像素，即基于物体的亮度电平的变化而检测的亮度变化像 素。具体地，如果在滤波器结果中包括具有像素值"1"的像素，则确定该像 素是正确检测到的亮度变化像素。亮度变化像素选择器423除了基于图像转换器422的滤波器结果来检测 正确检测到的亮度变化像素位置以外，还可以基于输入的未经过滤波的原始 检测结果信息来检测亮度变化像素位置。亮度变化像素选择器423可以单独 地存储这两类检测到的信息，即(1 )基于原始检测结果的亮度变化像素位置信息和(2 )基于滤波器结果的亮度变化像素位置信息，且可以将它们输出到像素值校正单元303。像素值校正单元303可以取决于其中使用滤波器扩展 的像素值范围的亮度变化像素和根据两类信息的初始检测的亮度变化像素， 来改变用于生成输出图像的上述参数的值。具体地，如上所述，如果由[Dv] 标示宽动态范围图像390的像素值，且由[Mv]标示作为模糊图像的中间图像 的像素值，则使用系数a和b通过下列等式来确定输出图像395的对应像素 位置的像素值[Rv]:[Rv]=a x [Dv] +b x [Mv]例如，系数a和b可以;故分別设为0. 2和0. 8,以确定未经过滤波的初 始检测的亮度变化区域内的像素的像素值，且参数a和b可以被分别设为0. 4 和0.6，以确定使用滤波器新检测到的亮度变化区域内的像素的像素值。这 保证了更平滑和自然的输出图像。另外，在使用参考图15描述的滤波器432进行滤波以由亮度变化像素选 择器423排除错误检测到的像素以后，可以进一步使用参考图16描述的滤波 器442进行滤波，以由亮度变化像素选择器423正确地选择亮度变化像素。 替换地，可以进行以上滤波处理之一。第三实施例将关于由在根据图12所示的第 一 实施例的像素值校正单元30 3中的中间 图像生成器(模糊处理)392进行的模糊图像生成处理，来描述根据本发明 的第三实施例的图像处理装置。在第一实施例中，如参考图12所描述的，在图12所示的像素值校正单 元303中的中间图像生成器(模糊处理)392接收宽动态范围图像390，并使 用通过示例的图IIA或IIB所示的低通滤波器生成模糊图像。但是，在物体剧烈运动的情况下，滤波器的抽头数增加，且可能难以在 硬件中实现。在第三实施例中，通过放大和縮小(reducing)图像来生成模 糊图像。图像被缩小以减少信息量，且得到的具有减少的信息的图像被放大 从而达到与模糊处理的优点类似的优点。该缩小和放大处理是基于例如双线 性(双线性内插)处理的。将参考图17描述等级第三实施例的像素值校正单元303，的结构和操作。 根据第三实施例的像素值校正单元303，被配置以至于修改了根据参考图12描述的第一实施例的像素值校正单元303中的中间图像生成器392的结构。中间图像生成器392包括图像缩小单元501,被配置以接收并缩小宽 动态范围图像390以生成缩小的图像；存储器502,被配置以存储由图像缩 小单元501生成的缩小的图像；以及图像放大单元503,被配置以从存储器 502检索并放大缩小的图像。图像缩小单元501接收宽动态范围图像390并进行双线性(双线性内插) 操作以生成具有垂直和水平尺度被缩小了例如1/16 ( 1/256的面积)的缩小 的图像。在存储器502中存储该缩小的图像。图像放大单元503检索被存储 在存储器502中的缩小的图像，并使用双线性(双线性内插)处理来放大检 索到的图像。放大的图像对应于通过模糊宽动态范围图像390而获得的数据。 由于仅对与由输出图像生成器393使用模糊图像的像素值所在的亮度变 化像素的位置对应的图像部分使用模糊图像数据，因此图像放大单元5 03可 以放大被存储在存储器502中的缩小的图像的受限图像区域、包括亮度变化 像素的位置，以生成局部图像。在这种情况下，图像放大单元503从图像分 析单元302接收亮度变化像素位置信息，并基于所接收的亮度变化像素位置 确定将要经过放大处理的局部区域。图像放大单元503放大该局部区域以生 成放大的图像(模糊图像)，并向输出图像生成器393输出放大的图像。第四实施例在前述实施例中，中间图像生成器(模糊处理)392使用如上所述的图 11A或11B所示的低通滤波器通过进行图像缩小和放大处理，来从宽动态范 围图像390生成模糊图像。取决于拍摄环境(诸如光源、物体颜色和物体速度)，高颜色饱和伪色可 能在运动物体区域中产生，且伪色可能甚至在模糊图像中产生。根据本发明 的第四实施例的成像装置可操作用于避免这种问题。图18示出根据第四实施例的像素值校正单元303，，的示例结构。如此配 置第四实施例以至于，在根据参考图12描述的第一实施例的像素值校正单元 303中的中间图像生成器392之前，进一步提供图像校正单元(颜色饱和减 少处理)521。图像校正单元(颜色饱和减少处理)521接收宽动态范围图像390，并进 行颜色饱和减少处理以生成具有减少的颜色饱和的饱和减少图像。饱和减少图像被输入到中间图像生成器392。中间图像生成器392模糊该饱和减少图 像以生成模糊图像。图像校正单元(颜色饱和减少处理)521减少宽动态范围图像390的颜 色饱和。宽动态范围图像390被分离成亮度和色差信号，如Y、 Cb和Cr,并 仅在亮度改变像素区域中减少色差信号。图像校正单元(颜色饱和减少处理) 521从图像分析单元302接收亮度改变像素位置信息，并根据所接收的信息， 仅在亮度改变像素区域中减少色差信号。图19示出了减少色差信号的比率的示例。在图19中，横坐标轴表示宽 动态范围图像390的输入图像的色差信号Cb和Cr的绝对值，且纵轴表示作 为由图像校正单元(颜色饱和减少处理)521进行的颜色饱和减少处理的结 果而获得的图像的色差信号Cb和Cr的绝对值。如图19所示，在宽动态范围 图像390的色差信号Cb和Cr的绝对值的范围从0到Va的分段区域中，减少 颜色饱和。进行上述处理的颜色饱和范围取决于成像元件或拍摄条件而不同， 且被优化用于每个成像系统。中间图像生成器392模糊饱和减少图像以生成模糊图像。通过在生成模 糊图像之前进行颜色饱和减少处理，即使在运动物体区域中产生的高颜色饱 和伪色也可以被防止在模糊图像中显现，且可以减少在最后输出图像上的这 种伪色的影响。第五实施例根据本发明的第五实施例的成像装置被配置以至于，在处理输出图像的 最后阶段中激活低通滤波器。图20示出根据第五实施例的像素值校正单元 303"的示例结构。根据第五实施例的像素值校正单元303，，被配置以至于在根 据参考图12描述的第一实施例的像素值校正单元303中的输出图像生成器 39 3之后进一步提供图像校正单元(低通滤波器)541。如先前在第一实施例中描述的，输出图像生成器393从图像组合器391 接收宽动态范围图像390，从中间图像生成器392接收作为模糊图像的中间 图像数据，并从图像分析单元302接收亮度变化像素位置信息。对于位于从图像分析单元302输入的亮度变化像素位置以外的像素，宽 动态范围图像390的像素值被设为输出图像395的像素值。基于从图像组合 器391输入的宽动态范围图像390的对应像素位置的像素值和从中间图像生成器392输入的作为模糊图像的中间图像数据，确定位于从图像分析单元302 输入的亮度变化像素位置上的像素的像素值。具体地，如果由[Dv]标示与亮 度变化像素位置有关的宽动态范围图像390的像素值，且由[Mv]标示与亮度 变化像素位置有关的作为模糊图像的中间图像的像素值，则使用系数a和b 通过以下等式来确定输出图像395的对应像素值的像素值[Rv]:[Rv]=a x [Dv] +b x [Mv]因此，确定了输出图像395的像素值。在由输出图像生成器393生成的图像中，可能在替换了像素值的像素区 域中或者在该像素区域与没有替换像素值的区域之间的边界上引起不自然的 灰度级。图像校正单元(低通滤波器)541向由输出图像生成器393生成的 图像施加低通滤波器，以生成最后输出图像。在图像校正单元(低通滤波器)541中使用的滤波器的形状或配置可以 类似于参考图11A或11B上述的滤波器。换句话说，可以使用图11A中示出 的平滑滤波器、图11B中示出的加权滤波器等等。优选地，滤波器的尺寸(抽 头数)可以足够以包括替换了像素值的像素区域或更大区域。优选地，图像 校正单元(低通滤波器)541从图像分析单元302接收亮度变化像素位置信 息，并在进行处理之前确定所使用的滤波器的尺寸(抽头数)。已经关于其具体实施例详细描述本发明。但是，要理解，本领域技术人 员在不脱离本发明的范围的情况下可以进行各种修改或替换。即，已经公开 本发明的示例实施例，且不解释其为限制本发明。本发明的范围应该由所附 权利要求确定。可以由硬件或软件或其组合实现在此描述的处理序列。当由软件实现处 理序列时，具有处理序列的程序可以被安装到并入了专用硬件的计算机的内 部存储器中，并被执行，或可以被安装到能够执行各种处理的通用计算机上， 并被执行。程序可以预先被记录在诸如硬盘或只读存储器(ROM)的记录介质上。替 换地，程序可以,皮暂时或永久地存储(或记录)在可移动记录介质上，诸如 软盘、紧致盘只读存储器(CD-ROM )、磁光(M0)盘、数字通用盘(DVD)、磁 盘或半导体存储器。这种可移动记录介质可以被提供作为打包软件。程序从这种可移动记录介质被安装到计算机上，或从下载站点被无线地 传输到计算机，或通过电线经由诸如局域网(LAN)或英特网被传输到计算机上，以便该计算机能够接收以上述方式传输的程序，并可以安装该程序到诸 如硬盘的内部记录介质上。根据进行该处理的装置的性能，在此描述的处理可以被并行或单独地执 行，以及可以按在此描述的顺序执行。此处所使用的术语系统是指装置的逻 辑组，而不管是否在单个外壳中装配这些装置。本领域技术人员应该理解，取决于涉及要求和其他因素进行各种修改、 组合、子组合和替换，只要它们处于所附权利要求或其等同物的范围之内。相关申请的交叉引用本发明包含与2007年3月9日在日本专利局提交的日本专利申请 JP2007-059972相关的主题，其全部内容^皮引用附于此。
权利要求
1.一种图像处理装置，包括图像输入单元，被配置以接收长期曝光图像和短期曝光图像；图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素的像素值，其中该像素值校正单元包括组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，中间图像生成器，被配置以生成中间图像，该中间图像是该组合图像的模糊图像，以及输出图像生成器，被配置以使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。
2. 根据权利要求1所述的图像处理装置，其中该输出图像生成器被配置 以使用以下等式确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b=l。
3. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输出值 的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度电平 从高亮度电平改变到低亮度电平的亮度变化像素。
4. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有效输 出值的像素位置，并被配置以确定位于所检测的像素位置上的像素是其亮度 电平从低亮度电平改变到高亮度电平的亮度变化像素。
5. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转 换，并被配置以基于作为该图像转换的结果而获得的图像来排除错误检测到 的亮度变化像素。
6. 根据权利要求1所述的图像处理装置，其中该图像分析单元被配置以 使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转换，并 被配置以放大亮度变化像素区域。
7. 根据权利要求6所述的图像处理装置，其中该输出图像生成器被配置 以使用系数通过以下等式来确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b-l，以及其中该输出图像生成器被配置以通过使用被用于确定基于该组合图像而 检测到的亮度变化像素区域的像素值的第一组系数和用于确定使用该滤波器 放大的该亮度变化像素区域的像素值的第二组系数作为系数，来确定在该输 出图像中的该对应像素的像素值，该第一组系数和该第二组系数具有彼此不 同的值。
8. 根据权利要求1所述的图像处理装置，其中该中间图像生成器被配置 以对该组合图像施加平滑滤波器，以生成模糊图像。
9. 根据权利要求1所述的图像处理装置，其中该中间图像生成器被配置 以缩小和放大该组合图像以生成模糊图像。
10. 根据权利要求1所述的图像处理装置，其中该像素值校正单元进一 步包括图像校正单元，其被配置以缩小由该组合图像生成器生成的组合图像 的颜色饱和，以生成饱和减少图像，以及其中该中间像素生成器被配置以接收由该图像校正单元生成的该饱和减 少图像以生成模糊图像。
11.根据权利要求1所述的图像处理装置，其中该像素值校正单元进一 步包括图像校正单元，其被配置以进行对由该输出图像生成器生成的图像施 加低通滤波器的图像校正处理。
12.根据权利要求1到11中的任意一项的图像处理装置，其中生成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，以及其中该短期曝光图像和该长期曝光图像是由单个成像元件从相同像素生成的图像。
13. —种成像装置，包括成像设备，被配置以生成长期曝光图像和短期曝光图像； 图像分析单元，被配置以基于在该长期曝光图像和该短期曝光图像中的 像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发 生了亮度变化的亮度变化像素；以及像素值校正单元，被配置以校正由该图像分析单元检测的亮度变化像素 的像素值，其中该像素值校正单元包括组合图像生成器，被配置以选择性地组合该长期曝光图像中的像素 值与该短期曝光图像中的像素值，以生成组合图像，中间图像生成器，被配置以生成中间图像，该中间图像是该组合图 像的模糊图像，以及输出图像生成器，被配置以使用该组合图像中的对应像素的像素值 和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮 度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。
14. 根据权利要求13所述的成像装置，其中生成该长期曝光图像的曝光 时间段包括生成该短期曝光图像的曝光时间段，以及其中该成像设备被配置以使用单个成像元件从相同像素生成该短期曝光 图像和该长期曝光图像。
15. —种用于在图像处理装置中进行图像处理的图像处理方法，该图像 处理方法包括以下步骤通过图像输入单元，接收长期曝光图像和短期曝光图像；通过图像分析单元，基于在该长期曝光图像和该短期曝光图像中的像素 值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了 亮度变化的亮度变化像素；以及通过像素值校正单元，校正所检测的亮度变化像素的像素值，其中该校正的步骤包括以下步骤通过选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，生成中间图像，该中间图像是该组合图像的模糊图像，以及使用该组合图像中的对应像素的像素值和在该中间图像中的该对应像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对应像素位于对应于该亮度曝光像素的位置上。
16. 根据权利要求15所述的图像处理方法，其中该确定的步骤包括以下 步骤使用以下等式确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b^。
17. 根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下 步骤检测从该短期曝光图像获得有效输出值且从该长期曝光图像获得有效输 出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平从高 亮度电平改变到低亮度电平的亮度变化像素。
18. 根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下 步骤检测在该长期曝光图像中的像素值饱和且没有从该短期曝光图像获得有 效输出值的像素位置，以确定位于所检测的像素位置上的像素是其亮度电平 从低亮度电平改变到高亮度电平的亮度变化像素。
19. 根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下 步骤使用平滑滤波器对基于所检测的亮度变化像素的检测结果图像进行图像 转换，以基于作为该图像转换的结果而获得的图像来排除错误检测到的亮度 变化像素。
20. 根据权利要求15所述的图像处理方法，其中该检测的步骤包括以下 步骤使用滤波器对基于所检测的亮度变化像素的检测结果图像进行图像转 换，以放大亮度变化像素区域。
21. 根据权利要求20所述的图像处理方法，其中该确定的步骤包括以下步骤使用系数通过以下等式来确定在输出图像中的该对应像素的像素值[Rv]=a x [Dv] +b x [Mv] 其中[Rv]标示在该输出图像中的该对应像素的像素值，[Dv]标示在该组合图 像中的该对应像素的像素值，[Mv]标示在该中间图像中的该对应像素的像素 值，a和b标示系数，其中a+b^，其中通过使用被用于确定基于该组合图像而检测到的亮度变化像素区域 的像素值的第 一组系数和用于确定使用该滤波器放大的该亮度变化像素区域 的像素值的第二组系数作为系数，来确定在该输出图像中的该对应像素的像 素值，该第 一组系数和该第二组系数具有彼此不同的值。
22. 根据权利要求15所述的图像处理方法，其中该生成中间图像的步骤 包括以下步骤对该组合图像施加平滑滤波器，以生成模糊图像。
23. 根据权利要求15所述的图像处理方法，其中该生成中间图像的步骤 包括以下步骤缩小和放大该组合图像以生成模糊图像。
24. 根据权利要求15所述的图像处理方法，其中该校正的步骤进一步包 括以下步骤缩小所生成的组合图像的颜色饱和，以生成饱和减少图像，以及 其中生成中间图像的步骤在接收所生成的该饱和减少图像时生成模糊图像。
25. 根据权利要求15所述的图像处理方法，其中该校正的步骤进一步包 括以下步骤进行对在该确定步骤中生成的图像施加低通滤波器的图像校正处理。
26. 根据权利要求15到25中的任意一项所述的图像处理方法，其中生 成该长期曝光图像的曝光时间段包括生成该短期曝光图像的曝光时间段，以 及其中该短期曝光图像和该长期曝光图像是由单个成像元件从相同像素生成的图像。
27. —种用于使得图像处理装置执行图像处理的计算机程序，该计算机程序包括如下步骤使得图像输入单元接收长期曝光图像和短期曝光图像；使得图像分析单元基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在对应于长期曝光时间的拍摄时间段期间发生了亮度变化的亮度变化像素；以及使得像素值校正单元校正所检测的亮度变化像素的像素值， 其中该使得像素值校正单元校正像素值的步骤包括以下步骤通过选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像，生成该组合图像的模糊图像，以及使用该组合图像中的对应像素的像素值和在该中间图像中的该对应 像素的像素值来确定由该图像分析单元检测的亮度变化像素的像素值，该对 应像素位于对应于该亮度曝光像素的位置上。
全文摘要
一种图像处理装置包括以下元件。图像输入单元被配置以接收长期曝光图像和短期曝光图像。图像分析单元被配置以基于在该长期曝光图像和该短期曝光图像中的像素值的分析，来检测其中确定在拍摄时间段期间发生了亮度变化的亮度变化像素。像素值校正单元被配置以校正所检测的亮度变化像素的像素值。在像素值校正单元中，组合图像生成器被配置以选择性地组合该长期曝光图像中的像素值与该短期曝光图像中的像素值，以生成组合图像；中间图像生成器被配置以生成该组合图像的模糊图像；以及输出图像生成器被配置以使用该组合图像和模糊图像的每个中的该对应像素的像素值来确定所检测的亮度变化像素的像素值。
文档编号G06T5/00GK101262564SQ20081008528
公开日2008年9月10日 申请日期2008年3月10日 优先权日2007年3月9日
发明者大池佑辅, 笠井政范 申请人:索尼株式会社