专利名称：图像处理设备、图像捕捉设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像捕捉设备、图像处理方法和程序，并且更具体 地涉及能够通过使用具有不同曝光时间的多个图像的图像合成处理来产生具有宽动态范 围的高质量输出图像的图像处理设备、图像捕捉设备、图像处理方法和程序。
背景技术：
用于摄像机、数字静止图像摄像机等等的诸如CCD图像传感器或CMOS (互补 金属氧化物半导体)图像传感器的固态成像装置根据入射光量执行存储电荷的光电转换 并且输出对应于累积的电荷的电信号。然而，由于光电转换单元中的电荷累积量存在上 限，所以如果接收预定光量或更多，则累积的电荷量达到饱和水平，使得设置了饱和亮 度水平的所谓雪盲(white-out)出现在亮度是预定值或更多的对象区域中。
为了防止这个现象，已有一种处理，其中通过根据外界光变化等等控制光电转 换单元中的电荷累积时段来调整曝光时间，使得灵敏度被控制到最优值。例如，针对亮 的对象，通过用高速快门释放缩短曝光时间来减少光电转换单元中的电荷累积时段，使 得在累积的电荷量达到饱和水平之前输出电信号。通过这种处理，可以输出准确地再现 根据对象的灰度级的图像。
然而，在亮和暗部分混合的对象的拍照中，如果使用高速快门释放，则不保证 暗部分的充分曝光时间。因此，S/N被降低，使得图像质量退化。通过这种方式，在亮 和暗部分混合的对象的图像拍照中，为了准确地再现亮和暗部分的亮度水平，针对入射 光量小的图像传感器的像素，可能需要通过长曝光时间实现高S/N，并且针对入射光量 大的像素，可能需要提供避免饱和的处理。
作为实现这种处理的方法，已知一种使用具有不同曝光时间的多个图像的方 法。换句话说，在该方法中，长时间曝光图像用于暗图像区域，并且短时间曝光图像用 于长时间曝光图像中雪盲化的亮图像区域，使得最优像素水平可以被确定。以这种方 式，通过合成具有不同曝光的多个图像，可以获得具有宽动态范围、没有雪盲的图像。
例如，日本未审专利申请公开说明书No.2008-99158公开了通过合成具有不同曝 光量的多个图像来获得具有宽动态范围的图像的配置。参考图1描述该过程。例如，在 运动图片拍照中，成像装置在视频速率(30-60fps)内输出具有不同曝光时间的两个图像 数据。此外，在静止图片拍照中，成像装置也产生和输出具有不同曝光时间的两个图像 数据。图1是图解由成像装置产生的、具有不同曝光时间的两个图像(长时间曝光图像 和短时间曝光图像)的特性的图。水平轴是时间(t)，并且垂直轴是构成对应于固态成像 装置的一个像素的光电转换单元的光敏光电二极管(PD)中累积的电荷量(e)。
例如，在光敏光电二极管(PD)的感测光量大的情况下，即在对应于亮对象的情 况下，如图1中高亮度区域11所示，电荷累积量随着时间推移快速地增加。另一方面， 在光敏光电二极管(PD)的所感测光量小的情况下，即在对应于暗对象的情况下，如图1 的低亮度区域12所示，电荷累积量随着时间推移逐渐地增加。
时间t0到t3对应于用于获得长时间曝光图像的曝光时间TL。针对在曝光时间 TL被设置成长时间的低亮度区域12中图解的线，在时间t3处，电荷累积量未达到饱和水 平(非饱和点Py)。因此，可以通过像素的灰度级水平获得准确的灰度级表示，其中通 过使用根据电荷累积量6a)获得的电信号来确定像素的灰度级水平。
然而，针对在高亮度区域11中图解的线，显然，在时间t3之前，电荷累积量已 经达到饱和水平(饱和点Px)。因此，在这样的高亮度区域11中，从长时间曝光图像中 只获得只有对应于具有饱和水平的电信号的像素值，使得形成雪盲化像素。
因此，在这样的高亮度区域11中，在时间t3之前的一个时间处，例如在图中图 解的时间tl (电荷清除启动点Pl)处，光敏光电二极管(PD)中的累积的电荷被清除。不 对光敏光电二极管(PD)中的所有累积电荷执行电荷清除，但是电荷清除被分行到光电二 极管(PD)中控制的中间电压持续水平。在电荷清除处理之后，再次以曝光时间TS(t2到 t3)执行短时间曝光。换句话说，在图中图解的从短时间曝光开始点P2到短时间曝光结 束点P3时间段内，执行短时间曝光。通过短时间曝光获得电荷累积量6b)，并且根据 电信号确定像素的灰度级水平，该电信号是根据电荷累积量6b)获得的。
此外，在根据下述因素确定像素值的情况下根据通过在低亮度区域12中的长 时间曝光而获得的电荷累积量6a)来获得的电信号，和根据通过在高亮度区域251中的 短时间曝光而获得的电荷累积量6b)来获得的电信号，计算同时执行曝光的情况的估计 电荷累积量，或对应于估计电荷累积量的电信号输出值，并且根据所计算的结果来确定 像素值水平。
以这种方式，通过合成短时间曝光图像和长时间曝光图像，可以获得具有宽动 态范围、没有雪盲的图像。
然而，具有不同曝光量的多个图像是在时间不同的各个定时处拍照的图像。因 此，如果对象的运动在该时间内发生，则在合成图像的时候图像存在差异。结果，运动 对象区域的图像区域中伪彩色的出现导致图像质量退化的问题等等。
作为公开减轻这种问题的技术的相关技术，例如，存在日本未审专利申请公开 说明书 No.2000-50151。
在日本未审专利申请公开说明书No.2000-50151中，所公开的是比较具有不同 曝光量的多个图像以指定存在运动的像素区域并且执行校正的配置。处理的细节如下。 首先，获得长时间曝光图像CL^)和短时间曝光图像6E)，并且获得曝光比A( = LE/ SE)，该曝光比A是长时间曝光图像(LE)的曝光量与短时间曝光图像6E)的曝光量的 比率。此外，针对每个像素，计算(LE-SEXA)。在完全相同对象被拍照的情况下， (LE-SEXA) = 0。针对未满足(LE-SEXA) = 0的像素，很可能在长时间曝光图像(LE) 和短时间曝光图像6E)中拍照不同的对象，并且这样的像素区域被识别为运动区域。
换句话说，在拍照相同对象的情况下，长时间曝光图像(LE)的输出值(亮度) 和短时间曝光图像6E)的输出值(亮度)之间的对应关系被设置在如图2所示的斜率为 A(=曝光比)的线上。在对应关系偏离线的情况下，确定区域中存在运动。
然而，在实际情况中，由于构成成像装置的PD或晶体管的特殊产品存在变化， 所以难以准确地根据(LE-SEXA) = 0的满足或不满足来确定是否存在对象的运动。例 如，可以通过设置阈值(Th)并且确定是否满足|LE_SEXA| < Th来降低装置间的小变化。然而，由于装置之间的变化根据设备而发生改变，所以存在难以设置最优阈值的问题。发明内容
期望提供能够准确地确定存在对象的运动的区域的图像处理设备、图像捕捉设 备、图像处理方法和程序，这种对象运动可导致图像质量退化，例如在通过合成具有不 同曝光时间的多个图像来产生具有宽动态范围的图像时出现伪彩色。
在本发明的第一实施例中，提供了一种图像处理设备，包含图像合成单元， 其通过合成具有不同曝光时间的所拍照图像来产生合成图像；和运动区域检测单元，其 对由图像合成单元产生的多个合成图像执行比较处理以获得像素值差，并且其执行运动 区域检测处理，该处理比较像素值差和预定阈值，并且确定像素值差等于或大于阈值的 像素区域是对象的运动被估计为已经发生的运动区域。
此外，在根据本发明一个实施例的图像处理设备中，图像合成单元被配置为每 当具有不同曝光时间的一个拍照图像被输入时，通过合成新输入图像和具有不同曝光时 间的已完成输入的所拍照图像来产生合成图像，并且该运动区域检测单元通过比较由图 像合成单元产生的两个连续合成图像的对应像素的像素值，执行运动区域检测处理。
此外，在根据本发明一个实施例的图像处理设备中，该图像处理设备包含合 成前图像比较单元，其通过在要合成的图像之间比较对应像素的输出值来获得要合成的 图像之间的像素值差，其中要合成的图像是用于合成图像的生成的来源；和过检测移除 单元，其比较要合成的图像之间的像素值差和预定第二阈值，并且针对由运动区域检测 单元检测的运动区域的对应像素，确定要合成的图像之间的像素值差小于第二阈值的像 素区域不是运动区域。
此外，在根据本发明一个实施例的图像处理设备中，图像处理设备包含图像质 量退化区域检测单元，其通过使用要合成的图像的像素对应选择信息，确定这样的像素 区域作为图像质量退化区域在所述像素区域中，具有不同曝光时间的所拍照图像的像 素被设置成合成图像上的相邻像素的像素区域，其中要合成的图像是用于合成图像的生 成的来源，并且输出图像质量退化运动区域检测信息，其中作为由运动区域检测单元检 测的运动区域并且作为图像质量退化区域的像素区域被提取为图像质量退化运动区域。
此外，在根据本发明一个实施例的图像处理设备中，该图像处理设备包含输 出值有效区域检测单元，其通过使用关于要合成的图像的像素对应选择信息，针对合成 图像的像素获得要合成的图像的像素值，其中要合成的图像是用于合成图像的生成的来 源，并且在要合成的图像的像素值在零或饱和值附近的情况下，确定所述像素区域具有 低有效性的输出值；和图像质量退化区域检测单元，其确定由输出值有效区域检测单元 检测的具有低有效性的输出值的像素区域为具有高可能性的图像质量退化的图像质量退 化区域，并且其输出图像质量退化运动区域检测信息，所述图像质量退化运动区域检测 信息指示作为由运动区域检测单元检测的运动区域并且作为图像质量退化区域的所述像 素区域被提取为图像质量退化运动区域。
此外，在根据本发明一个实施例的图像处理设备中，该图像处理设备包含第 二运动区域检测单元，其通过使用作为用于合成图像的生成的来源的要合成的图像的像素对应选择信息，确定像素处于运动区域中，其中该像素是作为被用于合成图像的像素 的长时间曝光图像的像素，并且具有有效像素值，使得对应于该像素的短时间曝光图像 的像素的值不在零附近；和检测结果集成单元，其输出运动区域检测信息，其中由运动 区域检测单元确定为运动区域并且由第二运动区域检测单元确定为运动区域的区域被设 置成最终运动区域。
在本发明的第二实施例中，提供了一种图像处理设备，包含图像合成单元， 其通过合成具有不同曝光时间的所拍照图像来产生合成图像；和输出值有效区域检测单 元，其通过使用关于要合成的图像的像素对应选择信息，针对合成图像的像素获得要合 成的图像的像素值，其中要合成的图像是用于合成图像的生成的来源，在要合成的图像 的像素值在零或饱和值附近的情况下确定所述像素区域具有低有效性的输出值，并且输 出图像质量退化区域检测信息，其中该区域被清楚地指示为具有高可能性的图像质量退 化的图像质量退化区域。
在本发明的第三实施例中，提供了一种图像处理设备，包含图像合成单元， 其通过合成具有不同曝光时间的所拍照图像来产生合成图像；和运动区域检测单元，其 通过使用作为用于合成图像的生成的来源的要合成的图像的像素对应选择信息，确定像 素处于运动区域中，其中该像素是长时间曝光图像的像素并且具有有效像素值，使得对 应于该像素的短时间曝光图像的像素的值不在零附近，并且输出清楚地指示该运动区域 的运动区域检测信息。
在本发明的第四实施例中，提供了一种图像处理设备，包含检测单元，其计算 具有不同曝光时间的所拍照图像的对应像素的像素值差和预定相关信息之间的差，并且 在该差值大于预定阈值的情况下，确定存在运动区域。
此外，在根据本发明一个实施例的图像处理设备中，根据作为比较对象的具有 不同曝光时间的图像的输出值的相关产生该相关信息。
在本发明的第五实施例中，提供了具有图像处理设备的成像设备，其中该图像 处理设备还包含成像装置，其捕捉具有不同曝光时间的所拍照图像；和图像处理单 元，其执行根据权利要求1至10中任何一个所述的成像处理。
在本发明的第六实施例中，提供了在图像处理设备中执行的一种图像处理方 法，其包含步骤图像合成单元，通过合成具有不同曝光时间的所拍照图像来产生合成 图像；以及，运动区域检测单元，对由图像合成单元产生的多个合成图像执行比较处理 以获得像素值差，并且执行比较该像素值差和预定阈值的运动区域检测处理，并且确定 像素值差等于或大于该阈值的像素区域为对象的运动被估计为已经发生的运动区域。
在本发明的第七实施例中，提供了允许图像处理设备执行成像处理的程序，成 像处理包含步骤允许图像合成单元通过合成具有不同曝光时间的所拍照图像来产生合 成图像；和允许运动区域检测单元对由图像合成单元产生的多个合成图像执行比较处理 以获得像素值差，并且执行比较像素值差和预定阈值的运动区域检测处理，并且确定像 素值差等于或大于该阈值的像素区域为对象的运动被估计为已经发生的运动区域。
此外，根据本发明的处理是例如可以通过具有计算机可读格式的存储介质或通 信介质提供给可以执行各种程序/代码的信息处理设备或计算机/系统的程序。这样的 程序以计算机可读格式提供，使得根据该程序的处理在信息处理设备或计算机/系统中5/29 实现。
通过根据随后描述的本发明的实施例或附图的详细说明会明白本发明的其它目 的、特性或优点。此外，在本说明书中，系统表示多个设备的逻辑集成配置，并且该配 置的每个设备不限于被包含在同一外壳内。
根据本发明的一个实施例的配置，在输入具有不同曝光时间的多个图像并且通 过有选择地合成有效像素值来产生具有宽动态范围的图像的处理中，可以有效地检测出 导致出现图像质量退化，例如伪彩色的对象的运动区域。例如，执行由具有不同曝光时 间的多个图像产生的合成图像的比较，并且根据比较结果检测运动区域。根据该处理， 可以执行能够抑制由成像装置的特性差异导致的错误检测的高准确运动区域检测。
图1是图解通过合成具有不同曝光量的多个图像来获得具有宽动态范围的图像 的处理的图。
图2是图解长时间曝光图像(LE)的输出值(亮度)和短时间曝光图像6E)的 输出值(亮度)之间的对应关系的图。
图3是图解根据本发明的、图像处理设备的整个结构的例子的图。
图4是图解根据本发明的第一实施例的图像处理设备的图像处理单元104的处理 的图。
图5是图解通过合成具有曝光时间Tl到的四个图像来产生具有宽动态范围的 一个图像的合成处理的例子的图。
图6是图解合成图像的像素值之间的对应关系的图。
图7是图解通过使用合成图像之间的相关来检测运动区域的处理的图。
图8是图解由根据第二实施例的图像处理设备执行的图像处理的图。
图9是图解根据第二实施例的图像处理设备的处理的模块图。
图10是图解根据第二实施例的图像处理设备的处理的模块图。
图11是图解由根据第三实施例的图像处理设备执行的图像处理的图。
图12是图解长时间曝光图像的输出值和短时间曝光图像的输出值之间的对应关 系的图。
图13是图解根据第三实施例的图像处理设备的处理的模块图。
图14是图解第四实施例的概念的图。
图15是图解根据第四实施例的图像处理设备的处理的模块图。
图16Α和16Β是图解比较检测对象像素和相邻像素的比较处理的图。
图17是图解根据第五实施例的图像处理设备的处理的模块图。
图18是图解根据第六实施例的图像处理设备的处理的模块图。
图19是图解在对象运动的情况下成像设备的输出信号的例子的图。
图20是图解根据第七实施例的图像处理设备的处理的模块图。
图21是图解根据第八实施例的图像处理设备的处理的模块图。
图22是图解根据第九实施例的图像处理设备的处理的模块图。
图23是图解根据第九实施例的图像处理设备的处理的模块图。
图M是图解根据第十实施例的图像处理设备的处理的模块图。
图25是图解长时间曝光图像的输出值和短时间曝光图像的输出值之间的对应关 系的图，此关系被用于根据第十实施例的图像处理设备的处理。
具体实施方式
下面参考附图描述根据本发明的图像处理设备、图像捕捉设备、图像处理方法 和程序。按下面的顺序进行描述。
1.图像处理设备的整体配置
2.图像处理设备的详细实施例
1.图像处理设备的整体配置
首先，参考图3描述根据本发明的图像处理设备的整体配置的例子。
图3是图解作为根据本发明的图像处理设备的一个例子的图像捕捉设备的配置 的例子的模块图。穿过光学透镜101进入的光线入射到用例如CMOS图像传感器等等构 成的成像装置102，并且输出通过光电转换获得的图像数据。将该输出图像数据通过存储 器103输入到图像处理单元104。控制单元105根据例如存储器(未示出)中存储的程序 向每个部件输出控制信号以控制各种处理。
成像装置102产生具有不同曝光时间的多个图像111到114。将具有不同曝光时 间的多个图像111到114输入图像处理单元104，并且图像处理单元104执行合成处理以 产生输出图像120。在此后描述的实施例中，在将来自成像装置102的具有不同曝光时间 的四种图像输入图像处理单元104的配置中进行描述。换句话说，如图3中所示，图像 如下。
图像1(曝光时间Τ1)111
图像2(曝光时间T2)112
图像3(曝光时间Τ3)113
图像4(曝光时间Τ4)114
这里，T1<T2<T3<T4。
图像处理单元104被输入来自成像装置102的具有不同曝光时间(Tl到Τ4)的四 种图像，以根据具有不同曝光时间的多个图像生成输出图像120。
如上所述，从成像装置输出的电信号取决于入射到该成像装置的光的量。因 此，在某个曝光时间(长时间曝光)的情况下，对应于亮对象的像素中从光电转换单元输 出的电信号可能达到饱和水平。结果，这些像素变成所谓的雪盲像素，其中对应于饱和 水平的电信号被输出，使得灰度级差不可感知。
例如，由于避免这种雪盲以获得反映对象的亮度水平的输出，所以允许生成在 从长时间曝光到短时间曝光的范围中的多个图像数据，并且图像处理单元104对多个图 像执行合成处理以获得输出图像120。例如，针对被估计为通过执行长时间曝光达到饱和 水平的像素，执行根据通过执行短时间曝光获得的数据来计算像素值并且输出像素值的 这种处理。
在由与本发明的申请人相同的申请人提交的日本未审专利申请公开说明书 Νο.2008-99158或2008-227697中公开了获得具有不同曝光时间的多个图像的处理。基本上，通过与其中公开的方法相同的方法获得具有不同曝光时间的多个图像，使得生成不 存在雪盲像素的合成图像。此外，尽管日本未审专利申请公开说明书No.2008-99158或 2008-227697公开了获得包含长时间曝光图像和短时间曝光图像的两种图像的处理，但在 本发明中，可以根据具有不同曝光时间的四种图像执行各处理。
如上所述，具有不同曝光量的多个图像是在时间不同的定时处拍照的图像。因 此，如果对象的运动在该时间内出现，则在合成图像时图像中存在差异。结果，运动图 像区域的伪彩色的出现导致图像质量退化的问题等等。
图像处理单元104在执行合成从成像装置102输入的图像的处理之前，执行确定 这样的图像区域的处理在该图像区域中，对象的运动被估计为已经发生。对通过运动 确定方法确定为运动区域的像素区域执行校正处理，并且之后生成合成图像。此后，描 述通过使用具有不同曝光时间的多个图像来检测运动图像区域的处理的详细实施例。
2.图像处理设备的详细实施例
此后，描述图3中图解的图像处理设备的配置和处理的详细实施例。
(2-1)第一实施例
图4是图解根据本发明第一实施例的图像处理设备的图像处理单元104的处理的 图。处理随着时间推移沿上部中图解的时间轴⑴上从左到右的方向进行。换句话说， 随着时间推移，包含具有曝光时间(Tl)的图像1、具有曝光时间(T2)的图像2、具有曝 光时间(T3)的图像3、具有曝光时间(T4)的图像4...的图像被顺序地输入和处理。
图像处理单元104顺序地输入通过成像装置102获得的、具有不同曝光时间的四 个图像，包含具有曝光时间(Tl)的图像1、具有曝光时间(T2)的图像2、具有曝光时间 (T3)的图像3、具有曝光时间(T4)的图像4。接着，类似地，图像处理单元104顺序 地输入具有不同曝光时间的四个图像，包含具有曝光时间(Tl)的图像5、具有曝光时间 (T2)的图像6、具有曝光时间(T3)的图像7、具有曝光时间(T4)的图像8。此后，重 复相同处理。此外，曝光时间Tl到科满足Tl < T2 < T3 < T4。
图像处理单元104根据需要通过使用具有曝光时间Tl到T4的四个图像来构成具 有宽动态范围的一个图像。参照图5说明该合成处理的例子。图5不同于图1的地方在 于除了获得长时间曝光图像和短时间曝光图像的两个图像之外，使用四种曝光时间，并 且该合成处理基本上与图1的合成处理相同。
在图5中，水平轴是时间(0，并且垂直轴是光敏光电二极管(PD)中累积的电 荷量(e)，其中光敏光电二极管(PD)构成对应于构成成像装置102的固态成像装置的一 个像素的光电转换单元。例如，在光敏光电二极管(PD)的感测光量大的情况下，即在对 应于亮对象的情况下，如图5中超高亮度区域151所示，电荷累积量随着时间推移快速地 增加。另一方面，在光敏光电二极管(PD)的感测光量小的情况下，即在对应于暗对象的 情况下，如图5的低亮度区域IM所示，电荷累积量随着时间推移逐渐地增加。在高亮 度区域152和中等亮度区域153之间存在亮对象。换句话说，对象的亮度顺序如下。
超高亮度区域151 >高亮度区域152 >中等亮度区域153 >低亮度区域154
在低亮度区域154中的像素处，尽管执行了最长曝光时间(T4)的曝光，但电荷 累积量未达到饱和水平。因此，可以由通过使用图的右端图解的[长时间曝光输出]信号 确定的像素的灰度级水平获得准确的灰度级表示，该[长时间曝光输出]信号是在经过曝光时间(T4)之后基于电荷累积量获得的。然而，针对超高亮度区域151、高亮度区域152和中等亮度区域153中图解的 线，在最长曝光时间(Τ4)之前，很可能电荷累积量已经达到饱和水平。因此，在这样的 像素区域中，从长时间曝光图像中只获得对应于具有饱和水平的电信号的像素值，使得 形成雪盲像素。
因此，在对应于从超高亮度区域151到中等亮度区域153的范围的像素中，首 先，在每个预定定时(tpl，tql和trl)处，光敏光电二极管(PD)中累积的电荷被清除。 不对光敏光电二极管(PD)中的所有累积电荷执行电荷清除，而是将电荷清除执行到光电 二极管(PD)中控制的中间电压持续水平。在电荷清除处理之后，再次以曝光时间(Tl = tpl到tp2)、曝光时间(T2 = tql到tq2)和曝光时间(T3 = trl到tr2)执行曝光处理。换 句话说，如图所示，执行具有短时间曝光时间(Tl)、短时间曝光时间(T2)和短时间曝光 时间(T3)的短时间曝光。以这种方式，通过各曝光时间获得对应于多个不同曝光时间Tl到T4(T1 < Τ2 <Τ3<Τ4)的电荷累积量，并且根据电信号确定像素的灰度级水平，其中电信号是根 据电荷累积量获得的。此外，当要基于电信号确定像素值时，其中基于根据每个曝光时 间获得的电荷累积量来获得此电信号，计算在执行等时间曝光的情况下的估计电荷累积 量，或对应于估计电荷累积量的电信号输出值，并且根据计算结果确定像素值水平。以 这种方式，通过合成短时间曝光图像和长时间曝光图像，可以获得具有宽动态范围、无 雪盲的图像。此外，曝光时间Tl到Τ4可以被设置为例如Τ4 = 1/30秒，Τ3 = 1/300秒，Τ2 =1/3000秒和Tl = 1/30000秒。例如，在Tl到Τ4的这种设置中，如果将图3中图解 的输出图像120生成为具有曝光时间Tl到Τ4的四个图像的合成图像，则在输出图像120 是运动图片的情况下，对应于30fps的运动图片可以被顺序地生成。这是由于可以每隔T4= 1/30秒根据从(超高亮度像素)=(曝光时间Tl)的曝 光图像到(低亮度像素)=(曝光时间T4)的曝光图像的范围中的图像生成合成图像。然而，具有不同曝光量，即曝光时间Tl到T4的多个图像是在时间不同的定时 处拍照的图像。因此，如果对象的运动在该时间内出现，则在合成图像时图像中存在差 异。结果，运动对象区域的图像区域中伪彩色的出现导致图像质量退化的问题等等。根据本发明的图像处理设备100的图像处理单元104识别运动对象的图像区域以 解决该问题。此外，此后，运动的对象被称为"运动对象"，并且运动对象的所捕捉图 像区域被称为〃运动区域〃。如图4所示，根据实施例的图像处理单元104通过使用多个合成后图像识别运动 区域。如图4所示，图像处理单元104包含图像合成单元201和运动区域检测单元 202。此外，尽管图4中图解了两个图像合成单元201，但这个图解表示前面执行了合成 图像1到4的处理，并且之后，执行合成图像5到8的处理。因此，这个图解表示一个 图像合成单元201顺序地执行处理。换句话说，不一定有多个图像合成单元，一个图像 合成单元201可以是足够的。运动区域检测单元202比较由图像合成单元201生成的两个合成图像以确定运动区域。换句话说，两个合成图像如下。通过合成图像1到4的处理生成的合成图像a 141a通过合成图像5到8的处理生成的合成图像b 141b运动区域检测单元202比较顺序生成的两个合成图像，并且检测图像中包含的 运动区域。检测结果被作为运动区域检测信息143输出。运动区域检测单元202在合成后图像之间比较像素值。在对象没有运动的情况 下，在相同坐标处的像素值彼此一致。换句话说，合成图像a，141a存在的坐标处的高 亮度像素与合成图像b，141b的对应坐标处的 高亮度像素相同，并且合成图像a，141a的 低亮度像素与合成图像b，141b的低亮度像素相同。图6中图解了像素值之间的对应关系。在图6中，水平轴表示当前合成图像(合成图像b，141b)的像素值(0到最大)， 并且垂直轴表示先前合成图像(合成图像a，141a)的像素值(0到最大)。例如，在当前 合成图像(合成图像b，141b)所处的坐标(xl，yl)处的像素值是pi的情况下，先前合 成图像(合成图像a，141a)的相同坐标处的像素值也是pi。换句话说，在对象没有运动 的情况下，在相同坐标处的像素值彼此一致，使得像素值可以位于图中图解的具有斜率1 的直线上。此外，如图6所示，当前合成图像(合成图像b，141b)和先前合成图像(合成图 像a，141a)中的任何一个是通过合成具有不同曝光时间，即曝光时间Tl到T4的图像的 处理而生成的图像。换句话说，根据具有短曝光时间Tl的图像确定作为高亮度区域的像 素区域中的像素值，并且根据具有长曝光时间T4的图像确定作为低亮度区域的像素区域 中的像素值，使得当前和先前合成图像中的任何一个是通过合成具有曝光时间(Tl到T4) 的多个图像的处理而生成的合成图像。如图6所示，具有曝光时间Tl到T4的图像的曝光比如下。Al T4 与 Tl 的曝光比(T4/T1)A2 T4 与 T2 的曝光比(T4/T2)A3 T4 与 T3 的曝光比(T4/T3)例如，如图6所示，通过将曝光比Al到A3和具有曝光时间Tl到T4的图像的 每一个输出信号相乘的处理来确定输出像素值。换句话说，低亮度区域中的像素值根据 具有曝光时间T4的图像来确定；中等亮度区域中的像素值根据具有曝光时间T3的图像 来确定；高亮度区域中的像素值根据具有曝光时间T2的图像来确定；并且超高亮度区域 中的像素值根据具有曝光时间Tl的图像来确定。合成方法是在当前合成图像(合成图像b，141b)和先前合成图像(合成图像a， 141a)中相同的处理。在对象没有运动的情况下，在相同坐标处的像素值彼此一致，使得 像素值可以位于图6中图解的具有斜率1的直线上。根据第一实施例的图像处理单元104通过使用合成图像之间的相关来检测运动 区域。参考图7描述该处理。图7是图解根据第一实施例的图像处理单元104的处理的模块图。成像装置102 输出图像111到114(曝光时间=Tl到T4)，并且存储图像在存储器103中。图像处理单元104输入图像111到114(曝光时间=Tl到T4)并且允许图像合成单元201执行图像合成处理以生成合成图像。如前面在图6中所图解的，图像合成单元 201合成具有根据亮度的不同曝光时间的图像，以生成移除具有饱和像素值的雪盲像素的 合成图像。此外，如前面参考图4所描述的，图像合成单元201通过将具有四种不同曝 光时间的四个图像作为一个组，顺序地生成合成图像。 由图像合成单元201生成的合成图像被输入到运动区域检测单元202。例如，在 由四个图像生成的合成图像a和由接着的四个图像生成的合成图像b被连续地输入的情况 下，运动区域检测单元202传过前面输入的合成图像a，并且将合成图像a和输出(合成 图像141) 一起存储在帧存储器203中。如果由四个图像生成的在后合成图像b被从图像合成单元201输入，则运动区域 检测单元202从帧存储器203读取在前合成图像a，并且比较在前合成图像a和从图像合 成单元201输入的在后合成图像b。运动区域检测单元202比较合成图像a和合成图像b的像素值。换句话说，在 相同像素的对应位置的每个上执行像素值比较。在对象中没有出现运动的情况下，如参 考图6所述，理想地，在对应于合成图像a和合成图像b的坐标处的像素值位于图6中图 解的具有斜率为1的直线上。如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具 有斜率1的直线上，则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的 直线，则确定存在运动区域。然而，在实际情况中，尽管对象是静止的，但由于固态成像装置的噪声或光的 拍摄噪声的影响，所以输出值完全地彼此一致的可能性不大。因此，在比较时可能要设 置某种程度的容差。例如，设置像素值差的允许值(Thl)。如果在合成图像a和合成图 像b的相同坐标位置处的像素值差在允许差值(Thl)内，则确定对象是静止的。如果在 合成图像a和合成图像b的相同坐标位置处的像素值差超过允许差值(Thl)，则确定存在 运动区域。更具体地，例如，允许差值(Thl)被设置成像素值的10% (当前合成图像(在 后合成图像b)的输出值)，即允许差值(Thl) = 10%。在这种情况下，将合成图像a和 合成图像b的相同坐标位置处的像素值差超过像素值的10%的区域确定为运动区域，即 运动对象的拍照区域。运动区域检测单元202通过使用例如下列确定公式(公式1)以像 素为单位来确定是否运动区域。(当前合成图像输出值)X0.1< I (当前合成图像输出值)_(先前合成图像输出 值)| (公式1)此外，在上述公式中，允许差值(Thl) =0.1 (像素值的10%)，但是它是一个 例子。由于允许量取决于例如固态成像装置的性能，所以优选根据所使用的固态成像装 置的性能等等确定该允许量。运动区域检测单元202确定满足例如上述公式(公式1)的像素是运动区域，并 且不满足上述公式的像素为非运动区域。运动区域检测单元202输出确定运动区域像素和非运动区域像素的信息作为运 动区域检测信息143。运动区域检测信息143配置有对应于像素的运动区域检测信息等 等，其中以图像的像素为单位设置例如运动区域像素=1和非运动区域像素=0。
此外，在上述处理中，经过比较处理的合成图像可以是摄像机信号处理前图 像，例如去马赛克处理前图像，或摄像机信号处理后图像。此外，作为成像装置中包含的固态成像装置，例如，除了具有上述日本未审专 利申请公开说明书No.2008-99158的配置的成像装置之外，可以使用普通固态成像装置， 更具体地，例如普通CCD图像传感器或CMOS (互补金属氧化物半导体)图像传感器的 固态成像装置。(2-2)第二实施例图8是图解根据第二实施例的图像处理的概念的图。随着时间推移，包含具有 曝光时间(Tl)的图像1、具有曝光时间(T2)的图像2、具有曝光时间(T3)的图像3、具 有曝光时间(T4)的图像4的图像被顺序地输入和处理。该实施例在选择用于合成的图像的方法方面不同于第一实施例。不同于第一实 施例，当一个要合成的图像(图像η)被输出时，执行合成。
图像合成单元201执行图像合成处理如下。通过使用包含具有不同曝光时间Tl到Τ4(Τ1 < Τ2 < Τ3 < Τ4)的图像1到图像 4的多个图像的图像合成处理，生成合成图像a，141a。接着，通过使用包含具有不同曝光时间Tl到T4(T1 < Τ2 < Τ3 < Τ4)的图像2 到图像5的多个图像的图像合成处理，生成合成图像b，141b。接着，重复相同处理。结果，执行合成包含图像η到n+3的四个图像的处理， 并且之后，执行合成包含图像(n+1)到(n+4)的四个图像的处理，使得通过合成被偏移一 个图像的四个图像来顺序地生成合成图像。运动区域检测单元202比较由图像合成单元201生成的两个合成图像，以确定运 动区域。换句话说，两个合成图像如下。通过合成图像1到4的处理生成的合成图像a 141a通过合成图像2到5的处理生成的合成图像a 141b运动区域检测单元202比较顺序生成的两个合成图像，并且检测图像中包含的 运动区域。运动区域检测单元202比较顺序生成的两个合成图像，并且检测图像中包含的 运动区域。检测结果被作为运动区域检测信息143输出。运动区域检测单元202的处理与第一实施例的处理相同。换句话说，在对象未 在当前合成图像(合成图像b，141b)和先前合成图像(合成图像a，141a)中运动的情况 下，在相同坐标处的像素值彼此一致，使得像素值可以位于图6图解的具有斜率1的直线 上。如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具 有斜率1的直线上，则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的直 线，则确定存在运动区域。然而，优选执行将这样的像素区域确定为运动区域的处理 如参考上述公式(公式1)描述的，通过使用根据所使用的固态成像装置的性能等等确定 的允许差值(Thl)，检测出等于或大于允许差值(Thl)的像素值差。运动区域检测单元202输出确定运动区域像素和非运动区域像素的信息作为运 动区域检测信息143。运动区域检测信息143配置有对应于像素的运动区域检测信息等等，其中以图像的像素为单位设置例如运动区域像素=1和非运动区域像素=O。
在图8图解的第二实施例的处理中，与参考图4描述的第一实施例相比较，由于 合成图像之间的时间间隔短，所以可以允许缩短运动对象的运动距离。然而，在图像处 理设备中执行的图像处理可能需要高速执行。例如，可能需要提供以等于图像的输入速 率的输出速率合成和输出图像的处理。图9和图10是图解根据该实施例的图像处理单元104的处理的模块图。首先， 参考图9和10描述实施例的处理。首先，如图9所示，成像装置102输出图像111到 114(曝光时间=Tl到T4)，并且将图像存储在存储器103中。图像处理单元104输入这些图像111到114(曝光时间=Tl到T4)，并且允许图 像合成单元201执行图像合成处理并且生成合成图像。如上参考图6所述，图像合成单元 201通过合成具有根据亮度的不同曝光时间的图像，生成移除了具有饱和像素值的雪盲像 素的合成图像。此外，如上参考图8所述，图像合成单元201以被偏移一个图像的一组 四个图像为单位，通过将具有四种不同曝光时间的四个图像作为一个组，顺序地生成合 成图像。图9是图解将包含图像1，111到图像4，114的图像存储到存储器103，并且通 过合成包含图像1到图像4的图像的处理生成合成图像a，141a(参考图8)的定时的例子 的图。图10是图解将下一图像5，115输入到存储器103，并且通过合成存储器103中 存储的包含图像2，112到图像5，115的图像的处理生成合成图像b，141(参考图8)的 定时的例子的图。由图像合成单元201生成的合成图像被输入到运动区域检测单元202。例如，在 顺序地输入由四个图像(图像1到图像4)生成的合成图像a和由接着的四个图像(图像2 到图像5)生成的合成图像b的情况下，运动区域检测单元202传过前面输入的合成图像 a并且将合成图像a和输出(合成图像141) 一起存储在帧存储器203中。如果由四个图像生成的在后合成图像b被从图像合成单元201输入，则运动区域 检测单元202从帧存储器203读取在前合成图像a，并且比较在前合成图像a和从图像合 成单元201输入的在后合成图像b。运动区域检测单元202在合成图像a和合成图像b之间执行像素值比较。换句 话说，运动区域检测单元202在同一对应像素位置处执行像素值比较。在对象中没有出 现运动的情况下，如参考图6所述，理想地，在对应于合成图像a和合成图像b的坐标处 的像素值位于图6中图解的具有斜率为1的直线上。如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具 有斜率1的直线上，则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的 直线，则确定存在运动区域。然而，如参考上述公式(公式1)的描述，优选执行通过使 用允许差值(Thl)将这样的像素区域确定为运动区域的处理检测出等于或大于根据所 使用的固态成像装置的性能等等确定的允许差值(Thl)的像素值。运动区域检测单元202确定满足例如上述公式(公式1)的像素是运动区域，并 且不满足上述公式的像素为非运动区域。运动区域检测单元202输出确定运动区域像素和非运动区域像素的信息作为运动区域检测信息143。运动区域检测信息143配置有例如像素对应运动区域检测信息等等，其中以图像的像素为单位，运动区域像素=1和非运动区域像素=O。在实施例中，除了具有上述日本未审专利申请公开说明书Νο.2008-99158的配置 的成像装置之外，可以使用普通固态成像装置，更具体地，是例如普通CCD图像传感器 或CMOS (互补金属氧化物半导体)图像传感器的固态成像装置。(2-3)第三实施例如参考图4等等所述，根据第一实施例的上述处理是这样的处理通过使用具 有曝光时间Tl到T4的四个图像作为一个组并且比较合成图像以检测运动区域，以没有交 叠的一组四个图像为单位生成合成图像。尽管根据第一实施例的处理非常简单，但作为像素值比较的对象的两个合成图 像的拍照时间分隔一个间隔。以这种方式，如果作为比较的对象的合成图像被分隔一个 时间间隔，则例如甚至具有慢运动的运动对象被确定为运动区域的可能性也较高。以这种方式，如果作为比较的对象的两个合成图像被分隔一个时间间隔，即使 在通过合成图像之间的像素值比较处理检测出像素值差并且被确定为运动区域的像素区 域中，在作为一个合成图像的合成源的多个不同曝光图像之间的对应像素的像素值差可 能较小，并且该区域可能因为该差值被确定为运动区域。这是由于构成合成图像的不同 曝光图像之间的拍照时间间隔小于合成图像之间的拍照时间间隔。通过这种方式，由于在第一实施例中经过像素值比较的合成图像之间的拍照时 间间隔大，所以运动区域的检测趋向过度。第三实施例是包含移除这种过检测的方法的 配置的例子。图11是图解根据第三实施例的图像处理的概念的图。随着时间推移，包含具有 曝光时间(Tl)的图像1、具有曝光时间(T2)的图像2、具有曝光时间(T3)的图像3、具 有曝光时间(T4)的图像4的图像被顺序地输入和处理。用于生成合成图像的图像的合成与参考图4所述的第一实施例的合成相同。换 句话说，通过使用包含具有不同曝光时间Tl到T4(T1 < Τ2 < Τ3 < Τ4)的图像1到图像 4的多个图像的图像合成处理，生成合成图像a，141a。接着，通过使用包含具有不同曝光时间Tl到T4(T1 < Τ2 < Τ3 < Τ4)的图像5 到图像8的图像的图像合成处理，生成合成图像b，141b。该实施例不同于参考图4所述的第一实施例的地方在于包含合成前图像比较单 元205。合成前图像比较单元205在合成前要合成图像(图像η)的像素之间比较输出值， 并且提供比较结果到运动区域检测单元202。运动区域检测单元202通过使用从合成前图像比较单元205输入的关于合成前要 合成图像(图像η)的像素之间的像素值比较结果的信息，对在合成图像之间的像素值比 较中被确定为运动区域的区域执行再验证。在合成前要合成图像(图像η)的像素之间的 像素值比较结果等于或小于预定像素值差的情况下，确定在合成图像之间的像素值比较 中被确定为运动区域的区域不是运动区域。换句话说，运动区域检测单元202执行移除 在合成图像之间的像素值比较中被过度确定为运动区域的部分的处理。合成前图像比较单元205执行合成前要合成图像，即具有不同曝光时间Tl到 Τ4(Τ1 < Τ2 < Τ3 < Τ4)的图像的对应像素的像素值比较。在这种情况下，可能需要执行根据曝光时间计算的输出像素值之间的比较。该处理对应于上面背景技术中描述的日本未审专利申请公开说明书 No.2000-50151的处理，S卩，如上参考图2所述的长时间曝光图像(LE)的输出值(亮度) 和短时间曝光图像(SE)的输出值(亮度)之间的对应关系比较处理。换句话说，如果长 时间曝光图像(LE)的输出值(亮度)和短时间曝光图像(SE)的输出值(亮度)被设置 在如图2图解的具有斜率A(=曝光比)的线上，则可以确定长时间曝光图像(LE)和短 时间曝光图像(SE)的对应像素与具有完全相同亮度的对象的拍照相关联。换句话说，在拍照相同对象的情况下，长时间曝光图像(LE)的输出值(亮度) 和短时间曝光图像(SE)的输出值(亮度)之间的对应关系被设置成在如图2所示具有斜 率A(=曝光比)的线上。因此，偏离该线的区域被确定为运动出现的区域。然而，如上所述，在实际情况中，由于在构成成像装置的PD或晶体管的特殊产 品中存在变化，所以难以根据满足或不满足(LE-SEXA) =0来准确地确定是否该对象有 运动。例如，装置之间的小变化可以通过设置阈值(Th)并且确定是否满足|LE_S EXA| < Th来降低。然而，由于装置之间的变化根据设备而发生改变，所以存在难以设置最优 阈值的问题。在该实施例中，使用解决具有不同曝光时间的图像的比较中的问题的方法。根 据例如成像装置的特性，长时间曝光图像的输出值和短时间曝光图像的输出值显示出如 图12所图解的特性。图12是图解与上述图2类似的长时间曝光图像(LE)的输出值(亮度)和短时间 曝光图像(SE)的输出值(亮度)之间的对应关系的曲线图。例如，在上述日本未审专利申请公开说明书No.2008-99158中公开的成像装置具 有图12所图解的特性。换句话说，不发生短时间曝光的输出，直到长时间曝光的输出等 于或大于某个水平(图12中的区域1)。这表示，在如上所述的图1中，如果对象的亮度 未超过中间电压持续水平，则不发生短时间曝光的输出。如果对象的亮度超过中间电压持续水平，则发生短时间曝光的输出。然而，在 发生输出时短时间曝光的输出的值非常不稳定。在短时间曝光的曝光时间段内，由于亮 度未超过中间电压持续水平并且由于未发生有效输出，所以区间中的斜率不同于由曝光 比定义的斜率(图12中的区域2)。此外，曝光比是曝光比A( = LE/SE)，其是长时间 曝光图像(LE)的曝光量与短时间曝光图像(SE)的曝光量的比。这是由复杂的处理导致的，例如通过复杂处理执行的短时间曝光处理，包含清 除光电二极管的累积的电荷，以及之后执行短时间曝光等等。换句话说，如上参考图1 所述，在短时间曝光处理中，首先在图1所图解的时间tl(电荷清除启动点Pl)，把光敏 光电二极管(PD)的累积电荷清除到光电二极管(PD)中控制的中间电压持续水平，并且 在电荷清除处理之后，再次以曝光时间TS (tl到t2)执行曝光处理。在图12的区域2中，在短时间曝光处理开始后就根据光电二极管(PD)的累积的 电荷量计算输出值，并且该部分变成非常不稳定的输出。此外，长时间曝光图像(LE)和 短时间曝光图像(SE)的输出值之间的对应关系(斜率B)被设置成斜率B (兴斜率A(曝 光比))，其不同于由作为曝光量的比值的曝光比A( = LE/SE)定义的斜率。在下一个区域3中，由于执行短时间曝光处理的光电二极管(PD)的电荷累积变成稳定状态的输出值，所以可以由曝光比计算出常量斜率A(曝光比)。上面描述的相同 关系可以被用于合成三个或更多图像的情况。上面参考图2描述的长时间曝光图像的输出值和短时间曝光图像的输出值之间 的对应关系是理论关系，但是它与实际成像装置的输出值一致。对应关系取决于成像装 置的特性，使得在许多情况下，长时间曝光图像的输出值和短时间曝光图像的输出值之 间的关系可以是图12中图解的关系。通过考虑这个因素，在图11所图解的合成前图像比较单元205在合成之前执行 具有不同曝光时间的要合成图像(图像η)的像素之间的输出值比较的情况下，只针对图 12所图解的区域3，即亮度等于或高于预定阈值亮度水平(图12中的Th2)的像素，选择 像素作为比较对象，并且只对所选择的像素执行像素值比较处理。此外，根据成像装置的特性确定阈值亮度水平(图12中的Th2)，以根据使得在 短时间曝光中输出是稳定的这种亮度水平来预定该阈值亮度水平。合成前图像比较单元205在亮度等于或大于预定阈值亮度水平(图12的Th2)的 像素处比较作为要合成图像的长时间曝光图像和短时间曝光图像的输出值，并且将比较 结果输出到过检测移除单元203 (参考图13)。过检测移除单元203根据接收自合成前图 像比较单元205的信息，对运动区域检测单元202在合成图像之间的像素值比较的结果中 确定为运动区域的像素区域执行再验证。换句话说，在作为要合成图像的长时间曝光图像和短时间曝光图像的输出值之 间的差值小于预定阈值的情况下，确定在合成图像之间的像素值比较结果中确定为运动 区域的像素区域不是运动区域，使得运动区域的确定被取消。图13是图解根据实施例的图像处理设备的模块图。该图不同于图7的地方在于 包 含合成前比较单元205和过检测移除单元206。成像装置102输出图像115到118 (曝光时间=Tl到T4)，并且将图像存储在存 储器103中。图像处理单元104输入这些图像115到118 (曝光时间=Tl到T4)，并且 允许图像合成单元201执行图像合成处理并且生成合成图像。此外，在图13中，描述了 通过使用在前图像111到114(曝光时间=Tl到T4)生成的合成图像已经被存储在帧存储 器203中。如上参考图6所述，图像合成单元201通过合成具有根据亮度的不同曝光时间的 图像，生成移除了具有饱和像素值的雪盲像素的合成图像。由图像合成单元201生成的 合成图像被输入到运动区域检测单元202。例如，在由四个图像生成的合成图像a和由 接着的四个图像生成的合成图像b被连续地输入的情况下，运动区域检测单元202传过前 面输入的合成图像a，并且把合成图像a和输出(合成图像141) 一起存储在帧存储器203 中。如果由四个图像生成的在后合成图像b被从图像合成单元201输入，则运动区域 检测单元202从帧存储器203读取在前合成图像a，并且比较在前合成图像a和从图像合 成单元201输入的在后合成图像b。如果在对应于合成图像a和合成图像b的坐标位置处的像素值位于图6图解的具 有斜率1的直线上，则确定该对象是静止的。如果像素值偏离图6图解的具有斜率1的 直线，则确定存在运动区域。然而，如参考上述公式(公式1)描述的，优选执行通过使用允许 差值(Thl)把这样的像素区域确定为运动区域的处理检测出等于或大于根据所 使用的固态成像装置的性能等等确定的允许差值(Thl)的像素值。在实施例中，运动区域检测单元202的检测结果被输入到过检测移除单元206。 过检测移除单元206对根据在合成图像a和合成图像b的对应坐标位置处的像素值比较被 确定为运动区域的像素区域执行再验证，并且执行把被确定为过检测的运动区域的像素 确定为不在运动区域中的过检测移除处理。换句话说，从合成前图像比较单元205向过检测移除单元206输入成为要合成图 像的长时间曝光图像的输出值和短时间曝光图像的输出值之间的比较结果。在这样的情 况下针对在合成图像之间的像素值比较的结果中被确定为运动区域的像素区域，成为 要合成图像的长时间曝光图像的输出值和短时间曝光图像的输出值之间的差值小于预定 阈值，过检测移除单元206执行确定该区域不是运动区域并且取消运动区域的确定的过 检测移除处理。此外，如上所述，合成前图像比较单元205在亮度等于或大于预定阈值亮度水 平(图12的Th2)的像素处比较作为要合成图像的长时间曝光图像和短时间曝光图像的输 出值，并且将比较结果输出到运动区域检测单元202的过检测移除单元206。合成前比较单元205设置类似于上述公式的某种程度的允许量，并且通过使用 下列公式(公式2)执行运动区域的确定。在图12所图解的区域3中不满足下列公式2 的情况下，确定该区域不是运动区域，并且该区域是从运动区域移除的对象。在短时间曝光图像(例如，图像5(T1)115)和长时间曝光图像(例如，图像 6(Τ2)116)被设置成比较对象的情况下。(短时间曝光图像的输出)X0.1 > |(长时间曝光图像的输出)_(短时间曝光图像 的输出)ΧΑ| (公式2)此外，A是曝光比A( = LE/SE)，其是长时间曝光图像(LE)的曝光量与短时间 曝光图像(SE)的曝光量的比。上述公式(公式2)表示，例如，在曝光比A = 10的情况下，表示通过从图像
6 (T2) 116 (长时间曝光图像)的输出值中10次减去图像5 (Tl) 115 (短时间曝光图像)的 输出值所获得的绝对值。以这种方式，尽管运动区域检测单元202根据合成图像之间的像素值的比较确 定像素区域为运动区域，但过检测移除单元206执行确定图12所图解的区域3中满足下 列公式2的区域不是运动区域并且从运动区域中移除该区域的处理。此外，未对合成前图像的所有组合执行比较处理，但是当在生成合成图像时被 选择为构成合成图像的像素的图像之前和之后执行比较处理(从图像合成单元102获得选 择信息)。换句话说，例如，在图像6 (T2) 116的像素被选择作为合成图像的特定像素的 有效像素值的情况下，在图像6(T2) 116和图像5 (Tl) 115之间和在图像6 (Τ2) 116和图像
7 (Τ3) 117之间执行比较。以这种方式，运动区域检测单元202执行(1)通过合成图像之间的像素值比较来 检测运动区域的检测处理。过检测移除单元206执行(2)通过作为合成图像的来源的要合成图像之间的像素 值比较来检测运动区域的再检测处理。过检测移除单元206只将在两步处理中被确定为运动区域的像素区域确定为最终运动区域，并且运动区域检测信息143。运动区域检测信息143配置有例如像素对应运动区域检测信息等等，其中以图 像的像素为单位，运动区域像素=1和非运动区域像素=0。在实施例中，除了 具有上述日本未审专利申请公开说明书Νο.2008-99158的配置 的成像装置之外，可以使用普通固态成像装置，更具体地，是例如普通CCD图像传感器 或CMOS(互补金属氧化物半导体)图像传感器的固态成像装置。此外，根据成像装置 的特性，长时间曝光图像的输出值和短时间曝光图像的输出值之间的关系可以是图12中 图解的关系，图2中所图解的关系，或其它关系。优选地，合成前图像比较单元205具 有通过根据所使用的成像装置的特性改进确定区域来执行确定的配置。(2-4)第四实施例接着，描述根据本发明第四实施例的图像处理设备的配置的例子，其从运动区 域中检测具有发生图像质量退化的较高可能性的图像质量退化区域。例如，在使用利用R，G和B滤色镜(滤色镜的颜色可以是任意的)的单板型 固态成像装置的情况下，在与构成所生成的合成图像的像素相邻的像素的位置处的R，G 和B像素被从不同的要合成图像中选择和合成的情况下，拍照运动对象时的图像质量退 化的增加。作为更详细的例子，存在这样的情况针对构成合成图像的像素，从具有曝光 时间T2的图像112 (T2)中选择G像素，并且从具有曝光时间T4的图像114(T4)中选择 与G像素相邻的R像素和B像素。在执行这种合成处理的情况下，静止图片没有严重问题。然而，在拍照运动对 象的情况下，具有不同曝光时间和曝光间隔的图像被用于相邻像素。因此，之后，如果 执行去马赛克(插值)处理并且执行作为彩色图像的观察，则图像质量退化可能出现，并 且更具体地，伪彩色等等可能出现。此外，即使在拍照运动对象的情况下，如果从相同要合成图像中选择相邻像 素，则不存在图像质量退化。这是由于表示具有相同曝光时间和曝光间隔的图像。因 此，至少伪彩色等等不出现。图14是图解实施例的概念的图。例如，通过上述第一到第三实施例的若干方法检测的运动区域是作为图14中的 宽区域的"运动区域"，并且具体出现图像质量退化(伪彩色等等)的"图像质量退化区 域"被包含在其中。在根据第四实施例的图像处理设备中，在相邻像素之间使用的不同要合成图像 的像素被从构成被确定为包含运动对象的〃运动区域〃的像素中提取，并且这些像素被 检测为构成"图像质量退化区域"的像素。图15是图解根据实施例的图像处理设备的模块图。该图不同于图7的地方在于 包含选择图像比较单元207和图像质量退化区域检测单元208。由于其它配置与图7的配置相同，所以省略其描述。此后，描述与图7的配置 的差别。选择图像比较单元207输入来自图像合成单元201的选择图像信息。选择图像 信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201中的图像合成处理生成的合成图像的像素。选择图像比较单元207执行把从其它图像中 选择的相邻像素设置为图像质量退化区域检测对象的处理。参考图16A和16B描述由选择图像比较单元207执行的处理。图16A和16B图 解了下列两个例子。(a)图像质量退化区域不是检测对象的例子(b)图像质量退化区域是检测对象的例子在每个例子中，确定对象是9个像素中的中央像素。(a)图像质量退化区域不是检测对象的例子
在该例子中，被用作确定对象的中央像素用从图像I(Tl)中选择的像素来配 置，并且作为相邻像素的所有8个像素类似于中央像素地用从图像I(Tl)中选择的像素来配置。通过这种方式，在与作为中央像素的要确定像素相邻的所有像素被从与中央像 素的图像相同的图像中选择的情况下，确定没有图像质量退化的可能性，使得其被确定 不是图像质量退化区域检测对象。(b)图像质量退化区域是检测对象的例子另一方面，在图16B图解的例子中，被用作确定对象的中央像素用从图像I(Tl) 中选择的像素来配置，并且作为相邻像素的8个像素中的两个像素用不同于中央像素地 从图像2(T2)中选择的像素来配置。通过这种方式，在不同于中央像素地从图像中选择的像素被包含为与作为中央 像素的要确定像素相邻的情况下，确定存在图像质量退化的可能性，使得其被设置成图 像质量退化区域检测对象。通过这种方式，选择图像比较单元207向图像质量退化区域检测单元208输出像 素对应确定信息，像素对应确定信息针对构成合成图像的像素区别图像质量退化区域检 测对象像素和图像质量退化区域非检测对象像素。例如，向图像质量退化区域检测单元 208输出合成图像的像素对应图像质量退化区域检测信息，其中图像质量退化区域检测对 象像素=1并且图像质量退化区域非检测对象像素=0。图像质量退化区域检测单元208输入来自选择图像比较单元207的图像质量退化 区域检测信息，并且输入来自运动区域检测单元202的基于合成图像之间的像素值比较 的处理而生成的运动区域检测信息143。运动区域检测信息143配置有例如运动区域检测 信息等等，其中以合成图像的像素为单位，运动区域像素=1并且非运动区域像素=0。图像质量退化区域检测单元208根据图像质量退化区域检测信息和运动区域检 测信息143，生成和输出作为最终信息的图像质量退化运动区域检测信息144。图像质量退化区域检测单元208针对所有像素只提取运动区域像素=1和图像质 量退化区域检测对象像素=1的像素，并且将这个区域定义为图像质量退化运动区域。换句话说，图像质量退化区域检测单元208对图像质量退化区域检测信息和运 动区域检测信息143执行AND( “与”)处理(AND逻辑计算)以只提取在运动区域中 并且作为图像质量退化区域检测对象的像素，并且确定这些像素为图像质量退化运动区 域像素。图像质量退化区域检测单元208确定除了这些像素之外的像素作为非图像质量 退化运动区域像素，并且输出图像质量退化运动区域检测信息144，其中以像素为单位设置确定信息。 从图像质量退化区域检测单元208输出的图像质量退化运动区域检测信息144配 置有例如像素对应图像质量退化运动区域检测信息等等，其中图像质量退化运动区域像 素=1并且非图像质量退化运动区域像素=0。在实施例中，除了具有上述日本未审专利申请公开说明书Νο.2008-99158的配置 的成像装置之外，可以使用普通固态成像装置，更具体地，是例如普通CCD图像传感器 或CMOS (互补金属氧化物半导体)图像传感器的固态成像装置。(2-5)第五实施例接着，在根据本发明的第五实施例的图像处理设备中，参考图17描述输出作为 检测非常可能导致图像质量退化的区域的信息的图像质量退化区域检测信息的配置。图17是图解根据实施例的图像处理设备的模块图。成像装置102和存储器103 的配置与参考图7描述的第一实施例的配置相同。图像处理单元104的图像合成单元201的处理也与参考图7描述的第一实施例的 配置相同，其中具有不同曝光时间的图像1到4被用于生成合成图像141。输出值有效区域检测单元209输入来自图像合成单元201的选择图像信息。选 择图像信息表示要合成图像(图像1到图像4)的哪些像素中选择构成由图像合成单元201 生成的合成图像的像素。选择信息与参考图15描述的第四实施例的选择信息相同。当输出值有效区域检测单元209输入该选择信息时，输出值有效区域检测单元 209针对所有构成合成图像的像素获得所选图像，即在存储器103中存储的合成前要合成 图像(图像1到图像4)的对应像素值，并且确定合成前图像的输出值的有效性。例如，在图像的有效位配置有10位数据并且比特值能够取的值，即数位值在从 0到1023数位的范围中的情况下，输出值有效区域检测单元209确定该范围两端处的比特 值的有效性低。更具体地，例如，在构成合成图像的像素的比特值(0到1023数位)满 足下列公式3的情况下，比特值> 1000数位，或比特值< 5数位(公式3)确定像素的比特值的有效性低，使得该区域被确定为图像质量退化区域(第五 实施例(参考图17))。比特值> 1000数位满足公式的像素是像素值几乎达到饱和水平的像素。比特值< 5数位满足公式的像素是像素值几乎在零附近的像素。由于这种像素输出准确像素值的可能性较小，所以该区域被确定为像素值没有 有效性的像素区域。通过这种方式，输出值有效区域检测单元209通过使用确定公式(公式3)，根据 构成合成图像的像素的像素值确定像素值是否被设置成有效性实际上被阻碍的像素值， 并且生成和输出图像质量退化区域检测信息145，其中确定结果被设置成像素对应有效性 fn息ο图像质量退化区域检测信息145配置有例如像素对应图像质量退化区域信息等等，其中以合成图像的像素为单位，图像质量退化区域像素=1表示满足上述公式3的像 素，并且非图像质量退化区域像素=O表示像素不满足上述公式3。(2-6)第六实施例接着，参考图18描述根据本发明第六实施例的图像处理设备的配置。图18中图解的图像处理设备是图17所图解的第五实施例的修改例子。图18所图解的图像处理设备具有参考图7描述的第一实施例的配置，和参考图 17描述的第五实施例的配置。图像合成单元201中的图像合成处理与第一实施例的处理相同。成像装置102输出图像111到114(曝光时间=Tl到T4)，并且存储图像在存储 器103中。图像处理单元104输入图像111到114(曝光时间=Tl到T4)，并且允许图 像合成单元201执行图像合成处理以生成合成图像。图18所图解的运动区域检测单元202执行参考图7描述的处理。换句话说，运 动区域检测单元202执行合成图像之间的像素值比较，生成合成图像的运动区域检测信 息143，并且输出到图像质量退化区域检测单元208。由运动区域检测单元202生成的运动区域检测信息143配置有例如像素对应运动 区域检测信息等等，其中以构成合成图像的像素为单位，运动区域像素=1和非运动区 域像素=0。另一方面，输出值有效区域检测单元209输入来自图像合成单元201的选择图像 信息。选择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成由图像 合成单元201生成的合成图像的像素。输出值有效区域检测单元209针对构成合成图像 的所有像素获得所选图像，即在存储器103中存储的合成前要合成图像(图像1到图像4) 的对应像素值，并且确定合成前图像的输出值的有效性。这个处理与由参考图17描述的第五实施例的输出值有效区域检测单元209执行 的处理相同。更具体地，例如，在构成合成图像的像素的有效位配置有10位数据并且比特值 能够取的值，即数位值在从0到1023数位的范围中的情况下，输出值有效区域检测单元 209确定范围两端处的比特值的有效性低。更具体地，例如，在构成合成图像的像素的比 特值(0到1023数位)满足下列公式3的情况下，比特值> 1000数位，或比特值< 5数位(公式3)确定像素的比特值的有效性低，使得该区域被确定为图像质量退化区域。生成 和输出确定结果被设置成像素对应有效性信息的图像质量退化区域检测信息145。图像质量退化区域检测信息145配置有例如像素对应图像质量退化区域信息等 等，其中以合成图像的像素为单位，图像质量退化区域像素=1表示满足上述公式3的像 素，并且非图像质量退化区域像素=0表示不满足上述公式3的像素。 图像质量退化区域检测单元208根据图像质量退化区域检测信息和运动区域检 测信息143，生成和输出作为最终信息的图像质量退化运动区域检测信息144。图像质量退化区域检测单元208针对所有像素只提取运动区域像素=1并且图像 质量退化区域像素=1的像素，并且将这个区域定义为图像质量退化运动区域。
换句话说，图像质量退化区域检测单元208对图像质量退化区域检测信息145和 运动区域检测信息143执行AND处理(AND逻辑计算)，以只提取在运动区域中并且在 图像质量退化区域中的像素，并且确定该像素作为图像质量退化运动区域像素。图像质 量退化区域检测单元208确定除了这些像素之外的像素作为非图像质量退化运动区域像 素，并且输出图像质量退化运动区域检测信息144，其中以像素为单位设置确定信息。从图像质量退化区域检测单元208输出的图像质量退化运动区域检测信息144配 置有例如像素对应图像质量退化运动区域检测信息等等，其中图像质量退化运动区域像 素=1并且非图像质量退化运动区域像素=0。通过这种方式，在图18所图解的第六实施例中，提供了相加上述第一和第五实 施例的结果的配置。在第六实施例中，类似于第五实施例，执行确定像素值接近于饱和像素值或零 的像素作为图像质量退化区域的处理。然而，在该实施例中，在使用合成图像之后的数 据的运动检测处理中，未被检测作为运动区域的区域未被选择作为图像质量退化运动区 域。因此，如果作为合成图像的比较对象的合成图像的对应像素值没有被用来确定 运动区域的 像素值差，则该区域被从图像质量退化运动区域中移除。因此，与第五实施 例相比较，可以避免过度图像质量退化区域的检测。在实施例中，除了具有上述日本未审专利申请公开说明书No.2008-99158的配置 的成像装置之外，可以使用普通固态成像装置，更具体地，是例如普通CCD图像传感器 或CMOS (互补金属氧化物半导体)图像传感器的固态成像装置。(2-7)第七实施例接着，参考图19和20描述根据本发明第七实施例的图像处理设备的配置。图19是与图5的特性图相同的特性图。S卩，图19是图解在从长时间曝光图像 到短时间曝光图像的范围内获得多个图像的处理的图。在图19中，水平轴是时间(t)， 并且垂直轴是光敏光电二极管(PD)中累积的电荷量(e)，其中光敏光电二极管(PD)构成 对应于固态成像装置的一个像素的光电转换单元。例如，在光敏光电二极管(PD)的感 测光量大的情况下，即，在对应于亮对象的情况下，电荷累积量随着时间推移快速地增 力口。另一方面，在光敏光电二极管(PD)的感测光量小的情况下，S卩，在对应于暗对象的 情况下，电荷累积量随着时间推移逐渐地增加。图19是考虑通过拍照运动对象来获得像素的处理的图。该解了在拍照开始 时间亮并且之后暗的情形。在图19中，由于在开始时间(时间=tx到ty)的亮情形中的 信号超过中间电压持续水平，所以出现短时间曝光的区域。然而，同时(时间=ty)，对 象运动，使得像素值变暗。在由于亮对象的运动而使得像素值变暗之后，执行短时间曝光。图19图解了短 时间曝光时间(Tl到T3)。由于这个时间段在亮对象已经运动之后，所以在这种情形下 拍照暗对象，并且光敏光电二极管(PD)的电荷的累积速度降低，使得图中图解的线的斜 率增加。接着，在经过长时间曝光时间(T4)之后，获得长时间曝光输出。在这种情况 下，由于拍照暗对象，所以斜率在时间t2之后的时间段内减小，使得可以获得像素未接 近饱和水平的长时间曝光输出。
在图像合成处理中，执行短时间曝光的输出值和长时间曝光的输出值之间的比 较。然而，在这个例子中，由于短时间曝光的输出小，所以可以选择长时间曝光的输 出。这里，存在长时间曝光的输出值可能不正确的问题。这是由于，如图19所示，在 经过长时间曝光时间(T4)之后获得的长时间曝光输出上存在接近中间电压持续水平、作 为偏移的信号。
如果偏移量被减去并且通过考虑曝光时间来执行曝光比的调整，则可以计算准 确的输出值。然而，在实际情况中，由于装置造成的中间电压的不规则性，所以难以获 得准确值。因此，存在的问题在于在这种情况下获得的合成图像尤其可能具有大量图像 质量退化。在该实施例中，公开了检测这种像素的方法。图20是图解根据实施例的图像处理设备的模块图。成像装置102和存储器103 的配置与参考图7描述的第一实施例的配置相同。图像处理单元104的图像合成单元201的处理也与参考图7描述的第一实施例的 处理相同，其中具有不同曝光时间的图像1到4被用于生成合成图像141。运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。选择图像 信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成由图像合成单元201生 成的合成图像的像素。选择信息与参考图15描述的第四实施例的选择信息相同。运动区域检测单元b 210输入图像1，111到图像4，114的输出(像素值)，其 中图像1，111到图像4，114是存储器103中存储的要合成图像，并且运动区域检测单元 b 210输入来自图像合成单元201的选择图像信息。运动区域检测单元b 210针对构成合 成图像的所有像素获得所选图像，即在存储器103中存储的合成前要合成图像(图像1到 图像4)的对应像素值，并且确定构成合成图像的像素是否满足下列条件。作为构成合成图像的像素，选择长时间曝光图像(在这种情况下，图像4(T4)， 114)。此外，满足下列公式中的任何一个。(图像1(Tl) 111的输出)> 5数位，(图像2(Τ2)112的输出)> 5数位，或(图像3(Τ3) 113的输出)> 5数位(公式4)确定满足上述条件的像素为运动区域中的像素。然而，考虑图像的有效位配置有10位数据并且比特值能够取的值，即数位值在 从0到1023数位的范围内的情况。在该确定处理中，短时间曝光图像(图像1到3)中的任何一个输出有效像素值 (例如，大于5数位)，并且此外，在长时间曝光图像(图像Τ4)被选择作为像素的合成 图像上像素的值的情况下，该像素是参考图19描述的情况中的像素。确定满足上述条件的像素为运动区域中的像素。图20所图解的运动区域检测单元b 210通过该处理生成和输出运动区域检测信 息143。运动区域检测信息143配置有例如像素对应运动区域检测信息等等，其中以构成 合成图像的像素为单位，运动区域像素=1并且非运动区域像素=0。(2-8)第八实施例接着，参考图21描述根据本发明第七实施例的图像处理设备的配置。
图21中图解的图像处理设备是图20所图解的第七实施例的修改例子。图21所图解的图像处理设备具有参考图7描述的第一实施例的配置，和参考图 20描述的第七实施例的配置。图像合成单元201中的图像合成处理与第一实施例的处理相同。成像装置102输出图像111到114(曝光时间=Tl到T4)，并且存储图像在存储 器103中。图像处理单元104输入图像111到114(曝光时间=Tl到T4)，并且允许图 像合成单元201执行图像合成处理以生成合成图像。图21所图解的运动区域检测单元202执行与参考图7描述的运动区域检测单元 202的处理相同的处理。换句话说，运动区域检测单元202执行合成图像之间的像素值比 较，以生成和输出合成图像的运动区域检测信息a 143a。由运动区域检测单元202生成的运动区域检测信息a 143a配置有例如像素对应运 动区域检测信息等等，其中以构成合成图像的像素为单位，运动区域像素=1和非运动 区域像素=0。
另一方面，图21所图解的运动区域检测单元b 210执行与参考图20描述的运动 区域检测单元b 210的处理相同的处理。换句话说，运动区域检测单元b 210输入图像1，111到图像4，114的输出(像 素值)，其中图像1，111到图像4，114是存储器103中存储的要合成图像，并且运动区 域检测单元b 210输入来自图像合成单元201的选择图像信息。运动区域检测单元b 210 针对构成合成图像的所有像素获得所选图像，即在存储器103中存储的合成前要合成图 像(图像1到图像4)的对应像素值，并且确定构成合成图像的像素是否满足下列条件。作为构成合成图像的像素，选择长时间曝光图像(在这种情况下，图像 4(T4)114)。此外，满足下列公式中的任何一个。(图像1(Tl) 111的输出)> 5数位，(图像2(Τ2)112的输出)> 5数位，或(图像3(Τ3) 113的输出)> 5数位(公式4)确定满足上述条件的像素为运动区域中的像素。然而，考虑图像的有效位配置有10位数据并且比特值能够取的值，即数位值在 从0到1023数位的范围内的情况。图21所图解的运动区域检测单元b 210通过该处理生成和输出运动区域检测信 息b 143b。运动区域检测信息b 143b配置有例如像素对应运动区域检测信息等等，其中 以构成合成图像的像素为单位，运动区域像素=1并且非运动区域像素=0。检测结果集成单元211执行集成运动区域检测信息a 143a和运动区域检测信息b 143b的处理。更具体地，在运动区域检测信息a 143a中检测的运动区域和在运动区域检测信 息b 143b中检测的运动区域被确定为最终运动区域。换句话说，检测结果集成单元211对运动区域检测信息a 143a和运动区域检测 信息b 143b执行AND处理(AND逻辑计算)，以只提取针对两个运动区域检测信息被确 定为在运动区域中的像素，并且确定这些像素作为最终运动区域像素。检测结果集成单元211确定除了这些像素之外的像素作为非运动区域像素，并且输出运动区域检测信息c 143c,其中以像素为单位设置确定信息。运动区域检测信息c 143c也配置有例如像素对应运动区域检测信息等等，其中 以构成合成图像的像素为单位，运动区域像素=1并且非运动区域像素=0。在第八实施例中，类似于第七实施例，参考具有上面参考图19描述的每个曝光 时间的图像的像素值执行运动区域确定处理。然而，在实施例中，在使用图像合成之后 的数据的运动 检测处理中，未被检测为运动区域的区域不被选择作为图像质量退化运动 区域。因此，如果作为合成图像的比较对象的合成图像的对应像素值没有被用来确定 运动区域的像素值差，则该区域被从运动区域中移除。因此，与第七实施例相比较，可 以避免运动区域的过度检测。(2-9)第九实施例第一和第二实施例不可被配置在一起，但是第三到第八实施例可以根据用途组
I=I O图22是图解作为上述第一、第三、第四、第六和第八实施例的组合的实施例的 图。此外，图23是图解作为上述第一、第三、第四、第五和第七实施例的组合的实施例 的图。图22所图解的图像处理设备的配置包含执行下列处理的配置。运动区域检测单元202通过合成图像之间的像素值比较来执行运动区域的检测 (第一实施例(参考图7))。合成前图像比较单元205在合成前要合成图像的像素处对亮度等于或大于预定 阈值亮度水平(图12的Th2)的像素执行像素值比较。即，每一图像具有不同曝光时间 Tl到T4(T1 < Τ2 < Τ3 < Τ4)。在长时间曝光图像的输出值和短时间曝光图像的输出值 之间的差值小于预定阈值的情况下，过检测移除单元206确定该区域不是运动区域，并 且执行取消运动区域的确定的过检测移除处理(第三实施例(参考图13))。此外，作为过检测移除的结果，输出运动区域检测信息143。运动区域检测信息 143配置有例如像素对应运动区域检测信息等等，其中以合成图像的像素为单位，运动区 域像素=1并且非运动区域像素=0。选择图像比较单元207输入来自图像合成单元201的选择图像信息。选择图像信 息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201中的 图像合成处理生成的合成图像的像素。选择图像比较单元207执行将从其它图像中选择 的相邻像素设置为图像质量退化区域检测对象的处理(第四实施例(参考图14和15))。输出值有效区域检测单元209输入来自图像合成单元201的选择图像信息。选 择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单 元201生成的合成图像的像素。输出值有效区域检测单元209针对构成合成图像的所有 像素获得所选图像，即在存储器103中存储的合成前要合成图像(图像1到图像4)的对 应像素值，并且确定合成前图像的输出值的有效性。更具体地，例如，在构成合成图像的像素的比特值(0到1023数位)满足下列公 式3的情况下，
比特值> 1000数位，或比特值<5数位(公式3)确定像素的比特值的有效性低，使得该区域被确定为图像质量退化区域(第六 实施例(参考图18))。运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。选择图像 信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201 生成的合成图像的像素。此外，运动区域检测单元b 210针对构成合成图像的所有像素获 得所选图像，即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素 值，并且确定构成合成图像的像素是否满足下列条件。(图像1(Tl) 111的输出)> 5数位，(图像2(T2)112的输出)> 5数位，或(图像3(Τ3) 113的输出)> 5数位(公式4) 确定满足上述条件的像素为运动区域中的像素。然而，考虑图像的有效位配置有10位数据并且比特值能够取的值，即数位值在 从0到1023数位的范围内的情况(第八实施例(参考图19和21))。图像质量退化区域检测单元208输入图像质量退化区域确定信息，例如(a)由选 择图像比较单元207生成的图像质量退化区域确定信息(根据像素是否具有从其它图像中 选择的相邻像素的像素而生成的图像质量退化区域确定信息)，(b)由输出值有效区域检 测单元209生成的图像质量退化区域确定信息(根据合成图像的比特值是否接近于零或饱 和值生成的图像质量退化区域确定信息)，和(C)由运动区域检测单元b 210生成的图像 质量退化区域确定信息(图像质量退化区域确定信息与长时间曝光图像的输出的设置像 素相关联，并且根据短时间曝光图像中的任何一个是否具有有效像素值的像素来生成)。图像质量退化区域检测单元208最终将这样的区域确定为图像质量退化区域 在上述(a)到(c)的图像质量退化区域确定信息的任何一个中，该区域被确定为图像质量 退化区域。此外，图像质量退化区域检测单元208生成和输出图像质量退化运动区域检测 信息144，其中，这样的区域被设置成图像质量退化区域该区域是在从过检测移除单 元206输入的运动区域检测信息143中被确定为运动区域的像素区域，并且在上述(a)到 (C)的图像质量退化区域确定信息的任何一个中被确定为图像质量退化区域，并且其交叠 区域被设置成图像质量退化运动区域。从图像质量退化区域检测单元208输出的图像质量退化运动区域检测信息144配 置有例如像素对应图像质量退化运动区域检测信息等等，其中图像质量退化运动区域像 素=1并且非图像质量退化运动区域像素=0。此外，图23是图解作为第一、第三、第四、第五和第七实施例的组合的实施例 的图。图23所图解的图像处理设备的配置包含执行下列处理的配置。运动区域检测单元202通过合成图像之间的像素值比较执行运动区域的检测(第 一实施例(参考图7))。合成前图像比较单元205在合成前要合成图像的像素处对亮度等于或大于预定阈值亮度水平(图12的Th2)的像素执行像素值比较。即，每一图像具有不同曝光时间 Tl到T4(T1 < Τ2 < Τ3 < Τ4)。在长时间曝光图像的输出值和短时间曝光图像的输出值 之间的差值小于预定阈值的情况下，过检测移除单元206确定该区域不是运动区域，并 且执行取消运动区域的确定的过检测移除处理(第三实施例(参考图13))。 此外，作为过检测移除的结果，输出运动区域检测信息143。运动区域检测信息 143配置有例如像素对应运动区域检测信息等等，其中以合成图像的像素为单位，运动区 域像素=1并且非运动区域像素=0。选择图像比较单元207输入来自图像合成单元201的选择图像信息。选择图像信 息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201中的 图像合成处理生成的合成图像的像素。选择图像比较单元207执行将从其它图像中选择 的相邻像素设置为图像质量退化区域检测对象的处理(第四实施例(参考图14和15))。输出值有效区域检测单元209输入来自图像合成单元201的选择图像信息。选 择图像信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单 元201生成的合成图像的像素。输出值有效区域检测单元209针对构成合成图像的所有 像素获得所选图像，即在存储器103中存储的合成前要合成图像(图像1到图像4)的对 应像素值，并且确定合成前图像的输出值的有效性。更具体地，例如，在构成合成图像的像素的比特值(0到1023数位)满足下列公 式3的情况下，比特值> 1000数位，或比特值< 5数位(公式3)确定像素的比特值的有效性低，使得该区域被确定为图像质量退化区域(第五 实施例(参考图17))。运动区域检测单元b 210输入来自图像合成单元201的选择图像信息。选择图像 信息表示从要合成图像(图像1到图像4)的哪些像素中选择构成通过图像合成单元201 生成的合成图像的像素。此外，运动区域检测单元b 210针对构成合成图像的所有像素获 得所选图像，即在存储器103中存储的合成前要合成图像(图像1到图像4)的对应像素 值，并且确定构成合成图像的像素是否满足下列条件。(图像1(Tl) 111的输出)> 5数位，(图像2(T2)112的输出)> 5数位，或(图像3(Τ3) 113的输出)> 5数位(公式4)确定满足上述条件的像素为运动区域中的像素。然而，考虑图像的有效位配置有10位数据并且比特值能够取的值，即数位值在 从0到1023数位的范围内的情况(第七实施例(参考图19和20))。图像质量退化区域检测单元208输入由选择图像比较单元207生成的图像质量退 化区域确定信息(图像质量退化区域确定信息表示像素是否具有从其它图像中选择的相 邻像素)。此外，图像质量退化区域检测单元208将图像质量退化运动区域检测信息输出 到检测结果集成单元211，其中这样的区域被设置成图像质量退化区域该区域是在从 过检测移除单元206输入的运动区域检测信息143中被确定为运动区域的像素区域，并且在图像质量退化区域确定信息中被确定为图像质量退化区域。检测结果集成单元211输入图像质量退化运动区域检测信息，例如(a)由图像质 量退化区域检测单元208生成的图像质量退化运动区域检测信息，(b)由输出值有效区域 检测单元209生成的图像质量退化区域确定信息(根据合成图像的比特值是否接近于零或 饱和值而生成的图像质量退化区域确定信息)，和(C)由运动区域检测单元b 210生成的 图像质量退化区域确定信息(图像质量退化区域确定信息指示是长时间曝光图像的输出 的设置像素，还是短时间曝光图像的任何一个中具有有效像素值的像素)。检测结果集成单元211最终确定这样的区域作为图像质量退化运动区域该区 域在上述(a)的图像质量退化运动区域检测信息和(b)和(c)的图像质量退化区域确定信 息的任何一个中被确定为图像质量退化运动区域或图像质量退化区域，并且输出具有上 述信息的图像质量退化运动区域检测信息144。从检测结果集成单元211输出的图像质量退化运动区域检测信息144配置有例如 像素对应图像质量退化运动区域检测信息等等，其中图像质量退化运动区域像素=1并 且非图像质量退化运动区域像素=0。(2-10)第十实施例 当由于系统的某个限制而不能获得先前合成图像时，不能使用上述第一到第九 实施例。作为非常适于这种情况的运动对象检测机构的实施例，图24中图解了第十实施 例。在该实施例中，通过比较具有曝光时间Tl到T4(T1 < Τ2 < Τ3 < Τ4)的四个图 像的信号水平来检测运动对象。成像装置102输出图像111到114(曝光时间=Tl到Τ4)，并且将图像存储在存 储器103中。相关检测单元a，301，相关检测单元b，302和相关检测单元c，303分别输入图 像1 (曝光时间Tl) 111和图像2 (曝光时间T2) 112，图像2 (曝光时间T2) 112和图像3 (曝 光时间T3) 113，和图像3 (曝光时间T3) 113和图像4 (曝光时间T4) 114，并且通过使用图 25中图解的长时间曝光图像和短时间曝光图像之间的相关关系作为参考，比较像素值。在像素值比较中，相关检测单元301到303考虑固态成像装置的噪声或光的拍摄 噪声的影响，使得如果对象的像素值相对参考直线超出某个程度的允许量，则确定该对 象为运动对象。该实施例在中间电压的变化相对较小的情况下有效。在长时间曝光图像(LE)和短时间曝光图像(SE)之间的曝光时间比被设置成曝 光比ACLE/SE)的情况下，图25中图解的长时间曝光图像和短时间曝光图像之间的相关 关系是这样的相关关系数据其中针对三个分区区域定义有不同的斜率，这三个分区区 域包含具有相关关系直线的低输出区域，其中区域1=(短时间曝光图像的输出)不能被 获得，具有相关关系直线的中等输出区域，其中区域2 =(大于曝光比ACLE/SE)的斜 率)，和高输出区域，其根据区域3 =(曝光比ACLE/SE))确定。图25中图解的相关关系与参考图12描述的相关关系相同。图25中图解的相关关系是根据作为比较对象、具有不同曝光时间的图像的输出 值的相关生成的相关信息。这里，根据作为比较对象的图像设置每个阈值Thl和Th2，并且可能需要预先准备。在根据图24中图解的实施例的图像处理设备中，相关检测单元a，301输入图像 1 (曝光时间Tl) 111和图像2 (曝光时间T2) 112，并且通过使用图25中图解的长时间曝光 图像和短时间曝光图像之间的相关关系作为参考，比较对应像素值。在像素值比较的结果位于图25中图解的直线上的情况下，或在与直线的差在预 定阈值内的情况下，确定该区域不是运动区域。类似地，相关检测单元b，302也输入图像2 (曝光时间T2) 112和图像3 (曝光时 间T3) 113，并且通过使用图25中图解的长时间曝光图像和短时间曝光图像之间的相关关 系作为参考，比较对应像素值。在像素值比较的结果位于图25中图解的直线上的情况下，或在与直线的差在预 定阈值内的情况下，确定该区域不是运动区域。类似地，相关检测单元C，303也输入图像3 (曝光时间T3) 113和图像4 (曝光时 间T4)114，并且通过使用图25中图解的相关关系作为参考，比较对应像素值。在像素值比较的结果位于图25中图解的直线上的情况下，或在与直线的差在预 定阈值内 的情况下，确定该区域不是运动区域。通过这种方式，根据该实施例的图像处理单元104的相关检测单元利用根据根 据曝光时间、根据成像装置的特性的相关关系信息，执行具有不同时间的图像的对应像 素之间的像素值比较。如果该差值是预定阈值或更大，则该区域被设置成运动区域。检测结果集成单元310输入相关检测单元301到303的检测结果，并且针对检测 结果中的任何一个，执行确定被确定为运动区域的像素区域是最终运动区域的处理。检 测结果集成单元310输出包含上述信息的运动区域检测信息143。从检测结果集成单元310输出的运动区域检测信息143配置有例如像素对应运动 区域检测信息等等，其中运动区域像素=1并且非运动区域像素=0。该实施例的配置也可以被修改为这样的配置生成合成图像的处理是不必要 的，并且不执行合成图像的生成。此外，该实施例的配置也可以被修改为这样的配置 在合成图像开始前，通过图24中图解的处理确定运动区域，并且通过使用确定的结果， 对运动区域执行校正等等之前，生成合成图像。在这之前，描述了多个实施例(第一到第十实施例)。根据第一到第三实施例，例如，在使用具有上述日本未审专利申请公开说明书 Νο.2008-99158中公开的配置的成像装置的情况下，可以有效地检测运动对象区域。第一实施例具有最简单的配置。尽管第二实施例使用比第一实施例的速度更高 的的速度，但可以获得更加改进的检测。尽管第三实施例具有更复杂的配置，但可以以 与第一实施例的处理速度相同的处理速度获得改进。在根据第四到第八实施例的结构中，可以检测非常大量的图像质量退化。在第九实施例中，尽管复杂的处理导致电路尺寸的增加，但可以高性能地执行 检测。在第十实施例中，即使在不可获得先前合成图像的情况下，仍可以相对好地检 测运动对象区域。在这之前，参考具体实施例详细地描述了本发明。然而，本领域普通技术人员能够想到不偏离本发明的实质的范围内的修改或替换。换句话说，由于以示例方式描述了本发明，所以不应以限制性方式来分析。在确定本发明的实质时，要考虑权利要求 书。此外，说明书中描述的一系列处理可以以硬件方式、以软件方式或以其结合的 方式实现。在以软件方式实现处理的情况下，记录处理序列的程序可以被安装在被装配 成专用硬件的计算机的存储器中以被执行。此外，程序可以被安装在可以执行各种处理 的通用计算机中以被执行。例如，程序可以被预先记录在记录介质中。除了从记录介质 到计算机的安装之外，程序可以通过例如LAN(局域网)和因特网的网络被接收，并且被 安装在例如内置硬盘的记录介质中。此外，说明书中公开的各种处理可以按根据该公开的时序执行。此外，处理可 以根据执行处理的装置的处理性能或根据必要性并行或单独执行。此外，在该说明书 中，系统表示多个装置的逻辑集成结构，并且该结构的每个装置不局限于被包含在同一 外壳内。本申请包含涉及2009年9月18日提交日本专利局的日本优先权专利申请JP 2009-216529和2009年12月18日提交的JP 2009-288018中的公开的主题，这里参考合 并了所述专利申请的全部内容。本领域的技术人员应当理解，根据设计要求和其它因素，可以进行各种修改、 合成、子合成和变化，只要它们在所附权利要求书或其等同表述的范围内。
权利要求
1.一种图像处理设备，包括图像合成单元，其通过合成具有不同曝光时间的所拍照图像来产生合成图像；和运动区域检测单元，其对由图像合成单元生成的多个合成图像执行比较处理以获得 像素值差，并且执行运动区域检测处理，该处理比较像素值差和预定阈值，并且确定像 素值差等于或大于阈值的像素区域是对象的运动被估计为已经发生的运动区域。
2.如权利要求1所述的图像处理设备，其中，图像合成单元被配置为每当具有不同曝光时间的一个所拍照图像被输入时， 通过合成新输入图像和具有不同曝光时间的输入完成的所拍照图像，来生成所述合成图 像，禾口其中运动区域检测单元通过比较由图像合成单元生成的两个连续的合成图像的对应 像素的像素值，来执行运动区域检测处理。
3.如权利要求1或2所述的图像处理设备，其中，该图像处理设备包含合成前图像比较单元，其通过在要合成图像之间比较对应像素的输出值来获得要合 成图像之间的像素值差，其中要合成图像是用于合成图像的生成的来源；和过检测移除单元，其比较要合成图像之间的像素值差和预定第二阈值，并且针对由 运动区域检测单元检测的运动区域的对应像素，确定要合成图像之间的像素值差小于第 二阈值的像素区域不是运动区域。
4.如权利要求1或2所述的图像处理设备，其中图像处理设备包含图像质量退化区域检测单元，其通过使用要合成图像的像素 对应选择信息，确定这样的像素区域作为图像质量退化区域在所述像素区域中，具有 不同曝光时间的所拍照图像的像素被设置成合成图像上的相邻像素，其中要合成图像是 用于合成图像的生成的来源，并且图像质量退化区域检测单元输出图像质量退化运动区 域检测信息，其中作为由运动区域检测单元检测的运动区域并且作为图像质量退化区域 的像素区域被提取为图像质量退化运动区域。
5.如权利要求1或2所述的图像处理设备，其中，该图像处理设备包含输出值有效区域检测单元，其通过使用关于要合成图像的像素对应选择信息，针对 合成图像的像素获得要合成图像的像素值，其中要合成图像是用于合成图像的生成的来 源，并且输出值有效区域检测单元在要合成图像的像素值在零或饱和值附近的情况下， 确定所述像素区域具有低有效性的输出值；和图像质量退化区域检测单元，其确定由输出值有效区域检测单元检测的具有低有效 性的输出值的像素区域为具有高可能性的图像质量退化的图像质量退化区域，并且图像 质量退化区域检测单元输出图像质量退化运动区域检测信息，所述图像质量退化运动区 域检测信息指示作为由运动区域检测单元检测的运动区域并且作为图像质量退化区域的 所述像素区域被提取为图像质量退化运动区域。
6.如权利要求1或2所述的图像处理设备，其中，该图像处理设备包含第二运动区域检测单元，其通过使用作为用于合成图像的生成的来源的要合成图像的像素对应选择信息，确定所述像素处于运动区域中，其中所述像素是作为用于合成图 像的像素的长时间曝光图像的像素，并且具有有效像素值，使得对应于所述像素的短时 间曝光图像的像素的值不在零附近；和检测结果集成单元，其输出运动区域检测信息，其中被运动区域检测单元确定为运 动区域并且被第二运动区域检测单元确定为运动区域的区域被设置成最终运动区域。
7.—种图像处理设备，包括图像合成单元，其通过合成具有不同曝光时间的所拍照图像来产生合成的图像；和输出值有效区域检测单元，其通过使用关于要合成图像的像素对应选择信息，针对 合成图像的像素获得要合成图像的像素值，其中要合成图像是用于合成图像的生成的来 源，在要合成图像的像素值在零或饱和值附近的情况下确定所述像素区域具有低有效性 的输出值，并且输出图像质量退化区域检测信息，其中所述区域被清楚地指示为具有高 可能性的图像质量退化的图像质量退化区域。
8.—种图像处理设备，包括图像合成单元，其通过合成具有不同曝光时间的所拍照图像来产生合成图像；和运动区域检测单元，其通过使用关于作为用于合成图像的生成的来源的要合成图像 的像素对应选择信息，确定像素处于运动区域中，其中所述像素是长时间曝光图像的像 素并且具有有效像素值，使得对应于所述像素的短时间曝光图像的像素值不在零附近， 并且输出清楚地指示所述运动区域的运动区域检测信息。
9.一种图像处理设备，包括检测单元，其计算具有不同曝光时间的所拍照图像的对应像素的像素值差和预定相 关信息之间的差，并且在该差大于预定阈值的情况下，确定存在运动区域。
10.如权利要求9所述的图像处理设备，其中根据作为比较对象的具有不同曝光时间的图像的输出值的相关，生成相关信息。
11.一种具有图像处理设备的成像设备，其中，该图像处理设备还包含成像装置，其捕捉具有不同曝光时间的所拍照图像；和图像处理单元，其执行根据权利要求1至10中任何一个权利要求所述的图像处理。
12.—种在图像处理设备中执行的图像处理方法，包括步骤允许图像合成单元通过合成具有不同曝光时间的所拍照图像来生成合成图像；和允许运动区域检测单元对由图像合成单元生成的多个合成图像执行比较处理，以获 得像素值差，并且执行运动区域检测处理，所述运动区域检测处理比较所述像素值差和 预定阈值，并且确定所述像素值差等于或大于所述阈值的像素区域为对象的运动被估计 为已经发生的运动区域。
13.—种允许图像处理设备执行成像处理的程序，所述成像处理包括步骤允许图像合成单元通过合成具有不同曝光时间的所拍照图像来产生合成图像；和允许运动区域检测单元对由图像合成单元产生的多个合成图像执行比较处理，以获 得像素值差，并且执行运动区域检测处理，所述运动区域检测处理比较所述像素值差和 预定阈值，并且确定所述像素值差等于或大于所述阈值的像素区域为对象的运动被估计为已经发生的运动区域。
全文摘要
提供一种图像处理设备、图像捕捉设备、图像处理方法和程序。图像处理设备包含图像合成单元，其通过合成具有不同曝光时间的所拍照图像来产生合成图像；和运动区域检测单元，其对由图像合成单元产生的多个合成图像执行比较处理以获得像素值差，并且执行运动区域检测处理，该处理比较像素值差和预定阈值，并且确定像素值差等于或大于阈值的像素区域是对象的运动被估计为已经发生的运动区域。
文档编号H04N5/235GK102025917SQ20101028067
公开日2011年4月20日 申请日期2010年9月10日 优先权日2009年9月18日
发明者海津俊, 竹内悟, 笠井政范 申请人:索尼公司