专利名称：图像处理装置及摄像装置的制作方法
技术领域：
本发明涉及一种对图像进行图像处理的图像处理装置以及数码照相机或数码摄
像机等摄像装置。
背景技术：
近年来，广泛开发了抑制由于手抖动或被摄体抖动而产生的图像模糊的技术。这 种技术中，也有用光学方法进行抖动修正的技术，但是为了用光学方法进行抖动修正，需要 具备检测抖动的传感器以及光学上进行抖动修正的机构。这些传感器以及机构的搭载在成 本和装置的小型化方面具有不利影响。因此，也提出了各种各样通过摄影后的图像处理对 模糊进行修正的技术。 例如，在某种以往方法中，通过曝光时间(e邓osure time)短的曝光拍摄出分辨率
高但噪声多的第一图像，并且通过曝光时间(e邓osure time)长的曝光拍摄出分辨率低但
噪声少的第二图像。而且，基于第一和第二图像的图像数据检测两图像间的位置偏差，进行
用于消除该位置偏差的对位之后，通过合成第一和第二图像来生成修正图像。 此时，判断第一和第二图像间的差分大的图像区域为边缘区域，使针对该图像区
域的第一图像的合成比率较高，相反，判断该差分小的图像区域为非边缘区域，使针对该图
像区域的第二图像的合成比率较高。由此，实现了生成模糊以及噪声少的图像。 但是，在基于第一和第二图像间的差分的边缘区域判定中，由于除了真正的边缘
之外，也会将噪声判断成边缘，因此第一图像的大部分噪声混入修正图像中的可能性会变
高。尽可能抑制这种第一图像的噪声混入的技术很重要。 另外，进行上述对位时，如图24所示，通常，不会使第一图像的全图像区域900的 位置与第二图像的全图像区域901的位置完全一致，会产生全图像区域900与全图像区域 901之间重叠的区域902(对应于图24的斜线区域)和两者不重叠的区域903(对应于图 24的画点区域)。此时，通过根据第一和第二图像的重叠区域902内的图像数据生成修正 图像的重叠区域902内的图像911，而根据第一图像的非重叠区域903内的图像数据生成修 正图像的非重叠区域903内的图像912，并贴合(结合)生成的图像911和912，能够使修 正图像的视角(视野)与第一图像的视角一致。 但是，此时，由于通过不同的方法生成修正图像的重叠区域内的图像与非重叠区 域内的图像，因此不进行任何措施时存在修正图像的贴合边界很明显的隐患(存在重叠区 域与非重叠区域之间的噪声等级差明显的隐患)。
发明内容
本发明的第一图像处理装置，对通过摄影获得的第一图像、通过曝光时间比所述
4第一图像的曝光时间长的摄影获得的第二图像、通过降低所述第一图像的噪声获得的第三
图像进行合成来生成输出图像，其特征在于，具备噪声降低处理控制部，其根据所述第一图
像的噪声等级来控制用于从所述第一图像获得所述第三图像的图像处理的内容。 具体而言，例如，上述第一图像处理装置具备用于降低所述第一图像的噪声的互
不相同的多个噪声降低部，所述噪声降低处理控制部从所述多个噪声去除部之中选择与所
述第一图像的噪声等级相应的噪声去除部，并且通过由所选择的噪声去除部降低所述第一
图像的噪声来生成所述第三图像。 或者，例如，在上述第一图像处理装置中，通过对所述第一图像应用一次以上的规 定的噪声降低处理来生成所述第三图像，所述噪声降低处理控制部根据所述第一图像的噪 声等级来改变对所述第一图像应用的所述噪声降低处理的次数。 另外，例如，上述第一图像处理装置还具备对位部，其进行所述第一和第二图像 的对位；第一合成部，其以对应于所述第三图像与对位后的第二图像之差的合成比率来合 成所述第三图像与对位后的第二图像，从而生成第四图像；和第二合成部，其以对应于所述 第一或第三图像所包含的边缘的强度的合成比率来合成所述第一图像与所述第四图像，从 而生成所述输出图像。 本发明的第二图像处理装置的特征在于，具备对位部，其对通过摄影获得的第一 图像和通过曝光时间比所述第一图像的曝光时间长的摄影获得的第二图像进行对位；噪声 降低部，其对对位后的所述第一和第二图像的图像区域间的重叠区域和非重叠区域进行确 定，并且通过对所述第一图像的重叠区域内的图像执行第一噪声降低处理来生成第一噪声 降低图像，而通过对所述第一图像的非重叠区域内的图像执行与所述第一噪声降低处理不 同的第二噪声降低处理来生成第二噪声降低图像；和结合部，其将合成所述第一和第二图 像的重叠区域内的图像与所述第一噪声降低图像而获得的合成图像，与所述第二噪声降低 图像结合，从而生成输出图像。 本发明的第三图像处理装置，根据通过摄影获得的第一图像和通过曝光时间比所 述第一图像的曝光时间长的摄影获得的第二图像，生成降低了所述第一图像的噪声后的第 三图像和作为所述第二与第三图像的合成图像的第四图像，并通过合成所述第一和第四图 像来生成输出图像，其特征在于，具备合成比率调整部，其根据所述第一 图像的噪声等级， 来调整作为合成所述第二和第三图像时的合成比率的第一合成比率、和作为合成所述第一 和第四图像时的合成比率的第二合成比率之中的至少一方。 更具体而言，例如，在上述第三图像处理装置中，所述第一合成比率通过将所述第 二图像与所述第三图像之差应用到规定的第一变换条件中而被导出，并且，所述第二合成 比率通过将所述第一图像或第三图像所包含的边缘的强度应用到规定的第二变换条件中 而被导出，所述合成比率调整部通过根据所述第一图像的噪声等级调整所述第一和第二变 换条件之中的至少一方，从而根据所述第一图像的噪声等级调整所述第一和第二合成比率 之中的至少一方。 本发明的摄像装置具备通过摄影获取图像的摄像部和上述的任一个图像处理装 置。而且，所述第一和第二图像由所述摄像部获取。 本发明的意义和效果会通过以下所示的实施方式的说明而变得更加明确。但是， 以下的实施方式始终是本发明的一个实施方式，本发明和各构成要件的用语的意义不仅限于以下实施方式所记载的内容。
图1是本发明的一实施方式所涉及的摄像装置的整体模块图。图2是图1的摄像 部的内部结构图。图3(a)和(b)分别是表示图1的摄像装置所拍摄的短曝光图像与适当 曝光图像的例子的图。图4是表示空间区域的二维坐标系与二维图像的图。图5是本发明 的第一实施例所涉及的图像修正部的内部模块图。图6(a)和(b)是用于说明短曝光图像 与适当曝光图像之间的块匹配的图。图7是表示通过降低图3(a)的短曝光图像的噪声而 获得的第二中间生成图像的图。图8是表示对位后的适当曝光图像(第一中间生成图像) 与噪声降低处理后的短曝光图像(第二中间生成图像)之间的差分图像的图。图9是表示 由图5的差分值计算部获得的差分值与第一和第二中间生成图像的像素信号的混合率之 间的关系的图。图IO是表示通过将对位后的适当曝光图像(第一中间生成图像)与噪声 降低处理后的短曝光图像(第二中间生成图像)合成而获得的第三中间生成图像的图。图 ll是表示通过对噪声降低处理后的短曝光图像(第二中间生成图像)进行边缘提取处理而 获得的边缘图像的图。图12是表示由图5的边缘强度值计算部获得的边缘强度值与短曝 光图像和第三中间生成图像的像素信号的混合率之间的关系的图。图13是表示通过合成 短曝光图像与第三中间生成图像而获得的目标修正图像的图。图14是表示对位后的短曝 光图像的图像区域与适当曝光图像的图像区域的位置关系的图。图15是本发明的第2实 施例所涉及的图像修正部的内部模块图。图16是表示本发明的第2实施例所涉及的第二 中间生成图像的生成动作的流程的流程图。图17(a)是表示搜索适当曝光图像内的平坦区 域的情况的图，图17(b)是表示适当曝光图像和短曝光图像内的平坦区域的图。图18(a) 和(b)分别是表示具有3X3滤波器尺寸的空间滤波器和具有5X5滤波器尺寸的空间滤波 器的图。图19是表示本发明的第3实施例所涉及的第二中间生成图像的生成动作的流程 的流程图。图20是本发明的第4实施例所涉及的图像修正部的内部模块图。图21是表示 针对对位后的短曝光图像和适当曝光图像定义重叠区域和非重叠区域的情况、提取适当曝 光图像的重叠区域以及短曝光图像的重叠区域和非重叠区域的情况的图。图22是表示贴 合结合本发明的第4实施例所涉及的两个图像的情况的图。图23是本发明的第5实施例 所涉及的图像修正部的内部模块图。图24是表示现有技术中对位后的第一图像的图像区 域与第二图像的图像区域的位置关系、根据对位后的第一图像和第二图像生成修正图像的 情况的图。
具体实施例方式
下面，参照附图具体说明本发明的一实施方式。在所参照的各图中，对相同部分赋 予相同符号，原则上省略关于相同部分的重复说明。下面将说明第1 第5实施例，首先， 说明在各实施例中共同的内容或在各实施例中参照的内容。 图1是本发明的一实施方式所涉及的摄像装置1的整体模块图。摄像装置1是能 够摄影和记录静止图像的数码照相机或者是能够摄影和记录静止图像和运动图像的数码 摄像机。另外，摄影与摄像意思相同。摄像装置l具备摄像部11、AFE (Analog Front End) 12、主控制部13、内部存储器14、显示部15、记录介质16、操作部17。主控制部13中具有图像修正部20。操作部17中 具有快门按钮17a。另外，在本实施方式中，假设显示部15被设置在摄像装置1中，但是也 可以是在摄像装置1的外部设置显示部15的显示装置。 图2表示摄像部11的内部结构图。摄像部11具有光学系统35、光圈32、 CCD(Charge Coupled Devices)或CMOS (Complementary MetalOxide Semiconductor)图像 传感器等构成的摄像元件33、用于驱动控制光学系统35或光圈32的驱动器34。光学系统 35由包括变焦透镜30和聚焦透镜31的多块透镜形成。变焦透镜30和聚焦透镜31能够 在光轴方向上移动。驱动器34基于从主控制部13输出的驱动控制信号来驱动控制变焦透 镜30和聚焦透镜31的各位置以及光圈32的开度，从而控制摄像部11的焦距(视角)和 焦点位置以及向摄像元件33的入射光量。 摄像元件33对通过光学系统35和光圈32入射的表示被摄体的光学像进行光电 变换，并向AFE12输出通过该光电变换获得的电信号。更具体而言，摄像元件33具备矩阵 状二维排列的多个受光像素，各受光像素蓄积与曝光时间(即曝光时间的长度)相应的电 荷量的信号电荷。具有与蓄积的信号电荷的电荷量成比例的大小的来自各受光像素的模拟 信号，随着摄像装置l内生成的驱动脉冲而依次被输出到AFE12。以下说明的"曝光"是指 摄像元件33的曝光。 AFE12放大从摄像部11(摄像元件33)输出的模拟信号，并将放大后的模拟信号变 换为数字信号。AFE12依次向主控制部13输出该数字信号。 主控制部13具备CPU (Central Processing Unit) 、 ROM (Read 0nlyMemory)以及 RAM(Random Access Memory)等，作为影像信号处理部而起作用。主控制部13基于AFE12 的输出信号，生成表示由摄像部ll摄影的图像(以下，称作"摄影图像")的影像信号。另 外，主控制部13还具备作为控制显示部15的显示内容的显示控制单元的功能，对显示部15 进行显示中必要的控制。另外，主控制部13向摄像部11输出用于控制摄像单元33的曝光 时间的曝光时间控制信号。对主控制部13具备的图像修正部20的功能将在后面叙述。
内部存储器14由SDRAM (Synchronous Dynamic Random AccessMemory)等形成， 暂时存储摄像装置1内生成的各种数据。显示部15是由液晶显示屏等构成的显示装置，在 主控制部13的控制下显示摄影的图像或记录在记录介质16中的图像等。记录介质16是 SD(Secure Digital)存储卡等非易失性存储器，在主控制部13的控制下存储摄影图像等。
操作部17接受来自外部的操作。对操作部17的操作内容被传递给主控制部13。 快门按钮17a是用于指示图像的摄影和记录的按钮。 快门按钮17a形成为能够进行两阶段的下按操作。摄影者轻轻按快门按钮17a时， 快门按钮17a处于半按状态，从该状态进一步按快门按钮17a时，快门按钮17a处于全按状 态。 摄影图像中会包含由于手抖动引起的模糊。图像修正部20具备下述功能，即不 进行光学方式的手抖动修正，而是通过利用了由摄像部11的输出信号所表示的图像数据 的图像处理来生成模糊少的图像的功能。下面，特别将应由图像修正部20生成的模糊少的 图像称作"目标修正图像"。 目标修正图像基于适当曝光图像和短曝光图像而生成。适当曝光图像指通过根据 适当曝光时间T。P的曝光的摄影而从摄像元件33获得的图像，短曝光图像指通过根据比适
7当曝光时间T。P短的曝光时间TSH的曝光的摄影从摄像元件33获得的图像。
调整获取短曝光图像时的灵敏度，使得摄影图像的明亮度在短曝光图像和适当曝光图像之间为相同程度。即，基于适当曝光时间T。p与曝光时间T^之比，使获取短曝光图像时的灵敏度比获取适当曝光图像时的灵敏度大，从而使摄影图像的明亮度在短曝光图像和适当曝光图像间为相同程度。灵敏度例如是ISO灵敏度。ISO灵敏度是指由ISO(InternationalOrganization for Standardization)规定的灵敏度，通过调节ISO灵敏度，能够调节摄影图像的明亮度(亮度级)。实际上，根据IS0灵敏度决定AFE12中的信号放大的放大率。该放大率与ISO灵敏度成比例。若ISO灵敏度变成两倍，则该放大率也变成两倍，由此，摄影图像的各像素的亮度值(即，明亮度)也变成两倍(其中，忽略放大中的饱和)。某一像素的亮度值是指该像素的亮度信号的值。 由于短曝光图像通过比较短的曝光时间摄影而得到，因此短曝光图像中包含的由于手抖动而引起的模糊和由于被摄体抖动而引起的模糊比较少。因此，在短曝光图像中会清晰地描绘边缘。但是，由于摄影时的灵敏度高，因此短曝光图像中包含的噪声比较多。
相对于此，适当曝光图像通过比较长的曝光时间摄影而得到，因此适当曝光图像中包含的噪声比较少。但是，由于曝光时间长，因此易在适当曝光图像中包含由于手抖动和被摄体抖动而引起的模糊。 图3(a)和(b)表示短曝光图像与适当曝光图像的例子。图3(a)和(b)中的图像310和311分别是短曝光图像与适当曝光图像的例子。通过对作为关注被摄体的人物SUB站在作为背景被摄体的山前的状态进行摄影而获得短曝光图像310与适当曝光图像311。
与适当曝光图像311相比，在短曝光图像310中，虽然清晰地描绘了边缘，但是混入了比较大的噪声(对应于图3(a)的黑色斑点)。另一方面，与短曝光图像310相比，虽然适当曝光图像311所包含的噪声少，但是在适当曝光图像311上人物SUB非常模糊。另外，在图3(a)和(b)中，假设在短曝光图像310和适当曝光图像311的摄影中人物SUB在移动，由此，与短曝光图像310上的人物SUB的位置相比，适当曝光图像311上的人物SUB位于靠右的位置处，并且适当曝光图像311上的人物SUB中产生了被摄体模糊。
另外，如图4所示，定义配置任意的二维图像300的空间区域(spatialdomain)的二维坐标系XY。图像300例如是适当曝光图像、短曝光图像、目标修正图像或者后述的第一 第三中间生成图像。X轴和Y轴是沿二维图像300的水平方向和垂直方向的轴。二维图像300形成为多个像素分别在水平方向和垂直方向上排列成矩阵状，用(x， y)表示作为二维图像300上的任一像素的像素301的位置。在本说明书中，将像素的位置也只叫做像素位置。x和y分别是像素301的X轴和Y轴方向的坐标值。在二维坐标系XY中，若某像素的位置向右侧偏离一个像素值，则该像素的X轴方向的坐标值就会增加l，若某像素的位置向上侧偏离一个像素值，则该像素的Y轴方向的坐标值就会增加1。因此，像素301的位置为(x，y)时，与像素301的右侧、左侧、上侧以及下侧相邻的像素的位置分别用(x+l，y)、(x-l， y) 、 (x， y+l) 、 (x， y-l)来表示。 以下，作为说明摄像装置l(特别是图像修正部20)的结构和动作的实施例，说明第1 第5实施例。只要不存在矛盾之处，则某实施例中记载的内容也能够适用于其它实施例。特别是，由于第1实施例中记载了第2 第5实施例所示的技术的前提技术，因此，第1实施例所记载的内容在不存在矛盾的情况下也能适用于第2 第5实施例。
8
(第1实施例)首先，说明第1实施例。在第1实施例中，通过按快门按钮17a，能获得如下的短曝光图像和适当曝光图像。 确认快门按钮17a处于半按状态时，主控制部13进行预曝光，并根据预曝光获得的AFE12的输出信号电平决定适当曝光时间T。p。预曝光指进行短曝光图像和适当曝光图像的曝光之前进行的曝光。之后，确认快门按钮17a处于全按状态时，连续摄影短曝光图像和适当曝光图像。可以摄影短曝光图像之后摄影适当曝光图像，也可以摄影适当曝光图像之后摄影短曝光图像，但是按照两图像的曝光间隔尽量短的方式连续对两图像进行摄影。如上所述，适当曝光图像是以适当曝光时间T。P摄影的，短曝光图像是以比适当曝光时间T。P短的曝光时间T^摄影的。例如，将曝光时间T^设定为相当于光学系统35的焦距的倒数的手抖动极限曝光时间以下。也可以将TSH设定为T。P/4等。 图5是第1实施例所涉及的图像修正部20的内部模块图。在第1实施例中，作为图1的图像修正部20，使用图像修正部20a。如上述的摄影的短曝光图像和适当曝光图像的图像数据被输入到图像修正部20a。图像数据指表示图像的颜色和亮度的数据。
图像修正部20a具备检测短曝光图像与适当曝光图像之间的位置偏差来进行两图像间的对位的对位部51、降低短曝光图像所包含的噪声的噪声降低部52、获得对位后的适当曝光图像与噪声降低后的短曝光图像之间的差分来计算出各像素位置的差分值的差分值计算部53、以基于该差分值的合成比率将对位后的适当曝光图像与噪声降低后的短曝光图像进行合成的第一合成部54、从噪声降低后的短曝光图像中提取边缘后计算出边缘强度值的边缘强度值计算部55、以基于边缘强度值的合成比率对短曝光图像与第一合成部54生成的合成图像进行合成从而生成目标修正图像的第二合成部56。
对图像修正部20a内的各部分的动作进行详细说明。另外，只说短曝光图像的情况是指没有进行基于噪声降低部52或后述的其它噪声降低部(57等)的噪声降低处理的短曝光图像(在后述的其它的实施例中也相同)。图3(a)例示的短曝光图像310是没有进行基于噪声降低部52的噪声降低的短曝光图像。 对位部51基于短曝光图像和适当曝光图像的图像数据检测短曝光图像与适当曝光图像之间的位置偏差，并基于检测出的位置偏差进行短曝光图像和适当曝光图像间的对位。如上所述，由于连续拍摄短曝光图像和适当曝光图像，因此拍摄两图像时的摄影区域大致相同，但是，由于拍摄两图像的时刻不完全相同，因此两图像的摄影区域会稍有偏离，结果，有时具有同一被摄体的图像数据的短曝光图像上的位置与适当曝光图像上的位置会稍有偏离。 对位部51检测该位置偏差，并对适当曝光图像的各像素的坐标值进行坐标变换，使得消除检测出的位置偏差。由此，若忽略误差，则具有同一被摄体的图像数据的短曝光图像上的位置与坐标变换后的适当曝光图像上的位置完全一致。 作为对位部51的位置偏差的检测方法，可采用能够从两张图像的图像数据检测两张图像间的位置偏差的任意方法。例如，可采用代表点匹配法、块匹配法或梯度法来检测位置偏差。作为示例，参照图6(a)和(b)，说明利用块匹配法时的位置偏差检测方法。
在图6(a)中，符号350表示短曝光图像，符号351表示设定在短曝光图像350内的关注块。关注块351是短曝光图像350的全图像区域(整个图像区域)的一部分。在图6(b)中，符号360表示适当曝光图像，符号361表示设定在适当曝光图像360内的候选块。候选块361是适当曝光图像360的全图像区域的一部分。关注块351与候选块361具有相同的图像尺寸(由相同的像素数的像素形成)。图6(b)的虚线矩形区域内的范围362表示候选块361可能处于的位置的搜索范围。搜索范围362例如是以关注块351的中心位置为中心的矩形范围。 对位部51计算出关注块351内的图像与候选块361内的图像之间的相关值。此时，使候选块361在搜索范围362内向水平方向或垂直方向每次移动1像素，并在每次移动时计算出相关值。相关值例如是关注块351与候选块361之间的互相对应的像素的亮度差的绝对值的总和。即，例如，将关注块351内的每个像素分别作为关注像素来捕捉，按每个关注像素求出关注块351内的关注像素的亮度值与候选块361内与关注像素对应的像素的亮度值之差的绝对值，并计算由此获得的绝对值(关注块351中的像素数量个绝对值)的总和作为相关值。基于该总和的相关值一般被称作SAD(Sum of Absolute Difference)。另外，不一定是表示亮度差的绝对值的总和的SAD，也可以将表示亮度差的平方的总和的SSD(Sum of SquaredDifference)作为相关值来求出。 相关值表示关注块351内的图像与候选块361内的图像之间的类似性，这些图像的类似性越高，则对应的相关值就越小。对位部51对相关值最小的候选块361的中心位置进行确定，并将从关注块351的中心位置向候选块361的中心位置的向量作为运动向量来求出。由该运动向量的方向和大小，表示从短曝光图像观察的适当曝光图像的位置偏差的方向和大小。 对位部51通过基于这样求出的位置偏差(运动向量)对适当曝光图像进行上述的坐标变换来修正该位置偏差。将该位置偏差修正后的适当曝光图像(换言之，对位后的适当曝光图像)称作第一中间生成图像。另外，也可以利用检测摄像装置1的框体的移动的手抖动检测传感器(例如，检测摄像装置1的框体的角速度的角速度传感器)来进行检 噪声降低部52通过对短曝光图像进行噪声降低处理，降低短曝光图像所含的噪声。能够用适合于噪声降低的任意的空间滤波来实现噪声降低部52的噪声降低处理。在噪声降低部52的空间滤波中，优选利用尽量保存边缘的空间滤波器，例如，可采用利用中值滤波器的空间滤波。 另外，还可以利用适合于噪声降低的任意的频率滤波来实现噪声降低部52的噪声降低处理。在噪声降低部52中利用频率滤波时，利用使短曝光图像所包含的空间频率分量中小于规定的截止频率的空间频率分量通过且降低该截止频率以上的空间频率分量的低通滤波器即可。另外，通过使用了中值滤波器等的空间滤波，也使短曝光图像所包含的空间频率分量中的频率比较低的空间频率分量几乎都保留下来，而降低频率比较高的空间频率分量。因此，也可以认为使用了中值滤波器等的空间滤波也是基于低通滤波器进行滤波的一种。 噪声降低部52进行了噪声降低处理后的短曝光图像作为第二中间生成图像(第三图像)而起作用。图7表示通过对图3(a)的短曝光图像310进行噪声降低处理而获得的第二中间生成图像312。比较图3(a)和图7可知，在第二中间生成图像312中，降低了短曝光图像310所包含的噪声，而与短曝光图像310相比，边缘稍微变得不清晰。
差分值计算部53计算出第一中间生成图像与第二中间生成图像之间的各像素位置的差分值。用DIF(x， y)表示像素位置(x， y)处的差分值。差分值DIF(x， y)是表示第一中间生成图像的像素位置(x，y)处的像素与第二中间生成图像的像素位置(x，y)处的像素之间的亮度和/或色差的值。 差分值计算部53例如基于下述式(1)，计算出差分值DIF(x， y)。这里，PlY(x， y)是第一中间生成图像的像素位置(x，y)处的像素的亮度值，P2y(x，y)是第二中间生成图像的像素位置(x， y)处的像素的亮度值。DIF(x， y) = lPly(x， y)_P2Y(x， y) | …(1)
除了式(1)夕卜，还能利用RGB形式的信号值并基于下述式(2)或式(3)来计算差分值DIF(x， y)。这里，PlK(x， y)、Ple(x， y)以及PlJx， y)分别是第一中间生成图像的像素位置(x，y)处的像素的R、G以及B信号的值，P2K(x，y)、P2jx，y)以及P2B(x，y)分别是第二中间生成图像的像素位置(x， y)处的像素的R、G以及B信号的值。某像素的R、G以及B信号是表示该像素的红、绿以及蓝的强度的颜色信号。DIF(x，y) = |PlK(x，y)-P2K(x，y) +|PlG(x， y)_P2G(x， y) ... (2) + |PlB(x， y)_P2B(x， y) DIF(x， y) = [{PlK(x， y)_P2K(x，y)} 2+ {P1G (x， y) —P2G (x， y)} 、.. (3) + {P1B (x， y) —P2B (x， y)}2]1/2 基于上述式(1)、式(2)或式(3)的差分值DIF(x， y)的计算方法仅仅是例示，也可以用这些以外的方法求出差分值DIF(x，y)。例如，也可以利用YUV形式的信号值并通过与使用RGB形式的信号值时相同的方法计算出差分值DIF(x， y)。此时，将式(2)和式(3)中的R、G以及B分别替换成Y、U以及V即可。YUV形式的信号由Y表示的亮度信号、U和V表示的色差信号构成。 图8表示将各像素位置的差分值DIF(x， y)作为像素信号值的差分图像的例子。图8的差分图像313是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的差分图像。在差分图像313中，用白色表示差分值DIF(x， y)比较大的部分，用黑色表示差分值DIF(x， y)比较小的部分。由于短曝光图像310和适当曝光图像311摄影中的人物SUB的移动，差分图像313中的人物SUB的移动区域中的差分值DIF(x， y)变得比较大。另外，由于因手抖动而引起的适当曝光图像311上的模糊，也会使边缘附近(人物或山的轮廓部分)的差分值DIF(x，y)变大。 第一合成部54进行第一中间生成图像与第二中间生成图像的合成，并将获得的合成图像作为第三中间生成图像(第四图像)来输出。通过对第一和第二中间生成图像的对应像素的像素信号进行加权相加来实现该合成。通过加权相加会混合对应像素的像素信号，可基于差分值DIF(x， y)来决定该混合率(换言之，合成比率)。用a (x， y)表示由第一合成部54决定的对应于像素位置(x， y)的混合率。 图9表示差分值DIF(x， y)与混合率a (x， y)之间的关系例。采用图9的关系例时，设"DIF(x， y) < Thl—L"成立时，"a (x， y) = 1"，设"Thl_L《DIF (x， y) 〈Thljl"成立时，"a (x， y) = l-(DIF(x， y)-Thl_L)/(Thl_H-Thl_L)"，设"ThlJl《DIF(x， y)"成立时，"a (x， y) = 0"。这里，Thl—L和Thljl是满足"0 < Thl_L < Thl_H"的规定的阈值。采用图9的关系例时，随着差分值DIF(x， y)从阈值Thl—L向阈值Thl_H增大，对应的混合率a (x， y)会从1向0线性减小，但是也可以使混合率a (x， y)非线性减小。
第一合成部54在根据各像素位置处的差分值DIF(x，y)决定了各像素位置的混合率a (x， y)之后，通过根据下述式(4)混合第一和第二中间生成图像的对应像素的像素信号，来生成第三中间生成图像的像素信号。这里，Pl(x， y)、P2(x， y)以及P3(x， y)分别表示第一、第二以及第三中间生成图像的像素位置(x， y)处的像素信号。P3(x， y) = a (x，y)XPl(x，y) + {l-a (x， y)} X P2 (x， y)... (4) 像素信号Pl(x，y)、P2(x，y)以及P3(x，y)分别是表示第一、第二以及第三中间生成图像的像素位置(x，y)处的像素的亮度和颜色的信号，例如以RGB形式或YUV形式表示。例如，像素信号Pl(x， y)等由R、G以及B信号构成时，通过按每个R、G以及B信号分别混合像素信号Pl(x， y)和P2(x， y)来获得像素信号P3(x， y)即可。像素信号Pl (x， y)等由Y、U以及V信号构成时也一样。 图10表示由第一合成部54获得的第三中间生成图像的例子。图IO所示的第三中间生成图像314是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的第三中间生成图像。 如上所述，由于在人物SUB移动的区域中差分值DIF(x， y)变得比较大，因此第二中间生成图像312(参照图7)对于第三中间生成图像314的贡献性(l-a (x，y))变得比较大。结果，比起适当曝光图像311(参照图3)中的被摄体的模糊，第三中间生成图像314中的被摄体模糊被大幅度抑制。另外，由于在边缘附近的差分值D(x， y)也会变大，因此上述贡献性(l-a (x， y))会变大。结果，第三中间生成图像314的边缘的清晰度与适当曝光图像311相比被改善。但是，由于与短曝光图像310的边缘比较来看，第二中间生成图像312的边缘稍微不清晰，因此与短曝光图像310的边缘相比，第三中间生成图像314的边缘也稍微不清晰。 另一方面，差分值D(x， y)比较小的区域被推测为边缘成分少的平坦区域。因此，对于差分值D(x， y)比较小的区域而言，如上所述，使噪声含有量少的第一中间生成图像的贡献性a (x，y)变得比较大。由此，第三中间生成图像的噪声能够被抑制得很低。另外，由于第二中间生成图像是经过噪声降低处理生成的图像，因此在第二中间生成图像对于第三中间生成图像的贡献性(l-a (x，y))比较大的区域中，噪声不明显。 如上所述，与短曝光图像的边缘相比，第三中间生成图像的边缘稍微不清晰，但是该不清晰度可通过边缘强度值计算部55和第二合成部56改善。 边缘强度值计算部55对第二中间生成图像进行边缘提取处理，并计算出各像素位置的边缘强度值。用E(x，y)表示像素位置(x，y)处的边缘强度值。边缘强度值E(x，y)是表示以第二中间生成图像的像素位置(x， y)为中心的小块内的像素信号的变化量的指标，该变化量越大，则边缘强度值E(x，y)就越大。 例如，根据下述式(5)求出边缘强度值E(x， y)。如上所述，P2Y (x， y)表示第二中间生成图像的像素位置(x， y)处的像素的亮度值。Fx(i， j)和Fy(i， j)分别表示用于提取水平方向和垂直方向的边缘的边缘提取滤波器的滤波器系数。作为边缘提取滤波器，能够使用适合于边缘提取的任意的空间滤波器，例如，能够使用微分滤波器、普鲁特伊滤波器(Prewitt filter)、索贝尔滤波器(Sobel filter)。
E(x,y)=
i i
Z》X(i,j).P2Y(x + i,y + j)
+
i i
X^Fy(U).P2Y(x + i,y + j)
i=—lj=—1
(5) 例如，使用普鲁特伊滤波器时，在式(5)的Fx(i，j)中代入"Fx(-l，-l) =Fx(_l，
120) =Fx(-l，l) = -l"、"Fx(0，-1) =Fx(0，0) =Fx(0，l) = 0)"以及"Fx(1，-1) =Fx(l，0)=Fx(l，l) =1"即可，并在式(5)的Fy(i，j)中代入"Fy(-l，-l) =Fy(0，_l) =Fy(l，_l)=-lV'Fy(-l，O) =Fy(0，0) =Fy(l，0) = 0"以及"Fy(-1， 1) =Fy(0，l) =Fy(l，l)=l"即可。当然，这样的滤波器系数是一个例子，边缘强度值E(x，y)的计算用的边缘提取滤波器能够进行各种各样的变形。另外，在式(5)中，使用了具有3X3滤波器尺寸的边缘提取滤波器，但是边缘提取滤波器的滤波器尺寸也可以是3X3以外。 图11表示将各像素位置的边缘强度值E(x， y)作为像素信号值的边缘图像的例子。图11的边缘图像315是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的边缘图像。在边缘图像315中，用白色表示边缘强度值E(x， y)比较大的部分，用黑色表示边缘强度值E(x，y)比较小的部分。边缘强度值E(x，y)是通过提取第二中间生成图像312的边缘来获得的，其中，该第二中间生成图像312是对边缘清晰的短曝光图像310中的噪声进行抑制而获得的。因此，噪声与边缘被分离，在根据边缘强度值E(x， y)明确区分了噪声与被摄体边缘的基础上确定边缘的位置。 第二合成部56进行第三中间生成图像与短曝光图像的合成，并将获得的合成图像作为目标修正图像来输出。该合成通过对第三中间生成图像与短曝光图像的对应像素的像素信号进行加权相加而实现。通过加权相加而对应像素的像素信号被混合，其混合率(换言之为合成比率)可基于边缘强度值E(x， y)来决定。用13 (x， y)表示由第二合成部56决定的对应于像素位置(x， y)的混合率。 图12表示边缘强度值E(x， y)与混合率P (x， y)的关系例。采用图12的关系例时，设"E(x， y) < Th2—L"成立时"P (x， y) = 0"，设"Th2—L《E(x， y) < Th2Jl"成立时(x，y) = (E(x， y)-Th2_L)/(Th2_H-Th2_L)"，设"Th2—H《E(x， y)"成立时"P (x， y)=1"。这里，Th2_L和Th2_H是满足"O < Th2_L < Th2_H"的规定的阈值。采用图12的关系例时，随着边缘强度值E(x，y)从Th2—L向阈值Th2_H增大时对应的混合率P (x，y)从0向l线性增加，但是也可以使混合率13 (x，y)非线性增加。 第二合成部56在根据各像素位置的边缘强度值E(x，y)决定了各像素位置的混合率P (x， y)之后，通过根据下述式(6)混合第三中间生成图像与短曝光图像的对应像素的像素信号，从而生成目标修正图像的像素信号。这里，P。m(x，y)、PnSH(x，y)以及P3(x，y)分别表示目标修正图像、短曝光图像以及第三中间生成图像的像素位置(x， y)处的像素信号。P。ut(x， y) = 13 (x， y) XPINSH(x， y) + {l_|3 (x， y)} XP3(x， y) …(6)
像素信号P。uT(x，y)、Pn^(x，y)以及P3(x，y)分别是表示目标修正图像、短曝光图像以及第三中间生成图像的像素位置(x，y)处的像素的亮度和颜色的信号，例如，用RGB形式或YUV形式表示。例如，像素信号P3(x，y)等由R、G以及B信号构成时，通过按每个R、G以及B信号分别混合像素信号Pn^(x，y)和P3(x，y)来获得像素信号P。UT(x， y)即可。像素信号P3(x， y)等由Y、U以及V信号构成时也一样。 图13表示由第二合成部56获得的目标修正图像的例子。图13所示的目标修正图像316是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的目标修正图像。在边缘部分，由于短曝光图像310对于目标修正图像316的贡献性13 (x，y)变大，因此在目标修正图像316中，能改善第三中间生成图像314(参照图10)中的边缘的稍许不清晰，能清晰地描绘边缘。另一方面，在边缘以外的部分，由于第三中间生成图像314对于目标修正图像310中的噪声反映在目标修正图像316中。由于视觉上，噪声在边缘以外的部分(平坦部分)特别明显，因此基于上述的混合率13 (x，y)的合成比率的调整有效。 这样，根据第1实施例，通过将适当曝光图像(更详细而言是对位之后的适当曝光图像(即第一中间生成图像))与噪声降低后的短曝光图像(即第二中间生成图像)利用从这些图像获得的差分值来合成，从而能够生成抑制了适当曝光图像的模糊和短曝光图像的噪声的第三中间生成图像。之后，通过利用从噪声降低后的短曝光图像(即第二中间生成图像)获得的边缘强度值来合成第三中间生成图像与短曝光图像，从而能够在目标修正图像中反映短曝光图像的清晰的边缘，另一方面，能够抑制短曝光图像的噪声反映在目标修正图像中。结果，目标修正图像变成模糊和噪声少的图像。 为了明确地分离检测边缘与噪声并良好地避免短曝光图像的噪声混入目标修正图像中，优选如上述那样从噪声降低后的短曝光图像(即，第二中间生成图像)导出边缘强度，但是也可以从噪声降低前的短曝光图像(即，图3(a)的短曝光图像310等)导出边缘强度。此时，只要在式(5)的P2y(x，y)中带入噪声降低前的短曝光图像的像素位置(x，y)处的像素的亮度值的基础上，根据式(5)计算出边缘强度值E(x，y)即可。
另外，实际上，短曝光图像的图像区域与对位后的适当曝光图像的图像区域之间存在互相不重叠的图像区域(在上述的说明中，为了使说明简化，忽略了该存在)。即，如图14所示，通常，短曝光图像的全图像区域400的位置与对位后的适当曝光图像的全图像区域401的位置不完全一致，全图像区域400与全图像区域401重叠的区域402 (以下称作重叠区域402)的尺寸比全图像区域400或全图像区域401的尺寸小。在图14中，用斜线区域表示重叠区域402。 噪声降低部52、差分值计算部53、第一合成部54、边缘强度值计算部55以及第二合成部56，能够基于短曝光图像的重叠区域402内的像素信号与第一中间生成图像的重叠区域402内的像素信号，生成将重叠区域402作为全图像区域的目标修正图像。此时，目标修正图像的全图像区域的尺寸比短曝光图像的全图像区域尺寸小。 取而代之，也可以根据第二中间生成图像的非重叠区域403内的像素信号生成目标修正图像的非重叠区域403内的像素信号(例如，使前者的像素信号与后者的像素信号一致)。另一方面，也可以基于短曝光图像的重叠区域402内的像素信号与第一中间生成图像的重叠区域402内的像素信号生成目标修正图像的重叠区域402内的像素信号，并且贴合目标修正图像的重叠区域402和非重叠区域403，从而形成目标修正图像的全图像区域。此时，目标修正图像的全图像区域的大小与短曝光图像的尺寸相同。这里，非重叠区域403指从短曝光图像的全图像区域400中除去重叠区域402后剩下的区域，在图14中用画点区域表示。(第2实施例)下面，说明第2实施例。由图5的噪声降低部52执行的噪声降低处理具有依赖于该噪声降低处理中使用的滤波的特性的固有噪声降低特性，但是该噪声降低特性与短曝光图像的噪声等级无关，通常是一定的。因此，包含在短曝光图像中的噪声过多时，存在不能充分降低噪声的情况。而且，从噪声降低部52输出的第二中间生成图像(第三图像)中残留比较多的噪声时，有时会因为该噪声的影响而不能计算出适当的混合率a (x，y)和|3 (x，y)，结果导致不能获得良好的目标修正图像。另外，为了避免该情况而过于提高噪声降低部52的噪声降低处理的强度时，在包含在短曝光图像中的噪声并没有那么多的情况下，会导致短曝光图像的边缘过于劣化。这是由于噪声降低处理也有使图像平滑化的效果。 鉴于该情况，在第2实施例中，根据短曝光图像的噪声等级来调整用于从短曝光图像生成第二中间生成图像的噪声降低处理。 图15是第2实施例所涉及的图像修正部20b的内部模块图。在第2实施例中，作为图1的图像修正部20使用图像修正部20b。拍摄的短曝光图像和适当曝光图像的图像数据被输入到图像修正部20b。 图像修正部20b具备符号51、53 56、57和58所示的各部分。SP，图像修正部20b相对于图5的图像修正部20a追加了噪声降低处理控制部58(以下简称为控制部58)，并且将图像修正部20a的噪声降低部52替换成了噪声降低部57。 与图5的噪声降低部52同样，噪声降低部57执行用于降低短曝光图像的噪声的噪声降低处理，并将噪声降低处理后的短曝光图像作为第二中间生成图像来输出。但是，噪声降低部57中的噪声降低处理的内容是可变的，根据短曝光图像的噪声等级由控制部58变更其内容。 参照图16的流程图，说明由图像修正部20b生成第二中间生成图像的动作的流程。首先，通过对快门按钮17a的下按操作形成摄影指示时，在步骤S11中，按照第1实施例所述的方法连续摄影短曝光图像和适当曝光图像。向图像修正部20b输入由该摄影获得的短曝光图像和适当曝光图像的图像数据。如第1实施例所述，短曝光图像的曝光时间TSH比适当曝光图像的曝光时间T。P短。 在继步骤Sll之后的步骤S12中，对位部51按照第1实施例所述的方法检测短曝光图像与适当曝光图像之间的位置偏差，并基于检测出的位置偏差进行短曝光图像和适当曝光图像之间的对位。 之后，在步骤S13中，控制部58检测短曝光图像的噪声等级。能够基于短曝光图像和适当曝光图像的图像数据检测短曝光图像的噪声等级。参照图17(a)和(b)，说明短曝光图像的噪声等级的检测处理的具体例子。噪声等级相当于信号与噪声之比。
在短曝光图像的噪声等级的检测处理中，首先，从适当曝光图像的全图像区域搜索平坦的图像区域。具体而言，如图17(a)所示，在适当曝光图像内设定具有规定图像尺寸的评价块501，使评价块501的位置在适当曝光图像的图像区域内沿水平或垂直方向按1像素移动，并在每次移动时求出评价块501内的各像素的亮度值的标准偏差。由此，求出多个标准偏差。确定该多个标准偏差内最小的标准偏差所对应的评价块501的位置，将配置在该位置处的评价块501内的图像区域检测为平坦的图像区域，并且将该图像区域设定为平坦区域511(参照图17(b))。 下面，基于由步骤S12检测出的短曝光图像和适当曝光图像间的位置偏差，将对应于平坦区域511的短曝光图像内的图像区域作为平坦区域512来设定(参照图17(b))。平坦区域511和512中，存在同一个被摄体的图像数据。 一般，某图像的噪声等级用该图像内的各像素的亮度值的标准偏差的正平方根来表示。因此，控制部58求出短曝光图像的平坦区域512内的各像素的亮度值的标准偏差Os，并将Wc7s作为短曝光图像的噪声等级Ns来检测。另外，假设i为正值时，在本说明书中(i表示i的正的平方根。
15
检测噪声等级Ns后，在步骤S14中，控制部58决定应由噪声降低部57执行的噪 声降低处理的内容。噪声降低部57通过对短曝光图像进行按照该决定内容的噪声降低处 理来生成第二中间生成图像。 例如，按照在噪声降低部57中能够执行第一和第二噪声降低处理的方式形成噪 声降低部57。而且，噪声等级Ns小于规定的基准等级NTH时，通过对短曝光图像进行第一噪 声降低处理来生成第二中间生成图像，另一方面，噪声等级Ns为基准等级NTH以上时，通过 对短曝光图像进行第二噪声降低处理来生成第二中间生成图像。这里，第一和第二噪声降 低处理是互不相同的图像处理，第二噪声降低处理是噪声降低的强度(噪声降低的效果) 比第一噪声降低处理大的噪声降低处理。 作为第一和第二噪声降低处理，能够采用利用了中值滤波器、低通滤波器等的滤 波(空间滤波或频率滤波)。更具体而言，例如，预先将如图18(a)和(b)所示的具有3X3 滤波器尺寸的中值滤波器521和具有5X5滤波器尺寸的中值滤波器522安装到噪声降低 部57中，在第一噪声降低处理中通过利用中值滤波器521对短曝光图像进行空间滤波来生 成第二中间生成图像，在第二噪声降低处理中通过利用中值滤波器522对短曝光图像进行 空间滤波来生成第二中间生成图像。由于根据中值滤波器的滤波器尺寸的增大而噪声降低 的强度(噪声降低的效果)会增大，因此通过分别使用如上述的两种中值滤波器能够调整 噪声降低的强度。 可以用硬件来实现第一和第二噪声降低处理。此时，例如，只要在噪声降低部57 中分别安装起到上述中值滤波器521和522的功能的电路即可。但是，也能通过基于软件 的图像处理来实现第一和第二噪声降低处理。通过软件实现噪声降低处理时，无需追加电 路就能够轻易实现噪声降低处理的内容变更。 另外，上述的基准等级N^可以是预先设定的固定电平，也可以基于适当曝光图像 的噪声等级K来设定基准等级NTH(在后述的其它实施例中也相同)。例如，能够将基准等 级NTH设定为适当曝光图像的噪声等级K的两倍。另外，使用平坦区域511内的各像素的
亮度值的标准偏差o J参照图17(b))，用Ni^/aL表示适当曝光图像的噪声等级K。
另外，在上述的具体例中，根据短曝光图像的噪声等级Ns以两阶段切换用于从短 曝光图像生成第二中间生成图像的噪声降低处理的内容，但是也可以根据噪声等级Ns将该 噪声降低处理的内容切换为三阶段以上。例如，将噪声降低部57形成为在噪声降低部57中 能够执行第一 第三噪声降低处理，当"Ns < NTH1"时选择第一噪声降低处理，当"NTH1《Ns
< NTH2"时选择第二噪声降低处理，当"N皿《Ns"时选择第三噪声降低处理(其中，O < NTH1
< NTH2)。而且，也可以通过对短曝光图像进行所选择的噪声降低处理来生成第二中间生成 图像。这里，第一 第三噪声降低处理是互不相同的图像处理，第一和第二噪声降低处理与 上述处理相同，第三噪声降低处理是噪声降低的强度(噪声降低的效果)比第二噪声降低 处理还要高的噪声降低处理。 另外，在上述的具体例中，基于评价块501内的各像素的亮度值执行平坦区域511 的搜索(参照图17 (b))，但是也可以使用与亮度值不同的像素信号值来执行该搜索。例如， 也可以基于评价块501内的各像素的R、G以及B信号值或U和V信号值(色差信号的值) 执行该搜索。 另外，在上述的具体例中，进行短曝光图像和适当曝光图像的对位之后进行平坦区域511和512的搜索，但是也可以在进行短曝光图像和适当曝光图像的对位之前进行该 搜索来检测噪声等级K。但是，此时，进行平坦区域511的搜索之后，需要另外进行搜索平 坦区域512的处理(块匹配等)。因此，考虑到搜索时间的縮短，优选进行短曝光图像和适 当曝光图像的对位之后进行平坦区域511和512的搜索。 噪声降低部57和控制部58以外的图像修正部20b内的各部分的动作与第1实施 例所示的动作相同。因此，输入到图像修正部20b的短曝光图像、由对位部51生成的第一 中间生成图像以及由噪声降低部57生成的第二中间生成图像被第一合成部54和第二合成 部56合成，从而生成目标修正图像。 如第2实施例所示，通过使得能够根据短曝光图像的噪声等级来改变噪声降低处 理的内容，从而能够根据短曝光图像的噪声等级执行具有适当的噪声降低效果的噪声降低 处理，从而能够获得良好的目标修正图像。(第3实施例)下面说明第3实施例。如上所述，通过软件实现噪声降低处理时， 无需追加电路就能轻易实现噪声降低处理的内容变更。但是，考虑到处理速度等，实际上大 多用硬件来实现噪声降低处理。使用硬件时，可以如第2实施例那样安装多个中值滤波器 (521、522)，但是也可以优先考虑削减电路规模而用单个的滤波器实现噪声降低处理。因 此，在第3实施例中，说明仅使用一个噪声降低处理的方法。 在第3实施例中，作为图1的图像修正部20，也使用图15的图像修正部20b。图 19是表示第3实施例所涉及的第二中间生成图像的生成动作的流程的流程图。根据图19 的流程图说明该动作。 通过对快门按钮17a的下按操作形成摄影指示时，执行步骤S21 S23的处理。步 骤S21 S23的处理与图16的步骤Sll S13的处理相同。即，形成摄影指示时，摄影短 曝光图像和适当曝光图像，进行这两个图像间的对位后，在步骤S23中检测短曝光图像的 噪声等级Ns。另外，也可省略步骤S23的噪声等级Ns的检测处理。 进行步骤S21 S23的处理之后，在步骤S24中，噪声降低部57通过对噪声降低 的对象图像进行噪声降低处理来生成噪声降低图像，并在步骤S25中，控制部58检测所生 成的噪声降低图像的噪声等级Ns'。为了将步骤S24中执行的噪声降低处理区别于第2实 施例的噪声降低处理，特别用符号NRm表示。 从后述的说明可知，步骤S24的噪声降低处理NRFIX被执行多次。第一次噪声降低 处理NRm的对象图像是向图像修正部20b输入的短曝光图像，通过第一次噪声降低处理 NRFIX获得的噪声降低图像是通过对输入到图像修正部20b的短曝光图像执行一次噪声降 低处理NRFIX而获得的图像I [1]。第二次噪声降低处理NRFIX的对象图像是图像I [1]，通过 第二次噪声降低处理NR^获得的噪声降低图像是通过对图像I[l]执行一次噪声降低处理 NR^而获得的图像I[2]。第三次以后的噪声降低处理NRm也相同。这样，每次执行噪声降 低处理NRFIX时更新噪声降低图像(I [1] ， I [2] ， I [3]...)。 噪声降低处理NRFIX与由图5的噪声降低部52执行的噪声降低处理相同，噪声降 低处理NRFIX的内容与噪声降低处理NRFIX的执行次数无关，始终是一定的。例如，当噪声降 低处理NRm是使用了图18(a)的中值滤波器521的空间滤波时，分别在第1、2、…n次的 噪声降低处理NRFIX中，向对象图像进行使用了中值滤波器521的空间滤波来依次生成噪声 降低图像I[1]、1[2]、…1[n](其中，n是自然数)。
在步骤S25中检测的噪声等级Ns'是通过一次以上的噪声降低处理NRFIX获得的 最新的噪声降低图像的噪声等级。因此，执行n次噪声降低处理NRFIX时，检测噪声降低图 像I[n]的噪声等级来作为噪声等级K'(其中，n为自然数)。用噪声降低图像I[n]上的 平坦区域内的各像素的亮度值的标准偏差的正的平方根表示噪声降低图像I[n]的噪声等 级。噪声降低图像I[n]上的平坦区域是在与短曝光图像上的平坦区域512(参照图17(b)) 相同的位置上的、噪声降低图像I[n]上的图像区域，噪声降低图像I[n]上的平坦区域与短 曝光图像上的平坦区域512中具有相同的被摄体的图像数据。 在步骤S25中检测出噪声等级K'之后，在步骤S26中，控制部58比较最新的噪 声等级^'与规定的基准等级N『而且，若"K' ^N^"成立，则判断为噪声降低处理NR^ 的执行次数不充分，回到步骤S24再次执行噪声降低处理NRFIX和噪声等级Ns'的检测处 理。另一方面，若"Ns' 〈NTH"成立，则从步骤S26进入步骤S27。在步骤S27中，从噪声降 低部57输出通过一次以上的噪声降低处理NRm获得的最新的噪声降低图像来作为第二中 间生成图像。 这样，直到噪声降低图像的噪声等级Ns'小于基准等级NTH为止反复执行噪声降 低处理NRFIX。但是，将噪声降低处理NRFIX反复执行一定次数也无法使噪声降低图像的噪声 等级Ns'小于基准等级NTH时，从噪声降低部57输出通过执行该一定次数的噪声降低处理 NIW而获得的最新的噪声降低图像来作为第二中间生成图像。 噪声降低部57和控制部58以外的图像修正部20b内的各部分的动作与第1实施 例所示的动作相同。因此，输入到图像修正部20b的短曝光图像、由对位部51生成的第一 中间生成图像以及由噪声降低部57生成的第二中间生成图像通过第一合成部54和第二合 成部56进行合成，从而生成目标修正图像。 根据第3实施例，也能获得与第2实施例相同的效果。特别是，第3实施例适合于 由硬件形成噪声降低部57的情况。 另外，在图19的动作例中，噪声降低处理NRm的执行次数一直到不等式"Ns' < &/成立为止是不确定的，但是也可以根据在步骤S23中检测出的短曝光图像的噪声等 级Ns预先设定噪声降低处理NRFIX的执行次数。此时，只进行设定次数的步骤S24的噪声降 低处理NRm，从噪声降低部57输出由此获得的最新的噪声降低图像来作为第二中间生成 图像。此时，应设定的噪声降低处理NR^的执行次数随着噪声等级Ns的增加而阶段式增 加。(第4实施例)下面说明第4实施例。参照图14且根据如上所述，在公共的二维 坐标系XY上配置短曝光图像的全图像区域400与对位后的适当曝光图像的全图像区域401 时，形成重叠区域402与非重叠区域403。而且，如第1实施例所述，也能够生成将重叠区 域402作为全图像区域的目标修正图像，但是，当非重叠区域403大时，与短曝光图像或适 当曝光图像的视角(视野)相比，目标修正图像的视角(视野)有时会过小。
这种情况下，如在第1实施例中所述，根据短曝光图像和适当曝光图像的重叠区 域402的像素信号来生成目标修正图像的重叠区域402内的像素信号，另一方面，仅根据短 曝光图像生成目标修正图像的非重叠区域403内的像素信号，并通过贴合目标修正图像的 重叠区域402和非重叠区域403，能够使目标修正图像的视角(视野)与短曝光图像的视 角(视野)相同(但是，也可以与非重叠区域403的大小无关地生成将重叠区域402作为
18全图像区域的目标修正图像)。在第4实施例中，利用该方法生成目标修正图像，使得目标 修正图像的视角与短曝光图像的视角相同。 但是，此时，由于根据不同的方法生成目标修正图像的重叠区域402内的图像与 非重叠区域403内的图像，因此若不进行任何措施时，存在目标修正图像的贴合边界很明 显的隐患(存在重叠区域402与非重叠区域403之间的噪声等级差明显的隐患)。在第4 实施例中，说明应对该问题的方法。 图20是第4实施例所涉及的图像修正部20c的内部模块图。在第4实施例中，作 为图1的图像修正部20使用图像修正部20c。摄影的短曝光图像和适当曝光图像被输入到 图像修正部20c。 图像修正部20c具备符号51、53 55、61 64所示的各部分。图像修正部20c的 由符号51、53 55表示的各部分具有与图5的图像修正部20中的相应部分相同的功能。
通过对快门按钮17a的下按操作而进行摄影指示时，按照第1实施例所述的方法 连续摄影短曝光图像和适当曝光图像，由该摄影获得的短曝光图像和适当曝光图像的图像 数据被输入到图像修正部20c。对位部51根据第1实施例所述的方法检测短曝光图像与适 当曝光图像间的位置偏差，基于检测出的位置偏差进行短曝光图像和适当曝光图像间的对 位。如上所述，在公共的二维坐标系XY上配置短曝光图像的全图像区域400与对位后的适 当曝光图像的全图像区域401时，形成重叠区域402与非重叠区域403 (参照图14)。
图像修正部20c(例如，噪声降低部61和62)基于上述位置偏差的检测结果，从短 曝光图像的全图像区域400中分别提取短曝光图像的重叠区域402和非重叠区域403。如 图21所示，分别用图像602和603表示由该提取获得的短曝光图像的重叠区域402和非重 叠区域403内的图像。另外，用图像601表示适当曝光图像的重叠区域402内的图像。
图像601的图像数据作为第一中间生成图像的图像数据被对位部51输出。噪声降 低部61通过对作为短曝光图像的一部分图像的图像602进行噪声降低处理来降低图像602 的噪声。在第4实施例中，噪声降低处理后的图像602(第一噪声降低图像)具有作为第二 中间生成图像的功能。另一方面，噪声降低部61通过对作为短曝光图像的剩余的一部分图 像的图像603进行噪声降低处理来降低图像603的噪声。噪声降低处理后的图像603(第 二噪声降低图像)的图像数据被输出到贴合结合部64。 基于第一和第二中间生成图像的、由差分值计算部53进行的差分值DIF(x， y)的 计算动作与第1实施例相同，并且根据差分值合成第一和第二中间生成图像来获得第三中 间生成图像的动作也与第1实施例相同。另外，基于第二中间生成图像的、由边缘强度计算 部55进行的边缘强度值E(x， y)的计算动作也与第1实施例相同。 第二合成部63通过以与边缘强度值E(x，y)相应的混合率P (x，y)来混合短曝光 图像和第三中间生成图像的像素信号，从而计算出目标修正图像的像素信号P。UT(x， y)。该 计算方法与第1实施例所述的方法相同。但是，在第二合成部63中，只计算出目标修正图 像的重叠区域402内的像素信号P。UT(x， y)。 基于噪声降低部62的噪声降低处理后的图像603的图像数据(像素信号)被赋 予给贴合结合部64。图像603的各像素被配置在非重叠区域403内。贴合结合部64将由 噪声降低部62的输出数据表示的噪声降低处理后的图像603的像素信号作为目标修正图 像的非重叠区域403内的像素信号来处理，如图22所示，通过贴合第二合成部63的输出图
19像611与噪声降低部62的输出图像612 (换言之，结合)，形成目标修正图像的全图像区域 613。第二合成部63的输出图像611是由像素信号P。uT(x， y)表示的重叠区域402内的图 像，噪声降低部62的输出图像612是噪声降低处理后的图像603。 作为在噪声降低部61中对图像602执行的噪声降低处理(以下，称作噪声降低处 理NR》和在噪声降低部62中对图像603执行的噪声降低处理(以下，称作噪声降低处理 NRB)，能够使用与第1实施例所述的噪声降低部52的噪声降低处理相同的处理。但是，比 较噪声降低处理NRA与噪声降低处理NRB时，两者的处理内容互不相同。
通过基于短曝光图像和适当曝光图像的图像间的像素信号的加权相加来生成目 标修正图像的重叠区域402中的图像数据。因此，作为噪声降低处理NRA，即使使用噪声降低 强度比较小的噪声降低处理，也能获得噪声不明显的良好的结果图像。另一方面，由于目标 修正图像的非重叠区域403中的图像数据仅根据短曝光图像生成，因此作为噪声降低处理 NRe使用噪声降低处理强度比较小的噪声降低处理时，无法完全去除噪声，结果导致能够从 视觉上察觉到目标修正图像的重叠区域与非重叠区域的噪声等级差且贴合边界会很明显。
因此，作为噪声降低处理NRA和NRB，能够使用第2实施例所述的第一和第二噪声 降低处理。如第2实施例所述，作为噪声降低处理NRe来使用的第二噪声降低处理是噪声 降低强度(噪声降低效果)比第一噪声降低处理大的噪声降低处理。 或者，也可利用第3实施例所述的噪声降低处理NRFIX，根据噪声降低处理NRFIX的 执行次数的不同使噪声降低处理NRA与噪声降低处理NRe不同。S卩，可以在噪声降低处理NRA 中，对图像602执行kA次噪声降低处理NRFIX，并在噪声降低处理NRB中，对图像603执行kB 次噪声降低处理NRm。这里，、和^是满足1《、<1^的规定的整数。通常，设、为1。 但是，也可以根据第3实施例所述的方法并基于短曝光图像的噪声等级Ns来决定kA的值， kB的值也可基于噪声等级Ns来决定。 另外，内容(根据噪声等级Ns决定kA的值)上也有关联，但也可将第2或第3实 施例中所述的技术内容应用到第4实施例中。即，例如，也可以在图像修正部20c中进一步 设置图15的控制部58并将噪声降低部61替换成图15的噪声降低部57，并且在由此获得 的图像修正部20c中执行与第2或第3实施例所述的噪声等级Ns相应的噪声降低处理。此 时，图像修正部20c的噪声降低部57对图像602进行噪声降低处理，该噪声降低处理的内 容依据第2或第3实施例所述的方法，被控制部58根据噪声等级Ns来进行调整。
根据第4实施例，在目标修正图像中贴合边界变得不明显。(第5实施例)下面说明第5实施例。图23是第5实施例所涉及的图像修正部 20d的内部模块图。在第5实施例中，作为图1的图像修正部20使用图像修正部20d。摄 影的短曝光图像和适当曝光图像的图像数据被输入到图像修正部20d。
图像修正部20d具备由符号51 56和70参照的各部分。图像修正部20d的由 符号51 56所参照的各部分的功能与图5的图像修正部20a中的相应部分的功能相同。 因此，在第一合成部54中，以图9所示的第一变换条件将差分值DIF(x， y)变换为混合率 a (x，y)，并由获得的混合率a (x，y)来混合第一和第二中间生成图像的像素信号。另一方 面，在第二合成部56中，以图12所示的第二变换条件将边缘强度值E(x， y)变换为混合率 P (x，y)，并以获得的混合率P (x，y)来混合第三中间生成图像和短曝光图像的像素信号。
但是，在图像修正部20d中，合成比率调整部70通过根据短曝光图像的噪声等级Ns可变地设定上述第一变换条件来调整第一和第二中间生成图像的合成比率(像素信号的混合率)，并且通过根据短曝光图像的噪声等级Ns可变地设定上述第二变换条件来调整第三中间生成图像和短曝光图像的合成比率(像素信号的混合率)。在图像修正部20d中(例如合成比率调整部70)，检测短曝光图像的噪声等级Ns。噪声等级Ns的检测方法与上述方法相同。 具体而言，例如，按照随着噪声等级Ns增大而第二中间生成图像相对第三中间生成图像的贡献性(1-a (x， y))降低的方式可变地设定第一变换条件即可(参照上述式(4)和图9)。 S卩，例如，以某一规定等级为基准，随着噪声等级Ns增大，在满足"(XTh1—L < Thl_H"的范围内，固定阈值Thl_H的同时增加阈值Thl_L，或者，使阈值Thl_L和阈值Thljl—起增加即可。由此，随着噪声等级K增大，a (x， y)取1或接近1的值的差分值DIF(x，y)的数值范围变宽，其结果，上述贡献性(1-a (x，y))会向减小方向变化。
另外，更具体而言，例如，按照随着噪声等级Ns增大而短曝光图像相对目标修正图像的贡献性P (x， y)降低的方式，可变地设定第二变换条件即可(参照上述式(6)和图12) 。 S卩，例如，以某一规定等级为基准，随着噪声等级Ns增大，在满足"O < Th2_L < Th2_H"的范围内，固定阈值Th2_H的同时增加阈值Th2_L，或者，使阈值Th2_L和阈值Th2_H —起增加即可。由此，随着噪声等级K增大，P(x，y)取O或接近O的值的边缘强度值E(x，y)的数值范围变宽，其结果，上述贡献性P (x，y)会向减小方向变化。
比较短曝光图像与适当曝光图像时，短曝光图像的噪声等级Ns比较大，其中在判断为噪声等级Ns过大时，在基于噪声降低部52的噪声降低处理中无法充分降低噪声，导致第二中间生成图像中残留的比较大的噪声会通过第三中间生成图像混入目标修正图像。另外，由于在第二合成部56的合成处理中短曝光图像的噪声会根据13 (x， y)而直接混入目标修正图像，因此当短曝光图像的噪声等级Ns过大时，即使牺牲一些目标修正图像的边缘的清晰度也要抑制目标修正图像的噪声，这样才能获得平衡良好的目标修正图像。考虑到此，如上所述，根据噪声等级Ns，对用于生成目标修正图像的合成处理中的短曝光图像和基于此的第二中间生成图像的合成率进行增减调整。由此，能够获得平衡性良好地抑制了模糊和噪声的目标修正图像。 另外，在上述的具体例中，根据噪声等级Ns可变地设定了第一和第二变换条件，但是也可以根据噪声等级Ns可变地设定第一和第二变换条件中的一方而固定另一个变换条件。(变形等)在上述的说明中所示的具体的数值仅仅是一个例示，显然能够将那些变更为各种数值。作为上述的实施方式的变形例或注释内容，下面，记载注释1和注释2。各注释中记载的内容在不相矛盾的情况下，能够任意组合。(注释l)以上叙述了在摄像装置l内设置了包括图像修正部(20、20a、20b、20c或20d)的图像处理装置的例子，但是也可以在摄像装置1的外部的图像处理装置(未图示)中设置图像修正部(20、20a、20b、20c或20d)。此时，通过向该外部的图像处理装置中包含的图像修正部(20、20a、20b、20c或20d)提供由摄像装置1摄影获得的短曝光图像和适当曝光图像，由该外部的图像处理装置中包含的图像修正部(20、20a、20b、20c或20d)生成目标修正图像的图像数据。(注释2)摄像装置1能够通过硬件或硬件与软件的组合来实现。特别是，在图像
21修正部(20、20a、20b、20c或20d)中执行的处理的全部或一部分能够通过硬件、软件或硬件与软件的组合来实现。使用软件构成摄像装置1时，由软件实现的部分的模块图表示该部分的功能模块图。
权利要求
一种图像处理装置，对通过摄影获得的第一图像、通过曝光时间比所述第一图像的曝光时间长的摄影获得的第二图像、通过降低所述第一图像的噪声获得的第三图像进行合成来生成输出图像，其特征在于，具备噪声降低处理控制部，其根据所述第一图像的噪声等级来控制用于从所述第一图像获得所述第三图像的图像处理的内容。
2. 根据权利要求l所述的图像处理装置，其特征在于，该图像处理装置具备用于降低所述第一图像的噪声的互不相同的多个噪声降低部， 所述噪声降低处理控制部从所述多个噪声去除部之中选择与所述第一图像的噪声等级相应的噪声去除部，并且通过由所选择的噪声去除部降低所述第一图像的噪声来生成所述第三图像。
3. 根据权利要求l所述的图像处理装置，其特征在于，通过对所述第一图像应用一次以上的规定的噪声降低处理来生成所述第三图像， 所述噪声降低处理控制部根据所述第一图像的噪声等级来改变对所述第一图像应用 的所述噪声降低处理的次数。
4. 根据权利要求1所述的图像处理装置，其特征在于，还具备 对位部，其进行所述第一和第二图像的对位；第一合成部，其以对应于所述第三图像与对位后的第二图像之差的合成比率来合成所 述第三图像与对位后的第二图像，从而生成第四图像；禾口第二合成部，其以对应于所述第一或第三图像所包含的边缘的强度的合成比率来合成 所述第一图像与所述第四图像，从而生成所述输出图像。
5. —种摄像装置，其特征在于，具备 通过摄影获取图像的摄像部；禾口 权利要求1所述的图像处理装置； 所述第一和第二图像由所述摄像部获取。
6. —种图像处理装置，其特征在于，具备对位部，其对通过摄影获得的第一图像和通过曝光时间比所述第一图像的曝光时间长 的摄影获得的第二图像进行对位；噪声降低部，其对对位后的所述第一和第二图像的图像区域间的重叠区域和非重叠区 域进行确定，并且通过对所述第一图像的重叠区域内的图像执行第一噪声降低处理来生成 第一噪声降低图像，而通过对所述第一图像的非重叠区域内的图像执行与所述第一噪声降 低处理不同的第二噪声降低处理来生成第二噪声降低图像；禾口结合部，其将合成所述第一和第二图像的重叠区域内的图像与所述第一噪声降低图像 而获得的合成图像，与所述第二噪声降低图像结合，从而生成输出图像。
7. —种摄像装置，其特征在于，具备 通过摄影获取图像的摄像部；禾口 权利要求6所述的图像处理装置； 所述第一和第二图像由所述摄像部获取。
8. —种图像处理装置，根据通过摄影获得的第一图像和通过曝光时间比所述第一图像 的曝光时间长的摄影获得的第二图像，生成降低了所述第一图像的噪声后的第三图像和作为所述第二与第三图像的合成图像的第四图像，并通过合成所述第一和第四图像来生成输 出图像，其特征在于，具备合成比率调整部，其根据所述第一图像的噪声等级，来调整作为合成所述第二和第三 图像时的合成比率的第一合成比率、和作为合成所述第一和第四图像时的合成比率的第二 合成比率之中的至少一方。
9. 根据权利要求8所述的图像处理装置，其特征在于，所述第一合成比率通过将所述第二图像与所述第三图像之差应用到规定的第一变换 条件中而被导出，并且，所述第二合成比率通过将所述第一图像或第三图像所包含的边缘 的强度应用到规定的第二变换条件中而被导出，所述合成比率调整部通过根据所述第一图像的噪声等级调整所述第一和第二变换条 件之中的至少一方，从而根据所述第一图像的噪声等级调整所述第一和第二合成比率之中 的至少一方。
10. —种摄像装置，其特征在于，具备 通过摄影获取图像的摄像部；禾口 权利要求8所述的图像处理装置； 所述第一和第二图像由所述摄像部获取。
全文摘要
本发明提供一种图像处理装置，该图像处理装置对通过摄影获得的第一图像、通过曝光时间比所述第一图像的曝光时间长的摄影获得的第二图像、通过降低所述第一图像的噪声获得的第三图像进行合成来生成输出图像。图像处理装置具备噪声降低处理控制部，其根据所述第一图像的噪声等级控制用于从所述第一图像获得所述第三图像的图像处理的内容。
文档编号G03B5/00GK101753779SQ20091025837
公开日2010年6月23日 申请日期2009年12月14日 优先权日2008年12月12日
发明者畑中晴雄, 福本晋平, 饭岛靖博 申请人:三洋电机株式会社