专利名称：摄像装置的制作方法
技术领域：
本发明涉及一种数字静止图像照相机或数码摄像机等摄像装置。
背景技术：
近年来，广泛开发了抑制由于手抖动或被摄体抖动而产生的图像模糊的技术。这 种技术中，也有用光学方法进行抖动修正的技术，但是为了用光学方法进行抖动修正，需要 具备检测抖动的传感器以及光学上进行抖动修正的机构。这些传感器以及机构的搭载在成 本和装置的小型化方面具有不利影响。因此，也提出了各种各样通过摄影后的图像处理对 模糊进行修正的技术。 例如，在某种以往方法中，通过曝光时间(e邓osure time)短的曝光，摄影分辨率 高但是噪声多的第一图像，并且通过曝光时间(e邓osure time)长的曝光，摄影分辨率低但 是噪声少的第二图像。而且，基于第一和第二图像的图像数据检测两图像间的位置偏差，进 行用于消除该位置偏差的位置对准之后，通过合成第一和第二图像来生成修正图像。
通过这样的第一和第二图像间的位置对准的图像合成处理谋求了抖动和噪声少 的图像的生成，但是，未必始终能够正确地执行位置对准，且假设位置对准失败，则在修正 图像中被摄体会表现成两层，在合成处理中一方图像的合成比率会变得异常高，导致修正 图像中会包含大的模糊或噪声。
发明内容
本发明的第一摄像装置是一种具备通过摄影来输出图像的图像数据的摄像部，基 于根据规定的摄影指示而获得的所述摄像部的输出数据生成输出图像，其特征在于，具备 第一修正部，其基于由所述摄像部摄影的第一图像的图像数据以及以比所述第一图像的曝 光时间长的曝光时间摄影的第二图像的图像数据，进行所述第一和第二图像间的位置对准 之后，通过合成所述第一和第二图像来生成所述输出图像；第二修正部，其不采用所述第二 图像，而是通过减少所述第一图像的噪声来生成所述输出图像；和修正控制部，其基于设定 为所述第二图像的摄影用的摄影条件或所述摄像部的输出数据，执行择一地选择所述第一 和第二修正部的选择处理，根据所选择的修正部生成所述输出图像。 本发明的第二摄像装置，具备通过摄影来输出图像的图像数据的摄像部，基于根 据规定的摄影指示而获得的所述摄像部的输出数据生成输出图像，其特征在于，具备第 一修正部，其基于由所述摄像部摄影的第一图像的图像数据以及以比所述第一图像的曝光 时间长的曝光时间摄影的第二图像的图像数据，进行所述第一和第二图像间的位置对准之 后，通过合成所述第一和第二图像来生成所述输出图像；第二修正部，其不采用所述第二图 像，而是将所述第一图像或对所述第一图像修正后的修正图像作为所述输出图像来输出； 和修正控制部，其基于设定为所述第二图像的摄影用的摄影条件或所述摄像部的输出数 据，执行择一地选择所述第一和第二修正部的选择处理，根据所选择的修正部来生成所述 输出图像。
4
具体而言，例如，所述第一或第二摄像装置中，在所述选择处理中所述第二修正部 被选择时，不执行所述第二图像的摄影。 另外，具体而言，例如，所述第一或第二摄像装置中，作为所述第二图像的摄影条
件设定所述第二图像的曝光时间和摄影所述第二图像时的焦点距离，所述修正控制部基于
被设定的所述第二图像的曝光时间和所述焦点距离内的至少一方，执行所述选择处理。 更具体而言，所述第一或第二摄像装置中，所述修正控制部基于所述第二图像的
曝光时间和摄影所述第二图像时的焦点距离内的至少一方来判定所述位置对准是否成功，
在判定为成功的情况下选择所述第一修正部，在判定为失败的情况下选择所述第二修正部。 或者，例如，所述第一或第二摄像装置中，所述修正控制部基于所述摄影指示前或 后得到的所述摄像部的输出数据，判定所述位置对准是否成功，在判定为成功的情况下选 择所述第一修正部，在判定为失败的情况下选择所述第二修正部。 另外，例如，所述第一或第二摄像装置中，所述第二修正部采用生成对所述第一图 像赋予了因模糊而引起的图像恶化的图像的图像恶化部和生成使所述第1图像的噪声减 少的图像的噪声减少部，通过将所述图像恶化部的生成图像与所述噪声减少部的生成图像 进行合成来生成所述输出图像。 另外，例如，所述第一或第二摄像装置中，所述第一修正部通过将所述第一图像、 所述第二图像以及使所述第一图像的噪声减少后的图像进行合成来生成所述输出图像。
本发明的意义乃至效果会通过以下所示的实施方式的说明而变得更加明确。但 是，以下的实施方式始终是本发明的一个实施方式，本发明乃至各构成要件的用语的意义 不仅限于以下实施方式的记载。
图1是本发明的实施方式所涉及的摄像装置的整体框图。图2是图1的摄像部的 内部结构图。图3(a)和(b)分别是表示由图1的摄像装置摄影的短曝光图像与适当曝光 图像的例的图。图4是表示空间区域的二维坐标系与二维图像的图。图5是本发明的第一 实施例所涉及的图像修正部的内部框图。图6(a)和(b)是用于说明短曝光图像与适当曝 光图像之间的块匹配的图。图7是表示通过降低图3(a)的短曝光图像的噪声而获得的第 二中间生成图像的图。图8是表示位置对准后的适当曝光图像(第一中间生成图像)与噪 声减少处理后的短曝光图像(第二中间生成图像)之间的差分图像的图。图9是表示由图 5的差分值计算部获得的差分值与第一和第二中间生成图像的像素信号的混合率之间的关 系的图。图IO是表示通过将位置对准后的适当曝光图像(第一中间生成图像)与噪声减 少处理后的短曝光图像(第二中间生成图像)合成而获得的第三中间生成图像的图。图11 是表示通过对噪声减少处理后的短曝光图像(第二中间生成图像)实施边缘提取处理而获 得的边缘图像的图。图12是表示由图5的边缘强度值计算部获得的边缘强度值、与短曝光 图像和第三中间生成图像的像素信号的混合率之间的关系的图。图13是表示通过合成短 曝光图像与第三中间生成图像而获得的目标修正图像的图。图14是表示位置对准后的短 曝光图像的图像区域与适当曝光图像的图像区域的位置关系的图。图15是本发明的第2 实施例所涉及的图像修正部的内部框图。图16是表示本发明的第2实施例所涉及的摄像装置的动作的流程的流程图。图17是用于说明本发明的第2实施例所涉及的、曝光时间和 焦点距离的关系中位置对准是否成功的推定方法的图。图18是表示在快门按钮处于全按 状态的时刻周边的摄影图像列的图。
具体实施例方式
以下，参照附图具体说明本发明的实施方式。在所参照的各图中，在相同的部分赋 予相同符号，并原则上省略关于相同部分的重复说明。下面，说明第1 第3实施例，首先， 说明在各实施例中共同的内容或在各实施例中参照的内容。 图1是本发明的实施方式所涉及的摄像装置1的整体框图。摄像装置1是能够摄 影和记录静止图像的数字静止图像照相机或者是能够摄影和记录静止图像和动态图像的 数码摄像机。另外，摄影与摄像意思相同。 摄像装置1具备摄像部11、 AFE (Analog Front End) 12、主控制部13、内部存储器 14、显示部15、记录介质16、操作部17。主控制部13中具有图像修正部20。操作部17中 具有快门按钮17a。另外，在本实施方式中，假设显示部15被设置在摄像装置1中，但是显 示部15也可以是设置在摄像装置1的外部的显示装置。 图2表示摄像部11的内部结构图。摄像部11具有光学系统35、光圈32、由 CCD (Charge Coupled Devices)或CMOS (Complementary MetalOxide Semiconductor)图像 传感器等构成的摄像元件33、用于驱动控制光学系统35或光圈32的驱动器34。光学系统 35由包括变焦透镜30和聚焦透镜31的多块透镜形成。变焦透镜30和聚焦透镜31能够 在光轴方向上移动。驱动器34通过基于来自主控制部13的驱动控制信号来驱动控制变焦 透镜30和聚焦透镜31的各位置以及光圈32的孔径，从而控制摄像部11的焦点距离(视 角)和焦点位置以及向摄像元件33的入射光量。 摄像元件33光电变换通过光学系统35和光圈32入射的表示被摄体的光学像，并 向AFE12输出通过该光电变换获得的电信号。更具体而言，摄像元件33具备矩阵状二维排 列的多个感光像素，各感光像素蓄积根据曝光时间(即曝光时间的长度)的电荷量的信号 电荷。来自具有与蓄积的信号电荷的电荷量成比例的大小的各感光像素的模拟信号根据在 摄像装置l内生成的驱动脉冲依次被输出到AFE12。以下说明的"曝光"意味着摄像元件33 的曝光。 AFE12放大从摄像部11(摄像元件33)输出的模拟信号，并将放大的模拟信号变换 为数字信号。AFE12依次向主控制部13输出该数字信号。 主控制部13具备CPU (Central Processing Unit) 、 ROM (Read 0nlyMemory)以及 RAM(Random Access Memory)等，作为影像信号处理部而起作用。主控制部13基于AFE12 的输出信号，生成表示由摄像部ll摄影的图像(以下，称作"摄影图像")的影像信号。另 外，主控制部13还具备作为控制显示部15的显示内容的显示控制单元的功能，对显示部15 进行显示中必要的控制。另外，主控制部13向摄像部11输出用于控制摄像单元33的曝光 时间的曝光时间控制信号。对主控制部13具备的图像修正部20的功能将在后面记载。
内部存储器14由SDRAM (Synchronous Dynamic Random AccessMemory)等形成， 暂时存储摄像装置1内生成的各种数据。显示部15是由液晶显示面板等构成的显示装置， 在主控制部13的控制下显示摄影的图像或记录在记录介质16中的图像等。记录介质16
6是SD(Secure Digital)存储卡等非易失性存储器，在主控制部13的控制下存储摄影图像等。 操作部17接收来自外部的操作。对操作部17的操作内容传递给主控制部13。快 门按钮17a是用于指示图像的摄影和记录的按钮。 快门按钮17a形成为能够进行两阶段的下按操作。摄影者轻轻压下快门按钮17a 时，快门按钮17a处于半按状态，从该状态进一步压下快门按钮17a时，快门按钮17a处于 全按状态。 摄影图像能包含由于手抖动引起的模糊。图像修正部20具备以下功能不采用角 速度传感器等手抖动检测传感器，而是通过利用由摄像部11的输出信号所表示的图像数 据的图像处理，生成模糊少的图像的功能。以下，特别将应由图像修正部20生成的模糊少 的图像称作"目标修正图像"。 目标修正图像基于适当曝光图像和短曝光图像或者仅基于短曝光图像被生成。适 当曝光图像指通过根据适当曝光时间T。P的曝光的摄影从摄像元件33获得的图像，短曝光 图像指通过根据比适当曝光时间T。P短的曝光时间TSH的曝光的摄影从摄像元件33获得的 图像。 调整获取短曝光图像时的灵敏度，使得摄影图像的亮度在短曝光图像和适当曝光 图像间为相同程度。即，基于适当曝光时间T。p与曝光时间T^之比，使获取短曝光图像时的 灵敏度比获取适当曝光图像时的灵敏度大，从而使摄影图像的亮度在短曝光图像和适当曝 光图像间为相同程度。灵敏度例如是ISO灵敏度。ISO灵敏度意味着由ISO (International Organizationfor Standardization)规定的灵敏度，通过调节ISO灵敏度，能够调节摄影 图像的亮度(辉度级)。实际上，根据IS0灵敏度决定AFE12的信号放大的放大率。该放大 率与IS0灵敏度成比例。若ISO灵敏度变成两倍，则该放大率也变成两倍，由此，摄影图像 的各像素的辉度值(即，亮度)也变成两倍(但是，这里忽略放大的饱和)。某一像素的辉 度值是指该像素的辉度信号的值。 由于短曝光图像通过比较短的曝光时间摄影而得，因此短曝光图像中包含的由于 手抖动而引起的模糊和由于被摄体抖动而引起的模糊比较少。因此，在短曝光图像中会清 晰地描绘边缘。但是，由于摄影时的灵敏度高，因此短曝光图像中包含的噪声比较多。
相对于此，适当曝光图像通过比较长的曝光时间摄影而得，因此适当曝光图像中 包含的噪声比较少。但是，由于曝光时间长，因此易在适当曝光图像中包含由于手抖动和被 摄体抖动而引起的模糊。 图3(a)和(b)表示短曝光图像与适当曝光图像的例。图3(a)和(b)的图像310 和311分别是短曝光图像与适当曝光图像的例。通过对作为关注被摄体的人物SUB站在作 为背景被摄体的山前的状态进行摄影而获得短曝光图像310与适当曝光图像311。
与适当曝光图像311相比，在短曝光图像310中，虽然清晰地描绘了边缘，但是混 入了比较大的噪声(对应于图3(a)的黑色斑点)。另一方面，与短曝光图像310相比，虽 然适当曝光图像311所包含的噪声少，但是在适当曝光图像311上，人物SUB非常模糊。另 外，在图3(a)和(b)中，假设在短曝光图像310和适当曝光图像311的摄影中人物SUB在 移动，由此，与短曝光图像310上的人物SUB的位置相比，适当曝光图像311上的人物SUB 位于靠右的位置处，并且适当曝光图像311上的人物SUB中产生了被摄体模糊。
另外，如图4所示，定义配置有任意的二维图像300的空间区域(spatialdomain)的二维坐标系XY。图像300例如是适当曝光图像、短曝光图像、目标修正图像、或者、后述的第一 第三中间生成图像或者疑似适当曝光图像。X轴和Y轴是沿二维图像300的水平方向和垂直方向的轴。二维图像300形成为多个像素分别在水平方向和垂直方向上排列成矩阵状，用(x，y)表示作为二维图像300上的任一像素的像素301的位置。在本说明书中，将像素的位置也只叫做像素位置。x和y分别是像素301的X轴和Y轴方向的坐标值。在二维坐标系XY中，若某像素的位置向右侧偏离一个像素量，则该像素的X轴方向的坐标值就会增加l，若某像素的位置向上侧偏离一个像素值，则该像素的Y轴方向的坐标值就会增加1。因此，像素301的位置为(x， y)时，与像素301的右侧、左侧、上侧以及下侧相邻的像素的位置分别用(x+l， y) 、 (x-l， y) 、 (x， y+l) 、 (x， y-l)来表示。 以下，作为说明摄像装置l(特别是图像修正部20)的结构和动作的实施例，说明第1 第3实施例。不存在矛盾的范围内，某实施例中记载的事项也能够适用于其它实施例。特别是，由于第1实施例中记载了第2和第3实施例所示的技术的前提技术，因此，第1实施例所记载的内容在不存在矛盾的范围内，也能适用于第2和第3实施例。
(第1实施例)首先，说明第1实施例。在第1实施例中，通过下按下快门按钮17a，能获得如下的短曝光图像和适当曝光图像。 确认快门按钮17a处于半按状态时，主控制部13进行预曝光，并根据预曝光获得的AFE12的输出信号电平决定适当曝光时间T。P。预曝光指进行短曝光图像和适当曝光图像的曝光之前进行的曝光。之后，确认快门按钮17a处于全按状态时，连续摄影短曝光图像和适当曝光图像。可以在摄影短曝光图像之后摄影适当曝光图像，也可以在摄影适当曝光图像之后摄影短曝光图像，但是按照两图像的曝光间隔尽量短的方式连续对两图像进行摄影。如上所述，适当曝光图像是由适当曝光时间T。p摄影的，短曝光图像是用比适当曝光时间T。P短的曝光时间TSH摄影的。例如，将曝光时间TSH设定为相当于光学系统35的焦点距离的倒数的手抖动极限曝光时间以下。也可以将TSH设定为T。P/4等。 图5是第1实施例所涉及的图像修正部20a的内部框图。在第1实施例中，作为图1的图像修正部20，采用图像修正部20a。如上所述进行摄影的短曝光图像和适当曝光图像的图像数据被输入到图像修正部20a中。图像数据指表示图像的颜色和辉度的数据。
图像修正部20a具备检测短曝光图像与适当曝光图像之间的位置偏差来进行两图像间的位置对准的位置对准部51 ;降低短曝光图像所包含的噪声的噪声减少部52 ;获得位置对准后的适当曝光图像与噪声减少后的短曝光图像之间的差分来计算出各像素位置的差分值的差分值计算部53 ;用基于该差分值的合成比率将位置对准后的适当曝光图像与噪声减少后的短曝光图像进行合成的第一合成部54 ;从噪声减少后的短曝光图像提取边缘后计算出边缘强度值的边缘强度值计算部55 ;和通过利用基于边缘强度值的合成比
率来合成短曝光图像与基于第一合成部54的合成图像，从而生成目标修正图像的第二合成部56。 详细说明图像修正部20a内的各部位的动作。另外，仅记载为短曝光图像的情况是指没有实施基于噪声减少部52的噪声减少处理的短曝光图像(在后述的其它的实施例中也相同)。图3(a)例示的短曝光图像310是没有实施基于噪声减少部52的噪声减少的短曝光图像。
位置对准部51基于短曝光图像和适当曝光图像的图像数据检测短曝光图像与适当曝光图像之间的位置偏差，并基于检测出的位置偏差进行短曝光图像和适当曝光图像间的位置对准。如上所述，由于连续摄影短曝光图像和适当曝光图像，因此摄影两图像时的摄影区域大致相同，但是，由于摄影两图像的时刻不完全相同，因此两图像的摄影区域会稍有偏离，结果，有时会导致同一被摄体的图像数据存在的、短曝光图像上的位置与适当曝光图像上的位置稍有偏离。 位置对准部51检测该位置偏差，并对适当曝光图像的各像素的坐标值实施坐标
变换，使得消除检测出的位置偏差。由此，若忽略误差，则能使同一被摄体的图像数据存在
的、短曝光图像上的位置与坐标变换后的适当曝光图像上的位置完全一致。 作为位置对准部51的位置偏差的检测方法，能够采用从两张图像的图像数据能
检测两张图像间的位置偏差的任意的方法。例如，能够采用典型点匹配法、块匹配法或梯度
法来检测位置偏差。作为示例，参照图6(a)和(b)说明利用块匹配法时的位置偏差检测方法。 在图6(a)中，符号350表示短曝光图像，符号351表示设定在短曝光图像350内的关注块。关注块351是短曝光图像350的全图像区域(整体图像区域)的一部分。在图6(b)中，符号360表示适当曝光图像，符号361表示设定在适当曝光图像360内的候补块。候补块361是适当曝光图像360的全图像区域的一部分。关注块351与候补块361具有相同的图像尺寸(由相同的像素数的像素形成)。图6(b)的虚线矩形区域内的范围362表示候补块361所能处于的位置的搜索范围。搜索范围362例如是以关注块351的中心位置为中心的矩形范围。 位置对准部51计算出关注块351内的图像与候补块361内的图像之间的相关值。此时，使候补块361在搜索范围362内向水平方向或垂直方向每次移动1像素，并在每次移动时计算出相关值。相关值例如是关注块351与候补块361之间的互相对应的像素的辉度差的绝对值的总和。即，例如，将关注块351内的全像素的各自分别作为关注像素来捕捉，按每个关注像素求出关注块351内的关注像素辉度值和候补块361内的与关注像素对应的像素的辉度值之差的绝对值，并将由此获得的绝对值(关注块351的像素个数的绝对值)的总和作为相关值来计算。基于该总和的相关值一般被称作SAD(Sum of AbsoluteDifference)。另外，不一定是表示辉度差的绝对值的总和的SAD，也可以将表示辉度差的平方的总和的SSD(Sum of Squared Difference)作为相关值来求出。 相关值表示关注块351内的图像与候补块361内的图像之间的类似性，这些图像的类似性越高，则对应的相关值就越小。位置对准部51确定相关值最小的候补块361的中心位置，并将从关注块351的中心位置向候补块361的中心位置的矢量作为动态矢量来求出。根据该动态矢量的方向和大小，表示从短曝光图像看到的适当曝光图像的位置偏差的方向和大小。 位置对准部51通过基于这样求出的位置偏差(动态矢量)对适当曝光图像实施上述的坐标变换，修正该位置偏差。在第1实施例中，该位置偏差修正后的适当曝光图像(换言之，位置对准后的适当曝光图像)作为第一中间生成图像而起作用。
噪声减少部52通过对短曝光图像实施噪声减少处理，减少短曝光图像所包含的噪声。能够利用适合于噪声减少的任意的空间滤波来实现噪声减少部52中的噪声减少处理。在噪声减少部52中的空间滤波中，优选利用尽量保存边缘的空间滤波器，例如，可采用利用中值滤波器(medianfilter)的空间滤波。 另外，能够利用适合于噪声减少的任意的频率滤波来实现噪声减少部52中的噪声减少处理。在噪声减少部52中利用频率滤波时，采用在短曝光图像所包含的空间频率分量内，使小于规定的截止频率的空间频率分量通过且减小该截止频率以上的空间频率分量的低通滤波器即可。另外，在采用中值滤波器等的空间滤波中，短曝光图像所包含的空间频率分量内的频率比较低的空间频率分量几乎都会留下来，另一方面减少频率比较高的空间频率分量。因此，也可以认为采用中值滤波器等的空间滤波也是基于低通滤波器进行滤波的一种。 将基于噪声减少部52的噪声减少处理后的短曝光图像称作第二中间生成图像。图7表示通过对图3(a)的短曝光图像310实施噪声减少处理而获得的第二中间生成图像312。比较图3(a)和图7可知，在第二中间生成图像312中，降低了短曝光图像310所包含的噪声，另一方面与短曝光图像310相比，边缘变得稍微不清晰。 差分值计算部53计算出第一中间生成图像与第二中间生成图像之间的各像素位置的差分值。用DIF(x， y)表示像素位置(x， y)的差分值。差分值DIF(x， y)是表示第一中间生成图像的像素位置(x，y)的像素与第二中间生成图像的像素位置(x，y)的像素之间的辉度和/或颜色之差的值。 差分值计算部53例如基于下述式(1)，计算出差分值DIF(x， y)。这里，PlY(x， y)是第一中间生成图像的像素位置(x，y)的像素的辉度值，P2y(x，y)是第二中间生成图像的像素位置(x，y)的像素的辉度值。DIF(x，y) = |PlY(X，y)-P2Y(x，y)卜'(1)
除了式(1)夕卜，还能利用RGB形式的信号值并基于下述式(2)或式(3)来计算出差分值DIF(x， y)。这里，PlK(x， y)、Ple(x， y)以及P1b(x， y)分别是第一中间生成图像的像素位置(x， y)中的像素的R、G以及B信号的值，P2K(x， y)、P2e(x， y)以及P2jx， y)分别是第二中间生成图像的像素位置(x， y)的像素的R、G以及B信号的值。某像素的R、G以及B信号是表示该像素的红、绿以及蓝强度的颜色信号。DIF(x，y) = |PlK(x，y)-P2K(x，y) I +1P1G (x， y) _P2G (x， y) | …(2)+1P1B (x， y) _P2B (x， y) | DIF (x， y) = [ {P1K (x，
y) _P2K (x， y)} 2+ {P1G (x， y) _P2G (x， y)}2 ... (3) + {P1B (x， y) _P2B (x， y)} 2]1/2
基于上述式(1)、式(2)或式(3)的差分值DIF(x，y)的计算方法仅仅是例示，也可以用这些以外的方法求出差分值DIF(x，y)。例如，也可以利用YUV形式的信号值并根据与采用RGB形式的信号值时相同的方法计算出差分值DIF(x，y)。此时，将式(2)和式(3)的R、G以及B分别替换成Y、U以及V即可。YUV形式的信号由Y表示的辉度信号、U和V表示的色差信号构成。 图8表示作为像素信号值具有各像素位置的差分值DIF(x， y)的差分图像的例。图8的差分图像313是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的差分图像。在差分图像313中，用白色表示差分值DIF(x， y)比较大的部分，用黑色表示差分值DIF(x，y)比较小的部分。由于短曝光图像310和适当曝光图像311的摄影中的人物SUB的移动，差分图像313中的人物SUB的移动区域中的差分值DIF(x， y)变得比较大。另外，由于因手抖动而引起的适当曝光图像311上的模糊，也会使边缘附近(人物或山的轮廓部分)的差分值DIF(x，y)变大。
第一合成部54进行第一中间生成图像与第二中间生成图像的合成，并将获得的合成图像作为第三中间生成图像来输出。通过对第一和第二中间生成图像的对应像素的像素信号进行加权加法运算来实现该合成。通过加权加法运算会混合对应像素的像素信号，能够基于差分值DIF(x，y)来决定该混合率(换言之，合成比率)。用a (x，y)表示由第一合成部54决定的对应于像素位置(x，y)的混合率。 图9表示差分值DIF(x， y)与混合率a (x， y)之间的关系例。采用图9的关系例时，设"DIF(x， y) < Thl—L"成立时，"a (x， y) = 1"，设"Thl_L《DIF (x， y) 〈Thljl"成立时，"a (x， y) = l-(DIF(x， y)-Thl_L)/(Thl_H-Thl_L)"，设"ThlJl《DIF(x， y)"成立时，"a (x， y) = 0"。这里，Thl_L和Thl_H是满足"O < Thl_L < Thl_H"的规定的阈值。采用图9的关系例时，随着差分值DIF(x， y)从阈值Thl—L向阈值Thl_H增大，对应的混合率a (x， y)会从1向0线性减小，但是也可以使混合率a (x， y)非线性减小。
第一合成部54根据各像素位置的差分值DIF(x， y)决定各像素位置的混合率a (x，y)之后，通过根据下述式(4)混合第一和第二中间生成图像的对应像素的像素信号，生成第三中间生成图像的像素信号。这里，Pl(x，y)、P2(x，y)以及P3 (x， y)分别表示第一、第二以及第三中间生成图像的像素位置(x， y)的像素信号。P3(x， y) = a (x， y)XPl(x，y) + {l-a (x，y))XP2(x，y) …(4) 像素信号Pl(x，y)、P2(x，y)以及P3(x，y)分别是表示第一、第二以及第三中间生成图像的像素位置(x， y)的像素的辉度和颜色的信号，例如以RGB形式或YUV形式表示。例如，像素信号Pl (x， y)等由R、 G以及B信号构成时，通过在每个R、 G以及B信号上分别混合像素信号Pl(x， y)和P2(x， y)来获得像素信号P3(x， y)即可。像素信号Pl (x， y)等由Y、 U以及V信号构成时也一样。 图10表示由第一合成部54获得的第三中间生成图像的例。图9所示的第三中间生成图像314是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的第三中间生成图像。 如上所述，由于在人物SUB移动的区域中差分值D(x， y)变得比较大，因此相对于第三中间生成图像314的第二中间生成图像312(参照图7)的贡献度(l-a (x， y))变得比较大。结果，比起适当曝光图像311(参照图3(b))的被摄体的模糊，第三中间生成图像314的被摄体模糊也被大幅抑制。另外，由于在边缘附近中差分值D(x， y)也会变大，因此上述贡献度(l-a (x， y))会变大。结果，第三中间生成图像314的边缘的清晰度与适当曝光图像311的清晰度相比也被改善。但是，由于与短曝光图像310的边缘比较来看，第二中间生成图像312中的边缘稍微不清晰，因此与短曝光图像310的边缘相比，第三中间生成图像314的边缘也稍微不清晰。 另一方面，差分值D(x， y)比较小的区域被推测为边缘成分少的平坦区域。因此，
对于差分值D(x， y)比较小的区域而言，如上所述，使噪声含有量少的第一中间生成图像的
贡献度a (x，y)变得比较大。由此，第三中间生成图像的噪声能够被抑制得很低。另外，由
于第二中间生成图像是经过噪声减少处理生成的图像，因此在对应于第三中间生成图像的
第二中间生成图像的贡献度(l-a (x，y))比较大的区域中，噪声几乎也不明显。 如上所述，与短曝光图像的边缘相比，第三中间生成图像的边缘稍微不清晰，但是
该不清晰可被边缘强度值计算部55和第二合成部56改善。
11
边缘强度值计算部55对第二中间生成图像进行边缘提取处理，并计算出各像素位置的边缘强度值。用E(x，y)表示像素位置(x，y)的边缘强度值。边缘强度值E(x，y)是表示以第二中间生成图像的像素位置(x， y)为中心的小块内的像素信号的变化量的指标，该变化量越大，则边缘强度值E(x，y)就越大。 例如，根据下述式(5)求出边缘强度值E(x， y)。如上所述，P2Y(x， y)表示第二中间生成图像的像素位置(x， y)的像素的辉度值。Fx(i， j)和Fy(i， j)分别表示用于提取水平方向和垂直方向的边缘的边缘提取滤波器的滤波器系数。作为边缘提取滤波器，能够采用适合于边缘提取的任意的空间滤波器，例如，能够采用微分滤波器、普鲁特伊滤波器(Prewitt filter)、索贝尔滤波器(Sobel filter)。
E(x,y)-
i i
HFX(i，j).P2Y(X + i，y + j)
i=—lj=_l
+
xi>^.p2Y(x+i'y+j)
(5) 例如，采用普鲁特伊滤波器时，在式(5)的Fx(i，j)中代入"Fx(-l，-l) =Fx(_l，0) =Fx(-l，l) = -l"、"Fx(0，-1) =Fx(0，0) =Fx(0，l) = 0)"以及"Fx(1，-1) =Fx(l，0)=Fx(l，l) =1"即可，并在式(5)的Fy(i，j)中代入"Fy(-l，-l) =Fy(0，_l) =Fy(l，_l)=-l"、"Fy(-l，0) =Fy(0，0) =Fy(l，0) = 0)"以及"Fy(-1， 1) =Fy(0，l) =Fy(l，l)=l"即可。当然，这样的滤波器系数是一个例，对于边缘强度值E(x，y)计算用的边缘提取滤波器能够进行各种各样的变形。另外，在式(5)中，采用了具有3X3滤波尺寸的边缘提取滤波器，但是边缘提取滤波器的滤波尺寸也可以是3X3以外。 图11表示作为像素信号值具有各像素位置的边缘强度值E(x， y)的边缘图像的例。图11的边缘图像315是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的边缘图像。在边缘图像315中，用白色表示边缘强度值E(x， y)比较大的部分，用黑色表示边缘强度值E(x，y)比较小的部分。边缘强度值E(x，y)是通过提取由抑制边缘清晰的短曝光图像310的噪声而获得的第二中间生成图像312的边缘来获得的。因此，在分离噪声与边缘并根据边缘强度值E(x， y)明确区分噪声与被摄体边缘的基础上确定边缘的位置。
第二合成部56进行第三中间生成图像与短曝光图像的合成，并将获得的合成图像作为目标修正图像来输出。该合成通过对第三中间生成图像与短曝光图像的对应像素的像素信号进行加权加法运算而实现。根据加权加法运算混合对应像素的像素信号，但能够基于边缘强度值E(x， y)决定该混合率(换言之为合成比率)。用13 (x， y)表示由第二合成部56决定的对应于像素位置(x， y)的混合率。 图12表示边缘强度值E(x， y)与混合率P (x， y)的关系例。采用图12的关系例时，设"E(x， y) < Th2—L"成立时"P (x， y) = 0"，设"Th2—L《E(x， y) < Th2Jl"成立时(x，y) = (E(x， y)-Th2_L)/(Th2_H-Th2_L)"，设"Th2—H《E(x， y)"成立时"P (x， y)=1"。这里，Th2_L和Th2_H是满足"O < Th2_L < Th2_H"的规定的阈值。采用图12的关系例时，随着边缘强度值E(x，y)从阈值Th2—L向阈值Th2Jl增大时对应的混合率P (x，y)从0向1线性增加，但是也可以使混合率13 (x， y)非线性增加。 第二合成部56从各像素位置的边缘强度值E(x， y)决定各像素位置的混合率13 (x， y)之后，通过根据下述式(6)混合第三中间生成图像与短曝光图像的对应像素的像素信号，从而生成目标修正图像的像素信号。这里，P。m(x，y)、PnSH(x，y)以及P3(x，y)分别表示目标修正图像、短曝光图像以及第三中间生成图像的像素位置(x， y)的像素信号。P。ut(x， y) = |3 (x， y) XPINSH(x， y) + {l_|3 (x， y)} XP3(x， y) ... (6) 像素信号P。UT(x， y) 、 PIN SH(x， y)以及P3 (x， y)分别是表示目标修正图像、短曝光图像以及第三中间生成图像的像素位置(x，y)的像素的辉度和颜色的信号，例如，用RGB形式或YUV形式表示。例如，像素信号P3(x， y)等由R、G以及B信号构成时，通过在每个R、G以及B信号上个别混合像素信号Pn^(x，y)和P3(x，y)来获得像素信号P。UT (x， y)即可。像素信号P3(x， y)等由Y、U以及V信号构成时也一样。 图13表示由第二合成部56获得的目标修正图像的例。图13所示的目标修正图像316是基于图3(a)和(b)的短曝光图像310和适当曝光图像311的目标修正图像。在边缘部分，由于对于目标修正图像316的短曝光图像310的贡献度13 (x，y)变大，因此在目标修正图像316中，能改善第三中间生成图像314(参照图10)中的边缘的一点不清晰，并能清晰地描绘边缘。另一方面，在边缘以外的部分，由于对于目标修正图像316的第三中间生成图像314的贡献度(l-P (x， y))变大，因此能抑制包含在短曝光图像310中的噪声反映在目标修正图像316中。由于视觉上，噪声在边缘以外的部分(平坦部分)特别明显，因此基于上述的混合率P (x，y)的合成比率的调整有效果。 由此，根据第1实施例，通过将适当曝光图像(更详细而言，是位置对准之后的适当曝光图像(即，第一中间生成图像))与噪声减少后的短曝光图像(即，第二中间生成图像)利用从这些获得的差分值来合成，从而能够生成抑制了适当曝光图像的模糊和短曝光图像的噪声的第三中间生成图像。之后，通过利用从噪声减少后的短曝光图像(即，第二中间生成图像)获得的边缘强度值来合成第三中间生成图像与短曝光图像，从而能够在目标修正图像中反映短曝光图像的清晰的边缘，另一方面，能够抑制短曝光图像的噪声反映在目标修正图像中。结果，目标修正图像变成模糊和噪声少的图像。 为了明确分离检测边缘与噪声，并良好地回避短曝光图像的噪声混入目标修正图像中，优选如上述那样从噪声减少后的短曝光图像(即，第二中间生成图像)导出边缘强度，但是也可以从噪声减少前的短曝光图像(即，图3(a)的短曝光图像310等)导出边缘强度值。此时，只要在式(5)的P2y(x， y)中代入噪声减少前的短曝光图像的像素位置(x，y)的像素的辉度值的基础上，根据式(5)计算出边缘强度E(x，y)即可。
另外，实际上，短曝光图像的图像区域与位置对准后的适当曝光图像的图像区域之间存在互相不重合的图像区域(在上述的说明中，为了使说明的简单化，忽略了该存在)。S卩，如图14所示，通常，短曝光图像的全图像区域400的位置与位置对准后的适当曝光图像的全图像区域401的位置不完全一致，全图像区域400与全图像区域401重合的区域402 (以下，称作重合区域402)的尺寸比全图像区域400或全图像区域401的尺寸小。在图14中，用斜线区域表示重合区域402。 噪声减少部52、差分值计算部53、第一合成部54、边缘强度值计算部55以及第二合成部56能够基于短曝光图像的重合区域402内的像素信号与第一中间生成图像的重合区域402内的像素信号，生成将重合区域402作为全图像区域的目标修正图像。此时，目标修正图像的全图像区域的尺寸比短曝光图像的全图像区域尺寸小。 取而代之，也可以从第二中间生成图像的非重合区域403内的像素信号生成目标修正图像的非重合区域403内的像素信号(例如，使前者的像素信号与后者的像素信号一致)。另一方面，也可以基于短曝光图像的重合区域402内的像素信号与第一中间生成图像的重合区域402内的像素信号来生成目标修正图像的重合区域402内的像素信号，通过粘合目标修正图像的重合区域402和非重合区域403，从而形成目标修正图像的全图像区域。此时，目标修正图像的全图像区域的尺寸与短曝光图像的尺寸相同。这里，非重合区域403指在短曝光图像的全图像区域中除去重合区域402外剩下的区域，在图14中用点区域表示。(第2实施例)下面，说明第2实施例。根据经由第1实施例所示的短曝光图像和适当曝光图像间的位置对准的图像合成处理，能够生成模糊和噪声少的图像，但是，未必始终能够正确地执行位置对准，且假设位置对准失败，则在修正图像中被摄体会表现成两层，在合成处理中一方图像的合成比率会变得异常高，导致目标修正图像中会包含大的模糊或噪声。 在第2实施例中，考虑到位置对准失败的可能性，即使在产生位置对准失败的情况下也能提供模糊和噪声少的图像的生成。为了能够实现该情况，第2实施例相关的图像修正部具备以下功能在执行短曝光图像和适当曝光图像间的位置对准之前，预测推定该位置对准是成功还是失败的功能，或者，在执行短曝光图像和适当曝光图像间的位置对准之后，事后推定认为该位置对准是成功还是失败的功能。执行位置对准之后也能够进行位置对准的成功/失败的推定，但是在以下的说明中，在位置对准执行前执行该推定。另外，只记载为位置对准时是指短曝光图像和适当曝光图像间的位置对准。 图15是本发明的第2实施例所涉及的图像修正部20b的内部框图。在第2实施例中，作为图1的图像修正部20，采用图像修正部20b。图像修正部20b具备由符号51 59所参照的各部位。通过连续摄影获得的短曝光图像和适当曝光图像的图像数据被输入到图像修正部20b。但是，根据情况，也有不进行适当曝光图像的摄影而向图像修正部20b只输入短曝光图像的图像数据的情况(将在后面详细记载)。 位置对准成败推定部57 (以下，略记为成败推定部57)具备与位置对准部51的位置对准相关的上述推定功能。成败推定部57推定位置对准成功时向选择部59输出成功推定信号，推定位置对准失败时向选择部59输出失败推定信号。该推定方法的详细说明将在后记载，首先，说明图15所示的其它部位的功能等。 疑似适当曝光图像生成部58 (以下，略记为生成部58)对短曝光图像实施噪声减少处理和平滑化处理，并将该噪声减少处理和平滑化处理后的短曝光图像作为疑似适当曝光图像来输出。这里的噪声减少处理和平滑化处理按照以下方式执行疑似适当曝光图像的噪声电平(换言之，信号与噪声之比)成为与实际的适当曝光图像的噪声电平相等程度且包含在疑似适当曝光图像中的模糊的大小成为与实际的适当曝光图像的模糊的大小相等程度的方式。即，按照疑似适当曝光图像成为模拟实际的适当曝光图像的图像的方式，执行噪声减少处理和平滑化处理。 生成部58中的噪声减少处理与噪声减少部52的处理相同。例如，根据利用中值滤波器的空间滤波降低短曝光图像的噪声。对于该噪声减少处理后的短曝光图像，例如通过执行利用平滑化滤波器的空间滤波来生成疑似适当曝光图像。作为用于实现平滑化处理的平滑化滤波器，能够采用高斯滤波器(Gaussian filter)。因为由于手抖动的图像恶化能够近似于基于高斯滤波器的平滑化模糊。通过生成部58的平滑化处理，短曝光图像被赋予 基于模糊的图像恶化，且疑似适当曝光图像变成类似于实际的适当曝光图像的图像。
选择部59基于成败推定部57的位置对准的成败推定结果，选择从位置对准部51 输出的位置对准后的适当曝光图像和从生成部58输出的疑似适当曝光图像的任一方，并 向差分值计算部53和第一合成部54输出选择的图像。被选择部59选择的图像作为第2 实施例(和后述的第3实施例)中的第一中间生成图像而起作用。更具体而言，选择部59 在从成败推定部57输出成功推定信号时，选择位置对准后的适当曝光图像，将位置对准后 的适当曝光图像作为第一中间生成图像来输出，在从成败推定部57输出失败推定信号时， 选择疑似适当曝光图像，将疑似适当曝光图像作为第一中间生成图像来输出。
图像修正部20b内的由符号51 56所参照的各部位与图5的图像修正部20a内 的各部位相同，从选择部59输出第一中间生成图像之后执行的、基于第一中间生成图像和 短曝光图像的目标修正图像的生成动作与第1实施例的动作相同。 另外，在第一合成部54和第二合成部56中应被设定的上述混合率a (x， y)和 P (x， y)的值不适当时，其结果，若对目标修正图像的短曝光图像(和第二中间生成图像) 的贡献度过大时，目标修正图像的噪声会显著，相反，若对目标修正图像的适当曝光图像的 贡献度过大时，目标修正图像的清晰度会被无用得恶化。因此，按照目标修正图像的清晰 度与噪声的平衡成为最佳的状态的方式，预先调整用于根据差分值DIF(x， y)决定混合率 a (x，y)的参数以及用于根据边缘强度值E(x，y)决定混合率P (x，y)的参数即可。例如， 通过在目标修正图像的噪声不显著的范围内按照使对于目标修正图像的短曝光图像(和 第二中间生成图像)的贡献度最大化的方式事先调整上述参数来不破坏目标修正图像的 清晰度即可。(动作流程)下面，参照图16，说明包括图像修正部20b的摄像装置1的动作的顺 序。图16是表示该动作流程的流程图。沿着该流程，说明摄像装置l的动作(特别是图像 修正部20b的动作)的流程。 首先，在步骤Sll中，主控制部13确认快门按钮17a是否处于半按状态，确认快门 按钮17a处于半按状态时执行预曝光。然后，在步骤S12中，根据由预曝光获得的AFE12的 输出信号电平决定适当曝光时间T。P。根据由预曝光获得的AFE12的输出信号电平，检测图 像上的被摄体的亮度，并根据该检测出的亮度决定适当曝光时间T。P。另外，在步骤S13中， 从当前的变焦透镜30的位置检测摄像部11的焦点距离，将该检测出的焦点距离作为焦点 距离^来进行设定。焦点距离^是摄影短曝光图像和适当曝光图像时的摄像部11的焦点 距离。通过确定当前时刻的变焦透镜30的位置，确定当前时刻的光学变焦倍率。
之后，在步骤S14中，主控制部13确认快门按钮17a是否处于全按状态，确认快门 按钮17a处于全按状态时，在步骤S15中，比较适当曝光时间T。p和手抖动极限曝光时间。 例如，可将焦点距离^的倒数作为手抖动极限曝光时间来采用。而且，当适当曝光时间T。P 为手抖动极限曝光时间以下时，判断应由适当曝光时间T。p进行摄影的适当曝光图像中几 乎不包含因手抖动而引起的模糊，从步骤S15过渡到步骤S30，执行步骤S30和S31的处理。 即，在步骤S30中仅执行适当曝光图像的摄影之后，在步骤S31中进行向显示部15的适当 曝光图像的显示、和向记录介质16的适当曝光图像的图像数据的记录，结束图16的动作。 向记录介质16记录图像数据时，也可以采用规定的压縮方式压縮图像数据(在后述的步骤S24中也一样)。 另一方面，在步骤S15中，适当曝光时间T。P比手抖动极限曝光时间大时，在步骤S16中，成败推定部57进行位置对准的成败推定。在步骤S16的成败推定中，预测推定从现在开始要摄影的短曝光图像和适当曝光图像间的位置对准是否成功(针对该推定方法将后述)。 在步骤S16中推定出位置对准成功的情况下，在步骤S17和S18中连续进行基于曝光时间TSH的短曝光图像的摄影和基于适当曝光时间T。P的适当曝光图像的摄影。向图像修正部20b输入获得的短曝光图像和适当曝光图像的图像数据。在图16所示的例中，摄影短曝光图像之后摄影了适当曝光图像，但是也可以摄影适当曝光图像之后摄影短曝光图像。如上所述，曝光时间T^比适当曝光时间T。p短，例如设定为T。p/4。另外，也可以将曝光时间TSH设定为手抖动极限曝光时间或小于手抖动极限曝光时间的任意的曝光时间。
在步骤S17和S18中进行短曝光图像和适当曝光图像的摄影之后，在步骤S19中成败推定部57再次进行位置对准的成败推定。在步骤S19的成败推定中，基于通过步骤S17和S18的摄影得到的短曝光图像和适当曝光图像的图像数据，或者基于其中一个图像的图像数据，预先推定位置对准是否成功(将后述该推定方法)。 在步骤S19中推定出位置对准成功的情况下，在步骤S20中，从成败推定部57向选择部59输出成功推定信号。因此，由选择部59选择通过向图15的位置对准部51赋予在步骤S17和S18摄影的短曝光图像和适当曝光图像而获得的位置对准后的适当曝光图像，在步骤S20中，作为第一中间生成图像输出该位置对准后的适当曝光图像。
在步骤S19中推定位置对准失败时，在步骤S22中，从成败推定部57向选择部59输出失败推定信号。因此，当在步骤S19中推定位置对准失败时，基于步骤S17中摄影的短曝光图像由生成部58生成的疑似适当曝光图像被择部59选择，并在步骤S22中，作为第一中间生成图像输出该疑似适当曝光图像。 另外，推定出步骤S16中位置对准失败时，由于在步骤S21中只进行基于短曝光时间TSH的短曝光图像的摄影，因此过渡到步骤S22。另外，此时，也从成败推定部57向选择部59输出失败推定信号。因此，当推定出步骤S16中位置对准失败时，由选择部59选择基于在步骤21中摄影的短曝光图像由生成部58生成的疑似适当曝光图像，并在步骤S22中，作为第一中间生成图像输出该疑似适当曝光图像。 在步骤S20或S22中从选择部59输出第一中间生成图像之后，执行步骤S23和S24的处理。S卩，在步骤S23中，图像处理部20b基于在步骤S20或S22中从选择部59输出的第一中间生成图像、和根据步骤S17或S21的摄影获得的短曝光图像，根据上述的方法生成目标修正图像。之后，在步骤S24中，向显示部15显示获得的目标修正图像以及向记录介质16记录目标修正图像的图像数据，然后结束图16的动作。 图16的流程图中，分别在步骤S16和步骤S19中进行了位置对准的成败推定，但是也可以省略其中一方。省略步骤S19的成败推定时，在步骤S17和S18中进行短曝光图像和适当曝光图像的摄影之后，必须进入步骤S20输出位置对准后的适当曝光图像来作为第一中间生成图像。 省略步骤S16的成败推定时，也省略步骤S21的处理，并且在步骤S15中判断出适当曝光时间T。P比手抖动极限曝光时间大之后，必须要经过步骤S17和步骤S18的短曝光图
16像和适当曝光图像的摄影后执行步骤S19的成败推定。(位置对准的成败的推定方法)详细说明成败推定部57的位置对准的成败的推定 方法。成败推定部57可根据各种方法进行该推定。以下，例示作为位置对准的成败推定方 法能够采用的第一 第三推定方法。能够将第一或第二推定方法作为步骤S16的位置对准 的成败推定方法来采用，能够将第三推定方法作为步骤S19的位置对准的成败推定方法来 采用。(第一成败推定方法)首先，说明第一成败推定方法。在第一成败推定方法中，基 于对适当曝光图像设定的摄影条件进行位置对准的成败推定。这里的摄影条件包括适当曝 光时间T。p和焦点距离^。 适当曝光时间T。p或焦点距离fj曾大时，一般由手抖动引起的适当曝光图像上的 模糊会增加。由被摄体抖动引起的模糊也相同。而且，当其过大时，适当曝光图像上的模糊 会过大，从而为了用于位置对准而被计算出的位置偏离(上述的动态矢量)的精度会降低， 结果导致位置对准失败的概率变高。考虑到此，在第一成败推定方法中，基于在步骤S12和 S13中决定的适当曝光时间T。p和焦点距离4，推定位置对准的成败。 具体而言，如图17所示，例如定义取曝光时间和焦点距离作为横轴和纵轴的坐标 系，在该坐标系上预备规定曝光时间和焦点距离之间的关系的判定曲线501和502，并在该 坐标系上配置满足适当曝光时间T。p和焦点距离^的点(T。p，fJ。在图17中，该点(T。p，fJ 位于处在判定曲线502的左下侧的斜线区域(用斜线填充的区域)504内时，适当曝光时间 T。p比手抖动极限曝光时间短，则认为因手抖动而引起的适当曝光图像上的模糊小到能够忽 略的程度。因此，在图16的动作步骤中，点(T。p，fJ位于斜线区域504内时，从步骤S15过 渡到步骤S30，只执行适当曝光图像的摄影。如上所述，能够用焦点距离^的倒数表示手抖 动极限曝光时间。 即使点(T。p， f J不包括在斜线区域504内，S卩，即使适当曝光时间T。P比手抖动极 限曝光时间长，也假设在点(T。p， fj包括在位于判定曲线501的左下侧的区域且不与斜线 区域504重合的点区域(用点填充的区域)503内时，手抖动没有那么大。因此，点(T。p，fJ 位于点区域503内时，推定位置对准成功，并输出成功推定信号。另一方面，点(T。p， fj即 不包括在点区域503中也不包括在斜线区域504中的情况下，推定位置对准失败，输出失败 推定信号。 将区分位置对准的成功/失败的边界曝光时间称作位置对准边界曝光时间。手抖 动极限曝光时间、位置对准边界曝光时间都是焦点距离的函数，焦点距离越大，它们的值越 小。判定曲线501是规定位置对准边界曝光时间与焦点距离之间的关系的曲线，判定曲线 502是规定手抖动极限曝光时间与焦点距离之间的关系的曲线。由于实际的手抖动量受到 摄像装置1的框体形状或快门按钮17a的特性等影响，因此适当得通过实验等预先求出手 抖动极限曝光时间和位置对准边界曝光时间(换言之，判定曲线502和501的形状)即可。
另外，也可以不采用适当曝光时间T。P和焦点距离^两者，而是仅基于适当曝光时 间T。p或仅基于焦点距离^进行位置对准的成败推定。例如，也可以在满足"T。p > 1/或 > f^"时推定位置对准失败并输出失败推定信号，满足"T。p《1V'或"^《fV时推定 位置对准成功并输出成功推定信号。这里，1^是不依赖于焦点距离^而预先设定的一定的 基准曝光时间，fTH是不依赖于适当曝光时间T。P而预先设定的一定的基准焦点距离。
(第二成败推定方法)下面，说明第二成败推定方法。第二成败推定方法中，进行 步骤S17和S18的短曝光图像和适当曝光图像的摄影之前、或者进行步骤S21的短曝光图 像的摄影之前、或者进行步骤S30的适当曝光图像的摄影之前，基于从摄像部11获得的预 览图像，进行位置对准的成败推定。 图18表示快门按钮17a处于全按状态的时刻周围的摄影图像列。摄像装置1在 能够摄影静止图像的摄影模式中，周期地进行摄影来生成摄影图像列。摄影图像列指与时 间序列并存的多个摄影图像的集合。随着时间的经过，设以时刻V t2、…、tn—3、 tn—2、 tn—p k和tn+1该顺序访问，并通过时刻V t2、…、tn—3、 tn—2、 tn—工的摄影从摄像部11获得摄影图 像Ipl2、…、IH、UH，假设在时刻tn—工与时刻tn之间快门按钮17a处于全按状态且发 生了从图16的步骤S14过渡到步骤S15的情况。另外，n是3以上的整数。
此时，全按快门按钮17a之后，至少摄影短曝光图像和适当曝光图像内的一方。在 图18的例中，假设在全按快门按钮17a之后访问的时刻、和tn+1下摄影短曝光图像1 和 适当曝光图像In+1。但是，根据步骤S15和S16的分支处理的结果，全按快门按钮17a之后 只摄影短曝光图像或适当曝光图像。 将上述的摄影图像Ipl2、 "*、In—3、In—2和1 —j尔作预览图像。作为动态图像，在显 示部15更新显示依次获取的预览图像。在第二成败推定方法中，基于该预览图像I"l2、…、
In-3、In-2和1『P进行位置对准的成败推定。以下，说明具体的方法。能够利用以下所述的第 一 第四具体方法的任一个来进行位置对准的成败推定。也可以组合第一 第四具体方法 之内的两个以上的方法来进行位置对准的成败推定。 (i)说明第一具体方法。位置对准的对象图像(短曝光图像和适当曝光图像)平 坦且不怎么包含边缘时，可根据基于图像数据的位置对准的特性认为位置对准失败的可能 性高。而且，当这样的图像特征适用于预览图像时，这样的图像特征也适用于位置对准的对 象图像的可能性高。考虑到此，在第一具体方法中，基于预览图像的边缘强度的大小进行位 置对准的成败推定。 S卩，例如，与通过边缘强度E(x， y)的计算根据第二中间生成图像312生成边缘图 像315的方法同样(参照图7和图ll)，对预览图像1 实施边缘提取处理来生成预览图像 In—P的边缘图像，将预览图像In—P的边缘图像的各像素信号值的平均值(换言之，边缘图像 的平均辉度)作为边缘评价值来求出。之后，比较该边缘评价值与规定的阈值，当边缘评价 值在阈值以下时推定位置对准失败并输出失败推定信号，并非这样时推定位置对准成功并 输出成功推定信号。这里，P是1以上的整数，优选设定P = 1。 (ii)说明第二具体方法。当根据连续摄影获得的两张摄影图像间的物体的移动包 括多个不同的移动时，很难正确检测两图像间的位置偏离。而且，当这样的图像特征适用于 预览图像时，这样的图像特征也适用于位置对准的对象图像的可能性高。考虑到此，在第二 具体方法中，基于图像上是否存在多个不同的移动来进行位置对准的成败推定。
S卩，例如，进行如下处理。从预览图像In—2提取第一 第N个特征点，通过在预览 图像In—2与预览图像之间进行图像匹配(例如，块匹配)，提取与预览图像In—2上的第 一 第N个特征点对应的预览图像In—工上的N个特征点(N是2以上的整数)。特征点是能 够与周围的点进行区别的容易跟踪的点。能够利用检测水平和垂直方向的浓淡变化量变大 的像素的周知的特征点提取器(不图示)，来自动地提取这样的特征点。特征点提取器是例如Harriis的角落检测器、SUSAN的角落检测器。而且，在每个预览图像In—2上的特征点上， 作为特征点动态矢量求出从预览图像In—2上的特征点的位置向预览图像上的对应特征 点的位置的矢量。用M^ MVw表示对第一 第N个特征点求出的特征点动态矢量。之后， 比较特征点动态矢量M^ MVN的方差与规定的阈值，当该方差在阈值以上时判定存在上述 多个不同的移动并且推断位置对准失败，输出失败推定信号，并非这样时推定位置对准成 功并输出成功推定信号。 用MVAVE表示特征点动态矢量MVi MVN的平均矢量时，按每个特征点动态矢量求 出特征点动态矢量与平均矢量MVAVE之间的差分矢量，并能够将获得的N个差分矢量的大小 的平均值用作特征点动态矢量 MVN的方差。 另外，在上述的例中，采用即将摄影短曝光图像之前获得的预览图像In—2与预览图 像1 —i来进行是否存在多个不同的移动的判定，基于该判定来推定位置对准的成败，但是也 可以采用预览图像In—3与预览图像In—2或预览图像In—4与预览图像In—3，来代替预览图像In—2 与预览图像I^。 (iii)说明第三具体方法。当关注摄影图像内存在多个相同情形时，很难正确检测 该关注摄影图像和与其时间上相邻的摄影图像之间的位置偏离。而且，当这样的图像特征 适用于预览图像时，这样的图像特征也适用于位置对准的对象图像的可能性高。考虑到此， 在第三具体方法中，基于图像上是否存在多个相同情形来进行位置对准的成败推定。
SP，例如，进行如下处理。与在图6(a)和(b)的短曝光图像350和适当曝光图像 360内设定关注块351和候补块361并在搜索范围362内移动候补块361的位置的同时计 算出关注块351内的图像与候补块361内的图像之间的相关值的同样的处理，适用于预览 图像In—2和In—lt) S卩，通过将上述的短曝光图像350和适当曝光图像360替换成预览图像In—2 和1^，根据上述的方法求出预览图像In—2和1^的相关值。 根据设定在预览图像In—工上的候补块的移动，求出多个预览图像1 —2和的相关 值，各个相关值与对应的候补块的位置相对应关联。设求出的多个相关值由第一 第N相 关值构成(N是2以上的整数)，为了便于说明，假设对于任意的整数i，条件"第i相关值在 第(i+1)相关值以下"成立。此时，第一相关值是第一 第N相关值内的最小值，第二相关 值是第二个小的相关值，但当与预览图像In—2上的关注块内的情形相同的情形存在于预览 图像上的搜索范围内时，第一相关值与第二相关值之差变得非常小(也有该差为零的 时候)。 在此，比较第一相关值与第二相关值之差和规定的阈值，当该差在阈值以下时判 定存在上述多个相同的情形并且推定位置对准失败，输出失败推定信号，并非这样时推定 位置对准成功并输出成功推定信号。 另外，在上述的例中，采用即将摄影短曝光图像之前获得的预览图像In—2与预览图 像1 —i来判定是否存在多个相同的情形，基于该判定进行了位置对准成败推定，但是除了预 览图像In—2与预览图像In—工夕卜，还可以利用预览图像In—3与预览图像In—2或预览图像In—4与 预览图像I^。 (iv)说明第四具体方法。图6(a)和(b)的短曝光图像350和适当曝光图像360 间的位置偏离大小过大时，应对应于短曝光图像350的关注块351的适当曝光图像360上 的候补块361的位置会超出搜索范围362，不能检测正确的动态矢量。而且，摄影者进行有
19意的照相机操作等在预览图像列中适用这样的位置偏离时，这样的位置偏离也适用于位置 对准的对象图像的可能性高。考虑到此，在第四具体方法中，基于对预览图像列计算出的动 态矢量的大小，进行位置对准的成败推定。有意的照相机操作指摄影者有意地向横或纵向 摇动摄像装置1的壳体的操作(摇摄操作或倾斜操作)。 S卩，例如，进行如下处理。成败推定部57在每次重新获得预览图像时导出时间上 相邻而获得的两张预览图像间的动态矢量。该导出方法与上述的短曝光图像和适当曝光图 像间的动态矢量的导出方法相同。用MV[i，j]表示预览图像Ii和Ij间的动态矢量。这样， 获得与时间序列并存的动态矢量MV[1，2]、MV[2，3]、MV[3，4]、…、MV[n-3，n-2]禾PMV[n-2， n-l]。将这些动态矢量(MV[1，2])等特别称作预览动态矢量。成败推定部57始终监视这 些预览动态矢量的大小，在预览动态矢量的大小逐渐增加而超过规定的阈值时，在那个时 刻判定开始了有意的照相机操作。成败推定部57判定出开始了有意的照相机操作之后，在 一定期间内预览动态矢量的大小被保持在规定的阈值以下时，判定结束了有意的照相机操 作。 在进行这样的有意的照相机操作的开始和结束判定的状态下，若确认快门按钮
17a的状态处于全按状态，则成败推定部57判定该确认时刻是否属于进行有意的照相机操
作的期间。而且，当该确认时刻属于进行有意的照相机操作的期间时，推定位置对准失败并
输出失败推定信号，并非这样时推定位置对准成功并输出成功推定信号。(第三成败推定方法)下面，说明第三成败推定方法。在第三成败推定方法中，基
于由步骤S17和S18的摄影获得的短曝光图像和适当曝光图像的图像数据、或者基于其中
一方图像的图像数据，进行位置对准的成败推定。 在第三成败推定方法中能够应用第二成败推定方法中记载的第一 第三具体方 法。在以下的第三成败推定方法的说明中，向由步骤S17和S18的摄影获得的短曝光图像 和适当曝光图像分别分配符号In和In+1 (参照图18)。 应用第一具体方法时，将上述的第一具体方法说明中的预览图像In—p替换成短曝
光图像In或适当曝光图像In+1即可。即，例如，根据上述的第一具体方法求出短曝光图像In
或适当曝光图像In+1的边缘评价值，当边缘评价值在规定的阈值以下时，推定位置对准失败
并输出失败推定信号，并非这样时推定位置对准成功并输出成功推定信号即可。 应用第二具体方法时，将上述的第二具体方法说明中的预览图像In—2和预览图像
分别替换成短曝光图像In及适当曝光图像In+1即可。即，例如，根据上述的第二具体方
法求出短曝光图像In及适当曝光图像In+1的特征点动态矢量M^ MVN的方差，当该方差在
规定的阈值以上时判定上述多个不同的移动存在，并且推定位置对准失败，输出失败推定 信号，并非这样时推定位置对准成功并输出成功推定信号即可。 应用第三具体方法时，将上述的第三具体方法说明中的预览图像In—2和预览图像 In—分别替换成短曝光图像In及适当曝光图像In+1即可。即，例如，根据上述的第三具体方 法求出短曝光图像In和适当曝光图像In+1的多个相关值，并当该多个相关值中的第一和第 二小的相关值的差在规定的阈值以下时，判定上述多个相同的情形存在，并且推定位置对 准失败，输出失败推定信号，并非这样时推定位置对准成功并输出成功推定信号即可。(第2实施例的作用/效果)当推测出适当曝光时间T。P等大且手抖动大或者根据
图像特征推测出位置偏离检测用的动态矢量的计算精度低时，位置对准失败的可能性高。在这种情况下，实际上位置对准失败，但在该状态下进行基于短曝光图像和适当曝光图像 的模糊修正时，在合成处理中一方图像的合成比率会异常地高，导致目标修正图像中可能 包含大的模糊或噪声。所以，在这种情况下，仅仅只进行适当曝光图像的摄影时，显然不能 得到模糊的修正效果。 鉴于此，在第2实施例中，当推定出位置对准失败时，根据无需进行位置对准的方 法即仅基于短曝光图像的模糊修正方法，生成目标修正图像。基于短曝光图像生成的疑似 适当曝光图像是模拟了实际的适当曝光图像的图像。因此，能够期待从短曝光图像、疑似适 当曝光图像生成的目标修正图像的模糊、噪声与根据短曝光图像、适当曝光图像生成的目 标修正图像的模糊、噪声是相等程度。即，根据第2实施例，即使在推定出位置对准失败的 情况下，也能够生成模糊和噪声少的图像。 另外，推定出位置对准失败时，通过不进行适当曝光图像的摄影而只进行短曝光 图像的摄影(参照图16的步骤S16和S21)，能够节约适当曝光图像的摄影中所需的处理时 间和消耗电力。 另外，从图15的框图也可以明确，起到采用短曝光图像和适当曝光图像来生成目
标修正图像的功能的部位与起到仅采用短曝光图像来生成目标修正图像的功能的部位都
在共同的一个部分当中。因此，可以省略为了追加后者的功能而必要的电路规模。另外，在
图16的步骤S16中推定出位置对准失败时，也可以在步骤S21中进行基于曝光时间TSH的
短曝光图像的摄影，并将该短曝光图像本身作为目标修正图像来处理。此时，从图15的第
二合成部56直接输出短曝光图像的图像数据，作为目标修正图像的图像数据。在位置对准
失败的情况下，从目标修正图像的模糊抑制的观点来看，与根据短曝光图像和适当曝光图
像生成目标修正图像相比，直接将短曝光图像作为目标修正图像来输出更有益。(第3实施例)下面，说明第3实施例。在第3实施例中，说明疑似适当曝光图像
的生成方法的变形例。与第2实施例组合实施第3实施例，且根据第3实施例所述的疑似
适当曝光图像的生成方法，图15的生成部58能够生成疑似适当曝光图像。 在第3实施例的疑似适当曝光图像的生成方法中，在疑似适当曝光图像的生成
中，除了短曝光图像外还参照实际摄影的适当曝光图像。因此，在图16的步骤S16中推定
出位置对准失败的情况下，利用第3实施例的疑似适当曝光图像的生成方法时，只要在步
骤S21中连续摄影短曝光图像和适当曝光图像即可。 在第3实施例中，通过对短曝光图像应用采用平均化滤波器FIL的空间滤波来生 成疑似适当曝光图像。平均化滤波器FIL的滤波器尺寸是mXm(S卩，水平和垂直方向分别的 滤波尺寸是m)，m是3以上的整数。平均化滤波器FIL是对以关注像素位置为中心的mXm 像素的图像区域内的像素信号进行平均化并输出获得的平均像素信号作为空间滤波后的 关注像素位置的像素信号的空间滤波器。 这里，可以变更平均化滤波器FIL的滤波器尺寸。而且，按照由实际的摄影获得的 适当曝光图像的噪声电平与应根据短曝光图像生成的疑似适当曝光图像的噪声电平为相 等程度的方式，在生成部58中调整平均化滤波器FIL的滤波器尺寸(即，调整m的值)。
为了进行该调整，首先，生成部58接收由摄影获得的短曝光图像和适当曝光图像 的图像数据，计算短曝光图像的像素信号值的标准偏差05与适当曝光图像的像素信号值 的标准偏差例如，Os是短曝光图像的各像素的辉度值的标准偏差，且、是适当曝光图像的各像素的辉度值的标准偏差。 —般，执行取q个像素的像素信号的平均的空间滤波时，空间滤波后的图像的噪 声电平变成空间滤波前的噪声电平的lATq。另夕卜，在本说明书中，/"凍示i的正平方根(i 是正的值)。另外，某图像的噪声电平用该图像的像素信号值的标准偏差的正平方根来表
示。因此，短曝光图像的噪声电平是V"cJs，适当曝光图像的噪声电平是/"cJL。 由于平均化滤波器FIL的滤波器尺寸是mXm，因此在根据平均化滤波器FIL的空
间滤波中，m2个像素的像素信号被平均化。因此，对短曝光图像进行根据平均化滤波器FIL
的空间滤波时，空间滤波后的短曝光图像的噪声电平变成(Os/m。 在第3实施例中，该空间滤波后的短曝光图像成为疑似适当曝光图像。而 且，若该疑似适当曝光图像的噪声电平与实际的适当曝光图像的噪声电平相同，则 "/"(js /m =(aL"成立。因此，生成部58根据下述式(7)决定m的值，并通过采用具有基 于决定内容的滤波尺寸的平均化滤波器FIL来对短曝光图像进行空间滤波，生成疑似适当 曝光图像。由此，实际的适当曝光图像的噪声电平与疑似适当曝光图像的噪声电平变得相 同，能够仅根据短曝光图像生成与根据适当曝光图像和短曝光图像来生成的目标修正图像 根据式(7)的计算符号"Ro皿d"，四舍五入该计算符号的被计算项的小数点，使被 计算项的值为整数值。式(7)的计算符号"Ro皿d"的被计算项是((Os/(^)。例如，j为 整数时，若m值为"j-0.5《^T ((Js/cjL)〈j+0.5"则取j，若"j+0.5《((crs/aL) <j+1.5
"则取(j+1)。(变形等)上述的说明中所示的具体的数值仅仅是例示，当然能够将这些变更为 各种数值。作为上述实施方式的变形例或注释内容，以下，记载注释1和注释2。各注释中 所记载的内容，在不存在矛盾的范围内，能够任意进行组合。(注释1)摄像装置1可由硬件或硬件与软件的组合来实现。特别是，在图像修正 部(20、20a或20b)内执行的处理的全部或一部分可由硬件、软件、或者硬件与软件的组合 来实现。采用软件构成摄像装置1时，由软件实现的部位的框图表示该部位的功能框图。
(注释2)例如，能够进行如下考虑。可认为图15的图像修正部20b具备第一修 正部，通过经由短曝光图像和适当曝光图像间的位置对准来合成两图像，从而生成目标修 正图像；第二修正部，根据短曝光图像生成目标修正图像。而且，可认为第一修正部包括由 符号51 56所参照的各部位而形成，第二修正部包括由符号52 56以及58所参照的各 部位而形成。可认为成败推定部57和选择部59形成择一地使第一修正部和第二修正部产 生作用的修正控制部。
权利要求
一种摄像装置，具备通过摄影来输出图像的图像数据的摄像部，基于根据规定的摄影指示而获得的所述摄像部的输出数据生成输出图像，其特征在于，具备第一修正部，其基于由所述摄像部摄影的第一图像的图像数据以及以比所述第一图像的曝光时间长的曝光时间摄影的第二图像的图像数据，进行所述第一和第二图像间的位置对准之后，通过合成所述第一和第二图像来生成所述输出图像；第二修正部，其不采用所述第二图像，而是通过减少所述第一图像的噪声来生成所述输出图像；和修正控制部，其基于设定为所述第二图像的摄影用的摄影条件或所述摄像部的输出数据，执行择一地选择所述第一和第二修正部的选择处理，根据所选择的修正部生成所述输出图像。
2. 根据权利要求l所述的摄像装置，其特征在于，在所述选择处理中所述第二修正部被选择时，不执行所述第二图像的摄影。
3. 根据权利要求l所述的摄像装置，其特征在于，设定所述第二图像的曝光时间和摄影所述第二图像时的焦点距离作为所述第二图像 的摄影条件，所述修正控制部基于被设定的所述第二图像的曝光时间和所述焦点距离中的至少一 方，执行所述选择处理。
4. 根据权利要求3所述的摄像装置，其特征在于，所述修正控制部基于所述第二图像的曝光时间和摄影所述第二图像时的焦点距离中 的至少一方，判定所述位置对准是否成功，在判定为成功的情况下选择所述第一修正部，在 判定为失败的情况下选择所述第二修正部。
5. 根据权利要求l所述的摄像装置，其特征在于，所述修正控制部基于在所述摄影指示前或后得到的所述摄像部的输出数据，判定所述 位置对准是否成功，在判定为成功的情况下选择所述第一修正部，在判定为失败的情况下 选择所述第二修正部。
6. 根据权利要求l所述的摄像装置，其特征在于，所述第二修正部采用生成对所述第一图像赋予了因模糊而引起的图像恶化的图像的 图像恶化部和生成使所述第1图像的噪声减少的图像的噪声减少部，通过将所述图像恶化 部的生成图像与所述噪声减少部的生成图像进行合成来生成所述输出图像。
7. 根据权利要求l所述的摄像装置，其特征在于，所述第一修正部通过将所述第一图像、所述第二图像以及使所述第一图像的噪声减少 后的图像进行合成来生成所述输出图像。
8. —种摄像装置，具备通过摄影来输出图像的图像数据的摄像部，基于根据规定的摄 影指示而获得的所述摄像部的输出数据生成输出图像，其特征在于，具备第一修正部，其基于由所述摄像部摄影的第一图像的图像数据以及以比所述第一图像 的曝光时间长的曝光时间摄影的第二图像的图像数据，进行所述第一和第二图像间的位置 对准之后，通过合成所述第一和第二图像来生成所述输出图像；第二修正部，其不采用所述第二图像，而是将所述第一图像或对所述第一图像修正后 的修正图像作为所述输出图像来输出；禾口修正控制部，其基于设定为所述第二图像的摄影用的摄影条件或所述摄像部的输出数 据，执行择一地选择所述第一和第二修正部的选择处理，根据所选择的修正部来生成所述 输出图像。
全文摘要
本发明提供一种摄像装置，具备通过摄影来输出图像的图像数据的摄像部，基于根据规定的摄影指示而获得的所述摄像部的输出数据生成输出图像，具备第一修正部，其基于由所述摄像部摄影的第一图像的图像数据以及以比所述第一图像的曝光时间长的曝光时间摄影的第二图像的图像数据，进行所述第一和第二图像间的位置对准之后，通过合成所述第一和第二图像来生成所述输出图像；第二修正部，其不采用所述第二图像，而是通过减少所述第一图像的噪声来生成所述输出图像；和修正控制部，其基于设定为所述第二图像的摄影用的摄影条件或所述摄像部的输出数据，执行择一地选择所述第一和第二修正部的选择处理，根据所选择的修正部生成所述输出图像。
文档编号G03B5/00GK101753825SQ20091026248
公开日2010年6月23日 申请日期2009年12月18日 优先权日2008年12月19日
发明者畑中晴雄, 福本晋平, 饭岛靖博 申请人:三洋电机株式会社