图像合成装置和图像合成方法
【技术领域】
[0001]本发明涉及在对多张图像数据进行合成时去除突发性像素缺陷的影响的图像合成装置和图像合成方法、程序。
【背景技术】
[0002]近年来，提出了以规定时间间隔取得多张图像数据、通过累积该多张图像数据并进行加法合成从而在B门拍摄中监视拍摄图像的摄像装置(例如参照日本公开专利2005-117395号公报(以下为专利文献I))、对多张图像数据的每个像素的亮度进行比较、选择亮度电平较大的像素的亮度进行图像合成的图像合成装置(例如参照日本专利第4148586号公报(以下为专利文献2))等、对多张图像数据进行图像合成的各种图像合成装置。
[0003]并且，在摄像元件中存在缺陷像素，与被摄体无关，在缺陷像素的位置，在图像中残留亮点或黑点。作为缺陷像素，不限于始终产生缺陷的像素，还存在有不是始终产生而突发性产生缺陷的缺陷像素。
[0004]因此，提出了去除这种缺陷像素的影响的各种技术。例如，日本公开专利2004-056395号公报(以下为专利文献3)所公开的图像合成装置拍摄多张图像，从该多张图像中检测突发性产生的缺陷像素(不是始终产生的缺陷像素)的位置，记录在存储器中。并且，日本专利第4349207号公报(以下为专利文献4)所公开的图像合成装置使用前帧图像，计算关注像素的相同颜色相邻的平均值，使用阈值进行比较，根据该比较结果对关注像素的电平进行校正运算。
[0005]如上所述，在对多张图像数据进行合成时，当存在突发性缺陷像素时，合成图像的画质降低。当为了解决该问题而使用专利文献3提出的技术时，在缺陷像素的检测用的拍摄张数较少的情况下，效果较小，并且，在拍摄张数较多的情况下，突发性像素缺陷的检测花费时间。并且，当使用专利文献4提出的技术时，当对被摄体的明暗的边缘部分进行平均化时，电平上升而成为误校正。并且，由于仅检测相同颜色，所以，星星等较小的被摄体也可能被判定为缺陷。因此，在现有技术中，在存在突发性像素缺陷的情况下，无法高效进行检测并去除像素缺陷的影响。
【发明内容】
[0006]本发明是鉴于这种情况而完成的，其目的在于，提供在存在突发性像素缺陷的情况下也能够高效进行检测并去除像素缺陷的影响的图像合成装置和图像合成方法。
[0007]本发明的图像合成装置包括:图像取得部，其取得第I图像数据和第2图像数据；减法处理部，其针对上述第I图像数据中的至少一部分和上述第2图像数据中的至少一部分得到每个像素的差分值；滤波处理部，其针对上述差分值进行基于图像的空间频率的滤波处理；以及图像合成部，其根据上述滤波处理输出，在上述第I图像数据中的至少一部分上合成上述第2图像数据中的至少一部分。
[0008]本发明的另一个图像合成装置包括:图像取得部，其取得第I图像数据和第2图像数据；滤波处理部，其针对上述第I图像数据和上述第2图像数据进行基于空间频率的滤波处理；减法处理部，其针对基于上述滤波处理部的上述第I图像数据的滤波处理输出中的至少一部分和上述第2图像数据的滤波输出，得到每个像素的差分值；以及图像合成部，其根据上述差分值，在上述第I图像数据中的至少一部分上合成上述第2图像数据中的至少一部分。
[0009]本发明的图像合成方法包括以下步骤:图像取得步骤，取得第I图像数据和第2图像数据；差分值取得步骤，取得上述第I图像数据中的至少一部分与上述第2图像数据中的至少一部分的每个像素的差分值；滤波处理步骤，针对上述差分值进行基于图像的空间频率的滤波处理；以及合成步骤，根据上述差分值和上述滤波处理的结果，在上述第I图像数据中的至少一部分上合成上述第2图像数据中的至少一部分。
[0010]根据本发明，能够提供在存在突发性像素缺陷的情况下也能够高效进行检测并去除像素缺陷的影响的图像合成装置、图像合成方法和程序。
【附图说明】
[0011]图1是示出本发明的第I实施方式的照相机的主要电气结构的框图。
[0012]图2是示出本发明的第I实施方式的照相机的图像处理部的详细情况的框图。
[0013]图3是示出本发明的第I实施方式的照相机中的比较亮合成处理时的动作的时序图。
[0014]图4是示出本发明的第I实施方式的照相机的动作的流程图。
[0015]图5是示出本发明的第I实施方式的照相机的动作的变形例的流程图。
[0016]图6A和图6B是示出本发明的第I实施方式的照相机的数值转换的例子的图。
[0017]图7A和图7B是示出本发明的第I实施方式的照相机的滤波处理的例子的图。
[0018]图8是示出本发明的第2实施方式的照相机的动作的流程图。
[0019]图9是示出本发明的第2实施方式的照相机的动作的变形例的流程图。
[0020]图1OA?图1OC是说明本发明的第I和第2实施方式的照相机中的2个图像的像素对位的图。
[0021]图1lA?图1lC是示出本发明的第I实施方式的照相机的滤波处理的另一例的图。
【具体实施方式】
[0022]下面，使用应用了本发明的照相机对优选实施方式进行说明。本发明的优选实施方式的照相机是数字照相机，概略地讲，在显示部中实时取景显示基于从摄像元件(图像传感器4)中读出的图像数据的图像数据，并且，根据释放按钮的操作而将记录用的进行图像处理后的图像数据记录在外部存储器中。并且，在设定了比较亮合成模式的情况下，连续拍摄多张图像，对对应的像素(相同位置的像素)的明亮度进行比较，在较亮的情况下，置换为关注像素的图像数据，另一方面，在不亮的情况下，不置换为关注像素的图像数据，而进行图像合成(将其称为比较亮合成)。
[0023]并且，在进行比较亮合成时，在关注像素的明亮度的电平高于比较合成图像的情况下，确认周边像素的电平，在不存在较亮像素的情况下，不进行关注像素的图像数据的置换。一般情况下，即使是星星等一点较亮的被摄体，也不是仅一个像素较亮，而是周围的多个像素较亮。在仅一个像素的明亮度电平较高的情况下，视为突发性像素缺陷，所以不用于图像合成。
[0024]图1是示出作为本发明的优选实施方式的第I实施方式的照相机的主要电气结构的框图。本实施方式中的照相机具有摄像部1、图像处理部10、系统控制部20、总线31和与其连接的各部。另外，在本实施方式中，镜头2与照相机主体一体构成，但是，当然也可以是更换镜头。
[0025]在摄像部I内具有镜头2、机械快门3、图像传感器4。镜头2在图像传感器4的摄像面上形成被摄体的光学像。镜头2作为形成被摄体像的光学系统发挥功能。在该镜头2内具有决定用于调节曝光量的光圈值的光圈。并且，机械快门3通过开闭动作进行针对图像传感器4的曝光和遮光，控制快门速度。
[0026]图像传感器4包括CMOS图像传感器或CXD图像传感器等摄像元件，按照每个像素将由镜头2形成的被摄体的光学像转换为电信号，将图像数据输出到图像处理部10和总线31。总线31是用于在各块间进行信号收发的信号线。机械快门3和图像传感器4生成第I图像数据(第I图像数据是根据从图像传感器4中读出的图像数据而最初生成的图像数据或由图像处理部10合成后的合成图像)和第2图像数据(根据从图像传感器4中读出的图像数据而最近生成的图像数据)。并且，摄像部I作为如下的摄像部发挥功能:对由光学系统形成的被摄体像进行摄像，并将其作为第2图像数据进行输出。
[0027]图像处理部10对从图像传感器4输出的图像数据实施图像处理。图像处理部10的详细结构使用图2在后面叙述。
[0028]在总线31上，除了所述图像处理部10以外，还连接有内部存储器33、外部存储器36、显示部37、输入接口 38、系统控制部20。
[0029]内部存储器33暂时存储照相机动作所需要的各种设定信息、图像处理时在中途经过的图像数据。内部存储器33由闪存等非易失性存储器构成。
[0030]外部存储器36是在照相机主体上插装自如或固定在内部的非易失性存储介质，例如是SD卡或CF卡等。该外部存储器36记录由显影处理部18进行显影处理后的图像数据，并且，在再现时，能够读出所记录的图像数据并将其输出到照相机的外部。外部存储器36发挥作为保持并输出图像数据的记录部的功能。并且，外部存储器36记录基于图像处理部10内的图像合成部17的已合成图像数据。
[0031]显示部37具有TFT (Thin Fi