图像处理装置及图像处理装置的控制方法
【技术领域】
[0001] 本发明涉及一种图像处理装置和图像处理装置的控制方法，尤其涉及一种校正缺 陷像素的技术。
【背景技术】
[0002] 诸如数字照相机等摄像装置使用诸如CMOS传感器等图像传感器来拍摄图像。通 常，由于图像传感器中配设了大量像素，因此其中存在缺陷像素。作为校正此类缺陷像素的 值的技术，已知一种将从存在于缺陷像素的周边的一个或多个非缺陷像素的一个或多个值 中估计的像素值用作缺陷像素位置处的像素值的方法。在本说明书的下文中，获取在像素 为非缺陷的情况下应该被获取的缺陷位置处的像素值将被称为缺陷像素校正。
[0003] 例如，日本特开平11-220661号公报公开了一种方法，在该方法中，参照与缺陷像 素颜色相同的周边像素的值，将缺陷像素附近的被摄体的形状分类为任何预定图案，并通 过使用对应于已分类的图案的周边像素及方法来校正缺陷像素。日本特开2005-175547号 公报公开了一种方法，在缺陷像素附近的被摄体的空间频率高时使用邻接像素来检测缺陷 像素的校正中将要使用的像素的参照方向，从而实现比使用与缺陷像素颜色相同的像素的 情况更精确的插值。
[0004] 然而，利用上述专利文献中公开的传统技术可以对具有预定的特定的角度的被摄 体精确地校正缺陷像素，但在被摄体具有不同的角度的情况下存在发生错误校正的情况。 例如，考虑到被摄体具有如图13A中示出的接近水平的角度（这里大约是27度）的情况。 在图13A中，以粗框表示传统技术中的缺陷像素的校正中使用的像素的参照区域。假定缺 陷像素位置处的像素值是图13B中示出的值（0)，利用参照区域内与缺陷像素颜色相同的 像素的值（30或40)不能适当地校正缺陷像素。
[0005] 通过扩展参照区域能够提高在参照区域内发现适合于缺陷像素校正的像素值的 可能性。然而，例如，如果由于缺陷像素而使具有图13C所示的重复图案的被摄体的像素值 变为如图13D所示，则存在不能够基于两点间的差正确地检测被摄体的角度的情况。
【发明内容】
[0006] 本发明提供一种即使是包含缺陷像素的被摄体不具有特定角度时也能够实现恰 当校正缺陷像素的图像处理装置及该图像处理装置的控制方法。
[0007] 根据本发明的一方面，提供一种图像处理装置，所述图像处理装置包括：用于获取 图像的获取单元；用于基于校正目标像素的位置而设置所述图像的第一区域的第一设置单 元，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个像素；用于设 置所述图像的多个第二区域的第二设置单元，各个所述第二区域都基于在被设置为不通过 所述校正目标像素的至少一条参照线上存在的多个像素的位置；用于计算各个所述第二区 域与所述第一区域的相关量的相关性计算单元；以及通过利用基于所述相关量确定的、各 个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素对应的像素的 值的校正值，并利用所述校正值来校正与所述校正目标像素对应的像素的值的校正单元。
[0008] 根据本发明的另一方面，提供了一种用于控制图像处理装置的方法，所述方法包 括：用于获取图像的获取步骤；用于基于校正目标像素的位置而设置所述图像的第一区域 的第一设置步骤，所述第一区域包括在被设置为通过所述校正目标像素的关注线上的多个 像素；用于设置所述图像的多个第二区域的第二设置步骤，各个所述第二区域都基于在被 设置为不通过所述校正目标像素的至少一条参照线上存在的多个像素的位置；用于计算各 个所述第二区域与所述第一区域的相关量的相关性计算步骤；以及通过利用基于所述相关 量而确定的、各个所述至少一条参照线上的像素的值而计算用来校正与所述校正目标像素 对应的像素的值的校正值，并利用所述校正值而校正与所述校正目标像素对应的像素的值 的校正步骤。
[0009] 根据以下参照附图对实施例的详细描述，本发明的其他特征将变得清楚。
【附图说明】
[0010] 图1A和图1B是根据本发明的实施例的摄像装置和信息处理装置的框图。
[0011] 图2是示出实施例中的图像传感器中的示例性像素阵列的图。
[0012] 图3是示出第一实施例中的缺陷像素校正处理的流程图。
[0013] 图4是第一实施例中的相关量计算处理的示意图。
[0014] 图5A至图5C示出了实施例中的相关量计算处理的具体例子。
[0015] 图6是示出第二实施例中的参照线的设置的示意图。
[0016] 图7是例示第三实施例的示意图。
[0017] 图8A和图8B是例示第四实施例的示意图。
[0018] 图9是示出第四实施例中缺陷像素校正的概要的示意图。
[0019] 图10是示出第四实施例中缺陷像素校正处理的流程图。
[0020] 图11A至图11D是示出第四实施例中用于合成校正值的示例性方法的图。
[0021] 图12A和图12B是例示第四实施例中用于合成校正值的方法的图。
[0022] 图13A至图13D是示出利用传统技术很难处理的被摄体条件的例子的图。
【具体实施方式】
[0023] 将根据附图详细描述本发明的实施例。下文描述的本发明的各实施例能够被独立 地实施，或者在必要时或从各个实施例的要素或特征的组合在单个实施中是有益的时，作 为多个实施例或其特征的组合来实施。
[0024] 请注意，尽管以下实施例将描述本发明应用于摄像装置的示例，但诸如与摄影和 摄影图像的记录相关的功能等摄像装置所独有的配置不是根据本发明的图像处理装置所 必需的。可以在任何能够获取通过摄影获取的图像数据以及用于此摄影中的图像传感器中 的缺陷像素的相关信息的电子设备中实施本发明。"摄像装置"并不限于诸如数字照相机等 主要功能为摄影的装置，而是指任何具有摄影功能的电子设备。
[0025] 第一实施例
[0026] 图1A是示出作为根据本发明实施例的示例性图像处理装置的摄像装置（或图像 处理装置）100的示例性功能配置的框图。
[0027] 摄像装置100是诸如数字照相机或数字摄像机等拍摄被摄体并获取表示被摄体 的图像的数据（图像数据）的装置。光学系统101具有透镜、快门及光圈，并在CPU103的 控制下在图像传感器102上形成被摄体的光学图像。可以是诸如CCD或CMOS图像传感器 的图像传感器102在各像素处对形成的被摄体的光学图像执行光电转换，并将其转换为模 拟图像信号。CPU103将模拟图像信号转换为数字图像信号（图像数据），并将其应用于诸 如白平衡调整和色插值处理等所谓的显影处理及编码处理。CPU103通过执行程序并控制 各功能块来实现摄像装置100的各种功能。请注意，被描述为作为软件由CPU103实现的 功能中的至少一些功能可以通过硬件（即离散电路、ASIC、可编程逻辑器件等）来实现。
[0028]例如，一次存储设备104是诸如RAM等易失性存储设备，并被用作诸如CPU103的 工作区域等临时数据存储区域。例如，二次存储设备105是诸如EEPR0M等非易失性存储设 备，并存储用于控制摄像装置1〇〇的程序（固件）、CPU103执行的程序、各种设置信息等。
[0029] 例如，存储介质106(半导体存储卡）将通过摄影获取的图像数据存储为预定格式 的数据文件。例如，存储介质106可以从摄像装置100移除，并可以与诸如个人电脑等具有 访问存储介质106的功能的其他设备一起使用。换言之，摄像装置100仅需要具有访问存 储介质106的功能并能够从/向存储介质106中读出/写入数据。
[0030] 例如，显示单元107用于在摄影时显示取景器图像、显示拍摄的图像或从存储介 质106读出的图像以及显示用于交互操作的用户界面。例如，操作单元108具有诸如按钮、 开关、操纵杆以及触摸面板等输入器件，且使用户能够针对摄像装置100给出各种指令并 配置其设置。请注意，操作单元108中还包括实现诸如语音输入或视线输入等不需要物理 操作的输入方法的配置。
[0031] 通信装置109使摄像装置100能够向/从外部设备发送/接收控制命令和数据。 将要用于与外部设备通信的协议并无特别限定，其可以是例如PTP(图片传输协议）。请注 意，例如，通信装置109可以使用USB(通用串行总线）电缆等通过有线连接与外部设备通 信，或者可以使用无线LAN等通过无线连接与外部设备通信。通信装置109可以直接与外 部设备相连接，或者可以经由服务器或经由诸如互联网等网络来连接。
[0032] 在图2中，2a部分示出了本实施例中图像传感器102中的示例性像素阵列。图像传 感器102包含具有原色拜耳阵列的颜色滤波器。具体地说，其包含具有由两个水平像素X 两个垂直像素的四个像素构成的重复单位的阵列。在重复单位中，左上方的像素是红色（R) 像素、右上方和左下方是绿色（G)像素，右下方像素是蓝色（B)像素。尽管2a部分示出了 缺陷像素位于中心的非常少的一部分像素，但是其他部分也具有相同的阵列。请注意，尽管 图像传感器具有"缺陷像素