图像处理装置和图像处理装置的控制方法
【技术领域】
[0001] 本发明涉及一种图像处理装置和图像处理装置的控制方法，尤其涉及一种用于校 正缺陷像素的技术。
【背景技术】
[0002] 诸如数字照相机等摄像装置使用诸如CMOS传感器等图像传感器来拍摄图像。通 常，由于图像传感器中配设了大量像素，因此图像传感器中存在缺陷像素。作为用于校正此 类缺陷像素的值的技术，已知如下方法：将根据存在于缺陷像素的周边的一个或更多个非 缺陷像素的一个或更多个值而估计的像素值，用作缺陷像素位置处的像素值。在本说明书 的下文中，获得在像素为非缺陷的情况下应该被获得的缺陷位置处的像素值，将被称为缺 陷像素校正。
[0003] 例如，日本特开平11-220661号公报公开了一种方法，在该方法中，参照与缺陷像 素颜色相同的周边像素的值，将缺陷像素附近的被摄体的形状分类为任意预定图案，并通 过使用对应于已分类的图案的周边像素及方法来校正缺陷像素。日本特开2005-175547号 公报公开了如下方法：在缺陷像素附近的被摄体的空间频率高的情况下，使用邻接像素来 检测缺陷像素的校正中将要使用的像素的参照方向，从而实现比使用与缺陷像素颜色相同 的像素的情况更精确的插值。
[0004] 然而，利用上述专利文献中公开的传统技术，可以对具有预定的特定的角度的被 摄体精确地校正缺陷像素，但在被摄体具有不同的角度的情况下存在发生错误校正的情 况。例如，考虑到被摄体具有如图16A中示出的接近水平的角度（这里大约为27度）的情 况。在图16A中，以粗框表示传统技术中的缺陷像素的校正中使用的像素的参照区域。假 定缺陷像素位置处的像素值是图16B中示出的值（0)，利用参照区域内与缺陷像素颜色相 同的像素的值（30或40)不能适当地校正缺陷像素。
[0005] 通过扩展参照区域能够提高在参照区域内发现适合于缺陷像素校正的像素值的 可能性。然而，例如，如果由于缺陷像素而使具有图16C所示的重复图案的被摄体的像素值 变为如图16D所示，则存在不能够基于两点间的差正确地检测被摄体的角度的情况。
【发明内容】
[0006] 本发明提供一种即使在包含缺陷像素的被摄体不具有特定角度时，也能够实现适 当的缺陷像素的校正的图像处理装置和图像处理装置的控制方法。
[0007] 根据本发明的一方面，提供一种图像处理装置包括：获得单元，用于获得图像；第 一设置单元，用于基于校正目标像素的位置来设置所述图像的第一区域，所述第一区域包 括被设置为通过所述校正目标像素的关注线上的多个像素；第二设置单元，用于设置所述 图像的多个第二区域，各个所述第二区域都基于在被设置为不通过所述校正目标像素的至 少一条参照线上存在的多个像素的位置；相关性计算单元，用于计算各个所述第二区域与 所述第一区域的相关量；以及校正单元，通过使用基于所述相关量而确定的、各个所述至 少一条参照线上的像素的值，来计算用于校正与所述校正目标像素对应的像素的值的校正 值，并使用所述校正值来校正与所述校正目标像素对应的像素的值，其中，所述相关性计算 单元以对与对应于所述校正目标像素的像素越接近的部分的相关性应用越大权重的方式， 计算所述相关量。
[0008] 根据本发明的另一方面，提供一种图像处理装置的控制方法，所述方法包括：获得 步骤，获得图像；第一设置步骤，基于校正目标像素的位置来设置所述图像的第一区域，所 述第一区域包括被设置为通过所述校正目标像素的关注线上的多个像素；第二设置步骤， 设置所述图像的多个第二区域，各个所述第二区域都基于在被设置为不通过所述校正目标 像素的至少一条参照线上存在的多个像素的位置；相关性计算步骤，计算各第二区域与所 述第一区域的相关量；以及校正步骤，通过使用基于所述相关量而确定的、各个所述至少一 条参照线上的像素的值，来计算用于校正与所述校正目标像素对应的像素的值的校正值， 并使用所述校正值校正与所述校正目标像素对应的像素的值，其中，在所述相关性计算步 骤中，以对与对应于所述校正目标像素的像素越接近的部分的相关性应用越大权重的方 式，计算所述相关量。
[0009] 根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
【附图说明】
[0010] 图1A和图1B是根据本发明的实施例的摄像装置和信息处理装置的框图。
[0011] 图2是示出实施例中的图像传感器中的示例性像素阵列的图。
[0012] 图3是示出第一实施例中的缺陷像素校正处理的流程图。
[0013] 图4是第一实施例中的相关量计算处理的示意图。
[0014] 图5A和图5B示出了实施例中的相关量计算处理的具体示例。
[0015] 图6是示出第二实施例中的参照线的设置的示意图。
[0016] 图7是用于例不第二实施例的不意图。
[0017] 图8A和图8B是用于例示第四实施例的示意图。
[0018] 图9是示出第四实施例中缺陷像素校正的概要的示意图。
[0019] 图10是示出第四实施例中缺陷像素校正处理的流程图。
[0020] 图11A至图11D是示出第四实施例中用于合成校正值的示例性方法的图。
[0021] 图12A和图12B是用于例示第四实施例中用于合成校正值的方法的图。
[0022] 图13A和图13B是用于例示在第五实施例中要处理的问题的示意图。
[0023] 图14是第五实施例中的相关量计算处理的示意图。
[0024] 图15A至图15C是例示第五实施例的效果的图。
[0025] 图16A至图16D是示出利用传统技术很难处理的被摄体条件的示例的图。
【具体实施方式】
[0026] 将根据附图详细描述本发明的示例性实施例。下文描述的本发明的各实施例能够 被独立地实施，或者在必要时或从各个实施例的要素或特征的组合在单个实施中是有益的 时，作为多个实施例或其特征的组合来实施。
[0027] 请注意，尽管以下实施例将描述本发明应用于摄像装置的示例，但诸如与摄影和 摄影图像的记录相关的功能等摄像装置所独有的配置不是根据本发明的图像处理装置所 必需的。可以在任何能够获得通过摄影获得的图像数据、以及与在该摄影中使用的图像传 感器中的缺陷像素有关的信息的电子设备中实施本发明。"摄像装置"并不限于诸如数字照 相机等主要功能为摄影的装置，而是指任何具有摄影功能的电子设备。
[0028]第一实施例
[0029] 图1A是示出作为根据本发明的实施例的示例性图像处理装置的摄像装置（或图 像处理装置）100的示例性功能配置的框图。
[0030] 摄像装置100是诸如数字照相机或数字摄像机等对被摄体进行摄影并获得表示 被摄体的图像的数据（图像数据）的装置。光学系统101具有透镜、快门及光圈，并在CPU 103的控制下在图像传感器102上形成被摄体的光学图像。可以为C⑶或CMOS图像传感器 的图像传感器102在各像素处对形成的被摄体的光学图像执行光电转换，并将其转换为模 拟图像信号。CPU103将模拟图像信号转换为数字图像信号（图像数据），并将其应用于诸 如白平衡调整和颜色插值处理等所谓的显影处理及编码处理。CPU103通过执行程序并控 制各功能块来实现摄像装置100的各种功能。请注意，被描述为作为软件由CPU103实现 的功能中的至少一些功能可以通过硬件（即离散电路、ASIC、可编程逻辑设备等）来实现。
[0031] 例如，一次存储设备104是诸如RAM等易失性存储设备，并被用作诸如CPU103的 工作区域等临时数据存储区域。例如，二次存储设备105是诸如EEPR0M等非易失性存储设 备，并存储用于控制摄像装置100的程序（固件）、由CPU103执行的程序、各种设置信息 等。
[0032]例如，存储介质106(半导体存储卡）将通过摄影获得的图像数据存储为预定格式 的数据文件。例如，存储介质106可以从摄像装置100移除，并可以与诸如个人电脑等具有 访问存储介质106的功能的其他设备一起使用。换言之，摄像装置100仅需要具有访问存 储介质106的功能并能够从/向存储介质106中读出/写入数据。
[0033] 例如，显示单元107用于在摄影时显示取景器图像、显示拍摄的图像或从存储介 质106读出的图像以及显示用于交互操作的用户界面。例如，操作单元108具有诸如按钮、 开关、操纵杆以及触摸面板等输入设备，且使用户能够对摄像装置100给出各种指令并配 置其设置。请注意，操作单元108中还包括实现诸如语音输入或视线输入等不需要物理操 作的输入方法的配置。
[0034] 通信装置109使摄像装置100能够向/从外部设备发送/接收控制命令和数据。 要用于与外部设备通信的协议并无特别限定，例如可以是PTP(图片传输协议）。请注意，例 如，通信装置109可以使用USB(通用串行总线）电缆等通过有线连接与外部设备通信，或 者可以使用无线LAN等通过无线连接与外部设备通信。通信装置109可以直接与外部设备 相连接，或者可以经由服务器或经由诸如互联网等网络来连接。
[0035] 在图2中，2a部分示出了本实施例中图像传感器102中的示例性像素阵列。图像 传感器102包括具有原色拜耳阵列的滤色器。具体地说，其包括具有由两个水平像素X两 个垂直像素的四个像素构成的重复单位的阵列。在重复单位中，左上方的像素是红色（R) 像素、右上方和左下方是绿色（G)像素，右下方像素是蓝色（B)像素。尽管2a部分示出了 缺陷像素位于中心处的非常少的一部分像素，但是其他部分也具有相同的阵列。请