图像处理装置、摄像装置、以及图像处理方法

专利名称：图像处理装置、摄像装置、以及图像处理方法
技术领域：
本发明涉及对图像数据进行失真校正的技术。
背景技术：
在数字照相机中，通过对拍摄到的RAW数据进行颜色再现或边缘强调这样的图像 处理，从而能够拍摄到与看到的影像接近的图像。并且，已知有一种照相机，通过进行用于 校正由镜头的光学特性引起的失真或色差的图像处理，从而能够拍摄到失真或色差小的图 像。在JP2009-3953A中公开了一种图像处理装置，通过结合镜头的特性，对图像数据进行 部分放大/缩小，进行失真校正。但是，存在如下问题，S卩，在失真校正后的图像中，被部分放大之处的对比度相比 于其他部分的对比度有所下降。

发明内容
本发明是鉴于上述问题提出的，其目的在于，提供一种对与镜头的光学失真特性 对应的失真进行校正，同时抑制失真校正后的图像中的局部对比度下降的技术。本发明的一种方式的图像处理装置，具备边缘强调部，其对输入的图像数据实施 边缘强调处理；失真校正部，其对实施了所述边缘强调处理的图像数据，进行与摄影时使用 的镜头的光学失真特性对应的局部放大处理或缩小处理，由此实施校正失真的失真校正处 理；以及控制部，其与所述局部放大处理或缩小处理相应地，变更对要实施所述失真校正处 理的对象的图像数据进行的边缘强调处理。本发明的另一方式的图像处理装置，具备失真校正部，其对输入的图像数据，进 行与摄影时使用的镜头的光学失真特性对应的局部放大处理或缩小处理，由此实施校正失 真的失真校正处理；边缘强调部，其对实施了所述失真校正处理的图像数据，实施边缘强调 处理；以及控制部，其与所述局部放大处理或缩小处理相应地，变更对实施了所述失真校正 处理的图像数据进行的边缘强调处理。本发明的又一方式的图像处理方法，包括对图像数据实施边缘强调处理的步骤； 对实施了所述边缘强调处理的图像数据，进行与摄影时使用的镜头的光学失真特性对应的 局部放大处理或缩小处理，由此实施校正失真的失真校正处理的步骤；以及与所述局部放 大处理或缩小处理相应地，变更对要实施所述失真校正处理的对象的图像数据进行的边缘 强调处理的步骤。本发明的又一方式的图像处理方法，包括对图像数据，进行与摄影时使用的镜头 的光学失真特性对应的局部放大处理或缩小处理，由此实施校正失真的失真校正处理的步 骤；对实施了所述失真校正处理的图像数据实施边缘强调处理的步骤；以及与所述局部放 大处理或缩小处理相应地，变更对实施了所述失真校正处理的图像数据进行的边缘强调处 理的步骤。根据本发明，能够抑制失真校正后的图像中的局部对比度的下降。


图1是表示应用了第一实施方式中的图像处理装置的数字静态照相机的结构的 框图。图2是表示在应用了第一实施方式所涉及的图像处理装置的数字静态照相机中 进行的主处理流程的流程图。图3是表示静止图像摄影/图像处理的详细情况的流程图。图4是表示运动图像摄影/图像处理的详细情况的流程图。图5是表示显影处理的详细情况的流程图。图6是表示边缘强调处理的详细情况的流程图。图7是表示更换式镜头的失真特性的一例的图。图8是表示更换式镜头的MTF特性的一例、以及根据MTF特性计算出的对比度特 性的一例的图。图9是用于说明边缘提取频带的校正方法的图。图10是用于说明失真校正后的对比度特性的计算方法的图。图11是表示应用了第二实施方式中的图像处理装置的数字静态照相机的结构的 框图。图12是表示通过第二实施方式中的图像处理装置进行的显影处理的详细情况的 流程图。图13是表示第二实施方式中的边缘强调处理的详细情况的流程图。图14是用于说明求出的对比度小于预定的对比度下限值时的边缘提取频带的计 算方法的图。图15是用于说明求出的对比度大于预定的对比度上限值时的边缘提取频带的计 算方法的图。图16是用于说明根据与放大率对应地进行了失真校正之后的对比度特性来计算 边缘强调度的方法的图。图17是用于说明根据与缩小率对应地进行了失真校正之后的对比度特性来计算 边缘强调度的方法的图。图18是表示第三实施方式中的边缘强调处理的详细情况的流程图。图19是表示第四实施方式中的边缘强调处理的详细情况的流程图。
具体实施例方式<第一实施方式>图1是表示应用了第一实施方式中的图像处理装置的数字静态照相机的结构的 框图。图1所示的数字静态照相机由照相机主体1和更换式镜头2构成。更换式镜头2具有镜头1010、闪存1011、微机1012、驱动器1013、以及光圈1014。 更换式镜头2经由I/F 999与照相机主体1可通信地连接。照相机主体1具有机械快门101、摄像元件102、模拟处理部103、模拟/数字转换 部104(下面称为A/D转换部104)、总线105、SDRAM 106、图像处理部107、AE (自动曝光)处理部108、AF(自动对焦)处理部109、图像压缩扩展部110、存储器接口 111(下面称为 存储器I/F 111)、记录介质112、LCD驱动器113、LCD 114、微机115、操作部116、以及闪存 117。镜头1010将被摄体的光学像会聚到摄像元件102上。镜头1010以是单焦镜头， 也可以是变焦镜头。微机1012与I/F 999、闪存1011、以及驱动器1013连接，读取闪存1011中存储 的信息、或向闪存1011写入信息，并控制驱动器1013。存储于闪存1011的信息包括与更 换式镜头2的焦距和聚焦位置对应的失真特性数据；以及更换式镜头2的MTF (Modulation Transfer Function，调制传递函数)特性数据等。微机1012还能够经由I/F 999与微机115进行通信，将各种信息发送给微机115， 并且从微机115接收光圈值等信息。驱动器1013收到微机1012的指示，驱动镜头1010，变更焦距或聚焦位置，并且驱 动光圈1014。光圈1014设置于镜头1010附近，调节被摄体的光量。机械快门101收到微机115的指示而进行驱动，控制摄像元件102对被摄体进行 曝光的时间。摄像元件102是在构成各像素的发光二极管的前面配置有拜耳排列式滤色器的 摄像元件。拜耳排列具有在水平方向上交替配置了 R像素和G(Gr)像素的线、以及交替地 配置了 G((ib)像素和B像素的线，通过在垂直方向上交替配置该2条线而构成。该摄像元 件102利用构成像素的发光二极管对由镜头1010会聚的光进行接收，并进行光电转换，由 此将光量作为电荷量输出给模拟处理部103。另外，摄像元件102可以是CMOS方式的元件， 也可以是CXD方式的元件。模拟处理部103对从摄像元件102读出的电信号(模拟图像信号)降低了复位噪 声等的基础上，进行整波，进一步进行增益提升，以便达到目标亮度。A/D转换部104将从模 拟处理部103输出的模拟图像信号转换成数字图像信号(下面称为图像数据)。总线105是用于将数字照相机内部生成的各种数据传送给数字照相机内的各部 的传送路。总线105与A/D转换部104、SDRAM 106、图像处理部107、AE处理部108、AF处 理部109、图像压缩扩展部110、存储器I/F 111、IXD驱动器113、以及微机115连接。从A/D转换部104输出的图像数据经由总线105临时存储到SDRAM106中。SDRAM 106是临时存储在A/D转换部104中得到的图像数据、在图像处理部107、图像压缩扩展部 110中进行了处理的图像数据等各种数据的存储部。图像处理部107包括光暗相减部1071 (下面称为OB相减部1071)、白平衡校正部 1072 (下面称为WB校正部107 、同步处理部1073、颜色矩阵运算部1074、伽玛/颜色再现 处理部1075、边缘强调处理部1076、降噪处理部1077 (下面称为NR处理部1077)、以及失真 校正部1078，对从SDRAM 106读出的图像数据实施各种图像处理。OB相减部1071对图像数据进行光暗相减处理(下面称为OB相减处理)。OB相减 处理是指，从构成图像数据的各像素的像素值中，减去由摄像元件102的暗电流等引起的 光暗值(下面称为OB值)的处理。WB校正部1072进行白平衡校正处理，即，对图像数据乘以与白平衡模式对应的白 平衡增益，从而校正白平衡。白平衡模式可以由用户根据晴天、阴天、白炽灯、荧光灯等光源来进行设定。同步处理部1073进行将从拜耳排列的图像数据同步为每1个像素由R、G、B的信 息构成的图像数据的处理。颜色矩阵运算部1074对图像数据进行乘以颜色矩阵系数的线 性转换，校正图像数据的颜色。伽玛/颜色再现处理部1075进行伽玛校正处理、以及改变 图像色彩的颜色再现处理。边缘强调处理部1076使用带通滤波器，从图像数据提取边缘成分，对提取的边缘 成分的数据乘以与边缘强调度对应的系数之后，与图像数据相加，从而进行强调图像数据 边缘的处理。NR处理部1077通过使用了减少高频的滤波器的处理、取芯处理(coring processing)等，进行降噪处理。失真校正部1078根据更换式镜头2的失真特性，对图像进行局部放大或缩小，从 而进行校正失真的处理。另外，根据镜头的失真特性，对图像进行局部放大或缩小，从而校 正失真的处理，这是公知的处理。通过图像处理部107进行了各处理之后的图像数据被存储于SDRAM 106。AE(自动曝光)处理部108根据图像数据计算出被摄体亮度。用于计算被摄体亮 度的数据可以是专用的测光传感器的输出。AF(自动对焦)处理部109从图像数据取出高 频成分信号，通过AF (Auto Focus)积分处理，取得对焦评价值。图像压缩扩展部110在记录静止图像数据时，从SDRAM 106读出图像数据，依照 JPEG压缩方式，对读出的图像数据进行压缩，将进行了压缩的JPEG图像数据临时存储到 SDRAM 106中。微机115对存储于SDRAM 106的JPEG图像数据附加用于构成JPEG文件所 需的JPEG报头，制作JPEG文件，将制作的JPEG文件经由存储器I/F 111记录到记录介质 112 中。并且，图像压缩扩展部110在记录运动图像数据时，从SDRAM 106读出运动图像数 据，例如依照H. 264方式，对读出的运动图像数据进行压缩，将进行了压缩的运动图像数据 临时存储到SDRAM 106中。此外，图像压缩扩展部110还根据来自微机115的指令，进行扩 展(解压缩)压缩数据的处理。记录介质112例如是由可相对于照相机主体1进行装卸的存储卡构成的记录介 质，但不限于此。IXD驱动器113使IXD 114显示图像。图像显示包括以短时间显示刚刚拍摄到 的图像数据的快速预览显示；记录在记录介质112中的JPEG文件的再现显示；以及实时取 景显示等运动图像的显示。将记录于记录介质112中的压缩数据再现的情况下，图像压缩 扩展部110读出记录于记录介质112中的压缩数据，实施扩展(解压缩)处理，将扩展后的 数据临时存储到SDRAM 106中。IXD驱动器113从SDRAM 106读出进行了解压缩的数据，将 读出的数据转换成影像信号之后，输出到IXDl 14，进行显示。具有控制部功能的微机115统筹控制数字照相机主体1的各种动作模式。微机 115上连接有操作部116和闪存117。操作部116由电源按钮、释放按钮、运动图像按钮、各种输入键等操作部件构成。 用户对操作部116的任意操作部件进行操作，由此，微机115执行与用户的操作对应的各种 动作模式。电源按钮是用于进行该数字照相机的电源的接通/断开指示的操作部件。若按下电源按钮，则该数字照相机的电源接通。若再次按下电源按钮，则该数字照相机的电源断 开。释放按钮构成为具有第一释放开关和第二释放开关的2段开关。在半按下释放按钮， 使得第一释放开关接通的情况下，微机115进行AE处理、AF处理等摄影准备动作顺序。并 且，在全按下释放按钮，使得第二释放开关接通的情况下，微机115执行摄影动作顺序，进 行摄影。运动图像按钮是用于开始运动图像摄影或结束运动图像摄影的按钮。在初始状态 下为运动图像未摄影状态，所以若在该状态下按下运动图像按钮，则开始运动图像摄影，若 正在进行运动图像摄影时按下运动图像按钮，则结束运动图像摄影。因此，在每次按下运动 图像按钮时，交替地反复进行运动图像的摄影开始和结束。闪存117中存储有与白平衡模式对应的白平衡增益、颜色矩阵系数、低通滤波器 系数等数字照相机动作所需的各种参数、以及用于确定数字静态照相机的制造编号等。并 且，闪存117中还存储有微机115执行的各种程序。微机115依照存储于闪存117的程序， 并从闪存117读出各种动作顺序所需的参数，执行各处理。图2是表示在应用了第一实施方式所涉及的图像处理装置的数字静态照相机中 进行的主处理流程的流程图。若用户按下电源按钮，使数字静态照相机的电源接通，则微机 115开始步骤S201的处理。在步骤S201中，将记录中标志初始化为关闭。记录中标志是，在运动图像摄影中 开启、而在未进行运动图像摄影时关闭的标志。在步骤S202中，通过用户判断运动图像按钮是否被操作。若判断为操作了运动图 像按钮，则进入到步骤S203，若判断为未进行操作，则进入到步骤S204。在步骤S203中，使记录中标志反转，进入到步骤S204。如上所述，在每次按下运 动图像按钮时，交替地反复进行运动图像摄影开始和结束，所以该步骤中，使记录中标志反 转，在记录中标志关闭的情况下，变为开启，并且，在已经开启的情况下，变为关闭。在步骤S204中，判断记录中标志是否开启。若判断为记录中标志开启，则进入到 步骤S209。在步骤S209中，若判断为处于运动图像记录中，则对根据来自摄像元件102的图 像信号生成的运动图像的图像数据进行了图像处理和图像压缩之后，记录到记录介质112 中。并且，若判断为未处于运动图像记录中，则进行静止图像摄影的被摄体构图或用于决定 快门定时的实时取景显示。对于步骤S209的实时取景显示/运动图像摄影/图像处理的 详细情况，使用图4在后面进行叙述。另一方面，在步骤S204中，若判断为记录中标志关闭，则进入到步骤S205。在步 骤S205中，判断用户是否半按下释放按钮，使得第一释放开关接通。若判断为第一释放开 关结接通，则进入到步骤S206。在步骤S206中，进行AF处理。具体地说，首先，在AF处理部109中计算对焦评价 值。微机115根据对焦评价值，向驱动器1013输出驱动镜头1010的指令。驱动器1013根 据该指令，驱动镜头1010，变更焦距、聚焦位置。在步骤S205中，第一释放开关未被接通的情况下，或者，第一释放开关保持接通 的状态的情况下，进入到步骤S207。在步骤S207中，判断用户是否全按下释放按钮而使得 第二释放开关接通。若判断为第二释放开关接通，则进入到步骤S208，若判断为第二释放开 关未接通，则进入到步骤S209。
在步骤S208中，进行静止图像摄影/图像处理。对于静止图像摄影/图像处理的 详细情况，使用图3在后面进行叙述。在步骤S210中，判断数字静态照相机的电源是否断开。若判断为电源断开，则返 回到步骤S202，进行上述处理。另一方面，若用户按下电源按钮，使得电源断开，则结束流程 图的处理。像这样，在本实施方式的主流程中，在初始设定中为静止图像摄影模式，在该状态 下，依照步骤S202 — S204 — S205 — S207 — S209 — S210 — S202的顺序执行，在此期间进 行实时取景显示。在实时取景显示中，若半按下释放按钮，则在步骤S206中进行AF动作，并 且，若全按下释放按钮，则在步骤S208中进行静止图像摄影。而且，若按下运动图像按钮， 则在步骤S203中，开启记录中标志，反复执行步骤S204 — S209 — S210 — S202 — S204,继 续进行运动图像摄影。在该状态下，若再次按下运动图像按钮，则由于在步骤S203中，记录 中标志关闭，所以返回到上述的静止图像的流程。图3是表示图2所示的流程图的步骤S208的处理，即、静止图像摄影/图像处理 的详细情况的流程图。在步骤S310中，进行AE处理。具体地说，在AE处理部108中，计算被摄体亮度， 根据计算出的被摄体亮度，参照存储于闪存117的曝光条件决定表，决定摄影时的ISO感光 度、光圈、以及快门速度。在步骤S320中，进行摄影。摄影(静止图像摄影)手法与以往采用的手法相同。 驱动器1013根据微机1012的指示，驱动光圈1014，以便达到所设定的光圈值。并且，根据 所决定的快门速度，控制机械快门101，进行摄影，得到与所决定的ISO感光度对应的图像 数据。在步骤S330中，对在步骤S320的摄影中得到的图像数据(拜耳数据)实施各种 图像处理，进行转换成亮度(Y)和色差(Cb、Cr)信号数据的显影处理。对于显影处理的详 细情况，使用图5在后面进行叙述。在步骤S340中，在图像压缩扩展部110中，对图像数据进行JPEG压缩，附加图像 尺寸或摄影条件等抱头信息，生成JPEG文件。在步骤S350中，将在步骤S340中生成的JPEG文件，经由存储器I/F 111，记录到 记录介质112中。图4是表示图2所示的流程图的步骤S209的处理，S卩、实时取景显示/运动图像 摄影/图像处理的详细情况的流程图。在步骤S410中，进行AE处理。该处理与图3所示的流程图的步骤S310的处理相 同。在步骤S420中，进行摄影。摄影(运动图像摄影)手法与以往采用的手法相同。 即，根据所决定的光圈、快门速度、ISO感光度，控制所谓的电子快门，进行摄影。在步骤S430中，对在步骤S420的摄影中得到的图像数据(拜耳数据)实施各种 图像处理，进行转换成亮度(Y)和色差(Cb、Cr)信号数据的显影处理。对于显影处理的详 细情况，使用图5在后面进行叙述。在步骤S440中，通过IXD驱动器113将图像数据显示到IXD 114上。该显示是所 谓的实时取景显示。
在步骤S450中，判断运动图像是否处于记录中。在记录中标志关闭的情况下，判 断为未处于运动图像记录中，结束本流程图的处理，在记录中标志开启的情况下，判断为处 于运动图像记录中，进入到步骤S460。在步骤S460中，生成运动图像文件，记录到记录介质112中。S卩，在图像压缩扩展 部110中，对图像数据进行与运动图像文件形式对应的压缩，附加预定的抱头信息，生成运 动图像文件。运动图像文件的压缩形式包括“HJ64”、“Motion JPEG”、“MPEG”等。而且，将 生成的运动图像文件，经由存储器I/F 111，记录到记录介质112中。图5是表示图3所示的流程图的步骤S330的处理、以及图4所示的流程图的步骤 S430的处理，即、显影处理的详细情况的流程图。在步骤S510中，通过OB相减部1071，实施OB相减处理，S卩，从通过摄影得到的图 像数据减去摄像时得到的OB值。在步骤S520中，通过WB校正部1072进行白平衡校正处理，即，对实施了 OB相减处 理的图像数据乘以与白平衡模式对应的白平衡增益，从而校正白平衡。另外，通过用户对包 含于操作部116的输入键进行操作，从而能够在每次摄影时设定白平衡模式。微机115根 据用户对操作部116进行的操作，设定白平衡模式。并且，数字静态照相机具备自动调整白 平衡的自动白平衡功能的情况下，微机115自动设定与摄影时的光源对应的白平衡模式。在步骤S530中，通过同步处理部1073，对实施了白平衡校正处理的图像数据实施 同步处理。在步骤S540中，通过颜色矩阵运算部1075，对实施了同步处理的图像数据，进行 乘以与白平衡模式对应的颜色矩阵系数的颜色矩阵运算。在步骤S550中，通过伽玛/颜色再现处理部1074，对进行了颜色矩阵运算的图像 数据，进行伽玛校正处理、以及改变图像色彩的颜色再现处理。在步骤S560中，通过边缘强调处理部1076，对进行了伽玛校正处理和颜色再现处 理的图像数据，进行边缘强调处理。对于边缘强调处理的详细情况，在后面叙述。在步骤S570中，通过NR处理部1077，对进行了边缘强调处理的图像数据进行降噪 处理。降噪处理是根据取芯参数进行取芯处理，或者，根据降噪参数(下面称为NR参数)， 进行使用了降低高频的滤波器的处理。在步骤S580中，通过失真校正部1078，对降噪处理后的图像数据进行与更换式镜 头2的失真特性对应的失真校正处理。因此，微机1012从闪存1011读出与更换式镜头2 的焦距和聚焦位置对应的失真特性的数据，根据摄影时的焦距和聚焦位置，参照读出的失 真特性的数据，求出摄影时的失真特性。微机115经由I/F 999，从微机1012取得摄影时的 失真特性的信息，根据所取得的失真特性，对图像进行部分放大·缩小，从而进行校正失真 的处理。在步骤S590中，进行尺寸调整处理，将失真校正后的图像数据缩小或放大到用于 记录或显示的图像尺寸。该处理可以在图像处理部107中进行，也可以在微机115中进行。图6是表示图5所示的流程图的步骤S560的处理，即、边缘强调处理的详细情况 的流程图。在步骤610中，取得更换式镜头2的失真特性。该处理与图5所示的流程图的步 骤S580中的失真特性信息的取得方法相同，所以省略详细说明。图7是表示更换式镜头2的失真特性的一例的图。实线71表示更换式镜头2的失真特性(枕形失真特性)，点划线72表示无失真时的特性。图7中，横轴表示理想像高， 纵轴表示实际像高。理想像高是指，无失真的理想图像上的像高，实际像高是指通过实际摄 影得到的图像上的像高。并且，像高是指，自图像中心的距离，其中，将图像的中心设为0，将 图像的四角设为1。在图6的步骤S620中，通过失真校正部1078，对图像数据的各像素计算进行局部 放大/缩小处理时的放大率或缩小率。在此，首先，对各像素计算像高(实际像高)。并且， 根据在步骤S610中取得的失真特性，求出所计算出的像高位置上的失真特性的斜度。计算 出的像高位置上的失真特性的斜度是指，图7所示的、与失真特性的曲线正切的切线的斜 度。例如，参见图7，像高hi的位置上的失真特性的斜度为切线73的斜度。在该斜度小于 1的情况下，进行放大图像的失真校正处理；在斜度为1以上的情况下，进行缩小图像的失 真校正处理。在此，预先准备好确定失真特性的斜度和放大率或缩小率之间的关系的数据， 根据求出的斜度，参照上述数据，计算放大率或缩小率。在步骤S630中，计算从图像提取边缘的频带(下面称为边缘提取频带)。在此，预 先求出作为基准的边缘提取频带(下面称为基准边缘提取频带)，针对各像素设定边缘提 取频带，在步骤S620中求出的放大率越大，则将相对于基准边缘提取频带位于高频侧的频 带设为边缘提取频带。这是因为，在放大后的图像中，相对于放大前的图像，对比度成分位 于低频侧。并且，缩小率越大，将相对于基准边缘提取频带位于低频侧的频带设为边缘提取 频带。即，无论是在放大了图像的情况下，还是在缩小了图像的情况下，在放大/缩小后的 图像中，对同一频带的边缘进行强调。放大率或缩小率与频带从基准边缘提取频带的变更 量的关系可以预先确定。在步骤S640中，从闪存1011取得更换式镜头2的MTF特性，考虑摄像元件102的 像素间距、像素数、光学低通滤波器的特性，计算摄像图像的与频率对应的对比度特性。图8的虚线是表示从闪存1011取得的更换式镜头2的MTF特性的一例的图，实线 是表示根据所取得的MTF特性计算出的对比度特性的一例的图。图8的横轴表示频率，纵 轴表示对比度。在步骤S650中，对在步骤S630中计算出的边缘提取频带进行校正。在此，根据在 步骤S640中计算出的对比度特性，当存在与边缘提取频带的频率对应的对比度小于预定 的对比度下限值的像素的情况下，将该像素的边缘提取频带校正为与预定的对比度下限值 对应的频率。图9是用于说明边缘提取频带的校正方法的图。图9所示的曲线是与图8所示的 曲线相同的曲线，即表示根据更换式镜头2的MTF特性计算出的对比度特性。参见图9，在 某一像素的边缘提取频带(频率)为f2的情况下，对应的对比度小于预定的对比度下限 值，所以将该像素的边缘提取频带设为与对比度下限值对应的边缘提取频带(频率)fl。在步骤S660中，针对图像数据的各像素，求出与在步骤S620中计算出的放大率或 缩小率对应地进行了失真校正之后的对比度特性。并且，失真校正是在边缘强调处理后进 行的处理，所以进行了失真校正之后的对比度特性意味着假设进行了失真校正时的对比度 特性。具体地说，放大率越大，变更对比度特性，使得对比度成分位于低频侧；并且，缩小率 越大，变更对比度特性，使对比度成分位于高频侧。图10是用于说明失真校正后的对比度特性的计算方法的图。实线91表示在步骤S640中计算出的对比度特性。虚线92是表示与放大率对应地压缩到低频侧的对比度特性 的一例，虚线93是表示与缩小率对应地扩展到高频侧的对比度特性的一例。在步骤S670中，对图像数据的各像素求出边缘强调度。首先，根据在步骤S640中 取得的对比度特性、以及在步骤S660中计算出的对比度特性，求出与失真校正后的对比度 特性对应的边缘提取频带。因此，针对各像素，参照在步骤S640中计算出的对比度特性(实 线91)，求出与在步骤S630中求出的边缘提取频带对应的对比度。接着，根据在步骤S660 中计算出的对比度特性(虚线92、93)，求出与所求出的对比度对应的边缘提取频带(参见 图10的I)。最后，在求出的边缘提取频带中，根据与作为基准的对比度之差(参见图10的 II)，求出为了得到作为基准的对比度所需的边缘强调度。作为基准的对比度特性(下面称 为基准对比度特性)预先确定。并且，与基准对比度之差和边缘强调度之间的关系也预先 确定。如上所述，失真校正时的放大率越大，失真校正后的对比度特性被压缩到低频侧。 因此，失真校正时的放大率越大，与基准对比度之差(图10的II)越大，边缘强调度越大。 并且，失真校正时的缩小率越大，失真校正后的对比度特性被扩展到高频侧，所以与基准对 比度之差越小，边缘强调度越小。在图6的流程图的步骤S680中，根据在步骤S650中进行了校正的边缘提取频带、 以及在步骤S670中计算出的边缘强调度，进行边缘强调处理。在此，预先准备确定了多个 带通滤波器系数与边缘强调频带之间的关系的数据，参照该数据，求出与最靠近所计算出 的边缘提取频带的边缘强调频带对应的带通滤波器系数。根据该带通滤波器系数，提取边 缘成分，在对提取出的边缘成分乘以边缘强调度得到的值上，相加图像数据的亮度(Y)信 号数据，从而强调边缘。根据第一实施方式中的图像处理装置，对边缘强调处理后的图像数据，进行与摄 影时使用的镜头的光学失真特性对应的局部放大处理或缩小处理，从而进行校正失真的处 理。此时，将对不实施失真校正处理的图像数据进行的边缘强调处理作为基准，与局部放 大处理或缩小处理对应地，变更对实施失真校正处理的对象的图像数据进行的边缘强调处 理。从而，能够抑制在失真校正后的图像中的部分对比度的下降，使图像上的对比度接近均 勻。〈第二实施方式〉图11是表示应用了第二实施方式中的图像处理装置的数字静态照相机的结构的 框图。与图1所示的数字静态照相机不同之处在于，图像处理部107的内部结构。S卩，在伽 玛/颜色再现处理部1075的后段连接有NR处理部1077，在失真校正部1078的后段连接有 边缘强调处理部1076。在各处理部1071 1078的内部进行的处理内容相同。图12是表示通过第二实施方式中的图像处理装置进行的显影处理的详细情况的 流程图。对于进行与图5所示的流程图的处理相同的处理的步骤，赋予相同符号，省略详细 说明。在通过第二实施方式中的图像处理装置进行的显影处理中，若通过伽玛/颜色再 现处理部1074进行了伽玛校正处理和颜色再现处理(S550)，则通过NR处理部1077进行降 噪处理(S570)，以及通过失真校正部1078进行失真校正处理(S580)。之后，通过边缘强调 处理部1076进行边缘强调处理(S1200)，最后进行尺寸调整处理(S590)。即，进行了失真校正处理之后，进行边缘强调处理。图13是表示图12所示的流程图的步骤S 1200的处理，即、边缘强调处理的详细 情况的流程图。对于进行与图6所示的流程图的处理相同的处理的步骤，赋予相同符号，省 略详细说明。在步骤S610A中，取得更换式镜头2的失真特性。在边缘强调处理之前进行失真 校正处理(图12的步骤S580)，已取得失真特性，所以在此读出在失真校正处理中取得、并 存储于SDRAM 106的失真特性。另外，也可以再次采用相同的方法，求出更换式镜头2的失 真特性。在步骤S620A中，通过失真校正部1078，对图像数据的各像素，计算进行局部放大 /缩小处理时的放大率或缩小率。在此，在校正失真时将在失真校正处理中计算的放大率或 缩小率存储到SDRAM 106中，然后从SDRAM 106读出放大率或缩小率来使用。另外，也可以 再次采用相同的方法，计算放大率或缩小率。在步骤S640中，从闪存1011取得更换式镜头2的MTF特性，考虑摄像元件102的 像素间距、像素数，计算摄像图像的与频率对应的对比度特性。在步骤S660中，对图像数据 的各像素，求出与在步骤S620A中求出的放大率或缩小率对应地进行了失真校正之后的对 比度特性。在步骤S1300中，对图像数据的各像素计算边缘提取频带。因此，首先，根据在步 骤S650中求出的对比度特性，求出与预先设定的基准边缘提取频带对应的对比度。在求出 的对比度小于预定的对比度下限值的情况下，将与预定的对比度下限值对应的频率设为边 缘提取频带。并且，在求出的对比度大于预定的对比度上限值的情况下，将与预定的对比度 上限值对应的频率设为边缘提取频带。在求出的对比度处于预定的对比度下限值以上且预 定的对比度上限值以下的情况下，将基准边缘提取频带设为边缘提取频带。图14是用于说明当求出的对比度小于预定的对比度下限值时的边缘提取频带的 计算方法的图。对比度特性1400是与放大率对应地进行了失真校正之后的对比度特性。该 情况下，与基准边缘提取频带对应的对比度小于预定的对比度下限值，所以将与预定的对 比度下限值对应的频率设为边缘提取频带。即，边缘提取频带相比于基准边缘提取频带向 低频侧移动。由此，能够防止根据在图像上不能进行边缘提取的频带进行边缘提取处理。图15是用于说明当求出的对比度大于预定的对比度上限值时的边缘提取频带的 计算方法的图。对比度特性1500是与缩小率对应地进行了失真校正之后的对比度特性。该 情况下，与基准边缘提取频带对应的对比度大于预定的对比度上限值，所以将与预定的对 比度上限值对应的频率设为边缘提取频带。即，边缘提取频带相比于基准边缘提取频带向 高频侧移动。由此，能够进一步强调高频侧的边缘。另外，也可以将对比度下限值设定得较高，在失真校正处理中进行了放大处理的 情况下，始终使边缘提取频带相比于基准边缘提取频带向低频侧移动。并且，还可以将对比 度上限值设定得较低，在失真校正处理中进行了缩小处理的情况下，使边缘提取频带相比 于基准边缘提取频带向高频侧移动。在步骤S1310中，计算边缘强调度。在此，在步骤S1300中求出的边缘提取频带中， 根据在步骤S650中求出的、与根据放大率或缩小率进行了失真校正之后的对比度特性对 应的对比度和预定的基准对比度特性之差，求出为了得到基准对比度所需的边缘强调度。
图16是用于说明根据与放大率对应地进行了失真校正之后的对比度特性来计算 边缘强调度的方法的图。图16所示的对比度特性1400与图14所示的对比度特性1400相 同，是与放大率对应地进行了失真校正之后的对比度特性。在步骤S1300中求出的边缘提 取频带中，求出与对比度特性1400对应的对比度和与基准对比度特性1610对应的对比度 之差1620，根据对比度差1620，求出边缘强调度。与第一实施方式相同，预先确定对比度差 和边缘强调度之间的关系。图17是用于说明根据与缩小率对应地进行了失真校正之后的对比度特性来计算 边缘强调度的方法的图。对比度特性1500是与缩小率对应地进行了失真校正之后的对比 度特性。图17所示的对比度特性1500与图15所示的对比度特性1500相同，是与缩小率 对应地进行了失真校正之后的对比度特性。在步骤S1300求出的边缘提取频带中，求出与 对比度特性1500对应的对比度和与基准对比度特性1610对应的对比度之差1720，根据对 比度差1720，求出边缘强调度。如上所述，预先确定对比度差和边缘强调度之间的关系。在图13的流程图的步骤S680中，根据在步骤S 1300中计算出的边缘提取频带、 以及在步骤S1310中计算出的边缘强调度，进行边缘强调处理。以上，根据第二实施方式中的图像处理装置，通过对图像数据进行与摄影时使用 的镜头的光学失真特性对应的局部放大处理或缩小处理，进行了失真校正处理之后，进行 边缘强调处理。此时，与局部放大处理或缩小处理对应地，变更对实施了失真校正处理的图 像数据进行的边缘强调处理，所以能够抑制在失真校正后的图像中的部分对比度的下降， 使图像上的对比度接近均勻。〈第三实施方式〉应用了第三实施方式中的图像处理装置的数字静态照相机的结构与图1所示的 第一实施方式中的图像处理装置的数字静态照相机的结构相同。图18是表示图5所示的流程图的步骤S560的处理，即、边缘强调处理的详细情况 的流程图。对于进行与图6所示的流程图的处理相同处理的步骤，赋予相同符号，省略详细 说明。在接着步骤S620进行的步骤S1800中，取得进行尺寸调整处理时的尺寸调整率。 尺寸调整处理是指将图像数据缩小或放大到用于记录或显示的图像尺寸的处理(图5的步 骤 S590)。在步骤S1810中，针对图像数据的各像素，通过对在步骤S620中计算出的放大率 或缩小率乘以在步骤S1800中取得的尺寸调整率，计算缩尺率。在步骤S1820中，判断在步骤S1810中对各像素计算出的缩尺率之中、最大缩尺率 是否大于1。在最大缩尺率大于1的情况下，在图像上进行局部放大处理，所以进行放大处 理之处的对比度下降。因此，若判断为最大缩尺率大于1，则为了进行边缘强调控制，进入到 步骤S630。从步骤S630到步骤S680的处理与图6所示的流程图的处理相同。另一方面，在最大缩尺率为1以下的情况下，不对整个图像进行放大处理，所以不 会发生对比度局部下降的问题。因此，在步骤S1820中，若判断为最大缩尺率在1以下，则 进入到步骤S1830，设定预定的边缘强调度。预定的边缘强调度是预先通过设计确定的、对 各像素相同的值。以上，根据第三实施方式中的图像处理装置，在进行失真校正处理时的局部放大率以及缩小率与将图像数据放大或缩小到最终需要的图像尺寸时的尺寸调整率之积的最 大值在预定的阈值以下的情况下，不进行变更边缘强调处理的处理。由此，在未发生对比度 局部下降的情况下，不进行变更边缘强调处理的处理，所以能够减轻处理负荷，并缩短处理 时间。〈第四实施方式〉应用了第四实施方式中的图像处理装置的数字静态照相机的结构与应用了图1 所示的第一实施方式中的图像处理装置的数字静态照相机的结构相同。图19是表示图5所示的流程图的步骤S560的处理，即、边缘强调处理的详细情况 的流程图。对于进行与图6所示的流程图的处理相同的处理的步骤，赋予相同符号，省略详 细说明。在步骤S620中，若对图像数据的各像素，计算了进行局部放大/缩小处理时的放 大率或缩小率，则进入到步骤S640。在步骤S640中，计算摄像图像的与频率对应的对比度 特性。在步骤S660中，对图像数据的各像素，求出与在步骤S620中计算出的放大率或缩 小率对应地进行了失真校正之后的对比度特性。在步骤S1900中，判断处理对象的图像数据是静止图像数据还是运动图像数据。 该判断能够根据是静止图像摄影还是运动图像摄影来进行的。当用户观看运动图像时，几 乎不太在意图像的细微分辨率。因此，若判断为处理对象的图像数据是运动图像数据，则为 了简单进行考虑了失真校正的边缘强调处理，进入到步骤S1910。在步骤S1910中，设定预定的边缘提取频带。预定的边缘提取频带是预先通过设 计确定的、对各像素相同的值。另一方面，在步骤S1900中，若判断为处理对象的图像数据是静止图像数据，则进 入到步骤S630。步骤S630、S650、S670、S680的处理与图6所示的流程图的处理相同。另外，在图19所示的流程图中，在处理运动图像数据时，对于边缘强调度，计算考 虑了失真校正的值，但对于边缘提取频带，使用未考虑失真校正的固定值。但是，也可以对 边缘提取频带计算考虑了失真校正的值，对边缘强调度使用未考虑失真校正的固定值。以上，根据第四实施方式中的图像处理装置，在静止图像摄影时，考虑失真校正处 理，进行变更实施边缘强调处理和边缘强调度的处理；在运动图像摄影时，进行变更实施边 缘强调处理的频带的处理以及变更边缘强调度的处理的任意一项处理。由此，在对视觉上 不会在意到细微分辨率的运动图像数据进行处理时，能够提高处理速度。并且，在对静止图 像数据进行处理时，考虑失真校正，进行变更实施边缘强调处理的频带的处理以及变更边 缘强调度的处理，从而能够生成对比度接近均勻的图像。另外，在上述的第一 第四实施方式的说明中，作为进行图像处理装置的处理，以 基于硬件的处理为前提，但无需限于这种结构。例如，也可以采用另外通过软件进行处理的 结构。在该情况下，图像处理装置5具备CPU、RAM等主存储装置、存储有用于实现上述处理 的全部或一部分的程序的计算机可进行读取的存储介质。在此，将该程序称为图像处理程 序。而且，CPU读出存储于上述存储介质的图像处理程序，执行信息的加工/运算处理，从 而执行与上述的图像处理装置相同的处理。在此，计算机可进行读取的记录介质是指磁盘、光磁盘、⑶-ROM、DVD-ROM、半导体存储器等。并且，也可以通过通信线路将该图像处理程序发布给计算机，接受到该发布的计 算机执行该图像处理程序。本发明不限于上述第一 第四实施方式，可以在不脱离本发明宗旨的范围内实施 各种变形或应用。例如，上述实施方式中举出将图像处理装置应用到数字静态照相机的例 子进行了说明，但是，本发明的图像处理装置还能够应用到录像机中，或者，应用到照相机 以外的电子设备等中。在上述的各实施方式中，参照根据更换式镜头2的MTF特性计算出的对比度特性， 求出实施边缘强调处理的频带和边缘强调度，但是，也能够通过简单的方法求出。例如，可 以预先将确定了与更换式镜头2的失真特性对应的放大率或缩小率和边缘提取频带以及 边缘强调度之间的关系的数据存储到闪存1011中，根据该数据，求出边缘提取频带以及边 缘强调度。对于数字静态照相机，说明了由照相机主体1和更换式镜头2构成的情况，但照相 机主体和镜头也可以一体构成。该情况下，与镜头的焦距以及聚焦位置对应的失真特性的 数据、以及镜头的MTF特性的数据只要存储于照相机主体内部的存储器中即可。本申请主张以于2009年10月21日向日本特许厅提交的特愿2009-242185为基 础的优先权，该申请的全部内容通过参照而包括在本说明书中。
权利要求
1.一种图像处理装置，其特征在于，具备边缘强调部，其对输入的图像数据实施边缘强调处理；失真校正部，其对实施了所述边缘强调处理的图像数据，进行与摄影时使用的镜头的 光学失真特性对应的局部放大处理或缩小处理，由此实施校正失真的失真校正处理；以及控制部，其与所述局部放大处理或缩小处理相应地，变更对实施所述失真校正处理的 对象的图像数据进行的边缘强调处理。
2.根据权利要求1所述的图像处理装置，其特征在于，所述控制部与所述局部放大处理或缩小处理相应地，变更实施所述边缘强调处理的频市ο
3.根据权利要求2所述的图像处理装置，其特征在于，所述控制部对于通过所述失真校正部进行所述放大处理之处，将相比于预定的基准频 带位于高频侧的频带，设为实施所述边缘强调处理的频带。
4.根据权利要求1所述的图像处理装置，其特征在于，所述控制部与所述局部放大处理或缩小处理相应地，变更实施所述边缘强调处理的频 带，并且还变更表示强调边缘的程度的边缘强调度。
5.根据权利要求4所述的图像处理装置，其特征在于，所述控制部对于通过所述失真校正部进行所述放大处理之处，加强所述边缘强调度。
6.根据权利要求5所述的图像处理装置，其特征在于，所述控制部对于通过所述失真校正部进行所述缩小处理之处，减弱所述边缘强调度。
7.根据权利要求1所述的图像处理装置，其特征在于，在所述局部放大处理或缩小处理中的局部放大率以及缩小率与将图像数据放大或缩 小到最终所需的图像尺寸时的尺寸调整率之积的最大值为预定的阈值以下的情况下，所述 控制部不进行变更所述边缘强调处理的处理。
8.根据权利要求7所述的图像处理装置，其特征在于， 所述预定的阈值为1.0。
9.一种图像处理装置，其特征在于，具备失真校正部，其对输入的图像数据，进行与摄影时使用的镜头的光学失真特性对应的 局部放大处理或缩小处理，由此实施校正失真的失真校正处理；边缘强调部，其对实施了所述失真校正处理的图像数据，实施边缘强调处理；以及 控制部，其与所述局部放大处理或缩小处理相应地，变更对实施了所述失真校正处理 的图像数据进行的边缘强调处理。
10.根据权利要求9所述的图像处理装置，其特征在于，所述控制部与所述局部放大处理或缩小处理相应地，变更实施所述边缘强调处理的频市ο
11.根据权利要求10所述的图像处理装置，其特征在于，所述控制部对于通过所述失真校正部进行了所述放大处理之处，将相比于预定的基准 频带位于低频侧的频带，设为实施所述边缘强调处理的频带。
12.根据权利要求10所述的图像处理装置，其特征在于，所述控制部对于通过所述失真校正部进行了所述缩小处理之处，将相比于预定的基准频带位于高频侧的频带，设为实施所述边缘强调处理的频带。
13.根据权利要求9所述的图像处理装置，其特征在于，所述控制部与所述局部放大处理或缩小处理相应地，变更实施所述边缘强调处理的频 带，并且还变更表示强调边缘的程度的边缘强调度。
14.根据权利要求13所述的图像处理装置，其特征在于，所述控制部对于通过所述失真校正部进行所述放大处理之处，加强所述边缘强调度。
15.根据权利要求14所述的图像处理装置，其特征在于，所述控制部对于通过所述失真校正部进行所述缩小处理之处，减弱所述边缘强调度。
16.根据权利要求9所述的图像处理装置，其特征在于，在所述局部放大处理或缩小处理中的局部放大率以及缩小率与将图像数据放大或缩 小到最终所需的图像尺寸时的尺寸调整率之积的最大值为预定的阈值以下的情况下，所述 控制部不进行变更所述边缘强调处理的处理。
17.根据权利要求16所述的图像处理装置，其特征在于， 所述预定的阈值为1.0。
18.一种摄像装置，其特征在于，具备根据权利要求1 权利要求17中的任意一项所述的图像处理装置；以及 存储摄影镜头的与频率对应的对比度特性的存储部，所述控制部与存储于所述存储部中的对比度特性相应地，变更实施所述边缘强调处理 的频带。
19.根据权利要求18所述的摄像装置，其特征在于， 所述控制部还变更表示强调边缘的程度的边缘强调度。
20.根据权利要求18所述的摄像装置，其特征在于， 所述控制部在静止图像摄影时，进行变更实施所述边缘强调处理的频带、并且变更表示强调边缘 的程度的边缘强调度的处理，在运动图像摄影时，进行变更实施所述边缘强调处理的频带 的处理和变更所述边缘强调度的处理之中的任意一种处理。
21.根据权利要求19所述的摄像装置，其特征在于， 所述控制部在静止图像摄影时，进行变更实施所述边缘强调处理的频带、并且变更表示强调边缘 的程度的边缘强调度的处理，在运动图像摄影时，进行变更实施所述边缘强调处理的频带 的处理和变更所述边缘强调度的处理之中的任意一种处理。
22.—种图像处理方法，其特征在于，包括 对图像数据实施边缘强调处理的步骤；对实施了所述边缘强调处理的图像数据，进行与摄影时使用的镜头的光学失真特性对 应的局部放大处理或缩小处理，由此实施校正失真的失真校正处理的步骤；以及与所述局部放大处理或缩小处理相应地，变更对实施所述失真校正处理的对象的图像 数据进行的边缘强调处理的步骤。
23.一种图像处理方法，其特征在于，包括对图像数据，进行与摄影时使用的镜头的光学失真特性对应的局部放大处理或缩小处理，由此实施校正失真的失真校正处理的步骤；对实施了所述失真校正处理的图像数据实施边缘强调处理的步骤；以及 与所述局部放大处理或缩小处理相应地，变更对实施了所述失真校正处理的图像数据 进行的边缘强调处理的步骤。
全文摘要
本发明的课题在于提供图像处理装置、摄像装置、以及图像处理方法。在失真校正处理后的图像数据中，进行了局部放大的部分的对比度有所下降。作为解决这种课题的手段，对图像数据实施边缘强调处理，对边缘强调处理后的图像数据进行与摄影时使用的镜头的光学失真特性对应的局部放大处理或缩小处理，从而实施校正失真的失真校正处理。此时，根据局部放大处理或缩小处理，变更对实施失真校正处理的对象的图像数据进行的边缘强调处理。
文档编号H04N5/232GK102045507SQ20101051750
公开日2011年5月4日 申请日期2010年10月19日 优先权日2009年10月21日
发明者市川学 申请人:奥林巴斯映像株式会社