图像处理装置及图像处理方法

专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及用于以各关注像素为基础，同时参照周围像素，来对图像数据执行运算处理的图像处理装置及方法。
背景技术：
传统上已知这样的图像处理，其中，通过使用FIR型数字滤波器等，以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理。图19示出了用于执行五抽头滤波处理的图像处理的梗概。参照图19，输入图像数据INDAT由像素Dl到D14构成。在图像端部1601和1602 外的位置处，没有像素(以下称为无效像素)。标号1603、1604表示位于图像左端部1601 左侧外的无效像素。标号1605、1606表示位于图像右端部1602右侧外的无效像素。在执行五抽头滤波处理之前，通过执行图像复制1607以将输入图像数据INDAT的像素Dl复制到无效像素1603、1604的位置处，并且通过执行图像复制1608以将输入图像数据INDAT的像素D14复制到无效像素1605、1606的位置处，来获得图像数据CPDAT。接下来，基于图像数据CPDAT，对输入图像数据INDAT的各关注像素执行五抽头滤波处理。更具体地说，基于关注像素Dl和周围像素(即，两个复制的像素Dl以及像素D2 和D3)执行针对关注像素Dl的五抽头滤波处理1611，以获得输出图像数据OUTDAT的像素 01，并且基于关注像素D2和周围像素(即，复制的像素Dl和像素D1、D3和D4)执行针对关注像素D2的五抽头滤波处理，以获得输出图像数据OUTDAT的像素02。此外，执行针对各个关注像素D3到D14的五抽头滤波处理，以获得输出图像数据OUTDAT的像素03到014中的每一个。标号1619表不针对关注像素D9的五抽头滤波处理。图20以框图示出了常规图像处理装置的示例构造。如图20所示，图像处理装置包括像素复制单元201、图像处理部202以及区域信息控制部203，像素复制单元201复制图像端部像素，图像处理部202执行诸如滤波处理的图像处理，区域信息控制部203控制图像区域位置信息。根据从区域信息控制部203提供的图像左端复制区域信息C0PYLWIN和图像右端复制区域信息C0PYRWIN，像素复制单元201 将输入图像数据INDAT的图像端部像素复制到输入图像数据INDAT的无效像素的位置处， 由此生成图像数据CPDAT。图像处理部202对从像素复制单元201提供的图像数据CPDAT 执行滤波处理，并且根据从区域信息控制部203提供的输出图像区域信息0UTWIN，基于经滤波处理的图像数据CPDAT而生成输出图像数据0UTDAT。图21示出了图20的图像处理装置中输入信号和输出信号的时序图。在所示的示例中，时钟信号从I开始连续编号，依次称为时钟1、2、3等。参照图21，图像处理装置的像素复制单元201在时钟4到17依次输入所述输入图像数据INDAT的像素Dl到Dn ( = D14)(部分省略了这些像素的例示)，在时钟4和5输入图像左端复制区域信息C0PYLWIN，并且在时钟5和6复制像素Dl。像素复制单元201在时钟20和21输入图像右端复制区域信息C0PYRWIN，并且在时钟21和22复制像素Dn。在时钟5到22，像素复制单元201依次输出图像数据CPDAT的像素D1、D1、D1、D2到Dn、Dn以及 Dn0图像处理部202输入图像数据CPDAT和输出图像区域信息0UTWIN，并且在时钟9 到22依次输出所述输出图像数据OUTDAT的像素01到On ( = 014)。在日本特开平第08-138045号公报中，提出了与上述类似的FIR滤波处理。根据上述常规图像处理并且根据在日本特开平第08-138045号公报中公开的滤波处理，在参照周围像素的同时执行图像处理的情况下，复制了图像端部处的像素，以防止输出图像的图像端部部分具有未定义的值。然而，有这样的担心，即，由于在图像端部处执行了与在其它图像区域处执行的图像处理相同的图像处理，所以图像端部附近的图像质量会劣化。还提出了这样的滤波处理，其中，使用去块(deblocking)滤波器来消除所生成的图像因相邻块的像素值的差异而具有块状外观的问题(ITU-T H. 264书面标准)。然而，对于该提出的滤波处理，有这样的担心，即，由于在对输入图像数据的图像端部处执行的图像处理中未考虑有效图像区域，所以输出图像的图像端部附近的图像质量会劣化。

发明内容
本发明提供了一种图像处理装置及图像处理方法，该图像处理装置及图像处理方法能够抑制在基于包括图像端部的参照像素区域确定的输出图像区域中的图像质量劣化。根据本发明的一个方面，提供了一种具有图像处理单元的图像处理装置，该图像处理单元以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理，该图像处理装置包括区域信息控制单元，其被配置为控制图像区域信息；系数选择值生成单元，其被配置为基于从所述区域信息控制单元提供的所述图像区域信息生成系数选择值；具有系数表的表单元，该表单元被配置为根据由所述系数选择值生成单元生成的系数选择值来输出相互不同的系数组；系数组选择单元，其被配置为生成系数组选择值；以及表选择单元，其被配置为根据由所述系数组选择单元生成的系数组选择值来选择所述系数表中的一个，其中，所述图像处理单元通过使用构成从由所述表选择单元选择的系数表输出的系数组的系数，来对所述图像数据执行运算处理。根据本发明，基于通过考虑有效像素而确定的参照像素，即使在图像端部附近，也能够合适地执行图像处理，从而能够将在基于包括图像端部的参照像素区域而确定的输出图像区域中的图像质量劣化抑制到最小。根据参照附图对示例性实施方式的以下描述，本发明的进一步的特征将变得清
λ·Μ
/E. ο


图I是示出根据本发明第一实施方式的图像处理装置的示例构造的框图；图2是示出安装有图I所示的图像处理装置的图像拍摄装置的示例构造的框图；图3是示出图像处理装置的图像处理部的内部构造的图；图4是示出图像处理装置的第一系数表的内部构造的图；图5A到5C是示出第一到第三系数表的设置内容的示例的图6A和6B是图像处理装置中的输入信号和输出信号的时序图；图7是示出图像处理装置的系数组选择单元的内部构造的图；图8A到SE是示出由系数组选择单元的系数组决定单元所参照以确定系数组选择值的不例表的图；图9是示出根据第一系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程的流程图；图10是示出根据第一系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程的流程图；图IlA是示出由第一系数计算方法计算出的滤波器系数的示例的表；图IlB是示出由第二系数计算方法计算出的滤波器系数的示例的表；图12是示出根据第二系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程的流程图；图13是示出根据第二系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程的流程图；图14是示出根据本发明第二实施方式的图像处理装置的示例构造的框图；图15是集中示出图14中所示的滤波器选择表单元的第一到第三滤波器选择表的内容示例的图；图16A到16D是图14所示的图像处理装置中的输入信号和输出信号的时序图；图17是示出图14所示的图像处理装置的滤波器选择值控制部的内部构造的图；图18A到18E是示出由滤波器选择值控制部的滤波器选择值决定单元参照以确定滤波器选择值控制信号的示例表的图；图19是示出执行五抽头滤波处理的图像处理的概况的图；图20示出常规图像处理装置的示例构造的框图；以及图21是图20的图像处理装置中的输入信号和输出信号的时序图。
具体实施例方式下面将参照示出本发明优选实施方式的附图，来详细描述本发明。(第一实施方式)图2以框图示出安装有根据本发明第一实施方式的图像处理装置的图像拍摄装置的示例构造。稍后参照图I描述图像处理装置的细节。如图2所示，图像拍摄装置4100包括具有对焦镜头的拍摄镜头4103、具有光圈功能的快门4101以及由例如将光信号转换为电信号的CCD或CMOS器件实现的图像拾取器件 422。标号4102表示对包括拍摄镜头4103、快门4101以及图像拾取器件422的图像拾取系统进行遮盖、由此防止图像拾取系统的脏污和损坏的屏罩。标号423表示将从图像拾取器件422输出的模拟信号转换为数字信号的Α/D转换器。标号424表示图像拍摄装置4100的图像处理部。图像处理部424由图I中所示的图像处理装置实现，并且对从Α/D转换器423或从存储器控制部415提供的数据执行色彩转换处理和尺寸调整处理(如像素插入和减少)。图像处理部424对诸如拍摄图像的输入图像数据执行图像处理(其内容是根据拍摄条件、图像特征等确定的)，由此生成用于输出的记录图像数据。基于由图像处理部424对拾取图像数据执行的计算的结果，系统控制部450执行针对TTL-AF(通过镜头自动对焦)处理、AE(自动曝光)处理、EF(电子闪光灯)处理以及 TTL-AffB(通过镜头自动白平衡)处理的曝光控制和测距控制。Α/D转换器423的输出数据经由图像处理部424和存储器控制部415或者经由存储器控制部415被写入存储器432。存储器432存储由图像拾取器件422获得且由Α/D转换器423转换为数字数据的图像数据。存储器432还用作存储要在显示单元428上显示的图像数据的视频存储器，并且具有足以存储希望数量的静态图像和/或预定时长的运动图像和/或预定时长的音频数据的存储容量。标号413表示将存储在存储器432中的图像显示数据转换为模拟信号并将该模拟信号提供给显示单元428的D/Α转换器。基于从D/Α转换器413提供的模拟信号，在显示单元428的显示器件(如IXD)上进行显示。非易失性存储器456由存储供系统控制部450使用以进行操作的常量、程序等的电可擦除可记录存储器(例如，EEPR0M)实现。系统控制部450控制整个图像拍摄装置4100，并且执行非易失性存储器456中存储的程序，以执行(后面描述的)系数计算处理。标号452表示由例如RAM实现的系统存储器，该系统存储器用来存储例如供系统控制部450使用以进行操作的常量和变量和展开例如从非易失性存储器456读取的程序。系统控制部450通过控制存储器432、D/A转换器 413、显示单元428等，来执行显示控制。加速度传感器482检测施加到图像拍摄装置4100的加速度。加速度检测信息可以用于系数计算处理。模式切换开关460、第一快门开关462、第二快门开关464以及操作单元470用来向系统控制部450输入操作指令。模式切换开关460可由用户操作，以给出在静态图像记录模式、运动图像记录模式、再现模式等之间改变系统控制部450的操作模式的指令。当图像拍摄装置4100的快门按钮(未示出)被半按下以给出拍摄预备指令时，第一快门开关462接通，以向系统控制部 450输出第一快门开关信号SWl。响应于第一快门开关信号SWl，系统控制部450开始AF处理、AE处理、AffB处理、EF处理等。当快门按钮被全按下以给出拍摄指令时，第二快门开关464接通，以向系统控制部450输出第二快门开关信号SW2。响应于第二快门开关信号SW2，系统控制部450开始包括从图像拾取器件422读取信号到向记录介质4200写入图像数据的一系列拍摄处理。操作单元470用作多个功能按钮，这些功能按钮中的每一个指配适合于用户选择性地操作在显示单元428上显示的功能图标中的一对应功能图标时的场景的功能。这些功能按钮包括结束按钮、返回按钮、图像偏移按钮、跳过按钮、光圈减小按钮、属性改变按钮等。当菜单按钮被按压时，在显示单元428上显示用于各种设置的菜单画面。用户能够通过使用显示单元428上显示的菜单画面以及未示出的四方向按钮和设置按钮，来直观地执行设置。标号480表示电源控制部，该电源控制部包括电池检测电路、DC-DC转换器、用于选择图像拍摄装置的被供应电力的模块的开关电路等，并且检测电池安装/拆离、电池类型以及电池剩余电量。根据检测结果和系统控制部450的指令，电源控制部480控制DC-DC 转换器(未示出)，以向图像拍摄装置4100的各个部分提供希望的电压达希望的时间段。标号430表示电源单元，该电源单元由主电池(如碱性电池或锂电池)或辅电池 (如NiCd电池、NiMH电池或Li电池)或AC适配器实现。标号418表示与记录介质4200 的接口。记录介质4200是由例如半导体存储器或磁盘实现的存储卡等。图I以框图示出了构成图2中所示的图像拍摄装置4100的图像处理部424的图像处理装置的示例构造。在图I中，标号101表示图像处理部，该图像处理部根据输入图像数据INDAT生成输出图像数据0UTDAT，并且输出所生成的数据0UTDAT。标号102表示对图像区域信息进行控制的区域信息控制部。区域信息控制部102向图像处理部101输出图像输出区域控制信号0UTWIN，并且向系数选择值生成部103输出滤波器系数切换控制信号KWIN。具体地说， 图像区域信息包括控制信号OUTWIN和KWIN。系数选择值生成部103根据从区域信息控制部102提供的控制信号KWIN生成系数选择值KSEL。系数表单元106具有第一到第M系数表106A到106M，并且根据系数选择值KSEL输出第一到第M滤波器系数组KSETl到KSETM。系数组选择单元105生成系数组选择值KSETSEL，并且将所生成的值KSETSEL输出给选择部104，该选择部104由例如MUX实现。选择部104根据从系数组选择单元105 输入的系数组选择值KSETSEL选择(从系数表单元106输入的)第一到第M滤波器系数组 KSETl到KSETM中的一个，并且将构成所选择的滤波器系数组的滤波器系数Kl到KN输出给图像处理部101。图3示出了图像处理部101的内部构造。图像处理部101由例如FIR滤波器实现，并且包括D触发器(flip-flop)(以下称为D-FF)501到507、乘法器508到513以及加法器514，其中D-FF 501到507是用于与内部时钟同步地保存并移位输入图像数据INDAT的像素值的延迟部件，乘法器508到513分别将D-FF 501到507的输出乘以滤波器系数KN到K1，加法器514将乘法器508到513的输出相加起来，并输出相加的结果作为输出图像数据OUTDAT。图4示出了第一系数表106A的内部构造。第一系数表106A包括分别用于根据从系数选择值生成部103提供的系数选择值 KSEL输出滤波器系数Kl到KN的Kl表107A到KN表107N，并且输出包括滤波器系数Kl到 KN的第一滤波器系数组KSETl。第二到第M系数表106B到106M分别具有与第一系数表 106A相同的构造，并且分别根据系数选择值KSEL输出第二到第M滤波器系数组KSET2到 KSETM (每一个都包括系数Kl到KN)。图5A到5C示出了第一到第三系数表106A到106C的设置内容的示例。如图5A所示，第一系数表106A具有分别与8个系数选择值KSEL(0到7)中的一个相对应的8行。第一系数表106A的各行具有KSEL字段、KSET名字段、抽头数字段、以及 Kl到K7字段，其中KSEL字段设有与8个系数选择值KSEL中的一个对应的值(例如，O)， KSET名字段设有滤波器系数组KSETl的名称(例如，Kltap)，抽头数字段设有抽头数(例如，I)，Kl到K7字段分别设有构成滤波器系数组KSETl的滤波器系数Kl到K7的值(例如，0、0、0、1、0、0、0)。如同第一系数表106A,第二系数表106B和第三系数表106C各自都具有8行,每行都具有KSEL字段、KSET名字段、抽头数字段以及Kl到K7字段。第二系数表106B涉及第二系数组KSET2，第三系数表106C涉及第三系数组KSET3。图6A和6B是图I所示的图像处理装置中的输入信号和输出信号的时序图。图像处理装置根据同步时钟信号CLK逐像素地执行图像处理。在所示的示例中， 时钟信号CLK从I开始连续编号，依次称为时钟1、2、3等。图像处理装置根据时钟信号CLK 一个像素接一个像素地输入输入图像数据 INDAT0在时钟I到3处，并且在时钟18处和之后，没有向图像处理装置输入输入图像数据 INDAT的有效像素值(如由未定义的值X所示)。在时钟4到17处，依次向图像处理装置输入输入图像数据INDAT的有效像素值Dl到Dn (它们的例示被部分省略了)。符号Dl表示图像左端的像素值，Dn ( = D14)表示图像右端的像素值。根据在与输入图像数据INDAT的有效像素区域对应的时间段内为H(高)电平的输出图像区域控制信号0UTWIN，来控制输出图像数据OUTDAT的输出图像区域。通过基于控制信号OUTWIN的H电平时间段设置输出图像区域，能够合适地将输出图像区域控制为对应于输入图像数据INDAT的有效像素区域。在控制信号OUTWIN的H电平时间段期间，在时钟7到20依次输出输出图像数据 OUTDAT的像素值01到On。符号01表示输出图像左端的像素值，符号On ( = 014)表示输出图像右端的像素值。基于从系数选择值生成部103输出的滤波器系数切换控制信号KWIN，来控制系数选择值KSEL。在本实施方式中，系数选择值KSEL可以从初始值O变化到最大值7，并且在控制信号KWIN处于H电平的时钟的下一时钟处递增一。具体地说，系数选择值KSEL在时钟I到6为初始值0，接着在时钟7到10中的各时钟处递增一，从而从值I变到值4，接着在时钟11到17保持在值4。随后，系数选择值KSEL在时钟18到20中的各时钟处递增一， 从而从值5变到值7，接着在时钟21返回为初始值O。根据系数选择值KSEL，从图5A到5C所示的第一到第三系数表106A到106C分别输出了第一到第三系数组KSETl到KSET3。下面描述第一系数组KSETl。在时钟I到7处，系数选择值KSEL具有值O或I，因此，输出对应于KSET名Kltap的系数组KSETl。在时钟8到19处，系数选择值KSEL具有值 2到6中的一个对应值，因此，输出对应于KSET名K3tap的系数组KSETl。在时钟20处或之后，系数选择值KSEL具有值7或0，因此，输出对应于KSET名Kltap的系数组KSETl。接下来，描述第二系数组KSET2。在时钟I到7处，输出对应于KSET名Kltap的系数组KSET2。在时钟8处，输出对应于KSET名K3tap的系数组KSET2。在时钟9到18处， 输出对应于KSET名K5tap的系数组KSET2。在时钟19处，输出对应于KSET名K3tap的系数组KSET2。在时钟20处和之后，输出对应于KSET名Kltap的系数组KSET2。接下来，描述第三系数组KSET3。在时钟I到6处，输出对应于KSET名Kltap的系数组KSET3。在时钟7到9处，输出对应于KSET名K3tapl、K4tapl或K5tapl的系数组 KSET3。在时钟10到17处，输出对应于KSET名K7tap的系数组KSET3。在时钟18到20 处，输出对应于KSET名K5tap、K4tap2或K3tap2的系数组KSET3。在时钟21处和之后，输出对应于KSET名Kltap的系数组KSET3。选择部104在系数组选择值KSETSEL具有值I时选择第一滤波器系数组KSETl， 在系数组选择值KSETSEL具有值2时选择第二滤波器系数组KSET2，而在系数组选择值 KSETSEL具有值3时选择第三滤波器系数组KSET3。选择部104将所选择的滤波器系数组 KSETl、KSET2或KSET3作为滤波器系数组KSET输出。图7示出了图I中所示的系数组选择单元105的内部构造。在图7中，标号902表示噪声级别检测单元，该噪声级别检测单元检测来自输入图像数据INDAT的噪声级别(S/N比)，并将该噪声级别输出。标号903表示图像特征提取单元，该图像特征提取单元从输入图像数据INDAT提取图像特征如边缘(特别是边缘方向) 或实心图像(其是具有大于例如90%的图像面积比的图像)，并且输出所提取的图像特征。 标号904表示频率特征单元，该频率特征单元检测输入图像数据INDAT的频率特征，并且输出表示频带的信息。标号905表示垂直位置确定单元，该垂直位置确定单元基于垂直图像区域控制信号VWIN确定表示距垂直图像端部的距离的距离信息，并输出该距离信息。这里假定由垂直位置确定单元905执行水平图像处理。在执行垂直图像处理的情况下，作为垂直位置确定单元905的替换选择的水平位置确定单元(未示出)基于水平图像区域控制信号(未示出)确定表示距水平图像端部的距离的距离信息，并输出该距离信息。标号906表示系数组决定单元，该系数组决定单元基于在图像数据中指示的拍摄条件、从图像数据检测出的噪声级别、从图像数据提取的图像特征、从图像数据检测出的频带以及表示关注像素与图像端部之间的距离的距离信息，确定用于输出的系数组选择值 KSETSELο图8A到8E示出了由系数组决定单元906所参照以确定系数组选择值KSETSEL的示例表。图8A示出了表示拍摄条件(在本示例中为ISO感光度)与第一系数组选择值 KSETSELa之间的关系的表。在所示的示例中，当ISO感光度具有小于400的值时，第一系数组选择值KSETSELa被设置为值KSETSEL1 ;当ISO感光度具有等于或大于400但小于1600 的值时，第一系数组选择值KSETSELa被设置为值KSETSEL2 ；当ISO感光度具有等于或大于1600的值时，第一系数组选择值KSETSELa被设置为值KSETSEL3。值KSETSEL1小于值 KSETSEL2，值KSETSEL2小于值KSETSEL3。拍摄条件不限于ISO感光度，而可以例如是根据快门速度确定的TV值。图8B示出了表示噪声级别(在本示例中为S/N比)与第二系数组选择值KSETSELb 之间的关系的表。S/N比是表示信号电平相对于噪声电平的大小的值。当S/N比等于或高于30dB时，第二系数组选择值KSETSELb被设置为值KSETSEL1 ;当S/N比等于或高于IOdB 但低于30dB时，第二系数组选择值KSETSELb被设置为值KSETSEL2 ;当S/N比低于IOdB时， 第二系数组选择值KSETSELb被设置为值KSETSEL3。图SC示出了表示图像特征与第三系数组选择值KSETSELc之间的关系的表。当图像特征对应于垂直边缘图像时，第三系数组选择值KSETSELc被设置为值KSETSEL1 ;当图像特征对应于倾斜边缘图像时，第三系数组选择值KSETSELc被设置为值KSETSEL2 ;当图像特征对应于水平边缘图像或实心图像时，第三系数组选择值KSETSELc被设置为值KSETSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，分别将值KSETSEL1、KSETSEL2以及KSETSEL3用于水平边缘图像、倾斜边缘图像以及垂直边缘图像。图8D示出了表示频率特征(在本示例中为图像频带)与第四系数组选择值 KSETSELd之间的关系的表。对于高频带图像，第四系数组选择值KSETSELd被设置为值 KSETSEL1 ;对于中频带图像，第四系数组选择值KSETSELd被设置为值KSETSEL2 ;对于低频带图像，第四系数组选择值KSETSELd被设置为值KSETSEL3。图SE示出了表示关注像素(它是图像处理对象)距离图像端部的位置与第五系数组选择值KSETSELe之间的关系的表。当关注像素与图像端部(在本示例中为上端部或下端部)相距四个像素或更多像素时，第五系数组选择值KSETSELe被设置为值KSETSEL1 ； 当关注像素与图像端部相距两个像素或三个像素时，第五系数组选择值KSETSELe被设置为值KSETSEL2;当关注像素位于图像端部处时，第五系数组选择值KSETSELe被设置为值 KSETSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，随着关注像素位置与图像左端部或右端部之间的距离的减小，依次使用值KSETSEL1、KSETSEL2 以及 KSETSEL3。系数组决定单元906从基于图8A到SE所示的表所决定的第一到第五系数组选择值KSETSELa到KSETSELe中确定系数组选择值KSETSEL。例如，可以将第一到第五系数组选择值KSETSELa到KSETSELe中的最大值确定为系数组选择值KSETSEL。下面，描述如何计算滤波器系数Kl到KN。图9以流程图示出了根据第一系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程。在下面的描述中，假定由图像处理装置的CPU执行滤波器系数计算处理，但这不是限制性的。在本示例中，假定预先确定了针对图像中央区域(例如，在图IlA中由标号1706 所示且位于从图像左端数第6个像素与从图像右端数第6个像素之间的区域)的滤波器系数Kl到KN。根据相对于图像端部的关注像素位置，来计算针对图像端侧的图像数据的滤波器系数，这些滤波器系数在为计算与关注像素对应的输出图像像素而参照的周围像素中包括无效像素时使用。更具体地说，基于针对图像中央区域的滤波器系数Kl到KN，首先根据下述滤波器系数计算处理过程，来计算在关注像素位于使抽头处理对象像素(即，要经受抽头处理的像素)中的仅最左侧像素是无效像素的位置处时使用的滤波器系数Kl到KN。接下来，基于恰在前面计算出的滤波器系数Kl到KN(即，针对参照像素区域中包括的无效像素比在针对当前滤波器系数计算的参照像素区域中包括的无效像素在个数上少一个的关注像素位置计算的滤波器系数Kl到KN)，以同样的过程计算在关注像素位于使抽头处理对象像素中仅最左侧像素及其相邻的内侧像素是无效像素的位置处时使用的滤波器系数Kl到KN。重复这样的滤波器系数计算，直到计算出在关注像素位于使抽头处理对象像素中在关注像素左侧的所有像素都是无效像素的位置时使用的滤波器系数Kl到KN。以上也适用于根据第一系数计算方法计算针对图像右端的图像数据的滤波器系数的处理、根据第二系数计算方法计算针对图像左端的图像数据的滤波器系数的处理以及根据第二系数计算方法计算针对图像右端的图像数据的滤波器系数的处理，后面将分别参照图10、12以及13来描述这些处理。在各关注像素位置处执行的滤波器系数计算处理中，图像处理装置的CPU将输入像素位置索引i初始化为对应于第一抽头的值I (步骤S102)，并且确定输入像素IDATi是否是无效像素(步骤S103)。如果确定输入像素IDATi不是无效像素，则本处理结束。另一方面，如果确定输入像素IDATi是无效像素，则处理进行到步骤S104，在步骤S104，CPU 从滤波器系数Ki减去针对无效像素的系数值K0，由此计算值Ki-KO，并且将所计算出的值 Ki-KO加到针对输入像素INDATi的右侧相邻像素的滤波器系数K (i+1)，由此计算出新的滤波器系数K(i+1)。接下来，CPU将针对无效像素的系数值KO设置为滤波器系数Ki (步骤S105)，将像素位置索引i递增一(步骤S106)，并且确定像素位置索引i是否等于值(N+l)/2(步骤 S107)，其中，N表示抽头数，值(N+l)/2对应于抽头处理对象像素中的中央像素的位置。如果在步骤S107确定像素位置索引i等于值(N+l)/2，则本处理结束。如果确定像素位置索引i不等于值(N+l)/2，则本处理返回到步骤S103。图10以流程图示出了根据第一系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程。图像处理装置的CPU将像素位置索引i初始化为值N(步骤S202)，并且确定输入像素IDATi是否是无效像素(步骤S203)。如果确定输入像素IDATi不是无效像素，则本处理结束。如果确定输入像素IDATi是无效像素，则处理进行到步骤S204，在步骤S204，CPU 从滤波器系数Ki减去针对无效像素的系数值K0，由此计算值Ki-KO，并且将所计算出的值 Ki-KO加到针对输入像素INDATi的左侧相邻像素的滤波器系数K(i-l)，由此计算出新的滤波器系数K(i-1)。接下来，CPU将针对无效像素的系数值KO设置为滤波器系数Ki (步骤S205)，将像素位置索引i递减一(步骤S206)，并且确定像素位置索引i是否等于值(N+l)/2(步骤 S207)，其中，N表示抽头数。如果在步骤S207确定像素位置索引i等于值(N+l)/2，则本处理结束。如果确定像素位置索引i不等于值(N+l)/2，则本处理返回到步骤S203。图IlA是示出由第一系数计算方法计算出的滤波器系数的示例的表。在图IlA中，对应于从图像左端变化到图像右端的关注像素位置，示出了用于在 11抽头滤波处理中使用的滤波器系数Kl到Kll的值。各个叉记号表示输入到对应抽头的像素是无效像素，各个圈记号表示输入到对应抽头的像素是有效像素，各个双圈记号表示输入到第六个抽头的像素是关注像素并且是有效像素。图IlA中所示的各个滤波器系数Kl 到Kll的值是其实际值的66倍大。表的第一行(由1701指示)对应于关注像素处于图像左端的情况。由1702到 1705指示的第二到第五行分别对应于关注像素是从图像左端数的第二到第五个像素中的一个的情况。由1706指示的第六行对应于关注像素是从图像左端数的第六个像素到从图像右端数的第六个像素中的一个的情况。由1711指示的底部行对应于关注像素处于图像右端的情况。由1710到1707指示的倒数第二到第五行分别对应于关注像素是从图像右端数的第二到第五像素中的一个的情况。接下来，描述在无效像素相对于关注像素出现在图像左端侧的情况下，以图9中的计算处理计算滤波器系数。在图IlA所示的表的第五行(由1705指示)中，输入到第一抽头的像素是无效像素。将第五行中的滤波器系数Kl的值计算为O。通过将在由1706指示的第六行中的滤波器系数Kl的值I和滤波器系数K2的值2加到一起，将第五行中的滤波器系数K2的值计算为3。在由1704指示的第四行中，输入到第二抽头的像素是无效像素。将第四行中的滤波器系数K2的值计算为O。通过在由1705指示的第五行中的将滤波器系数K2的值3和滤波器系数K3的值4加到一起，将第四行中的滤波器系数K3的值计算为7。第五行对应于参照像素区域中包括的无效像素比第四行中的参照像素区域中包括的无效像素在个数上少一个的关注像素位置。类似地，将由1703指示的第三行中的滤波器系数K4的值计算为13，将由1702指示的第二行中的滤波器系数K5的值计算为23，将由1701指示的第一行中的滤波器系数K6 的值计算为43。另一方面，在无效像素相对于关注像素出现在图像右端侧的情况下，以图10的计算处理计算滤波器系数。例如，将由1707指示的第七行中的滤波器系数KlO的值计算为3， 将由1708指示的第八行中的滤波器系数K9的值计算为7，将由1709指示的第八行中的滤波器系数K8的值计算为13，将由1710指示的第十行中的滤波器系数K7的值计算为23，将由1711指示的底部行中的滤波器系数K6的值计算为43。图12以流程图示出了根据第二系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程。图像处理装置的CPU将输入像素位置索引i初始化为对应于第一抽头的值I (步骤S302)，并且确定输入像素IDATi是否是无效像素(步骤S303)。如果确定输入像素IDATi 不是无效像素，则本处理进行到步骤S308。另一方面，如果确定输入像素IDATi是无效像素，则处理进行到步骤S304，在步骤S304，CPU从滤波器系数Ki减去针对无效像素的系数值K0，由此计算出值Ki-KO，并且将所计算出的值Ki-KO加到针对右侧相邻像素的滤波器系数K(i+1)，由此计算出新的滤波器系数K(i+1)。接下来，CPU将针对无效像素的系数值KO设置为滤波器系数Ki (步骤S305)，将像素位置索引i递增一(步骤S306)，并且确定像素位置索引i是否等于值(N+l)/2(步骤 S307)，其中，N表示抽头数。如果在步骤S307确定像素位置索引i不等于值(N+l)/2，则本处理返回到步骤 S303。如果确定像素位置索引i等于值(N+l)/2，则本处理进行到步骤S308。在步骤S308，CPU确定系数Ki是否大于针对左侧相邻像素的系数K (i_l)。如果步骤S308的确定结果为“是”，则本处理结束。另一方面，如果确定系数Ki不大于系数K (i-Ι)， 则处理进行到步骤S309，在步骤S309，CPU将滤波器系数Ki和K(i_l)的值互换。接下来，在步骤S310，CPU确定像素位置索引i是否等于值(N+l)/2。如果步骤 S310的确定结果为“是”，则本处理结束。另一方面，如果确定像素位置索引i不等于值 (N+1) /2，则处理进行到步骤S312，在步骤S312，CPU将像素位置索引i递增一，之后处理返回到步骤S308。图13以流程图示出了根据第二系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程。图像处理装置的CPU将输入像素位置索引i初始化为值N (步骤S402)，并且确定输入像素IDATi是否是无效像素(步骤S403)。如果确定输入像素IDATi不是无效像素，则本处理进行到步骤S408。另一方面，如果确定输入像素IDATi是无效像素，则处理进行到步骤S404，在步骤S404，CPU从滤波器系数Ki减去针对无效像素的系数值K0，由此计算出值 Ki-KO,并且将所计算出的值Ki-KO加到针对左侧相邻像素的滤波器系数K (i-1)，由此计算出新的滤波器系数K(i-1)。接下来，CPU将针对无效像素的系数值KO设置为滤波器系数Ki (步骤S405)，将像素位置索引i递减一(步骤S406)，并且确定像素位置索引i是否等于值(N+l)/2(步骤 S407)，其中，N表示抽头数。如果在步骤S407确定像素位置索引i不等于值(N+l)/2，则本处理返回到步骤 S403。如果确定像素位置索引i等于值(N+l)/2，则本处理进行到步骤S408。在步骤S408，CPU确定系数Ki是否大于针对右侧相邻像素的系数K (i+Ι)。如果步骤S408的确定结果为“是”，则本处理结束。另一方面，如果确定系数Ki不大于系数K (i+1)， 则处理进行到步骤S409，在步骤S409，CPU将滤波器系数Ki和K(i+Ι)的值互换。接下来，在步骤S410，CPU确定像素位置索引i是否等于值(N+l)/2。如果步骤 S410的确定结果为“是”，则本处理结束。另一方面，如果确定像素位置索引i不等于值 (N+l)/2，则处理进行到步骤S412，在步骤S412，CPU将像素位置索引i递增一，之后处理返回到步骤S408。图IlB是示出由第二系数计算方法计算出的滤波器系数的示例的表。在图IlB中，如同图11A，对应于关注像素位置，示出了用于在11抽头滤波处理中使用的滤波器系数Kl到Kll的值。叉记号、圈记号以及双圈记号的含义和图IlA中的相同。表的第一行(由1801指示)对应于关注像素处于图像左端的情况。由1802到 1805指示的第二到第五行分别对应于关注像素是从图像左端数的第二到第五个像素中的一个的情况。由1806指示的第六行对应于关注像素是从图像左端数的第六个像素到从图像右端数的第六个像素中的一个的情况。由1811指示的底部行对应于关注像素处于图像右端的情况。由1810到1807指示的倒数第二到第五行分别对应于关注像素是从图像右端数的第二到第五个像素中的一个的情况。接下来，描述在无效像素相对于关注像素出现在图像左端侧的情况下，以图12中的计算处理计算的滤波器系数。在图IlB所示的表的第五行(由1805指示)中，输入到第一抽头的像素是无效像素。将第五行中的滤波器系数Kl的值计算为O。通过将在由1806指示的第六行中的滤波器系数Kl的值I和滤波器系数K2的值2加到一起，将第五行中的滤波器系数K2的值计算为3。在由1804指示的第四行中，输入到第二抽头的像素是无效像素。将第四行中的滤波器系数K2的值计算为O。通过在由1805指示的第五行中的将滤波器系数K2的值3和滤波器系数K3的值4加到一起，将第四行中的滤波器系数K3的值计算为7。由于第四行中的滤波器系数K4的计算值6小于第四行中的滤波器系数K3的计算值7，所以将滤波器系数K3、K4的值互换，从而分别将滤波器系数Κ3、Κ4的值设置为6、7。由于滤波器系数Κ5的计算值10大于滤波器系数Κ4的计算值7，所以结束第四行中的滤波器系数的计算。类似地，分别计算第三行中的滤波器系数的值、第二行中的滤波器系数的值以及第一行中的滤波器系数的值。如上所述，通过使用第一到第M系数表106Α到106Μ、滤波器系数切换控制信号 KffIN以及输出图像区域控制信号0UTWIN，基于通过考虑有效像素而确定的参照像素，即使在图像端部附近，也能够合适地执行图像处理，由此，能够将基于包括图像端部的参照像素区域而确定的输出图像区域中的图像质量劣化抑制到最小。通过由系数组选择控制单元105根据各种条件切换系数表，即使在图像端部附近，也能够实现合适的图像质量设计。在上述实施方式中，由FIR滤波器实现图像处理部，但这不是限制性的。在本实施方式中，在图5Α到5C中举例示出了系数表中的第一到第三系数表的设置内容。类似地，也可以设置其它系数表的设置内容。在本实施方式中，举例描述了水平图像处理。也可以以类似的方式执行垂直图像处理。在本实施方式中，描述了第一和第二系数计算方法，但这些不是限制性的。可以根据滤波处理中的抽头数而不同地限定系数表。(第二实施方式)在本发明的第二实施方式中，在图像端部附近对图像处理中的参照像素区域(例如，FIR滤波器的抽头数)进行控制。图14以框图示出了根据本发明第二实施方式的图像处理装置的示例构造。该图像处理装置构成了图2中所示的图像拍摄装置4100的图像处理部424。在图14中，标号1101表示周围像素复制单元，该周围像素复制单元执行第一图像处理，以将输入图像数据INDAT的图像端部处的有效像素复制到位于图像端部之外的无效像素区域，来用有效像素替换无效像素，由此人为地在向外方向上扩展有效图像区域。周围像素复制单元1100向图像处理部1101输出通过对输入图像数据INDAT执行第一图像处理而获得的图像数据CPDAT。图像处理部1101包括用于保持图像数据CPDAT的像素值并对这些像素值进行移位的D触发器(D-FF) 1113到1115、三抽头滤波器1102、五抽头滤波器1103以及七抽头滤波器1104，并且对图像数据CPDAT执行滤波处理(第二图像处理)。D-FF 1113到1115作为整体进行操作以将图像数据CPDAT延迟三个时钟，并且输出延迟输出1TAP0UT。三抽头滤波器1102基于包括一个关注像素和两个周围像素的参照像素区域执行三抽头滤波处理，并且输出三抽头滤波输出3TAP0UT。五抽头滤波器1103输出五抽头滤波输出5TAP0UT，七抽头滤波器1104输出七抽头滤波输出7TAP0UT。第一选择部1105由例如MUX实现，根据提供给选择部1105的滤波器选择值FSEL 选择延迟输出1TAP0UT和滤波输出3TAP0UT、5TAP0UT以及7TAP0UT中的一个，并且输出所选择的输出作为输出图像数据0UTDAT。标号1106指示区域信息控制部，该区域信息控制部输出分别表示要复制图像左端像素的区域、要复制图像右端像素的区域、图像输出区域以及用于滤波器选择的图像区域的控制信号COPYLWIN、COPYRWIN、OUTffIN以及FWIN。控制信号OUTWIN被提供给三抽头滤波器1102、五抽头滤波器1103以及七抽头滤波器1104。标号1107表示滤波器编号生成单元，该滤波器编号生成单元根据由从图像区域控制部1106提供的控制信号FWIN表示的图像区域，生成滤波器编号信息FN0。滤波器选择表单元1110包括多个例如第一到第M滤波器选择表1110A到1110M， 以根据滤波器编号信息FNO分别输出第一到第M滤波器选择值FSELl到FSELM。第二选择部1108向第一选择部1105输出根据从滤波器选择值控制部1109提供的滤波器组选择值FSELSEL而从第一到第M滤波器选择值FSELl到FSELM中选择的滤波器选择值FSEL。图15集中示出了图14中所示的滤波器选择表单元1110的第一到第三滤波器选择表1110A到1110C的内容示例。如图15所示，第一到第三滤波器选择表1110A到1110C分别设置有根据从滤波器编号生成单元1107输出的滤波器编号信息FNO (O到7)而变化的第一到第三滤波器选择值 FSELl 到 FSEL3。第一滤波器选择值FSELl取Itap或3tap的值,第二滤波器选择值FSEL2取ltap、 3tap或5tap的值,第三滤波器选择值FSEL3取ltap、5tap或7tap的值。Itap的值表示要选择延迟输出lTAP0UT，3tap的值表示要选择滤波输出3TAP0UT，5tap的值表示要选择滤波输出5TAP0UT，7tap的值表示要选择滤波输出7TAP0UT。图16A到16D是图14所示的图像处理装置中的输入信号和输出信号的时序图。图像处理装置根据同步时钟信号CLK逐像素地执行图像处理。在所示的示例中， 时钟信号CLK从I开始连续编号，依次称为时钟1、2、3等。图像处理装置根据时钟信号CLK 一个像素接一个像素地输入输入图像数据 INDAT0在时钟I和2处，并且在时钟19处和之后，没有向图像处理装置输入输入图像数据 INDAT的有效像素值(如由未定义的值X所示)。在时钟3到18处，向图像处理装置依次输入了输入图像数据INDAT的有效像素值Dl到Dn (它们的例示被部分省略了)。符号Dl 表示图像左端的像素值，Dn (例如D16)表示图像右端的像素值。在时钟3和4处，表示要复制图像左端像素的区域的控制信号COPYLWIN变为H电平。在时钟4和5处(即，在图像左端复制区域中)，复制了输入图像数据INDAT的图像左端处的像素值D1，由此生成了图像数据CPDAT的前两个像素值。在时钟21和22处，表示要复制图像右端像素的区域的控制信号COPYRWIN变为H 电平。在时钟22和23处(即，在图像右端复制区域中)，复制了输入图像数据INDAT的图像右端处的像素值Dn(D16)，由此生成了图像数据CPDAT的最后两个像素值。根据在与输入图像数据INDAT的有效系数区域对应的时间段内为H电平的输出图像区域控制信号0UTWIN，来控制输出图像数据OUTDAT的输出图像区域。通过基于控制信号OUTWIN的H电平时间段来设置输出图像区域，能够合适地将输出图像区域控制为对应于输入图像数据INDAT的有效像素区域。在输出图像区域信息OUTWIN的H电平时间段期间，在时钟9到24依次输出输出图像数据OUTDAT的像素值01到On。符号01表示输出图像左端的像素值，符号On ( = 016) 表示输出图像右端的像素值。
基于从滤波器编号生成单元1107输出的表示用于滤波器选择和输出的图像区域的控制信号FWIN，来控制滤波器编号信息FNO。在本实施方式中，滤波器编号信息FNO可以从初始值O变化到最大值7，并且在控制信号KWIN处于H电平的时钟之后的时钟处递增一。 具体地说，如图16C和16D所示，滤波器编号信息FNO在时钟I到8为初始值0，接着在时钟 9到12中的各时钟处递增一，从而从值I变到值4，接着在时钟13到21保持在值4。随后， 滤波器编号信息FNO在时钟22到24中的各时钟处递增一，从而从值5变到值7，接着在时钟25返回初始值O。根据滤波器编号信息FN0，分别从图14和15中所示的第一到第三滤波器选择表 1110A到1110C中的相应一个输出了第一到第三滤波器选择值FSELl到FSEL3。下面，首先描述第一滤波器选择值FSEL1。在时钟I到9处，滤波器编号信息FNO 具有值O或I，并且滤波器选择值FSELl取Itap的值，该值表示要选择延迟输出1TAP0UT。 在时钟10到23处，滤波器编号信息FNO具有值2到6中的一个，并且滤波器选择值FSELl 取3tap的值，该值表示要选择滤波输出3TAP0UT。在时钟24处和之后，滤波器编号信息FNO 具有值7或0，并且滤波器选择值FSELl取Itap的值。第二滤波器选择值FSEL2在时钟I到9取Itap的值，在时钟10取3tap的值，在时钟11到22取5tap的值，在时钟23取3tap的值，在时钟24处和之后取Itap的值。第三滤波器选择值FSEL3在时钟I到8取Itap的值，在时钟9到11取5tap的值， 在时钟12到21取7tap的值，在时钟22到24取5tap的值，在时钟25处和之后取Itap的值。在滤波器组选择值FSELSEL具有值I的情况下，第二选择部1108选择第一滤波器选择值FSELl作为滤波器选择值FSEL，并且输出D1、3D2、3D3、……、3Dn_l以及Dn的值作为输出图像数据OUTDAT的像素值01到On。在滤波器组选择值FSELSEL具有值2的情况下，第二选择部1108选择第二滤波器选择值FSEL2作为滤波器选择值FSEL，并且输出D1、3D2、 3、……、3Dn_l以及Dn的值作为输出图像数据OUTDAT的像素值01到On。在滤波器组选择值FSELSEL具有值3的情况下，第二选择部1108选择第三滤波器选择值FSEL3作为滤波器选择值FSEL，并且输出 1、 2、 3、……、5Dn_l以及5Dn的值作为输出图像数据OUTDAT的像素值01到On。图17示出了图14中所示的滤波器选择值控制部1109的内部构造。在图17中,标号1402到1405表示噪声级别检测单元、图像特征提取单元、频率特征单元以及垂直位置确定单元，这些组件分别对应于图7中所示的噪声级别检测单元902、 图像特征提取单元903、频率特征单元904以及垂直位置确定单元905。标号1406表示滤波器选择值决定单元，该滤波器选择值决定单元基于拍摄条件、 噪声级别、图像特征、频带以及距离信息确定针对输出的滤波器选择值控制信号FSELSEL。图18A到18E示出了由图17中所示的滤波器选择值确定单元1406参照以确定滤波器选择值控制信号FSELSEL的示例表。图18A示出了表示拍摄条件(在本示例中为ISO感光度)与第一滤波器选择值控制信号FSELSELa之间的关系的表。在所示的示例中，当ISO感光度具有小于400的值时， 第一滤波器选择值控制信号FSELSELa被设置为值FSELSEL1 ;当ISO感光度具有等于或大于400但小于1600的值时，第一滤波器选择值控制信号FSELSELa被设置为值FSELSEL2 ； 当ISO感光度具有等于或大于1600的值时，第一滤波器选择值FSELSELa被设置为值 FSELSEL3。值FSELSEL1小于值FSELSEL2，值FSELSEL2小于值FSELSEL3。拍摄条件不限于 ISO感光度，而可以例如是根据快门速度确定的TV值。图18B示出了表示噪声级别(在本示例中为S/N比)与第二滤波器选择值控制信号FSELSELb之间的关系的表。当S/N比等于或高于30dB时，第二滤波器选择值控制信号 FSELSELb被设置为值FSELSEL1 ;当S/N比等于或高于IOdB但低于30dB时，第二滤波器选择值控制信号FSELSELb被设置为值FSELSEL2 ;当S/N比低于IOdB时，第二滤波器选择值控制信号FSELSELb被设置为值FSELSEL3。图18C示出了表示图像特征与第三滤波器选择值控制信号FSELSELc之间的关系的表。当图像特征对应于垂直边缘图像时，第三滤波器选择值控制信号FSELSELc被设置为值FSELSEL1 ；当图像特征对应于倾斜边缘图像时，第三滤波器选择值控制信号FSELSELc被设置为值FSELSEL2 ;当图像特征对应于水平边缘图像或实心图像时，第三滤波器选择值控制信号FSELSELc被设置为值FSELSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，将值FSELSEL I用于水平边缘图像，将值FSELSEL2用于倾斜边缘图像，将值FSELSEL3用于垂直边缘图像。图18D示出了表示频率特征(在本示例中为图像频带)与第四滤波器选择值控制信号FSELSELd之间的关系的表。对于高频带图像，第四滤波器选择值控制信号FSELSELd 被设置为值FSELSEL1 ;对于中频带图像，第四滤波器选择值控制信号FSELSELd被设置为值 FSELSEL2 ;对于低频带图像，第四滤波器选择值控制信号FSELSELd被设置为值FSELSEL3。图18E示出了表示关注像素(它是图像处理对象)相对于图像端部的位置与第五滤波器选择值控制信号FSELSELe之间的关系的表。当关注像素与图像端部(在本示例中为上端部或下端部)相距四个像素或更多像素时，第五滤波器选择值控制信号FSELSELe被设置为值FSELSEL1 ;当关注像素与图像端部相距两个像素或三个像素时，第五滤波器选择值控制信号FSELSELe被设置为值FSELSEL2 ;当关注像素位于图像端部处时，第五滤波器选择值控制信号FSELSELe被设置为值FSELSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，随着关注像素位置与图像左端部或右端部之间的距离的减小，依次使用值 FSELSEL1、FSELSEL2 以及 FSELSEL3。滤波器选择值决定单元1406从基于图18A到18E所示的表所决定的第一到第五滤波器选择值控制信号FSELSELa到FSELSELe中确定滤波器选择值控制信号FSELSEL。例如，可以将第一到第五滤波器选择值控制信号FSELSELa到FSELSELe中的最大值确定为滤波器选择值控制信号FSELSEL。如上所述，通过使用第一到第M滤波器选择表1110A到1110M、滤波器选择区域控制信号FWIN以及输出图像区域控制信号0UTWIN，在图像端部附近，通过考虑有效像素区域，可以正确地执行图像处理。通过由滤波器选择值控制部1109根据各种条件切换滤波器选择表，即使在图像端部附近，也能够实现合适的图像质量设计。在上述实施方式中，由N抽头滤波器实现图像处理部，但这不是限制性的。在本实施方式中，在图15中举例示出了第一到第三滤波器选择表的内容。类似地，也可以设置其它滤波器选择表的内容。在本实施方式中，举例描述了水平图像处理。也可以以类似的方式执行垂直图像处理。在本实施方式中，描述了由周围像素复制单元1101执行用有效像素替换无效像素的第一图像处理的情况，但这不是限制性的。例如，代替周围像素复制单元1101，通过使用滤波器1102到1104(它们中的每一个都被配置为具有用于执行考虑了图像端部处的有效像素的图像处理)，或者通过使用专用于图像端部附近的图像处理的滤波器，也可以在图像端部附近实现合适的图像处理。对于第二实施方式中的系数计算，可以不加修改地应用第一实施方式中描述的两个系数计算方法。(其它实施方式)本发明的各个方面也可以通过读出并执行在存储器装置上记录的程序以执行上述实施方式的功能的系统或设备(或诸如CPU或MPU的装置)的计算机来实现，和通过一种方法来实现，该方法的步骤由系统或设备的计算机通过例如读出并执行在存储器装置上记录的程序以执行上述实施方式的功能来执行。为此，例如经由网络或者从用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供程序。尽管已参照示例实施方式描述了本发明，但是应当理解，本发明不限于所公开的示例实施方式。所附权利要求的范围应被最宽泛地解释为涵盖所有这种修改例和等同结构和功能。本申请要求2010年11月30日递交的日本专利申请第2010-266974号的优先权， 通过引用将该日本专利申请整个并入于此。
权利要求
1.一种具有图像处理单元的图像处理装置，该图像处理单元以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理，该图像处理装置包括区域信息控制单元，其被配置为控制图像区域信息；系数选择值生成单元，其被配置为基于从所述区域信息控制单元提供的所述图像区域信息生成系数选择值；具有系数表的表单元，该表单元被配置为根据由所述系数选择值生成单元生成的系数选择值来输出相互不同的系数组；系数组选择单元，其被配置为生成系数组选择值；以及表选择单元，其被配置为根据由所述系数组选择单元生成的系数组选择值来选择所述系数表中的一个，其中，所述图像处理单元通过使用构成从由所述表选择单元选择的系数表输出的系数组的系数，来对所述图像数据执行运算处理。
2.根据权利要求I所述的图像处理装置，该图像处理装置还包括确定单元，其被配置为确定输入像素是否是无效像素，其中，在所述确定单元确定所述输入像素是无效像素的情况下，所述图像处理单元通过将要应用于关注像素位置处的对应输入像素的系数和要应用于该对应输入像素的相邻像素的系数相加，来计算要应用于所述输入像素的系数，其中，在所述关注像素位置处，参照像素区域中包括的无效像素比针对所述输入像素的参照像素区域中包括的无效像素在数量上少一个。
3.根据权利要求2所述的图像处理装置，其中，在所述输入像素位于图像左端侧的情况下，所述图像处理单元通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的右侧相邻像素的系数相加，来计算要应用于所述输入像素的系数，而在所述输入像素位于图像右端侧的情况下，所述图像处理单元通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的左侧相邻像素的系数相加，来计算要应用于所述输入像素的系数。
4.根据权利要求2所述的图像处理装置，其中，在要应用于所述输入像素的系数等于或小于要应用于所述输入像素的左侧相邻像素或右侧相邻像素的系数的情况下，所述图像处理单元将要应用于所述输入像素的系数、和要应用于所述左侧相邻像素或右侧相邻像素的系数互换。
5.根据权利要求I所述的图像处理装置，其中，所述系数组选择单元基于在所述图像数据中指示的拍摄条件、从所述图像数据检测出的噪声级别、从所述图像数据提取的图像特征、从所述图像数据检测出的频带以及所述关注像素与图像端部之间的距离中的至少一个，生成所述系数组选择值。
6.根据权利要求5所述的图像处理装置，其中，所述拍摄条件包括ISO感光度，并且所述图像特征包括边缘图像或实心图像。
7.根据权利要求2所述的图像处理装置，其中，在所述输入像素是无效像素的情况下， 要应用于所述输入像素的系数被设置为值O或小的值。
8.一种图像处理装置，该图像处理装置具有第一图像处理单元和第二图像处理单元， 该第一图像处理单元用于输出包括通过用图像端部处的有效像素来替换位于图像端部外的无效像素而获得的复制像素的图像数据，该第二图像处理单元用于对从所述第一图像处理单元输出的所述图像数据执行滤波处理，该图像处理装置包括区域信息控制单元，其被配置为控制图像区域信息；和选择单元，其被配置为基于从所述区域信息控制单元提供的所述图像区域信息选择滤波器选择值中的一个，其中，所述第二图像处理单元根据所述选择单元选择的滤波器选择值来选择滤波处理中的一个，并且对从所述第一图像处理单元输出的所述图像数据执行所选择的滤波处理。
9.一种包括图像处理步骤的图像处理方法，该图像处理步骤以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理，该图像处理方法包括确定步骤，确定输入像素是否是无效像素，其中，在所述确定步骤中确定所述输入像素是无效像素的情况下，在所述图像处理步骤中，通过将要应用于关注像素位置处的对应输入像素的系数和要应用于该对应输入像素的相邻像素的系数相加，来计算要应用于所述输入像素的系数，其中，在所述关注像素位置处，参照像素区域中包括的无效像素比针对所述输入像素的参照像素区域中包括的无效像素在数量上少一个。
10.根据权利要求9所述的图像处理方法，其中，在所述输入像素位于图像左端侧的情况下，在所述图像处理步骤中，通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的右侧相邻像素的系数相加，来计算要应用于所述输入像素的系数，而在所述输入像素位于图像右端侧的情况下，在所述图像处理步骤中，通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的左侧相邻像素的系数相加，来计算要应用于所述输入像素的系数。
全文摘要
本发明提供了图像处理装置及图像处理方法，该图像处理装置能够抑制在基于包括图像端部的参照像素区域确定的输出图像区域中的图像质量劣化。该图像处理装置包括系数选择值生成部，该系数选择值生成部根据从区域信息控制部提供的滤波器系数切换控制信号生成系数选择值。根据系数选择值，从系数表中分别输出滤波器系数组。选择部根据从系数组选择单元提供的系数组选择值来选择滤波器系数组中的一个。图像处理部使用构成所选择的滤波器系数组的滤波器系数，来以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理。
文档编号H04N5/232GK102595045SQ20111039080
公开日2012年7月18日 申请日期2011年11月25日 优先权日2010年11月30日
发明者大轮宁司 申请人:佳能株式会社