图像处理装置及图像处理方法

图像处理装置及图像处理方法
【专利摘要】本发明提供了图像处理装置及图像处理方法，该图像处理装置能够抑制在基于包括图像端部的参照像素区域确定的输出图像区域中的图像质量劣化。该图像处理装置包括系数选择值生成部，该系数选择值生成部根据从区域信息控制部提供的滤波器系数切换控制信号生成系数选择值。根据系数选择值，从系数表中分别输出滤波器系数组。选择部根据从系数组选择单元提供的系数组选择值来选择滤波器系数组中的一个。图像处理部使用构成所选择的滤波器系数组的滤波器系数，来以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理。
【专利说明】图像处理装置及图像处理方法
[0001] 本申请是申请日为2011年11月25日、申请号为201110390802. 4、发明名称为"图 像处理装置及图像处理方法"的发明专利申请的分案申请。

【技术领域】
[0002] 本发明涉及用于以各关注像素为基础，同时参照周围像素，来对图像数据执行运 算处理的图像处理装置及方法。

【背景技术】
[0003] 传统上已知这样的图像处理，其中，通过使用FIR型数字滤波器等，以各关注像素 为基础，同时参照周围像素，对图像数据执行运算处理。图19示出了用于执行五抽头滤波 处理的图像处理的梗概。
[0004] 参照图19,输入图像数据INDAT由像素D1到D14构成。在图像端部1601和1602 外的位置处，没有像素（以下称为无效像素）。标号1603U604表示位于图像左端部1601 左侧外的无效像素。标号1605、1606表示位于图像右端部1602右侧外的无效像素。
[0005] 在执行五抽头滤波处理之前，通过执行图像复制1607以将输入图像数据INDAT的 像素D1复制到无效像素1603、1604的位置处，并且通过执行图像复制1608以将输入图像 数据INDAT的像素D14复制到无效像素1605、1606的位置处，来获得图像数据CPDAT。
[0006] 接下来，基于图像数据CPDAT，对输入图像数据INDAT的各关注像素执行五抽头滤 波处理。更具体地说，基于关注像素D1和周围像素（S卩，两个复制的像素D1以及像素D2 和D3)执行针对关注像素D1的五抽头滤波处理1611，以获得输出图像数据0UTDAT的像素 01，并且基于关注像素D2和周围像素（即，复制的像素D1和像素D1、D3和D4)执行针对关 注像素D2的五抽头滤波处理，以获得输出图像数据0UTDAT的像素02。此外，执行针对各个 关注像素D3到D14的五抽头滤波处理，以获得输出图像数据0UTDAT的像素03到014中的 每一个。标号1619表不针对关注像素D9的五抽头滤波处理。
[0007] 图20以框图示出了常规图像处理装置的示例构造。
[0008] 如图20所示，图像处理装置包括像素复制单元201、图像处理部202以及区域信 息控制部203,像素复制单元201复制图像端部像素，图像处理部202执行诸如滤波处理的 图像处理，区域信息控制部203控制图像区域位置信息。根据从区域信息控制部203提供 的图像左端复制区域信息C0PYLWIN和图像右端复制区域信息C0PYRWIN，像素复制单元201 将输入图像数据INDAT的图像端部像素复制到输入图像数据INDAT的无效像素的位置处， 由此生成图像数据CPDAT。图像处理部202对从像素复制单元201提供的图像数据CPDAT 执行滤波处理，并且根据从区域信息控制部203提供的输出图像区域信息0UTWIN，基于经 滤波处理的图像数据CPDAT而生成输出图像数据0UTDAT。
[0009] 图21示出了图20的图像处理装置中输入信号和输出信号的时序图。在所示的示 例中，时钟信号从1开始连续编号，依次称为时钟1、2、3等。
[0010] 参照图21，图像处理装置的像素复制单元201在时钟4到17依次输入所述输入图 像数据INDAT的像素D1到Dn( = D14)(部分省略了这些像素的例示），在时钟4和5输入 图像左端复制区域信息COPYLWIN，并且在时钟5和6复制像素D1。像素复制单元201在时 钟20和21输入图像右端复制区域信息COPYRWIN，并且在时钟21和22复制像素Dn。在时 钟5到22,像素复制单元201依次输出图像数据CPDAT的像素D1、D1、D1、D2到Dn、Dn以及 Dn〇
[0011] 图像处理部202输入图像数据CPDAT和输出图像区域信息0UTWIN，并且在时钟9 到22依次输出所述输出图像数据0UTDAT的像素01到On ( = 014)。
[0012] 在日本特开平第08-138045号公报中，提出了与上述类似的FIR滤波处理。
[0013] 根据上述常规图像处理并且根据在日本特开平第08-138045号公报中公开的滤 波处理，在参照周围像素的同时执行图像处理的情况下，复制了图像端部处的像素，以防止 输出图像的图像端部部分具有未定义的值。然而，有这样的担心，即，由于在图像端部处执 行了与在其它图像区域处执行的图像处理相同的图像处理，所以图像端部附近的图像质量 会劣化。
[0014] 还提出了这样的滤波处理，其中，使用去块（deblocking)滤波器来消除所生成的 图像因相邻块的像素值的差异而具有块状外观的问题（ITU-T H. 264书面标准）。然而，对 于该提出的滤波处理，有这样的担心，即，由于在对输入图像数据的图像端部处执行的图像 处理中未考虑有效图像区域，所以输出图像的图像端部附近的图像质量会劣化。


【发明内容】

[0015] 本发明提供了一种图像处理装置及图像处理方法，该图像处理装置及图像处理方 法能够抑制在基于包括图像端部的参照像素区域确定的输出图像区域中的图像质量劣化。
[0016] 根据本发明的一个方面，提供了一种具有图像处理单元的图像处理装置，该图像 处理单元以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理，该图像处理 装置包括：区域信息控制单元，其被配置为控制图像区域信息；系数选择值生成单元，其被 配置为基于从所述区域信息控制单元提供的所述图像区域信息生成系数选择值；具有系数 表的表单元，该表单元被配置为根据由所述系数选择值生成单元生成的系数选择值来输出 相互不同的系数组；系数组选择单元，其被配置为生成系数组选择值；以及表选择单元，其 被配置为根据由所述系数组选择单元生成的系数组选择值来选择所述系数表中的一个，其 中，所述图像处理单元通过使用构成从由所述表选择单元选择的系数表输出的系数组的系 数，来对所述图像数据执行运算处理。
[0017] 根据本发明，基于通过考虑有效像素而确定的参照像素，即使在图像端部附近，也 能够合适地执行图像处理，从而能够将在基于包括图像端部的参照像素区域而确定的输出 图像区域中的图像质量劣化抑制到最小。
[0018] 根据参照附图对示例性实施方式的以下描述，本发明的进一步的特征将变得清 楚。

【专利附图】

【附图说明】
[0019] 图1是示出根据本发明第一实施方式的图像处理装置的示例构造的框图；
[0020] 图2是示出安装有图1所示的图像处理装置的图像拍摄装置的示例构造的框图；
[0021] 图3是示出图像处理装置的图像处理部的内部构造的图；
[0022] 图4是示出图像处理装置的第一系数表的内部构造的图；
[0023] 图5A到5C是示出第一到第三系数表的设置内容的示例的图；
[0024] 图6A和6B是图像处理装置中的输入信号和输出信号的时序图；
[0025] 图7是示出图像处理装置的系数组选择单元的内部构造的图；
[0026] 图8A到8E是示出由系数组选择单元的系数组决定单元所参照以确定系数组选择 值的不例表的图；
[0027] 图9是示出根据第一系数计算方法的计算针对图像左端侧的图像数据的滤波器 系数的处理过程的流程图；
[0028] 图10是示出根据第一系数计算方法的计算针对图像右端侧的图像数据的滤波器 系数的处理过程的流程图；
[0029] 图11A是示出由第一系数计算方法计算出的滤波器系数的示例的表；
[0030] 图11B是示出由第二系数计算方法计算出的滤波器系数的示例的表；
[0031] 图12是示出根据第二系数计算方法的计算针对图像左端侧的图像数据的滤波器 系数的处理过程的流程图；
[0032] 图13是示出根据第二系数计算方法的计算针对图像右端侧的图像数据的滤波器 系数的处理过程的流程图；
[0033] 图14是示出根据本发明第二实施方式的图像处理装置的示例构造的框图；
[0034] 图15是集中示出图14中所示的滤波器选择表单元的第一到第三滤波器选择表的 内容示例的图；
[0035] 图16A到16D是图14所示的图像处理装置中的输入信号和输出信号的时序图；
[0036] 图17是示出图14所示的图像处理装置的滤波器选择值控制部的内部构造的图；
[0037] 图18A到18E是示出由滤波器选择值控制部的滤波器选择值决定单元参照以确定 滤波器选择值控制信号的示例表的图；
[0038] 图19是示出执行五抽头滤波处理的图像处理的概况的图；
[0039] 图20示出常规图像处理装置的示例构造的框图；以及
[0040] 图21是图20的图像处理装置中的输入信号和输出信号的时序图。

【具体实施方式】
[0041] 下面将参照示出本发明优选实施方式的附图，来详细描述本发明。
[0042] (第一实施方式）
[0043] 图2以框图示出安装有根据本发明第一实施方式的图像处理装置的图像拍摄装 置的示例构造。稍后参照图1描述图像处理装置的细节。
[0044] 如图2所示，图像拍摄装置4100包括具有对焦镜头的拍摄镜头4103、具有光圈功 能的快门4101以及由例如将光信号转换为电信号的CCD或CMOS器件实现的图像拾取器件 422。
[0045] 标号4102表示对包括拍摄镜头4103、快门4101以及图像拾取器件422的图像拾 取系统进行遮盖、由此防止图像拾取系统的脏污和损坏的屏罩。标号423表示将从图像拾 取器件422输出的模拟信号转换为数字信号的A/D转换器。
[0046] 标号424表示图像拍摄装置4100的图像处理部。图像处理部424由图1中所示 的图像处理装置实现，并且对从A/D转换器423或从存储器控制部415提供的数据执行色 彩转换处理和尺寸调整处理（如像素插入和减少）。图像处理部424对诸如拍摄图像的输 入图像数据执行图像处理（其内容是根据拍摄条件、图像特征等确定的），由此生成用于输 出的记录图像数据。
[0047] 基于由图像处理部424对拾取图像数据执行的计算的结果，系统控制部450执行 针对TTL-AF(通过镜头自动对焦）处理、AE (自动曝光）处理、EF(电子闪光灯）处理以及 TTL-AWB (通过镜头自动白平衡）处理的曝光控制和测距控制。
[0048] A/D转换器423的输出数据经由图像处理部424和存储器控制部415或者经由存 储器控制部415被写入存储器432。存储器432存储由图像拾取器件422获得且由A/D转 换器423转换为数字数据的图像数据。存储器432还用作存储要在显示单元428上显示的 图像数据的视频存储器，并且具有足以存储希望数量的静态图像和/或预定时长的运动图 像和/或预定时长的音频数据的存储容量。
[0049] 标号413表示将存储在存储器432中的图像显示数据转换为模拟信号并将该模拟 信号提供给显示单元428的D/A转换器。基于从D/A转换器413提供的模拟信号，在显示 单元428的显示器件（如IXD)上进行显示。
[0050] 非易失性存储器456由存储供系统控制部450使用以进行操作的常量、程序等的 电可擦除可记录存储器（例如，EEPR0M)实现。
[0051] 系统控制部450控制整个图像拍摄装置4100,并且执行非易失性存储器456中存 储的程序，以执行（后面描述的）系数计算处理。标号452表示由例如RAM实现的系统存 储器，该系统存储器用来存储例如供系统控制部450使用以进行操作的常量和变量和展开 例如从非易失性存储器456读取的程序。系统控制部450通过控制存储器432、D/A转换器 413、显示单元428等，来执行显示控制。
[0052] 加速度传感器482检测施加到图像拍摄装置4100的加速度。加速度检测信息可 以用于系数计算处理。
[0053] 模式切换开关460、第一快门开关462、第二快门开关464以及操作单元470用来 向系统控制部450输入操作指令。
[0054] 模式切换开关460可由用户操作，以给出在静态图像记录模式、运动图像记录模 式、再现模式等之间改变系统控制部450的操作模式的指令。当图像拍摄装置4100的快门 按钮（未示出）被半按下以给出拍摄预备指令时，第一快门开关462接通，以向系统控制部 450输出第一快门开关信号SW1。响应于第一快门开关信号SW1，系统控制部450开始AF处 理、AE处理、AWB处理、EF处理等。
[0055] 当快门按钮被全按下以给出拍摄指令时，第二快门开关464接通，以向系统控制 部450输出第二快门开关信号SW2。响应于第二快门开关信号SW2,系统控制部450开始包 括从图像拾取器件422读取信号到向记录介质4200写入图像数据的一系列拍摄处理。
[0056] 操作单元470用作多个功能按钮，这些功能按钮中的每一个指配适合于用户选择 性地操作在显示单元428上显示的功能图标中的一对应功能图标时的场景的功能。这些 功能按钮包括结束按钮、返回按钮、图像偏移按钮、跳过按钮、光圈减小按钮、属性改变按钮 等。当菜单按钮被按压时，在显示单元428上显示用于各种设置的菜单画面。用户能够通 过使用显示单元428上显示的菜单画面以及未示出的四方向按钮和设置按钮，来直观地执 行设置。
[0057] 标号480表示电源控制部，该电源控制部包括电池检测电路、DC-DC转换器、用于 选择图像拍摄装置的被供应电力的模块的开关电路等，并且检测电池安装/拆离、电池类 型以及电池剩余电量。根据检测结果和系统控制部450的指令，电源控制部480控制DC-DC 转换器（未示出），以向图像拍摄装置4100的各个部分提供希望的电压达希望的时间段。
[0058] 标号430表示电源单元，该电源单元由主电池（如碱性电池或锂电池）或辅电池 (如NiCd电池、NiMH电池或Li电池）或AC适配器实现。标号418表示与记录介质4200 的接口。记录介质4200是由例如半导体存储器或磁盘实现的存储卡等。
[0059] 图1以框图示出了构成图2中所示的图像拍摄装置4100的图像处理部424的图 像处理装置的示例构造。
[0060] 在图1中，标号101表示图像处理部，该图像处理部根据输入图像数据INDAT生成 输出图像数据0UTDAT，并且输出所生成的数据0UTDAT。标号102表示对图像区域信息进行 控制的区域信息控制部。区域信息控制部102向图像处理部101输出图像输出区域控制信 号0UTWIN，并且向系数选择值生成部103输出滤波器系数切换控制信号KWIN。具体地说， 图像区域信息包括控制信号0UTWIN和KWIN。
[0061] 系数选择值生成部103根据从区域信息控制部102提供的控制信号KWIN生成系 数选择值KSEL。系数表单元106具有第一到第Μ系数表106A到106M，并且根据系数选择 值KSEL输出第一到第Μ滤波器系数组KSET1到KSETM。
[0062] 系数组选择单元105生成系数组选择值KSETSEL，并且将所生成的值KSETSEL输 出给选择部104,该选择部104由例如MUX实现。选择部104根据从系数组选择单元105 输入的系数组选择值KSETSEL选择（从系数表单元106输入的）第一到第Μ滤波器系数组 KSET1到KSETM中的一个，并且将构成所选择的滤波器系数组的滤波器系数Κ1到ΚΝ输出给 图像处理部101。
[0063] 图3示出了图像处理部101的内部构造。
[0064] 图像处理部101由例如FIR滤波器实现，并且包括D触发器（flip-flop)(以下称 为D-FF) 501到507、乘法器508到513以及加法器514,其中D-FF501到507是用于与内部 时钟同步地保存并移位输入图像数据INDAT的像素值的延迟部件，乘法器508到513分别 将D-FF501到507的输出乘以滤波器系数KN到K1，加法器514将乘法器508到513的输出 相加起来，并输出相加的结果作为输出图像数据0UTDAT。
[0065] 图4示出了第一系数表106A的内部构造。
[0066] 第一系数表106A包括分别用于根据从系数选择值生成部103提供的系数选择值 KSEL输出滤波器系数K1到KN的K1表107A到KN表107N，并且输出包括滤波器系数K1到 KN的第一滤波器系数组KSET1。第二到第Μ系数表106B到106M分别具有与第一系数表 106Α相同的构造，并且分别根据系数选择值KSEL输出第二到第Μ滤波器系数组KSET2到 KSETM (每一个都包括系数Κ1到ΚΝ)。
[0067] 图5Α到5C示出了第一到第三系数表106Α到106C的设置内容的示例。
[0068] 如图5Α所示，第一系数表106Α具有分别与8个系数选择值KSEL(0到7)中的一 个相对应的8行。第一系数表106A的各行具有KSEL字段、KSET名字段、抽头数字段、以及 K1到K7字段，其中KSEL字段设有与8个系数选择值KSEL中的一个对应的值（例如，0)， KSET名字段设有滤波器系数组KSET1的名称（例如，Kltap)，抽头数字段设有抽头数（例 如，1)，K1到K7字段分别设有构成滤波器系数组KSET1的滤波器系数K1到K7的值（例如， 0、0、0、1、0、0、0)。
[0069] 如同第一系数表106A，第二系数表106B和第三系数表106C各自都具有8行，每行 都具有KSEL字段、KSET名字段、抽头数字段以及K1到K7字段。第二系数表106B涉及第 二系数组KSET2,第三系数表106C涉及第三系数组KSET3。
[0070] 图6A和6B是图1所示的图像处理装置中的输入信号和输出信号的时序图。
[0071] 图像处理装置根据同步时钟信号CLK逐像素地执行图像处理。在所示的示例中， 时钟信号CLK从1开始连续编号，依次称为时钟1、2、3等。
[0072] 图像处理装置根据时钟信号CLK 一个像素接一个像素地输入输入图像数据 INDAT。在时钟1到3处，并且在时钟18处和之后，没有向图像处理装置输入输入图像数据 INDAT的有效像素值（如由未定义的值X所示）。在时钟4到17处，依次向图像处理装置 输入输入图像数据INDAT的有效像素值D1到Dn (它们的例示被部分省略了）。符号D1表 示图像左端的像素值，Dn( = D14)表示图像右端的像素值。
[0073] 根据在与输入图像数据INDAT的有效像素区域对应的时间段内为Η(高）电平的 输出图像区域控制信号0UTWIN，来控制输出图像数据0UTDAT的输出图像区域。通过基于控 制信号0UTWIN的Η电平时间段设置输出图像区域，能够合适地将输出图像区域控制为对应 于输入图像数据INDAT的有效像素区域。
[0074] 在控制信号0UTWIN的Η电平时间段期间，在时钟7到20依次输出输出图像数据 0UTDAT的像素值01到On。符号01表示输出图像左端的像素值，符号On( = 014)表示输 出图像右端的像素值。
[0075] 基于从系数选择值生成部103输出的滤波器系数切换控制信号KWIN，来控制系数 选择值KSEL。在本实施方式中，系数选择值KSEL可以从初始值0变化到最大值7,并且在 控制信号KWIN处于Η电平的时钟的下一时钟处递增一。具体地说，系数选择值KSEL在时 钟1到6为初始值0,接着在时钟7到10中的各时钟处递增一，从而从值1变到值4,接着 在时钟11到17保持在值4。随后，系数选择值KSEL在时钟18到20中的各时钟处递增一， 从而从值5变到值7,接着在时钟21返回为初始值0。
[0076] 根据系数选择值KSEL，从图5A到5C所示的第一到第三系数表106A到106C分别 输出了第一到第三系数组KSET1到KSET3。
[0077] 下面描述第一系数组KSET1。在时钟1到7处，系数选择值KSEL具有值0或1，因 此，输出对应于KSET名Kltap的系数组KSET1。在时钟8到19处，系数选择值KSEL具有值 2到6中的一个对应值，因此，输出对应于KSET名K3tap的系数组KSET1。在时钟20处或 之后，系数选择值KSEL具有值7或0,因此，输出对应于KSET名Kltap的系数组KSET1。
[0078] 接下来，描述第二系数组KSET2。在时钟1到7处，输出对应于KSET名Kltap的系 数组KSET2。在时钟8处，输出对应于KSET名K3tap的系数组KSET2。在时钟9到18处， 输出对应于KSET名K5tap的系数组KSET2。在时钟19处，输出对应于KSET名K3tap的系 数组KSET2。在时钟20处和之后，输出对应于KSET名Kltap的系数组KSET2。
[0079] 接下来，描述第三系数组KSET3。在时钟1到6处，输出对应于KSET名Kltap的 系数组KSET3。在时钟7到9处，输出对应于KSET名K3tapl、K4tapl或K5tapl的系数组 KSET3。在时钟10到17处，输出对应于KSET名K7tap的系数组KSET3。在时钟18到20 处，输出对应于KSET名K5tap、K4tap2或K3tap2的系数组KSET3。在时钟21处和之后，输 出对应于KSET名Kltap的系数组KSET3。
[0080] 选择部104在系数组选择值KSETSEL具有值1时选择第一滤波器系数组KSET1， 在系数组选择值KSETSEL具有值2时选择第二滤波器系数组KSET2,而在系数组选择值 KSETSEL具有值3时选择第三滤波器系数组KSET3。选择部104将所选择的滤波器系数组 KSET1、KSET2或KSET3作为滤波器系数组KSET输出。
[0081] 图7示出了图1中所示的系数组选择单元105的内部构造。
[0082] 在图7中，标号902表示噪声级别检测单元，该噪声级别检测单元检测来自输入图 像数据INDAT的噪声级别（S/N比），并将该噪声级别输出。标号903表示图像特征提取单 元，该图像特征提取单元从输入图像数据INDAT提取图像特征如边缘（特别是边缘方向） 或实心图像（其是具有大于例如90%的图像面积比的图像），并且输出所提取的图像特征。 标号904表示频率特征单元，该频率特征单元检测输入图像数据INDAT的频率特征，并且输 出表示频带的信息。
[0083] 标号905表示垂直位置确定单元，该垂直位置确定单元基于垂直图像区域控制信 号VWIN确定表示距垂直图像端部的距离的距离信息，并输出该距离信息。这里假定由垂 直位置确定单元905执行水平图像处理。在执行垂直图像处理的情况下，作为垂直位置确 定单元905的替换选择的水平位置确定单元（未示出）基于水平图像区域控制信号（未示 出）确定表示距水平图像端部的距离的距离信息，并输出该距离信息。
[0084] 标号906表示系数组决定单元，该系数组决定单元基于在图像数据中指示的拍摄 条件、从图像数据检测出的噪声级别、从图像数据提取的图像特征、从图像数据检测出的频 带以及表示关注像素与图像端部之间的距离的距离信息，确定用于输出的系数组选择值 KSETSEL。
[0085] 图8A到8E示出了由系数组决定单元906所参照以确定系数组选择值KSETSEL的 示例表。
[0086] 图8A示出了表示拍摄条件（在本示例中为ISO感光度）与第一系数组选择值 KSETSELa之间的关系的表。在所示的示例中，当ISO感光度具有小于400的值时，第一系数 组选择值KSETSELa被设置为值KSETSEL1 ;当ISO感光度具有等于或大于400但小于1600 的值时，第一系数组选择值KSETSELa被设置为值KSETSEL2 ;当ISO感光度具有等于或大 于1600的值时，第一系数组选择值KSETSELa被设置为值KSETSEL3。值KSETSEL1小于值 KSETSEL2,值KSETSEL2小于值KSETSEL3。拍摄条件不限于ISO感光度，而可以例如是根据 快门速度确定的TV值。
[0087] 图8B示出了表示噪声级别（在本示例中为S/N比）与第二系数组选择值KSETSELb 之间的关系的表。S/N比是表示信号电平相对于噪声电平的大小的值。当S/N比等于或高 于30dB时，第二系数组选择值KSETSELb被设置为值KSETSEL1 ;当S/N比等于或高于10dB 但低于30dB时，第二系数组选择值KSETSELb被设置为值KSETSEL2 ;当S/N比低于10dB时， 第二系数组选择值KSETSELb被设置为值KSETSEL3。
[0088] 图8C示出了表示图像特征与第三系数组选择值KSETSELc之间的关系的表。当 图像特征对应于垂直边缘图像时，第三系数组选择值KSETSELc被设置为值KSETSEL1 ;当 图像特征对应于倾斜边缘图像时，第三系数组选择值KSETSELc被设置为值KSETSEL2 ;当 图像特征对应于水平边缘图像或实心图像时，第三系数组选择值KSETSELc被设置为值 KSETSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，分别 将值KSETSEL1、KSETSEL2以及KSETSEL3用于水平边缘图像、倾斜边缘图像以及垂直边缘图 像。
[0089] 图8D示出了表示频率特征（在本示例中为图像频带）与第四系数组选择值 KSETSELd之间的关系的表。对于高频带图像，第四系数组选择值KSETSELd被设置为值 KSETSEL1 ;对于中频带图像，第四系数组选择值KSETSELd被设置为值KSETSEL2 ;对于低频 带图像，第四系数组选择值KSETSELd被设置为值KSETSEL3。
[0090] 图8E示出了表示关注像素（它是图像处理对象）距离图像端部的位置与第五系 数组选择值KSETSELe之间的关系的表。当关注像素与图像端部（在本示例中为上端部或 下端部）相距四个像素或更多像素时，第五系数组选择值KSETSELe被设置为值KSETSEL1 ; 当关注像素与图像端部相距两个像素或三个像素时，第五系数组选择值KSETSELe被设置 为值KSETSEL2 ;当关注像素位于图像端部处时，第五系数组选择值KSETSELe被设置为值 KSETSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，随着 关注像素位置与图像左端部或右端部之间的距离的减小，依次使用值KSETSEL1、KSETSEL2 以及 KSETSEL3。
[0091] 系数组决定单元906从基于图8A到8E所示的表所决定的第一到第五系数组选择 值KSETSELa到KSETSELe中确定系数组选择值KSETSEL。例如，可以将第一到第五系数组选 择值KSETSELa到KSETSELe中的最大值确定为系数组选择值KSETSEL。
[0092] 下面，描述如何计算滤波器系数K1到KN。
[0093] 图9以流程图示出了根据第一系数计算方法的计算针对图像左端侧的图像数据 的滤波器系数的处理过程。在下面的描述中，假定由图像处理装置的CPU执行滤波器系数 计算处理，但这不是限制性的。
[0094] 在本示例中，假定预先确定了针对图像中央区域（例如，在图11A中由标号1706 所示且位于从图像左端数第6个像素与从图像右端数第6个像素之间的区域）的滤波器系 数K1到KN。根据相对于图像端部的关注像素位置，来计算针对图像端侧的图像数据的滤波 器系数，这些滤波器系数在为计算与关注像素对应的输出图像像素而参照的周围像素中包 括无效像素时使用。
[0095] 更具体地说，基于针对图像中央区域的滤波器系数K1到KN，首先根据下述滤波器 系数计算处理过程，来计算在关注像素位于使抽头处理对象像素（即，要经受抽头处理的 像素）中的仅最左侧像素是无效像素的位置处时使用的滤波器系数K1到KN。接下来，基于 恰在前面计算出的滤波器系数K1到KN ( S卩，针对参照像素区域中包括的无效像素比在针对 当前滤波器系数计算的参照像素区域中包括的无效像素在个数上少一个的关注像素位置 计算的滤波器系数K1到KN)，以同样的过程计算在关注像素位于使抽头处理对象像素中仅 最左侧像素及其相邻的内侧像素是无效像素的位置处时使用的滤波器系数K1到KN。重复 这样的滤波器系数计算，直到计算出在关注像素位于使抽头处理对象像素中在关注像素左 侧的所有像素都是无效像素的位置时使用的滤波器系数K1到KN。
[0096] 以上也适用于根据第一系数计算方法计算针对图像右端的图像数据的滤波器系 数的处理、根据第二系数计算方法计算针对图像左端的图像数据的滤波器系数的处理以及 根据第二系数计算方法计算针对图像右端的图像数据的滤波器系数的处理，后面将分别参 照图10、12以及13来描述这些处理。
[0097] 在各关注像素位置处执行的滤波器系数计算处理中，图像处理装置的CPU将输入 像素位置索引i初始化为对应于第一抽头的值1 (步骤S102)，并且确定输入像素IDATi是 否是无效像素（步骤S103)。如果确定输入像素IDATi不是无效像素，则本处理结束。另 一方面，如果确定输入像素IDATi是无效像素，则处理进行到步骤S104,在步骤S104, CPU 从滤波器系数Ki减去针对无效像素的系数值K0,由此计算值Ki-K0,并且将所计算出的值 Ki-ΚΟ加到针对输入像素INDATi的右侧相邻像素的滤波器系数K(i+1)，由此计算出新的滤 波器系数K(i+1)。
[0098] 接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki (步骤S105)，将 像素位置索引i递增一（步骤S106)，并且确定像素位置索引i是否等于值（N+1)/2 (步骤 S107)，其中，N表示抽头数，值（N+1)/2对应于抽头处理对象像素中的中央像素的位置。
[0099] 如果在步骤S107确定像素位置索引i等于值（N+1)/2,则本处理结束。如果确定 像素位置索引i不等于值（N+l)/2,则本处理返回到步骤S103。
[0100] 图10以流程图示出了根据第一系数计算方法的计算针对图像右端侧的图像数据 的滤波器系数的处理过程。
[0101] 图像处理装置的CPU将像素位置索引i初始化为值N(步骤S202)，并且确定输入 像素IDATi是否是无效像素（步骤S203)。如果确定输入像素IDATi不是无效像素，则本处 理结束。如果确定输入像素IDATi是无效像素，则处理进行到步骤S204,在步骤S204, CPU 从滤波器系数Ki减去针对无效像素的系数值K0,由此计算值Ki-K0,并且将所计算出的值 Ki-ΚΟ加到针对输入像素INDATi的左侧相邻像素的滤波器系数K (i-Ι)，由此计算出新的滤 波器系数K(i-l)。
[0102] 接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki (步骤S205)，将 像素位置索引i递减一（步骤S206)，并且确定像素位置索引i是否等于值（N+1)/2 (步骤 S207)，其中，N表示抽头数。如果在步骤S207确定像素位置索引i等于值（N+l)/2,则本处 理结束。如果确定像素位置索引i不等于值（N+1)/2,则本处理返回到步骤S203。
[0103] 图11A是示出由第一系数计算方法计算出的滤波器系数的示例的表。
[0104] 在图11A中，对应于从图像左端变化到图像右端的关注像素位置，示出了用于在 11抽头滤波处理中使用的滤波器系数K1到K11的值。各个叉记号表示输入到对应抽头的 像素是无效像素，各个圈记号表示输入到对应抽头的像素是有效像素，各个双圈记号表示 输入到第六个抽头的像素是关注像素并且是有效像素。图11A中所示的各个滤波器系数K1 到K11的值是其实际值的66倍大。
[0105] 表的第一行（由1701指示）对应于关注像素处于图像左端的情况。由1702到 1705指示的第二到第五行分别对应于关注像素是从图像左端数的第二到第五个像素中的 一个的情况。由1706指示的第六行对应于关注像素是从图像左端数的第六个像素到从图 像右端数的第六个像素中的一个的情况。
[0106] 由1711指示的底部行对应于关注像素处于图像右端的情况。由1710到1707指 示的倒数第二到第五行分别对应于关注像素是从图像右端数的第二到第五像素中的一个 的情况。
[0107] 接下来，描述在无效像素相对于关注像素出现在图像左端侧的情况下，以图9中 的计算处理计算滤波器系数。
[0108] 在图11A所示的表的第五行（由1705指示）中，输入到第一抽头的像素是无效像 素。将第五行中的滤波器系数K1的值计算为0。通过将在由1706指示的第六行中的滤波 器系数K1的值1和滤波器系数K2的值2加到一起，将第五行中的滤波器系数K2的值计算 为3。
[0109] 在由1704指示的第四行中，输入到第二抽头的像素是无效像素。将第四行中的滤 波器系数K2的值计算为0。通过在由1705指示的第五行中的将滤波器系数K2的值3和滤 波器系数K3的值4加到一起，将第四行中的滤波器系数K3的值计算为7。第五行对应于参 照像素区域中包括的无效像素比第四行中的参照像素区域中包括的无效像素在个数上少 一个的关注像素位置。
[0110] 类似地，将由1703指示的第三行中的滤波器系数K4的值计算为13,将由1702指 示的第二行中的滤波器系数K5的值计算为23,将由1701指示的第一行中的滤波器系数K6 的值计算为43。
[0111] 另一方面，在无效像素相对于关注像素出现在图像右端侧的情况下，以图10的计 算处理计算滤波器系数。例如，将由1707指示的第七行中的滤波器系数K10的值计算为3， 将由1708指示的第八行中的滤波器系数K9的值计算为7,将由1709指示的第八行中的滤 波器系数K8的值计算为13,将由1710指示的第十行中的滤波器系数K7的值计算为23,将 由1711指示的底部行中的滤波器系数K6的值计算为43。
[0112] 图12以流程图示出了根据第二系数计算方法的计算针对图像左端侧的图像数据 的滤波器系数的处理过程。
[0113] 图像处理装置的CPU将输入像素位置索引i初始化为对应于第一抽头的值1 (步 骤S302)，并且确定输入像素IDATi是否是无效像素（步骤S303)。如果确定输入像素IDATi 不是无效像素，则本处理进行到步骤S308。另一方面，如果确定输入像素IDATi是无效像 素，则处理进行到步骤S304,在步骤S304, CPU从滤波器系数Ki减去针对无效像素的系数 值K0,由此计算出值Ki-ΚΟ,并且将所计算出的值Ki-ΚΟ加到针对右侧相邻像素的滤波器系 数K(i+1)，由此计算出新的滤波器系数K(i+1)。
[0114] 接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki (步骤S305)，将 像素位置索引i递增一（步骤S306)，并且确定像素位置索引i是否等于值（N+1)/2 (步骤 S307)，其中，N表示抽头数。
[0115] 如果在步骤S307确定像素位置索引i不等于值（N+l)/2,则本处理返回到步骤 S303。如果确定像素位置索引i等于值（N+l)/2,则本处理进行到步骤S308。
[0116] 在步骤S308，CPU确定系数Ki是否大于针对左侧相邻像素的系数K(i-l)。如果步 骤S308的确定结果为"是"，则本处理结束。另一方面，如果确定系数Ki不大于系数K (i-Ι)， 则处理进行到步骤S309,在步骤S309, CPU将滤波器系数Ki和K(i-l)的值互换。
[0117] 接下来，在步骤S310, CPU确定像素位置索引i是否等于值（N+l)/2。如果步骤 S310的确定结果为"是"，则本处理结束。另一方面，如果确定像素位置索引i不等于值 (N+l) /2,则处理进行到步骤S312,在步骤S312, CPU将像素位置索引i递增一，之后处理返 回到步骤S308。
[0118] 图13以流程图示出了根据第二系数计算方法的计算针对图像右端侧的图像数据 的滤波器系数的处理过程。
[0119] 图像处理装置的CPU将输入像素位置索引i初始化为值N (步骤S402)，并且确定 输入像素IDATi是否是无效像素（步骤S403)。如果确定输入像素IDATi不是无效像素，则 本处理进行到步骤S408。另一方面，如果确定输入像素IDATi是无效像素，则处理进行到步 骤S404,在步骤S404, CPU从滤波器系数Ki减去针对无效像素的系数值K0,由此计算出值 Ki-ΚΟ,并且将所计算出的值Ki-ΚΟ加到针对左侧相邻像素的滤波器系数K(i-l)，由此计算 出新的滤波器系数K(i-l)。
[0120] 接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki (步骤S405)，将 像素位置索引i递减一（步骤S406)，并且确定像素位置索引i是否等于值（N+1)/2 (步骤 S407)，其中，N表示抽头数。
[0121] 如果在步骤S407确定像素位置索引i不等于值（N+l)/2,则本处理返回到步骤 S403。如果确定像素位置索引i等于值（N+l)/2,则本处理进行到步骤S408。
[0122] 在步骤S408，CPU确定系数Ki是否大于针对右侧相邻像素的系数K(i+1)。如果步 骤S408的确定结果为"是"，则本处理结束。另一方面，如果确定系数Ki不大于系数K (i+1)， 则处理进行到步骤S409,在步骤S409, CPU将滤波器系数Ki和K(i+1)的值互换。
[0123] 接下来，在步骤S410, CPU确定像素位置索引i是否等于值（N+1)/2。如果步骤 S410的确定结果为"是"，则本处理结束。另一方面，如果确定像素位置索引i不等于值 (N+1)/2,则处理进行到步骤S412,在步骤S412, CPU将像素位置索引i递增一，之后处理返 回到步骤S408。
[0124] 图11B是示出由第二系数计算方法计算出的滤波器系数的示例的表。
[0125] 在图11B中，如同图11A，对应于关注像素位置，示出了用于在11抽头滤波处理中 使用的滤波器系数K1到K11的值。叉记号、圈记号以及双圈记号的含义和图11A中的相同。
[0126] 表的第一行（由1801指示）对应于关注像素处于图像左端的情况。由1802到 1805指示的第二到第五行分别对应于关注像素是从图像左端数的第二到第五个像素中的 一个的情况。由1806指示的第六行对应于关注像素是从图像左端数的第六个像素到从图 像右端数的第六个像素中的一个的情况。
[0127] 由1811指示的底部行对应于关注像素处于图像右端的情况。由1810到1807指 示的倒数第二到第五行分别对应于关注像素是从图像右端数的第二到第五个像素中的一 个的情况。
[0128] 接下来，描述在无效像素相对于关注像素出现在图像左端侧的情况下，以图12中 的计算处理计算的滤波器系数。
[0129] 在图11B所示的表的第五行（由1805指示）中，输入到第一抽头的像素是无效像 素。将第五行中的滤波器系数K1的值计算为0。通过将在由1806指示的第六行中的滤波 器系数K1的值1和滤波器系数K2的值2加到一起，将第五行中的滤波器系数K2的值计算 为3。
[0130] 在由1804指示的第四行中，输入到第二抽头的像素是无效像素。将第四行中的滤 波器系数K2的值计算为0。通过在由1805指示的第五行中的将滤波器系数K2的值3和滤 波器系数Κ3的值4加到一起，将第四行中的滤波器系数Κ3的值计算为7。由于第四行中的 滤波器系数Κ4的计算值6小于第四行中的滤波器系数Κ3的计算值7,所以将滤波器系数 Κ3、Κ4的值互换，从而分别将滤波器系数Κ3、Κ4的值设置为6、7。由于滤波器系数Κ5的计 算值10大于滤波器系数Κ4的计算值7,所以结束第四行中的滤波器系数的计算。
[0131] 类似地，分别计算第三行中的滤波器系数的值、第二行中的滤波器系数的值以及 第一行中的滤波器系数的值。
[0132] 如上所述，通过使用第一到第Μ系数表106Α到106Μ、滤波器系数切换控制信号 KWIN以及输出图像区域控制信号0UTWIN，基于通过考虑有效像素而确定的参照像素，即使 在图像端部附近，也能够合适地执行图像处理，由此，能够将基于包括图像端部的参照像素 区域而确定的输出图像区域中的图像质量劣化抑制到最小。
[0133] 通过由系数组选择控制单元105根据各种条件切换系数表，即使在图像端部附 近，也能够实现合适的图像质量设计。
[0134] 在上述实施方式中，由FIR滤波器实现图像处理部，但这不是限制性的。
[0135] 在本实施方式中，在图5A到5C中举例示出了系数表中的第一到第三系数表的设 置内容。类似地，也可以设置其它系数表的设置内容。
[0136] 在本实施方式中，举例描述了水平图像处理。也可以以类似的方式执行垂直图像 处理。
[0137] 在本实施方式中，描述了第一和第二系数计算方法，但这些不是限制性的。可以根 据滤波处理中的抽头数而不同地限定系数表。
[0138] (第二实施方式）
[0139] 在本发明的第二实施方式中，在图像端部附近对图像处理中的参照像素区域（例 如，FIR滤波器的抽头数）进行控制。
[0140] 图14以框图示出了根据本发明第二实施方式的图像处理装置的示例构造。该图 像处理装置构成了图2中所示的图像拍摄装置4100的图像处理部424。
[0141] 在图14中，标号1101表示周围像素复制单元，该周围像素复制单元执行第一图像 处理，以将输入图像数据INDAT的图像端部处的有效像素复制到位于图像端部之外的无效 像素区域，来用有效像素替换无效像素，由此人为地在向外方向上扩展有效图像区域。周围 像素复制单元1100向图像处理部1101输出通过对输入图像数据INDAT执行第一图像处理 而获得的图像数据CPDAT。
[0142] 图像处理部1101包括用于保持图像数据CPDAT的像素值并对这些像素值进行移 位的D触发器（D-FF) 1113到1115、三抽头滤波器1102、五抽头滤波器1103以及七抽头滤 波器1104,并且对图像数据CPDAT执行滤波处理（第二图像处理）。
[0143] D-FF1113到1115作为整体进行操作以将图像数据CPDAT延迟三个时钟，并且输出 延迟输出1TAP0UT。三抽头滤波器1102基于包括一个关注像素和两个周围像素的参照像素 区域执行三抽头滤波处理，并且输出三抽头滤波输出3TAP0UT。五抽头滤波器1103输出五 抽头滤波输出5TAP0UT，七抽头滤波器1104输出七抽头滤波输出7TAP0UT。
[0144] 第一选择部1105由例如MUX实现，根据提供给选择部1105的滤波器选择值FSEL 选择延迟输出1TAP0UT和滤波输出3TAP0UT、5TAP0UT以及7TAP0UT中的一个，并且输出所 选择的输出作为输出图像数据OUTDAT。
[0145] 标号1106指示区域信息控制部，该区域信息控制部输出分别表示要复制图像左 端像素的区域、要复制图像右端像素的区域、图像输出区域以及用于滤波器选择的图像区 域的控制信号COPYLWIN、COPYRWIN、0UTWIN以及FWIN。控制信号0UTWIN被提供给三抽头 滤波器1102、五抽头滤波器1103以及七抽头滤波器1104。
[0146] 标号1107表示滤波器编号生成单元，该滤波器编号生成单元根据由从图像区域 控制部1106提供的控制信号FWIN表示的图像区域，生成滤波器编号信息FN0。
[0147] 滤波器选择表单元1110包括多个例如第一到第Μ滤波器选择表1110A到1110M， 以根据滤波器编号信息FN0分别输出第一到第Μ滤波器选择值FSEL1到FSELM。
[0148] 第二选择部1108向第一选择部1105输出根据从滤波器选择值控制部1109提供 的滤波器组选择值FSELSEL而从第一到第Μ滤波器选择值FSEL1到FSELM中选择的滤波器 选择值FSEL。
[0149] 图15集中示出了图14中所示的滤波器选择表单元1110的第一到第三滤波器选 择表1110Α到1110C的内容示例。
[0150] 如图15所示，第一到第三滤波器选择表1110Α到1110C分别设置有根据从滤波器 编号生成单元1107输出的滤波器编号信息FN0 (0到7)而变化的第一到第三滤波器选择值 FSEL1 到 FSEL3。
[0151] 第一滤波器选择值FSEL1取ltap或3tap的值，第二滤波器选择值FSEL2取ltap、 3tap或5tap的值，第三滤波器选择值FSEL3取ltap、5tap或7tap的值。ltap的值表示要 选择延迟输出lTAP0UT，3tap的值表示要选择滤波输出3TAP0UT，5tap的值表示要选择滤波 输出5TAP0UT，7tap的值表示要选择滤波输出7TAP0UT。
[0152] 图16A到16D是图14所示的图像处理装置中的输入信号和输出信号的时序图。
[0153] 图像处理装置根据同步时钟信号CLK逐像素地执行图像处理。在所示的示例中， 时钟信号CLK从1开始连续编号，依次称为时钟1、2、3等。
[0154] 图像处理装置根据时钟信号CLK 一个像素接一个像素地输入输入图像数据 INDAT。在时钟1和2处，并且在时钟19处和之后，没有向图像处理装置输入输入图像数据 INDAT的有效像素值（如由未定义的值X所示）。在时钟3到18处，向图像处理装置依次 输入了输入图像数据INDAT的有效像素值D1到Dn (它们的例示被部分省略了）。符号D1 表示图像左端的像素值，Dn (例如D16)表示图像右端的像素值。
[0155] 在时钟3和4处，表示要复制图像左端像素的区域的控制信号C0PYLWIN变为Η电 平。在时钟4和5处（即，在图像左端复制区域中），复制了输入图像数据INDAT的图像左 端处的像素值D1，由此生成了图像数据CPDAT的前两个像素值。
[0156] 在时钟21和22处，表示要复制图像右端像素的区域的控制信号C0PYRWIN变为Η 电平。在时钟22和23处（S卩，在图像右端复制区域中），复制了输入图像数据INDAT的图 像右端处的像素值Dn(D16)，由此生成了图像数据CPDAT的最后两个像素值。
[0157] 根据在与输入图像数据INDAT的有效系数区域对应的时间段内为Η电平的输出图 像区域控制信号0UTWIN，来控制输出图像数据0UTDAT的输出图像区域。通过基于控制信号 0UTWIN的Η电平时间段来设置输出图像区域，能够合适地将输出图像区域控制为对应于输 入图像数据INDAT的有效像素区域。
[0158] 在输出图像区域信息0UTWIN的Η电平时间段期间，在时钟9到24依次输出输出图 像数据0UTDAT的像素值01到On。符号01表示输出图像左端的像素值，符号On ( = 016) 表示输出图像右端的像素值。
[0159] 基于从滤波器编号生成单元1107输出的表示用于滤波器选择和输出的图像区域 的控制信号FWIN，来控制滤波器编号信息FN0。在本实施方式中，滤波器编号信息FN0可以 从初始值〇变化到最大值7,并且在控制信号KWIN处于Η电平的时钟之后的时钟处递增一。 具体地说，如图16C和16D所示，滤波器编号信息FN0在时钟1到8为初始值0,接着在时钟 9到12中的各时钟处递增一，从而从值1变到值4,接着在时钟13到21保持在值4。随后， 滤波器编号信息FN0在时钟22到24中的各时钟处递增一，从而从值5变到值7,接着在时 钟25返回初始值0。
[0160] 根据滤波器编号信息FN0,分别从图14和15中所示的第一到第三滤波器选择表 1110Α到1110C中的相应一个输出了第一到第三滤波器选择值FSEL1到FSEL3。
[0161] 下面，首先描述第一滤波器选择值FSEL1。在时钟1到9处，滤波器编号信息FN0 具有值〇或1，并且滤波器选择值FSEL1取ltap的值，该值表示要选择延迟输出1TAP0UT。 在时钟10到23处，滤波器编号信息FN0具有值2到6中的一个，并且滤波器选择值FSEL1 取3tap的值，该值表示要选择滤波输出3TAP0UT。在时钟24处和之后，滤波器编号信息FN0 具有值7或0,并且滤波器选择值FSEL1取ltap的值。
[0162] 第二滤波器选择值FSEL2在时钟1到9取ltap的值，在时钟10取3tap的值，在 时钟11到22取5tap的值，在时钟23取3tap的值，在时钟24处和之后取ltap的值。
[0163] 第三滤波器选择值FSEL3在时钟1到8取ltap的值，在时钟9到11取5tap的值， 在时钟12到21取7tap的值，在时钟22到24取5tap的值，在时钟25处和之后取ltap的 值。
[0164] 在滤波器组选择值FSELSEL具有值1的情况下，第二选择部1108选择第一滤波器 选择值FSEL1作为滤波器选择值FSEL，并且输出D1、3D2、3D3、……、3Dn_l以及Dn的值作 为输出图像数据0UTDAT的像素值01到On。
[0165] 在滤波器组选择值FSELSEL具有值2的情况下，第二选择部1108选择第二滤波器 选择值FSEL2作为滤波器选择值FSEL，并且输出D1、3D2、?3、……、3Dn_l以及Dn的值作 为输出图像数据0UTDAT的像素值01到On。
[0166] 在滤波器组选择值FSELSEL具有值3的情况下，第二选择部1108选择第三滤波器 选择值FSEL3作为滤波器选择值FSEL，并且输出?1、?2、?3、……、5Dn_l以及5Dn的值 作为输出图像数据0UTDAT的像素值01到On。
[0167] 图17示出了图14中所示的滤波器选择值控制部1109的内部构造。
[0168] 在图17中，标号1402到1405表示噪声级别检测单元、图像特征提取单元、频率特 征单元以及垂直位置确定单元，这些组件分别对应于图7中所示的噪声级别检测单元902、 图像特征提取单元903、频率特征单元904以及垂直位置确定单元905。
[0169] 标号1406表示滤波器选择值决定单元，该滤波器选择值决定单元基于拍摄条件、 噪声级别、图像特征、频带以及距离信息确定针对输出的滤波器选择值控制信号FSELSEL。
[0170] 图18A到18E示出了由图17中所示的滤波器选择值确定单元1406参照以确定滤 波器选择值控制信号FSELSEL的示例表。
[0171] 图18A示出了表示拍摄条件（在本示例中为ISO感光度）与第一滤波器选择值控 制信号FSELSELa之间的关系的表。在所示的示例中，当ISO感光度具有小于400的值时， 第一滤波器选择值控制信号FSELSELa被设置为值FSELSEL1 ;当ISO感光度具有等于或大 于400但小于1600的值时，第一滤波器选择值控制信号FSELSELa被设置为值FSELSEL2 ; 当ISO感光度具有等于或大于1600的值时，第一滤波器选择值FSELSELa被设置为值 FSELSEL3。值FSELSEL1小于值FSELSEL2,值FSELSEL2小于值FSELSEL3。拍摄条件不限于 ISO感光度，而可以例如是根据快门速度确定的TV值。
[0172] 图18B示出了表示噪声级别（在本示例中为S/N比）与第二滤波器选择值控制信 号FSELSELb之间的关系的表。当S/N比等于或高于30dB时，第二滤波器选择值控制信号 FSELSELb被设置为值FSELSEL1 ;当S/N比等于或高于10dB但低于30dB时，第二滤波器选 择值控制信号FSELSELb被设置为值FSELSEL2 ;当S/N比低于10dB时，第二滤波器选择值 控制信号FSELSELb被设置为值FSELSEL3。
[0173] 图18C示出了表示图像特征与第三滤波器选择值控制信号FSELSELc之间的关系 的表。当图像特征对应于垂直边缘图像时，第三滤波器选择值控制信号FSELSELc被设置为 值FSELSEL1 ;当图像特征对应于倾斜边缘图像时，第三滤波器选择值控制信号FSELSELc被 设置为值FSELSEL2 ;当图像特征对应于水平边缘图像或实心图像时，第三滤波器选择值控 制信号FSELSELc被设置为值FSELSEL3。在本示例中，描述了执行水平图像处理的情况。在 垂直图像处理的情况下，将值FSELSEL1用于水平边缘图像，将值FSELSEL2用于倾斜边缘图 像，将值FSELSEL3用于垂直边缘图像。
[0174] 图18D示出了表示频率特征（在本示例中为图像频带）与第四滤波器选择值控制 信号FSELSELd之间的关系的表。对于高频带图像，第四滤波器选择值控制信号FSELSELd 被设置为值FSELSEL1 ;对于中频带图像，第四滤波器选择值控制信号FSELSELd被设置为值 FSELSEL2 ;对于低频带图像，第四滤波器选择值控制信号FSELSELd被设置为值FSELSEL3。
[0175] 图18E示出了表示关注像素（它是图像处理对象）相对于图像端部的位置与第五 滤波器选择值控制信号FSELSELe之间的关系的表。当关注像素与图像端部（在本示例中 为上端部或下端部）相距四个像素或更多像素时，第五滤波器选择值控制信号FSELSELe被 设置为值FSELSEL1 ;当关注像素与图像端部相距两个像素或三个像素时，第五滤波器选择 值控制信号FSELSELe被设置为值FSELSEL2 ;当关注像素位于图像端部处时，第五滤波器选 择值控制信号FSELSELe被设置为值FSELSEL3。在本示例中，描述了执行水平图像处理的情 况。在垂直图像处理的情况下，随着关注像素位置与图像左端部或右端部之间的距离的减 小，依次使用值 FSELSEL1、FSELSEL2 以及 FSELSEL3。
[0176] 滤波器选择值决定单元1406从基于图18A到18E所示的表所决定的第一到第五 滤波器选择值控制信号FSELSELa到FSELSELe中确定滤波器选择值控制信号FSELSEL。例 如，可以将第一到第五滤波器选择值控制信号FSELSELa到FSELSELe中的最大值确定为滤 波器选择值控制信号FSELSEL。
[0177] 如上所述，通过使用第一到第Μ滤波器选择表1110A到1110M、滤波器选择区域控 制信号FWIN以及输出图像区域控制信号0UTWIN，在图像端部附近，通过考虑有效像素区 域，可以正确地执行图像处理。
[0178] 通过由滤波器选择值控制部1109根据各种条件切换滤波器选择表，即使在图像 端部附近，也能够实现合适的图像质量设计。
[0179] 在上述实施方式中，由N抽头滤波器实现图像处理部，但这不是限制性的。
[0180] 在本实施方式中，在图15中举例示出了第一到第三滤波器选择表的内容。类似 地，也可以设置其它滤波器选择表的内容。
[0181] 在本实施方式中，举例描述了水平图像处理。也可以以类似的方式执行垂直图像 处理。
[0182] 在本实施方式中，描述了由周围像素复制单元1101执行用有效像素替换无效像 素的第一图像处理的情况，但这不是限制性的。例如，代替周围像素复制单元1101，通过使 用滤波器1102到1104(它们中的每一个都被配置为具有用于执行考虑了图像端部处的有 效像素的图像处理），或者通过使用专用于图像端部附近的图像处理的滤波器，也可以在图 像端部附近实现合适的图像处理。
[0183] 对于第二实施方式中的系数计算，可以不加修改地应用第一实施方式中描述的两 个系数计算方法。
[0184] (其它实施方式）
[0185] 本发明的各个方面也可以通过读出并执行在存储器装置上记录的程序以执行上 述实施方式的功能的系统或设备（或诸如CPU或MPU的装置）的计算机来实现，和通过一 种方法来实现，该方法的步骤由系统或设备的计算机通过例如读出并执行在存储器装置上 记录的程序以执行上述实施方式的功能来执行。为此，例如经由网络或者从用作存储器装 置的各种类型的记录介质（例如，计算机可读介质）向计算机提供程序。
[0186] 尽管已参照示例实施方式描述了本发明，但是应当理解，本发明不限于所公开的 示例实施方式。所附权利要求的范围应被最宽泛地解释为涵盖所有这种修改例和等同结构 和功能。
[0187] 本申请要求2010年11月30日递交的日本专利申请第2010-266974号的优先权， 通过引用将该日本专利申请整个并入于此。
【权利要求】
1. 一种图像处理装置，该图像处理装置包括： 图像处理单元，其被配置为以各关注像素为基础，同时参照周围像素的值，对图像数据 执行运算处理；以及 选择单元，其被配置为根据关注像素的位置，从相互不同的多个系数组中选择系数组， 其中，所述图像处理单元通过使用由所述选择单元选择的系数组来对所述图像数据执 行所述运算处理。
2. 根据权利要求1所述的图像处理装置，其中，所述多个系数组中的各个具有根据所 述周围像素中包括的至少一个无效像素的位置的多个系数。
3. 根据权利要求1所述的图像处理装置，其中，所述选择单元根据在所述图像数据中 指示的拍摄条件、从所述图像数据检测出的噪声级别、所述图像数据的边缘条件和所述图 像数据的频率特征中的至少一者以及所述关注像素的位置，来选择系数组。
4. 根据权利要求3所述的图像处理装置，其中，所述拍摄条件包括ISO感光度和快门速 度中的至少一者。
5. 根据权利要求2所述的图像处理装置，其中，要应用于所述无效像素中的各个的系 数值被设置为值0。
6. 根据权利要求1所述的图像处理装置，其中，要应用于在具有N个无效像素的第一周 围像素中包括的无效像素之后的第一有效像素的系数值被设置为，通过将要应用于无效像 素之后的第二有效像素和所述第二有效像素之后的第三有效像素的各系数值相加而计算 出的值，所述第二有效像素和所述第三有效像素被包括在具有N-1个无效像素的第二周围 像素中。
7. 根据权利要求6所述的图像处理装置，其中，在通过将要应用于所述第二有效像素 和所述第三有效像素的各系数值相加而计算出的值小于要应用于所述第三有效像素之后 的第四有效像素的值的情况下，使用要应用于所述第四有效像素的值取代被设置作为要应 用于所述第一有效像素的系数值的值，所述第四有效像素被包括在所述第二周围像素中。
8. -种用于控制图像处理装置的图像处理方法，所述图像处理方法包括： 图像处理步骤，以各关注像素为基础，同时参照周围像素的值，对图像数据执行运算处 理；以及 选择步骤，根据关注像素的位置，从相互不同的多个系数组中选择系数组， 其中，在所述图像处理步骤中，通过使用在所述选择步骤中选择的系数组来对所述图 像数据执行所述运算处理。
9. 一种图像处理装置，该图像处理装置包括： 图像处理单元，其被配置为以各关注像素为基础，同时参照周围像素的值，对图像数据 执行滤波处理；以及 选择单元，其被配置为根据关注像素的位置，从抽头数相互不同的多个滤波器单元中 选择滤波器单元， 其中，所述图像处理单元通过使用由所述选择单元选择的滤波器单元来对所述图像数 据执行所述滤波处理。
10. 根据权利要求9所述的图像处理装置，其中，所述多个滤波器单元中的各个具有根 据所述周围像素中包括的至少一个无效像素的位置的抽头数。
11. 根据权利要求9所述的图像处理装置，其中，所述选择单元根据在所述图像数据中 指示的拍摄条件、从所述图像数据检测出的噪声级别、所述图像数据的边缘条件和所述图 像数据的频率特征中的至少一者以及所述关注像素的位置，来选择滤波器单元。
12. 根据权利要求11所述的图像处理装置，其中，所述拍摄条件包括ISO感光度和快门 速度中的至少一者。
13. -种用于控制图像处理装置的图像处理方法，该图像处理方法包括： 图像处理步骤，以各关注像素为基础，同时参照周围像素的值，对图像数据执行滤波处 理；以及 选择步骤，根据关注像素的位置，从抽头数相互不同的多个滤波器单元中选择滤波器 单元， 其中，在所述图像处理步骤中，通过使用在所述选择步骤中选择的滤波器单元来对所 述图像数据执行所述滤波处理。
【文档编号】H04N5/232GK104052906SQ201410309490
【公开日】2014年9月17日 申请日期:2011年11月25日 优先权日:2010年11月30日
【发明者】大轮宁司 申请人:佳能株式会社