理)及第2滤波器处理(锐化处理）的调整的具体的 实施方式进行说明。
[0100] <第1实施方式>
[0101] 图5是表示第1实施方式所设及的图像处理模块的结构的图。
[0102] 在本实施方式的图像处理系统模型（图像处理部35)中，"第1滤波器处理模块"和 "第2滤波器处理模块"串联连接(级联结合），在两个处理模块中，可W连续进行信号强度的 调整。即，第1滤波器处理部38及第2滤波器处理部39串联设置，输入图像信号在接受第1滤 波器处理及第2滤波器处理中的一种处理（图5所示的例子中为"第1滤波器处理"）之后，接 受另一种处理(图5所示的例子中为"第2滤波器处理"）。
[0103] 本例的第1滤波器处理包括:在图像信号中应用锐化滤波器(第1滤波器）的处理； 及根据调整倍率来调整通过应用锐化滤波器而得到的信号增益的倍率的处理。即，第1滤波 器处理部38包括第1滤波器处理执行部42、第1滤波器处理乘法器43及第1滤波器处理加法 器44。第1滤波器处理执行部42将锐化滤波器应用于输入图像数据中，并计算图像的增减量 数据。第1滤波器处理乘法器43进行在第1滤波器处理执行部42中算出的增减量数据的增益 控制，将增减量数据及第1增益调整倍率U进行相乘。将第1滤波器处理加法器44对输入到第 1滤波器处理执行部42之前的图像信号(输入图像数据)和乘W第1增益调整倍率U的增减量 数据进行相加。第1滤波器处理由运些第1滤波器处理执行部42、第1滤波器处理乘法器43及 第1滤波器处理加法器44中的一系列处理构成。
[0104] 另外，第1滤波器处理部38能够通过任意的方法将第1增益调整倍率U反映于图像 数据，在本实施方式及其他实施方式中，也可W采用与上述方法相同的其他方法来代替上 述方法。例如，可W对将光锐化滤波器应用于输入图像数据中而得到的图像数据(输入图像 数据+增减量数据)相乘第1增益调整倍率U，另一方面，对输入图像数据相乘倍率（1-U)，并 将两者进行相加。
[0105] 另一方面，本例的第2滤波器处理包括：在图像信号中应用锐化滤波器（第2滤波 器）的处理;及根据调整倍率来调整通过应用锐化滤波器而得到的信号的增益的倍率的处 理。即，第2滤波器处理部39包括第2滤波器处理执行部46、第2滤波器处理乘法器47及第2滤 波器处理加法器48。在本例中，第1滤波器处理后的图像数据作为输入图像数据输入到第2 滤波器处理执行部46。第2滤波器处理执行部46将锐化滤波器应用于输入图像数据中而计 算图像的增减量数据。第2滤波器处理乘法器47进行在第2滤波器处理执行部46中算出的增 减量数据的增益控制，并将增减量数据及第2增益调整倍率V进行相乘。第2滤波器处理加法 器48将输入到第2滤波器处理执行部46之前的图像数据（进行第1滤波器处理后的图像信 号）和乘W第2增益调整倍率V的增减量数据进行相加，从而生成输出图像数据。第2滤波器 处理由运些第2滤波器处理执行部46、第2滤波器处理乘法器47及第2滤波器处理加法器48 中的一系列处理构成。
[0106] 另外，与第1增益调整倍率U的反映方法同样，第2滤波器处理部39能够通过任意的 方法将第2增益调整倍率V反映于图像数据，在本实施方式及其他实施方式中，也可W采用 与上述方法相同的其他方法来代替上述方法。例如，可W对将锐化滤波器(轮廓增强滤波 器)应用于输入图像数据中而得到的图像数据(输入图像数据+增减量数据)相乘第2增益调 整倍率V，另一方面，对输入图像数据相乘倍率(1-V)，并将两者进行相加。
[0107] 另外，在第1滤波器处理执行部42及第2滤波器处理执行部46中使用的锐化滤波器 能够通过任意的方法而被确定，但本例的第1滤波器处理执行部42及第2滤波器处理执行部 46分别具有单一的锐化滤波器而进行使用。
[0108] 滤波器处理控制部37根据外部输入参数来确定第1滤波器处理(第1滤波器处理乘 法器43)中的调整倍率，并根据第1滤波器处理中的调整倍率和总增益调整率来计算第2滤 波器处理(第2滤波器处理乘法器47)中的调整倍率。即，本例的滤波器处理控制部37包括强 度自动调整部52,在强度自动调整部52中输入有第1滤波器处理调整变量(细节锐度调整变 量)G及总增益调整率(总锐度目标值)D。
[0109] 第1滤波器处理调整变量G为构成使用于第1滤波器处理部38(第1滤波器处理乘法 器43)中的第1增益调整倍率U的基础的数据。总增益调整率D为根据第1增益调整倍率U及第 2增益调整倍率V而确定的数据，成为用于确定后述的第1增益调整倍率U及第2增益调整倍 率V的基准。第1滤波器处理调整变量G及总增益调整率D可W分别经由用户界面29并通过用 户而被指定，也可W根据光学特性信息由滤波器处理控制部37等确定。从而，可W通过滤波 器处理控制部37(主体控制器28)等来选择按照光学特性信息而不同的值的第1滤波器处理 调整变量G及总增益调整率D。并且，可W预先确定第1滤波器处理调整变量G及总增益调整 率D，另一方面，用户经由用户界面29适当地调整第1滤波器处理调整变量G及总增益调整率 D。
[0110] 在此所谓的"光学特性信息"可W包括光学系统所具有的透镜16的种类信息、光学 系统的个体差异信息、其他摄影设定条件等。该光学特性信息存储于任意的存储部，例如可 W在透镜单元12的存储部(透镜单元存储部21)中存储光学特性信息，也可W在相机主体14 的存储部(主体存储部31)中存储光学特性信息。从而，在滤波器处理控制部37 (主体控制器 28)等中，第1滤波器处理调整变量G及总增益调整率D可W根据存储于存储部(光学系统存 储部、主体存储部）中的光学特性信息而被确定。
[0111] 另外，光学特性信息(摄影设定条件等)通过任意的方式输入到滤波器处理控制部 37(强度自动调整部52)、第1滤波器处理部38(第1滤波器处理执行部42)及第2滤波器处理 部39(第2滤波器处理执行部46)。例如，也可W从主体控制器28的设备控制部34及图像处理 部35中的管理光学特性信息的控制处理部(未图示），将光学特性信息根据需要发送到滤波 器处理控制部37、第1滤波器处理部38及第2滤波器处理部39。
[0112] 强度自动调整部52根据第1滤波器处理调整变量G来确定第1增益调整倍率U，并根 据第1增益调整倍率U(第1滤波器处理调整变量G)及总增益调整率D来确定第2增益调整倍 率V(其中，满足"第1增益调整倍率U含0"及"第2增益调整倍率V含0")。具体而言，W通过第1 增益调整倍率U及第2增益调整倍率V而被定义的总锐度评价值(总锐度评价函数)与总增益 调整率D相等的方式捜索第2增益调整倍率V，从而确定第2增益调整倍率V。
[0113] 另外，强度自动调整部52获得分别在第1滤波器处理执行部42及第2滤波器处理执 行部46中使用的锐化滤波器的频率特性。例如在第1滤波器处理执行部42及第2滤波器处理 执行部46中使用的锐化滤波器被固定的情况下，强度自动调整部52可W通过预先存储而获 得各锐化滤波器的频率特性。并且在第1滤波器处理执行部42及第2滤波器处理执行部46中 使用的锐化滤波器可W发送到强度自动调整部52,强度自动调整部52通过分析接收到的锐 化滤波器而获得锐化滤波器的频率特性。强度自动调整部52在根据总锐度评价值来确定第 1增益调整倍率U及第2增益调整倍率V时，考虑在第1滤波器处理执行部42及第2滤波器处理 执行部46中使用的锐化滤波器的频率特性。具体而言，强度自动调整部52使锐化滤波器的 频率特性反映于总锐度评价值，并根据反映了该锐化滤波器的频率特性的总锐度评价值来 确定第1增益调整倍率U及第2增益调整倍率V。
[0114] 然后，强度自动调整部52将所确定的第1增益调整倍率U发送到第1滤波器处理乘 法器43,将第2增益调整倍率V发送到第2滤波器处理乘法器47。第1增益调整倍率U及第2增 益调整倍率V分别为第1滤波器处理部38及第2滤波器处理部39中的强度调整参数。从而第1 滤波器处理乘法器43及第2滤波器处理乘法器47使用从强度自动调整部52发送过来的第1 增益调整倍率U及第2增益调整倍率V进行乘法处理。
[0115] 强度自动调整部52中的第1增益调整倍率U及第2增益调整倍率V的确定，例如能够 按照W下流程来进行。
[0116] 在第1滤波器处理部38及第2滤波器处理部39中的图像处理之前，首先，强度自动 调整部52(滤波器处理控制部37)获得第1滤波器处理调整变量G及总增益调整率D。在本例 中，第1滤波器处理调整变量G及总增益调整率D预先由用户指定。由用户进行的第1滤波器 处理调整变量G及总增益调整率D的指定方法并无特别限定，例如可W将用于指定第1滤波 器处理调整变量G及总增益调整率D的滑块等调整构件显示于用户界面29(背面显示部等）， 通过用户经由该调整构件进行操作也能够简易地确定第1滤波器处理调整变量G及总增益 调整率D。
[0117] 第1滤波器处理调整变量G为用于对在第1滤波器处理乘法器43中使用的第1滤波 器处理的第1增益调整倍率U进行控制的基础数据(控制值）。在本例中，如后述，例如除了第 1增益调整倍率U的值大于特定的阔值的情况W外，第1增益调整倍率U与第1滤波器处理调 整变量G相等(第1增益调整倍率U =第1滤波器处理调整变量G)。在第1滤波器处理调整变量 G为0(零)的情况下，相当于第1滤波器处理处于关闭。该第1滤波器处理中的第1增益调整倍 率U可取连续的值的方式变化，可取离散值的方式变化，可W根据开启或关闭（是 "特定倍率"，还是"〇(零Γ)而变化，可W安装通过任意的方式可变更第1增益调整倍率U的 处理回路等。
[0118] 并且，总增益调整率D为确定在图像处理系统(第1滤波器处理部38及第2滤波器处 理部39)整体中成为基础的锐度的数据。
[0119] 另一方面，将在第1滤波器处理执行部42中使用的第1滤波器（用于抽取锐化处理 中的轮廓增强成分的滤波器)的频率特性设为Φ( ωχ, ωγ)，将在第2滤波器处理执行部46中 使用的第2滤波器的频率特性设为φ U)、，COy)。该情况下，将第1滤波器处理部38及第2 滤波器处理部39(锐化处理)进行组合的图5所示的图像处理系统整体的频率特性由下式1 表不。
[0120] [数式 1]
[01別](式 1) F(Wx，c〇y|U，V) = [l+UXiKc0x，c0y)]X[l+VX φ(ωχ，ωγ)]
[0122] "F(ωχ，ωy|U，Vr表示关于将第l增益调整倍率U及第2增益调整倍率V作为参数的 (ωχ, ωγ)(有关X方向及y方向的频率)的函数，该函数根据图像处理系统的结构而被确定。
[0123] 在第1滤波器处理乘法器43中使用的第1增益调整倍率U及在第2滤波器处理乘法 器47中使用的第2增益调整倍率V的确定，W将通过下式2而定义的总锐度评价值（总锐化 率)(Χυ，ν)保持为恒定的值(总增益调整率D)的方式进行实施。
[0124] [数式 2]
[0125] (式 2) C(U，V)=Jjw(Wx，c〇y)F(Wx，c〇yU，V)dc〇xdWy
[0126] 在此，νωχ,ωγΓ为任意的加权函数，总锐度评价值C(U，V)通过系统整体的频率 特性的加权运算而被定义。加权函数w( ωχ, cOy)优选设计成在视觉上显著的频率成分中成 为较大的值。通过使用在上式2中定义的总锐度评价值C(U，V)，即使使第1滤波器处理的强 度变化，在所关注的频带中，频率增强的程度也不变，且不产生锐度较大的背离。另一方面， 在加权函数w( ωχ, ωγ)较小的频带中，因用户的调整而画质的差异容易变得明显。
[0127] 基于上述内容，能够如下确定第1增益调整倍率U及第2增益调整倍率V的值。即，强 度自动调整部52根据所输入的第1滤波器处理调整变量G来确定第1增益调整倍率U的值，并 W总锐度评价值C(U，V)成为总增益调整率D的方式确定第2增益调整倍率V的值。从而，若第 1增益调整倍率U的值变大，则第2增益调整倍率V的值变小，若第1增益调整倍率U的值变小， 则第2增益调整倍率V的值变大。然而，若第1增益调整倍率U的值过大，则即使将第2增益调 整倍率V的值设为零％"，也有可能产生无法将总锐度评价值C(U，V)保持为恒定的情况。即， 有可能在将总锐度评价值C(U，V)保持为恒定的第1增益调整倍率U的范围内存在限制。
[0128] 若将第1增益调整倍率U的上限值标记为"Umax",则总锐度评价值C(U，V)满足"C (Umax，0)=护的关系，因此第1增益调整倍率U的最大值如下式3那样被限制。
[0129] [数式 3]
[0130]
[0131] 上式3表示在第1滤波器处理调整变量G为第1增益调整倍率U的上限值UmaxW下的 情况下，将第1滤波器处理调整变量G设定为第1增益调整倍率IKU = G)，在第1滤波器处理调 整变量G超过第1增益调整倍率U的上限值Umax的情况下，将第1增益调整倍率U的上限值Umax 设定为第1增益调整倍率IKU = Umax)。
[0132] 通过找出总锐度评价值满足乂化，V)=D"的关系的第2增益调整倍率V而计算第2 增益调整倍率V的值。运等于对1次方程式进行求解，强度自动调整部52容易求出第2增益调 整倍率V。第2增益调整倍率V的计算难易度取决于系统整体的频率特性F( ωχ, ωγ|υ，ν)的定 义。在该频率特性F( ωχ, ωγ|υ，ν)成为非线性函数，从而不易找出使上述等式严格地成立的 第2增益调整倍率V的情况下，也可W进行采用使总锐度评价值C(U，V)最接近于总增益调整 率D的第2增益调整倍率V的公式化。
[0133] 通过上述一系列处理，能够计算将总锐度评价值C(U，V)保持为恒定（总增益调整 率D)的第1增益调整倍率U及第2增益调整倍率V。
[0134] 如W上说明，根据本实施方式，由于根据总锐度(总锐度评价值)来确定第1增益调 整倍率U及第2增益调整倍率V，因此能够抑制基于第1滤波器处理及第2滤波器处理的图像 (输出图像)的锐度的偏差，并使输出图像中的总体的分辨率和画质稳定。
[0135] 尤其，在系统整体的频率响应中，在将特定的加权频带的响应保持恒定的状态下 使频率特性整体的形状变化，从而可W灵活地调整系统整体的频率响应。从而，可W应用例 如维持成为基础的锐度的同时调整细节的锐度等。并且，W主要频带中的加权变大的方式 确定总锐度评价值，从而主要频带中的锐化强度被恒定化，可防止锐度的背离变得过大。
[0136] 并且，通过调整第1增益调整倍率U及第2增益调整倍率V，不变更锐化滤波器就能 够使第1滤波器处理及第2滤波器处理整体的频率特性连续变化。从而，通过调整第1增益调 整倍率U及...