专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序，具体地，涉 及适合用于对图像执行色调校正的图像处理设备、图像处理方法和 程序。
背景技术：
作为图^象处理技术，已知边缘保持平滑处理。边缘保持平滑处理是在
残留有图像中的目标之间的边界中的显著的亮度级差时被执行用于平滑 色调的非线性滤波处理。长久以来已在用于保持影响可视性的目标轮廓时 去除小的亮度变化的降噪处理中使用边缘保持平滑处理(例如参考非专利
文献1至3 )。
此外，边缘保持平滑处理还被用在色调校正处理中，其中通过4吏用其 中可以将目标紋理的小的亮度变化与亮度级差彼此相分离的特性，在不改 变诸如紋理之类的细节分量的同时，压缩其它分量中的亮度级差(参见非 专利文献4和5)。
近年来，在这种边缘保持平滑处理中，已经经常使用被称为双边滤波 器的技术。通常，在用于图像的双边滤波器BLF (pc)中，如等式(l) 所示，执行以下计算对位于已被通过空间方向上的加权函数 (p-pc) 和亮度值方向上的加权函数(|) (I (p) - I (pc))进行加权的像素位置pc 附近的像素的像素值I (p)进行相加。
等式(1)
Z w(p-pc)'0(i(P)-i(Pc))'i(P)
blf(pg) = ~~;——、…、~~~~ ... (i)
Z oj(p-pc)'0(i(p)-i(pg))
注意，在等式(1)中，右手侧的M表示标准化系数。非专利文献
4披露了使用这种双边滤波器的色调校正处理的技术。
10如等式(l)所示，在双边滤波器中，对局部区域中包括的4象素p的
加权根据中心像素pc的亮度值而改变。因此，例如，应该对每个4象如计算权重值，相应地，运算量变得大于普通的线性FIR(有限冲激响应)滤波器所需的运算量。在非专利文献4和6中，为了解决双边滤波器的这种缺点，已经公开了用于提高双边滤波器的计算速度的方法。
非专利文献1 : A. Lev, S.W.Zucker, A.Rosenfeld， "Iterativeeiihancement of noise images", IEEE Trans. Systems, Man， andCybernetics, Vol. SMC-7,1977。
非专利文献2: D.C.C.Wang, A.H.Vagnucci, C.C丄i, "Gradient inverseweighted smoothing scheme and the evaluation of its performance",CVGIP，第15巻，第167-181页，1981。
非专利文献3: M.Nagao， T.Matsuyama， "Edge preserving smoothing",CGIP，第9巻，第394-407页，1978。
非专利文献4: F.Durand， J.Dorsey， "Fast bilateral filtering for the displayof high-dynamic-range images", Proc. of ACM SIGGRAPH 2002， 2002。
非专利文献5: S.N.Pattanaik, H.Yee， "Adaptive gain control for highdynamic range image dispaly"， Proc. of Spring Conference in ComputerGraphics 2002， 2002。
非专利文献6: Weiss， "Fast median and bilateral filtering", Proc. of ACMSIGGRAPH 2006， 200
发明内容
技术问题
同时，在使用上述这种边缘保持平滑的图像处理时，可能需要同时处
持平滑。
例如，在降噪处理中，由于利用约为几个像素乘几个像素的算子大小来执行边缘保持平滑以去除高频噪声，因此相反地低频噪声可能变得明显。为了去除低频噪声，应当使用同时处理较大的区域的边缘保持平滑。特别地，例如，在当在暗处执行拍摄时在向图像传感器的输出施加大增益的同时执行显示的情况下，由于低频噪声的振幅相当大，因此应当使用大的边缘保持平滑算子。
对色调校正处理来说，尤其需要对大区域执行这种边缘保持平滑。
在色调校正处理中，与目标紋理的小的亮度变化相类似地，由于目标中的不均匀而引起的亮度变化通常是要在不压缩亮度差的情况下被存储的分量。
例如，当人脸区域中的亮度变化受到亮度压缩处理时，看起来如同面部表情被改变，这是不利的影响。为了将由于目标中的不均匀所引起的亮度变化与目标轮廓的亮度级差分离开来，取决于图像而需要对具有约为几百个《象素乘几百个像素的大小的大区域执行的边缘保持平滑。
如上文所述，对于用作边缘保持平滑的双边滤波器，已经提出了用于通过简化其计算来减小运算量的方法。然而，这种方法实现了运算量被限制为相对于算子大小H象素数量乘像素数量)的线性增加，而用于几百个像素乘几百个像素的大小的运算量毕竟是大的，这是不现实的。
已经考虑到上述问题而做出了本发明，本发明允许以较小的计算量执行边缘保持平滑。
根据本发明第 一方面的对输入图像执行边缘保持平滑处理的图像处
理设备包括频率值计算装置，用于以下的亮度块中计算属于亮度块的像素的频率值通过根据像素的亮度值对在空间方向上划分输入图像而获得的空间块中包括的像素进行分类、由此将空间块进一步在亮度方向上进行划分的亮度块；特性值计算装置，用于计算表示亮度块的特性的特性值的特性值计算装置；以;SJp权积和装置，用于通过根据像素与从在该像素附近的 一些空间块获得的亮度块中包括的相邻亮度块之间的在空间方向和亮度方向上的距离而使用该相邻亮度块的特性值和频率值对该特性值执行加权平均，来对在输入图像的像素位置处的输入图像执行边缘保持平滑。
特性值计算装置可计算在亮度块之一中包括的像素的亮度值的和作为特性值。
特性值计算装置可计算亮度块的亮度范围的中心值来作为特性值。
加权积和装置可包括频率值内插装置，用于使用根据从其获得相邻亮度块的空间块之一与像素之间的相对位置而确定的空间权重以及相邻亮度块中的频率值来执行内插处理，并针对与相邻亮度块相对应的各个亮度级来计算作为通过在所述像素的位置上执行内插而获得的频率值的内插频率值；特性值内插装置，用于使用空间权重和相邻亮度块的特性来执行内插处理，并针对与相邻亮度块相对应的各个亮度级来计算作为通it^像素位置上执行内插而获得的特性值的内插特性值；频率值积和装置，用于获得乘以由像素的亮度值和与相邻亮度块相对应的亮度级确定的亮度权重的内插频率值的和，并使用亮度权重来计算内插频率值的加权和；特性值积和装置，用于获得乘以亮度权重的内插特性值的和，并使用亮度权重来计算内插特性值的加权和；以及除法装置，用于通过将内插特性值的加权和处于内插频率值的加权和来计算特性值的加权平均。
加权积和装置可包括第一巻积装置，用于针对每个空间块而将其中亮度值被用作变量的亮度权重函数与从空间块获得的相邻亮度块的频率值进行巻积；第二巻积装置，用于针对每个空间块而将亮度权重函数与从空间块获得的相邻亮度块的特性值进行巻积；频率值内插装置，用于使用根据从其获得相邻亮度块的空间块之一与像素值之间的相对位置而确定的空间权重以及与亮度权重函数进行巻积的频率值来执行内插处理，并计算作为通过对在像素位置处的像素的亮度值执行的内插而获得的频率值的内插频率值；特性值内插装置，用于使用空间权重以及与亮度权重函数进行巻积的特性值执行内插处理，并计算作为通过对在像素位置处的像素的亮度值执行的内插而获得的特性值的内插特性值；以及除法装置，用于通过除以内插特性值来计算特性值的加权平均。
加权积和装置还可包括频率值存储装置，用于在与输入图像的一帧相对应的时段内存储与亮度权重函数进行巻积且根据输入图像的预定帧来计算的频率值；以及特性值存储装置，用于在与输入图像的一帧相对应的时段内存储与亮度权重函数进行巻积且根据输入图像的预定帧来计算的特性值。频率值内插装置可使用存储在频率值存储装置中的根据输入图像的预定帧而计算的频率值来计算输入图像的在预定帧之后的帧中的内插频率值。特性值内插装置可使用存储在特性值存储装置中的根据输入图
插特性值。
该图4象处理i殳^^还可包括尺寸减小的图4象生成装置，用于根据输入图像来生成通过减小输入图像的尺寸而获得的尺寸减小的图像。频率值计算装置计算属于通过在空间方向和亮度方向上划分尺寸减小的图像而获得的亮度块的尺寸减小的图像的像素的频率值，以及特性值计算装置计算表示通过在空间方向和亮度方向上划分尺寸减小的图像而获得的亮度块的特性的特性值。
该图像处理设备还可包括频率值存储装置，用于在与输入图像的一
值存储装置，用于在与输入图像的一帧相对应的时段内存储根据输入图像的预定帧来计算的特性值。加权积和装置使用存储在频率值存储装置中的
后的帧中的特性值执行加权平均。
对输入图像执行边缘保持平滑处理的根据本发明第 一方面的图像处理方法和程序包括以下步骤在以下的亮度块中计算属于亮度块的〗象素的频率值通过根据像素的亮度值对在空间方向上划分输入图〗象而获得的空间块中包括的像素进行分类、由此将空间块进一步在亮度方向上进行划分的亮度块；计算表示亮度块的特性的特性值；以及通过根据像素与从在像素附近的 一些空间块获得的亮度块中包括的相邻亮度块之间的在空间方向和亮度方向上的距离而使用相邻亮度块的特性值和频率值对该特性值执行加权平均，iW"在输入图像的像素位置处的输入图像执行边缘保持平滑。
根据本发明的第一方面，在图《象处理i殳备中，通过以下步^Mt输入图像执行边缘保持平滑处理在以下的亮度块中计算属于亮度块的像素的频率值通过根据像素的亮度值对在空间方向上划分输入图像而获得的空间块中包括的像素进行分类、由此将空间块进一步在亮度方向上进行划分的亮度块；计算表示亮度块的特性的特性值；以及通过根据像素与从在该像素附近的一些空间块获得的亮度块中包括的相邻亮度块之间的在所述空间方向和所述亮度方向上的距离而使用该相邻亮度块的特性值和频率值
对该特性值执行加权平均，来对在输入图像的像素位置处的输入图像执行边^^持平滑。
对输入图像执行色调校正的根据本发明第二方面的图像处理设备包括频率值计算装置，用于在以下的亮度块中计算属于该亮度块的像素的频率值通过根据像素的亮度值对在空间方向上划分输入图像而获得的空间块中包括的像素进行分类、由此将该空间块进一步在亮度方向上进行划分的亮度块；特性值计算装置，用于计算表示亮度块的特性的特性值；加权积和装置，用于通过根据像素与^MM象素附近的一些空间块获得的亮度块中包括的相邻亮度块之间的在空间方向和亮度方向上的距离而使用相邻亮度块的特性值和频率值对该特性值执行加权平均，来计算表示包括输入图像中的在输入图像的像素位置处的像素的目标区域的平均明亮度的
全局亮度值；色调曲线计算装置，用于在像素位置处根据全局亮度值计算用于各个像素的色调曲线的形状；以及亮度值色调校正装置，用于使用在像素位置处的色调曲线来校正所述像素的亮度值的色调。
当使用色调曲线使全局亮度值受到色调校正时，色调曲线计算装置计算色调曲线的形状，使得全局亮度值被转换为基本上在使用色调曲线进行色调校正之后的亮度值的可取范围的中间的值。
该图像处理设备还可包括全局亮度值色调校正装置，用于使用在4象素位置处的色调曲线来校正该像素的全局亮^L值的色调；以M比度校正装置，用于根据通过由全局亮度值色调校正装置执行的色调校正而获得的全局亮度值以及色调曲线的形状来校正通过由亮度值色调校正装置执行的色调校正获得的亮度值的对比度。
加权积和装置可包括频率值内插装置，用于使用根据从其获得相邻亮度块的空间块之一与像素之间的相对位置而确定的空间权重以及相邻亮度块中的频率值来执行内插处理，并针对与相邻亮度块相对应的各个亮度级来计算作为通过在像素的位置上执行内插而获得的频率值的内插频率值；特性值内插装置，用于使用空间权重和相邻亮度块的特性值来执行内插处理，并针对与相邻亮度块相对应的各个亮度级来计算作为通过在像素位置上执行内插而获得的特性值的内插特性值；频率值积和装置，用于获得乘以由像素的亮度值和与相邻亮度块相对应的亮度级确定的亮度权重的内插频率值的和，并使用亮度权重来计算内插频率值的加权和；特性值积和装置，用于获得乘以亮度权重的内插特性值的和，并使用亮度权重来计算内插特性值的加权和；以及除法装置，用于通过将内插特性值的加
权和除以内插频率值的加权和来计算特性值的加权平均。
加权积和装置可包括第一巻积装置，用于针对每个空间块而将其中亮度值被用作变量的亮度权重函数与从空间块获得的相邻亮度块的频率值进行巻积；第二巻积装置，用于针对每个空间块而将亮度权重函数与从空间块获得的相邻亮度块的特性值进行巻积；频率值内插装置，用于使用根据从其获得相邻亮度块的空间块之一与像素值之间的相对位置而确定的空间权重以及与亮度权重函数进行巻积的频率值来执行内插处理，并计算作为通过对在像素位置处的像素的亮度值执行的内插而获得的频率值的内插频率值；特性值内插装置，用于使用空间权重以及与亮度权重函数进行巻积的特性值来执行内插处理，并计算作为通过对在像素位置处的像素的亮度值执行的内插而获得的特性值的内插特性值；以及除法装置，用 于通过除以内插特性值来计算特性值的加权平均。
加权积和装置还可包括频率值存储装置，用于在与输入图像的一帧 相对应的时段内存储与亮度权重函数进行巻积且根据输入图像的预定帧 来计算的频率值；以及特性值存储装置，用于在与输入图像的一帧相对应 的时段内存储与亮度权重函数进行巻积且根据输入图像的预定帧来计算 的特性值。频率值内插装置可4吏用存储在频率值存储装置中的根据输入图 像的预定帧而计算的频率值来计算输入图像的在预定帧之后的帧中的内 插频率值，以及特性值内插装置使用存储在特性值存储装置中的根据输入 图像的预定帧而计算的特性值来计算输入图像的在预定帧之后的帧中的 内插特性值。
该图像处理设备还可以包括尺寸减小的图像生成装置，用于根据输 入图像来生成通过减小输入图像的尺寸而获得的尺寸减小的图像。频率值 计算装置计算属于通过在空间方向和亮度方向上划分尺寸减小的图像而 获得的亮度块的尺寸减小的图像的像素的频率值，以及特性值计算装置计 算表示通过在空间方向和亮度方向上划分尺寸减小的图像而获得的亮度 块的特性的特性值。
该图像处理设备还可以包括频率值存储装置，用于在与输入图像的
性值存储i置，用于在与输入图像的一帧相对应的时段内存储根据输入图 像的预定帧来计算的特性值。加权积和装置使用存储在频率值存储装置中 的频率值和存储在特性值存储装置中的特性值来对输入图像的在预定帧 之后的帧中的特性值执行加权平均。
对输入图像执行色调校正的根据本发明第二方面的图像处理方法或 程序包括以下步骤在以下的亮度块中计算属于该亮度块的像素的频率 值通过根据像素的亮度值对在空间方向上划分输入图像而获得的空间块 中包括的像素进行分类、由此将空间块进一步在亮度方向上进行划分的亮 度块；计算表示亮度块的特性的特性值；通过根据像素与M像素附近的 一些空间块获得的亮度块中包括的相邻亮度块之间的在空间方向和亮度 方向上的距离而使用相邻亮度块的特性值和频率值对该特性值执行加权 平均，来计算表示包括所述输入图像中的在所述输入图像的像素位置处的 像素的目标区域的平均明亮度的全局亮度值；在像素位置处根据全局亮度 值来计算用于各个像素的色调曲线的形状；以及使用在像素位置处的色调曲线来校正像素的亮度值的色调.
根据本发明的第二方面，在图像处理设备中，通过以下处理对4象素的
亮度值执行色调校正在以下的亮度块中计算属于该亮度块的像素的频率 值通过根据像素的亮度值对在空间方向上划分输入图像而获得的空间块 中包括的像素进行分类、由此将空间块进一步在亮度方向上进行划分的亮 度块；计算表示亮度块的特性的特性值；通过根据像素与4像素附近的 一些空间块获得的亮度块中包括的相邻亮度块之间的在空间方向和亮度 方《上的距离而使用相邻亮度块的特性值和频率值对该特性值执行加权 平均，来计算表示包括输入图像中的在输入图像的像素位置处的像素的目 标区域的平均明亮度的全局亮度值；在像素位置处根据全局亮度值来计算 用于各个像素的色调曲线的形状；以及使用在〗象素位置处的色调曲线来校 正像素的亮度值的色调。
有利效果
根据本发明的第一方面，可以以较少的运算执行边缘保持平滑处理。 根据本发明的第二方面，可以以较少的运算执行色调校正。
图l是示出了根据实施例的本发明所应用于的数字摄^^的框图。 图2是示出了 DSP的配置示例的图。 图3是示出了马赛克图像中包括的像素的排列示例的图。 图4是示出了色调校正处理器的配置示例的图。 图5是示出了亮度色调校正单元的配置示例的图。 图6是示出了亮度区域信息计算单元的配置示例的图。 图7是示出了块直方图计算单元的配置示例的图。 图8是示出了块积分值计算单元的配置示例的图。 图9是示出了加权积和单元的配置示例的图。 图IO是示出了对比度校正单元的配置示例的图。 图11是示出了图《象处理的流程图。 图12是示出了色调校正处理的流程图。流程图。 图14是示出了色调曲线的图。
图15是示出了用于计算亮度区域信息的图像处理的^^图。
图16是示出了用于计算块直方图的图像处理的流程图。
图17是示出了用于计算块积分值的图像处理的$綠图。
图18是示出了全局亮度值计算处理的流程图。
图19是示出了亮度权重函数的图。
图20是示出了对比度校正处理的i5^图。
图21是示出了增益值的图。
图22是示出了亮度色调校正单元的另一配置示例的图。
图23是示出了加权积和单元的另一配置示例的图。
图24是示出了色调校正处理的流程图。
图25是示出了色调校正处理的流程图。
图26是示出了全局亮度值计算处理的流程图。
图27是示出了亮度色调校正单元的又一配置示例的图。
图28是示出了色调校正处理的流程图。
图29是示出了色调校正处理的流程图。
图30是示出了 DSP的另一配置示例的图。
图31是示出了色调校正处理器的另 一配置示例的图。
图32是示出了 DSP的又一配置示例的图。
图33是示出了色调校正处理器的又一配置示例的图。
图34是示出了要获得的亮度值的位置的图。
图35是示出了计算机的配置示例的框图。
附图标记说明
16DSP, 53色调校正处理器，81亮度计算单元，83亮度色调校正单 元，85-1至85-3色调校正单元，111亮度区域信息计算单元，113块直方 图计算单元，U5块积分值计算单元，117加权积和单元，118色调曲线计算单元，122对比度校正单元，271内插单元，272内插单元，274积和单 元，275积和单元，277除法器，402巻积单元，404巻积单元，406加权 积和单元，461尺寸减小单元，501色调校正处理器，581色调校正处理 器
具体实施例方式
以下，将参照附图描述4^发明的实施例。
图l是示出了根据本发明所应用于的实施例的数字摄像机的框图。该 数字摄^^包括透镜11、光團12、图像传感器13、相关双采样电路(CDS) 14、 A/D (模数)转换器15、 DSP (数字信号处理器)块16、定时发生器 (TG) 17、 LCD (液晶显示器)驱动器18、 LCD 19、 CODEC (压缩/ 解压缩)20、存储器21、 CPU (中央处理单元)22、输入装置23和总线 24。注意，DSP块16包括例如用于信号处理的处理器(例如DSP)和存 储图像数据的诸如RAM (随;IM^取存储器)之类的存储器，并且当处理 器运行预定程序时执行稍后将描述的图像处理。注意，DSP块16在下文 中被简称为DSP16。
来自目标的穿过包括透镜11和光圏12的光学系统的入射光到达图像 传感器13的成像平面上的光接收元件，并通过由光接收元件执行的光电 转换而被转换为电信号。通it^目关双采样电路14去除从图像传感器13 输出的电信号中包括的噪声，并且通过A/D转换器15将电信号数字化。 此后，数字化的图傳Jt据被临时存储在DSP16中包括的存储器中。定时 发生器17控制包括相关双采样电路14、 A/D转换器15和DSP16的信号 处理系统，以按照预定帧频获得图傳教据。即，以预定的帧频将图傳教据 流提供给DSP16。
注意，图像传感器13具有大于一般的图像传感器(例如CCD (电荷 耦合器件))的动态范围的动态范围，并且可以拍摄在目标的从暗部到亮 部的范围内的目标图像而没有饱和和噪声生成。因此，A/D转换器15将 输入的电信号转换为具有比普通的数字摄像机的色调等级(例如可通过 10至12比特的数据实现的色调等级数量)更多的色调等级(例如，可通 过14至16比特的数据实现的色调等级数量)的图傳教据。
DSP 16对图^Jt据执行稍后将描述的图像处理，使得图^Nt据的动 态范围变得适合于在LCD19中显示，此后，在适当时将已经过图像处理的图傳教据提供给LCD驱动器18或CODEC 20。
LCD驱动器18将从DSP 16提供的图傳教据转换为模拟图像信号。 LCD驱动器18将模拟图像信号提供给用作数字摄^^的取景器的LCD 19，并指示LCD19显示对应于该图像信号的图像。
CODEC 20以预定方法对从DSP 10提供的图^lt据进行编码，并指 示存储器21将编码的图像数据存储在诸如半导体、膝Ii记录介质、磁光 记录介质或光学记录介质之类的存储器21中。
CPU 22根据由操作输入装置23的用户所发出的指令来控制数字摄 像机的B操作，其中，例如用诸如快门^&之类的操作按钮来配置输入 装置23。注意，DSP16、定时发生器17、 CODEC 20、存储器21、 LCD 19、 CPU 22和输入装置23通过总线24而彼此连接。
图2是示出了当DSP 16中包括的处理器(计算单元)运，定程序 时所实现的功能的配置示例的框图。当DSP16中包括的处理器运行预定 程序时，实现了包括白平衡处理器51、去马赛克处理器52、色调校正处 理器53、伽马校正处理器54和YC变换处理器55的功能。
例如，白平衡处理器51获得与例如已经过使用A/D转换器15的A/D 转换的运动图像的图^Nt据相对应的马赛克图像。马赛克图像是其中在像 素中包括与R颜色分量、G颜色分量和B颜色分量之一相对应的数据且 根据被称为Bayer阵列的颜色阵列来排列这种像素的图像，并且马赛克图 像也被称为RAW数据。
参照图3，单个正方形表示单个像素，正方形中包括的字符R、 G和 B分别表示R像素、G像素和B像素。然后，以格状图案排列G像素， 并在剩余部分中基于行而交替地排列R像素和B像素。
返回参照图2的描述，白平衡处理器51控制马赛克图像的白平衡，
使目标的无色部分的颜色平衡实际上变得无色。白平衡处理器51将其中 白平衡已被控制的马赛克图傳提供给去马赛克处理器52。注意，以下用 Mw来表示其中白平衡已被控制的马赛克图像。
去马赛克处理器52对从白平衡处理器51提供的马赛克图像Mw执行去马赛克处理，使得每个像素都包括所有的R分量、G分量和B分量。 由此生成与颜色分量(即，R颜色分量、G颜色分量和B颜色分量)所 对应的R图像、G图像和B图像相对应的三个图像数据项。去马赛克处 理器52将所生成的与R图像、G图像和B图像相对应的三个图係Jt据项 提供给色调校正处理器53。
注意，三个图像数据项(即，R图像、G图像和B图像)在下文中 也被统称为RGB图像。此外，下文用M (p)表示在马赛克图像的像素 位置p处的像素值。此外，用(Rw(p)， Gw(p)， Bw(p))表示在已 经过去马赛克处理的图像数据的像素位置p处的像素值。注意，"Rw(p)" 表示R分量的像素值，"Gw (p )"表示G分量的像素值，以及"Bw (p )" 表示B分量的像素值。
色调校正处理器53对RGB图像执行色调校正处理，并将已经过色 调校正处理的RGB图像提供给伽马校正处理器54。注意，用(Ru(p)， Gu (p)， Bu (p))表示在已经过色调校正处理的图像数据的像素位置p 处的像素值。这里，"Ru (p)"表示R分量的像素值，"Gu (p)"表示G 分量的像素值，以及"Bu (p)"表示B分量的像素值。
伽马校正处理器54对已经过色调变换的RGB图傳^执行伽马校正。 伽马校正处理器54将已经过伽马校正的RGB图傳4^供给YC变换处理器 55。注意，用(RuY (P)， Guy (p)， Buy (p))表示在已经过伽马校 正的图傳Jt据的4象素位置p处的图4Wt据的4象素值。这里，"Ruy (p)" 表示R分量的像素值，"Guy (p)"表示G分量的像素值，"Buy (P)" 表示B分量的像素值。
YC变换处理器55对已经过伽马校正的RGB图像执行YC矩阵处理 并对无色分量执行频带限制，以生成由亮度分量(Y分量)组成的Y图 像和由色差分量(Cb和Cr分量)组成的C图像。YC变换处理器55在 适当时将所生成的Y图像和所生成的C图像提供给LCD驱动器18或 CODEC 20。注意，用(Y(p)， C (p))表示在从YC变换处理器55输 出的图^lt据的像素位置p处的像素值。这里，"Y (p)"表示亮度分量的值，而"C (p)"表示色差分量的值。注意，用Cb (p)表示c图像的 Cb分量，而用Cr (p )表示C图像的Cr分量。
图4是示出了色调校正处理器53的功能的配置示例的框图。色调校 正处理器53包括亮度计算单元81、非线性变换单元82、亮度色调校正单 元83、非线性变换单元84-1至84-3、色调校正单元85-1至85-3以及非 线性逆变换单元86-1至86-3。
亮度计算单元81计算在与从去马赛克处理器52提供的RGB图像的 像素值Rw (p )、 Gw (p )和Bw (p )相对应的像素位置处的亮度分量的 值(亮度值L (p))，并将该亮度值L (p)提供给非线性变换单元82。 非线性变换单元82对从亮度计算单元81提供的亮度值L (p)执行非线 性变换，并将作为结果的亮度值L (nl) (p )提供给亮度色调校正单元83 和色调校正单元85-1至85-3。
亮度色调校正单元83通过对由非线性变换单元82提供的亮度值L (nl) (p)的色调进行压缩iM"亮度值L (nl) (p)执行色调校正，并将 通过色调校正得到的亮度值Lu( nl X p欣供给色调校正单元85-1至85-3。
非线性变换单元84-1至84-3分别对从去马赛克处理器52拔:供的 RGB图像的像素值Rw (p)、 Gw (p)和Bw (p)执行非线性变换。此 外，非线性变换单元84-1至84-3将通过非线性变换获得的像素值R (nl) (p )、 G (nl) (p )和B (nl) (p)分别提供给色调校正单元85-1至85-3。 注意，在下文中，除非另外区别，将非线性变换单元84-1至84-3简称为 非线性变换单元84。
色调校正单元85-1至85-3使用从非线性变换单元82提供的亮度值L (nl) (p )和从亮度色调校正单元83提供的亮度值Lu (nl) (p )来分别 对从非线性变换单元84-1至84-3提供的像素值R (nl) (p )、 G (nl) (p ) 和B (nl) (p )执行色调校正。色调校正单元85-1至85-3分别将通过色 调校正获得的像素值Ru (nl) (p)、 Gu (nl) (p)和Bu (nl) (p)提供 给非线性逆变换单元86-1至86-3。
22非线性逆变换单元86-1至86-3对分别从色调校正单元85-1至85-3 提供的像素值Ru (nl) (p)、 Gu (nl) (p)和Bu (nl) (p)执行作为由 非线性变换单元84执行的非线性变换的逆变换的非线性逆变换。非线性 逆变换单元86-1至86-3分别将通过非线性逆变换获得的Ru( p )、 Gu( p ) 和Bu (p )提供,马校正处理器54。
注意，下文中，除非另外区别，将色调校正单元85-1至85-3简称为 色调校正单元85。此外，下文中，除非另外区别，将非线性逆变换单元 86-1至86-3简称为非线性逆变换单元86。
图5是示出了亮度色调校正单元83的功能的配置示例的框图。亮度 色调校正单元83包括亮度区域信息计算单元111、亮度区域信息存储器 112、块直方图计算单元113、块直方图存储器114、块积分值计算单元115、 块积分值存储器116、加权积和单元117、色调曲线计算单元118、色调曲 线存储器119、映射单元120和121以及对比度校正单元122。
亮度区域信息计算单元111、块直方图计算单元113和块积分值计算 单元115计算与RGB图像的大区域相关的信息，并执行用于对每帧更新 信息的处理。
具体地，亮度区域信息计算单元111获得作为具有从非线性变换单元 82提供的亮度值L (Hi) (p)的一帧图像(以下称为"亮度图像")中的 像素的亮度值的直方图的暗的亮度侧和明亮的亮度侧的边缘(skirt)部分 的亮度值的边缘值，并将该边缘值作为亮度区域信息存储在亮度区域信息 存储器112中。亮度区域信息存储器112临时存储从亮度区域信息计算单 元m提供的亮度区域信息，并将该亮度区域信息提供给色调曲线计算单 元118。
块直方图计算单元113将包括从非线性变换单元82提供的亮度值L (iil)(p)的一帧的亮度图像在空间方向上划分为多个空间块(区域)， 并进一步在亮度方向上将每个空间块划分为亮度块。这里，每个亮度块都 由对应的一个空间块中包括的像素中的、具有在针对该亮度块的预定亮度 范围内的亮度值的像素构成。因此，例如，当每个空间块被划分为D亮度块时，预先将可能的亮度值范围划分为D个范围，并且每个空间块 中的像素被根据像素的亮度值而分类到D个亮度块中。
此夕卜，块直方图计算单元113获得在通过划分亮度图像而获得的每个 亮度块中包括的像素的频率值，并将该频率值作为块直方图提供给块直方 图存储器U4。也就是说，块直方图示出了包括在(被分类到)每个亮度 块中的像素数。块直方图存储器114临时存储从块直方图计算单元113提 供的这种块直方图，并将该块直方图提供给加权积和单元U7。
对于每个亮度块，块积分值计算单元115计算感兴趣的亮度块中包括 的像素的亮度值的积分值(和)，并将这种计算出的积分值作为块积分值 而提供给块积分值存储器116。块积分值存储器116临时存储从块积分值 计算单元115提供的块积分值，并将该块积分值提供给加权积和单元117。
注意，亮度区域信息、块直方图和块积分值在下文中也被称为中间数 据。用作中间数据的亮度区域信息、块直方图和块积分值在与亮度图像 (RGB图像)的一帧相对应的时段内分别被存储在亮度区域信息存储器 112、块直方图存储器114和块积分值存储器116中，并^L针对每帧而更 新。
此外，由于用于获得中间数据的计算需要与基本上一帧相对应的时 段，所以在已知技术中，当输入下一帧的图像信息时实际使用所生成的中 间数据。然而，由于色调校正处理器53并行地执行用于计算中间数据的 处理和用于使用中间数据校正RGB图像的色调的处理，所以即^4>运动 图^Jt据也可以被实时地处理。
加权积和单元U7使用从非线性变换单元82提供的亮度值L (nl) (p )、从块直方图存储器114提供的块直方图和从块积分值存储器116提 供的块积分值来计算作为由具有亮度值L (Hi) (p)的亮度图像的很低频 率的分量组成的图像(下文称为"全局亮度图像")的亮度值的全局亮度 值L1 (nl) (p)。
也就是说，使用从在时间上紧挨在感兴趣的帧之前的帧的亮度图像(RGB图像)获得的块直方图和块积分值来获得具有所提供的亮度值L Ul) (p)的像素的全局亮度值Ll (nl) (p )。这里，全局亮度值是与RGB 图像的像素所属于的目标的特定区域的平均亮度^目对应的信息项，即， 表示《象素所属于的目标的区域的平均明亮等级的亮度值。
注意，在下文中，已被处理的像素(即，例如，与提供给亮度色调校 正单元83的亮度值L (nl) (p )相对应的像素)也被称为"处理像素"。
加权积和单元117将所计算的全局亮度值Ll (nl) (p )提供给色调曲 线计算单元us和映射单元120。
色调曲线计算单元118使用从亮度区域信息存储器112提供的亮度区 域信息和;^Ua权积和单元117提供的全局亮度值Ll (nl) ( p )来计算用于 压缩亮度值的色调的色调曲线的形状，并将计算结果提供给色调曲线存储 器119。色调曲线存储器119记录从色调曲线计算单元118提供的色调曲 线，并将所记录的色调曲线提供给映射单元120和121以及对比度校正单元m。
映射单元120根据记录在色调曲线存储器119中的色调曲线来压缩 (校正)#权积和单元117提供的全局亮度值Ll (nl) (p )的色调，并 将通过色调校正获得的全局亮度值Lcl (nl) (p)提供给对比度校正单元 122。映射单元121根据记录在色调曲线存储器119中的色调曲线来压缩 (校正)从非线性变换单元82提供的亮度值L (nl) (p)的色调，并将 通过色调校正获得的亮度值Lc (nl) (p)提供给对比度校正单元122。
对比度校正单元122根据从映射单元120提供的全局亮度值Lcl( nl) (p)、从映射单元121提供的亮度值Lc (nl) (p)和记录在色调曲线存 储119中的色调曲线i(b艮正具有通过色调压缩而获得的亮度值Lc( nl X p ) 的亮度图像的对比度。此外，对比度校正单元122将通过对比度校正而获 得的亮度值Lu Ul) (p )提供给色调校正单元85。
图6是示出了图5所示的亮度区域信息计算单元111的功能的配置示 例的图。亮度区域信息计算单元111包括稀疏化(thinning-out)单元151、饱和像素排除单元152以及分类单元153和154。
稀疏化单元151以预定间隔对以光栅扫描的顺序提供的亮度图像的 像素的亮度值L Ul) (p )进行采样并将其输出。也就是说，稀疏化单元 151确定从非线性变换单元82提供的亮度值L (nl) (p)的像素位置p 是否对应于以预定间隔提供的采样位置。当确定了像素位置p对应于采样 位置时，将亮度值L (nl) (p)提供给饱和像素排除单元152。由此，提 供给后级中的分类单元153和154的亮度值的数量不会大于等于预定数 量。
饱和像素排除单元152从包括在DSP16中的内部存储器(未示出) 中读取noiseLevel (噪声电平)(nl)和saturationLevel (饱和等级)(nl )。 这里，noiseLevel (nl)和saturationLevel (nl)分别表示代表噪声电平中 的亮度值和饱和等级中的亮度值的阈值。
当从稀疏化单元151提供的亮度值L( nl)(p )之一不小于noiseLevel (nl)且不大于saturationLevel (nl)时，饱和像素排除单元152将亮度 值L (nl) (p )提供给分类单元153和分类单元154。因此，不大于噪声 电平的亮度值和不小于饱和等级的亮度值被排除，即，不被输出至后级。 因此，分类单元153和154不计算在有效亮度区域以外的像素。
分类单元153包括比较器161-1至161-k和被提供用于相应的比较器 的寄存器162-1至162-k。比较器161-1至161-k分别将从饱和像素排除 单元152和比较器161-1至161- (k-1)提供的亮度值L ( nl) (p )与对应 的寄存器162-1至162-k的值相比较。
然后，当亮度值L (nl) (p )小于对应的寄存器162-1至162-k的值 时，比较器161-1至161-k将寄存器162-1至162-k的值输出至后级，并 指示寄存器162-1至162-k记录亮度值L( nl)(p )。此外，当亮度值L( nl) (p )大于等于对应的寄存器162-1至162-k的值时，比较器161-1至161-k 仅将亮度值L (nl) (p)输出至后级.
由此，在所提供的L (nl) (p )中，最小值到第k小的值被以升序记录在寄存器162-1至162-k中。在一帧的亮度图像的亮度值L (nl) (p) 被分类之后，分类单元153将记录在寄存器162-k中的值作为暗的亮度侧 的边缘值Ldark (nl)而提供给亮度区域信息存储器112。
注意，在下文中，除非另外区别，将比较器161-1至161-k简称为比 较器161。此外，下文中，除非另外区别，将寄存器162-1至162-k简称 为寄存器162。
分类单元154包括比较器171-1至171-k和与比较器171-1至171-k 相对应的寄存器172-1至172-k。比较器171-1至171-k分别将从饱和像 素排除单元152和比较器171-1至171- (k-1)提供的亮度值L (nl) (p ) 与对应的寄存器172-1至172-k的值相比较。
然后，当亮度值L (nl) (p)大于对应的寄存器172-1至172-k的值 时，比较器171-1至171-k将寄存器172-1至172-k的值输出至后级，并 指示寄存器172-1至172-k记录亮度值L( nl)(p )。此外，当亮度值L( nl) (p)并不小于等于对应的寄存器172-1至172-k的值时，比较器171-1 至171-k仅将亮度值L (nl) (p )输出至后级。
由此，在所提供的L (nl)(p)中，最大值到第k大的值被以降序记 录在寄存器172-1至172-k中。在一帧的亮度图像的亮度值L (nl) (p) 被分类之后，分类单元154将记录在寄存器172-k中的值作为在明亮的亮 度侧的边缘值Lbright (nl)而提供给亮度区域信息存储器112。
注意，在下文中，除非另外区别，将比较器171-1至171-k简称为比 较器171。此外，在下文中，除非另外区别，将寄存器172-1至172-k简 称为寄存器172。
这里，根据作为相应的边缘值而计算的亮度值相对于该亮度值的直方 图面积的百分比来确定比较器161和寄存器162的数量以及比较器171和 寄存器172的数量。
例如，在暗的亮度侧和明亮的亮度侧中的每一侧，当与0.5%相对应 的亮度值要城得作为边缘值时，控制稀疏化单元151的操作，使得被输入到分类单元153和154中的亮度值的最大数量被限制为1200。然后， 包括在分类单元153中的比较器161和寄存器162的对的数量被设置为6, 包括在分类单元154中的比较器171和寄存器172的对的数量被设置为6。
然后，当终止对所有像素的亮度值的输入时，与0.5%的面积比相对 应的亮度值已被记录在寄存器162-k和寄存器172-k (k=6)中，因此， 该亮度值被输出作为暗的亮度侧的边缘值和明亮的亮度侧的边缘值。
图7是示出了块直方图计算单元113的功能的配置示例的图。块直方 图计算单元U3包括块选择单元201和计数器202-1至202-N。
块选择单元201根据从非线性变换单元82提供的处理像素的亮度值 L (Hi) (p)和处理像素的位置p来指定处理像素所属于的亮度块，并使 与亮度块相对应的计数器202-1至202-N中的、与所指定的亮度块相对应 的计数器加1。
这里，假设亮度图像在宽度方向上被划分为W个空间块且在高度方 向上被划分为H个空间块，并且每个空间块被进一步划分为D个亮度块， 即，亮度图像总共被划分为N (=W><HxD)个亮度块。在这种情况下， 块直方图计算单元113包括与N个亮度块相对应的N个计数器202-1至 202-N。然后，当指定该亮度块之一时，块选择单元201使与所指定的块 相对应的该计数器之一的值增加。
计数器202-1至202-N中的每一个都存储对应的一个亮度块的像素的 频率值(即，表示亮度块中包括的像素的数量的值)，并根据由块选择单 元201发出的指令来使所存储的值增加。此外，计数器202-1至202-N在 对一帧的亮度图像中包括的像素进行计数之后将这样存储的值作为块直 方图提供给块直方图存储器114。注意，在下文中，除非另外区别，将计 数器202-1至202-N简称为计数器202。
图8是示出了图5所示的块积分值计算单元115的功能的配置示例的 图。块积分值计算单元115包括块选择单元231和积分器232-1至232-N。
块选择单元231使用从非线性变换单元82提供的处理像素的亮度值L (nl) (p)和处理像素的位置p来指定处理像素所属于的亮度块，并将 亮度值LUl X p败供给与所指定的亮度块相对应的积分器232-1至232-N 之一。
积分器232-1至232-N中的每一个都对从块选择单元231提供的亮度 值L (Hi) (p)进行积分，以获得对应的一个亮度块的块积分值。此外， 积分器232-1至232-N中的每一个都获得在一帧的亮度图像中包括的像素 的像素值的和，并在获得块积分值时将该块积分值提供给块积分值存储器 116。
积分器232-1至232-N分别包括加法器241-1至241-N和寄存器242-1 至242-N。加法器241-1至241-N中的每一个将从块选择单元231提供的 亮度值L (nl) (p )与记录在对应的一个寄存器242-1至242-N中的值相 加，并且作为结果的值被记录在对应的一个寄存器242-1至242-N中。也 就是说，寄存器242-1至242-N中的每一个都记录所提供的亮度值L (nl) (p)的和。
寄存器242-1至242-N记录从对应的加法器241-l至241-N提供的值， 并将所记录的值提供给对应的加法器241-1至241-N和块积分值存储器 116。
注意，在下文中，除非另外区别，将积分器232-1至232-N简称为积 分器232。此外，在下文中，除非另外区别，将加法器241-1至241-N简 称为加法器241，并将寄存器242-1至242-N简称为寄存器242。
图9是示出了图5所示的加权积和单元117的功能的配置示例的图。 加权积和单元117包括内插单元271和272、空间权重函数存储单元273、 积和单元274和275、亮度权重函数存储单元276以及除法器277。
内插单元271针对相对于亮度图像中的与从非线性变换单元82提供 的亮度值L (nl) (p)相对应的像素位置(即，处理像素的位置)的亮度 块的亮度范围的各个中心值而获得内插块积分值作为亮度积分值，并将该 亮度积分值提供给积和单元274。具体地，假设亮度块中像素的可能的亮度值范围的中心值被确定为入，内插单元271将通过在处理像素的空间方 向附近划分4 x 4个空间块而获得的亮度块中的具有中心值入的16个亮度 块的各个块积分值乘以对应的内插系数，并获得已#*以对应的内插系数 的块积分值的和，由此获得针对中心值人的亮度积分值。
换句话说，内插单元271通过使用在处理像素附近的亮度块的块积分 值执行内插处理来获得针对各个中心值入的亮度积分值。由此获得针对各 个中心值A的D个亮度积分值。这里，根据处理像素的位置与处理像素 附近的空间块之间的相对位置来M储在空间权重函数存储单元273中 的空间权重函数查找表中读取与块积分值相乘的内插系数。
内插单元272针对相对于亮度图像中的与从非线性变换单元82提供 的亮度值L (nl) (p)相对应的4象素位置(即，处理像素的位置)的亮度 块的亮度范围的各个中心值而获得内插块直方图作为亮度直方图，并将该 亮度直方图提供给积和单元275。具体地，内插单元272将通过在处理像 素的空间方向附近划分4 x 4个空间块而获得的亮度块中的具有中心值入 的16个亮度块的各个块直方图乘以对应的内插系数，并获得已被乘以对 应的内插系数的块直方图的和，由此获得针对中心值入的亮度直方图。
换句话说，内插单元272通过使用处理像素附近的亮度块的块直方图 执行内插处理来获得针对各个中心值入的亮度直方图。由此获得针对各个 中心值入的D个亮度直方图。这里，^L据处理《象素的位置与处理像素附 近的空间块之间的相对位置，从存储在空间权重函数存储单元273中的空 间权重函数查找表中读取与块直方图相乘的内插系数。
积和单元274使用亮度权重值对从内插单元271提供的D个亮度积 分值执行积和运算，并将通过积和运算获得的亮度积分值提供给除法器 277。也就是说，获得被乘以亮度权重值的亮度积分值的和。这里，与亮 度积分值相乘的亮度权重值是根据从非线性变换单元82提供给积和单元 274的亮度值L (nl) (p)和中心值入而使用存储在亮度权重函数存储单 元276中的亮度权重函数查找表的亮度权重函数来计算的。
积和单元275使用亮度权重值对从内插单元272提供的D个亮度直方图执行积和运算，并将通过积和运算获得的亮度直方图提供给除法器
277。即，获得乘以亮度权重值的亮度直方图的和。这里，与亮度直方图 相乘的亮度权重值是根据从非线性变换单元82提供给积和单元275的亮 度值L (nl) (p )和中心值入而使用存储在亮度权重函数存储单元276中 的亮度权重函数查找表的亮度权重函数来计算的。
除法器277使从积和单元274提供的亮度积和值除以从积和单元275 提供的对应的亮度直方图，以获得处理《象素的全局亮度值L1 Ul) (p)， 并将该全局亮度值Ll (nl) (p )提供给映射单元120。
图10是示出了图5所示的对比度校正单元122的功能的配置示例。 对比度校正单元122包括增益值计算单元301和对比度强调单元302。
增益值计算单元301根据记录在色调曲线存储器119中的色调曲线来 计算作为色调曲线的斜率的代表值的Y-comp^lt。此外，增益值计算单
元301根据从映射单元121提供的亮度值Lc (nl) (p )和Y -comp ^!t 来计算用于对亮度值Lc (nl) (p )执行对比度校正的增益值g (p )，并将 增益值g (p)提供给对比度强调单元302。
对比度强调单元302使用从增益值计算单元301提供的增益值g (p ) 和从映射单元120提供的全局亮度值Lcl (nl) (p )来校正包括从映射单 元121提供的亮度值Lc Ul) (p)的亮度图像的对比度，使得亮度图像 的对比度被强调。对比度强调单元302将通过对比度校正获得的亮度值 Lu (nl) (p )提供给色调校正单元85-1至85-3。
接下来，将参照图11的流程图来描述由DSP16执行的图像处理。注 意，该处理在使用图1所示的数字摄^^L的图像拍摄启动且从A/D变换 器15到DSP16的图傳教据(马赛克图像)流的提供启动之后启动。注意， 提供给DSP16的图^lt据被依次存储在DSP16中包括的内部存储器(未 示出)中。
在步骤S11中，白平衡处理器51读取马赛克图1象。
具体地，白平衡处理器51读M储在DSP16中包括的内部存储器(未示出)中的起始帧的马赛克图像。
在步骤S12中，白平衡处理器51控制所获得的马赛克图像的白平衡， 并将马赛克图像提供给去马赛克处理器52.
在步骤S13中，去马赛克处理器52执行去马赛克处理。具体地，去 马赛克处理器52对从白平衡处理器51提供的马赛克图像执行去马赛克处 理，以生成RGB图像，并将该RGB图像提供给色调校正处理器53。
在步骤S14中，色调校正处理器53执行色调校正处理，并校正从去 马赛克处理器52提供的RGB图像的色调。然后，色调校正处理器53将 已经过色调校正的RGB图傳炎供给伽马校正处理器54。注意，下文将详 细描述色调校正处理。
在步骤S15中，伽马校正处理器54对从色调校正处理器53提供的 RGB图像执行伽马校正，并将该RGB图像提供给YC变换处理器55。
在步骤S16中，YC变换处理器55执行YC变换处理。例如，YC变 换处理器55对从伽马校正处理器54提供的RGB图像执行YC矩阵处理 以;5UM"彩色分量执行频带限制，以根据RGB图像生成Y图像和C图像。 然后，在步骤S17中，YC变换处理器55在适当时将Y图像和C图像输 出至LCD驱动器18或CODEC 20。
在步骤S18中，白平衡处理器51确定是否存在后续帧。例如，当后 续帧的马赛克图H^L存储在DSP 16中包括的内部存储器(未示出)中时， 确定存在后续帧。
在步骤S18中，当确定存在后续帧时，处理返回到步骤Sll,在步骤 Sll中读取要处理的下个帧的马赛克图像。另一方面，当在步骤S18中确 定不存在后续帧时，终止图4象处理。
接下来，将参照图12和图13所示的流程图描述与图11的步骤S14 的^Mt相对应的色调校正处理。
在步骤S41中，加权积和单元117和色调曲线计算单元118读取中间 数据。具体地，加权积和单元117的内插单元271从块积分值存储器U6中读取用作中间数据的块积分值，加权积和单元117的内插单元272从块 直方图存储器114中读取用作中间数据的块直方图。此外，色调曲线计算 单元118从亮度区域信息存储器112中读取用作中间数据的亮度区域信 息。
在步骤S42中，亮度区域信息计算单元111的饱和像素排除单元152 从DSP 16中包括的内部存储器(未示出)中读取noiseLevel (nl)和 saturationLevel (nl )。
在步骤S43中，色调校正处理器53读取来自去马赛克处理器52的 RGB图像的处理〗象素的〗象素值。具体地，非线性变换单元84-1至84-3 分别读取处理l象素的R分量的像素值Rw (p )、 G分量的像素值Gw (p ) 和B分量的像素值Bw (p )。亮度计算单元81读取处理像素的R分量、 G分量和B分量的l象素值。
在步骤S44中，亮度计算单元81根据所读取的像素值来计算处理像 素的亮度值L(p)，并将该亮度值L (p)提供给非线性变换单元82。例 如，亮度计算单元81通过将所读取的R分量、G分量和B分量的像素值 乘以预定系数并获得线性和来获得亮度值，或者获得从R分量、G分量 和B分量的像素值中选择的最大值作为亮度值。
在步骤S45中，非线性变换单元82对从亮度计算单元81提供的亮度 值L (p)执行非线性变换，并将通过该变换获得的亮度值L (nl) (p) 提供给亮度色调校正单元83和色调校正单元85。例如，非线性变换单元 82 4吏用具有向上增加的单调增加特性(例如4吏用小于1的指数的幂特性 或对数特性)的函数来对亮度值L (p)执行非线性变换。
在步骤S46中，亮度色调校正单元83和色调校正单元85读取来自非 线性变换单元82的处理像素的亮度值L (nl) (p )。
在步骤S47中，亮度色调校正单元83的亮度区域信息计算单元111 执行用于计算亮度区域信息的像素处理。注意，下文将详细描述为了计算 亮度区域信息而执行的像素处理，并且在该为了计算亮度区域信息而执行的像素处理中，将迄今已提供的亮度图像的像素的亮度值与从非线性变换
单元82读取的亮度值L (nl) (p )进行比较并执行分类。
在步骤S48中，块直方图计算单元113执行用于计算块直方图的l象素 处理。注意，下文将详细描述为了计算块直方图而执行的l象素处理，并且 在该为了计算块直方图而执行的像素处理中，根据从非线性变换单元82 读取的亮度值L (nl) (p)和处理像素的位置而将处理像素分类到亮度块 中。然后，使与亮度块相对应的块直方图计算单元113的计数器202之一 的值增加。
在步猓S49中，块积分值计算单元115执行用于计算块积分值的像素 处理。注意，下文将详细描述为了计算块积分值而执行的像素处理，并且 在该为了计算块积分值而执行的像素处理中，根据从非线性变换单元82 读取的亮度值L (nl) (p )和处理像素的位置将处理像素分类到亮度块中， 并将该亮度值L (nl) (p)与对应于该亮度块的块积分值相加。
在步骤S50中，加权积和单元117通过全局亮度值计算处理来计算处 理像素的全局亮度值Ll (nl) (p )，并将全局亮度值Ll (nl) (p )提供给 色调曲线计算单元118和映射单元120。注意，下文将详细描述全局亮度 值计算处理。
在步骤S51中，色调曲线计算单元118使用从亮度区域信息存储器 112读取的亮度区域信息和vWa权积和单元117提供的全局亮度值Ll( nl) (p)来获得色调曲线。
例如，色调曲线计算单元118在如图14所示的色调曲线中设置控制 点。注意，图14所示的图表的横坐标轴表示在色调校正之前的输入亮度 的对数值，纵坐标轴表示使用色调曲线CL执行色调校正之后的输出亮度 的对数值。
首先，色调曲线计算单元118设置9个控制点P1至P9。控制点P1 被设置在与以预定最小电平的输入亮度和以预定最小电平Lbase (nl)的 输出亮度相对应的点处。控制点P2被设置在与可表示亮度处于噪声电平的预定噪声电平Lnoise (nl)的输入亮度以及最小电平Lbase (nl)的输 出亮度相对应的点处。控制点P3被设置在与作为噪声电平Lnoise (nl) 的两倍的亮度级的输入亮度和最小电平Lbase (nl)的输出亮度相对应的 点处。
控制点P4被设置在与用作从亮度区域信息存储器112提供的亮度区 域信息的暗的亮度侧的边缘值Ldark (nl)的输入亮度、以及作为基本上 为黑电平的亮度值的亮度值Lankle(nl)的输出亮度相对应的点处。控制 点P5被设置在与作为边缘值Ldark (nl)的两倍的亮度值的输入亮度以 及作为亮度值Lankle(nl)的两倍的亮JL值的输出亮度相对应的点处。控 制点P6被设置在与对应于>^权积和单元117提供的全局亮度值Ll( nl) (p)的输入亮度、以及作为输出亮度的亮度范围的预定中间电平的中间 亮度级Lmid (nl)的输出亮度相对应的点处。也就是说，对控制点P6 进行控制，以使得当使用色调曲线使全局亮度值经受色调校正时，全局亮 度值被改变为色调校正之后的亮度值的可能范围的基本上中间的值。
控制点P7被设置在与具有对应于明亮的亮度侧的边缘值Lbright Ul)的一半的亮度值的输入亮度、以及具有作为基本上为白电平的亮度 值的亮度值Lshoulder (nl)的一半的输出亮度相对应的点处。控制点P8 被设置在与对应于用作从亮度区域信息存储器112提供的亮度区域信息 的边缘值Lbright (nl)的输入亮度、以及具有亮度值Lshoulder (nl)的 输出亮度相对应的点处。控制点P9被设置在与具有预定最大值的输入亮 度和具有预定最大值的输出亮度相对应的点处。
此外，在图14中，将控制点P5连接到控制点P7的线段AL的斜率 表示代表色调曲线CL的斜率的Y-comp #^t>
通过基于控制点PI至P9而经由B-Spline内插获得相对于输入亮度 值的输出亮度值(色调曲线值)来确定用于每个处理像素的色调曲线CL 的形状。
注意，色调曲线CL可以以任何形状被存储在色调曲线存储器119中。 然而，由于对每个像素都更新色调曲线CL的形状，所以优选地以实现小数据量的形式来存储色调曲线CL。例如，适当的是使用数个至多于十个 的控制点来表示色调曲线CL的形状，并且映射单元120和121使用该控 制点来计算色调曲线CL。
色调曲线计算单元118将所设置的控制点Pl至P9的成对的输入亮 度和输出亮度存储在色调曲线存储器119中。因此，在处理针对一帧的亮 度图4象的时段内，实际上每当改变处理像素时仅更新控制点P6的输入亮 度。
注意，由于将控制点P3"i史置为辅助点，所以色调曲线CL可靠地经 过控制点P2或在控制点P2的附近。具体地，当输入亮M本上对应于 噪声电平Lnoise( nL )时，输入亮度经受色调变换以对应于最小电平Lbase (nl)的输出亮度。此外，由于控制点P5^Li殳置为辅助点，所以输入亮 JL^本上对应于边缘值Ldark (nl)，并防止在与其中输出亮JL^本上为 黑电平的Lankle (nl)的亮度值相对应的部分附近(在控制点P4附近) 的色调曲线CL以极端的方式急剧地和緩和地倾斜。此外，由于控制点 P7被设置为辅助点，所以输入亮JL^本上对应于边缘值Lbright (nl), 并且防止在与其中输出亮JL^本上为白电平的Lshoulder (nl)的亮度值 相对应的部分附近(在控制点P8附近)的色调曲线CL以极端的方式急 剧地和緩慢地倾斜。
相应地，色调曲线CL在控制点P6附近的部分处緩和地倾斜，并在 控制点P4和P8附近的部分处具有基本上为1的斜率，即，色调曲线CL 具有逆S状并且单调地增加。具体地，当全局亮度值L1 (nl) (p)高时， 色调曲线CL抑制了具有高亮度值的像素的亮度，而当全局亮度值Ll( nl) (p)低时，色调曲线CL增强了具有低亮度值的像素的亮度。相应地， 使用色调曲线CL的色调压缩和对比度校正的组^f吏得能够压缩图像的 色调，以使图像的暗部分变得明亮而不会产生过度啄光的部分，同时保持 了图《象的细节。
返回参照图12所示的流程图的描述，在步骤S51中获得色调曲线的 形状并将色调曲线的形状(即，控制点的成对的输入亮度和输出亮度)记录在色调曲线存储器U9中之后，处理进行到步骤S52。
在步骤S52中，映射单元120根据记录在色调曲线存储器119中的色 调曲线来校正>^权积和单元117提供的全局亮度值Ll (nl) (p )，并将 该全局亮度值Ll (nl) (p )提供给对比度校正单元122。也就是说，映射 单元120使用存储在色调曲线存储器119中的控制点而通过B-Spline内插 处理来获得色调曲线，并使用获得的色调曲线将全局亮度值L1 (nl) (p) 变换为^^局亮JL值Lcl (nl) (p )，由此校正全局亮度值Ll (Hi) (p )的色 调。
在步骤S53中，映射单元121根据记录在色调曲线存储器119中的色 调曲线来校正所读取的处理像素的亮度值L (nl) (p),并将校正后的亮 度值L (nl) (p )提供给对比度校正单元122。具体地，映射单元121使 用记录在色调曲线存储器119中的控制点而通过B-Spline内插处理来获得 色调曲线，并使用所获得的色调曲线将亮度值L (nl) (p)变换为亮度值 Lc (nl) (p)，由此校正全局亮度值L Ul) (p)的色调。
在步骤S54中，对比度校正单元122执行对比度校正处理，使得使用 色调曲线校正了色调，并校正与其中对比度被劣化的亮度值Lc (nl) (p) 相对应的亮度图像，使得获得与原始图像基本上相同的对比度。对比度校 正单元122将已经过对比度校正的亮度值Lu (nl) (p)提供给色调校正 单元85。注意，下文将详细描述对比度校正处理。
在步骤S55中，非线性变换单元84对所读取的处理像素的〗象素值执 行非线性变换，并将该像素值提供给色调校正单元85。具体地，非线性 变换单元84-1至84-3分别对4象素值Rw (p )、 Gw (p)和Bw (p )执行 与在步骤S45中执行的非线性变换相同的非线性变换。
在步骤S56中，色调校正单元85-1至85-3使用从非线性变换单元82 提供的亮度值L( nl)(p )和从亮度色调校正单元83提供的亮度值Lu( nl) (p)来对从非线性变换单元84提供的像素值执行色调校正。然后，色调 校正单元85将已经过色调校正的像素值提供给非线性逆变换单元86。Lu(nl)(p) …(2:
例如，每个色调校正单元85都将颜色分量的像素值中的对应的一个 像素值乘以亮度值L (nl) (p )与通过色调校正获得的亮度值Lu (nl) (p ) 的比。更具体地，例如，色调校正单元85-l通过执行以下等式(2)而利 用色调校正获得像素值Ru (nl )。
等式(2)
='R(nl)(p)、 一 、L(nl)(p),
在等式(2 )中，将通过非线性变换获得的《象素值R (nl) (p )乘以 色调校正前的亮度值与色调校正后的亮度值的比，即，乘以通过将色调校 正后的亮度值Lu (nl) (p)除以色调校正前的亮度值L (nl) (p)而获 得的值。在色调校正单元85-2和85-3中执行类似于上述等式(2)的计 算，以获得色调校正之后的像素值。
注意，当在非线性变换单元82和84中执行的非线性变换是对数变换 时，可以通过执行等式(3)所示的计算来获得色调校正之后的〗象素值。
等式(3)
Ru(nl)(p) = (R(nl)(p)-L(nl)(p))+Lu(nl)(p) …(3)
在等式(3)中，将色调校正之后的亮度值Lu (nl) (p)和色调校正 之前的亮度值L (nl) (p)之间的差值与4象素值R (nl) (p)相加，使得 获得色调校正之后的像素值Ru (nl) (p)。
在步骤S57中，非线性逆变换单元86-1至86-3对从色调校正单元85 提供的像素值执行非线性逆变换，即，由非线性变换单元84执行的非线 性变换的逆变换。然后，在步骤S58中，非线性逆变换单元86-1至86-3 将通过非线性逆变换获得的像素值Ru (p )、 Gu (p )和Bu (p )输出至 伽马校正处理器54。
在步骤S59中，色调校正处理器53确定是否已处理了在正被处理的 帧的RGB图像中包括的所有像素。当在步骤S59中确定了至少一个像素 尚未被处理(即，至少一个像素尚未被设置为处理〗象素)时，处理返回到步骤S43，并再次执行上述处理。
另一方面，当在步骤S59中确定了已经处理了所有像素时，亮度区域 信息计算单元111 (图5所示)在步骤S60中获得亮度区域信息。具体地， 亮度区域信息计算单元111的分类单元153将记录在寄存器162-k中的作 为用作亮度区域信息的暗的亮度侧的边缘值Ldark (nl)的值提供给记录 亮度区域信息的亮度区域信息存储器U2。此外，分类单元154将记录在 寄存器172-k中的作为用作亮度区域信息的明亮的亮度侧的边缘值 Lbright (nl)的值提供给记录亮度区域信息的亮度区域信息存储器U2。
在步骤S61中，块直方图计算单元113获得块直方图。具体地，块直 方图计算单元113将作为对应的亮度块的块直方图而存储在计数器202-1 至202-N中的值提供给存储直方图的块直方图存储器114。
在步骤S62中，块积分值计算单元115获得块积分值，色调校正处理 终止，并且处理进行至图11的步骤S15。具体地，块积分值计算单元115 将作为块积分值而记录在寄存器242-1至242-N中的亮度值L (nl) (p ) 的和提供给记录该和的块积分值存储器116。
如上所述，在色调校正处理中，根据用于一帧的亮度图像来获得中间 数据。然后，在获得中间数据之后，分别将亮度区域信息、块直方图和块 积分值存储在亮度区域信息存储器112、块直方图存储器114和块积分值 存储器116中。在亮度色调校正单元83中，由于使用已^目对于正被处 理的帧在时间上在后的帧获得的中间数据来计算处理像素的全局亮度值 和色调曲线(执行边缘保持平滑处理)，所以即使正被处理的图像是运动 图像，也可以使用小的工作存储器来执行采用大的算子尺寸的边缘保持平 滑处理，而无需对图《象的所有^f象素的二次扫描。
接下来将参照图15至图17的流程图来描述图12的步骤S47至步骤 S49的操作。
首先将参照图15的流程图来描述与图12的步骤S47相对应的为了计 算亮度区域信息而执行的像素处理。
39在步骤S91中，亮度区域信息计算单元111的稀疏化单元151从非线 性变换单元82读取处理〗象素的亮^L值L (nl) (p )。
在步骤S92中，稀疏化单元151确定具有所读取的亮度值L(nl)(p) 的处理像素的像素位置是否对应于具有预定间隔的采样位置之一。当在步 骤S92中确定像素位置并不对应于该采样倬置之一时，不将所读取的亮度 值L (nl) (p )输出至饱和《象素排除单元152，并且处理进行到图12的步 骤S48。
另一方面，当在步骤S92中确定了像素位置对应于该采样位置之一 时，将所读取的亮度值L Ul) (p)输出至饱和像素排除单元152，并且 处理进行到步骤S93。在步骤S93中，饱和像素排除单元152确定从稀疏 化单元151提供的亮度值是否大于等于noiseLevel ( nl)且小于等于 saturationLevel (nl)。
当在步骤S93中确定了从稀疏化单元151提供的亮度值不大于等于 noiseLevel (nl)或者不小于等于saturationLevel (nl)时,不将亮度值L (nl) (p )从饱和像素排除单元152输出，并且处理进行到图12的步骤 S48。
另一方面，当在步骤S93中确定了从稀疏化单元151提供的亮度值大 于等于noiseLevel (nl)且小于等于saturationLevel (nl)(即，亮度值在 有效亮度区域内)时，将亮度值L (nl) (p )从饱和像素排除单元152输 出至分类单元153和154，并且处理进行到步骤S94。
在步骤S94中，分类单元153执行暗的亮度侧的分类。具体地，分类 单元153的比较器161-1将记录在寄存器162-1中的值与从饱和像素排除 单元152提供的亮度值L (nl) (p)相比较。当亮度值L (nl) (p)小于 寄存器162-1的值时，比较器161-1将记录在寄存器162-1中的值提供给 后级中的比较器161-2，并且亮度值L (nl) (p)被记棘寄存器162-1 中。另一方面，当亮度值L (nl) (p)大于等于寄存器162-1中的值时， 比较器161-1仅将亮度值L (nl) (p)输出至后级中的比较器161-2。在 后级中的比较器161-2至161-k中执行相同的处理。结果，在处于该帧中的采样位置处的像素的亮度值L (nl)(p)中，最终以升序将最小的亮度 值L (nl) (p )到第k小的亮度值L (nl) (p )分别记录在寄存器162-1 至162-k中。
在步骤S95中，分类单元154执行明亮的亮度侧的分类，并且处理进 行到图12的步骤S48。具体地，比较器171-1将记录在寄存器172-1中的 值与从饱和像素排除单元152提供的亮度值L Ul) (p )湘比较。当亮度 值L (nl) (p )大于寄存器172-1的值时，比较器171-1将记M寄存器 172-1中的值提供给后级中的比较器171-2，并将亮度值L Ul) (p)记录 在寄存器172-1中。另一方面，当亮度值L(nl)(p)小于等于寄存器172-1 的值时，比较器171-1仅将亮度值L( nl X p瑜出至后级中的比较器171-2。 在后级中的比较器171-2至171-k中执行相同的处理。结果，在处于该帧 中的采样位置处的像素的亮度值L (iil)(p)中，最终以降序将最小的亮 度值L (nl) (p )到第k小的亮度值L (nl) (p )分别记录在寄存器172-1 至172-k中。
如上文所述，通过每当读取处理像素的亮度值时就执行暗的亮度侧的 分类和明亮的亮度侧的分类，获得了用作亮度区域信息的边缘值。
接下来将参照图16的流程图来描述与图12的步骤S48中的操作相对 应的、为了计算块直方图而执行的像素处理。
在步骤S121中，块直方图计算单元113的块选择单元201从非线性 变换单元82读取处理像素的亮度值L (nl) (p )。
在步骤S122中，块选择单元201根据所读取的亮度值L (nl) (p ) 和具有亮度值L (nl) (p)的处理像素的位置来指定处理像素所属于的亮 度块。然后，在步骤S123中，块选择单元201指示与所指定的亮度块相 对应的计数器202-1至202-N之一使存储在其中的值增加。计数器202根 据由块选择单元201发出的指令而使所存储的值加1，并且处理进行到图 12的步骤S49。
如上文所述，每当读取处理像素的亮度值时，处理像素就被分类到亮度块之一 中，并且与处理像素已被分类到其中的分类的亮度块相对应的计
数器202之一的值被加1。由此获得在每个亮度块中包括的像素数量，并 且确定该像素数量为每个亮度块的块直方图。
接下来将参照图17的流程图来描述与图12的步骤S49的操作相对应 的为了计算块积分值而执行的像素处理。
在步骤S151中，块积分值计算单元115的块选择单元231从非线性 变换单元82读取处理〗象素的亮度值L (nl) (p )。
在步骤S152中，块选择单元231才艮据所读取的亮度值L (nl) (p) 和具有亮度值L (nl) (p)的处理像素的位置来指定处理像素所属于的亮 度块。然后，在步骤S153中，块选择单元231将亮度值L (nl) (p)提 供给与所指定的亮度块相对应的积分器232-1至232-N之一，并将处理傳_ 素的亮度值L (nl) (p)与所记录的亮度值的积分值相加。
从块选择单元231向其提供处理〗象素的亮度值L (nl) (p )的积分器 232之一的加法器241将从块选择单元231提供的亮度值L (nl) (p )与 记录在对应的一个寄存器242中的积分值相加，作为结果的值被记录在寄 存器242中。然后，寄存器242更新记录在其中的积分值，然后处理进行 到图12的步骤S50。
如上文所述，每当读取处理像素的亮度值时，处理像素就被分类到亮 度块之一中，并且将处理4象素的亮度值与和该处理像素被分类到其中的亮 度块相对应的寄存器242之一的值相加。由此针对各个亮度块而获得在每 个亮度块中包括的像素的亮度值的和，并将该和确定为块积分值。
接下来将参照图18的流程图来描述与图12的步骤S50的操作相对应 的全局亮度值计算处理。
在步骤S181中，加权积和单元117的内插单元271和272以及积和 单元274和275从非线性变换单元82读取处理像素的亮度值L( nl)(p )。
在步骤S182中，内插单元271使用在具有所读取的亮度值L( nl)(p ) 的处理像素附近的空间块中包括的亮度块的块积分值来执行内插处理，以获得在处理像素的位置处的每个中心值入的亮度积分值。
也就是说，假设在空间方向上在处理像素附近的16个空间块(4x4个块)(包括有包括处理像素的空间块)的每一个被确定为空间块BIQj(其中，l<i<4， l<j<4),则内插单元271读取用于每个空间块BKy的内插系数Bi5J。例如，在空间权重函数存储单元273中存储包括三阶B-spline函数的函数值的查找表。内插单元271从查找表中读g据处理像素的位置与空间块BKw的位置之间的相对位置而确定的函数值，并将所读取的函数值确定为空间块BKij的内插系数Bij。注意，例如，内插单元271可通过使用三阶B-spline函数的计算来直接计算内插系数By。
然后，内插单元271确定从空间块之一获得的D个亮度块的亮度范围的中心值为Al至A D，并将空间块BKg中包括的D个亮度块中的具有中心值入h(其中Kh《D)的亮度块确定为亮度块LBKy，h。然后，内插单元271从块积分值存储器116中读取每个亮度块LBK^的块积分值S(i， j，入h)。注意，在下文中，除非为了区别，将中心值入1至入D简称为中心值入。
此外，内插单元271针对每个中心值入计算所读取的内插系数By与对应的块积分值S (i, j，入)的积的总和，并将作为结果的值确定为针对每个中心值入的亮度积分值Sinterpolated (入)。也就是说，内插单元271通过计算以下的等式(4)来获得针对每个中心值入的亮度积分值Sinterpolated 。
等式(4)
Sinterpolated(;i) = I！ Bij.S(i, j， ；i) .'. (4)
i, j '
这里，在等式(4)中，E表示在变量i和j从l变为4时获得乘以内插系数By的块积分值S (i， j，入)的和。因此，通过以下方式来计算亮度积分值Sinterpolated (人)使从16个空间块BKij获得的亮度块中的具有中心值入的16个亮度块的块积分值S (i， j,入)乘以包括该亮度块的空间块BKi j的内插系数Bj j，并获得根据用于使已乘以校正系数的16个积分值Bg乘以S (i， j，人)的^Mt而获得的值的总和。
以这种方式，获得D个亮度积分值Sinterpolated (入)。这些亮度积分值是在处理像素的位置处的内插块积分值，并且是针对各个亮度块的亮度(中心值入)而获得的。在获得亮度积分值之后，将所获得的亮度积分值提供给积和单元274。
在步骤S183中，内插单元272使用在具有所读取的亮度值L( nl X p )的处理像素附近的空间块中包括的亮度块的块直方图来执行内插处理，以获得针对在处理像素的位置处的各个中心值入的亮度直方图。
也就是说，类似于步骤S182的操作，内插单元272从存储在空间权重函数存储单元273中的查找表中读取根据处理像素的位置与空间块BKy的位置之间的相对位置而确定的函数值，并将所读取的函数值确定为空间块BKy的内插系数By 。
然后，内插单元272从块直方图存储器114中读取每个亮度块LBKg，h的块直方图H (i， j，入)。此外，对于每个中心值入，内插单元272计算所读取的内插系数Bij与对应的块直方图H (i， j，入)的积的总和，并将作为结果的值确定为针对中心值入的亮度直方图Hinterpolated(入)。也就是说，内插单元272通过计算以下的等式(5)来获得针对每个中心值入的亮度直方图Hinterpolated。
等式(5)
Hinterpolated") = ￡ Bj」.H( i, j, A) ' . . (5)
i, j '
这里，等式(5)的右手侧是通过将在等式(4)的右手侧的块积分值S (i， j，入)替换为块直方图H (i, j,入)来获得的。
以这种方式获得D个亮度直方图Hinterpolated (入)。这些亮度直方图表示其中具有与亮度块相对应的亮度(中心值入)的处理像素的位置被内插的块直方图。在获得该亮度直方图之后，内插单元272将所获得的亮度直方图提供给积和单元275。
在步骤S184中，积和单元274使用亮度权重值对从内插单元271提供的D个亮度积分值执行积和运算，并将通过积和运算而获得的亮度积分值提供给除法器277。
也就是说，积和单元274从存储在亮度权重函数存储单元276中的亮度权重函数查找表中读取亮度权重函数。然后，积和单元274使用所读取的亮度权重函数，从非线性变换单元82提供的L (nl) (p)以及中心值入来获得针对各个中心值入的亮度权重值(J)(入，L (nl) (p))。
例如，在存储在亮度权重函数存储单元276中的亮度权重函数查找表中，存储图19所示的形式的亮度权重函数。注意，在图19中，纵坐标轴表示亮度权重函数的值(即，亮度权重值4)(入，L(nl)(p)))，横坐标轴表示中心值入。
图19所示的亮度权重函数具有单峰形状，并具有随着与在处理l象素的位置处内插的亮度积分值(和亮度直方图)相对应的亮度块的亮度级(即，中心值人)与处理像素的亮度值L (nl) (p)之间的差值越小而越大的值。
当使用这种具有单峰形状的亮度权重函数时，例如，作为对参照存储在亮度权重函数存储单元276中的亮度权重函数查找表的替代，积和单元274可通过计算以下的等式(6)来获得针对各个中心值入的亮度权重值d)(入，L (nl) (p))。
等式(6)
a , ， ■ , i、, 、、f U -L(nl) (p))2) ,p、
0 U， L(nl) (p)) = exp--^-^- ... (6)
L 2-crth2 J
这里，在等式(6)中，C7th表示确定亮度权重函数的边缘的扩大程
度且被预先确定的常数。积和单元274将亮度值L (nl) (p )和中心值入代入等式(6)的右手侧，使得获得针对各个中心值入的亮度权重值d)(入，L (nl) (p))。
在等式(6)所示的亮度权重函数中，随着中心值入(亮度块)越接 像素的亮度值L (nl) (p)而分配越大的权重值，而随着中心值入(亮度块)越远离处理像素的亮度值L (nl) (p )而分配越小的权重值。
在获得了针对各个中心值入的亮度权重值d) U， LUl)(p))之后，对于各个中心值A ，积和单元274将亮度积分值Sinterpolated (入)乘以中心值入的亮度权重值4)(入，LUl)(p)),并获得乘以亮度权重值的亮度积分值的和。也就是说，获得乘以各个中心值入的亮度权重值的亮度积分值Sinterpolated (人)的加权和。
该加权和是乘以以下两者的从在处理像素的位置附近的16个空间块获得的所有亮度块的块积分值的总和根据处理像素的位置与包括该亮度块的空间块的位置之间的相对位置而确定的内插系数，以及通过亮度块(的中心值入)和亮度方向上的亮度值L (nl) (p)之间的距离而确定的亮度权重值。
在步骤S185中，积和单元275使用亮度权重值对从内插单元272提供的D个亮度直方图执行积和运算，并将已经过积和运算的亮度直方图提供给除法器277。
也就是说，积和单元275 M储在亮度权重函数存储单元276中的亮度权重函数查找表中读取亮度权重函数，并例如使用所读取的亮度权重函数、从非线性变换单元82提供的亮度值L Ul) (p)和中心值入而通过计算等式(6)来获得针对各个中心值入的亮度权重值(J)(入，L (Hi)(p ))。
此外，积和单元275将亮度直方图Hinterpolated (入)乘以针对各个中心值入的亮度权重值cj)(入，L (nl) (p))，并获得乘以亮度权重值的亮度直方图的和。也就是说，获得使用各个中心值A的亮度权重值的亮度直方图Hinterpolated (入)的加权和。
该加权和是乘以以下两者的从在处理像素的位置附近的16个空间块获得的所有亮度块的块直方图的总和才艮据处理像素的位置与包括该亮度块的空间块的位置之间的相对位置而确定的内插系数，以及根据亮度块(的中心值入)与亮度方向上的亮度值L (nl) (p)之间的距离而确定的亮度权重值。
46在步骤S186中，除法器277将从积和单元274提供的亮度积分值除 以从积和单元275提供的亮度直方图，以获得全局亮度值Ll Ul) (p )。 也就是说，除法器277通过计算以下等式(7)来计算全局亮度值Ll (nl) (p)。
等式(7)
ZSinterpolatedU)'0 U丄(nl)(p))
nP 一 ZmnterpolatedU).0 U，L(nl)(p))
A ….(7)
这里，在等式(7)中，ZSinterpolated (入)'(|)(入，L (nl) (p))表 示从积和单元274提供的通过积和运算获得的亮度积分值，并且 Zfflnterpolated (人).小(、L (nl) (p ))表示从积和单元275提供的通过 积和运算获得的亮度直方图。
因此，将通过4吏用内插系数和亮度权重值对块积分值执行加;M目加而 获得的加权和除以通过内插系数和亮度权重值对块直方图执行加权相加 而获得的加权和，由此获得与全局亮度值Ll (nl) (p)相对应的块积分值 的加权平均。
在步骤S187中，除法器277将所获得的全局亮度值Ll (nl) (p )输 出至色调曲线计算单元118和映射单元120。在输出全局亮度值Ll (nl) (p)之后，全局亮度值计算处理终止，此后，处理进行到图12的步骤 S51。
以这种方式，加权积和单元117使用从在处理像素附近的空间块中包 括的亮度块中获得的块积分值和块直方图来获得全局亮度值。
对于每个空间块，具有类似的亮度值的像素属于相同亮度块，并且通 过对亮度块中包括的像素的亮度值求积分来获得块积分值。此夕卜，块直方 图表示每个亮度块中包括的像素数量。相应地，通it^表示亮度块的特性 的特性值(即，亮度块的块积分值)执行积和运算并同时对具有与处理像 素的亮度值相类似的亮度级的亮度块进行加权,获得与处理像素的亮度值相类似的像素的亮度值的积分结果。
结果，例如，即使当大区域(例如在处理像素附近的16个空间块) 中包括的像素的亮度值被积分时，来自与处理〗象素所属于的目标(使用处 理像素显示的目标)不相同的、具有与处理像素的亮度不相同的亮度的目 标的像素的影响也是可以忽略，相应地，可计算表示处理像素所属于的目 标的平均亮度值的全局亮度值。
接下来将参照图20的流程图来描述与图12的步骤S54相对应的对比 度校正处理。
在步骤S211中，对比度校正单元122读取通过色调校正获得的处理 像素的亮度值以及全局亮度值。具体地，对比度校正单元122的增益值计 算单元301从映射单元121中读取通过使用色调曲线的色调校正而获得的 亮度值Lc (nl) (p )。此外，对比度强调单元302从映射单元121读取亮 度值Lc (nl) (p )，并从映射单元120读取通过使用色调曲线的色调校正 而获得的全局亮度值Lcl (nl) (p)。
在步骤S212中，增益值计算单元301获得Y -comp参数。例如，增 益值计算单元301从色调曲线存储器110读取在控制点P5和P7处的输 入亮度和输出亮度，以获得与图14所示的在控制点P6附近的色调曲线 CL的斜率相类似的值。然后，增益值计算单元301使用所读取的输入亮 度和所读取的输出亮度来获得连接控制点P5和P7的线段AL的斜率作为 Y -comp >^t。
在步骤S213中，增益值计算单元301使用所读取的亮度值Lcl (nl) (p)和所获得的Y-comp ^来计算增益值g (p)。例如，增益值计算 单元301根据亮度值Lcl (nl) (p )和Y -comp ^!t而通过计算以下的等 式(8)和(9)来获得增益值g (p)。
等式(8)k(p)= 「1
Lc(nl)(p)-Lmid(nl) Lmax(nl) -Lmid (nl)
Lc(nl)(p)—Lmid(nl)
1
if Lc(nl) (p)>Lmax(nl)
if Lmax(nl)SLc(nl)(p)^Lmid(nl)
if Lmin(nl)sLc(nl)(p)<Lmid(nl) if Lc(nl)(pXLmin(nl)
…(8)
g(P)=
等式(9)
'Gontr3stG3in
、
■1
(1一k(p)) …(9)
注意，在等式(8)中，Lmin (nl)和Lmax (nl)分别表示亮度值 Lc (nl) (p)的可能范围内的最小值和最大值，Lmin (nl)表示图14所 示的中间亮度级Lmin (nl)。此外，在等式(9)中，contrastGain表示 预定的常数。
在获得增益值g (p )之后，增益值计算单元301将所获得的增益值g (p)提供给对比度强调单元302。
这里，图21示出了说明亮度值Lcl (nl) (p)与增益值g (p)之间 的关系的图。也就是说，在该图中，纵坐标轴表示增益值g (p )，而横坐 标轴表示亮度值Lc (nl) (p)。
在图21中，当亮度值Lc (nl) (p)对应于中间亮度级Lmin (nl) 时，获得最大增益值g(p)，并且该值对应于通过预定常数contrastGain 和y -comp ^^t而确定的值((contrastGain/ y -comp ) -1 )。此外,随着亮 度值Lc (nl) (p )从中间亮度级Lmin (nl)接近于最小值Lmin (nl)或 最大值Lmax (nl )，增益值g (p )线性地减小。
此外，在其中亮度值Lc (nl) (p)小于最小值Lmin (nl)的范围和 其中亮度值Lc(nl)(p)大于最大值Lmax(nl)的范围内，增益值g(p) 为0。因此，当与最小值Lmin (nl)或最大值Lmax (nl)附近的亮度分
49量的对比度相比较时，强调了在中间亮度级附近的亮度分量的对比度。更
准确地，随着亮度分量位于越接近于中间亮度级Lmid(nl)，其对比度越 被强调，并且在最小值Lmin (nl)或最大值Lmax (nl)附近的亮度分量 的对比度几乎不被强调。
当与原始图像(具有亮度值LUl)(p)的图像)相比较时，其中其 亮度值的色调被使用色调曲线而校正(压缩)了的图像(具有亮度值Lc
(nl) (p)的图像)具有抑制的(压缩的)对比度。此外，对对比度的抑 制程度取决于色调曲线的斜率，并且抑制程度随着色调曲线斜率的緩和而 变大。因此，当根据相对于色调曲线的斜率的倒数进行校正以强调其色调 已被抑制的图像的对比度时，可以获得与其色调尚未被抑制的原始图像的 对比度相类4以的对比度。然而，在对在noiseLevel (nl)或saturationLevel
(nl)附近的具有亮度值Lc (nl) (p)的像素执行类似的校正的情况下， 发生作为在校正之后获得的亮度值变得小于noiseLevel ( nl)或大于 saturationLevel (nl)的现象的限幅，因此，可能相反地损失图像细节。
因此，增益值计算单元301计算表示在中间亮度级Lmid (nl)附近 的色调曲线的斜率的Y -comp ^，并确定增益值g (p )，使得增益值g (p )从基准值开始随着亮度值Lc (nl) (p )变得越接近于noiseLevel (nl) (最小值Lmin (nl))或saturationLevel (nl)(最大值Lmax (nl))而 越衰减。
返回参照图20的流程图，在步骤S214中，对比度强调单元302使用 所读取的亮JL值Lc (nl) (p)、全局亮度值Ld Ul) (p)和已从增益值 计算单元301提供的增益值g (p)来计算通过对比度校正获得的亮度值 Lu (nl) (p)。
例如，对比度强调单元302通过计算通过使用色调曲线的色调校正而 获得的亮度值Lc (nl) (p)与全局亮度值Lcl (nl) (p)之间的差来获得 具有亮度值Lc (nl) (p)的亮度图像的对比度分量值。此外，对比度强 调单元302使通过将对比度分量M大增益值g (p)而获得的值与通过 色调校正获得的亮度值Lc (nl) (p )相加，以对亮度值Lc (nl) (p )执行对比度校正。由此获得对比度校正之后的亮度值Lu (nl) (p )。
更具体地，对比度强调单元302通过使用亮度值Lc (nl) (p )、全局 亮度值Lcl (nl) (p )和增益值g (p )执行以下的等式(10 )来计算通过 对比度校正获得的亮度值Lu (nl) (p )。
等式(10)
Lu(nl)(p)
=(g(p)+1)"LG(nl)(p)-Lcl (nl)(p))+Lcl (nl)(p) =g(p).(Lc(nl)(p)—Lcl(nl)(p))+Lc(nl)(p) …(10)
注意，在等式(10)中，通it^具有亮度值Lc (nl) (p)的亮度图 像中减去由具有亮度值Lc (Hi) (p)的亮度图像的低频分量构成的全局 亮度图像来获得具有亮度值(Lc Ul) (p) - Lcl Ul) (p))的亮度图像 (对比度分量值)。因此，具有亮度值Lu (iil)(p)的亮度图像是其中具 有亮度值Lc (Hi) (p)的亮度图像中的除了低频区域之外的频率分量被 通过增益值g (p)而强调的图像。
在步骤S215中，对比度强调单元302将通过对比度校正获得的亮度 值Lu (nl) (p)输出至图4所示的色调校正单元85。对比度校正处理终 止，并且处理进行到图13的步骤S55。
以这种方式，除了具有亮度值Lc (nl) (p)的亮度图像的低频范围 之夕卜，对比度校正单元122强调从低中频的范围到高频范围的分量的对比 度。相应地，不会产生当只强调高频范围的分量的对比度时将在边缘部分 处局部地产生的局部过调，并且可以获得其对比度被自然地强调的图像。
此外，由于执行校正以使随着亮度分量的亮度级越接近于中间亮度级 Lmid (nl)其对比度越被强调，并且在最小值Lmin (nl)或最大值Lmax (nl)附近的亮度分量几乎不经过对比度校正，因此，图像的过度啄光部 分和膝光不足的部分的产生是可忽略的。 如上所述，色调校正处理器53通过在亮度方向上对通过在空间方向 上划分亮度图像而获得的空间块进行划分来获得亮度块，并且针对每个亮度块而获得在感兴趣的亮度块中包括的像素的频率值和表示亮度块的特 性的特性值。然后，使用该频率值和该特性值，根据由处理像素与亮度块 之间在空间方向和亮度方向上的距离所限定的权重(内插系数和亮度权重 值)来使各个亮度块的特性值经过加权平均，由此实现边缘保持平滑。
例如，这些特性值对应于各个亮度块的块积分值，并且通过以下的等 式(11 )来表示对块积分值的加权平均(加权相加)的计算。
等式(11 )
Z w(i，j，p)-0U，I(P)).S(i， j， A)
I(P)' = ^- . . . (11)
Z w(i， j,p).0U,I(p))-H(i， j, A)
i,
在等式(11)中，I (p)表示在像素位置p处的处理像素的像素值， 以及I (p)'表示已经过边缘保持平滑处理的处理像素的像素值。此外，
S (i， j，入)和H (i， j，入)表示块积分值和块直方图。此外，co (i， j， p)表示由处理像素的位置p与空间块BKij之间的相对位置限定的函 数，d)(入，I(p))表示由中心值入和像素值I(p)限定的亮度权重值。
等式(11)的计算被配置为使得以阶梯形状沿着块(空间块或亮度块) 的分界来离散化双边滤波器的空间方向上的权重函数co和亮度方向上的 权重函数d)，因此获得了边缘保持平滑的效果。
此外，即使考虑到用于计算块直方图和块积分值所需的成本，用于亮 度块的加权积和的运算量也小于针对每个像素的运算量。因此，以较少的 运算量执行边缘保持平滑处理。此外，作为结果，可以减小边缘保持平滑 处理中的存储器消耗。边缘保持平滑的算子大小越大，该效果就越大。
注意，例如，这里的算子大小表示包括由内插单元271和272执行的 内插处理中在处理像素附近的要处理的空间块的亮度图像中的区域的大 小。
此外，如果通过其中大区域被通过亮度色调校正单元83而进行整体
处理的边缘保持平滑处理来处理输入亮度图像的亮度值，则获得与通itxt每个目标区域求平均而获得的亮度值相类似的亮度值。该亮度值被确定为
全局亮度值L1 Ul) (p)，即，表示与每个《象素的全局亮JL相关的信息的
值，并且通过色调曲线计算单元118来确定每个像素的色调曲线的形状， 使得该值变为平均(中间)亮度值。通过使用针对各个像素位置而确定的 色调曲线来校正像素位置的亮度，实现了为了获取图像中的所有区域中的 适当的明亮度而执行的色调校正。
此外，通过从其中其色调被压缩的处理像素的亮度值Lc Ul) (p) 中减去通it^缩色调而获得的全局亮度值Lcl (nl) (p ),可以提取各个像 素位置的对比度分量。然后，可以根据可使用色调曲线形状获得的对比度 的劣化程度而使用用作内插系数的增益值g (p)来校正对比度分量。
接下来将描述与上述的本发明实施例不相同的另 一实施例。
图22是示出了亮度色调校正单元83的另一配置示例的图。注意，在 图22中，用与图5所示的附图标^^目同的附图标记来表示与图5中的部 件相对应的部件，并在适当时省略对其的描述。
除了图5所示的亮度色调校正单元83的部件之外，图22所示的亮度 色调校正单元83还包括巻积函数存储单元401、巻积单元402、平滑块直 方图存储器403、巻积单元404、平滑块积分值存储器405和加权积和单 元406。注意，图22的亮度色调校正单元83不包括加权积和单元117， 而是包括作为对加权积和单元117的替代的加权积和单元406。
巻积函数存储单元401存储亮度权重函数查找表，并且该亮度权重函 数查找表与存储在例如图9所示的亮度权重函数存储单元276中的亮度权 重函数查找W目同。
巻积单元402执行用于使存储在巻积函数存储单元401中的亮度权重 函数与存储在块直方图存储器114中的块直方图相巻积的操作，以获得平 滑块直方图。由于平滑块直方图是通过对亮度权重函数进行巻积而获得 的，所以块直方图已经过亮度方向上的平滑处理。巻积单元402将所计算 的平滑块直方图提供给平滑块直方图存储器403。平滑块直方图存储器403临时存储该平滑块直方图。
巻积单元404执行用于使存储在巻积函数存储单元401中的亮泉权重 函数查找表的亮度权重函数与存储在块积分值存储器116中的块积分值 相巻积的操作，以获得平滑块积分值。由于平滑块积分值是通过对亮度权 重函数进行巻积而获得的，所以块积分值已经过亮度方向上的平滑处理。 巻积单元404将所计算的平滑块积分值提供给平滑块积分值存储器405。 平滑块积分值存储器405临时存储该平滑块积分值。
注意，在图22所示的亮度色调校正单元83中，亮度区域信息、平滑 块直方图和平滑块积分值用作中间数据。因此，在与一帧亮度图像(RGB 图像)相对应的时段内，亮度区域信息、平滑块直方图和平滑块积分值分 别被存储在亮度区域信息存储器112、平滑块直方图存储器403和平滑块 积分值存储器405中。
加权积和单元406使用从平滑块直方图存储器403提供的平滑块直方 图和从平滑块积分值存储器405提供的平滑块积分值来计算全局亮度值 Ll (nl) (p )。加权积和单元406将所计算的全局亮度值Ll (nl) (p )提 供给色调曲线计算单元118和映射单元120。
根据图22所示的亮度色调校正单元83的配置，通过将用于计算针对 处理像素的各个像素位置的全局亮度值的操作的部分包括到用于计算与 亮度图像的全部帧相关的信息的处理中，可以减少针对每个像素的运算 量。
图23是示出了图22所示的加权积和单元406的配置示例的图。注意， 在图23中，用与图9所示的附图标记相同的附图标记来表示与图9的部 件相对应的部件，并在适当时省略对其的描述。
在图23中，加权积和单元406包括内插单元271和272、空间权重 函数存储单元273以及除法器277。也就是说，图23所示的加权积和单 元406与图9所示的加权积和单元117的不同之处在于，加权积和单元 406不包括积和单元274至亮度权重函数存储单元276。内插单元271使用从空间权重函数存储单元273读取的内插系数和记 录在平滑块积分值存储器405中的平滑块积分值来获得针对亮度图像中 的具有从非线性变换单元82提供的亮度值L (nl) (p)的处理像素的位 置的亮度积分值，并将该亮度积分值提供给除法器277。
内插单元272使用从空间权重函数存储单元273读取的内插系数和记 录在平滑块直方图存储器403中的平滑块直方图来获得针对亮度图4象中 的具有从非线性变换单元82提供的亮度值L (nl) (p)的处理像素的位 置的亮度直方图，并将该亮度直方图提供给除法器277。
除法器277将从内插单元271提供的亮度积分值除以从内插单元272 提供的亮度直方图，以获得处理像素的全局亮度值Ll (nl) (p )，并将该 全局亮度值Ll (nl) (p )提供给色调曲线计算单元118和映射单元120。
接下来，参照图24和25的流程图，将描述在如图22所示地配置亮 度色调校正单元83的情况下的色调校正处理。注意，该色调校正处理对 应于图11的步骤S14的操作。
在步猓S311中，加权积和单元406和色调曲线计算单元118读取中 间数据。具体地，加权积和单元406的内插单元271从平滑块积分值存储 器405读取用作中间数据的平滑块积分值，并且加权积和单元406的内插 单元272从平滑块直方图存储器403读取用作中间数据的平滑块直方图。 此外，色调曲线计算单元118从亮度区域信息存储器112中读取用作中间 数据的亮度区域信息。
此后，执行步骤S312至S319中的操作。这些操作与步骤S42至S49 中的操作相同，因此省略对其的描述。
在步骤S320中，加权积和单元406通过全局亮度值计算处理来计算 处理像素的全局亮度值Ll (nl) (p )，并将该全局亮度值Ll Ul) (p )提 供给色调曲线计算单元118和映射单元120。注意，尽管以下将详细描述 全局亮度值计算处理，但是平滑块直方图和平滑块积分值被用于计算全局 亮度值L1 (nl) (p)。在获得全局亮度值Ll (nl) (p)之后，执行步骤S321至步骤S332 中的操作。但这些操作与步骤S51至步骤S62中的操作相同，因此省略对 其的描述。
在步骤S333中，巻积单元402计算平滑块直方图，并将该平滑块直 方图提供给平滑块直方图存储器403，使得平滑块直方图存储器403存储 该平滑块直方图。
具体地，巻积单元402从块直方图存储器114中获得块直方图H (i， j，入)，并从存储在巻积函数存储单元401中的亮度权重函数查找表中读 取亮度权重函数d)(入，v)。这里，包括在亮度权重函数d)(入，v)中 的变量入和v分别表示亮度块的中心值和与亮度块的中心值相对应的亮 度值。
然后，巻积单元402通过以下方式来计算针对各个亮度块LBKy，v的 平滑块直方图Hconvolved (i， j，入)使用通过划分空间块BK^获得的 D个亮度块的块直方图H (i， j，入)和亮度权重函数d)(入，v)来计算 等式(12 )。
等式(12)
Hconvolved(i, j, !/) = HH(i, j, A). 0(A, iO ... (12)
在等式(12)中，乘以亮度权重函数4)(入，v)的D个亮度块的D 个块直方图H (i， j，入)的和对应于平滑块直方图Hconvolved (i， j， 入)。
这里，亮度块LBKij，v对应于亮度块LBKij,h。亮度值v是平滑块直方 图的亮度块LBKij，v的中心值。具体地，针对通过在亮度方向上划分空间 块而获得的预定数量的亮度块LBK^而获得平滑块直方图。此外，亮度 权重函数(j)(入，v)具有诸如中心值入和亮度值v之类的变量，并与例 如参照图19描述的亮度权重函数相同。
由此获得的各个亮度块LBK^的平滑块直方图Hconvolved (i， j,在步骤S334中，巻积单元404计算平滑块积分值，并将该平滑块积 分值提供给平滑块积分值存储器405以进行存储。具体地，巻积单元404从块积分值存储器116获得块积分值S (i， j, 入)，并M储在巻积函数存储单元401中的亮度权重函数查找表中读取 亮度权重函数(J)(入，v)。然后，巻积单元404使用通过划分每个空间块BKw获得的D个亮度 块的块积分值S (i， j，人)和亮度权重函数cj)(人，v) i(Ui:算以下的等 式(13 )，并计算针对各个亮度块LBKy，v的平滑块积分值Sconvolved (i， j，入)。等式(13 )Sconvolved(i, j, j/) = Z S(i, j,又).0(A， ！/) (13)义也就是说，在等式(13)中，乘以亮度权重函数d)(入，v)的D个 亮度块的块积分值S (i， j， v)的和对应于平滑块积分值Sconvolved (i， j，"。由此获得的针对各个亮度块LBKij，v的平滑块积分值Sconvolved (i， j, v)被提供给平滑块积分值存储器405以被存储。然后，色调校正处理终止，并且处理进行到图11的步骤Sl5。如上所述，在色调校正处理中，根据用于一帧的亮度图像获得中间数 据。然后，用作中间数据的亮度区域信息、平滑块直方图和平滑块积分值 分别被存储在亮度区域信息存储器112、平滑块直方图存储器403和平滑 块积分值存储器405中。由于亮度色调校正单元83使用^目对于正被处 理的帧而言在时间上在前的帧获得的中间数据来计算处理像素的全局亮 度值和色调曲线(执行边缘保持平滑处理)，所以即使要处理的图像是运 动图像，也可以使用小的工作存储器来执行具有大的算子大小的边缘保持 平滑处理，而不对图像中包括的所有像素扫描两次。接下来，参照图26的流程图，将描述与图24的步骤S320中的操作 相对应的全局亮度值计算处理。在步骤S361中，加权积和单元406的内插单元271和272从非线性 变换单元80读取处理像素的亮度值L (nl) (p )。在步骤S362中，内插单元271使用从在处理像素附近的空间块获得 的亮度块的平滑块积分值来执行内插处理，以获得处理像素的亮度积分 值。假设内插单元271 M储在空间权重函数存储单元273中的查找表中 读取在空间方向上在处理像素附近的16个(4x4个)空间块的内插系数 By(其中KK4， l<j<4)。然后，内插单元271从平滑块积分值存储 器405中读取从16个空间块BKw中的各个空间块获得的各个亮度块的平 滑块积分值Sconvolved (i， j， v)。此外，内插单元271确定内插系数Bg与对应的平滑块积分值 Sconvolved (i， j， v)的积的和，即，内插单元271对平滑块积分值执行 加权积和，并将作为结果的值确定为亮度积分值。此外，当计算亮度值时， 内插单元271将所读取的亮度值L (nl) (p)分配给平滑块积分值 Sconvolved (i， j， v)的变量v以用于计算。注意，更具体地，对于每个空间块，内插单元271例如根据从各个空 间块获得的亮度块的平滑块积分值Sconvolved (i， j， v)而通过内插获 得与处理《象素的亮度值L (nl) (p )相对应的平滑块积分值Sconvolved (i， j， L (nl) (p))。然后将平滑块积分值Sconvolved (i， j， L (nl) (p)) 乘以内插系数By，由此获得亮度积分值。在获得亮度积分值之后，内插单元271将所获得的亮度积分值提供给 除法器277。亮度积分值对应于通过对在处理像素的位置处的处理像素的 亮度值执行内插而获得的块积分值。在步骤S363中，内插单元272使用从在具有所读取的亮度值L (nl) (p)的处理像素附近的空间块获得的亮度块的平滑块直方图而通过内插处理获得处理〗象素的亮度直方图。假设内插单元272 M储在空间权重函数存储单元273中的查找表中 读取在空间方向上在处理像素附近的16个(4x4个)空间块的内插系数 Bij(其中KK4， l<j<4)。然后，内插单元272从平滑块直方图存储 器403中读取从16个空间块BKij中的各个空间块获得的各个亮度块的平 滑块直方图Hconvolved (i， j, v)。此外，内插单元272确定内插系数By与对应的平滑块直方图 Hconvolved (i， j， v)的积的和，即，内插单元272对平滑块直方图执行 加权积和，并将作为结果的值确定为亮度直方图。此外，当计算亮度值时， 内插单元272将所读取的亮度值L (nl) (p)分配给平滑块直方图 Hconvolved (i， j， v)的变量v以用于计算。注意，更具体地，对于每个空间块，例如，内插单元272根据从各个 空间块获得的亮度块的平滑块直方图Hconvolved (i， j， v)而通过内插 获得与处理像素的亮度值L (nl) (p)相对应的平滑块直方图Hconvolved(i， j， L (nl) (p))。然后将平滑块直方图Hconvolved (i， j， L (nl)(p))乘以内插系数Bij，由此获得亮度直方图，在获得亮度直方图之后，内插单元272将所获得的亮度直方图提供给 除法器277。亮度直方图对应于通过对在处理像素的位置处的处理像素的 亮度值执行内插而获得的块直方图。在步驟S364中，除法器277将从内插单元271提供的亮度积分值除 以从内插单元272提供的对应的亮度直方图，以获得全局亮度值L1 (nl) (p )。也就是说，除法器277通过计算以下的等式(14)来计算全局度值 Ll (nl) (p)。等式(14)Ll(nl)(p)=在等式(14)中，EBy Sconvolved (i， j， L (nl) (p))表示从内 插单元271提供的亮度积分值，EBij Hconvolved (i， j， L(nl)(p)) 表示从内插单元272提供的亮度直方图。具体地，亮度积分值是乘以内插 系数的平滑块积分值Bi5Jx Sconvolved (i， j， L(nl)(p))的和，亮度直 方图是乘以内插系数的平滑块直方图Bi5J x Hconvolved (i， j，)的和。具体地，将通it^f通过用内插系数对亮度权重函数进行巻积而获得的度权重函数进行巻积而获得的块直方图执行加 M目加而获得的加权和，由 此获得与全局亮度值L1 (nl) (p)相对应的块积分值的加权平均值。在步骤S365中，除法器277将所获得的全局亮度值Ll Ul) (p )输 出至色调曲线计算单元118和映射单元120,并且全局亮度值计算处理终 止。处理进行到图24的步骤S321。如上所述，加权积和单元406使用在处理〗象素附近的空间块的平滑块 积分值和平滑块直方图来获得全局亮度值。图22的亮度色调校正单元83执行用于对块直方图和块积分值进行亮 度方向上的权重函数(亮度权重函数)的巻积的运算，并存储运算结果。 因此，在针对每个像素执行的加权积和运算中，仅划分通it^J"被在空间方 向上进行与亮度权重函数的巻积的块直方图和块积分值执行内插而获得 的结果，并且可以以较少的运算执行边缘保持平滑处理。该运算由以下等 式(15 )来表示。等式(15)oj (i, j， p) -SconvolvecK i， j, I (p)) w( i, j， p) HconvolvecK i， j， I (p))工(P)' = if ......-^~國，..一 、、 ...05)在等式(15)中，I (p )表示处于像素位置p处的处理像素的像素值， I(p)'表示经过了边缘保持平滑处理的处理像素的像素值。此外，(0 (i， j， p)表示由处理像素的位置p与空间块BKy之间的相对位置确定的函数。与等式(ll)相类似地，等式(15)取得了边缘保持平滑的效果。由 于在图傳被划分为比原始图像的空间块小的多个空间块的同时执行边缘 保持平滑处理，即，由于对图像的较大区域执行边缘保持平滑处理，所以 可以较少的运算执行边缘保持平滑处理。此外，亮度色调校正单元83可生成作为其尺寸被减小的亮度图像的 尺寸减小的图像。由于通过提取整个亮度图像的全局亮度分布和配置来获 得在色调校正处理中使用的中间数据，所以即使从其尺寸已被预先减小的 亮度图像中计算中间数据，信息也不会被劣化。相应地，通过根据尺寸减 小的图像生成中间数据，可以减少用于生成中间数据的运算量。当亮度色调校正单元83生成尺寸减小的图像时，例如如图27所示地 配置亮度色调校正单元83。注意，在图27中，用与图5所示的附图标记 相同的附图标记来表示与图5的部件相对应的部件，并在适当时省略对其 的描述。除了图5所示的亮度色调校正单元83的部件之外，图27所示的亮度 色调校正单元83还包括尺寸减小单元461和尺寸减小的图傳存储器462。尺寸减小单元461从非线性变换单元82读取亮度图像中包括的处理 像素的亮度值L Ul) (p )，并根据所读取的亮度值L (nl) (p )生成尺寸 减小的图像。例如，尺寸减小单元461确定在亮度图像中包括的被定位成 与该尺寸减小的图像的像素相对应的区域内的像素的亮度值的平均值作 为包括在尺寸减小的图4象中的4象素的亮度值。尺寸减小单元461将尺寸减 小的图#4^供给尺寸减小的图^#储器462。尺寸减小的图傳存储器462临时存储^yjC寸减小单元461提供的尺寸 减小的图像。此外，亮度区域信息计算单元lll、块直方图计算单元113和块积分 值计算单元us依次将记录在尺寸减小的图像存储器462中的尺寸减小的 图像的每个像素设置为处理像素，并根据尺寸减小的图像来计算亮度区域 信息、块直方图和块积分值。接下来，参照图28和29的流程图，将描述当如图27所示地配置亮 度色调校正单元83时所执行的色调校正处理。该色调校正处理对应于图 11的步骤S14中的操作。
注意，步骤S411至S416中的^Mt与图12所示的步骤S41至S46中 的IMt相同，因此省略对其的描述。
在步骤S417中，尺寸减小单元461将从非线性变换单元82读取的处 理像素的L (nl)(p)与尺寸减小的图像中包括的对应像素的相加值相加。
也就是说，尺寸减小单元461存储要生成的尺寸减小的图像中包括的 各个像素的相加值。每当开始生成与新帧中的亮度图^^目对应的尺寸减小
461指定尺寸减小的图像中包括的对应于处理像素的像素，即，尺寸减小 的图像的在对应位置处的像素，并将处理像素的亮度值与尺寸减小的图像 的指定《象素的相加值相加。
以这种方式，每当读取亮度图像的处理像素的亮度值时，所读取的亮 度值被与尺寸减小的图像的与处理像素相对应的像素的相加值相加。由 此，对于尺寸减小的图像的每个像素，获得与尺寸减小的图像中包括的像 素相对应的亮度图像的区域中包括的像素的亮度值的和作为相加值。
在将处理像素的亮度值与和尺寸减小的图^bf目对应的像素的相加值 相加之后，执行步骤S418至步骤S426中的操作。注意，这些操作与图 12和13所示的步骤S50至步骤S58中的^Ht相同，省略对其的描述。
在步骤S427中，色调校正处理器53判定是否已处理了正被处理的帧 的RGB图像中包括的所有像素。当在步骤S427中判定为否时，即，当 判定至少一个〗象素尚未被设置为处理〗象素时，处理返回到步骤S413，并 再次执行前述处理。
另 一方面，当在步骤S427中判定已处理了所有l象素时，则在步骤S428 中，尺寸减小单元461根据用于要生成的尺寸减小的图像中包括的各个像 素的已被存储的相加值来生成尺寸减小的图像。即，尺寸减小单元461
。在读取处理像素的亮度值之后，尺寸减小单元将相加值除以对应于像素的亮度图像的区域中的像素数量，并将作为结果 的值确定为尺寸减小的图像的像素的亮度值。在生成尺寸减小的图像之
后，尺寸减小单元461将尺寸减小的图像提供给存储尺寸减小的图像的尺 寸减小的图^M"储器462。
在生成尺寸减小的图像之后，执行步骤S429至步骤S431中的操作。 注意，这些操作与步骤S47至步骤S49中的^Mt相同，因此省略对其的描 述。此外，在步骤S429至步骤S431中的^Mt中，依次选择尺寸减小的图 像中的各个像素作为处理像素。也就是说，使用尺寸减小的图像的像素的 亮度值执行处理。
在步骤S431中执行用于计算块积分值的像素处理之后，亮度色调校 正单元83在步骤S432中确定是否已处理了记录在尺寸减小的图像存储器 462中的尺寸减小的图像的所有像素。例如，当尺寸减小的图像的所有像 素已被设置为处理像素且执行了步骤S429至步骤S431的操作时，确定已 处理了所有《象素。
在步骤S432中，当确定至少一个4象素尚未被处理时，处理返回到步 骤S429，在步骤S429中将尺寸减小的图像中包括的下一个像素设为处理 像素，并再次执行上述处理。
另一方面，当在步骤S432中确定已处理了所有像素时，亮度区域信 息计算单元111在步骤S433中获得亮度区域信息。然后，此后执行步骤 S434和步骤S435中的操作，色调校正处理终止，并且处理进行到图11 的步骤S15。注意，步骤S433至S435中的操作与步骤S60至S62中的操 作相同，因此省略对其的描述。
如上所述，亮度色调校正单元83根据亮度图像生成尺寸减小的图像， 并使用尺寸减小的图像生成中间数据。
如上文所述，通过在生成中间数据之前减小亮度图像的大小，可以减 少用于生成中间数据的运算量，此夕卜，可以减少运算中对存储器的消耗量。
注意，在图22所示的亮度色调校正单元83中，可以将尺寸减小的图20098
像存储器462和尺寸减小单元461布置在亮度区域信息计算单元111、块 直方图计算单元113和块积分值计算单元115的前级中。
此外，只有在可以获得针对块直方图的亮度方向上的充^lt细的划分 (即，将空间块充^lt细地划分为亮度块)时，块积分值计算单元115和 块积分值存储器116才可以不被包括在图5所示的亮度色调校正单元83 中。在这种情况下，对于每个亮度块，通过将中心值入乘以感兴趣的亮度 块的块直方图而获得的值被确定为块积分值。也就是说，亮度块的中心值 入，即，通过将中心值入乘以块直方图而获得的值被确定为表示亮度块的 特性的特性值。
在这种情况下，通过使用加权积和单元117计算作为对等式(7)的 替代的以下的等式(16)来获得全局亮度值L1 (nl) (p)。
等式(16)
￡ ;i -HinterpolatedU). 0 U丄(nl)(p))
nP _ ZHinterpolatedU).0 U丄(nl)(p))
A …(16)
具体地，等式(16)的分子HHinterpolated U)力U, L (nl) (p ))" 是通过积和运算而获得的亮度积分值。
此外，当可以期望RGB图像(亮度图像)的稳定动态范围时，亮度 区域信息计算单元111和亮度区域信息存储器112可以不被包括在图5所 示的亮度色调校正单元83中，并且可以省略用于获得亮度区域信息的计 算。
在这种情况下，在确定图14所示的色调曲线形状的控制点中，不计 算控制点P4、 P5、 P7和P8，并^^用剩余的控制点来确定色调曲线的形 状。此外，在这种情况下，由于根据针对各个像素计算的全局亮度值Ll (nl) (p)来改变控制点P6的位置，所以保持了其中每个像素的明亮度 被适当地校正的色调曲线的特性。
注意，如果采用了针对不同4象素设置不同色调曲线的配置，则由于保持每个像素的明亮度被适当校正的特性，因此对比度校正不是本发明所需 要的要素。然而，如果采用了使用针对各个像素计算的全局亮度值的对比 度分量计算和用于校正对比度分量的处理，则可以获得更适当的输出。
此外，尽管在前面的描述中对RGB图像执行色调校正处理，但可以 对已经过YC变换处理的图像信号执行色调校正处理。在这种情况下，例 如，DSP 16被如图30所示地配置。注意，在图30中，由与图2所示的 附图标ie^目同的参考标号表示与图2的部件相对应的部件，并在适当时省 略对其的描述。
图30所示的DSP16与图2所示的DSP16的不同之处在于，色调校 正处理器53并未被设置在去马赛克处理器52和伽马校正处理器54之间， 并且色调校正处理器501连接至YC变换处理器55。色调校正处理器501 对从YC变换处理器55提供的Y图像和C图像(Cb分量和Cr分量)执 行色调校正处理，并在适当时将已经过色调校正处理的Y图像和C图像 提供给LCD驱动器18或CODEC 20。
注意，在下文中，由[Yu (p) ，Cu (p)表示在已经过色调校正处理 的图像数据的像素位置p处的像素值。iUo Yu (p)表示Y图像中的亮 度分量的值，Cu (p)表示C图像中的色差分量的值。注意，在下文中， 具体地，分别由Cbu (p)和Cru (p)表示像素值Cu (p)的Cb分量和 Cr分量。
例如，图30所示的色调校正处理器501被如图31所示地配置。具体 地，色调校正处理器501包括亮度色调校正单元531、 Cb色调校正单元 532和Cr色调校正单元533。
亮度色调校正单元531执行与由图4所示的亮度色调校正单元83所 执行的处理相同的处理，并校正(压缩)从YC变换处理器55提供的Y 图像的像素值Y (p)的色调。然后，亮度色调校正单元531在适当时将 通过色调校正获得的像素值Yu( p )H供给LCD驱动器18或CODEC 20， 并将像素值Yu( p败供给Cb色调校正单元532和Cr色调校正单元533。Cb色调校正单元532使用从YC变换处理器55提供的Y图像的像 素值Y (p )和从亮度色调校正单元531提供的Y图像的像素值Yn (p ) 来执行与由图4所示的色调校正单元85所执行的处理相同的处理，校正 从YC变换处理器55提供的C图像的像素值Cb (p )的色调，并在适当 时将通过色调校正获得的像素值Cbu (p)提供给LCD驱动器18或 CODEC 20。
此夕卜，Cr色调校正单元533使用从YC变换处理器55提供的Y图像 的像素值Y (p )和从亮度色调校正单元531提供的Y图像的像素值Yii (p )来执行与由色调校正单元85执行的处理相同的处理，校正从YC变 换处理器55提供的C图像的像素值Cr (p )的色调，并在适当时将通过 色调校正获得的4象素值Cru (p )提供给LCD驱动器18或CODEC 20。
例如，执行Cb色调校正单元532和Cr色调校正单元533的色调校 正，使得与上述等式(2)所述的运算类似地将C图像的像素值(像素值 Cr (p)或像素值Cb (p))乘以通过色调校正获得的Y图像的像素值相 对于Y图像的像素值Y (p )的比率。也就是说，将C图像的像素值乘以 通过将像素值Yu (p )除以像素值Y (p )而获得的值。
由于Y图像和C图像(即，亮度信号和色差信号)被提供给色调校 正处理器501，所以不必在色调校正处理器501中生成亮度图像。此外， 由于提供给色调校正处理器501的Y图像和C图像已经过了伽马校正， 所以Y图像和C图《象不需要经过非线性变换。因此，色调校正处理器501 不包括与亮度计算单元81、非线性变换单元82、非线性变换单元84和非 线性逆变换单元86相对应的块。
如上所述，通过对Y图像和C图像执行色调校正处理，更加容易地 校正色调。
此外，可以对RAW数据(即，马赛克图像)执行色调校正处理。在 这种情况下，例如，DSP 16被如图32所示地配置。注意，在图32中，
件，并在适当时省略对其的描述。图32所示的DSP16与图2所示的DSP16的不同之处在于，色调校正处理器581被布置在白平衡处理器51和去马赛克处理器52之间。具体地，在图2所示的DSP16中，色调校正处理器53被布置在白平衡处理器51和伽马校正处理器54之间，而在图32所示的DSP16中，与图2所示的色调校正处理器53相对应的色调校正处理器581被布置在白平衡处理器51和去马赛克处理器52之间。
色调校正处理器581对从白平衡处理器51提供的马赛克图像Mw执行色调校正处理，并将通过该色调校正处理获得的马赛克图像Mn提供给去马赛克处理器52。例如，色调校正处理器581被如图33所示地配置。
具体地，色调校正处理器581包括亮度计算单元611、非线性变换单元612、亮度色调校正单元613、定相单元614和615、非线性变换单元616、马赛克色调校正单元617以及非线性逆变换单元618。
亮度计算单元611执行与由图4所示的亮度计算单元81执行的处理相同的处理，并根据马赛克图像Mw生成亮度图像.具体地，亮度计算单元611将在从白平衡处理器51提供的马赛克图像Mw的像素位置p处的像素的值设为处理像素的像素值Mw (p),根据马赛克图像Mw的一些像素值计算亮度值L (p )，并将亮度值L (p )提供给非线性变换单元612。
如图34所示，由于马赛克图4象Mw中包括的每个像素都具有与R分量、G (Gr或Gb )分量和B分量相对应的像素值之一，所以亮度计算单元611不仅参照所提供的像素的像素值Mw (p ),而且还参照在该像素附近的像素的像素值，以计算亮度值。
在图34中，具有R分量、G分量和B分量的像素被配置为Bayer阵列，并且正方形表示马赛克图像的像素。此外，在该图中，正方形中包括的字母"R"、 "G"和"B"表示该正方形对应于具有与R分量、G分量和B分量相对应的像素值的像素。
利用假设彼此相邻的2像素x 2像素的矩阵中的4个像素被设为单位
67而获得R分量、G分量(Gr分量和Gb分量)和B分量的像素值的事实，亮度计算单元611根据该4个像素的像素值获得在由图中的圆團表示的位置处的亮度值。也就是说，在图中，作为在圆围附近的4个像素中的R信号、G信号和B信号的和的结果，生成亮度信号。
在图34所示的示例中，图中的每个圆團都位于包括P像素、B^象素和两个G像素的区域的中心处。注意，在其处获得亮度值的位置被从马赛克图像中包括的像素的位置移位半个像素，并且在其处获得亮度值的位置中的间隔不对应于一个像素。然而，当亮度值的色调被校正时，这些位置(相位)的位移是可忽略的。
返回到参照图33的描述，非线性变换单元612执行与由图4所示的非线性变换单元82执行的处理相同的处理，以对从亮度计算单元611提供的亮度值L (p)执行非线性变换，并将通过非线性变换获得的亮度值L (nl) (p )提供给亮度色调校正单元613和定相单元614。
亮度色调校正单元613执行与由图4所示的亮度色调校正单元83执行的处理相同的处理，以压缩从非线性变换单元612提供的亮度值L( nl)(p )的色调，由此对亮度值L (nl) (p)执行色调校正，并将通过该色调校正获得的亮度值Lu (nl) (p)提供给定相单元615。
定相单元614使用从非线性变换单元612提供的亮度值中的位于处理像素附近的一些亮度值来执行校正处理，并通过色调校正计算在处理像素的位置处的亮度值。这里，例如，由定相单元614执行的校正处理对应于使用在处理像素附近的2x2位置(即，4个位置)矩阵处的亮度值的双线性校正处理。
在获得处理像素的亮度值之后，定相单元614将所获得的亮度值提供给马赛克色调校正单元617。
定相单元615使用从非线性变换单元613提供的亮度值中的位于处理像素附近的一些亮度值来执行校正处理，并通过色调校正计算在处理像素的位置处的亮度值。这里，由定相单元615执行的校正处理与由定相单元614执行的处理相同，例如是双线性校正处理。
非线性变换单元616执行与由图4所示的非线性变换单元84执行的处理相同的处理，以对从白平衡处理器51提供的处理4象素的像素值Mw(p)执行非线性变换，并将通过非线性变换获得的像素值提供给马赛克色调校正单元617。
马赛克色调校正单元617使用从定相单元614提供的亮度值和从定相单元615提供的通过色调校正获得的亮度值来执行与由图4所示的色调校正单元85执行的处理相同的处理，对从非线性变换单元616提供的像素值执行色调校正，并将通过色调校正获得的像素值提供给非线性逆变换单元618。例如，类似于上述等式(2)所示的运算，马赛克色调校正单元
行色调校正通过将从定相单元615提供的通过色调校正获得的亮度值除以从定相单元614提供的亮度值而获得的值。由此，处理像素的像素值(即，R分量、G分量和B分量的像素值)受到色调校正。
非线性逆变换单元618对从马赛克色调校正单元617提供的像素值执行作为由非线性变换单元616执行的非线性变换的逆变换的非线性逆变换。非线性逆变换单元618将通过非线性逆变换获得的像素值Mu (p)提供给去马赛克处理器52。
如上所述，当对马赛克图像执行色调校正处理时，由亮度计算单元611计算的亮度值的位置与马赛克图像中的像素处理的位置不相同。然而，由于定相单元614和615执行相位校正，所以获得了在处理像素的位置处的亮度值。
注意，如上所述，图1所示的数字摄#^执行用于提取图像的整体构成的图像处理。由于可以在用于改善图像质量的处理中利用通过该图像处理提取的这种信息，所以作为实施块和提取图像的整体构成的装置，可以采用除了数字摄^^之外的装置。这种装置的示例包^"如数码相机之类的成像设备、打印机和诸如显示器之类的显示设备。此外，这可以应用于用于编辑的设备和计算M序。上述一系列操作可以由硬件或软件执行。当通过软件执行这一系列处
理时，构成软件的程序被安装到例如可通it^程序记录^h质安装各种程序来执行各种功能的、专用硬件中包括的计算机或通用个人计算机中。
图35是示出了使用程序运行一系列操作的计算机的硬件的配置示例的框图。
在该计算机中，CPU 901、 ROM (只读存储器)卯2和RAM903通过总线904相互连接。
输^W'输出接口卯5也连接至总线904。包括键盘、鼠标、麦克XL的输入单元906、包括显示器和扬声器的输出单元907、包括硬盘和非易失性存储器的记录单元卯8、包括网络接口的通信单元卯9以及驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质的驱动器910也连接至总线904。
在如上所述配置的计算机中，例如，通过经由输X/输出接口卯5和总线904将记录在记录单元908中的程序加栽到RAM 903中并运行该程序来执行一系列^Mt。
由计算机(CPU 901)运行的程序可以通过被记录在可拆卸介质911中来提供或通过有线通信介质或无线通信介质(例如局域网、互联网或数字卫星广播)来提供，其中可拆卸介质911是由磁盘(包括软盘)、光盘(包括CD-ROM (压缩盘-只读存储器)、DVD (数字通用盘))、磁光盘或半导体存储器构成的封装介质。
然后，可以通过将可拆卸介质911插入驱动器910中而经由输"输出接口 905将程序安装到记录单元908中。此外，可由通信单元909通过有线通信介质或无线通信介质接收程序，并可将程序安装在记录单元908中。替代性地，可预先将程序安装到ROM卯2和记录单元908中。
注意，可以以时序方式或并行地处理由计算机运行的程序，或者可以在调用程序时在适当时处理由计算M行的程序。
注意，本发明的实施例不限于前述实施例，在不背离本发明范围的情况下，可以进行各种修改。
权利要求
1.一种对输入图像执行边缘保持平滑处理的图像处理设备，包括频率值计算装置，用于通过根据像素的亮度值将在空间方向上划分所述输入图像获得的空间块中包括的像素分类为亮度块，从而在将所述空间块进一步在亮度方向上进行划分获得的亮度块中，计算属于所述亮度块的像素的频率值；特性值计算装置，用于计算表示所述亮度块的特性的特性值；以及加权积和装置，用于通过根据所述像素与从在所述像素附近的一些空间块获得的亮度块中包括的相邻亮度块之间在所述空间方向和所述亮度方向上的距离而使用所述相邻亮度块的所述特性值和所述频率值对所述特性值执行加权平均，来在所述输入图像的像素位置处对所述输入图像执行边缘保持平滑。
2. 根据权利要求1所述的图像处理设备，其中，所述特性值计算装置计算所述亮度块之一中包括的像素的亮度 值的和作为所述特性值。
3. 根据权利要求1所述的图像处理设备，其中，所述特性值计算装置计算所述亮度块的亮度范围的中心值作为 所述特性值。
4. 根据权利要求1所述的图像处理设备， 其中所^>权积和装置包括频率值内插装置，用于使用根据从其获得所&目邻亮度块的空间块之一与所述像素之间的相对位置而确定的空间权重以及所i^目邻亮度块中的频率值来执行内插处理，并针对与所^目邻亮度块相对应的各个亮度级 来计算作为通过在所述像素的位置上执行内插而获得的频率值的内插频率值；特性值内插装置，用于使用所述空间权重和所勤目邻亮度块的特性值 来执行内插处理，并针对与所勤目邻亮度块相对应的各个亮度级来计算作 为通it4像素位置上执行内插而获得的特性值的内插特性值；频率值积和装置，用于获得乘以由所述像素的所述亮度值和与所&目 邻亮度块相对应的所述亮度级确定的亮度权重的内插频率值的和，并使用所述亮度权重来计算所述内插频率值的加权和；特性值积和装置，用于获得乘以所述亮度权重的内插特性值的和，并 使用所述亮度权重来计算所述内插特性值的加权和；以及除法装置，用于通过将所述内插特性值的加权和除以所述内插频率值 的加权和来计算所述特性值的加权平均。
5. 根据权利要求1所述的图像处理设备，其中所^权积和装置包括第一巻积装置，用于针对每个空间块而将其中亮度值被用作变量的亮 度权重函数与从所述空间块获得的所勤目邻亮度块的频率值进行巻积；第二巻积装置，用于针对每个空间块而将所述亮度权重函数与从所述 空间块获得的所&目邻亮度块的特性值进行巻积；频率值内插装置，用于使用根据从其获得所i^f目邻亮度块的空间块之 一与所述〗象素值之间的相对位置而确定的空间权重以及与所述亮度权重 函数进行巻积的所述频率值来执行内插处理，并计算作为通过对在所述像 素位置处的像素的亮度值执行的内插而获得的频率值的内插频率值；特性值内插装置，用于使用所述空间权重以及与所述亮度权重函数进 行巻积的所述特性值来执行内插处理，并计算作为通过对在所述像素位置 处的像素的亮度值执行的内插而获得的特性值的内插特性值；以及除法装置，用于通过除以所述内插特性值来计算所述特性值的加权平均。
6. 根据权利要求5所述的图像处理设备，其中所^>权积和装置还 包括频率值存储装置，用于在与所述输入图像的一帧相对应的时段内存储 与所述亮度权重函数进行巻积且根据预定帧的所述输入图像来计算的频 率值；以及特性值存储装置，用于在与所述输入图像的一帧相对应的时段内存储 与所述亮度权重函数进行巻积且根据预定帧的所述输入图像来计算的特 性值，其中，所述频率值内插装置使用存储在所述频率值存储装置中的根据,计算的所述频率值来"H 帧中的所述输入图像的所述内插频率值，以及其中，所述特性值内插装置使用存储在所述特性值存储装置中的根据 预定帧的所述输入图像而计算的所述特性值来计算在所述预定帧之后的 帧中的所述输入图l象的所述内插特性值。
7. 根据权利要求l所述的图像处理设备，还包括尺寸减小的图像生成装置，用于根据所述输入图像来生成通过减小所 述输入图像的尺寸而获得的尺寸减小的图像，其中，所述频率值计算装置计算属于通过在空间方向和亮度方向上划 分所述尺寸减小的图像而获得的亮度块的所述尺寸减小的图像的像素的 频率值，以及其中，所述特性值计算装置计算表示通过在空间方向和亮度方向上划 分所述尺寸减小的图像而获得的亮度块的特性的特性值。
8. 根据权利要求l所述的图像处理设备，还包括频率值存储装置，用于在与所述输入图像的一帧相对应的时段内存储 根据预定帧的所述输入图像来计算的频率值；以及特性值存储装置，用于在与所述输入图像的一帧相对应的时段内存储 根据预定帧的所述输入图像来计算的特性值，其中，所^>权积和装置4吏用存储在所述频率值存储装置中的所述频 率值和存储在所述特性值存储装置中的所述特性值来对在所述预定帧之 后的帧中的所述输入图像的特性值执行加权平均。
9. 一种对输入图像执行边缘保持平滑处理的图像处理方法，所述图 像处理方法包括以下步骤通过根据像素的亮度值将在空间方向上划分所述输入图像获得的空 间块中包括的像素分类为亮度块，从而在将所述空间块进一步在亮度方向 上进行划分获得的亮度块中，计算属于所述亮度块的像素的频率值；计算表示所述亮度块的特性的特性值；以及通过根据所述像素与从在所述像素附近的 一些空间块获得的亮度块 中包括的相邻亮度块之间在所述空间方向和所述亮度方向上的距离而使 用所述相邻亮度块的所述特性值和所述频率值对所述特性值执行加权平 均，来在所述输入图像的像素位置处对所述输入图像执行边缘保持平滑。
10. —种用于对输入图像执行边缘保持平滑处理的图像处理的程序，所述程序使计算机运行包括以下步骤的处理通过根据像素的亮度值将在空间方向上划分所述输入图像获得的空 间块中包括的像素分类为亮度块，从而在将所述空间块进一步在亮度方向 上进行划分获得的亮度块中，计算属于所述亮度块的像素的频率值；计算表示所述亮度块的特性的特性值；以及通过根据所述像素与从在所述像素附近的一些空间块获得的亮度块 中包括的相邻亮度块之间在所述空间方向和所述亮度方向上的距离而使 用所^目邻亮度块的所述特性值和所述频率值对所述特性值执行加权平 均，来在所述输入图像的像素位置处对所述输入图像执行边缘保持平滑。
11. 一种对输入图像执行色调校正的图像处理设备，包括频率值计算装置，用于通过根据像素的亮度值将在空间方向上划分所 述输入图像获得的空间块中包括的像素分类为亮度块，从而在将所述空间 块进一步在亮度方向上进行划分获得的亮度块中，计算属于所述亮度块的 像素的频率值；特性值计算装置，用于计算表示所述亮度块的特性的特性值；加权积和装置，用于通过根据所述像素与从在所述像素附近的一些空 间块获得的亮度块中包括的相邻亮度块之间在所述空间方向和所述亮度 方向上的距离而使用所述相邻亮度块的所述特性值和所述频率值对所述 特性值执行加权平均，来计算在所述输入图像的像素位置处的表示包括所 述输入图像中的像素的目标区域的平均明亮度的全局亮度值；色调曲线计算装置，用于在所述〗象素位置处根据所述全局亮度值来计 算用于各个像素的色调曲线的形状；以及亮度值色调校正装置，用于在所述像素位置处使用所迷色调曲线来校 正所述像素的所述亮度值的色调。
12. 根据权利要求11所述的图《象处理该:备，其中，当使用所述色调曲线使所述全局亮度值受到色调校正时，所述 色调曲线计算装置计算所述色调曲线的形状，使得所述全局亮度值被转换 为基本上在使用所述色调曲线进行色调校正之后的亮度值的可取范围的 中间的值。
13. 根据权利要求ll所述的图像处理设备，还包括全局亮度值色调校正装置，用于在所述像素位置处使用所述色调曲线来校正所述〗象素的所述全局亮JL值的色调；以及对比度校正装置，用于根据通过由所述全局亮度值色调校正装置执行 的色调校正而获得的所述全局亮度值以及所述色调曲线的形状来校正通 过由所述亮度值色调校正装置执行的色调校正获得的亮度值的对比度。
14.根据权利要求11所述的图像处理设备，其中所#权积和装置 包括频率值内插装置，用于使用根据从其获得所勤目邻亮度块的空间块之 一与所述像素之间的相对位置而确定的空间权重以及所i^目邻亮度块中 的频率值来执行内插处理，并针对与所&目邻亮度块相对应的各个亮度级率值；特性值内插装置，用于使用所述空间权重和所i^目邻亮度块的特性值 来执行内插处理，并针对与所W目邻亮度块相对应的各个亮度级来计算作 为通it^像素位置上执行内插而获得的特性值的内插特性值；频率值积和装置，用于获得乘以由所述4象素的所述亮度值和与所勤目 邻亮度块相对应的所述亮度级确定的亮度权重的内插频率值的和，并使用 所述亮度权重来计算所述内插频率值的加权和；特性值积和装置，用于获得乘以所述亮度权重的内插特性值的和，并 使用所述亮度权重来计算所述内插特性值的加权和；以及除法装置，用于通过将所述内插特性值的加权和除以所述内插频率值 的加权和来计算所述特性值的加权平均。
15.根据权利要求11所述的图像处理设备，其中所#权积和装置 包括第一巻积装置，用于针对每个空间块而将其中亮度值被用作变量的亮 度权重函数与从所述空间块获得的所i^目邻亮度块的频率值进行巻积；第二巻积装置，用于针对每个空间块而将所述亮度权重函数与从所述 空间块获得的所^目邻亮度块的特性值进行巻积；频率值内插装置，用于使用根据从其获得所i^目邻亮度块的空间块之 一与所述像素值之间的相对位置而确定的空间权重以及与所述亮度权重 函数进行巻积的所述频率值来执行内插处理，并计算作为通过对在所述像素位置处的像素的亮度值执行的内插而获得的频率值的内插频率值；特性值内插装置，用于使用所述空间权重以及与所述亮度权重函数进 行巻积的所述特性值来执行内插处理，并计算作为通过对在所述像素位置 处的像素的亮度值执行的内插而获得的特性值的内插特性值；以及除法装置，用于通过除以所述内插特性值来计算所述特性值的加权平均。
16. 根据权利要求15所述的图像处理设备，其中所#权积和装置 还包括频率值存储装置，用于在与所述输入图像的一帧相对应的时段内存储 与所述亮度权重函数进行巻积且根据预定帧的所述输入图像来计算的频 率值；以及特性值存储装置，用于在与所述输入图像的一帧相对应的时段内存储 与所述亮度权重函数进行巻积且根据预定帧的所述输入图像来计算的特 性值，其中，所述频率值内插装置使用存储在所述频率值存储装置中的根据 所述输入图像的预定帧而计算的所述频率值来计算在所述预定帧之后的 帧中的的所述输入图像所述内插频率值，以及其中，所述特性值内插装置使用存储在所述特性值存储装置中的根据 预定帧的所述输入图像而计算的所述特性值来计算在所述预定帧之后的 帧中的的所述输入图像所述内插特性值。
17. 根据权利要求ll所述的图像处理设备，还包括尺寸减小的图像生成装置，用于根据所述输入图像来生成通过减小所 述输入图像的尺寸而获得的尺寸减小的图像，其中，所述频率值计算装置计算属于通过在空间方向和亮度方向上划 分所述尺寸减小的图像而获得的亮度块的所述尺寸减小的图像的像素的 频率值，以及其中，所述特性值计算装置计算表示通过在空间方向和亮度方向上划 分所述尺寸减小的图像而获得的亮度块的特性的特性值。
18. 根据权利要求ll所述的图像处理设备，还包括 频率值存储装置，用于在与所述输入图像的一帧相对应的时段内存储根据预定帧的所述输入图像来计算的频率值；以及特性值存储装置，用于在与所述输入图像的一帧相对应的时段内存储 根据预定帧的所述输入图像来计算的特性值，其中，所述加权积和装置使用存储在所述频率值存储装置中的所述频 率值和存储在所述特性值存储装置中的所述特性值来对在所述预定帧之 后的帧中的所述输入图像的特性值执行加权平均。
19. 一种对输入图像执行色调校正的图4象处理方法，所述图4象处理方 法包括以下步骤通过根据像素的亮度值将在空间方向上划分所述输入图像获得的空 间块中包括的像素分类为亮度块，从而在将所述空间块进一步在亮度方向 上进行划分获得的亮度块中，计算属于所述亮度块的像素的频率值；计算表示所述亮度块的特性的特性值；通过根据所述像素与从在所述像素附近的 一些空间块获得的亮度块 中包括的相邻亮度块之间在所述空间方向和所述亮度方向上的距离而使 用所述相邻亮度块的所述特性值和所述频率值对所述特性值执行加权平素的目标区域的平均明亮度的全i亮度值；在所述像素位置处根据所述全局亮度值来计算用于各个像素的色调 曲线的形状；以及在所述像素位置处使用所述色调曲线来校正所述像素的所述亮度值 的色调。
20. —种用于对输入图像执行色调校正的图像处理的程序，所述程序 使计算机运行包括以下步骤的处理通过根据像素的亮度值将在空间方向上划分所述输入图像获得的空 间块中包括的像素分类为亮度块，从而在将所述空间块进一步在亮度方向 上进行划分获得的亮度块中，计算属于所述亮度块的像素的频率值；计算表示所述亮度块的特性的特性值；通过根据所述像素与从在所述像素附近的一些空间块获得的亮度块 中包括的相邻亮度块之间在所述空间方向和所述亮度方向上的距离而使 用所述相邻亮度块的所述特性值和所述频率值对所述特性值执行加权平 均，来计算在所述输入图像的像素位置处的表示包括所述输入图像中的像素的目标区域的平均明亮度的全局亮度值；在所述像素位置处根据所述全局亮度值来计算用于各个像素的色调 曲线的形状；以及在所述像素位置处使用所述色调曲线来校正所述像素的所述亮度值 的色调。
全文摘要
本发明涉及能够以较少的运算执行边缘保持平滑处理的图像处理设备、图像处理方法和程序。块直方图计算单元113计算通过在空间方向和亮度方向上划分亮度图像而获得的各个亮度块中包括的像素数量作为块直方图。块积分值计算单元115计算各个亮度块中包括的像素的亮度值的积分值作为块积分值。加权积和单元117使用块积分值、块直方图和正被处理的像素的亮度值来计算表示正被处理的像素所属于的目标区域的平均亮度的全局亮度值。
文档编号H04N1/407GK101682686SQ200980000199
公开日2010年3月24日 申请日期2009年1月23日 优先权日2008年1月25日
发明者光永知生 申请人:索尼株式会社