专利名称：图像处理装置及数码摄像机的制作方法
技术领域：
本发明，涉及数码摄像机等的摄像装置中，动态范围的压缩、衬比校 正、对比度强调那样的，基于人的视觉特性进行信号处理的图像处理装置。
背景技术：
由数码摄像机等的摄像装置在逆光下摄像人物的话，摄像所得的图像 数据中，从暗处至明处包含动态范围宽的亮度信息。为此，数码摄像机等 的摄像装置中，包括将这样的图像数据校正为适当的图质的图像处理装置。
作为这样的图像处理装置的一例，基于+i正处理中的像素(注目像素) 的周边像素的亮度分布，对注目像素的亮度，采取暗处增亮亮处减暗的校 正的视觉处理技术的图像处理装置已为所知(例如，参照专利文献l)。
专利文献l的图像处理装置中，首先，由只通过输入信号的低区域空
间的低区域空间过滤器得到模糊(unsharp)信号US。这个模糊信号US，表 示注目像素(详细的是低区域空间过滤器的中心像素)的周边像素的亮度分 布信息。还有，这个图像处理装置，包括两维的LUT(Look-up Table),两 维的LUT中，登录了被称为轮廓数据的矩阵数据。轮廓数据，具有对应每 一个输入信号各种各样的像素值的行、和对应每一个模糊信号US的各种 各样像素值的列。作为行列的要素，对应输入信号和模糊信号US的組合 储存了视觉处理信号Si的像素值。并且，这个图像处理装置，输出参照两 维LUT校正后的像素值。由此，对应周边像素的亮度分布，进行每个像素 最适应的亮度调整成为可能。
还有，作为图像处理装置的另外一例，在将每个图像数据分割成多个 区域的方框区域中，基于上述图像数据所具有的亮度信息所涉及的直方图 算出增益值，在处理只变更这部分增益值的亮度值的均值化处理的同时， 在上述每个方框区域，用对应上述增益值的强度实施降低噪点(noise)处理
的图像处理装置(例如，参照专利文献2)。
(专利文献l)日本专利公开2006-MH6号公报 (专利文献2)日本专利公开2006-50043号公报 (发明所要解决的课题)
但是，专利文献1的图像处理装置中，如杲进行具有亮度值的宽动态 范围的图像数据的视觉处理，正如增益提高那样视觉处理了的像素中噪点 成份也同样增益被提高，其结果，校正后的图像数据中噪点成份有可能变 得醒目。也就是，由于实施了视觉处理却有可能让画质劣化。
例如，对能够看到明亮的风景的窗户为背景人物站立逆光状态下具有 亮度值宽的动态范围的图像数据实施视觉处理，为了使人物部分变得明亮， 只进行提高人物部分的增益的处理。其结果，人物部分变得明亮了，但是， 人物部分的噪点成份也提高了增益。
对此，专利文献2中记载的图像处理装置，基于根据直方图算出的增 益，进行均值化(亮度的变更)和降低噪点处理，所以，由对应于均值化强 度的强度进行降低噪点处理。
然而，因为是由方框单位的进行这些处理，方框内的像素的亮度值具 有宽动态范围的话，就有可能产生均值化的效果过强的像素、或不足的像 素。还有，对于方框内所有的像素进行由一样强度的降低噪点处理的话， 无法充分的压制噪点成份多的像素的噪点，相反地，考虑到噪点的振幅小 的部分的立边被钝化的情况。对此，可以考虑极力减小方框尺寸，但是， 为求直方图的数据处理量，随着方框尺寸的减小而增大。也就是，减小方 框的尺寸也是有限度的，适当的视觉处理、和噪点抑制(防止图像劣化)的 两立是困难的。
发明内容
本发明，着眼于上述问题所发明的，其目的在于防止图像的劣化的同 时，能够以像素单位的进行视觉处理。 (为解决课题的方法)
为解决上述课题，本发明中，对多像素形成的图像数据，以像素单位 进行基于人的视觉特性的的信号处理的视觉处理。在此之际，对应视觉处
理的强度以像素单位进行复原视觉处理前的图像数据的清晰度的信号处 理、及由视觉处理校正信号劣化的信号处理的至少一个。
例如，本发明的一方式是对由多个像素形成的图像数据进行信号处 理的图像处理装置，其特征在于包括对上述图像数据，进行像素单位的 基于人的视觉特性的信号处理的视觉处理的视觉处理部；进行像素单位的，
至少是复原输入上述视觉处理部的上述图像数据的清晰度的信号处理、以 及校正由上述视觉处理引起的信号劣化的信号处理中的一种信号处理的输 入信号处理部；另外，上述视觉处理部，构成为基于上迷视觉处理中的像 素的注目像素的像素值和上述视觉处理后的像素值的关系所决定的规定函 数进行上述视觉处理；上述输入信号处理部，对应使用上述函数所规定的 增益(gain)进行上述信号处理。
由此，视觉处理前已经劣化了的清晰度的复原、或者视觉处理后劣化 了的图像数据的特性的校正成为可能。
一发明的效果一
只要根据本发明，在防止了图像劣化的同时，以像素单位进行视觉处 理成为可能。
图1，是表示实施方式1所涉及的图像处理装置100的构成的方框图。 图2 ，是两维LUT的构成例。
图3，是表示输入信号处理部150的构成例的方框图。
图4，是表示噪点降低处理电路151的构成的方框图。
图5，是表示增益值G、效果调整信号a、 (l一a)的关系的表。
图6，是用曲线表示图2的输入特性。
图7，是表示视觉处理是必要的逆光状态的图。
图8，是将图2的特性转换成增益G的显示。
图9，是用曲线表示图8的输入特性。
图10，是表示实施方式1的第二变形例所涉及的图像处理装置的构成 的方框图。
图ll，是表示实施方式2所涉及的图像处理装置200的构成的方框图。
图12,是开口校正处理的基本概念的说明图。
图13,是表示增益G和效果调整信号OC的关系的曲线。
图14，是剖面数据的特性的一例。
图15,是表示视觉处理后的像素值的分布的图。
图16，是表示本实施方式3所涉及的数码摄像机300的构成的方框图。
(符号说明)
100 图像处理装置 110 空间处理部 120 视觉处理部 130 LUT储存存储器 140 增益算出部
150 输入信号处理部
151 噪点降低处理电路 151a 噪点降低过滤器 151b 效果调整器
151c 乘法器 151d 乘法器 151e 加法器
152 亮度信号生成电路
154 开口校正处理电路
155 矩阵处理电路 200 图像处理装置 210 亮度信号生成电路
220 高区域空间过滤处理电路 230 效果调整部 240 乘法器 250 加法器 300 数码摄像机
310 摄像部
311 光学系统
312 图像传感器
313模拟前置
314时间发生器
320输入信号转换器
330显示部
340压缩转换部
350^己录《呆存部
AP高频成份
AP2校正高频成份
G增益
US模糊
a效果调整信号
SNR噪点降低信号
Si视觉处理信号
具体实施例方式
以下，参照
本发明的实施方式。尚，在以下的各实施方式及 各变形例的说明中，与一度说明了的构成要素具有相同功能的构成要素， 标注相同的符号并省略说明。 《发明的实施方式l》
图1，是表示本发明的实施方式1所涉及的图像处理装置100的构成 的方框图。这个图像处理装置100,对例如組合了数码摄像机等的，由多
像素形成的图像数据的各个像素，进行基于人的视觉特性的信号处理。
(图像处理装置100的构成)
图像处理装置100，如图1所示那样，包括空间处理部110、视觉处理 部120、 LUT储存存储器130、增益算出部140、及输入信号处理部150。
空间处理部110，生成表示处理中的像素的周边像素的信号电平的分 布(称作信号电平分布信号)。本实施方式中，空间处理部110，生成作为信 号电平分布信号的一例的，对输入信号的每个像素的模糊信号US。
在此，所谓的输入信号，是将通过透镜等形成的光学系统的光用CCD 或CMOS等的图像传感器转变成电信号，是实施了从图像传感器输出的模
拟信号中除去噪点、信号放大、A/D转换等的信号处理的图像数据。
还有，模糊信号US，是从原图像生成的模糊图像的每个像素得到的信号。
作为求得模糊信号US的方法，例如，可以考虑输入信号的平均值、 最大值、或最小值等。
还有，模糊信号US，还是加权平均多个像素值所求得的方法。例如，
加权平均，基于式子F-(s:[wij]x [Aij])/(i:[wij])进行计算。在此，[wij]，
是在处理对象的像素及周边像素中，位于第i行j列的像素加权系数。[Aij〗，
是在处理对象的像素及周边像素中，位于第i行j列的像素的像素值。尚， [2]，是意味着进行对象像素及周边像素的各个像素的合计计算。
加权系数[Wij]，是基于对象像素和周边像素的像素值的差及距离所决
定的值。更具体地讲，像素值的差的绝对值越大越是小的加权系数。还有， 距离越大越是小的加权系数。
如上所述所求得的模糊信号us ，表示处理中的像素的周边像素的信号
电平分布、周边像素的亮度分布。
本实施方式中，空间处理部110，通过低区域空间过滤器得到模糊信 号US 。作为低区域空间过滤器，可以使用FIR(Finite Impulse Respones)型 的低区域空间过滤器、或IIR(Infinite Impulse Respones)型的低区域空间过
滤器等。
视觉处理部120，对于输入信号的每个像素，进行基于人的枧觉特性 的信号处理(视觉处理)。作为视觉处理，例如，例举了动态范围的压缩、 阶调校正、对比度强调等。
视觉处理部120，基于决定输入信号、和由视觉处理部120处理后的 信号(成为视觉处理信号Si)的关系函数，求视觉处理信号Si的像素值。图 像处理装置100中，如后所述的LUT储存存储器130内，定义了模糊信号 US的每一种的函数。视觉处理部120，基于对应处理中的像素(注目像素) 的模糊信号US，从这些函数(函数群)中选择一个，用这个函数求枧觉处理 信号Si的像素值输出。
LUT储存存储器130，储存在视觉处理部120使用的函数群作为两維 LUT(Look Up Table)。两维LUT，作为一例可以构成为图2所示那样。这
个两维LUT中，登录了被称作轮廓数据的矩阵数据。轮廓数据，具有对应 各种各样输入信号的像素值的每一个的行、和对应各种各样模糊信号US 的像素的每一个的列。作为行列的要素，储存了对应输入信号和模糊信号 US組合的视觉处理信号Si的像素值。
本实施方式中具体地讲，两维LUT，表示为5X5的矩阵形式(参照图 2)。两维LUT中IO、 I1、*"I4，分别表示将注目像素的像素值所取值的范 围五等分后的像素值的每一个，B0、 B1"'B4，分别表示将模糊信号US 的所取值的范围五等分后的值的每一个。还有，表中的各要素值，表示由 视觉处理部120处理后的像素值(这个例中是8比特)。这个例，是阶调校 正后的像素值的例。也就是，本实施方式的LUT储存存储器130，储存了 阶调转换曲线群。对应这个两维LUT中没有储存值(例如B0和B1的中间 值)处理后的像素值，只要利用这个两维LUT内的值进行线形插入既能求 得。尚，两维LUT的行和列的关系，还可以与上述的例相反。
两维LUT中储存的视觉处理信号Si的像素值，在阶调校正后的像素 值以外，可以采用动态范围压缩处理或对比度强调等的信号处理后的像素 值。也就是，通过改变轮廓数据，实现各种各样的视觉处理成为可能。尚， 这些值通过计算机等预先算出登录备用。
增益算出部140，将输入信号和视觉处理后的信号的关系作为增益G 算出。具体地讲，增益算出部140，输入输入信号和模糊信号US，参照两 维LUT，求处理后的像素值。并且，本实施方式中，增益算出部140将求 得的处理后的像素值换算成0.00~2.00范围的值的增益G输出。
输入信号处理部150，校正由视觉处理部120处理了的劣化了的输入 信号的特征。由输入信号处理部150的校正强度，由增益G决定。
输入信号处理部150，具体地讲，如图3所示，包括噪点降低处理电 路151、亮度信号生成电路152、色分离电路153、开口木支正处理电路154、 以及矩阵处理电路155。
噪点降低处理电路151,除去图像数据的噪点成份。噪点降低处理电 路151的详细构成如后所述。
亮度信号生成电路152，从噪点降低处理电路151的输出信号生成亮 度信号。
ii
色分离电路153，从噪点降低处理电路151的输出信号生成色信号。
开口校正处理电路154，进行在亮度信号生成电路152生成的亮度信 号上加上高频成份进行使清晰度提高的处理。
矩阵处理电路155，对色分离电路153的输出进行图像传感器的分光 特性或信号处理所崩坏色相偏差的调整。
(噪点降低处理电路151的构成)
接下来，详细叙述噪点降j氐处理电路151。
噪点降低处理电路1.51，如图4所示，包括噪点降低过滤器151a、效 果调整部151b、乘法器151c、乘法器151d、及加法器151e。
噪点降低过滤器151a，输出对视觉处理部120输出的视觉处理信号Si 实施噪点降低处理的信号(噪点降低信号SNR)。具体地讲，作为噪点降低 过滤器151a，利用低通过过滤器或媒介过滤器等迄今为止的噪点降低技 术。
效果调整部151b，基于增益算出部140输出的增益G算出决定噪点降 低处理效果的强度的效果调整信号a;和(l-a;)。例如，图5，是表示增益值 G、效果调整信号a、和(1-CK)的关系的表。这个例中，通过效果调整信号 "=增益值G/2的式子，决定增益G和效果调整信号a的关系。如图5 所示，当增益值G为最大值2.00时，效果调整信号a为1.00，增益值G 为0.00时效果调整信号a为0.00。由此，效果调整部151b，输出0.00~1.00 范围的效果调整信号o;和(l-aO。
乘法器151c,输出噪点降低信号SNR、和效果调整部151b的输出值 的效果调整信号o:相乘的值。
乘法器151d，输出视觉处理信号Si和效果调整部151b的输出值的(l-a)相乘的值。
加法器151e，合成乘法器151c的输出和乘法器151d的输出，作为输 出信号Sout输出。
(图像处理装置100的动作)
图像处理装置100，给与输入信号的话，首先空间处理部110对输入 信号的每个像素生成模糊信号US。
生成模糊信号US的话增益算出部140，参照LUT储存存储器130内
的两维LUT，求处理后的像素值的同时，将求得的处理后的像素值换算成 增益G输出给输入信号处理部150。
另一方面，视觉处理部120，生成模糊信号US的话，对输入信号的每 个像素，基于人的视觉特性进行信号处理输出视觉处理信号Si。在此之际， 视觉处理部120，对应相对处理中的像素(注目像素)的模糊信号US的值， 从LUT储存存储器130内的函数中选择一个，用这个函数求视觉处理信号 Si的像素值。
图6，是表示图2所示的基于两维LUT的视觉处理部120的输出入特 性曲线。对应模糊信号US的电平BO的特性，是图6最上部的曲线，对应 模糊信号US的电平B4，是图6的最下部曲线。这是因为，对图像中不同 场所存在的相同信号电平L的像素，不是进行一样的处理，由于周围的信 息(模糊信号US)可能变明可能变暗。也就是，图像处理装置100中，对应 周边像素的亮度分布，表示对每个像素能够进行最适当的明亮程度的调整。
例如，只是基于输入信号的值改变像素值的话，图像中的不同场所存 在的相同的信号电平的像素的情况下，就会进行相同的明亮程度的变化。 也就是，增加图像中的人物的背景的暗的场所的亮度的话，相同浓度的人 的毛发也会变亮。然而，图像处理装置100中，对应于注目像素的周围信 息变更处理的强度，所以，例如可以使图像中的人物的毛发的浓度不变， 只增加相同浓度的背景的亮度。
图7，是表示能够看见明亮的风景的窗户为背景的人物站立的逆光状 态。图像处理装置100中，即便是图7那样的逆光状态，窗外的风景部分 还是那么明亮，只是增加人物部分的部分增益提高亮度是可能的。
视觉处理部120输出视觉处理信号Si的话，输入信号处理部150，对 视觉处理信号Si进行噪点降低处理。
例如，在视觉处理部120的处理中，对某个像素的处理如选择了图6 的最上部那样的特性的情况，包含在图像数据中的噪点成份同样增高增益 S/N变坏。还有，对于相同输入信号电平L的另外的像素，选择了图6最 下部那样的特性的情况，相反地噪点振幅被压制，噪点不明显。这种情况， 对全像素进行一样强度的噪点降低处理的话，可以考虑噪点成份多的像素 的噪点不能充分的得到压制，相反地，噪点的振幅小的部分的边缘钝化的
情况。为此，对应噪点的强度改变适当的强度的噪点降低处理是必要的。
输入信号处理部150中，利用增益算出部140算出的增益G对每个像 素调整噪点降低效果。
例如，当增益值G大的时候，包含在图像数据中的噪点成份增益也上 升S/N比变坏。这种情况下，增加噪点降低信号SNR的比例，相反地降低 视觉处理信号Si的比例。还有，增益G小的时候，噪点成份的放大率也 小，由此，增加视觉处理信号Si的比例，降低噪点降低信号SNR的比例。 也就是，对应相当于视觉处理的强度的增益G，适当的变更噪点降低处理 的效果输出输出信号Sout。
如以上所说，根据本实施方式，只对由视觉处理的噪点成份注目的部 分，实施适当的噪点降4氐处理。由此，通过过渡的实施噪点降低处理，可 以避免图像数据内的物体的边缘钝化、失去图像数据整体内的清晰度变成 模糊画像这样的弊害。也就是，只要根据本实施方式，在防止图像劣化的 同时，像素单位的进行视觉处理成为可能。
尚，输入信号处理部150的构成，不只限于上述的例。例如，比噪点 降低处理电路151的后段的构成要素，对应于这个图像处理装置組入怎样 的制品适宜的变更是可能的。为此，根据制品，例如省略开口校正处理电 路154，或者省略矩阵处理电路155均为可能的。还有，输入信号处理部 150中，对应于組入的制品，作为校正信号特征的处理采用噪点降低处理 以外的信号处理亦可。
《发明的实施方式1的变形例1》
LUT储存存储器130中储存的轮廓数据，不是视觉处理后的像素值， 登录增益G亦可。这种情况下，视觉处理部120，求这个增益G和注目像 素的像素值相乘的处理后的像素值。
图8，是将图2的特性转换成增益G的显示。还有，图9，是用曲线 表示基于图8的两维LUT的视觉处理部120的输出入特性。与图6的例一 样，对应于模糊信号的电平B0的特性，是图9的最上部的曲线，对应于 模糊信号的电平B4的特性，是图9最下部的曲线。
因此，输入信号处理部150只要参照LUT储存存储器130，不设置增 益算出部140亦可。
《发明的实施方式1的变形例2》
图10，是表示本发明的实施方式1的变形例2所涉及的图像处理装置 的构成的方框图。这个例中，增益G也输入到视觉处理部120,视觉处理 部120,构成为对输入信号的每个像素乘上增益G进行校正。
由此，视觉处理部120不再有必要参照LUT储存存储器130，实现缩 短处理时间成为可能。
《发明的实施方式2》
图11，是表示本发明的实施方式2所涉及的图像处理装置200的构成 的方框图。图像处理装置200，也是組入例如数码摄像机等中，对多个像 素形成的图像的每一个像素，进行基于人的视觉特性的信号处理。
图像处理装置200，是在进行这个信号处理前，进行复原输入信号清 晰度的处理的图像处理装置。
图像处理装置200中，进行复原清晰度处理的一个的开口校正处理。 介于透镜或低通过过滤器输入的输入信号，高频部分变得迟钝。开口校正 处理，是对输入的高频部分变得迟钝的输入信号，如原信号那样提高高频 成份，复原清晰度的校正处理。
例如，如图12(a)所示，高频成份输入了迟钝信号Sl的话，在开口校 正中，使信号Sl上加上高区域空间过滤器，抽出只是输入信号的高频成 份也就是输入信号的轮廓的信号S2(参照图12(b))。并且，通过在信号Sl(实 信号)上加上信号S2，使迟钝的高频成份提高得到强调了轮廓的信号S3(参 照图12(c))就成为可能。
图像处理装置200，亮度信号生成后，对亮度信号进行开口校正处理。
(图像处理装置200的构成)
图像处理装置200，如图11所示，包括视觉处理部120、增益算出部 140、亮度信号生成电路210、高区域空间过滤处理电路220、效果调整器 230、乘法器240、及加法器250。
亮度信号生成电路210，从输入信号生成亮度信号输出。
高区域空间过滤处理电路220，从亮度信号生成电路210输出的亮度 信号抽出输入信号的高频成份(高频成份AP)。
效果调整器230，基于增益算出部140求得的增益G，对每个像素求
表示提高高频成份量的效果调整信号a 。
本实施方式中，增益值G和效杲调整信号a的关系，用GXa二l的式 子表示。AP是实施视觉处理后的信号中包含的高频成份的振幅。也就是， 实施视觉处理后的信号中包含的高频成份的振幅为AP那样，决定视觉处 理前的高频成份的提高量。图13，是表示基于这个式子增益G和效果调整 信号a的关系的曲线。
乘法器240，构成为向加法器250输出高频成份AP和效果调整信号a 的相乘的信号。这个校正高频成份AP2，是校正了高频成份AP的信号。
加法器250，是相加亮度信号生成电路210输出的亮度信号、和乘法 器240输出的校正高频成份AP2，输出給视觉处理部120。
(图像处理装置200的动作)
例如，假设LUT储存存储器130内的轮廓数据具有图14那样的特性。 这种情况，实施视觉处理之际，即便是相同的输入信号值L由于周边信息 (模糊信号US)，选择如特性(A)那样的特性、或者是选择特性(B)那样的特 性。
例如，选摔了特性(A)那样的特性的情况下，输入信号的电平的振幅被 抑制。为此，如图12(c)的S3那样强调的明显成份，在视觉处理后，如图 15的S4那样破碎。相反，选摔了特性(B)那样的特性的情况，如图15的 S5那样明显成份被过度的强调。
其结果，视觉处理后的图像，由于输入信号电平和它周边像素的亮度 分布，使局部的对比度降低、或者相反地对比度纟皮过度强调的对比度不均 匀的图像，这是有可能的。
于是，图像处理装置200中，由增益算出部140输出的增益G降低或 放大高频成份的信号S2(参照图12(b))。由此，避免视觉处理后的图像数据 的对比度不均匀成为可能。
图像处理装置200中，首先，增益算出部140从输入信号求增益G。 另一方面，亮度信号生成电路210，从输入信号生成亮度信号。
亮度信号生成电路210生成亮度信号的话，高区域空间过滤处理电路 220,从这个亮度信号抽出输入信号的高频成份AP。另一方面，效果调整 信号230，基于增益G求效果调整信号a。并且，乘法器240,相乘高频
成份AP和效果调整信号a输出校正高频成份AP2。由此，加法器250相 加亮度信号和校正高频成份AP2输出给视觉处理部120。
视觉处理部120,对加法器250的输出进行视觉处理(例如，动态范围 的压缩或阶调校正)。如前所述，因为效果调整信号ct是由GXa=l的关 系式决定的，所以枧觉处理部120进行视觉处理后的信号中包含的高频成 《分成为AP。
然而，根据本实施方式，对应视觉处理部120进行的信号处理，对每 个像素决定复原清晰度处理(这个例中开口校正处理)的强度。上述例中， 具体地讲，通过枧觉处理对于预想的对比度降4氐的高频成份，高强度施加 开口校正处理成为可能。还有，相反地对于预想的对比度被强调了的部分， 施加弱开口校正处理的调整效果成为可能。
尚，即便是实施方式2，也如实施方式1或其他的变形例那样，在视 觉处理部120的后段再设置输入信号处理部150，对应增益G进行噪点降 低处理亦可。
还有，实施方式l和它的变形例、及实施方式2的图像处理装置使用 的轮廓数据的形式，并不限定为5X5的矩阵形式。例如，输入信号及模糊 信号US用8比特表示的情况，轮廓数据，就为256X256的矩阵形式。这 种情况，是增加两维LUT所必须的存储器容量，或者实现更正确地视觉处 理均是可能的。
还有，存储器容量小的系统中，在允许容量中储存轮廓数据，必要的 轮廓数据不在两维LUT内的情况下，只要在输出增益值及视觉处理信号的 值相邻的轮廓数据进行线形插入既可。由此，用最小的轮廓数据就能够实 现视觉处理。
还有，噪点降低处理，也可以在视觉处理前进行。这种情况，对应增 益值G，边改变噪点降低处理的强度，边对预想的视觉处理中会被放大的 噪点成份进行视觉处理前的预定强度的噪点降低处理。 《发明的实施方式3》
实施方式3中，说明包括上述图像处理装置的数码摄像机的例，图16, 是表示本实施方式所涉及的数码摄像机300的构成的方框图。数码摄像机 300，如同图所示，图像处理装置IOO(参照实施方式1)，包括摄像部310、
输入信号转换器320、显示部330、压缩转换部340、及记录保存部350。
摄像部310，摄像被摄物，输出对应这个图像的数码图像数据。这个 例中，摄像部310，包括光学系统311、图像传感器312、模拟前置313(图 中的AFE缩写)、及时间发生器314(图中的TG缩写)。
光学系统311，由透镜等形成，将被摄物成像于图像传感器312上。
图像传感器312，将从光学系统311射入的光转变为电信号。作为图 像传感器312，使用CCD(Charge CoupledDevice)的图像传感器、或者使用 CMOS的图像传感器等，可以采用各种各样的图像传感器。
模拟前置313,对图像传感器312输出的模拟信号进行除去噪点、信 号放大、A/D转换等的信号处理。
时间发生器314，向图像传感器312或模拟前置313提供成为图像传 感器312或模拟前置313的动作时刻基准的时钟信号。
输入转换器320，转换将压缩转换部340的输出(后述)及模拟前置313 的输出中的一个输入给图像处理装置100。这个转换，例如，利用者是使 用数码摄像机300中设置的操作开关(未图示)等进行搡作的。
显示部330,显示图像处理装置100的输出(图像处理后的图像数据)。
压缩转换部340，用JPEG等所规定的规格压缩/解压转换图像处理装 置100的输出。详细的说，压缩转换部340, 乂fi已录4呆存部350输出压缩 图像数据，对输入信号转换部320解压由记录保存部350读出的图像数据 输出给输入信号转换器320。
记录保存部350,接受压缩了的图像数据(文件数据)，记录于记录媒体 (例如不挥发性存储器等)。还有，记录保存部350，读出被压缩了记录在记 录媒体中的图像数据输出给压缩转换部340。
(数码摄像机300的动作)
数码摄像机300中，摄像时，摄像部310输出的图像数据介于输入信 号转换器320输入图像处理装置100。图像处理装置100中，对输入信号 的每个像素进行适当的视觉处理及通过视觉处理校正劣化了的信号特性。 图像处理装置100的输出，显示在显示部330的同时，由压缩转换部340 压缩。由压缩转换部340压缩了的图像数据由i己录保存部350记录于记录 媒体。
例如，使用者，使压缩转换部340的输出输入图像处理装置IOO转换 输入信号转换器320，图像处理装置100，对这个输入信号，每个像素都进 行适当的视觉处理、和校正由视觉处理劣化了的信号特性。这个信号，与 摄像时一样，显示在显示部330的同时，相应于必要性，被压缩转换部340 压缩后，由记录保存部350记录于记录媒体。
如上所述，只要根据本实施方式，对摄像时的图像数据，就可以进行 每个像素的适当的视觉处理、以及校正由视觉处理劣化了的信号特性。
而且，数码摄像机300中，因为包括输入信号转换器320及压缩转换 部340，所以，不只是摄像部310的输出图像数据，还可以将压缩转变成 JPEG等记录于记录媒体的图像数据作为图像处理装置100的输入信号。 也就是，对摄像后的图像数据的每个像素也进行适当的视觉处理、和校正 由于视觉处理劣化了的信号特性。例如，对于如图7所示的记录了逆光状 态的图像的图像数据，实施视觉处理使人物部分变亮，再有，对应于这个 变化量能够实施噪点降低处理及开口校正处理。
尚，数码摄像机300中，取代图像处理装置100，作为图像处理装置 100的变形例说明了的图像处理装置、或实施方式2的图像处理装置200 也可以使用。
还有，数码摄像机中，因为屏幕显示用图像数据等清晰度低，可以无 视一些对比度的降低或强调。为此，采用图像处理装置100的数码摄像机 中，对屏幕显示用的图像数据，只要禁止由开口校正处理的增益值G的效 果调整，加快图像处理的处理速度成为可能的。
—产业上的利用可能性一
本发明所涉及的图像处理装置，具有在防止图像劣化的同时，以像素 单位能够进行视觉处理的效果。因此，对在数码摄像机等的摄像装置中， 动态范围的压缩、阶调校正、对比度强调等的进行基于人的视觉特性的信 号处理的图像处理装置是有用的。
权利要求
1. 一种图像处理装置，对由多个像素形成的图像数据进行信号处理，其特征在于包括对上述图像数据，进行像素单位的，基于人的视觉特性的信号处理的视觉处理的视觉处理部，和进行像素单位的，至少是复原输入上述视觉处理部的上述图像数据的清晰度的信号处理、以及校正由上述视觉处理引起的信号劣化的信号处理中的一种信号处理的输入信号处理部，另外上述视觉处理部，构成为基于上述视觉处理中的像素的注目像素的像素值和上述视觉处理后的像素值的关系所决定的规定函数进行上述视觉处理，上述输入信号处理部，对应使用上述函数所规定的增益进行上述信号处理。
2. 根据权利要求1所述的图像处理装置，其特征在于 上述视觉处理，是动态范围的压缩、色调校正、以及对比度强调中的至少一种处理。
3. 根据权利要求1所述的图像处理装置，其特征在于 还包括生成基于上述注目像素的周边像素的信号电平的分布的信号的信号电平分布信号的空间处理部，另上述视觉处理部，基于按照每个上述信号电平分布信号的各种各样值 定义的上述注目像素的信号电平和校正后的注目像素的信号电平的关系的 多个函数进行上述校正处理。
4. 根据权利要求3所述的图像处理装置，其特征在于 上述信号电平分布信号，是模糊信号。
5. 根据权利要求3所述的图像处理装置，其特征在于 上述枧觉处理部，对应上述信号电平分布信号的电平，从上述多个函数中选择一个，基于所选择的函数进行上述视觉处理。
6. 根据权利要求3所述的图像处理装置，其特征在于 还包括以矩阵形式储存上述多个函数的LUT储存存储器。
7. 根据权利要求1所述的图像处理装置，其特征在于 校正上述信号劣化的信号处理，是噪点降低处理。
8. 根据权利要求1所述的图像处理装置，其特征在于 复原上述清晰度的信号处理，是开口校正处理。
9. 根据权利要求l所述的图像处理装置，其特征在于 上述输入信号处理部，当上述增益在所规定值以下的情况下，被禁止进行上述信号处理。
10. —种数码摄像机，其特征在于 包括拍摄被摄体，输出对应这个图像的由多个像素形成的图像数据的摄像部，和对上述摄像部的输出进行像素单位的信号处理的权利要求1所述的图 像处理装置。
11. 根据权利要求IO所述的数码摄像机，其特征在于 还包括输出用所规定的压缩格式压缩上述图像处理装置所处理的图像数据 的压缩数据、以及解压记录在所规定的记录媒体中的上述压缩数据的解压 数据的压缩转换部，和转换是否向上述图像处理装置输出上述摄像部的输出及上述解压数 据的任何一个的输入信号选择器。
12. 根据权利要求IO所述的数码摄像机，其特征在于 上述输入信号处理部，当上述增益在所规定值以下的情况下，被禁止进行上迷信号处理。
13. 根据权利要求10所述的数码摄像机，其特征在于 还包括根据上述增益值设定上述输入信号处理部的信号处理的效果量的效果调整部。
全文摘要
在防止图像劣化的同时，以像素单位能够进行视觉处理的图像处理装置。基于决定视觉处理中的像素的注目像素的像素值和上述视觉处理后的像素值的关系的所规定的函数，设置以像素单位进行视觉处理的视觉处理部(120)。还有，为复原输入视觉处理部(120)的图像数据的清晰度的信号处理、及校正由于视觉处理的信号劣化的信号处理中的至少一个，设置像素单位进行的输入信号处理部(150)。并且，这个输入信号处理部(150)中，对应利用上述函数决定的增益进行上述信号处理。
文档编号H04N5/21GK101394471SQ200810144858
公开日2009年3月25日 申请日期2008年7月31日 优先权日2007年9月13日
发明者小川真由, 山本靖利, 谷添幸广 申请人:松下电器产业株式会社