图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质的制作方法
【专利摘要】图像处理装置包含：劣化度检测部(200)、校正系数计算部(201)和适应灰度校正部(202)。所述劣化度检测部(200)按照图像数据中的每个规定尺寸的区域，检测画质的劣化度。所述校正系数计算部(201)按照所述图像数据的每个所述区域，计算用于灰度校正的校正系数。所述适应灰度校正部(202)根据由所述劣化度检测部(200)检测出的所述劣化度和由所述校正系数计算部(201)计算出的所述校正系数，进行与所述图像数据的所述劣化度对应的适应性的灰度校正。
【专利说明】
图像处理装置、摄像装置、图像处理方法以及可通过计算机处 理的非暂时性的存储介质
技术领域
[0001]本发明涉及进行由于例如霭或雾等的影响而损害了对比度、色彩等画质的图像的校正的图像处理装置、图像处理方法、图像处理程序以及摄像装置。【背景技术】
[0002]有时由于在大气中产生的霭或雾等的影响，损害了图像的对比度、色彩等画质。例如，有时在屋外拍摄远方的山等的风景照片。如果在该拍摄中远方的山上发生朦胧，则有时由于该朦胧损害了拍摄出的图像的品质，会使对远方的山的视觉辨认性降低。
[0003]作为解决这种问题的技术，存在例如专利文献1、2。专利文献1公开了从图像内计算亮度的最大值、最小值，进行对比度校正以使这些计算出的最大值和最小值之间的差增大，从而使图像的视觉辨认性提高。如果是该专利文献1，则能够获得对于在整个图像上均匀发生朦胧的图像提高视觉辨认性的充分效果。
[0004]专利文献2公开了按照图像的每个局部区域计算亮度的最大、最小，进行适应的对比度校正以使这些最大、最小之间的差增大。如果是该专利文献2,则即使在没有朦胧的区域和有朦胧的区域混杂的图像中也能够进行使视觉辨认性提高的充分的对比度校正。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:日本特开2012-054659号公报[〇〇〇8] 专利文献2:日本特开2010-152536号公报(特许第4982475号)
【发明内容】
[〇〇〇9]发明要解决的课题
[0010]但是，在专利文献1中，由于使用整个图像的亮度的最大值、最小值，所以有时没有朦胧的区域和有朦胧的区域在图像内混杂。在该情况下，由于亮度的最大值与最小值之间的差本来就有增大的倾向，所以无法充分获得使图像的视觉辨认性提高的效果。
[0011]关于专利文献2,与朦胧的深浅无关地根据图像的局部区域内的亮度的最大值、最小值来进行处理。因此，有时会对本来没有朦胧的区域进行过度的对比度校正，使得校正后的图像的违和感变大。
[0012]本发明的目的在于提供一种通过估计朦胧成分的深浅并进行与该朦胧成分的深浅对应的适应的灰度校正，能够提高发生朦胧的区域的视觉辨认性的图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质。
[0013]用于解决课题的手段
[0014]本发明的图像处理装置具有:劣化度检测部，其按照图像数据中的每个规定尺寸的区域，检测画质的劣化度;校正系数计算部，其按照所述图像数据的每个所述区域，计算用于灰度校正的校正系数；以及适应灰度校正部，其根据由所述劣化度检测部检测出的所述劣化度和由所述校正系数计算部计算出的所述校正系数，进行与所述图像数据的所述劣化度对应的适应性的灰度校正。
[0015]本发明的摄像装置具有:摄像元件，其拍摄来自被摄体的光像;根据权利要求1所述的图像处理装置，其检测通过所述摄像元件的摄像而取得的图像数据的画质的劣化度， 根据该劣化度来进行与所述图像数据的所述劣化度对应的适应性的灰度校正；以及输出部，其输出由所述图像处理装置进行灰度校正后的所述图像数据。
[0016]本发明的图像处理方法按照图像数据中的每个规定尺寸的区域，检测画质的劣化度，按照所述图像数据的每个所述区域，计算用于灰度校正的校正系数，根据所述劣化度和所述校正系数，进行与所述图像数据的所述劣化度对应的适应性的灰度校正。
[0017]本发明的可通过计算机处理的非暂时性的存储介质存储用于使计算机实现以下功能的图像处理程序:劣化度检测功能，按照图像数据中的每个规定尺寸的区域，检测画质的劣化度;校正系数计算功能，按照所述图像数据的每个所述区域，计算用于灰度校正的校正系数；以及适应灰度校正功能，根据由所述劣化度检测部检测出的所述劣化度和由所述校正系数计算部计算出的所述校正系数，来进行与所述图像数据的所述劣化度对应的适应性的灰度校正。
[0018]发明效果
[0019]根据本发明，能够提供根据朦胧的深浅来进行适应性的对比度校正，能够获得高品质的图像的图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质。【附图说明】
[0020]图1是示出应用了本发明的图像处理装置的第1实施方式的摄像装置的结构框图。 [〇〇21]图2是示出该装置中的朦胧校正部的具体结构框图。[〇〇22]图3A是示出用于说明该装置对输入图像的各个像素的朦胧成分H(x，y)的估计的该输入图像的示意图。[〇〇23]图3B是示出将由该装置取得的每个关注像素的min(Ir、Ig、Ib)图像化后的朦胧成分H(x，y)的图。[〇〇24]图4A是示出利用该装置中的校正系数计算部对输入图像进行局部区域的扫描的图。[〇〇25]图4B是示出由该装置中的校正系数计算部生成的局部区域直方图的图。[〇〇26]图4C是示出由该装置中的校正系数计算部生成的累计直方图的图。[〇〇27]图5是示出由该装置中的对比度校正部进行的对比度校正动作的示意图。
[0028]图6是该装置中的摄影动作流程图。
[0029]图7是该装置中的朦胧成分校正动作流程图。[〇〇3〇]图8是示出本发明的摄像装置的第2实施方式的朦胧校正部的具体结构框图。
[0031]图9是示出在该装置中的朦胧校正部的处理中使用的针对亮度信号的权重值的图。[〇〇32]图10示出在该装置中的朦胧校正部的处理中使用的针对饱和度信号的权重值的图。
[0033]图11是示出本发明的摄像装置的第3实施方式的朦胧校正部的具体结构框图。 [〇〇34]图12是示出该装置中的颜色校正部的饱和度校正系数的图。【具体实施方式】
[0035][第1实施方式]
[0036]以下，参照附图来说明本发明的第1实施方式。
[0037]图1示出应用了图像处理装置的摄像装置的结构框图。在该图中，粗实线的箭头表示影像信号的流动，细实线的箭头表示控制信号的流动，虚线的箭头表示其他信号的流动。 以下，在图2、图8和图11中也同样。
[0038]镜头系统100包含对焦镜头和光圈101等。镜头系统100使来自被摄体的光像在摄像传感器102上成像。镜头系统100包含自动对焦用电机(AF电机)103。在AF电机103上连接有镜头控制部107。镜头控制部107对AF电机103进行驱动控制。由此，镜头系统100通过AF电机103的驱动，使对焦镜头沿着该镜头系统100的光轴方向移动。
[0039]在镜头系统100的光轴上设置有摄像传感器102。摄像传感器102接收来自镜头系统100的光像，并进行光电转换后输出RGB的模拟影像信号。在摄像传感器102的输出端，经由A/D转换器104连接有缓存105、信号处理部108、朦胧校正部109、压缩部110和输出部111。
[0040]A/D转换器104将从摄像传感器102输出的RGB的模拟影像信号转换为RGB的数字影像fg号。[0041 ]缓存105临时保存从A/D转换器104传送的数字影像信号。
[0042]测光评价部106根据存储在缓存105中的数字影像信号的亮度信息和从控制部112 输出的控制信号来控制镜头系统100的光圈101，并且调整从摄像传感器102输出的模拟影像信号的输出电平等。[〇〇43]信号处理部108针对保存在缓存105中的数字影像信号进行公知的插值处理、WB校正处理和降噪处理等图像处理，将该图像处理后的数字影像信号传送到朦胧校正部109。 [〇〇44]朦胧校正部109输入从信号处理部108传送的数字影像信号，进行针对数字影像信号中的由于例如朦胧的影响而导致对比度降低的区域来强调对比度的校正。朦胧校正部 109将校正后的数字影像信号传送到压缩部110。[〇〇45]图2示出朦胧校正部109的一个例子的具体结构框图。朦胧校正部109包含朦胧成分估计部(劣化度检测部)200、校正系数计算部201和对比度校正部(适应灰度校正部)202。 将从信号处理部108输出的数字影像信号分别输入到朦胧成分估计部200、校正系数计算部 201和对比度校正部202。朦胧成分估计部200、校正系数计算部201和对比度校正部202分别由控制部112来控制动作。将由朦胧成分估计部200估计出的朦胧成分和由校正系数计算部 201计算出的校正系数分别传送到对比度校正部202。[〇〇46]朦胧成分估计部200输入从信号处理部108传送的数字影像信号，估计使从数字影像信号取得的图像数据的画质降低的成分的深浅。将使图像数据的画质降低的主要因素表示为劣化度。劣化度损害图像数据的对比度或者色彩等画质，成为使图像的识别性恶化的主要因素。劣化度包含例如包含在图像数据中的朦胧成分、霭成分或者污浊的成分等由于淡白色而使画质降低的成分的深浅。
[0047]根据朦胧成分是高亮度且低饱和度这样的特征来进行朦胧成分等的劣化度的估计。由此，劣化度表示越是高亮度且低饱和度，劣化越大。
[0048]劣化度的估计是比较图像数据的各个像素中的多个颜色通道彼此即R值、G值、B值彼此的大小，计算这些R值、G值、B值中的成为最小值的R值、G值或者B值。[〇〇49]具体而言，朦胧成分估计部200输入从信号处理部108传送的数字影像信号，通过该数字影像信号来取得图像数据(以下称作输入图像I)，检测该输入图像I上的坐标(x，y) 中的各个像素的R值、G值、B值，根据该R值、G值、B值来进行该各个像素的朦胧成分(发生朦胧的情况、朦胧的浓度等)的估计。
[0050]这里，在通过从信号处理部108传送的数字影像信号取得的输入图像I上，如果分别设坐标(x，y)处的朦胧成分为H(x，y)、坐标(x，y)处的1?值、G值、B值为Ir、Ig、lb，贝lj坐标 (x，y)的各个像素中的朦胧成分H(x，y)如下式(1)所示，利用Ir、Ig、lb的各个最小值min (Ir、Ig、Ib)来进行估计。
[0051] H(x，y) =min(Ir、Ig、Ib).(1)[〇〇52]图3A表示用于说明各个像素的朦胧成分H(x，y)的估计的输入图像I的示意图。在朦胧成分估计部200中预先设定形成为规定尺寸nXm(n、m为自然数)的矩阵状的扫描区域 (小区域)F。扫描区域F形成为例如5X5个像素的矩阵状。扫描区域F将矩阵状的中心设为关注像素。扫描区域F可以是例如1个像素。[〇〇53]朦胧成分估计部200针对输入图像I，按照每个像素来对扫描区域F进行扫描。朦胧成分估计部200在扫描区域F的扫描中，按照输入图像I上的成为关注像素的每个像素来计算min(Ir、Ig、Ib)，并将该min(Ir、Ig、Ib)设为朦胧成分H(x，y)。[〇〇54]具体说明的话，朦胧成分估计部200在扫描区域F的扫描中，按照输入图像I的每个像素，在包含扫描区域F的关注像素的nXm的矩阵内计算各个!^1!(^、以、113)。即，朦胧成分估计部200针对扫描区域F内的全部像素，计算min (Ir、Ig、lb)。朦胧成分估计部200求出该各个111；[11(11'、]^、113)中的进一步最小值的111；[11(11'、]^、113)，将该111；[11(11'、]^、113)设为关注像素的朦胧成分琪1，7)=1^11(1^18、113)。朦胧成分估计部200对于整个输入图像1扫描扫描区域F，针对输入图像I的各个像素求出朦胧成分H(x，y) =min( Ir、Ig、lb)。
[0055]朦胧成分估计部200计算关注像素的朦胧成分H(x、y)作为关注像素的劣化度或者扫描区域F的劣化度。并且，如后所述，朦胧成分H(x、y)越大，劣化度越大。[〇〇56]图3B示出将每个关注像素的min(Ir、Ig、Ib)图像化后的朦胧成分H(x，y)。在该朦胧成分H(x，y)的图像数据中，高亮度且低饱和度的区域的像素值的R值、G值、B值相同且增大。由此，表示朦胧成分H(x，y)的上述式(1)的右边min(Ir、Ig、Ib)的值增大。即，在高亮度且低饱和度的区域中，朦胧成分H(x，y)成为大的值。即，能够将劣化度视作大的劣化度。
[0057]与此相对，关于低亮度或者高饱和度的区域的像素值，由于R值、G值、B值中的任意方的值变小，所以上述min (Ir、Ig、lb)的值变小。即，在低亮度或高饱和度的区域中，朦胧成分H(x，y)成为小的值。即，能够将劣化度视作小的劣化度。[〇〇58]并且，朦胧成分H(x，y)具有如下的特征。即朦胧的浓度越浓，朦胧成分H(x，y)为越大的值，表示劣化度大。朦胧的浓度越淡，朦胧成分H(x，y)为越小的值，表示劣化度小。 [〇〇59]校正系数计算部201在针对输入图像I的扫描区域F的扫描中，按照输入图像I的每个像素，计算用于灰度校正的校正系数(增益系数)。校正系数计算部201计算校正系数，该校正系数用于进行针对在输入图像I中对比度低的区域来强调对比度的校正。校正系数计算部201以不考虑朦胧成分H(x，y)的方式计算校正系数。
[0060]具体而言，在校正系数计算部201中预先设定有局部区域E。局部区域E形成为规定尺寸kXl(k、l为自然数)的矩阵状。局部区域E将矩阵状的中心设为关注像素。
[0061]如图4A所示，校正系数计算部201针对输入图像I，扫描局部区域E的内部。校正系数计算部201针对输入图像I扫描局部区域E的内部，并按照每个关注像素，分别生成如图4B 所示的以该关注像素为中心的局部区域E内的R值、G值、B值的直方图(局部区域的直方图)。 该图所示的直方图的横轴表示R值、G值或者B值的亮度成分，纵轴表示度数(像素数)。[〇〇62]校正系数计算部201对按照输入图像I中的每个关注像素而生成的局部区域的直方图进行累计并生成如图4C所示的累计直方图。图4C所示的累计直方图的横轴表示R值、G 值或者B值的亮度成分。纵轴表示与R值、G值或者B值的亮度成分对应的颜色像素的累计度数(累计像素数)、或者与R值、G值或者B值的亮度成分对应的颜色像素的灰度校正(直方图平坦化)后的输出值。根据累计直方图进行灰度校正(直方图平坦化)的方法使用公知的图像处理技术即可。[〇〇63]校正系数计算部201根据累计直方图来计算针对关注像素的R值、G值、B值的校正系数(增益系数)gainR、gainG、gainB。
[0064]这里，分别设关注像素(x，yW9l^(l、G值、B值为I_r(x，y)、I_g(x，y)、I_b(x，y)。当分别设根据图4C所示的累计直方图，与校正后的输出图像(校正图像RP)相对应地计算出的 R值、G 值、B 值为 1_r(x，y)、1_g(x，y)、1_b(x，y；^，
[0065] 各个校正系数gainR、gainG、gainB利用
[0066]gainR=1_r(x,y)/I_r(x,y)...(2)
[0067]gainG = 1_g(x,y)/I_g(x,y).(3)
[0068]gainB = 1_b(x，y)/I_b(x，y).(4)[〇〇69]来计算。[〇〇7〇]即，校正系数计算部201按照输入图像I的每个像素，计算用于局部区域的直方图的平坦化的各个校正系数8&:[111?、83；[116、83；[1113。各个校正系数83；[111?、83；[116、83；[1113是按照输入图像I的像素的多个颜色通道R、G、B的每一个进行相乘的增益系数。[0〇71]这样，各个校正系数gainR、gainG、gainB是指定以关注像素为中心的局部区域E， 使用该局部区域E内的像素信息(例如直方图、最大值/最小值等)而计算出来的。[0〇72] 校正系数计算部201将计算出的各个校正系数gainR、gainG、gainB传送到对比度校正部202。[〇〇73]对比度校正部(适应灰度校正部)202根据由朦胧成分估计部200估计出的朦胧成分H(x，y)和由校正系数计算部201计算出的校正系数gainR、gainG、gainB，进行与输入图像 I的朦胧成分H(x，y)对应的适应性的灰度校正(对比度校正)。即，对比度校正部202输入由朦胧成分估计部200估计的朦胧成分H(x，y)和由校正系数计算部201计算的校正系数 gainR、gainG、gainB，根据朦胧成分H(x，y)和各个校正系数gainR、gainG、gainB，按照输入图像I的每个像素，通过增益相乘来进行对比度校正。[〇〇74] S卩，如图5所示，对比度校正部202根据输入图像I的每个像素的朦胧成分H(x，y)， 进行各个校正系数gainR、gainG、gainB的调节。对比度校正部202将各个像素的像素值与调节后的各个校正系数gainR、gainG、gainB进行相乘，获得进行对比度校正后的校正图像RP。
[0075]对比度校正部202针对输入图像I中的朦胧深的区域、即高亮度且低饱和度的区域，将各个校正系数gainR、gainG、gainB调整为保持原有的值。[〇〇76]对比度校正部202针对输入图像I中的朦胧淡的区域、即低亮度或者高饱和度的区域，将各个校正系数gainR、gainG、gainB调整为接近1.0。[〇〇77]具体而言，对比度校正部202根据由朦胧成分估计部200估计的朦胧成分H(x，y)来进行由校正系数计算部201计算的各个校正系数gainR、gainG、gainB的归一化即加权。对比度校正部202使用通过加权来调整后的各个校正系数gainR’、gainG’、gainB’，进行针对各个像素的对比度校正。对比度校正部202包含归一化系数计算部202a和系数转换部202b。 [〇〇78]归一化系数计算部202a计算对由朦胧成分估计部200估计出的朦胧成分H(x，y)进行归一化即加权后的归一化系数。[〇〇79]系数转换部202b根据由归一化系数计算部202a计算的归一化系数，将由校正系数计算部201计算的各个校正系数gainR、gainG、gainB转换为加权后的各个校正系数gainR’、 gainG’、gainB’。
[0080]系数转换部202b按照由归一化系数计算部202a计算的归一化系数越大，越保持该各个校正系数gainR、gainG、gainB的值的方式来转换由校正系数计算部201计算的各个校正系数〖8；[111?、〖3；[116、〖3；[1113。系数转换部20213按照归一化系数越小，使各个校正系数〖3；[111?、 gainG、gainB的值越接近1.0的方式进行转换。[〇〇811具体而言，如果设校正强度参数为Strength，则通过加权来调整后的各个校正系数gainR’、gainG’、gainB’利用
[0082]gainR' =1.0+(gainR—1.0) XH(x,y)/255XStrength..(5)
[0083]gainG' =1.0+(gainG —1.0) XH(x,y)/255XStrength.(6)
[0084]gainB' =1.0+(gainB —1.0) XH(x,y)/255XStrength.(7)[〇〇85] 来计算。[0〇86]根据各个校正系数gainR’、gainG’、gainB’，在成为朦胧成分H(x，y)的高亮度且低饱和度的区域中，朦胧成分H(x，y)成为大的值。由此，将各个校正系数gainR’、gainG’、 gainB’调整为保持原有的值88；[111?、83；[116、83；[1113的大小。
[0087]与此相对，在成为朦胧成分H(x，y)的低亮度或者高饱和度的区域中，朦胧成分H (x，y)成为小的值。由此，将各个校正系数gainR’、gainG’、gainB’调整为接近1.0的值。 [0〇88]使用通过加权进行了调整后的各个校正系数gainR’、gainG’、gainB’来进行针对各个像素的对比度校正。针对各个像素的对比度校正利用
[0089]I’_r(x，y) = I_r(x，y) XgainR’.(8)
[0090]I’_g(x，y) = I_g(x，y) XgainG’.(9)[0091 ]I’_b(x，y) = I_b(x，y) XgainB’.(10)[〇〇92] 来计算。[〇〇93]压缩部110对于从朦胧校正部109传送的数字影像信号，进行公知的JPEG、MPEG等压缩处理后传送到输出部111。
[0094]输出部111将从压缩部110传送来的压缩处理后的数字影像信号保存到存储卡等中。输出部111也可以将从压缩部110传送来的数字影像信号传送到另行设置的显示器。
[0095]控制部112由微型计算机等构成。控制部112分别与A/D转换器104、测光评价部106、镜头控制部107、信号处理部108、朦胧校正部109、压缩部110、输出部111之间进行数据等的收发，并且分别控制A/D转换器104、测光评价部106、镜头控制部107、信号处理部108、 朦胧校正部109、压缩部110和输出部111。在控制部112上连接有外部I/F部113。外部I/F部 113具有电源开关、快门按钮和用于进行摄影、记录或者再现等各个模式的切换的接口。为了进行摄影、记录或者再现的模式的切换，接口可以包含例如摄影按钮、记录按钮和再现按钮。
[0096]接着，参照图6所示的拍摄动作流程图说明如上述那样构成的装置的拍摄动作。
[0097]在由操作者对外部I/F部113进行操作后，该外部I/F部113在步骤S1中将被操作输入的与摄影相关的各种设定的信息、例如标题信息等发送到控制部112。
[0098]当按下了外部I/F部113的摄影按钮时，控制部112切换到摄影模式。
[0099]在摄影模式中，当来自镜头系统100的光像入射到摄像传感器102时，摄像传感器 102接收来自镜头系统100的光像，并进行光电转换后输出模拟影像信号。将模拟影像信号输入到A/D转换器104 J/D转换器104将从摄像传感器102输出的模拟影像信号转换为数字影像信号，并发送到缓存105。缓存105临时保存从A/D转换器104传送的数字影像信号。
[0100]信号处理部108在步骤S2中对保存在缓存105中的数字影像信号进行公知的插值处理、WB校正处理、降噪处理等图像处理。信号处理部108将通过图像处理获得的数字影像信号传送到朦胧校正部109。
[0101]朦胧校正部109在步骤S3中输入从信号处理部108传送来的数字影像信号，进行针对该数字影像信号中的由于例如朦胧的影响而导致对比度降低的区域来强调对比度的校正。
[0102]具体而言，朦胧校正部109按照图7所示的朦胧成分校正动作流程图来进行朦胧成分的校正动作。朦胧成分估计部200在步骤S10中输入从信号处理部108传送的数字影像信号，根据该数字影像信号来估计朦胧成分的深浅。具体而言，朦胧成分估计部200如图3A所示针对由数字影像信号取得的输入图像I，扫描规定尺寸的扫描区域F的内部。朦胧成分估计部200按照扫描区域F的成为关注像素的输入图像I上的像素的各个扫描区域F中的每一个，利用上述式(1)来计算min(Ir、Ig、Ib)，将该min(Ir、Ig、Ib)设为朦胧成分H(x，y)。[〇1〇3]朦胧成分H(x，y)具有以下特征:朦胧的浓度越深，朦胧成分H(x，y)为越大的值，朦胧的浓度越浅，朦胧成分H(x，y)为越小的值。在如图3B所示的图像化后的朦胧成分H(x，y) 那样朦胧深的高亮度且低饱和度的区域中，朦胧成分H(x，y)成为大的值。在朦胧浅的低亮度或者高饱和度的区域中，朦胧成分H(x，y)为小的值。[〇1〇4]校正系数计算部201在步骤S11中计算校正系数，该校正系数用于进行针对输入图像I中的高亮度且低饱和度的由于朦胧成分的影响而导致对比度降低的区域来强调对比度的校正。
[0105]具体而言，如图4A所示，校正系数计算部201针对输入图像I，扫描局部区域E的内部。校正系数计算部201扫描局部区域E的内部，按照每个关注像素，生成如图4B所示的以该关注像素为中心的局部区域E内的R值、G值、B值的直方图(局部区域的直方图)。[〇1〇6]校正系数计算部201对按照各个关注像素中的每一个而生成的局部区域的直方图进行累计，生成如图4C所示的累计直方图。
[0107]校正系数计算部201根据该累计直方图，利用上述各个式(2)至(4)来计算针对关注像素的R值、G值、B值的各个校正系数ga i nR、ga i nG、ga i nB。[〇1〇8] 校正系数计算部201将计算出的各个校正系数gainR、gainG、gainB传送到对比度校正部202。[〇1〇9]对比度校正部202在步骤S12中输入由朦胧成分估计部200估计的朦胧成分H(x，y) 和由校正系数计算部201计算的各个校正系数88；[111?、83；[116、83；[11，并根据朦胧成分11(1，7) 和各个校正系数88；[111?、83；[116、83；[1113，按照输入图像1的每个像素，通过增益相乘进行对比度校正。[〇11〇]例如，对比度校正部202针对输入图像I中的朦胧深的区域即高亮度且低饱和度的区域，调整为保持各个校正系数gainR、gainG、gainB的值。对比度校正部202针对朦胧浅的区域即低亮度或者高饱和度的区域，调整为使各个校正系数gainR、gainG、gainB接近1.0。[〇112]这样，如图5所示，对比度校正部202根据输入图像I的每个像素的朦胧成分H(x， y)，进行各个校正系数gainR、gainG、gainB的调节。对比度校正部202将各个像素的像素值与调节后的各个校正系数gainR’、gainG’、gainB’进行相乘，获得与朦胧成分H(x、y)对应的进行对比度校正后的校正图像RP。[〇113]具体而言，如上述各个式(5)至(7)所示，对比度校正部202针对各个校正系数 gainR、gainG、gainB进行与朦胧成分H(x，y)的值对应的加权。对比度校正部202使用通过加权进行了调整后的各个校正系数gainR’、gainG’、gainB’，进行针对各个像素的对比度校正。
[0114]对比度校正部202使用通过加权进行了调整后的各个校正系数gainR’、gainG’、 gainB’，利用上述各个式(8)至(10)，计算针对各个像素的对比度校正后的像素值I’_r(x， y)、r_g(x，y)、I’_b(x，y)〇
[0115]压缩部110在步骤S4中针对从朦胧校正部109传送的对比度校正后的数字影像信号，即进行朦胧成分的校正后的数字影像信号，进行公知的JPEG、MPEG等压缩处理后传送到输出部111。
[0116]输出部111在步骤S5中将从压缩部110传送的压缩处理后的数字影像信号保存到存储卡等中，或者另行将从压缩部110传送的数字影像信号传送到显示器。[〇117]这样，根据上述第1实施方式，设置朦胧校正部109,该朦胧校正部109进行针对数字影像信号中的由于例如朦胧成分的影响导致对比度降低区域来强调对比度的校正。朦胧校正部109针对输入图像I中的朦胧成分深的区域即高亮度且低饱和度的区域，调整为保持各个校正系数gainR、gainG、gainB的值。朦胧校正部109针对朦胧成分浅的区域即低亮度或者高饱和度的区域，调整为使各个校正系数gainR、gainG、gainB接近1.0。由此，能够根据朦胧深或者浅等浓度，进行针对由于朦胧的影响导致对比度降低的区域来强调对比度的校正。
[0118]其结果，根据上述第1实施方式，通过估计朦胧成分的深浅(劣化度)，并进行与该朦胧成分的深浅(劣化度)对应的适应性的灰度校正，能够取得能够提高发生朦胧的区域 (劣化度大的区域)的视觉辨认性的校正图像RP。
[0119][第2实施方式]
[0120]接着，参照附图来说明本发明的第2实施方式。第2实施方式是与第1实施方式的图1同样的结构，仅朦胧校正部109的内部结构不同。另外，对与图2相同的部分标注相同标号并省略其详细说明。[〇121]图8示出应用了图像处理装置的摄像装置中的朦胧校正部109的结构框图。朦胧校正部109在上述第1实施方式的朦胧校正部109中追加了颜色空间转换部203。
[0122]颜色空间转换部203的输出端与朦胧成分估计部200连接。颜色空间转换部203与控制部112连接。颜色空间转换部203与控制部112之间进行数据等的收发，并且由控制部 112对转换动作进行控制。
[0123]颜色空间转换部203将从信号处理部108传送的数字影像信号转换为YCbCr(亮度信号、色差信号)颜色空间或者HSV(色相信号、饱和度信号、明度信号)颜色空间。颜色空间转换部203将转换后的YCbCr颜色空间或者HSV颜色空间的数字影像信号传送到朦胧成分估计部200。
[0124]朦胧成分估计部200输入从颜色空间转换部203传送的YCbCr颜色空间或者HSV颜色空间的数字影像信号。朦胧成分估计部200根据该数字影像信号中的亮度信号Y、色差信号(饱和度信号)CbCr等来估计朦胧成分。
[0125]图9示出针对亮度Y的权重值H1。针对亮度Y的权重值H1表示0.0?1.0的值。随着变为高亮度，权重值H1的值变大。即，朦胧成分越多(朦胧越深)，权重值H1为越大的值。[〇126]图10表示针对饱和度CbCr的权重值H2。针对饱和度CbCr的权重值H2表示0.0?1.0的值。随着变为低饱和度，权重值H2的值变大。即，朦胧成分越多(朦胧越深)，权重值H2为越大的值。
[0127]根据这样的亮度Y与饱和度CbCr之间的关系，朦胧成分估计部200根据例如下式 (11)来计算朦胧成分H。
[0128]H=H1XH2……(11)
[0129]如下计算亮度Y和饱和度CbCr。[〇13〇]如果是YCbCr颜色空间，则亮度为Y，饱和度为(Cbl+Crl)1/2。
[0131]如果是HSV颜色空间，则亮度为V，饱和度为S。
[0132]接着，对如上所述构成的朦胧校正部109的朦胧校正动作进行说明。
[0133]颜色空间转换部203将数字影像信号转换为YCbCr颜色空间或者HSV颜色空间，将该转换后的YCbCr颜色空间和HSV颜色空间的数字影像信号传送到朦胧成分估计部200。
[0134]朦胧成分估计部200输入从颜色空间转换部203传送的YCbCr颜色空间或者HSV颜色空间的数字影像信号，并根据该数字影像信号中的亮度信号Y、色差信号(饱和度信号) CbCr等来估计朦胧成分。[〇135] 校正系数计算部201计算各个校正系数〖8；[111?、〖3；[116、〖3；[1113，所述各个校正系数 gainR、gainG、gainB用于进行针对在输入图像I中对比度低的区域来强调对比度的校正。
[0136]对比度校正部202输入由朦胧成分估计部200估计的朦胧成分H和由校正系数计算部201计算的各个校正系数gainR、gainG、gainB，与第1实施方式同样，如上述各个式(5)至 (7)所示，针对各个校正系数gainR、gainG、gainB进行与朦胧成分H(x，y)的值对应的加权。 对比度校正部202进行对比度校正，该对比度校正利用如下方式进行:将通过加权进行了调整后的各个校正系数gainR’、gainG’、gainB’与输入图像I的每个像素相乘。
[0137]这样，根据上述第2实施方式，即使设置将从信号处理部108传送的RGB的影像信号转换为YCbCr颜色空间或者HSV颜色空间的颜色空间转换部203,也能够获得与上述第1实施方式同样的效果。
[0138][第3实施方式]
[0139]接着，参照附图来说明本发明的第3实施方式。第3实施方式是与第1实施方式的图 1同样的结构，仅朦胧校正部109的内部结构不同。另外，对与图8相同的部分标注相同标号并省略其详细说明。[〇14〇]图11示出应用了图像处理装置的摄像装置中的朦胧校正部109的结构框图。朦胧校正部109在上述第2实施方式的朦胧校正部109中追加了颜色校正部204和第2颜色空间转换部205。
[0141]在对比度校正部202的输出端连接有颜色校正部204。在颜色校正部204的输出端连接有第2颜色空间转换部205。颜色校正部204、第2颜色空间转换部205与控制部112连接。 颜色校正部204、第2颜色空间转换部205与控制部112之间进行数据等的收发，并且，由控制部112进行动作控制。
[0142]校正系数计算部201使用从颜色空间转换部203传送的YCbCr颜色空间或者HSV颜色空间的数字影像信号中的亮度信号Y(V)，计算用于对比度校正的校正系数。具体而言，校正系数计算部201根据例如上述图4B所示的以关注像素为中心的规定尺寸的局部区域E中的亮度直方图，计算针对各个像素的亮度信号Y的校正系数gainY。
[0143]对比度校正部202针对从颜色空间转换部203传送的YCbCr颜色空间和HSV颜色空间的数字影像信号中的亮度信号Y，进行对比度校正。对比度校正部202根据从朦胧成分估计部200传送的朦胧成分H(x，y)和从校正系数计算部201传送的校正系数gainY，对亮度信号Y进行对比度校正。
[0144]针对亮度信号Y的对比度校正根据以下的式来进行。
[0145]利用
[0146]gainY’ =1.0+(gainY—l ?0) XH(x，y)/255XStrength.(11)
[0147]，计算调整后的校正系数gainY’。
[0148]利用下述的校正式来进行对比度校正。
[0149]Y’(x，y)=Y(x，y) XgainY’.(12)[〇15〇]对比度校正部202将对比度校正后的亮度信号Y’和色差信号(饱和度信号)CbCr传送到颜色校正部204。
[0151]颜色校正部204计算与由对比度校正部202调整后的校正系数gainY’对应的饱和度校正系数，针对各个像素的色差信号(饱和度信号)进行强调饱和度的处理。
[0152]图12表示针对校正系数gainY’的饱和度校正系数。gainY’越小，饱和度校正系数越增强饱和度强调。在该图中，随着gainY’变小，饱和度校正系数从1.0变大至2.0。[〇153]在针对高亮度的像素进行加宽灰度的校正的情况下，上述校正系数gainY’具有取小于1.0的值的倾向。由于乘以小于1.0的增益系数(校正系数gainY’)，对比度校正后的图像的饱和度降低。[〇154]由此，颜色校正部204在针对各个像素的亮度信号的对比度校正处理后，进行与增益系数(校正系数gainY’)对应的饱和度校正。具体而言，在校正系数gainY’小于1.0的情况下，颜色校正部204与该校正系数gainY’的值相应地将饱和度CbCr(或者S)乘以大于1.0的增益系数(饱和度校正系数)，来强调饱和度CbCr(或者S)。
[0155]第2颜色空间转换部205使YCbCr(亮度信号、色差信号)颜色空间或者HSV(色相信号、饱和度信号、明度信号)颜色空间的数字影像信号恢复成RGB的数字影像信号。
[0156]如果是这样的朦胧校正部109的结构，则颜色校正部204计算与由对比度校正部 202调整后的校正系数gainY’对应的饱和度校正系数，与各个像素的色差信号(饱和度信号)相乘来强调饱和度。校正系数gainY’越小，则在饱和度的强调中越增强饱和度强调。
[0157]第2颜色空间转换部205使YCbCr(亮度信号、色差信号)颜色空间或者HSV(色相信号、饱和度信号、明度信号)颜色空间的数字影像信号恢复成RGB的数字影像信号。[〇158]这样，根据上述第3实施方式，由于设置颜色校正部204，所以能够进行与朦胧成分 H(x，y)相应的对比度校正，该颜色校正部204计算与由对比度校正部202调整后的校正系数对应的饱和度校正系数，并针对各个像素的色差信号(饱和度信号)强调饱和度。其结果，能够取得高品质的对比度校正图像RP。
[0159]另外，本发明不限于上述各个实施方式，可以如下进行变形。
[0160]虽然在上述各个实施方式中，估计朦胧成分H(x，y)来作为劣化度，但是不限于此， 可以针对图像数据中的霭成分或雾成分、白色成分进行对比度校正。
[0161]上述各实施方式以利用硬件的处理为前提，但是不限于此，例如还能够为另行通过软件来处理从信号处理部108输出的影像信号的结构。
[0162]虽然上述各实施方式针对从信号处理部108输入的影像信号的各个像素进行朦胧成分估计和校正系数计算的处理，但是，不限于此，例如还能够在缩小影像信号的尺寸后， 进行朦胧成分估计、校正系数计算的处理。
[0163]在针对缩小图像进行朦胧成分估计、校正系数计算的处理的情况下，在对比度校正时，在利用公知的插值处理(例如双线性插值、双三次插值等)将朦胧成分和校正系数放大到原有的尺寸后进行对比度校正即可。
[0164]并且，本发明不直接限定为上述实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。 进而，可以适当组合不同实施方式的结构要素。
[0165]标号说明
[0166]100:镜头系统；101:光圈；102:摄像传感器；103:自动对焦用电机(AF电机)；104: A/D转换器；105:缓存；106:测光评价部；107:镜头控制部；108:信号处理部；109:朦胧校正部；110:压缩部；111:输出部；112:控制部；113:外部I/F部;200:朦胧成分估计部;201:校正系数计算部;202:对比度校正部;203:颜色空间转换部;204:颜色校正部;205:第2颜色空间转换部。
【主权项】
1.一种图像处理装置，其特征在于，具有:劣化度检测部，其按照图像数据中的每个规定尺寸的区域，检测画质的劣化度；校正系数计算部，其按照所述图像数据的每个所述区域，计算用于灰度校正的校正系 数；以及适应灰度校正部，其根据由所述劣化度检测部检测出的所述劣化度和由所述校正系数 计算部计算出的所述校正系数，进行与所述图像数据的所述劣化度对应的适应性的灰度校正。2.根据权利要求1所述的图像处理装置，其特征在于，所述适应灰度校正部根据由所述劣化度检测部检测出的所述劣化度，对由所述校正系 数计算部计算的所述校正系数进行加权。3.根据权利要求1所述的图像处理装置，其特征在于，所述图像数据由多个像素数据构成，所述像素数据包含多个颜色通道，所述劣化度检测部在包含所述图像数据的关注像素的该图像数据的所述区域内，比较 所述多个颜色通道的大小并选择最小值的所述颜色通道，根据该最小值来检测所述劣化度。4.根据权利要求3所述的图像处理装置，其特征在于，所述多个颜色通道包含R值、G值、B值，所述劣化度检测部选择所述R值、所述G值、所述B值中的成为最小值的所述R值、所述G 值或者所述B值。5.根据权利要求1所述的图像处理装置，其特征在于，所述校正系数计算部计算增益系数来作为所述校正系数，该增益系数用于针对所述图 像数据的关注像素强调对比度。6.根据权利要求1所述的图像处理装置，其特征在于，所述适应灰度校正部包含:归一化系数计算部，其计算对由所述劣化度检测部检测出的所述劣化度进行了加权而 得到的归一化系数;以及系数转换部，其根据由所述归一化系数计算部计算的所述归一化系数，对由所述校正 系数计算部计算的所述校正系数进行转换。7.根据权利要求6所述的图像处理装置，其特征在于，所述系数转换部在转换所述校正系数时，所述归一化系数越大，越以保持所述校正系 数的值的方式将所述校正系数转换为该值，并且，所述归一化系数越小，越使所述校正系数 的值接近1.0来进行转换。8.根据权利要求1所述的图像处理装置，其特征在于，所述劣化度包含与所述图像数据的每个所述区域的对比度和饱和度关联的指标。9.根据权利要求8所述的图像处理装置，其特征在于，所述劣化度表示包含朦胧成分、霭成分或者污浊的成分的高亮度且低饱和度的程度。10.根据权利要求9所述的图像处理装置，其特征在于，所述适应灰度校正部针对由所述校正系数计算部计算出的所述校正系数，进行与所述朦胧成分、所述霭成分或者所述污浊的成分的值对应的加权，使用进行了该加权后的所述 校正系数来进行针对所述图像数据的各个像素的对比度校正。11.根据权利要求1所述的图像处理装置，其特征在于，所述校正系数计算部生成所述图像数据中的局部区域内的各个像素值的亮度成分的 直方图，对该直方图进行累计而生成累计直方图，根据该累计直方图来计算针对所述各个 像素值的所述校正系数。12.根据权利要求1所述的图像处理装置，其特征在于，该图像处理装置包含:颜色空间转换部，其将所述图像数据转换至YCbCr颜色空间或者 HSV颜色空间，所述劣化度检测部根据由所述颜色空间转换部转换后的所述YCbCr颜色空间中的亮度 和饱和度，或者所述HSV颜色空间中的亮度和饱和度，检测所述劣化度。13.根据权利要求12所述的图像处理装置，其特征在于，所述劣化度检测部考虑针对所述亮度的第1权重值和针对所述饱和度的第2权重值，根 据所述亮度和所述饱和度之间的关系来计算所述劣化度，其中所述第1权重值与所述第2权重值具有以下关系:所述第1权重值随着所述亮度变 高而值增大，所述第2权重值随着所述饱和度降低而值增大。14.根据权利要求1所述的图像处理装置，其特征在于，该图像处理装置包含:颜色校正部，其计算与由所述适应灰度校正部调整后的所述校 正系数对应的饱和度校正系数，根据该饱和度校正系数来进行针对所述图像数据的饱和度强调。15.根据权利要求14所述的图像处理装置，其特征在于，在所述校正系数小于1.0的情况下，所述颜色校正部根据该校正系数的值，将饱和度乘 以大于1.0的所述饱和度校正系数来强调所述饱和度。16.根据权利要求14所述的图像处理装置，其特征在于，所述校正系数越小，所述饱和度校正系数越增强饱和度强调。17.—种摄像装置，其特征在于，具有:摄像元件，其拍摄来自被摄体的光像；根据权利要求1所述的图像处理装置，其检测通过所述摄像元件的摄像而取得的图像 数据的画质的劣化度，根据该劣化度来进行与所述图像数据的所述劣化度对应的适应性的 灰度校正；以及输出部，其输出由所述图像处理装置进行灰度校正后的所述图像数据。18.—种图像处理方法，其特征在于，按照图像数据中的每个规定尺寸的区域，检测画质的劣化度，按照所述图像数据的每个所述区域，计算用于灰度校正的校正系数，根据所述劣化度和所述校正系数，进行与所述图像数据的所述劣化度对应的适应性的 灰度校正。19.一种可通过计算机处理的非暂时性的存储介质，其存储用于使计算机实现以下功 能的图像处理程序:劣化度检测功能，按照图像数据中的每个规定尺寸的区域，检测画质的劣化度；校正系数计算功能，按照所述图像数据的每个所述区域，计算用于灰度校正的校正系 数；以及适应灰度校正功能，根据由所述劣化度检测部检测出的所述劣化度和由所述校正系数 计算部计算出的所述校正系数，来进行与所述图像数据的所述劣化度对应的适应性的灰度 校正。
【文档编号】H04N9/04GK105960658SQ201580007406
【公开日】2016年9月21日
【申请日】2015年2月9日
【发明人】铃木博
【申请人】奥林巴斯株式会社