图像处理装置、图像处理方法以及图像处理程序的制作方法_2

文档序号:9553555阅读:来源:国知局
正部350使用颜色再现矩阵对来自颜色插值部340的RGB信号进行线性变换校正成规定的信号电平。伽马校正部360基于预先存储的适当曝光量对来自颜色校正部350的RGB信号实施灰度变换,并且实施与输出图像的显示器等的颜色显示特性对应的伽马变换。因为图像数据的各像素是由不具有规定灰度例如28= 256灰度的数据构成的信号,因此为了成为具有上述灰度的信号而通过伽马校正部360实施灰度变换。图像处理部300将来自伽马校正部360的输出信号从RGB信号转换成由亮度信号Y以及颜色差信号Cb、Cr构成的信号并输出。基于输出的图像数据在未图示的显示部显示图像,或者作为图像文件保存于存储介质等中。此外,图像处理部300除了之前说明的图像处理之外,还可以进行噪声去除、缺陷像素校正、像差校正、图像的放大/缩小、图像数据的压缩处理等。
[0040]接着,对黑点校正部310进行说明。首先,对本实施方式中的黑点校正的概要进行说明。相对于从摄像光学系统100向摄像元件200的受光区域的中央部入射的光主要是垂直入射光来说,在受光区域的周边部以一定角度入射的光较多。因此,像素在受光区域的中央部和周边部接收的光强度不同,发生黑点。另外,因为摄像光学系统100中的各种镜头的折射率、透射率等具有波长依赖性、入射角依赖性,因此有时产生颜色黑点。当发生黑点时,即使被摄体是相同颜色的情况下,例如在摄像图像的周边部,像素值也偏离上述相同颜色。在这样的黑点现象中,存在图像中的颜色成分偏离本来的被摄体的颜色成分的颜色黑点、和图像中的亮度成分偏离本来的被摄体的亮度成分的亮度黑点。在本实施方式中对校正图像数据的颜色黑点(颜色黑点校正)的情况进行说明。
[0041]在本实施方式中,作为用于校正颜色黑点的校正信息使用与颜色黑点特性对应的表示函数(以下称为“特性函数”。)的信息。该特性函数表示使用摄像光学系统100和摄像元件200拍摄相同颜色的被摄体(例如摄像图像中的全部像素成为白色那样的被摄体)的情况下的摄影图像中的各位置处的像素值。本实施方式的特性函数成为与构成图像数据的中心的像素(光轴中心)的距离对应的函数。当将图像中的位置设定为(X,Y)时,可以用X和Y的函数表示特性函数,但如本实施方式那样,通过成为关于距光轴中心的距离的函数,则能够降低运算量。
[0042]此外,如本实施方式的特性函数那样,之所以成为以光轴为中心的各向同性的特性是考虑近年来摄像装置中存在以下的设计倾向。第一,像高-主线光角特性为非线性且并非单调增加。这例如像便携终端那样,与降低高度而减小出射光瞳距离时对应。第二,光学系统和摄像系统的分光特性拥有主线光角依赖性和波长依赖性。这被视为伴随有低成本化的情况、或者通过价廉的薄膜蒸镀而设置有IRCF(红外线截止滤光器)的情况。
[0043]另外,在本实施方式中,将R像素值对G像素值之比R/G、和B像素值对G像素值之比B/G作为颜色成分,将它们作为颜色黑点校正的对象。由此,从校正对象中除去亮度信息,仅提取颜色?目息。
[0044]特性函数的具体示例如下述那样。当将距构成图像数据的中心的像素的距离设为X时,以以下所示的式(1)、式(2)近似地表达关于颜色成分R/G的特性函数fr(x)以及关于颜色成分B/G的特性函数fb (X)。
[0045]fr (x) = jrO (l+jrl*x2+jr2*x4+jr3*x6+jr4*x8)..?式(1)
[0046]fb (x) = jbO (l+jbl*x2+jb2*x4+jb3*x6+jb4*x8)..?式(2)
[0047]此外,在本实施方式中,以使从图像数据的中心像素到边缘的像素的距离为1的方式进行了归一化。即,X满足0<χ<1。在式(1)中,fr(0) =jr0表示图像数据的中心像素(X = 0的位置的像素)的颜色成分R/G。同样,在式⑵中,fb⑹=jbO表示图像数据的中心像素的颜色成分B/G。fr(x)/jr0和fb(x)/jb0表示关于位置x的像素的颜色相对于上述相同颜色(颜色成分R/G和B/G)的相对强度。因此,作为包含于fr(x)/jr0和fb (x) /jbO的系数的jrl?jr4和jbl?jb4成为表示摄像光学系统100和摄像元件200的摄像图像中的颜色的不均匀性即颜色黑点特性的参数。本来,在拍摄相同颜色的被摄体的情况下,这些参数应该为0。但是,如上述那样,当由于光源、被摄体的分光特性的差异、或光学系统、摄像系统的分光特性主线光角依赖性、波长依赖性而发生颜色黑点时,这些参数不为0。此外,以下也将系数jrl?jr4、系数jbl?jb4称为“黑点系数”。
[0048]此外,特性函数的次数不是必须为8次。另外,根据光学系统,既存在能够以更低次的函数表达的情况,也存在必须以更高次的函数表达的情况。在那种情况下,也可以适当扩展、缩减次数。另外,式(1)、(2)虽然为了降低运算量而仅包括偶数次的项,也可以包括奇数次的项。另外,上述式子所示出的曲线根据参数不同而成为各种形状,但在0 < X < 1的范围内既不需要单调增加,也不需要单调减少。对于像高X具有非线性且不是单调增加的主线光角特性的光学设计、颜色黑点特性,也存在不是单调增加的情况。而且,也可以利用R/G、B/G以外的不同的颜色空间来表示颜色黑点特性。例如,也可以利用CIE xyz或L*a*b等空间来表示。
[0049]因为基于以上所述进行颜色黑点校正,因此黑点校正部310具有:校正信息存储部311 (存储单元)、颜色成分计算部312、候选列表选择部313 (第2选择单元)、校正信息生成部314 (校正信息生成单元)、黑点校正试行部315 (校正试行单元)、校正信息选择部316 (第1选择单元)和黑点校正执行部317 (校正单元)。
[0050]校正信息存储部311按照每个光源种类将校正信息以及多种光源关联起来作为拍摄状况进行存储。在本实施方式中,预先计算在多个光源(太阳光、普通荧光灯/LED光源等人工光源)下的黑点系数。具体地说,通过在各光源下利用摄像装置1拍摄颜色均匀的被摄体,并通过最小平方法等进行拟合来计算黑点系数。另外,使摄影条件(对焦镜头113的焦点位置、光圈121的光圈量、机械式快门122的快门速度、光电转换元件210的灵敏度)变化,利用摄像装置1拍摄被摄体,计算黑点系数。而且,将计算出的黑点系数、光源的种类、摄影条件对应起来存储于校正信息存储部311中。在本实施方式中,式(1)、式(2)和黑点特性的在每种光源下不同的黑点系数存储于校正信息存储部311中。
[0051]图4是存储有校正信息的数据库(表)的一例。如图示那样,数据库具有“编号”、“光源”、“太阳光/人工光源”、“黑点系数”、“摄影条件”的各个字段(各列)。
[0052]在“编号”字段中存储有包含于数据库中的用于唯一地确定各条记录(各行)的编号。在“光源”字段中存储有光源的种类(蓝天、多云、普通荧光灯、LED光源等)信息。在“太阳光/人工光源”字段中,存储有拍摄时的光源是太阳光还是人工光源的信息。在“黑点系数”字段中,存储有与各光源对应的黑点系数(jrl?jr4,jbl?jb4)。在“摄影条件”字段中存储有拍摄时的摄影条件。在各条记录中,也可以与摄影条件对应地包含多个黑点系数的集合。在图4的编号4中,作为一例,包含有对焦镜头113的焦点位置是pi的情况下的黑点系数的集合即系数集合1、对焦镜头113的焦点位置是p2的情况下的黑点系数的集合即系数集合2。
[0053]颜色成分计算部312根据从摄像元件200输出的图像数据计算与R/G、B/G对应的颜色成分。颜色成分计算部312将图像数据分割成由多个像素构成的块(像素块)。例如,如图2的粗线所示那样,颜色成分计算部312以4行X 4列的像素作为单位块,将拜耳图像分割成多个块进行处理。而且,颜色成分计算部312对包含于各块中的R像素、G像素、B像素的像素值进行累计。设该累计值为SR、Σ6, ΣΒο接着,颜色成分计算部312以各块内的R像素的数量、G像素的数量、Β像素的数量分别去除2R、Σ6、ΣΒ来计算各块的平均值。设关于R、G以及Β的平均值为AveR、AveG和AveB。并且,颜色成分计算部312分别以AveG来除AveR、AveB而除去亮度成分。由此,计算出AveR/AveG、和AveB/AveG来作为块单位的颜色成分。以下将这些表述为颜色成分Ave (R/G)和颜色成分Ave (B/G)。
[0054]此外,既可以将图像数据分割成上述那样的格子状(行X列),也可以从图像数据的中心起分割成同心圆状。另外,分割图像数据的块的数量(包含于单位块中的像素数)能够任意设定,块数越多(包含于单位块中的像素数越少),单位块内的混色的影响越小,因此后面叙述的校正信息的选择精度越高。但是,因为与块数成正比,运算量也增加,因此可以兼顾运算量和校正信息的选择精度来进行适当设定。
[0055]候选列表选择部313根据摄像光学系统100和摄像元件200的摄影条件,从校正信息存储部311存储的关于多种光源的校正信息中选择成为候选的校正信息(以下也称为“候选列表”。),该成为候选的校正信息用于后面叙述的校正信息选择部316选择与适当的颜色黑点校正结果对应的校正信息。具体地说,候选列表选择部313首先从摄影控制部400获取拍摄时的摄影条件的信息。而且,候选列表选择部313基于从摄影控制部400获取的拍摄时的摄影条件中的机械式快门122的快门速度、光圈121的光圈量以及摄像元件200的传感器灵敏度来估计拍摄时的照度。候选列表选择部313在估计出的照度为规定值以上的情况下,从数据库选择以太阳光为光源的情况下的校正信息(第1校正信息,数据库的编号1?5)作为候选列表。另一方面,候选列表选择部313在估计出的照度不足规定值的情况下,从数据库选择人工光源的情况下的校正信息(第2校正信息,数据库的编号6?11)作为候选列表。
[0056]关于候选列表选择部313选择出的候选列表,在存在不适合从摄影控制部400获取的摄影条件的内容的情况下,校正信息生成部314根据校正信息存储部311存储的校正信息新生成与该摄影条件对应的校正信息。
[0057]例如,在候选列表中包含与图4的编号4对应的光源的情况下,从摄影控制部400获取的对焦镜头113的焦点位置与p1、p2都不同。在这种情况下,对焦镜头113的焦点位置和校正信息视为具有线性的关系,根据系数集合1和系数集合2并通过线性插值新生成(合成)各黑点系数。例如,根据Pi和P2的位置关系来计算系数集合1涉及的jrl和系数集合2涉及的jrl的线性组合,并将该计算值作为新的黑点系数jrl。由校正信息生成部314新生成的校正信息在黑点校正试行部315和黑点校正执行部317中使用。此外,在对焦镜头113的焦点位置与校正信息不存在线性关系的情况下,也能够通过以适当的N次函数进行近似等来生成校正信息。
[0058]黑点校正试行部315基于校正信息存储部311存储的校正信息按照光源试行性地对图像数据进行颜色黑点校正。黑点校正试行部315使用候选列表的校正信息对图像数据进行颜色黑点校正。在本实施方式中,试行性地对颜色成分计算部312计算出的图像数据的各块的颜色成分Ave(R/G)、Ave(B/G)进行颜色黑点校正。试行的颜色黑点校正通过进行下式(3)、式⑷的运算来执行。此外,此时的X是从图像的中心到各块内的任意的代表像素为止的距离。例如,也可以将在图2中的以粗线示出的各块中的中心像素作为代表像素。
[0059]Ave (R/G)? = Ave (R/G) / (l+jrl*x2+jr2*x4+jr3*x4+jr4*x8)..?式(3)
[0060]Ave (B/G),= Ave (B/G) / (l+jbl*x2+jb2*x4+jb3*x4+jb4*x8)..?式(4)
[0061]关于进行了颜色黑点校正的结果,校正信息选择部316将块分类成与颜色成分的值有关的多个类别。而且,校正信息选择部316按光源对各类别的块的数量进行合计,将与多个类别中的合计值的最大值最大的光源对应的校
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1