图像处理装置以及图像处理方法

专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及一种电子静态相机或高清晰(HD)电影等领域中的图像处理装置以及图像处理方法。详细地讲，涉及一种以从作为单板彩色摄像元件的具有颜色阵列(array:排列)的周期性的多颜色像素的拍摄元件输出的原始图像RAW数据为处理对象的用于抑制画质变差的技术，该画质变差的原因是:该RAW数据由于进行四个像素混合等的偶数像素混合输出，因而在彼此正交的第I以及第2阵列方向上像素数据分布产生不均衡，从而导致画质变差。由于隔行变换等原因，本发明不仅需要在一维垂直的一个方向上进行处理，而且在二维水平垂直的两个方向上、也就是需要在面上确保自然的清晰度并降低伪色的产生，以便提高画质。另外，在利用比原始图像RAW数据小的小型RAW记录模式进行的摄影、预览显示或HD电影等的动态图像摄影中，为了变更数据尺寸而进行尺寸调整(resize)处理，SP使当以在二维方向上像素数据分布出现不均衡的原始图像RAW数据为处理对象，来进行处理变得更复杂的尺寸调整处理时，本发明也能够实现高质量的图像处理。
背景技术：
在数字相机中设有用于在CCD(Charge Coupled Device)或 M0S(Metal OxideSemiconductor)等拍摄元件上进行彩色摄像的分色滤光器。利用拜耳方式将R(红)、G(绿)、B(蓝)的原色滤光器以棋盘格状图案(checkerboard pattern)的方式配置。将通过分色滤光器拍摄到的图像数据称为RAW数据。RAW数据与JPEG格式等的数据相比文件尺寸较大，显像(再现)再生处理花费时间。随着拍摄元件的高像素化和高速读出处理技术的发展，已逐渐开始使用比原始图像小的小型RAW图像。小型RAW图像在静止图像拍摄时使用液晶监视器确认被摄体的监视模式或尺寸进行了归一化的动态图像摄影的HD电影中也备受瞩目。作为小型的拍摄处理方法，具有在拍摄元件内将每隔一个像素的同色信号相加进行读出的方法(像素混合读出方法)。由此，能获得输出有效像素数被减少了的小型的RAW数据，能够实现处理时间的缩短和省电。作为像素混合的代表例，有九个像素混合方式和四个像素混合方式。九个像素混合方式是将水平方向上的每隔一个像素的同色信号的三个像素以及垂直方向上的每隔一个像素的同色信号的三个像素形成的合计九个像素的矩阵的像素数据混合作为一个像素份的数据，将图像尺寸(数据量)设为1/9。另一方面，四个像素混合方式是将水平方向上的每隔一个像素的同色信号的两个个像素以及垂直方向上的每隔一个像素的同色信号的两个像素形成的合计四个像素的矩阵的像素数据混合作为一个像素份的数据，将图像尺寸(数据量)设为1/4。关于利用原色拜耳阵列的九个像素混合，使用图29 图36进行简单说明。b、gl、g2、r的小写字母表示混合前的彩色要素，B、G1、G2、R表示混合后的彩色要素。b和B表示蓝色；gl和g2表不绿色；r和R表不红色。gl和Gl分别表不位于彩色要素b、B的横向相邻的绿色；g2和G2分别表示位于彩色要素b、B的纵向相邻的绿色。基于RGB拜耳阵列的周期性，沿着水平方向的bg或BG的反复的行数据和gr或GR的反复的行数据，在垂直方向上被交替地输出。在混合之后也保持着混合前的拜耳阵列。图29表示的是混合对象的彩色要素为b (蓝色)的情况。粗线的四边形表示在原始图像RAW数据的分布空间内混合对象的九个彩色要素b的像素数据所占的单位块。在以块为单位的第I行第I列的块中，用圆圈表示的第I行第I列、第I行第3列、第I行第5列、第3行第I列、第3行第3列、第3行第5列、第5行第I列、第5行第3列以及第5行第5列的9个像素b的数据通过相加而被混合。该混合之后的像素数据B，如图30所示，以担当位于上述三行三列的左右方向的中央和上下方向的中央的像素的方式被配置。图30的像素数据B的位置在图29中为同色b的像素位置。另外，后面要提到的四个像素混合的情况在这一点上不同。这一点通过对图36和图41进行比较可知。这种配置方式适用于所有的单位块，混合后的彩色要素B(蓝色)的像素数据的配置像素如图30所示。图31表示混合对象的彩色要素为gl (绿色)的情况。粗线的四边形表示的是混合对象的九个彩色要素gl (绿色)的像素数据所占的单位块。在图31的单位块中，其左右方向中央的像素位于图29的相邻的两个单元块的正中央。在图31中，在第I行第I列的块中，用圆圈表示的第I行第4列、第I行第6列、第I行第8列、第3行第4列、第3行第6列、第3行第8列、第5行第4列、第5行第6列以及第5行第8列的九个像素的数据通过相加而被混合。该混合之后的像素数据，如图32所示，以担当位于上述三行三列的左右方向的中央和上下方向的中央的像素的方式被配置。这种配置方式适用于所有的单位块，混合后的彩色要素Gl (绿色)的像素数据的配置像素如图32所示。若将图30和图32结合的话，就成为图33。由该图可知，彩色要素B和彩色要素GI的混合数据配置像素的坐标分布在水平方向上成为均等的分布。其间隔在水平方向上为两个像素份。图30和图32中的水平方向间隔为五个像素份，为奇数。因此，在相隔五个像素份的相邻的两个像素的正中央位置处能够毫不困难地配置其他颜色的像素。设m为任意的自然数，奇数用(2m+l)表示。其中央为{(2m+l)+l}/2 =m+l(自然数)，因为除得开，所以正好相当于中央。图34表示混合对象的彩色要素为g2 (绿色)的情况。混合数据配置像素的坐标成为图36中的G2。图35表示混合对象的彩色要素为r (红色)的情况。混合数据配置像素的坐标成为图36中的R。图36是将混合数据配置像素B、G1、G2和R的坐标统一进行了表示。由图36可知，排列在垂直方向的彩色要素B和彩色要素G2、或者彩色要素Gl和彩色要素R成为均等间隔。该间隔在垂直方向上为两个像素份。在同色的彩色要素之间以相隔五个像素份的方式相邻的两个像素的正中央位置上能够毫不困难地配置其他颜色的像素。如上所述，在九个像素混合的情况下，混合数据配置像素的坐标在水平方向和垂直方向上都成为均等分布的状态。通过图37 图41对四个像素混合的情况进行说明。图37表示混合对象的彩色要素为b的情况。在以块为单位的第I行第I列的块中，用圆圈表示的第I行第I列、第I行第3列、第3行第I列以及第3行第3列的四个像素b的数据通过相加而被混合。该混合之后的像素数据，如图41所示，以担当位于两行两列的左右方向的中央和上下方向的中央的像素的方式被配置。图41的像素数据B的位置成为图37中的不同颜色r的像素位置(在上述混合九个像素的情况下为同色的像素位置)。这种配置方式适用于所有的单位块，混合后的彩色要素B的像素数据的配置像素成为如图41所示。
图38表示混合对象的彩色要素为gl的情况。用圆圈表示的第I行第2列、第I行第4列、第3行第2列以及第3行第4列的四个像素的数据通过相加而被混合。该混合之后的像素数据，如图41所示，以担当位于两行两列的左右方向的中央和上下方向的中央的像素方式被配置。图41的像素数据Gl的位置在图38中也成为同色的颜色g2的像素位置(不过，在Gl和g2中后缀不同)。这种配置方式适用于所有的单位块，混合后的彩色要素Gl的像素数据的配置像素成为如图41所示。图39表示混合对象的彩色要素为g2的情况。混合数据配置像素的坐标成为图41中的G2。图40表示混合对象的彩色要素为r的情况。混合数据配置像素的坐标成为图41的R。图41的像素数据R的位置成为图40的不同颜色即颜色b的像素位置(在上述混合九个像素的情况下为同色的像素位置)。由总结了上述内容的图41可知，彩色要素B和彩色要素Gl的混合数据配置像素的坐标分布在水平方向上成为不均等的分布。彩色要素G2和彩色要素R的混合数据配置像素的坐标分布也同样在水平方向上成为不均等的分布。另外，彩色要素B和彩色要素G2的混合数据配置像素的坐标分布在垂直方向上成为不均等的分布。彩色要素Gl和彩色要素R的混合数据配置像素的坐标分布也同样在垂直方向上成为不均等的分布。图42A 图42C对图37 图41的说明进行了汇总。在原色拜耳阵列的拍摄元件中，在像素混合在水平方向上进行的情况下，每隔一个像素配置了同色的颜色滤光器，因此，驱动拍摄元件，以使被混合的像素也以每隔一个像素的定时被混合。在像素混合在垂直方向上进行的情况下也相同。图42A表示原始图像RAW数据。图42B表示四个像素混合后的RAW数据的原始图像RAW数据上的分布。其与图41相对应。图41和图42B表示的是，关于连续输入的各个像素数据担当原始图像中的哪个坐标位置的数据的像素数据分布。图42C表示四个像素混合后的RAW数据的实际定时上均等间隔的阵列。当利用图42A的拍摄元件进行四个像素混合读出像素数据时，在拍摄元件中，从其光接收部(光电转换部)向次级的像素混合部发送两行的重复BG的行数据。像素混合部包括垂直传送开关、由电容器组构成的信号电压保持电路以及水平传送开关等，将四个像素混合后的重复BG的行数据从信号输出行输出(参照专利文献4)。接下来，从拍摄元件的光接收部向像素混合部发送两行的重复GR的行数据，将四个像素混合后的重复GR的行数据从信号输出行输出。这种四个像素混合后的重复BG的行数据和重复GR的行数据被交替地连续输出。在各重复的行数据中连续的像素组在定时上间隔相等。在混合后的拜耳阵列的像素数据中，按顺序输入的数据的定时是在水平方向上均等的定时，另外，可以认为在垂直方向上也是均等的定时。不过，关于这些像素数据担当原始图像的哪个位置的像素的像素数据分布，如图41或图42B所示，成为不均等的分布。另外，这种情况成为以下要阐述的画质变差的原因。如果进行四个像素混合处理，则配置混合后的像素数据的像素的坐标成为混合前的两个像素的中央，因此，如图41或图42B所示，由配置混合后的像素数据的像素的坐标可知，在垂直方向和水平方向上变得不均等。无论在水平方向还是在垂直方向上都呈现:奇数项的B和奇数项的G过分接近；奇数项的G和偶数项的B相隔过远；奇数项的G和奇数项的R过分接近；奇数项的R和偶数项的G相隔过远。过分接近的间隔为零像素份，相隔过远的间隔为两个像素份，呈不均匀。如果在这种像素混合后的拜耳阵列中产生像素数据分布的不均衡，则会失去混合形成的高频信息向低频的折返分量的连续性，成为使画质变差的主要原因。另外，能够说 九个像素混合与四个像素混合具有以下不同点。在九个像素混合中，存在配置混合蓝色之后的像素数据的像素数据分布的行在水平和垂直方向上都是奇数行；这一点与混合前相同。存在配置混合红色之后的像素数据的像素数据分布的行在水平和垂直方向上都是偶数行，这一点与混合前相同。配置混合绿I和绿2之后的像素数据的像素数据分布也相同，在像素混合前后没有变化。相比之下，在四个像素混合中，存在配置混合蓝色之后的像素数据的像素数据分布的行在水平和垂直方向上都是从奇数行变化为偶数行。存在配置混合红色之后的像素数据的像素数据分布的行在水平和垂直方向上都是从偶数行变化为奇数行。配置混合绿I和绿2之后的像素数据的像素数据分布也相同，在像素混合的前后发生变化。作为关于像素数据分布的校正的现有技术，公开了一种以在每隔一行将同色信号相加而读出的情况下，解决图像的失真或波纹等问题为目的的技术(例如，参照专利文献I)。不过，该技术只是在垂直方向上进行分布均匀化。以下，根据图43A-图43C对专利文献I的技术概要进行说明。如图43A所示，拍摄元件m2通过来自拍摄元件驱动部m8的定时信号而被驱动。如图43B的(a)和(b)所示，针对在垂直方向上相邻的像素信号，将同色信号混合。混合后的信号利用A/D转换器m4转换成数字信号，用相机信号处理部m6实施分色处理等，然后，生成亮度信号和色差信号。针对所生成的色差信号和亮度信号，将η设为自然数(η = 1，2…)，成为第(2η-1)行和第2η行过分接近，第2η行和第(2η+1)行相隔过远的不均等状态。因此，如图43C所示，校正处理部(重心偏离校正处理部)ml0针对由相机信号处理部m6输出的色差和亮度信号进行像素数据分布不均衡的校正。Y2n以及Υ(2η土偶数)为亮度和色差信号的偶数行，是由于垂直方向像素数据分布不均衡而导致过分接近的两行中的上一行。Υ(2η土奇数)为亮度和色差信号的奇数行，是过分接近的两行中的下一行。Y’ 2η以及Y’(2η土偶数)表示像素数据分布不均衡校正后的亮度和色差信号的偶数行；Y’(2η土奇数)表示不均衡校正后的亮度色差信号的奇数行。Υ2η和Υ2η+1的间隔、与Υ2η+1和Υ2η+2的间隔之比为I: 3，因此，为了使垂直方向像素数据分布不均衡校正后的信号成为等间隔，如以下公式所示进行校正处理。Y，2n = Υ2ηY，2η+1 = (2/3) XY2n+l+(l/3) ΧΥ2η+2即，将偶数行的信号直接输出，且对奇数行的信号进行校正计算，以使与下一行的信号成为2: I的比率。通过进行这种处理，配置混合后的像素数据的像素的垂直方向坐标分布变得均等，能够获得不存在由于像素数据分布不均衡而引起的图像失真或波纹的图像。但是，出于记录将尺寸进行了归一化的动态图像等目的，有时会利用拍摄元件上的像素混合而缩小到四分之一尺寸，然后，进行拜耳阵列的RAW数据的尺寸调整处理(例如，参照专利文献2)。在该专利文献2中公开了以下方法:即，当从由具有作为原始图像的RGB的颜色阵列的周期性的多颜色的像素形成的原始图像来生成尺寸调整图像时，并不是在将原始图像分色成R、G和B数据之后进行尺寸调整处理，而是进行从原始图像获得的亮度数据和色差数据的两个系统的尺寸调整处理。现有技术文献专利文献专利文献I JP特开2004-147093号公报专利文献2:W02010/016166专利文献3 JP特开2004-312140号公报专利文献4 JP特开2005-107252号公报
发明概要发明要解决的技术课题作为前提，将图像处理的对象设为从具有颜色阵列的周期性的多颜色像素的拍摄元件输出的原始图像RAW数据，并且，设为是由于该RAW数据为四个像素混合等的偶数像素混合输出，因此在彼此正交的第I以及第2阵列方向上像素数据分布产生不均衡的数据。在此，像素数据分布是指关于连续输入的各个像素数据担当原始图像中的哪个坐标位置的数据的分布。在九个像素混合等的奇数像素混合中，像素数据分布不会产生不均衡，但在四个像素混合等的偶数像素混合中，会产生像素数据分布的不均衡。如果在像素混合后产生像素数据分布的不均衡，则会失去由混合形成的高频信息向低频的折回分量的连续性，成为使画质变差的主要原因。将每隔一行的同色信号相加而读出的专利文献I的技术是在垂直方向上校正像素数据分布的不均衡，没有提到任何关于水平方向上的校正。像素数据分布不均衡的校正效果在很大程度上取决于相机信号处理部m6的特性。最初进行分色处理，接下来进行各种处理，生成关注像素位置的亮度信号和色差信号。这是一般的二维滤光处理，像素数据分布的不均衡分量也二维地分散，因此，像素间距量级的像素数据分布不均衡的校正效果小。另夕卜，关于校正处理部mlO以使像素数据分布成为均等的方式进行色差和亮度信号的校正这一内容，由于对偶数行或奇数行中的任意一个都不进行校正处理，因此，在该行中不会发生由于校正而导致清晰度变差的情况。但是，关于进行校正处理的行，由于清晰度变差，因此，存在每一行的清晰度不同的这一缺陷。也就是说，专利文献I的技术不是二维处理，因此，不能够充分地解决画质变差的问题。另一方面，在利用行上的像素单位的滤光处理，从原始图像中抽出亮度数据和颜色载波(carrier:载体)数据进行尺寸调整处理的专利文献2的技术中，在以四个像素混合的RAW数据为尺寸调整处理对象的情况下，在像素数据分布的不均衡状态下进行尺寸调整处理。其结果是，在图像中产生伪色或在清晰度中产生不协调感，难以获得充分展现原始图像的拍摄特征的尺寸调整的RAW数据。

发明内容
本发明就是鉴于这种情况而实现的，其目的是:当对由于四个像素混合等的偶数像素混合输出而导致在二维方向上产生像素数据分布不均衡的原始图像RAW数据进行图像处理时，能够降低由像素数据分布的不均衡分量导致的伪亮度信号和伪色，并确保清晰度。并且，当对在二维方向上像素数据分布产生不均衡的原始图像RAW数据进行尺寸调整处理时，也能够降低伪亮度信号和伪色，并确保清晰度。解决技术课题的手段本发明通过采用以下的方法来解决上述问题。《1》、《2》、《3》…等的带括号的数字对应于提出申请时的“技术方案”的技术方案的编号。为了便于说明，在以下的记载中这些带括号的数字不一定按照顺序，有时会打乱顺序，有时会前后替换。《I》作为大前提，将图像处理的对象设为来自具有颜色阵列的周期性的多颜色像素的拍摄元件的数据，并且是由于四个像素混合等的偶数像素混合输出而导致在彼此正交的第I以及第2阵列方向上像素数据分·布产生不均衡的原始图像RAW数据。其代表例是四个像素混合的RAW数据。不过，不局限于四个像素混合的RAW数据，而是广泛地以一般的偶数像素混合的RAW数据为对象。在此，关于第I阵列方向和第2阵列方向，哪一个都可以是水平方向，哪一个都可以是垂直方向。即，当进行二维方向的分布均等化处理时，即可以在水平方向的处理之后进行垂直方向的处理,或者也可以改变顺序,在垂直方向的处理之后进行水平方向的处理。关于分布均等化处理，参照后面要提到的实施例1的注解(*1)能够加深理解。关于在沿着第I阵列方向的状态下输入的二维不均等分布的一系列的阵列像素数据(原始图像RAW数据)，通过进行将像素数据分布(关于连续输入的各个像素数据担当原始图像中的哪个坐标位置的数据的分布)从第I阵列方向上的不均等分布状态校正为均等分布状态的处理，生成第I多颜色阵列数据。这是第I分布均等化处理。该第I分布均等化处理通常是利用插值处理实现的。通过第I分布均等化处理，在第I阵列的方向上，像素数据分布被校正为均等分布的状态。但是，在第2阵列方向上还是不均等分布。因此，通过进行将实施了第I分布均等化处理之后的RAW数据(第I多颜色阵列数据:在第2阵列方向上成为不均等分布的一系列的像素数据)的像素数据分布在第2阵列方向上从不均等分布的状态校正为均等分布的状态的处理，从而生成第2多颜色阵列数据。这是第2分布均等化处理。该第2分布均等化处理通常也是通过插值处理实现的。通过第2分布均等化处理，在第2阵列方向上也将像素数据分布校正为均等分布的状态。以上为用于解决上述现有技术中的技术问题的本发明的技术思想。在本发明中，面向该技术思想的创作构成了第I分布均等化处理部和第2分布均等化处理部。关于这一点，能够参照图1.
向第I分布均等化处理部Al输入原始图像RAW数据，该数据由于来自具有颜色阵列的周期性的多颜色像素的拍摄元件的四个像素混合等的偶数像素混合输出导致在彼此正交的第I以及第2阵列方向上像素数据分布产生不均衡。第I分布均等化处理部Al是作为将输入的原始图像RAW数据的第I阵列方向的像素数据分布均等化的处理部而构成的。作为其构成要素，第I分布均等化处理部Al具有第I滤光处理部al、第I亮度分布均等化处理部a2和第I颜色阵列再现处理部a7。在第I滤光处理部al中，原始图像RAW数据以第I阵列方向(水平方向或垂直方向)的行单位被输入。第I滤光处理部al具有将所输入的原始图像RAW数据通过沿着第I阵列方向的像素单位的滤光处理划分成连续的第I亮度数据和连续的第I颜色载波数据的功能。将原始图像RAW数据同时划分成连续的第I亮度数据和第I颜色载波数据的功能表示在不将原始图像分色成R、G和B数据的情况下，以原来的连续数据实施分布均等化处理的功能。在此，之所以不将原始图像分色成R、G和B数据，是因为如果在分色之后进行分布均等化处理，则难以确保清晰度及降低伪色的发生。另外，之所以同时划分成连续的第I亮度数据和第I颜色载波数据，是因为当分布均等化处理时，在作为一般所采用的方法的插值处理中，在本发明中进行不同颜色之间的插值。如果是同色之间的插值，则有时不用划分成亮度数据和颜色载波数据，但在本发明中，由于是相邻的两个像素之间的插值，因此成为不同颜色之间的插值。而且，还因为亮度数据和颜色载波数据在滤波处理中特性彼此不同。即，亮度数据高频分量多、容易出现因折返失真导致的画质变差的影响。颜色载波数据中高频分量少，故难以出现因折返失真导致的画质变差的影响。因此，为了确保清晰度并降低产生伪色，优选在与连续的第I颜色载波数据保持独立的状态下对连续的第I亮度数据进行分布均等化处理。第I亮度分布均等化处理部a2具有将在第I阵列方向上成为连续的第I亮度数据的亮度分布均等化从而生成第2亮度数据的功能。第I颜色阵列再现处理部a7具有通过将在第I滤光处理部al分离生成的第I颜色载波数据(在第I阵列方向上成为连续)与第I亮度分布均等化处理部a2生成的连续的第2亮度数据进行再合成从而生成第I多色颜色阵列数据的功能。从第I分布均等化处理部Al向第2分布均等化处理部BI输入第I多颜色阵列数据(在第I阵列方向被分布均等化)。第2分布均等化处理部BI构成为:将所输入的第I多颜色阵列数据在第2阵列方向(垂直方向或水平方向)上通过对像素数据分布进行均等化而生成第2多颜色阵列数据。第2分布均等化处理部BI作为其构成要素而具有第2滤光处理部bl、第2亮度分布均等化处理部b2和第2颜色阵列再现处理部b7。第I多颜色阵列数据以第2阵列方向的行为单位输入到第2滤光处理部bl中。第2滤光处理部bl具有通过沿着第2阵列方向的像素单位的滤光处理从而将所输入的第I多颜色阵列数据划分成连续的第3亮度数据和连续的第2颜色载波数据的功能。第2亮度分布均等化处理部b2具有通过将由第2滤光处理部bl输出的第3亮度数据(在第2阵列方向上成为连续)的亮度分布进行均等化从而生成第4亮度数据的功能。第2颜色阵列再现处理部b7具有通过将在第2滤光处理部al分离生成的第2颜色载波数据(在第2阵列方向上成为连续)与从第2亮度分布均等化处理部b2输出的第4亮度数据进行再合成从而生成第2多色颜色阵列数据的功能。由于难以同时实现确保清晰度和抑制产生伪色，因此，在本发明的上述构成中，不是将原始图像分色成R、G和B数据，而是在将原始图像RAW数据划分成连续的第I亮度数据和连续的第I颜色载波数据之后，在与第I颜色载波数据独立的状态下进行第I亮度数据的分布均等化处理，由此生成连续的第2亮度数据。而且，将生成的第2亮度数据与事先划分的连续的第I颜色载波数据进行再合成。以上是第I阵列方向上的独立的亮度数据的分布均等化处理以及分布均等化处理后的亮度数据和颜色载波数据的再合成处理的说明。在本发明中，不仅在第I阵列方向上，而且在与第I阵列方向正交的第2阵列方向上也按顺序地进行这种处理。通过将这些处理相乘，能够在二维方向上良好地实现确保自然的清晰度并抑制伪色产生的效果。另外，本发明以由于是四个像素混合等的偶数像素混合输出而导致在二维方向上像素数据分布产生不均衡的原始图像RAW数据为处理对象，且能够降低伪亮度信号和伪色并确保清晰度。《4》接下来，对也具有尺寸调整处理功能的形式的图像处理装置进行说明。在具有上述《I》的构成的情况下，无论在第I分布均等化处理部Al中、还是在第2分布均等化处理部BI中，都在亮度分布均等化处理部(a2、b2)的后级设置颜色阵列再现处理部(a7、b7)，但是，在此，为了进行尺寸调整处理，而在亮度分布均等化处理部和颜色阵列再现处理部之间设置亮度尺寸调整处理部(a3、b3)。亮度尺寸调整处理部(a3、b3)具有通过对亮度分布均等化处理部进行分布均等化处理之后的连续的亮度数据(第2、第4亮度数据)在第I或第2阵列方向上进行尺寸调整处理从而生成第2-1的亮度数据和第5亮度数据的功能。尺寸调整处理是对数据尺寸进行变更的处理，分为缩小尺寸调整和扩大尺寸调整。一般来讲，通过像素数据的间隔剔除来进行减小数据尺寸的缩小尺寸调整。另一方面，颜色载波数据的尺寸调整处理与亮度数据的尺寸调整处理相比较复杂。从滤光处理部输出的颜色载波数据会具有色差的信号形式，而且成为按每个像素符号反转(翻转)的信号形式。由此，在颜色载波数据中，在按每个像素符号进行反转的状态下、即颜色排列按每个像素呈交替不同颜色的状态下进行像素数据的间隔剔除会导致明显的画质变差，所以是不可以的。因此，在将从滤光处理部输出的颜色载波数据进行符号反转之后，使符号反转之后的颜色载波数据的颜色排列统一成相同颜色，在此基础上进行尺寸调整处理。这样一来，在与尺寸调整处理之后的亮度数据进行合成之前，对将颜色排列统一成相同颜色的尺寸调整后的颜色差分数据再次实施符号反转处理，由此，颜色差分数据被复原成原来的颜色阵列的周期性。复原后的颜色载波数据被与尺寸调整处理之后的亮度数据合成。以上为大致介绍。接下来，对其详细内容进行说明。关于这一内容可以参照图2。作为重要的构成要素，具有第I分布均等化尺寸处理部A2和第2分布均等化尺寸处理部B2。在第I分布均等化尺寸调整处理部A2中输入在彼此正交的第I以及第2阵列方向上像素数据分布产生不均衡的原始图像RAW数据。第I分布均等化尺寸调整处理部A2具有通过对所输入的原始图像RAW数据的第I阵列方向的像素数据分布进行均等化并进行尺寸调整处理从而生成第I多色颜色阵列数据的功能。第2分布均等化尺寸调整处理部B2具有通过将从第I分布均等化尺寸调整处理部A2输出的在第I阵列方向上进行了分布均等化及尺寸调整处理的第I多颜色阵列数据的第2阵列方向的像素数据分布进行均等化并进行尺寸调整从而生成第2多色颜色阵列数据的功能。第I分布均等化尺寸调整处理部A2作为其构成要素具有:第I滤光处理部al、第I亮度分布均等化处理部a2、第I亮度尺寸调整处理部a3、第I颜色反转解调部a4、第I颜色差分尺寸调整处理部a5、第I颜色载波调制部a6和第I颜色阵列再现处理部a7。第I滤光处理部al具有通过沿着第I阵列方向(水平方向或垂直方向)的像素单位的滤光处理从而将原始图像RAW数据划分成连续的第I亮度数据和连续的第I颜色载波数据的功能。第I颜色载波数据是连续的且符号交替地反转、并成为颜色排列按每个像素呈交替不同颜色的数据形式。第I亮度分布均等化处理部a2具有通过将由第I滤光处理部al生成的连续的第I亮度数据的第I阵列方向的亮度分布进行均等化从而生成第2亮度数据的功能。第I亮度尺寸调整处理部a3具有通过将第I亮度分布均等化处理部a2输出的连续的第2亮度数据在第I阵列方向上再次进行尺寸调整处理从而生成第2-1亮度数据的功能。第I颜色反转解调部a4具有解调第I颜色载波数据并生成连续且颜色排列统一成相同颜色的第I颜色差分数据的功能。第I颜色差分数据是连续的、并成为颜色排列统一成相同颜色的数据形式。第I颜色差分尺寸调整处理部a5具有通过将第I颜色差分数据在第I阵列方向上进行尺寸调整处理从而生成第2颜色差分数据的功能。第2颜色差分数据是连续的、并成为颜色排列统一成相同颜色的数据形式。第I颜色载波调制部a6具有再次将第2颜色差分数据调制成符号交替地反转并颜色阵列的周期性已被复原的第1-1颜色载波数据的功能。第I颜色阵列再现处理部a7具有通过将第I亮度尺寸调整处理部a3输出的第2-1亮度数据和第I颜色载波调制部a6输出的第1-1颜色载波数据进行再合成从而生成第I多颜色阵列数据的功能。第2分布均等化尺寸处理部B2作为其构成要素具有 第2滤光处理部bl、第2亮度分布均等化处理部b2、第2亮度尺寸调整处理部b3、第2颜色反转解调部b4、第2颜色差分尺寸调整处理部b5、第2颜色载波调制部b6和第2颜色阵列再现处理部b7。第2滤光处理部bl具有通过进行沿着第2阵列方向(垂直方向或水平方向)的像素单位的滤光处理，从而将第I分布均等化尺寸处理部A2输出的第I多颜色阵列数据划分成连续的第3亮度数据和连续的第2颜色载波数据的功能。第I颜色载波数据是连续的、且符号交替地反转、并成为颜色排列每个像素呈交替不同颜色的数据形式。第2亮度分布均等化处理部b2具有通过将由第2滤光处理部bl输出的第3亮度数据的第2阵列方向的亮度分布进行均等化从而生成第4亮度数据的功能。第2亮度尺寸调整处理部b3具有通过将第2亮度分布均等化处理部b2输出的第4亮度数据在第2阵列方向上进行尺寸调整处理从而生成第5亮度数据的功能。第2颜色反转解调部b4具有解调第2滤光处理部bl输出的第2颜色载波数据，并生成连续且颜色排列统一成相同颜色的第3颜色差分数据的功能。第2颜色差分尺寸调整处理部b5具有通过将第2颜色反转解调部b4输出的第3颜色差分数据在第2阵列方向上进行尺寸调整处理从而生成第4颜色差分数据的功能。第2颜色载波调制部b6具有再次将第2颜色差分尺寸调整处理部b5输出的第4颜色差分数据调制成符号交替地反转并颜色阵列的周期性已被复原的第3颜色载波数据的功能。第2颜色阵列再现处理部b7具有通过将第2亮度尺寸调整处理部b3输出的第5亮度数据和第2颜色载波调制部b6输出的第3颜色载波数据进行再合成从而生成第2多颜色阵列数据的功能。
根据上述构成的作用如下所述。原始图像RAW数据被划分成连续的亮度数据和连续的颜色载波数据。亮度数据在与颜色载波数据独立的状态下被分布均等化处理，然后再被尺寸调整处理。另一方面，颜色载波数据被解调并转换成颜色差分数据，之后再进行尺寸调整处理。不过，颜色载波数据首先被符号反转，接下来进行尺寸调整处理，然后再进行符号反转处理而被返回到原来的信号形式。这种技术性动作是重点。然后，将进行了分布均等化及尺寸调整处理之后的连续的亮度数据和经过了尺寸调整处理的连续的颜色载波数据进行再合成。这一系列的处理在第I阵列方向和与其正交的第2阵列方向的两个方向上进行。作为以上动作的结果，对于由于四个像素混合等偶数像素混合输出而导致在二维方向上像素数据分布产生不均衡的原始图像RAW数据，能够在二维方向上良好地实现确保自然的清晰度和抑制伪色产生的效果，并能够进行尺寸调整处理。作为这种实现了二维的亮度分布均等化处理和尺寸调整处理的结果，在利用比原始图像RAW数据小的小型RAW记录模式进行的摄影或预览显示或HD电影等的动画摄影中能够进行高质量的图像处理。以上对本发明的图像处理装置进行了说明。以下，针对相关的图像处理方法来说明本发明。《17》作为对应具有上述《I》的构成的图像处理装置的图像处理方法，存在包括以下多个步骤的方法。包括:第I分布均等化处理步骤，从具有颜色阵列的周期性的多颜色像素的拍摄元件输入在彼此正交的第I和第2阵列方向上产生了由于偶数像素混合输出而导致的像素数据分布的不均衡的原始图像RAW数据之后，通过将所输入的上述原始图像RAW数据的上述第I阵列方向的像素数据分布进行均等化，从而生成第I多颜色阵列数据；以及第2分布均等化处理步骤，通过将上述第I多颜色阵列数据的上述第2阵列方向的像素数据分布进行均等化，从而生成第2多颜色阵列数据；上述第I分布均等化处理步骤包括:第I滤光处理步骤，通过沿着上述第I阵列方向的像素单位的滤光处理，从而将上述原始图像RAW数据划分成连续的第I亮度数据和连续的第I颜色载波数据；第I亮度分布均等化处理步骤，通过将上述第I亮度数据的上述第I阵列方向的亮度分布进行均等化，从而生成第2亮度数据；以及第I颜色阵列再现处理步骤，通过将上述第2亮度数据与上述第I颜色载波数据进行再合成，从而生成上述第I多颜色阵列数据；上述第2分布均等化处理步骤包括:第2滤光处理步骤，通过沿着上述第2阵列方向的像素单位的滤光处理，从而将上述第I多颜色阵列数据划分成连续的第3亮度数据和连续的第2颜色载波数据；第2亮度分布均等化处理步骤，通过将上述第3亮度数据的上述第2阵列方向的亮度分布进行均等化，从而生成第4亮度数据；以及第2颜色阵列再现处理步骤，通过将上述第4亮度数据与上述第2颜色载波数据进行再合成，从而生成上述第2多颜色阵列数据。《20》作为对应于具有上述《4》的构成的图像处理装置的图像处理方法，存在包括以下多个步骤的方法。包括:第I分布均等化尺寸调整处理步骤，从具有颜色阵列的周期性的多颜色像素的拍摄元件输入在彼此正交的第I和第2阵列方向上产生了由于偶数像素混合输出而导致的像素数据分布的不均衡的原始图像RAW数据之后，通过将所输入的上述原始图像RAW数据的上述第I阵列方向的像素数据分布进行均等化并进行尺寸调整，从而生成第I多颜色阵列数据；以及第2分布均等化尺寸调整处理步骤，通过将上述第I多颜色阵列数据的上述第2阵列方向的像素数据分布进行均等化并进行尺寸调整，从而生成第2多颜色阵列数据；上述第I分布均等化尺寸调整处理步骤包括:第I滤光处理步骤，通过沿着上述第I阵列方向的像素单位的滤光处理，从而将上述原始图像RAW数据划分成连续的第I亮度数据、和符号交替反转且颜色排列按每个像素呈交替颜色不同的连续的第I颜色载波数据；第I亮度分布均等化处理步骤，通过将上述第I亮度数据的上述第I阵列方向的亮度分布进行均等化，从而生成第2亮度数据；第I亮度尺寸调整处理步骤，通过在上述第I阵列方向上对上述第2亮度数据进行尺寸调整处理，从而生成第2-1亮度数据；第I颜色反转解调步骤，通过对上述第I颜色载波数据进行解调，从而生成连续且颜色排列被统一成相同颜色的第I颜色差分数据；第I颜色差分尺寸调整处理步骤，通过在上述第I阵列方向上对上述第I颜色差分数据进行尺寸调整处理，从而生成第2颜色差分数据；第I颜色载波调制步骤，将上述第2颜色差分数据调制成符号交替地反转且颜色阵列的周期性已被复原的第1-1颜色载波数据；以及第I颜色阵列再现处理步骤，通过将上述第1-1颜色载波数据与上述第2-1亮度数据进行再合成，从而生成上述第I多颜色阵列数据，上述第2分布均等化尺寸调整处理步骤包括:第2滤光处理步骤，通过沿着第2阵列方向的像素单位的滤光处理，从而将上述第I多颜色阵列数据划分成连续的第3亮度数据和符号交替地反转且颜色排列按每个像素呈交替颜色不同的连续的第2颜色载波数据；第2亮度分布均等化处理步骤，通过将上述第3亮度数据的上述第2阵列方向的亮度分布均等化，从而生成第4亮度数据；第2亮度尺寸调整处理步骤，通过在上述第2阵列方向上对上述第4亮度数据进行尺寸调整处理，从而生成第5亮度数据；第2颜色反转解调步骤，通过对上述第2颜色载波数据进行解调，从而生成连续的并且颜色排列被统一成相同颜色的第3颜色差分数据；第2颜色差分尺寸调整处理步骤，通过在上述第2阵列方向上对上述第3颜色差分数据进行尺寸调整处理，从而生成第4颜色差分数据；第2颜色载波调制步骤，将上述第4颜色差分数据调制成符号交替地反转并且颜色阵列的周期性已被复原的第3颜色载波数据；以及第2颜色阵列再现处理步骤，通过将上述三颜色载波数据与上述第5亮度数据进行再合成，从而生成上述第2多颜色阵列数据；而且，在图像处理用的程序或记录介质中，能够如下所示地展开涉及上述图像处理方法的发明。《33》根据本发明的图像处理用程序是对应于《17》 《32》的图像处理方法而制成的程序，能够按照顺序由计算机执行与各自的步骤对应的多个步骤。《34》本发明的图像处理用记录介质是记录有上述《33》的程序的能够利用计算机读取的记录介质。发明效果本发明以由于四个像素混合等的偶数像素混合输出而导致在二维方向上像素数据分布产生不均衡的原始图像RAW数据为处理对象，通过在第I阵列方向和与其正交的第2阵列方向的两个方向上进行以下处理:
将原始图像RAW数据划分成连续的亮度数据和连续的颜色载波数据；在与连续的颜色载波数据相独立的状态下进行连续的亮度数据的分布均等化处理；以及将分布均等化处理之后的连续的亮度数据和上述连续的颜色载波数据进行再合成，从而能够确保在二维方向上实现自然的清晰度并抑制产生伪色的效果。另外，即使在针对由于四个像素混合等的偶数像素混合输出而导致在二维方向上像素数据分布产生不均衡的原始图像RAW数据的尺寸调整处理中，也能够实现确保在二维方向上保证自然的清晰度并抑制伪色产生的效果的尺寸调整处理。由此，在利用比原始图像RAW数据小的小型RAW记录模式进行的摄影或预览显示或HD电影等的动态图像摄影中，能够进行高质量的图像处理。


图1是表示本发明的图像处理装置的第I基本结构的框图。图2是表示本发明的图像处理装置的第2基本结构的框图。图3A是本发明的图像处理装置中的第I或第2亮度分布均等化处理部进行的亮度数据的分布均等化处理的说明图(其1-1)。图3B是本发明的图像处理装置中的第I或第2亮度分布均等化处理部进行的亮度数据的分布均等化处理的说明图(其1-2)。图3C是本发明的图像处理装置中的第I或第2亮度分布均等化处理部进行的亮度数据的分布均等化处理的说明图(其1-3)。图4A是本发明的图像处理装置中的第I或第2亮度分布均等化处理部进行的亮度数据的分布均等化处理的说明图(其2-1)。图4B是本发明的图像处理装置中的第I或第2亮度分布均等化处理部进行的亮度数据的分布均等化处理的说明图(其2-2)。图5是表示对本发明的实施例1中的四个像素混合后的RAW数据进行分布均等化处理顺序的示意图。图6是表示本发明的实施例1中的水平分布均等化处理的构成的框图。图7是表示将本发明的实施例1中的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值的水平分布均等化处理部的构成的框图(其I)。图8是表示将本发明的实施例1中的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值的水平分布均等化处理部的构成的框图(其2)。图9是表示将本发明的实施例1中的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值的水平分布均等化处理部的构成的框图(其3)。图10是表示将本发明的实施例1中的奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的水平分布均等化处理部的构成的框图(其I)。图11是表示将本发明的实施例1中的奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的水平分布均等化处理部的构成的框图(其2)。图12是表示将本发明的实施例1中的奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的水平分布均等化处理部的构成的框图(其3)。图13是表示将本发明的实施例1中的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值，将奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的水平分布均等化处理部的构成的框图(其I)。图14是表示将本发明的实施例1中的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值，将奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的水平分布均等化处理部的构成的框图(其2)。图15是表示将本发明的实施例1中的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值，将奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的水平分布均等化处理部的构成的框图(其3)。图16A的图表示的是作为本发明的实施例1中的两个步骤的尺寸调整处理的中间缓存器的行存储器的写入读出操作(其I)。图16B的图表示的是作为本发明的实施例1中的两个步骤的尺寸调整处理的中间缓存器的行存储器的写入读出操作(其2)。图17是表示利用本发明的实施例1中的行存储器的垂直分布均等化处理的构成的框图。图18是表示将本发明的实施例1中的偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值，将奇数行的像素数据的亮度值拟制为坐标的上侧移动而进行插值的垂直分布均等化处理部的构成的框图。图19A表示的是对本发明的实施例1中的CZP (圆形波带片:circular zoneplate)图像在水平和垂直方向的两个方向上进行了分布均等化处理的情况下的分布均等化处理RAW数据结果(其1-1)。图19B表示的是对本发明的实施例1中的CZP (圆形波带片:circular zoneplate)图像在水平和垂直方向的两个方向上进行了分布均等化处理的情况下的分布均等化处理RAW数据结果(其1-2)。图20A表示的是对本发明的实施例1中的CZP图像在水平和垂直的两个方向上进行了分布均等化处理的情况下的分布均等化处理RAW数据结果(其2-1)。图20B表示的是对本发明的实施例1中的CZP图像在水平和垂直的两个方向上进行了分布均等化处理的情况下的分布均等化处理RAW数据结果(其2-2)。图21是表示对本发明的实施例2中的四个像素混合后的RAW数据进行分布均等化和尺寸调整处理的顺序的示意图。图22是表示对本发明的实施例2中的水平分布均等化和尺寸调整处理的构成的框图。图23是表示利用本发明的实施例2中的行存储器的垂直分布均等化和尺寸调整处理的构成的框图。图24是表示将本发明的实施例2中的偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值的垂直分布均等化处理部的构成的框图。图25是表示保持本发明的实施例2中的垂直方向的清晰度，并将奇数行的像素数据的亮度值拟制为坐标的上侧移动而进行插值的垂直分布均等化处理部的构成的框图。
图26是表示保持本发明的实施例2中的垂直方向的清晰度，并将偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值的垂直分布均等化处理部的构成的框图。图27是表示作为安装了本发明的图像处理装置的单板式数字相机的拍摄装置的结构的框图。图28A是表示RGB原色型的拜耳阵列的例子的概念图。图28B是表示RGB原色型的蜂窝阵列的例子的概念图。图29是在九个像素混合中混合对象的彩色要素为蓝色的情况下的混合方法的说明图。图30是在九个像素混合中混合对象的彩色要素为蓝色的情况下的混合结果的说明图。图31是在九个像素混合中混合对象的彩色要素为绿色I的情况下的混合方法的说明图。图32是在九个像素混合中混合对象的彩色要素为绿色I的情况下的混合结果的说明图。图33是将在九个像素混合中混合对象的彩色要素为蓝色的情况下的混合结果和彩色要素为绿色I的情况下的混合结果汇总的图。图34是在九个像素混合中混合对象的彩色要素为绿色2的情况下的混合方法的说明图。图35是在九个像素混合中混合对象的彩色要素为红色的情况下的混合方法的说明图。图36是将在九个像素混合中的四种彩色要素的混合结果汇总的图。图37是在四个像素混合中混合对象的彩色要素为蓝色的情况下的混合方法的说明图。图38是在四个像素混合中混合对象的彩色要素为绿色I的情况下的混合方法的说明图。图39是在四个像素混合中混合对象的彩色要素为绿色2的情况下的混合方法的说明图。图40是在四个像素混合中混合对象的彩色要素为红色的情况下的混合方法的说明图。图41是在四个像素混合中将4种彩色要素的混合结果汇总的图。图42A是汇总了图37 图41的说明的图(其I)。图42B是汇总了图37 图41的说明的图(其2)。图42C是汇总了图37 图41的说明的图(其3)。图43A是现有技术中的像素数据分布校正的说明图(其I)。图43B是现有技术中的像素数据分布校正的说明图(其2)。图43C是现有技术中的像素数据分布校正的说明图(其3)。
具体实施例方式具有上述《I》的结构(参照图1)的本发明的图像处理装置，在以下的实施方式中能够更有利地进行展开。《2》在上述“解决技术课题的手段”部分提到的《I》的结构中，关于将第I多颜色阵列数据转送给第2分布均等化处理部BI的缓存器，具有以下形式。即，该缓存器由具有二维展开的存储空间的帧存储器构成。该帧存储器的构成方式为:在与在该帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从该帧存储器读出上述第I多颜色阵列数据并提供给上述第2分布均等化尺寸调整处理部。在具有这种构成方式的情况下，作为第2分布均等化处理部BI，能够使用与第I分布均等化处理部A具有相同结构的处理部，由此实现结构的简单化。《3》在上述《I》的构成中，还具有将上述第I多颜色阵列数据转送给第2部分均等化处理部BI的缓存器，上述缓存器由以多行构成的行存储器构成。该行存储器的构成方式为:上述第I多颜色阵列数据按每一行被写入到该行存储器中，同时，多行的第I多颜色阵列数据被从该行存储器中读出并转送到上述第2分布均等化处理部。在具有这种构成的情况下，第2分布均等化处理部BI成为构成与第I分布均等化处理部Al不同的处理部。由于使用多行的行存储器在将多行的多颜色阵列数据写入的同时，读出多行的数据，因此，对处理的高速化能够寄予期望。《5》在上述“解决技术课题的手段”的尺寸调整处理中提到的《4》的构成(参照图2)中，存在以下形式:即，还具有从第I分布均等化尺寸调整处理部A2输出在第I阵列方向上进行了分布均等化和尺寸调整处理的多颜色阵列数据，该多颜色阵列数据被转送到第2分布均等化尺寸调整处理部B2的缓存器。该缓存器包括具有二维展开的存储空间的帧存储器。该帧存储器的构成方式为:在与在该帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从该帧存储器读出上述第I多颜色阵列数据并提供给上述第2分布均等化尺寸调整处理部。在具有这种构成方式的情况下，作为第2分布均等化尺寸调整处理部B2，能够使用与第I分布均等化尺寸调整处理部A2具有相同结构的处理部，由此实现结构的简化。《6》在关于上述尺寸调整处理提到的《4》的构成中，还具有将上述第I多颜色阵列数据转送给上述第2分布均等化尺寸调整处理部B2的缓存器，上述缓存器具有以多行构成的行存储器。该行存储器的构成方式为:上述第I多颜色阵列数据按每一行被写入到该行存储器中，同时，多行的第I多颜色阵列数据被从该行存储器中读出并转送到第2分布均等化处理部B2。在具有这种构成的情况下，第2分布均等化尺寸调整处理部B2成为构成与第I分布均等化尺寸调整处理部A2不同的处理部。由于使用多行的行存储器在将多行的第I多颜色阵列数据写入到上述行存储器的同时，将多行的第I多颜色阵列数据从上述行存储器读出，因此，对处理的高速化能够寄予期望。《7》在涉及上述尺寸调整处理的《4》 《6》的构成中，上述第I亮度尺寸调整处理部a3、上述第2颜色差分尺寸调整处理部a5、上述第2亮度尺寸调整处理部b3、和上述第2颜色差分尺寸调整处理部b5具有进行缩小尺寸调整处理作为其尺寸调整处理的功能。根据该缩小尺寸调整处理，在利用小型RAW记录模式进行的摄影或预览显示、或者尺寸进行了归一化的HD电影等的动态图像摄影中，能够将图像处理向高质量提高。《8》在涉及上述尺寸调整处理的《4》 《6》的构成中，也存在以下方式:即，上述第I亮度尺寸调整处理部a3、上述第I颜色差分尺寸调整处理部a5、上述第2亮度尺寸调整处理部b3、和上述第2颜色差分尺寸调整处理部b5具有进行扩大尺寸调整处理作为其尺寸调整处理的功能。《9》在上述《I》 《8》的构成中，关于上述第I和第2亮度分布均等化处理部a2和b2进行的亮度数据的分布均等化处理，存在以下的方式。使用图3A进行说明。另外，该图是以沿着水平方向的行进行考虑的，具体而言，其对应于第I亮度分布均等化处理部a2。在第2亮度分布均等化处理部b2的情况下，可以考虑将图的状态旋转90度。分布均等化处理，是将该处理对象像素P的第I或第2阵列方向上的两个相邻的像素中离得更远的一方的相当于不同颜色的像素设为引用像素Q。用该处理对象像素P的亮度数据Ya和引用像素Q的亮度数据Yb进行插值，将利用该插值处理获得的插值亮度数据设为该处理对象像素P的插值之后的亮度数据Ya*。由于拍摄元件进行的四个像素混合等的偶数像素混合输出的缘故，处理对象像素P的亮度数据Ya在原始图像RAW数据中在二维方向上产生了像素数据分布的不均衡。上述插值处理使该处理对象像素P的亮度数据Ya接近于与多个像素混合之前的原始图像的均等化分布状态相当的像素的亮度数据，并设为插值后的亮度数据Ya*。关于这种情况下的插值处理的更具体的形式，将在以下的《10》中进行说明。《10》在上述插值处理中提到的《9》的构成中，关于上述第I或第2亮度分布均等化处理部a2、b2进行的亮度数据的分布均等化处理，存在以下的方式。使用图3B进行说明。假设将处理对象像素P设置在其相邻的两个像素的中央，将此时的像素设为虚拟配置像素P*。另外，将处理对象像素P的亮度数据设为Ya，将上述引用像素Q的亮度数据设为Yb。引用像素Q是处理对象像素P的水平方向或垂直方向的相邻两个像素中离得更远的一方的相当于不同颜色的像素。另外，将引用像素Q与虚拟配置像素P*的间距设为α，将处理对象像素P与虚拟配置像素P*的间距设为β。插值亮度数据Ya*是按照分点公式，以上述两个间距α和β对处理对象像素P的亮度数据Ya和引用像素Q的亮度数据Yb进行比例分割而求出的。该比例分割的公式为Ya*= ( α.Ya+ β.Yb) / ( α + β )关于间距α、β，将过分间隔侧作为α，将过分接近侧作为β。因此，α > β。上述公式，无论在将虚拟配置像素P*设定为处理对象像素P的右侧的情况下，还是在设定为左侧的情况(图3C)下，都通用。例如，在四个像素混合的情况下，处理对象像素P的相邻的两个像素之间的间距为四个像素份。另外，“间距”是指像素中央之间的距离，这与在图36或图41中所说明的“间隔”不同。针对虚拟配置像素P*，可以使处理对象像素P向引用像素Q —侧移动一个像素份。这是因为，虚拟配置像素P*与原来的相邻的像素的间距分别成为两个像素份，虚拟配置像素P*会位于相邻的两个像素的中央。也就是说，引用像素Q与虚拟配置像素P*的间距α成为两个像素份，处理对象像素P与虚拟配置像素P*的间距β成为一个像素份U=2, β = I)。因此，在处理对象像素P的亮度数据为Ya，引用像素Q的亮度数据为Yb时，插值亮度数据Ya*成为Ya* = (2.Ya+1.Yb)/3。
在此，应该注意的是，担当亮度数据Ya的处理对象像素P的颜色与担当亮度数据Yb的引用像素Q的颜色彼此不同。顺便说明，针对以RGB拜耳阵列反复BG的行的两种像素B、G，在B的右侧的G过分接近B，在G的右侧的B与G过分相隔，在这种状态下，当假设将处理对象像素P的G配置在相邻的两个像素B和B的中央时，成为基于处理对象像素的G的亮度数据Ya和其右侧的过分相隔的引用像素的B的亮度数据Yb的上述公式Ya* = (2.Ya+1.Yb)/3的分布均等化处理。即，担当亮度数据Ya的处理对象像素P的颜色为G，这与担当亮度数据Yb的引用像素Q的颜色B不同。另外，在后续处理的颜色阵列再现处理中，成为担当插值亮度数据Ya*的处理对象像素P的颜色为G。上述例子是将处理对象像素P向右侧移动设为虚拟配置像素P*的情况，接下来，使用图3C对将处理对象像素P向左侧移动设为虚拟配置像素P*的情况进行说明。关于以RGB拜耳阵列反复BG的行的两种像素B和G，与上述相同，在B的右侧的G过分接近B，在G的右侧的B与G过分相隔，在这种状态下，当假设将处理对象像素P的B配置在相邻的两个像素G和G的中央时，成为基于处理对象像素的B的亮度数据Ya和其左侧的过分相隔的G的亮度数据Yb的上述公式Ya* = (2.Ya+1.Yb)/3的分布均等化处理。即，担当亮度数据Ya的处理对象像素P的颜色为B，这与担当亮度数据Yb的引用像素Q的颜色G不同。另夕卜，在后续处理的颜色阵列再现处理中，成为担当插值亮度数据Ya*的处理对象像素P的颜色为B。《11》在上述插值处理中提到的《9》的构成中，关于上述第I或第2亮度分布均等化处理部a2和b2进行的亮度数据的分布均等化处理，具有以下方式。利用图4A和图4B进行说明。即，假设处理对象P以及引用像素Q都向彼此相隔的方向移动成为均等分布的状态。即，对于处于过分相隔状态的相邻的两个像素，以使位于左侧的像素向右侧移动，使位于右侧的像素向左侧移动的方式进行分布均等化处理。在此，首先，考虑右侧移动量与左侧移动量之间的比。如图4A所示，在四个像素混合的情况下进行分布均等化处理，其结果是，相邻的像素之间的间距成为两个像素份。在此，考虑像素A、B、C和D。在处于过分相隔状态的相邻的两个像素B和C中，将左侧的像素B向右侧移动X，将右侧的像素C向左侧同样移动X。对像素A和D也进行同样操作。即，将像素A向左侧移动X，将像素D向右侧移动X。这样一来，移动后的四个像素A’、B’、C’和D’被分布均等化。接下来，求出移动量。在处于分布均等化处理之前的过分相隔状态的相邻的两个像素B与C的间距(三个像素)、分布均等化处理之后的相邻的两个像素B与C的间距(两个像素)、和移动量X之间，下列公式成立。2像素份+2.X = 3像素份因此,成为X = 0.5像素份。当前，关注于像素B。将使B移动到B’时的移动量按照B和C的比例分割而计算出。B与B’的间距为X。将C与B’的间距设为y，x+y = 3像素份，由于x = 0.5像素份，因此，y = 2.5像素份。X与y之比为1: 5。由此可知，在比例分割中使用的系数α ’和β，设为 α，> β ’，成为 α，: β，= 5:1。在图4Β中，如(α )和(β )所示，在将处理对象像素P设为虚拟配置像素P*的情况下，引用像素Q与虚拟配置像素P*的间距α，和处理对象像素P与虚拟配置像素P*的间距β’的比与《10》的情况下的α: β不同。但是，比例分割的公式为相同形式。Ya* = ( α ’.Ya+ β ’.Yb) / ( α ’ + β ’)在四个像素混合的情况下，α ’: β’=5: 1，因此，Ya* = (5.Ya+1.Yb) /6另外，如(α)和(Y)所示，在将处理对象像素Q作为虚拟配置像素Q*的情况下，引用像素P与虚拟配置像素Q*的间距α ’和处理对象像素Q与虚拟配置像素Q*的间距β ’的比也与上述相同为α ’: β ’ = 5: I。( ε )将(β )和(Υ )汇总，再将对像素P的左边的像素和像素Q的右边的像素进行同样处理的结果汇总，其相当于图4A的下侧部分。《12》在涉及上述插值处理的《9》 《11》的构成中，根据亮度分布均等化处理部对处理对象像素P的亮度数据进行的插值处理，能够获得确保自然的清晰度并抑制伪色产生的效果。但是，另一方面，由于该插值处理的缘故，关于用于插值处理的像素P和Q的亮度数据，在频率特性上会导致高频分量减少的结果。在不进行插值处理而直接通过的像素的亮度数据中，不会发生高频分量减少的情况，由于该插值处理的有无而产生的画质的非对称性，从改善画质变差的角度来看会成为一个障碍。因此，在上述构成中，关于上述第I和第2的亮度分布均等化处理部a2和b2，优选以如下方式构成。即，当进行针对处理对象像素P的亮度数据的插值处理时，在该插值处理之前，进行用于插值处理的像素P和Q的亮度数据的高频强调处理，然后进行插值处理，以这种方式构成第I和第2亮度分布均等化处理部a2和b2。在像这样构成的情况下，关于插值处理中使用的像素P和Q的亮度数据，由于事先将高频分量进行增益放大而强调，因此，即使在之后的插值处理中高频分量减少，结果也是从整体上来讲高频分量的衰减得到解决。其结果是，虽然产生了由于插值处理引起的高频分量的减少，但能够获得良好的画质改善的效果。《13》在涉及上述插值处理的《9》 《11》的构成中，以在进行处理对象像素P的亮度数据的插值处理之后，进行插值处理执行之后的亮度数据的高频强调处理的方式，构成第I和第2亮度分布均等化处理部a2和b2。在像这样构成的情况下，即使进行了插值处理的处理对象像素P的亮度数据的高频分量减少，也由于在其之后对高频分量进行增益放大而强调，因而，从结果来看，整体上解决了高频分量衰减的问题。其结果是，能够根据插值处理获得良好的画质改善的效果。《14》作为该图像处理装置的处理对象的图像数据是在第I以及第2阵列方向上像素数据分布产生不均衡的原始图像RAW数据。作为其典型例，在上述《I》 《13》的构成中，上述原始图像RAW数据具有RGB拜耳阵列的周期性，存在将沿着水平方向的反复BG的行数据和反复GR的行数据在垂直方向上被交替输出的RAW数据作为对象的形式。不过，不局限于此，也广泛地包括后面要提到的方式。另外，也可以将反复RB的行数据和连续的G信号的行数据在垂直方向上被交替输出的蜂窝阵列的RAW数据作为对象。《15》在上述《I》 《13》的构成中，也可以将上述原始图像RAW数据设为使用具有通过补色滤光器以周期性进行了颜色排列的多颜色的像素的单板相机元件而获取的RAW数据。RGB拜耳阵列是原色方式，但除此之外，也能够使用黄(Y)、品红(M)、青(C)和绿(G)的补色方式的彩色滤光器阵列。
《16》在上述《I》 《13》的构成中，也可以将上述原始图像RAW数据设为使用单板相机拍摄元件获取的RAW数据，该拍摄元件具有通过补色滤光器利用在行上的像素单位以周期性进行了颜色排列的多颜色的像素、和在其他行不具有周期性的单一颜色的像素。例如，能够使用原色和补色的任意组合或白色(W)。《18》在上述“解决技术课题的手段”部分关于图像处理方法所提到的《17》的构成中，存在以下方式:即，作为将上述第I多颜色阵列数据转送给上述第2分布均等化处理步骤的缓存器，使用具有二维展开的存储空间的帧存储器，在与向上述帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从上述帧存储器中读出上述第I多颜色阵列数据并转送给上述第2分布均等化尺寸调整处理步骤。《19》在上述《17》的构成中，存在以下方式:S卩，作为将上述第I多颜色阵列数据转送给上述第2分布均等化处理步骤的缓存器，使用由多个行形成的行存储器，将来自上述第I分布均等化处理步骤的上述第I多颜色阵列数据按照每一行地写入到上述行缓存器中，同时，从上述行缓存器读出多行的上述第I多颜色阵列数据并提供给第2分布均等化处
理步骤。《21》在上述“解决技术课题的手段”部分关于涉及尺寸调整处理的图像处理方法所提到的《20》的构成中，存在以下方式:即，作为将在利用上述第I分布均等化尺寸调整处理步骤输出的第I阵列方向上进行了分布均等化和尺寸调整处理的上述第I多颜色阵列数据转送给上述第2分布均等化尺寸调整处理步骤的缓存器，使用具有二维展开的存储空间的帧存储器，在与向上述帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从上述帧存储器中读出上述第I多颜色阵列数据并转送给上述第2分布均等化尺寸调整处理步骤。《22》在上述《20》的构成中，存在以下方式:即，作为将上述第I多颜色阵列数据转送给上述第2分布均等化尺寸调整处理步骤的缓存器，使用由多个行形成的行存储器，将上述第I多颜色阵列数据按照每一行地写入到上述行缓存器中，同时，从上述行缓存器读出多行的第I多颜色阵列数据并转送给第2分布均等化尺寸调整处理步骤。《23》在关于涉及上述尺寸调整处理的图像处理方法的《20》 《22》的构成中，存在以下方式:即，上述第I亮度尺寸调整处理步骤及第I颜色差分尺寸调整处理步骤、以及上述第2亮度尺寸调整处理步骤及第2颜色差分尺寸处理步骤作为其尺寸调整处理而进行缩小尺寸调整处理。《24》在关于涉及上述尺寸调整处理的图像处理方法的《20》 《22》的构成中，存在以下方式:即，上述第I亮度尺寸调整处理步骤及第I颜色差分尺寸调整处理步骤、以及上述第2亮度尺寸调整处理步骤及第2颜色差分尺寸处理步骤作为其尺寸调整处理而进行扩大尺寸调整处理。《25》在关于上述图像处理方法的《17》 《24》的构成中，存在以下方式:即，上述第I和第2亮度分布均等化处理步骤进行的亮度数据的分布均等化处理是以下所述的处理，即通过插值处理而使处理对象像素P的亮度数据接近于对多个像素混合之前的原始图像设定的任意像素的亮度数据，并且，在上述处理对象像素P的相邻的两个像素中，将构成离上述处理对象像素更远的一方的相邻像素的相当于不同颜色的像素设定为引用像素Q，然后，将利用上述处理对象像素P的亮度数据和引用像素Q的亮度数据的插值处理而获得的插值亮度数据作为上述处理对象像素P的亮度数据。《26》在涉及关于上述插值处理所提到的图像处理方法的《25》的构成中，存在以下方式:即，上述第I和第2亮度分布均等化处理步骤进行的亮度数据分布均等化处理是以下所述的处理，即，将假设位于上述相邻像素的中央的虚拟配置像素P*与上述引用像素Q之间的间距、以及上述处理对象像素P与上述虚拟配置像素P*之间的间距代入分点公式，由此，对上述处理对象像素P的亮度数据和上述引用像素Q的亮度数据进行比例分割，从所得到的比例分割的结果获得上述插值亮度数据。《27》在涉及关于上述插值处理所提到的图像处理方法的《25》的构成中，也存在以下方式:即，上述第I和第2亮度分布均等化处理步骤进行的亮度数据分布均等化处理是以下所述的处理，即，将在假设使处理对象像素P和引用像素Q向彼此相隔的方向移动并成为均等分布的状态的状态下的上述处理对象像素P设为虚拟配置像素P*，然后，将上述引用像素Q与上述虚拟配置像素P*之间的间距、以及上述处理对象像素P与上述虚拟配置像素P*之间的间距代入分点公式，由此，将上述处理对象像素P的亮度数据和上述引用像素Q的亮度数据进行比例分割，基于所得到的比例分割的结果获得上述插值亮度数据。《28》在关于上述插值处理中提到的图像处理方法《25》 《27》的构成中，存在以下方式:即，上述第I和第2亮度分布均等化处理步骤在进行处理对象像素P的亮度数据的插值处理之前进行上述处理对象像素的亮度数据的高频强调处理。《29》在关于上述插值处理中提到的图像处理方法《25》 《27》的构成中，存在以下方式:即，上述第I和第2亮度分布均等化处理步骤在进行处理对象像素P的亮度数据的插值处理之后进行上述处理对象像素的亮度数据的高频强调处理。《30》在关于上述图像处理方法的《17》 《29》的构成中，存在以下方式:即，上述原始图像RAW数据是具有RGB拜耳阵列的周期性、并且沿着水平方向的反复BG的行数据和反复GR的行数据被在垂直方向上交替输出的RAW数据。《31》在关于上述图像处理方法的《17》 《29》的构成中，也存在以下方式:即，上述原始图像RAW数据是使用具有通过补色滤光器以周期性进行了颜色排列的多颜色的像素的单板彩色拍摄元件获得的RAW数据。《32》在关于上述图像处理方法的上述《17》 《29》的构成中，也存在以下方式:即，上述原始图像RAW数据是使用单板彩色拍摄元件获取的RAW数据，该拍摄元件具有通过补色滤光器利用在行上的像素单位以周期性进行了颜色排列的多颜色的像素和在其他行不具有周期性的单一颜色的像素。
实施例以下，参照附图对本发明的图像处理装置以及图像处理方法的实施例进行说明。(预备性说明)作为安装了本发明的图像处理装置的装置，在图27中举例给出了作为单板式数字相机的拍摄装置A。在拍摄部6中，通过光学透镜I的光，通过光学LPF (低通滤光器)2和彩色滤光器3入射到拍摄元件4。在CCD型或CMOS型的拍摄元件4的光接收面上二维地排列了多个光电二极管。光学LPF2将取决于拍摄元件4的像素间距的采样频率以上的高频分量除去。彩色滤光器3在与拍摄元件4的各像素对应的位置上具有存在R、G、B的任意一种颜色的颜色阵列，进行入射到光电二极管的光的颜色选择。图28A表示作为RGB原色类型的彩色滤光器阵列的例子的拜耳阵列，彩色要素在水平方向以及垂直方向上分别按恒定的间距排列成正方形的行列。也可以是图28B的蜂窝式阵列。在拍摄元件4的光接收面成像的被摄体图像被各光电二极管转换成与入射的光量相应的量的信号电荷，并基于驱动脉冲而作为与信号电荷相应的电压信号(图像信号)被按顺序读出。拍摄元件4具有利用快门脉冲的定时来控制各光电二极管的电荷积累时间(快门速度)的电子快门功能。拍摄元件4的动作(曝光、读出等)由CPU17控制。18是保存有程序以及控制所需的各种数据等的ROM(只读存储器)，19是作为CPU17的工作用区域而使用的RAM(随机存取存储器)。从拍摄元件4输出的图像信号被发送到AFE(模拟前端)部5，在进行模拟增益调整和CDS(相关二次采样)等处理之后，利用Α/D转换处理转换成数字的图像数据。在利用JPEG格式进行记录的模式的情况下，从拍摄元件4输出的原始图像的数据经过前处理部7被发送给图像信号处理部10。前处理部7和图像信号处理部10进行以下处理:即，根据来自CPU17的命令经由存储器控制部8并利用图像存储器9获得关于各像素的R/G/B的信息的同时化处理、白平衡调整、伽玛校正、亮度.色差信号的生成、轮廓强调、利用电子变焦功能的变倍(扩大/缩小)处理等。经过信号处理的图像数据被发送到压缩扩展部13，根据JPEG格式的压缩格式进行压缩，并通过记录介质I/F(接口)部14记录在记录介质15中。另一方面，在将减少了拍摄元件4的输出有效像素数的原始图像RAW数据进行输出的情况下，先进行位于从在拍摄元件4上以拜耳阵列配置的每隔一个像素为相同颜色的光接收元件而获得的信号的关注像素附近的同色像素信号的混合，然后输出(九个像素混合、四个像素混合)。该原始图像RAW数据被以使图中所示的反复BG的行数据和反复GR的行数据被交替反复的连续的行数据的形式输入到前处理部7。在记录RAW数据的模式的情况下，图像数据在不经过同时化其他信号处理的情况下被经由存储器控制部8和记录介质I/F部14而记录到记录介质15中。RAW数据并未进行同时化等的信号处理，每个像素只保持一个不同颜色信息的马赛克状的图像。由于也不进行压缩处理，因此具有较大的文件尺寸。另外，还有对RAW数据进行可逆性压缩的模式。实施例对如上所述构成的拍摄装置A中的图像处理装置及其图像处理方法的实施例1进行说明。该图像处理装置的整个部分或主要部分构成在图27中的前处理部7。另外，有时也作为专用的图像处理装置构成。它是在保持RAW数据的状态记录在记录介质15的情况下，从记录介质15读入RAW数据并处理的装置。图5 (a)的图表示的是，针对从拍摄部6的AFE部5输出的四个像素混合后的RAW数据在上述处理部7中进行分布均等化处理的顺序的概况。如上所述，四个像素混合后的RAW数据以使反复BG的行数据和反复GR的行数据被交替反复的连续的行数据的形式被输入到前处理部7。如图5(a)所示，通过对作为单板式的原始图像数据(I面)的四个像素混合后的RAW数据Dll实施水平分布均等化处理Hl和垂直分布均等化处理Vl这两个步骤的处理，来进行在二维方向上的分布均等化处理。利用水平分布均等化处理H1，将四个像素混合后的RAW数据Dll作为在水平方向上进行了分布均等化的RAW数据D12(第I多颜色阵列数据)，然后，利用垂直分布均等化处理Vl将其作为在垂直方向上进行了分布均等化的最终的RAW数据D13 (第2多颜色阵列数据)。分布均等化处理是将表示连续输入的各个混合后的像素数据分别担当原始图像RAW数据中的哪一个坐标位置的数据的像素数据分布以在水平方向或垂直方向上成为均等的方式进行校正的处理。虽然毋庸置疑，但若为了不引起误解而注释的话，则分布均等化处理不变更(移动)像素的位置(二维空间的坐标位置)。最终只涉及到像素数据的数据插值，仅仅是在进行该数据插值之后的运算中利用坐标位置。在将处理对象像素的像素值(亮度以及色度)比拟作坐标空间的分布进行比较的情况下，成为不均等的分布，因此，为了改正这一点，使用相邻的像素的像素值来校正处理对象像素的像素值，由此，在将校正后的像素值比拟作坐标空间的分布进行比较的情况下，成为均等分布(*1)。作为由两个步骤形成的水平分布均等化处理Hl和垂直分布均等化处理Vl的实施方式，具有以下要提到的两种方式。图5的(b)和(c)分别表示它们的概况。在图5(b)所示的方式中，作为两个步骤的分布均等化处理Hll和Vll的缓存器而使用帧存储器FMl。将水平分布均等化处理Hll之后的RAW数据D12 (第I多颜色阵列数据)暂且都写入帧存储器FMl中。接下来，当从帧存储器FMl读出RAW数据D12时，向与写入时正交的方向的垂直方向读出并进行垂直分布均等化处理VII，获得分布均等化的最终的RAW数据D13 (第2多颜色阵列数据)。在这种方式的情况下，垂直分布均等化处理Vll成为与水平分布均等化处理Hll相同的处理。在图5(c)所示的方式中，为了将两个步骤的分布均等化处理H12和V12作为管线(pipe-line)处理(并列处理)，使用由多个行形成的行存储器LMl作为缓存器。实施水平分布均等化处理Hl2，并将其输出写入行存储器LMl中。同时，从行存储器LMl中读出在RAW数据D12中集合的多行的RAW数据，在与多行上的水平方向的同一个位置的数据垂直的方向上进行垂直分布均等化处理V12，获得分布均等化的最终的RAW数据D13。此时，垂直分布均等化处理V12成为与水平分布均等化处理H12不同的处理。图5(b)和图5(c)的图像处理装置内置于图27的拍摄装置A中的前处理部7内。接下来，使用图6对水平分布均等化处理Hl进行详细说明。水平分布均等化处理Hl是进行行上的像素单位的处理的一维的管线处理，包括:彩色载波除去滤光处理部11，其从四个像素混合后的RAW数据的反复BG或GR的行数据dl中提取行亮度数据d2 ;彩色载波提取滤光处理部12，其从行数据dl中提取以BG进行行反复或者以GR进行行反复的行彩色载波数据d4 ;水平分布均等化处理部20，其通过对行亮度数据d2进行水平方向的分布均等化处理从而生成行亮度数据d3 ;以及彩色阵列再现处理部30，其将分布均等化的行亮度数据d3和事先划分的行彩色载波数据d4进行再合成，并生成在水平方向上分布均等化的行数据d5。彩色载波除去滤光处理部11和彩色载波提取滤光处理部12相当于图1的第I滤光处理部al，水平分布均等化处理部相当于图1的第I亮度分布均等化处理部a2，彩色阵列再现处理部30相当于图1的第I彩色阵列再现处理部a7。另外，行数据dl相当于第I多颜色阵列数据，行亮度数据d2相当于第I亮度数据，行彩色载波数据d4相当于第I彩色载波数据，行亮度数据d3相当于第2亮度数据，行数据d5相当于RAW数据12、即第I多颜色阵列数据。另外，虽然在图6中对关于四个像素混合后的RAW数据的反复BG的行数据进行了图示，但反复GR的行数据也成为同样的处理。对使用图6所示的水平分布均等化处理功能来对四个像素混合的拜耳阵列的图像进行处理的情况进行说明。该处理过程用于使用高像素的拍摄元件4进行动态图像摄影。如图6所示，成为输入图像的四个像素混合后的原始图像RAW数据是反映了拜耳阵列的像素配置的马赛克状的图像数据，通常，从拍摄元件4中以行单位读出。该行单位的输入数据分为两种，一种是按照每个像素来反复B和G的信息的BG的行数据dl，一种是图中没有表示的按照每个像素来反复G和R的信息的GR的行数据dl。这两种行数据dl经过用于除去以两个像素周期进行变化的奈奎斯特频率附近的彩色载波的彩色载波除去滤光处理部11的处理，针对反复BG的行，生成成为B和G的平均值{δ (B+G)}的行亮度数据d2，针对图中没有表示的反复GR的行，生成成为G和R的平均值{ δ (G+R)}的行亮度数据d2 ( δ=1/2)。另外，BG或GR的两种行数据dl经过用于提取以两个像素周期进行变化的奈奎斯特频率附近的彩色载波的彩色载波提取滤光处理部12的处理，针对反复BG的行，输出以奈奎斯特频率进行了调制的BG的行彩色载波数据d4 ;针对图中没有表示的反复GR的行，输出以奈奎斯特频率进行了调制的GR的行彩色载波数据d4。BG或GR的两种行亮度数据d2利用水平分布均等化处理部20进行像素数据分布校正，并作为BG或GR的分布均等化的行亮度数据d3而输出。接下来，对水平分布均等化处理部20进行详细说明。图7表示的是，将混合后的像素数据组中的水平方向上的偶数项的像素数据的亮度值拟制成坐标的右侧移动而进行插值的形式的水平分布均等化处理部20的构成。输入到水平分布均等化处理部20的行亮度数据d2成为使上述反复BG的行数据和反复GR的行数据被交替反复的连续的行数据的形式。该行亮度数据d2由于四个像素混合输出的缘故，像素数据分布变得不均衡。通过图示所表示的两个像素过分接近、两个像素相隔过远的情况就是这种情况。不过，各像素数据是在定时上相同的时间间隔的状态下被输入的，这一点需要注意。行亮度数据d2被输入到一像素延迟器21。设置一像素延迟器21的原因是:为了使用图3说明的在时间上存在一时钟之差的两个像素数据、也就是处理对象像素P和引用像素Q这两个数据来对处理对象像素P的亮度值进行插值处理，而需要使这两个像素数据的定时一致。利用乘法器22将一像素延迟器21的输出与系数α相乘，利用乘法器23将一像素延迟器21的输入与系数β相乘并输入到加法器24中，再利用除法器25将加法的结果除以(α+β)。利用输出的像素开关部26每隔一个像素交替地选择一像素延迟器21的输出和利用除法器25进行的(α+β)的除法计算的输出。首先，对将偶数项的像素数据的亮度值拟制成坐标的右侧移动而进行插值的分布均等化的操作进行说明。当输入的行亮度数据d2的奇数项的像素数据被输入到一像素延迟器21时(即，行亮度数据d2的奇数项的像素数据在一像素延迟器21被延迟处理并输出时)，像素开关部26选择上述奇数项的像素数据且直通输出。在图3B中，这一点与处理对象像素P (偶数项)的左边相邻的像素P-(奇数项)的亮度值不变地配置在正下方的情况相对应。相比之下，当输入的行亮度数据d2的偶数项的像素数据被输入到一像素延迟器21时，利用乘法器22将从一像素延迟器21输出的延迟后的偶数项的像素数据与系数α相乘，另一方面，利用乘法器23将奇数项的像素数据在不进行延迟处理的情况下与系数β相乘。然后，利用加法器24将这两个像素数据相加，然后，利用除法器25使该加法的结果除以(α+β)，利用像素开关部26选择并输出该除法计算的结果(利用线性插值处理进行的亮度值的分布均等化输出)。在图3Β中，这一点与处理对象像素P (偶数项)通过自身亮度值Ya和引用像素Q的亮度值Yb而被插值处理成亮度值Ya*的情况相对应。顺便说明，处理对象像素P和引用像素Q从定时上看存在一个像素份之差。引用像素Q比处理对象像素P延迟一个像素份。因此，通过用一像素延迟器21将像素数据延迟一个像素份(保持处理对象像素P)，来等待引用像素Q被输入，以进行处理对象像素P的插值处理。处理对象像素P的亮度值Ya与系数α ( = 2)相乘，引用像素Q的亮度值Yb与系数β ( = I)相乘，接下来，进行加法计算处理和除法计算处理，由此，获得插值后的亮度值Ya*。另外，图3表示的是原始图像RAW数据的空间分布情况，并不是表示像素数据的时间分布。在空间上，处理对象像素P和引用像素Q相隔三个像素份，但在时间上，与其他所有的像素组相同，都相隔一个像素份。根据本处理，能够将混合后的像素数据组中的水平方向上的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值。乘法器22的系数α和乘法器23的系数β由于利用相邻的两个像素的线性插值来对由于四个像素混合导致的像素数据分布的不均衡进行校正处理，因此在理论上成为α: β = 2:1。不过，为了简化利用除法器25进行的除法计算处理，能够通过以作为近似值而成为例如α: @=10:6或0: β = 11: 5的方式，将(α+β)设为2的指数(2η)的16，从而简化处理。图8表示的是通过高频强调来保持水平方向的清晰度、并将偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值的方式的水平分布均等化处理部20的构成。像素数据分布不均衡的行亮度数据d2被输入到一像素延迟器21a和高频强调处理部27。一像素延迟器21a对行亮度数据d2进行一像素份延迟处理，并将延迟结果输入到输出的像素开关部26。高频强调处理部27将行亮度数据d2的高频的增益提高，然后，将处理后的行亮度数据d2输入到一像素延迟器21和乘法器23。一像素延迟器21对高频强调处理部27的输出进行一像素份延迟处理，并将延迟结果输入到乘法器22。乘法器22将一像素延迟器21的输出与系数α相乘，并将相乘的结果输入到加法器24。乘法器23将高频强调处理部27的输出(一像素延迟器21的输入)与系数β相乘，并将相乘的结果输入到加法器24。加法器24将乘法器22的输出与乘法器23的输出相加，并将相加的结果输入到除法器25。除法器25将加法器24的输出除以(α+β)，并将除法计算的结果输入到输出的像素开关部26。输出的像素开关部26每隔一个像素交替地选择一像素延迟器21a的输出和除法器25的输出。在该构成中，将进行高频强调的对象仅作为涉及使用系数α和β的插值处理的像素数据，不是插值处理对象的像素数据仅直通(through)像素开关部26而不进行高频强调。这样一来，在将高频强调处理部27配置在输入侧的本实施方式中，直通的行是从高频强调处理部27的输入侧分支，而不是一像素延迟器21的输出侧。而且，与插入高频强调处理部27的部分的延迟相应地，在直通的行上插入一像素延迟器21a。接下来，对将偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值的分布均等化的操作进行说明。当输入的行亮度数据d2的奇数项的像素数据成为一像素延迟器21a的输出时，像素开关部26选择奇数项的像素数据进行直通输出。另一方面，当输入的行亮度数据d2的偶数项的像素数据成为一像素延迟器21a的输出时，利用乘法器22将从一像素延迟器21输出的偶数项的像素数据与系数α相乘；利用乘法器23将由高频强调处理部27处理并输入到一像素延迟器21中的奇数项的像素数据与系数β相乘。然后，利用加法器24将这两个像素数据相加，并利用除法器使加法器24的计算结果除以(α + β )，除法器25的除法计算结果(利用线性插值处理进行的亮度值的分布均等化输出)被输入到像素开关部26。像素开关部26将一像素延迟器21a的输出和除法器25的除法计算结果选择输出。根据本处理，在插值处理之前，关于用于插值处理的像素P和Q的亮度数据事先对高频分量进行增益提高以进行强调，因此，即使在之后的插值处理中高频分量减少，作为结果，也从整体上解决了高频分量的衰减。因此，能够在不会破坏水平方向的清晰度的情况下，将混合后的像素数据组中的水平方向的偶数项的像素数据的亮度值拟制成坐标的右侧移动而进行插值，即使存在由于插值处理引起的高频分量减少的问题，也能够提高画质改善的效果。在上述内容中，由于利用相邻的两个像素的线性插值对四个像素混合导致的像素数据分布的不均衡进行校正处理，因此，乘法器22的系数α和乘法器23的系数β在理论上成为α: β = 2:1。不过，为了简化利用除法器25进行的除法计算，能够通过以作为近似值而成为例如ct: 6=10:6或<!: β = 11: 5的方式将(α+β)设为2的指数(2η)的16，从而简化处理。图9也表示通过高频强调来保持水平方向的清晰度，并将偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值的方式的水平分布均等化处理部20的构成。与图8的不同之处在于:针对每隔一个像素进行了插值处理的连续的分布均等化处理后的像素数据，利用像素开关部26之后的高频强调处理部28只对插值像素数据进行高频强调。图10表示将混 合后的像素数据组中的水平方向上的奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的实施方式的水平分布均等化处理部20的构成。像素数据分布不均衡的行 亮度数据d2被输入到一像素延迟器31、乘法器32和像素开关部36中。乘法器32将一像素延迟器31的输入与系数α相乘。一像素延迟器31将行亮度数据d2延迟一像素份。一像素延迟器31的输出被输入到乘法器33。乘法器33将一像素延迟器31的输出与系数β相乘。乘法器33的输出和乘法器34的输出被输出到加法器34。加法器34将乘法器33的输出和乘法器34的输出相加，并将计算结果输入到除法器35。除法器35使乘法器34的加法计算结果除以(α + β )，并将该计算结果输入到像素开关部36。像素开关部36每隔一个像素地交替选择并输出一像素延迟器31的输入和除法器35的除法计算结果。对将奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的分布均等化的操作进行说明。当被输入的行亮度数据d2的偶数项的像素数据成为一像素延迟器31的输入时，像素开关部36选择上述偶数项的像素数据并直通输出。这在图3C中与处理对象像素P (奇数项)的左侧的像素Q (偶数项)的亮度值为不变并配置在正下方的情况相对应。
另一方面，当输入的行亮度数据d2的奇数项的像素数据成为一像素延迟器31的输入时，利用乘法器32将输入到一像素延迟器31的奇数项的像素数据与系数α相乘，利用乘法器33将从一像素延迟器31输出的偶数项的像素数据与系数β相乘。然后，利用加法器34将这两个像素数据相加，然后利用除法器35使该加法计算的结果除以(α + β )，利用像素开关部36选择并输出该除法计算的结果(利用线性插值处理进行的亮度值的分布均等化输出)。在图3C中，这一点与处理对象像素P(奇数项)通过自身亮度值Ya和引用像素Q的亮度值Yb被插值处理成亮度值Ya*的情况相对应。顺便说明，引用像素Q和处理对象像素P从定时上看，存在一个像素份之差。处理对象像素P比引用像素Q延迟一个像素份。因此，通过用一像素延迟器31保持引用像素Q，从而等待处理对象像素P的输入，进行处理对象像素P的插值处理。处理对象像素P的亮度值Ya与系数α ( = 2)相乘，引用像素Q的亮度值Yb与系数β ( = I)相乘，接下来，利用加法计算处理对乘法计算结果进行除法计算处理，获得插值后的亮度值Ya*。通过本处理，能够将混合后的像素数据组中的水平方向的奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值。由于利用相邻的两个像素的线性插值对四个像素混合导致的像素数据分布的不均衡进行校正处理，因此，乘法器32的系数α和乘法器33的系数β在理论上成为α: β=2: I。不过，为了简化利用除法器35进行的除法计算，能够通过以作为近似值成为例如α: 3=10:6或0: β = 11: 5的方式将(α + β )设为2的指数(2η)的16，从而简化处理。另夕卜，α: β = 11: 5比α: β = 10: 6精确度更高。图11表示通过高频强调来保持水平方向的清晰度，并将奇数项的像素数据的亮度值拟制成坐标的左侧移动而进行插值的实施方式的水平分布均等化处理部20的构成。像素数据分布不均衡的行亮度数据d2被高频强调处理部37提高到高频的增益，然后，被输入到一像素延迟器31中。另外，一像素延迟器31的输入也被输入到乘法器32中，并在此与系数α相乘。一像素延迟器31的输出利用乘法器33与系数β相乘，然后，被输入到加法器34中。加法器34将乘法器33的乘法计算结果和乘法器32的乘法计算结果相加，并将加法计算结果输入到除法器35。除法器35使加法器34的加法计算结果除以(α+β)，并将该计算结果输入到输出的像素开关部36。像素开关部36每隔一个像素地交替选择高频强调处理部37的输入和除法器35的除法计算结果。虽然在图8的情况下在直通的行中插入了一像素延迟器21，但在图11的本例的情况下，引用像素Q在前，处理对象像素P在后，因此，不需要用于定时调整的一像素延迟器。将奇数项的像素数据的亮度值拟制成坐标的左侧移动而进行插值的分布均等化的动作与图10相同。通过本处理，在插值处理之前，关于用于插值处理的像素P和Q的亮度数据事先对高频分量进行增益提高以进行强调，因此，即使在之后的插值处理中高频分量减少，作为结果，也从整体上解决了高频分量的衰减。因此，能够在不会破坏水平方向的清晰程度的情况下，将混合后的像素数据组中的水平方向的奇数项的像素数据的亮度值拟制成坐标的左侧移动而进行插值，即使存在由于插值处理引起的高频分量减少的问题，也能够提高画质改善的效果。图12也表示通过高频强调来保持水平方向的清晰度，并将奇数项的像素数据的亮度值拟制成坐标的左侧移动而进行插值的实施方式的水平分布均等化处理部20的构成。与图11的不同之处在于，像素开关部36之后级的高频强调处理部38只对从每隔一个像素进行插值处理的连续的分布均等化处理后的像素数据中选择性提取的插值像素数据进行高频强调。图13表示将混合后的像素数据组中的水平方向的偶数项的像素数据的亮度值拟制成向坐标的右侧移动进行插值，将奇数项的像素数据的亮度值拟制成坐标的左侧移动而进行插值的实施方式的水平分布均等化处理部20的构成。基本构成合成了图7和图10的构成。在该构成中，作为一像素延迟器，设置了第I 一像素延迟器21和第2 —像素延迟器31这两个一像素延迟器。因为这与以下的状态对应。即，在使用图4A和图4B说明的时间上具有一时钟份之差的处理对象像素P和引用像素Q这两个数据来对处理对象像素P的亮度值进行插值处理的情况下，产生以下两种状态，一种是处理对象像素P在时间上提前于引用像素Q的情况，另外一种是处理对象像素Q在时间上延迟于引用像素P的情况。根据图13的构成，能够与这两种状态对应地进行插值处理。像素数据分布不均衡的行亮度数据d2被输入到第I 一像素延迟器21和乘法器23中。第I 一像素延迟器21使行亮度数据d2延迟一像素份，并将延迟结果输入到乘法器22和第2 —像素延迟器31和乘法器32。乘法器22将第I 一像素延迟器21的输出与系数α相乘，并将乘法计算结果输入到第I加法器24。乘法器23将行亮度数据d2与系数β相乘，并将乘法计算结果输入到第I加法器24。第I加法器24将乘法器22的输出与乘法器23的输出相加，并将加法计算结果输入到除法器25。除法器25使加法器24的输出除以(α+β),并将除法计算结果输入到输出的像素开关部39。第2 —像素延迟器31进一步使第I 一像素延迟部21的输出延迟一像素份，并将延迟结果输入到乘法器33。乘法器33将第2—像素延迟器31的输出与系数β相乘，并将乘法计算结果输入到第2加法器34。乘法器32将第I 一像素延迟器21的输出与系数α相乘，并将乘法计算结果输入到第2加法器34。第2加法器34将乘法器33的输出和乘法器32的输出相加，并将加法计算结果输入到第2除法器35。第2除法器35使第2加法器34的输出除以(α+β)，并将除法计算的结果输入到输出的像素开关部39。像素开关部39每隔一个像素地交替选择，并输出第I除法器25的输出和第2除法器35的输出。接下来，对根据图13的构成的将偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值，将奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值的分布均等化的操作进行说明。当所输入的行亮度数据d2的奇数项的像素数据成为第I 一像素延迟器21的输出时，像素开关部39选择第2除法器35的输出并进行输出。另一方面，当所输入的行亮度数据d2的偶数项的像素数据成为第I 一像素延迟器21的输出时，像素开关部39选择第I除法器25的输出并进行输出。通过本处理，能够将混合后的像素数据组中的水平方向上的偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值，将奇数项的像素数据的亮度值拟制为坐标的左侧移动而进行插值。乘法器22和32的系数α以及乘法器23和33的系数β，由于利用相邻的两个像素的线性插值来对四个像素混合导致的像素数据分布的不均衡进行校正处理而在理论上成为α: β = 5:1。不过，为了简化利用除法器25和35进行的除法计算，能够通过以作为近似值成为例如α: β =27: 5或α: β = 53: 11的方式将(α+β)设为2的指数(2n)的32或64，从而简化处理。另外，α: 3=27:5与0: β = 28: 4或α: β = 26: 6相比，α: β = 27: 5的精确度更高。另外，α: β = 53: 11与α: β = 54: 10或α: β = 52: 12相比，α: β = 53: 11的精确度更高。α.β = 53.11 比 α.β = 27.5 的精确度更！H]。图14表示通过高频强调来保持水平方向的清晰度、并将偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值，将奇数项的像素数据的亮度值拟制成坐标的左侧移动而进行插值的实施方式的水平分布均等化处理部20的构成。基本构成与图13的构成相同，在输入中利用高频强调处理部27来提高高频的增益。图15也表示通过高频强调来保持水平方向的清晰度，并将偶数项的像素数据的亮度值拟制为坐标的右侧移动而进行插值，将奇数项的像素数据的亮度值拟制成坐标的左侧移动而进行插值的实施方式的水平分布均等化处理部20的构成。基本构成与图13的构成相同，在输出中利用高频强调处理部38来提高高频的增益。返回图6，利用水平分布均等化处理部20进行了分布均等化的行亮度数据d3在颜色阵列再现处理部30中经过作为与颜色载波数据d4的加法计算处理的再合成处理后，成为使B和G的信息按照每个像素进行反复的已被分布均等化的行数据d5，并被输出。另夕卜，成为使图中没有表示的G和R的信息按照每个像素进行反复的已被分布均等化的行数据，并被输出。用公式表示反复BG的行的再合成。首先，如果在亮度数据{δ (B+G)}和颜色载波数据{ Y (B-G)，- Y (B-G)}中设定为δ = 0.5, Y = 0.5，则成为亮度数据{0.5 (B+G)}、颜色载波数据{0.5 (B-G)，-0.5 (B-G)}。如果按照每个像素将亮度数据相加，则{0.5(B+G) + (B-G)}、{0.5(B+G)-(B-G)}、…被反复。即，作为 B、G、B、G、…再生反复 BG的行数据。

在反复GR的行中也同样，如果在亮度数据{δ (G+R) }、颜色载波数据{ Y (G-R)，- Y (G-R)}中设定为δ =0.5, Y =0.5,则成为亮度数据{0.5 (G+R)}、颜色载波数据{0.5 (G-R)，-0.5 (G-R)}。如果按照每个像素将亮度数据相加，则{0.5 (G+R) + (G-R)}、{0.5(G+R)-(G-R)}、…被反复。即，作为G、R、G、R、…再生反复GR的行数据。另外，虽然将对应于亮度数据和颜色载波数据的系数设为δ和Υ，在加法计算处理之前进行增益调整，以合成数据的增益成为与输入等同的方式进行处理，但由于目的是从亮度信号和颜色载波信号这两种信号分量中产生RGB的独立的一个颜色分量，因此，不一定需要在计算之前进行增益调整，可以在成为RGB的独立的颜色分量之后进行增益调難
iF.0另外，虽然对RGB拜耳阵列的水平方向的尺寸调整处理功能进行了说明，但蜂窝阵列也能够实施本发明。具体而言，当在蜂窝阵列中提取行单位的数据时，从图42B的蜂窝阵列起，奇数行的R和B周期性反复，偶数行成为连续的G信号。关于偶数行，虽然不存在颜色的调制分量，但能够利用本发明的方法将G信号判断为行亮度数据进行处理。另外，关于不存在调制分量的仅为G信号的偶数行，利用颜色载波提取滤光处理部12将输出的增益设为0，通过颜色阵列再现处理部30的再合成，R和B的信息作为按照每一像素进行反复的已被尺寸调整的RB行数据来输出，G的信息作为连续排列的已被尺寸调整的G行数据来输出。
图6所示的水平分布均等化处理功能在实施图5(b)中所示的两个步骤的分布均等化处理Hll和Vll时使用。此时，垂直分布均等化处理Vll当从帧存储器FMl读出数据时，在与写入时正交的方向的垂直方向上读出，并输入到分布均等化处理VII，因此，成为与水平分布均等化处理Hll相同的处理。S卩，垂直分布均等化处理Vll能够使用与水平分布均等化处理Hll相同的结构，因此，能够实现构成的简化。接下来，如图5(c)所示，对使用由多行构成的行存储器LMl作为两个步骤的尺寸调整处理H12和V12的中间缓存器的情况下的详细内容进行说明。图16A表不行存储器LMl的写入读出动作。图16B表不图16A的下一个行数据处理中的相同行存储器的写入读出动作。LMl是由η行构成的行存储器。WC表示针对行存储器LMl进行的数据写入循环，作为针对η行的写入控制，一行一行按顺序地以环状巡回的方式写入。RC表示针对行存储器LMl进行的数据读出循环，将η行中的(η-1)行的存储器数据汇总并选择，并且与写入控制同样地按照顺序以环状巡回的方式读出。在本例中，能够通过划分写入行与读出行，从而使写入和读出非同步地进行。这样一来，通过将完成了水平方向的分布均等化处理的RAW数据D12中的集合在一起的多行份的RAW数据从行存储器LMl中汇总并读出，从而对多行上的水平方向的同一位置的数据dH在纵向上进行垂直分布均等化处理Vl2，获得被分布均等化的最终的RAW数据D13。此时，垂直分布均等化处理V12成为与水平分布均等化处理H12不同的处理，多个行单位的任意的处理针对关注像素进行垂直方向的分布均等化处理，并在水平方向上进行管线输出。由于是使用多行的行存储器LM1，在写入多行份的多颜色阵列数据的同时读出多行份的数据的构成，因此，能够高速化地进行处理。图17表示利用图16A和图16B的行存储器LMl的情况下的图5(c)中的垂直分布均等化处理V12的详细内容。该垂直分布均等化处理V12针对关注像素在垂直方向上进行分布均等化处理，并进行水平方向的一行份的管线处理。该垂直分布均等化处理V12也与图6的水平分布均等化处理H12相同，作为亮度信号处理和颜色载波提取处理这两个系统处理来实施。在本例中，作为输入数据，将在与9行份的RAW数据垂直的方向上成为相同水平位置的九个像素作为一个垂直方向处理单位dHl和dH2进行处理。具体而言，包括:颜色载波除去滤光处理部41，其从9行份的RAW数据中提取在垂直方向上位于关注行及其上下的三种类的垂直方向亮度数据dl2(Yl，Y2，Y3);颜色载波提取滤光处理部42，其提取垂直方向的关注行位置的颜色载波数据dl4 ;垂直分布均等化处理部43，其使用三种类的垂直方向亮度数据dl2(Yl，Y2，Y3)进行垂直方向的分布均等化处理，并生成行亮度数据dl3 ;以及颜色阵列再现处理部44，其将在垂直方向上分布均等化的行亮度数据dl3和颜色载波数据dl4再合成，生成最终的在垂直方向上被分布均等化的RAW行数据dl5。颜色载波除去滤光处理部41和颜色载波提取滤光处理部42相当于图1的第2滤光处理部bl，垂直分布均等化处理部43相当于图1的第2亮度分布均等化处理部b2，颜色阵列再现处理部44相当于图1的第2颜色阵列再现处理部b7。另外，垂直方向亮度数据dl2(Yl，Y2，Y3)相当于第3亮度数据，颜色载波数据dl4相当于第2颜色载波数据，行亮度数据dl3相当于第4亮度数据，RAff行数据dl5相当于第2多颜色阵列数据。使用在图17中详细表示的垂直分布均等化处理功能，关于拜耳阵列的图像，对进行像素数据的分布均等化处理的情况进行说明。该处理过程与图6相同，用于例如RAW处理结果的动态图像拍摄。如图17的垂直方向处理单位dHl和dH2所示，虽然水平分布均等化处理后的四个像素混合RAW数据保持着反映了拜耳阵列的像素配置的马赛克状的阵列，但像素数据分布在垂直方向上成为不均衡。水平分布均等化处理后的四个像素混合RAW数据由于将多个行作为同时输入数据，因此，如图16所示以行单位被巡回地写入到行存储器LM1，并将多行汇总后巡回地读出。相对于水平分布均等化处理后的9行单位的输入数据的各行上的水平方向的同一位置的垂直方向数据，垂直方向处理单位dHl成为在垂直方向上使B和G的信息按照每个像素进行反复的BG列数据；垂直方向处理单位dH2成为使在垂直方向上G和R的信息按照每个像素进行反复的GR列数据，这两种在水平方向上进行反复。这两种垂直方向的列数据具有在垂直方向上以两个像素周期进行变化的奈奎斯特频率附近的颜色载波信息，由于利用除去颜色载波的颜色载波除去滤光处理部41生成位于关注中心行及其上下行的三种垂直方向亮度数据dl2(Yl，Y2，Y3)，因此，分别使用垂直方向处理单位dHl的七个像素的数据进行滤光处理。成为B和G的平均值的三种垂直方向亮度数据dl2(Yl，Y2，Y3)被从垂直方向处理单位dHl输出，成为G和R的平均值的三种垂直方向亮度数据dl2(Yl，Y2，Y3)被从下一个垂直方向处理单位dH2输出。另外，上述两种垂直方向处理单位dHl和dH2利用提取在垂直方向上以两个像素周期变化的奈奎斯特频率附近的颜色载波的颜色载波提取滤光处理部42，关于BG列，被输入以奈奎斯特频率调制的(B-G)分量的颜色载波数据dl4，关于反复GR的行，输出以奈奎斯特频率调制的(G-R)分量的颜色载波数据dl4。为了对亮度数据和颜色载波数据的垂直方向的像素数据分布进行均等化，在颜色载波提取滤光处理部42中，以成为9行的中心的第5行为基准进行在垂直方向上具有对称系数的滤光处理。垂直分布均等化处理部43对在垂直方向上提取的三种垂直方向亮度数据dl2(Yl，Y2，Y3)进行垂直方向上的像素数据的分布均等化处理。图18表示使用垂直方向的三种垂直方向亮度数据dl2 (Yl，Y2，Y3)，将偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值，将奇数行的像素数据的亮度值拟制为坐标的上侧移动而进行插值的实施方式的垂直分布均等化处理部43的构成。原理与水平方向处理的说明相同，将延迟时间从一像素延迟置换成一行期间的延迟，通过输入三种垂直方向亮度数据dl2(Yl，Y2，Y3)来实现垂直方向的分布均等化处理。在垂直方向上像素数据分布不均衡的垂直方向亮度数据dl2(Yl，Y2，Y3)，将Y2作为关注行，将其上方侧的行设为Y1，将下方侧的行设为Y3。利用乘法器46将输入的亮度数据Yl与系数β相乘，利用乘法器45将输入的亮度数据Υ2与系数α相乘，利用加法器47将所获得的两个乘法计算的结果相加，利用第I除法器48使上述加法计算结果除以(α +β )。另外，利用乘法器50将输入的亮度数据Υ3与系数β相乘，利用乘法器49将输入的亮度数据Υ2与系数α相乘，利用加法器51将所获得的这两个乘法计算结果相加，利用第2除法器52使该计算结果除以(α+β)。利用输出的行开关部53，按照每一个像素地选择第I除法器48的输出和第2除法器52的输出。对将偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值，将奇数行的像素数据的亮度值拟制为坐标的上侧移动而进行插值的分布均等化的操作进行说明。在所输入的行亮度数据Y2成为奇数行的情况下，行开关部53对第I除法器48的输出进行一行期间选择并输出。另一方面，在所输入的行亮度数据Y2成为偶数行的情况下，行开关部53对第2除法器52的输出进行一行期间选择并输出。根据本处理，能够将偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值，将奇数行的像素数据的亮度值拟制为坐标的上侧移动而进行插值。由于利用相邻的两行数据的线性插值来对由于四个像素混合导致的垂直方向的像素数据分布的不均衡进行校正处理，因此，乘法器45、62的系数α与乘法器46、63的系数β在理论上成为α: β = 5:1。不过，为了简化除法器48、65的除法计算处理，能够通过以作为近似值而成为例如α: β =27: 5或α: β = 53: 11的方式将(α+β)设为2的指数(2η)的32或64，从而简化处理。另外，将偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值的情况下的输出的行开关部53进行的输出行的选择如下所述。即，在Υ2的关注行为奇数行的亮度数据的情况下，经由用双点划线表示的信号线直接进行直通输出，在偶数行的亮度数据的情况下，选择第2除法器52的输出。将其按照每一行像素交替切换。不使用除法器48的输出信号线。此时，由于利用相邻的两个行数据的线性插值来对像素数据分布的不均衡进行校正处理，因此，乘法器49的系数α与乘法器50的系数β在理论上成为α: β = 2:1。不过，为了简化除法器52的除法计算处理，能够通过以作为近似值而成为例如α: β =10: 6或α: β = 11: 5的方式将(α + β )设为2的指数(2η)的16，从而简化处理。另外，在将奇数行的像素数据的亮度值拟制为坐标的上侧移动而进行插值的情况下，输出的行开关部53进行的输出行的选择如下所述。即，在Υ2的关注行为偶数行的亮度数据的情况下，经由用双点划线线表示的信号线直接进行直通输出，在奇数行的亮度数据的情况下，选择第I除法器48的输出，将其按照每一行像素交替切换。不使用除法器52的输出信号线。此时，由于利用相邻的两个行数据的线性插值来对像素数据分布的不均衡进行校正处理，因此，乘法器45的系数α与乘法器46的系数β在理论上成为α: β =2: I。不过，为了简化除法器48的除法计算处理，与上述相同，能够通过以作为近似值而成为例如α: β=10:6*α: β = 11: 5的方式将(α+β)设为2的指数(2")的16，从而简化处理。返回到图17的处理进行说明。在上述垂直分布均等化处理部43进行处理的在垂直方向被分布均等化的行亮度数据dl3，经过作为与颜色阵列再现处理部44的颜色载波数据dl4的加法计算处理的再合成处理，成为在与垂直方向处理单位dHl垂直的方向上按照每个像素使B和G的信息反复的在垂直方向上被分布均等化了的反复BG的行数据dl5。在行数据dl5中，成为在与垂直方向处理单位dH2垂直的方向上按照每个像素使G和R的信息反复的在垂直方向上被分布均等化了的数据(GR的行数据dl5)。通过上述处理，能够生成在水平和垂直方向上都进行了像素数据的分布均等化处理的RAW数据。将如上所述获得的RAW分布均等化处理后的图像数据(dl5)输入到图27的图像信号处理部10进行信号处理，转换成最终的图像，例如动态图像摄影图像。图19A以及图19B表示的是:针对实际的拜耳阵列的四个像素混合的RAW数据，在与CZP(圆形波带片:circular zone plat e)图像水平和垂直的两个方向上进行本发明的分布均等化处理的情况下的分布均等化处理RAW数据结果。图19A的处理图像是拍摄元件上的四个像素混合的拜耳阵列的RAW数据(原始图像:无高频强调)。图19B的处理图像是对拍摄元件上的四个像素混合的拜耳阵列的RAW数据实施了本发明的分布均等化处理的结果(有高频强调)。通过对图19A的区域Ul和图19B的区域U2进行比较或对区域Wl和区域W2进行比较可知，能够从四个像素混合后的RAW数据生成减轻了由于四个像素混合引起的反复所导致的不稳定(锯齿状边缘:jaggy)的RAW数据。在高频强调的情况下，成为图20B的区域W3所示，能够更加抑制由于四个像素混合引起的反复所导致的不稳定，并获得更加流畅的清晰度。总之，根据本实施例，以由于四个像素混合等偶数像素混合输出而导致在二维方向上像素数据分布产生不均衡的原始图像RAW数据作为处理对象，能够降低伪亮度信号和伪色，并确保清晰度。实施例2以下，对本发明的实施例2中的图像处理装置以及图像处理方法进行说明。图21 (a)表示的是针对四个像素混合后的RAW数据，在图27的拍摄装置A的前处理部7进行分布均等化并且进行尺寸调整处理的顺序的概要。如图21(a)所示，作为单板式的原始图像(一面)的四个像素混合后的RAW数据D21的分布均等化以及尺寸调整处理是作为水平分布均等化及尺寸调整处理H2、以及垂直分布均等化及尺寸调整处理V2这两个步骤的处理进行的。四个像素混合后的RAW数据D21通过水平分布均等化及尺寸调整处理H2成为在水平方向上进行了分布均等化及尺寸调整处理的RAW数据D22 ;通过垂直分布均等化及尺寸调整处理V2进一步成为在垂直方向上进行了分布均等化及尺寸调整处理的RAW数据D23。作为由两个步骤构成的水平分布均等化及尺寸调整处理H2、以及垂直分布均等化及尺寸调整处理V2的实施方式，具有以下所述的两个实施方式。图21(b)和图21 (c)分别表示其概要。在图21的(b)所示的实施方式中，使用帧存储器FM2作为两个步骤的分布均等化及尺寸调整处理H21、V21的缓冲器。将水平分布均等化及尺寸调整处理H21之后的RAW数据D22都暂时写入帧存储器FM2。接下来，当从帧存储器FM2读出RAW数据D22时，在与写入时正交的方向的垂直方向上读出并进行垂直分布均等化及尺寸调整处理V21，获得分布均等化及尺寸调整处理过的最终的RAW数据D32。在这种实施方式的情况下，垂直分布均等化及尺寸调整处理V21成为与水平分布均等化及尺寸调整处理H21相同的处理。在图21(c)所示的实施方式中，为了将两个步骤的分布均等化及尺寸调整处理H22、V22设为管线处理，使用由多行形成的行存储器LM2作为缓冲器。实施水平分布均等化及尺寸调整处理H22，并将其输出写入行存储器LM2中。同时，从行存储器LM2中读出RAW数据D22中的汇总的多行份的RAW数据，对多行上的水平方向的同一位置的数据在垂直方向上进行垂直分布均等化及尺寸调整处理V22，获得分布均等化的最终的RAW数据D23。此时，垂直分布均等化及尺寸调整处理V22成为与水平分布均等化及尺寸调整处理H22不同的处理。使用图22对水平分布均等化及尺寸调整处理H2进行详细说明。水平分布均等化及尺寸调整处理H2是进行行上的像素单位的处理的一维的管线处理，包括:颜色载波除去滤光处理部61，其从四个像素混合后的RAW数据的反复BG或GR的行数据d21提取连续的行亮度数据d22 ;颜色载波提取滤光处理部62，其从行数据d21中提取反复BG或GR的连续的行颜色载波数据d25 ;水平分布均等化处理部63 (相当于图2的第I亮度分布均等化处理部a2)，其通过对行亮度数据d22进行水平方向的分布均等化处理从而生成行亮度数据d23 ;水平亮度尺寸调整处理部64，其通过对分布均等化的行亮度数据d23进行缩小调整处理从而生成行亮度数据d24 ;颜色反转解调部65，其通过对调制的行颜色载波数据d25进行颜色反转解调从而生成连续的行颜色差分数据d26 ;水平颜色差分尺寸调整处理部66，其通过进行行颜色差分数据d26的缩小调整处理从而生成行颜色差分数据d27 ;颜色载波调制部67，其将尺寸调整后的行颜色差分数据d27再次转换成反复BG或GR的行颜色载波数据d28 ;以及颜色阵列再现处理部68，其将从水平亮度尺寸调整处理部64输出的行亮度数据d24与行颜色载波数据d28再合成，生成在水平方向上被分布均等化了的行数据d29。颜色载波除去滤光处理部61和颜色载波提取滤光处理部62相当于图2的第I滤光处理部al，水平分布均等化处理部63相当于图2的第I亮度分布均等化处理部a2，水平亮度尺寸调整处理部64相当于图2的第I亮度尺寸调整处理部a3，颜色反转解调部65相当于图2的第I颜色反转解调部a4，水平颜色差分尺寸调整处理部66相当于图2的第I颜色差分尺寸调整处理部a5，颜色载波调制部67相当于第I颜色载波调制部a6，颜色阵列再现处理部68相当于图2的第I颜色差分尺寸调整处理部a7。另外，行数据d21相当于第I多颜色阵列数据，行亮度数据d22相当于第I亮度数据，行颜色载波数据d25相当于第I颜色载波数据，行亮度数据d23相当于第2亮度数据，行亮度数据d24相当于第2-1亮度数据，行颜色差分数据d26相当于第I颜色差分数据，行颜色差分数据d27相当于第2颜色差分数据，行颜色载波数据d28相当于第1-1颜色载波数据，行数据d29相当于第I多颜色阵列数据。对图22所示的使用水平分布均等化及尺寸调整处理功能来对四个像素混合的拜耳阵列的图像进行处理的情况进行说明。该处理过程用于使用高像素的拍摄元件4进行动态图像摄影。成为输入图像的四个像素混合后的RAW数据是反映了拜耳阵列的像素配置的马赛克状的图像，通常，从拍摄元件4以行单位读出。该行单位的输入数据成为按照每个像素反复B和G的信息的BG的行数据d21和按照每个像素反复图中没有表示的G和R的信息的GR的行数据d21这两种类。这两种类的行数据d21经过用于除去以两个像素周期进行变化的奈奎斯特频率附近的颜色载波的颜色载波除去滤光处理部61的处理，在反复BG的行中输出成为B和G的平均值{δ (B+G)}的行亮度数据d22，在图中没有表示的反复GR的行中输出成为G和R的平均值{ δ (G+R)}的行亮度数据d22 ( δ = 1/2)。BG或GR的两种类的行亮度数据d22在水平分布均等化处理部63进行像素数据分布校正，作为BG或GR的被分布均等化的行亮度数据d23输出。水平分布均等化处理部63的详细内容与已经说明的图6的水平分布均等化处理部20相同。另外，BG或GR这两种行数据d21经过用于提取以两个像素周期进行变化的奈奎斯特频率附近的颜色载波的颜色载波提取滤光处理部62的处理，关于反复BG的行，输出以那奎斯特频率调制的BG的行颜色载波数据d25，关于图中没有表示的反复GR的行，输出以那奎斯特频率调制的GR的行颜色载波数据d25。BG或GR这两种行颜色载波数据d25成为按照每个像素符号反转的状态，即成为颜色排列按照每个像素呈交替不同颜色的状态。利用颜色反转解调部65对该行颜色载波数据d25按照每个像素进行符号反转，使颜色排列统一成相同颜色，并作为连续的BG或GR的行颜色差分数据d26而被输出。接下来，利用水平分布均等化处理部63进行了分布均等化的行亮度数据d23通过水平亮度尺寸调整处理部64按照缩小比率进行线性插值间隔剔除，成为进行了分布均等化及尺寸调整的亮度数据d24。行颜色差分数据d26通过水平颜色差分尺寸调整处理部66按照缩小比率进行线性插值间隔剔除，成为调整了尺寸的行颜色差分数据d27。对各数据实施同一比率的水平方向的缩小调整。

在水平方向上尺寸被缩小调整过的连续的并且颜色排列统一成同色的行颜色差分数据d27{Y (B-G)，Y (G-R)}接受颜色载波调制部67的处理，由此，作为用于利用以两个像素周期变化的那奎斯特频率进行调制的等效处理，按照每个像素符号再次被交替地反转，成为恢复了颜色排列的周期性的颜色载波数据d28{ Y (B-G)，-Y (B-G)}和{ Y (G-R), - Y (G-R)}。被分布均等化及尺寸调整过的行亮度数据d24接受颜色阵列再现处理部68的再合成处理(具体而言，是与被尺寸调整过的行颜色载波数据d28的加法计算处理)，由此，成为B和G的信息按照每个像素反复的被分布均等化及尺寸调整过的行亮度数据d29并被输出。另外，被分布均等化及尺寸调整过的行亮度数据d24成为图中没有表示的G和R的信息按照每个像素反复的被进行了分布均等化及尺寸调整处理的行数据并被输出。反复BG的行的再合成由公式表示。首先，如果设δ =0.5, Y =0.5，则被进行了分布均等化及尺寸调整的行亮度数据{S (B+G)}和行颜色载波数据U (B-G)，- Y (B-G)}成为进行了分布均等化及尺寸调整的行亮度数据{0.5(B+G)}和行颜色载波数据{0.5 (B-G)，-0.5 (B-G) }。如果按照每个像素将亮度数据和颜色载波数据相加，则反复0.5{(B+G) + (B-G)}、0.5{(B+G)-(B-G)}、…。SP，作为 B、G、B、G、…而再生被进行了分布均等化及尺寸调整处理的行数据d29。在反复GR的行中也同样，如果在被进行了分布均等化及尺寸调整的行亮度数据{S (G+R)}和行颜色载波数据U (G-R)，I (G-R)}中设δ = 0.5、Y = 0.5，则成为被进行了分布均等化及尺寸调整的行亮度数据{0.5(G+R)}和行颜色载波数据{0.5 (G-R), -0.5 (G-R)10如果按照每个像素将亮度数据和颜色载波数据相加，则反复
0.5 {(G+R) + (G-R)} ,0.5 {(G+R) - (G-R)},…。SP，作为 R、G、R、G、…而再生被进行了分布均等化及尺寸调整处理的行数据d29。另外，虽然将针对亮度数据和颜色载波数据的系数作为δ和Υ，在加法计算处理之前进行增益调整，以使合成数据的增益成为与输入等同的方式进行了处理，但由于其目的在于从亮度信号和颜色载波信号这两种信号分量中生成RGB的独立的一个颜色分量，因此，不一定需要在计算之前进行增益调整，可以在成为RGB的独立的颜色分量之后进行增
益调整。另外，虽然对RGB拜耳阵列的水平方向的分布均等化及尺寸调整处理功能进行了说明，但在蜂窝阵列中也和实施例1相同，能够使用本发明。
图22所示的水平分布均等化及尺寸调整处理功能能够在实施图21 (b)所示的两个步骤的分布均等化及尺寸调整处理H21、V21时使用。此时，当从帧存储器FM2读出数据时，垂直分布均等化及尺寸调整处理V21，在与写入时正交的方向的垂直方向上读出，然后，将所读出的数据输入到分布均等化及尺寸调整处理V21，因此，成为与水平分布均等化及尺寸调整处理H21相同的处理。即，能够使用相同的构成，因此，实现了构成的简化。接下来，如图21 (C)所示，对使用由多行形成的行存储器LM2作为两个步骤的分布均等化及尺寸调整处理H22和V22的中间缓冲器的情况进行详细说明。图23表示行存储器LM2的写入读出操作。控制方法与实施例1相同。图23表示的是利用与实施例1的图16的行存储器LMl具有同样构成的图21 (C)的行存储器LM2的情况下的图21(c)中的垂直分布均等化及尺寸调整处理V22的详细内容。垂直分布均等化及尺寸调整处理V22与实施例1相同，对关注像素在垂直方向上进行分布均等化处理，并进行水平方向的I行份的管线处理。图23的垂直分布均等化及尺寸调整处理V22也和图22的水平分布均等化及尺寸调整处理H21相同，作为亮度信号处理和颜色载波提取处理的两个系统来实施。在本实施例2中，为了进行分布均等化处理后的尺寸调整处理，在垂直方向上具有多个亮度信号处理和颜色载波提取处理。在本例中，作为输入数据，在与10行份的RAW数据垂直的方向上，将成为同一水平位置的10个像素作为一个垂直方向处理单位dH3和dH4进行处理。具体而言,作为最低限度所需的功能，具有以下的处理部:即，颜色载波除去滤光处理部71，其从10行份的RAW数据中提取在垂直方向上包括关注行的位于其上下的最小的四种类的垂直方向亮度数据d30(Yl，Y2，Y3，Y4);颜色载波提取滤光处理部72，其提取垂直方向的包括关注行的位于其上下的最小的三种颜色载波数据C1、C2、C3 ;垂直分布均等化处理部73，其使用四种类的垂直方向亮度数据d30(Yl，Y2，Y3，Y4)，在垂直方向上进行三个系统的分布均等化处理，将三种类的垂直分布均等化的行亮度数据d31输出；颜色反转解调部74，其对在垂直方向上调制的三种类的颜色载波数据Cl、C2、C3分别进行颜色反转解调，在垂直方向上分别输出连续的三种类的颜色差分数据d33 ;垂直亮度尺寸调整部75，其对在垂直方向上连续的三种类的进行了垂直分布均等化的行亮度数据d31进行垂直方向的缩小处理，在垂直方向上输出被分布均等化及尺寸调整了的行亮度数据d32 ;垂直颜色差分尺寸调整处理部76，其对在垂直方向上连续的三种类的颜色差分数据d33进行垂直方向的缩小调整，并输出BG的行颜色差分数据d34 ;颜色载波调制部77，其将尺寸调整后的颜色差分数据d34再转换成颜色载波数据，并输出垂直方向的行颜色载波数据d35 ;以及颜色阵列再现处理部78，其将在垂直方向分布均等化及尺寸调整过的行亮度数据d32和垂直方向的行颜色载波数据d35再合成，生成最终的垂直方向的分布均等化及尺寸调整过的RAW数据d36。颜色载波除去滤光处理部71和颜色载波提取滤光处理部72相当于图2的第I滤光处理部bI ;垂直分布均等化处理部73相当于图2的第2亮度分布均等化处理部b2 ;颜色反转解调部74相当于图2的第2颜色反转解调部b4 ;垂直亮度尺寸调整部75相当于图2的第2亮度尺寸调整处理部b3 ;垂直颜色差分尺寸调整处理部76相当于图2的第2颜色差分尺寸调整处理部b5 ;颜色载波调制部77相当于图2的第2颜色载波调制部b6 ;颜色阵列再现处理部78相当于图2的第2颜色阵列再现处理部b7。垂直方向亮度数据d30(Yl，Y2，Y3，Y4)相当于第3亮度数据；颜色载波数据C1、C2、C3相当于第2颜色载波数据；行亮度数据d31相当于第4亮度数据；颜色差分数据d33相当于第3颜色载波数据；行亮度数据d32相当于第5亮度数据；行颜色差分数据d34相当于第4颜色差分数据；垂直方向的行颜色载波数据d35相当于第3颜色载波数据；RAW数据d36相当于第2多颜色阵列数据。对利用图23进行了详细表示的垂直分布均等化及尺寸调整处理功能，对拜耳阵列的图像进行分布均等化及尺寸调整处理的情况进行说明。该处理过程与实施例1相同，例如用于RAW处理结果的动画处理记录。如图23的垂直方向处理单位dH3和dH4所示，水平分布均等化处理后的四个像素混合RAW数据保持反映了拜耳阵列的像素配置的马赛克状的阵列，并且在垂直方向上像素数据分布成为不均衡。为了将多行同时作为输入数据，而与实施例1的图16所示相同，以行单位在行存储器LM2中巡回地写入，将多行汇总后巡回地读出。在本说明中利用由11行构成的行存储器LM2，将10行的输出统一地输出。针对水平分布均等化处理后的10行单位的输入数据的各行上的水平方向的同一位置的垂直方向数据，垂直方向处理单位dH3成为在垂直方向上按照每个像素反复B和G的信息的BG列数据；垂直方向处理单位dH4成为在垂直方向上按照每个像素反复G和R的信息的GR列数据，这两个种类在水平方向上反复。这两个种类的垂直方向的列数据具有在垂直方向上以两个像素周期进行变化的奈奎斯特频率附近的颜色载波信息，除去颜色载波的颜色载波除去滤光处理部71为了生成位于包括关注中心行的上下行的四个种类的垂直方向亮度数据d30(Yl，Y2，Y3，Y4)，而分别使用垂直方向处理单位dH3的七个像素的数据进行滤光处理。成为B和G的平均值的四个种类的垂直方向亮度数据d30(Yl，Y2，Y3，Y4)，从垂直方向处理单位dH3被输出，成为G和R的平均值的四个种类的垂直方向亮度数据d30 (Yl，Y2，Y3，Y4)，从之后的垂直方向处理单位dH4被输出。另外，提取在垂直方向上以两个像素周期进行变化的奈奎斯特频率附近的颜色载波的颜色载波提取滤光处理部72，从两个种类的垂直方向处理单位dH3，dH4中，针对BG列，输出以奈奎斯特频率调制的(B-G)分量的颜色载波数据，针对反复GR的行，输出以奈奎斯特频率调制的(G-R)分量的颜色载波数据。在本实施例中，为了在之后进行使用线性插值的垂直亮度尺寸处理部75的处理，而生成位于包括关注中心行的上下行的三个种类的颜色载波数据C1、C2、C3。C1、C2、C3使用分别从垂直方向处理单位dH3的上方起向下方各错开一个像素而得到的七个像素的数据进行了滤光处理。为了将亮度数据和颜色载波数据的垂直方向的分布均等化，颜色载波除去滤光处理部71和颜色载波提取滤光处理部72从10行上起以第5行作为基准的关注行，进行在垂直方向具有对称系数的滤光处理。垂直分布均等化处理部73使用在垂直方向上提取的四个种类的垂直方向亮度数据d30(Yl，Y2，Y3，Y4)，进行垂直方向的像素数据的分布均等化处理，生成在垂直方向上连续的三个种类的被垂直分布均等化了的行亮度数据d31。针对由于四个像素的混合导致的像素数据分布不均衡的分布均等化处理，基本上与实施例1相同。在实施例1中，以一个系统只输出成为关注行的被分布均等化了的亮度数据，但在本实施例中，为了在之后实施使用线性插值的垂直亮度尺寸调整处理部75的处理，而输出关注行和位于其上下的行的3行份的在垂直方向进行了分布均等化的行亮度数据。图24表示的是将垂直方向的偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值的垂直分布均等化处理部73的构成。作为在具有周期性像素数据分布不均衡的状态下输入的行亮度数据，输入从图像的垂直方向的上边向下方相邻的Y1、Y2、Y3、Y4的4行份的数据。数据Yl在输入到行开关部85的同时也被输入到乘法器81中。乘法器81将数据Yl与系数α相乘，并将该结果输入到加法器83中。数据Υ2被输入到乘法器82。乘法器82将数据Υ2与系数β相乘，并将该结果输入到加法器83中。加法器83将两个乘法器81和83的乘法计算数据相加，并将该相加的结果输入到除法器84中。除法器84使所输入的加法计算数据除以(α+β)，并将该结果输入到行开关部85中。行开关部85每隔一行地选择并输出数据Yl的直通数据输出和除法器84的除法计算数据。数据Υ2被输入到行开关部90，并也被输入到乘法器86中。乘法器86将数据Υ2与系数α相乘，并将该结果输入到加法器88中。数据Υ3被输入到乘法器87中。乘法器87将数据Υ3与系数β相乘，并将该结果输入到加法器88中。加法器88将两个乘法器86和87的乘法计算数据相加，并将该结果输入到除法器89中。除法器89使所输入的加法计算数据除以(α + β )，并将该结果输入到行开关部90中。行开关部90每隔一行地选择并输出数据Υ2的直通数据输出和除法器89的除法计算数据。数据Υ3被输入到行开关部95，并也被输入到乘法器91中。乘法器91将数据Υ3与系数α相乘，并将该结果输入到加法器93中。数据Υ4被输入到乘法器92中。乘法器92将数据Υ4与系数β相乘，并将该结果输入到加法器93中。加法器93将两个乘法器91和92的乘法计算数据相加，并将该结果输入到除法器94中。除法器94使所输入的加法计算数据除以(α+β)，并将该结果输入到行开关部95中。行开关部95每隔一行地选择并输出数据Υ3的直通数据输出和除法器94的除法计算数据。对针对图像的垂直方向的偶数行的分布均等化的操作进行说明。关注所输入的行亮度数据d30，为了校正原始图像的垂直方向的像素数据分布不均衡，使用线性插值处理，以图像上边为基准对偶数行位置的行亮度数据Line2和行亮度数据Line4进行分布均等化。控制的情况有两种。(I)作为数据Yl和数据Y3，而输入奇数行的数据；作为数据Y2和数据Y4，而输入偶数行的数据。(2)作为数据Yl和数据Y3，而输入偶数行的数据；作为数据Y2和数据Y4，而输入奇数行的数据。在上述(I)的状态下，输入奇数行的数据Yl (亮度)和数据Y3 (亮度)是利用行开关部85和行开关部95经过一行期间所选择的，然后，所选择的数据作为在垂直方向被分布均等化了的行亮度数据I和经过了垂直方向分布均等化的行亮度数据3而被从行开关部85和行开关部95输出。为了对成为输入偶数行的行亮度数据进行向下方的分布均等化，实施以下的处理。即，将用乘法器86计算的数据Y2和系数α的相乘数据与用乘法器87计算的数据Υ3和系数β的相乘数据利用加法器88进行相加计算，然后，利用除法器89使该相加计算数据除以(α+β)，利用行开关部90以一行期间选择所获得的除法计算数据。由此，生成在垂直方向上被分布均等化了的行亮度数据2，所生成的行亮度数据2被从行开关部90输出。在上述(2)的状态下，为了进行输入奇数行的数据Yl (亮度)的向下方的分布均等化而实施以下处理。即，将用乘法器81计算的数据Yl与系数α的相乘数据和用乘法器82计算的数据Υ2与系数β的相乘数据，利用加法器83进行相加计算，然后，利用除法器84使该相加计算数据除以(α+β)，利用行开关部85以一行期间选择所获得的除法计算数据。由此，生成在垂直方向上被分布均等化了的行亮度数据1，生成的行亮度数据I被从行开关部85输出。数据Υ2被利用行开关部90经过一行期间而选择出，然后，作为在垂直方向上被进行了分布均等化的行亮度数据2而输出。将用乘法器91计算的数据Υ3与系数α的相乘数据和用乘法器92计算的数据Υ4与系数β的相乘数据，利用加法器93进行相加计算，然后，利用除法器94使该相加计算数据除以(α+β)，利用行开关部95以一行期间选择所获得的除法计算数据。由此，生成在垂直方向上被分布均等化了的行亮度数据3，生成的行亮度数据I被从行开关部85输出。如上所述，通过本处理，能够将垂直方向的偶数混合后的像素数据的亮度值拟制为坐标的下侧移动而进行插值。与实施例1相同，在校正由于四个像素混合导致的像素数据分布不均衡的情况下，由于利用相邻的两个像素的线性插值进行校正处理，因此，系数α与系数β在理论上成为α: β = 2:1。不过，为了简化利用除法器84、89、94进行的1/(α+β)的除法计算处理，能够通过以作为近似值而成为α: 0=10:6或<!: β=11: 5的方式将(α+β)设为2的指数(2η) 16，从而简化处理。图25表示的是保持垂直方向的清晰度、并将奇数行的像素数据的亮度值拟制为坐标的上侧移动而进行插值的垂直分布均等化处理部73的构成。基本操作的思路与图24相同，具有用于提高校正行的垂直方向的清晰度的高频强调处理部110。在进行行的线性插值处理之前，进行垂直高频强调处理来保持垂直方向的清晰度。图26表示的是保持垂直方向的清晰度、并将偶数行的像素数据的亮度值拟制为坐标的下侧移动而进行插值的垂直分布均等化处理部73的构成。基本操作的思路与图24相同，具有用于提高校正行的垂直方向的清晰度的高频强调处理部120。进行行的线性插值处理，只对在垂直方向上被进行了分布均等化处理的输出的校正处理行在后续处理中进行垂直高频强调处理来保持垂直方向的清晰度。返回到图23的处理，针对在上述垂直方向上被进行了分布均等化的三行的行亮度数据d31，利用垂直亮度尺寸处理部75的处理并按照缩小比率进行三行输入的垂直方向上的线性插值处理，线性插值处理后的数据被作为以行为单位在垂直方向上被进行了分布均等化及尺寸调整的行亮度数据d32间隔剔除而输出。关于对在垂直方向上调制的三种类的颜色载波数据Cl、C2、C3分别进行了颜色反转解调的并且在垂直方向上各自连续的三种类的颜色差分数据d33，利用垂直颜色差分尺寸调整处理部76并按照缩小比率对其进行与三行输入的垂直方向上的亮度数据相同的线性插值处理，线性插值处理后的数据被作为 以行为单位反复BG的行颜色差分数据d34间隔剔除而输出。针对通过垂直方向的行间隔剔除被尺寸调整的反复BG的行颜色差分数据d34，进行使用按照每行输出使符号反转的颜色载波调制部77的处理作为用于按照以垂直方向的两个像素周期进行变化的奈奎斯特频率进行调制的等价处理。进行了符号反转处理的数据被作为恢复了颜色阵列的周期性的在垂直方向上反复BG的行颜色载波数据d35，从载波调制部77输出。颜色阵列再现处理部78将在垂直方向上被进行了分布均等化及尺寸调整的行亮度数据d32与垂直方向的行颜色载波数据d35再合成。由此，颜色阵列再现处理部78生成在垂直方向上被进行了分布均等化处理及尺寸调整的最终的RAW数据d36。RAW数据d36包括在垂直方向上使B和G的信息按照每个像素反复并且在水平和垂直方向上都被尺寸调整过的反复BG的行数据、以及在垂直方向上使G和R的信息按照每个像素反复并且在水平和垂直方向上都被尺寸调整过的反复GR的行数据。另外，虽然在本实施例中对缩小处理进行了说明，但在图23所示的使用垂直方向尺寸调整处理功能进行扩大处理的情况下，处理的流程也成为与上述相同的处理。不过，在扩大处理时，由于与输入数据的行数相比，输出数据的行数变多，因此，通过高速地实施尺寸调整处理后的后续处理，或者暂时停止连续的输入数据，并且还同步地停止尺寸调整处理的前级处理，能够实现扩大处理。接下来，将被分布均等化及尺寸调整处理过的RAW数据d36输入到图27的图像信号处理部10进行信号处理，转换成最终的图像(例如，预览显示图像或者以小于拍摄元件的像素数的规格尺寸被记录的动态图像摄影图像)。如上所述，在本发明的对四个像素混合RAW数据实施的分布均等化及尺寸调整处
理中，.将原始图像RAW数据划分成连续的亮度数据和连续的颜色载波数据；.进一步对连续的亮度数据进行尺寸调整处理；.另一方面，对连续的颜色载波数据进行尺寸调整处理；在此，针对颜色载波数据，首先实施符号反转，然后进行尺寸调整处理，再次进行符号反转，返回到原来的信号形式，在经过这些处理后，将分布均等化及尺寸调整处理后的连续的亮度数据和尺寸调整处理后的连续的颜色载波数据进行再合成。在第I阵列方向和与其正交的第2阵列方向的两个方向上进行上述一系列的处理。其结果是，能够防止在由于像素混合导致的像素数据分布不均衡所引起的最终图像中产生伪信号。而且，能够确保亮度信号的最大清晰度。能够获得这种效果的本发明对于预览显示或动态图像摄影处理来讲是非常适合的方法。另外，在本发明的实施例中，虽然针对以拍摄元件对四个像素混合后的RAW数据进行的水平分布均等化处理和垂直分布均等化处理的两种处理进行了说明，但根据需要也能够只进行单向的校正处理。另外，在拍摄元件上的像素混合只以单向的两个像素混合而被输出的情况下，只要按照像素混合的方向适当地选择并实施水平或垂直处理即可。另外，实施本发明的手段不局限于专用的图像处理装置(图像再生装置或图像加工装置)，也可以是计算机。另外，图像处理的一部分或全部不局限于硬件(信号处理电路)，也可以通过软件来实现。而且，本发明的图像处理程序以及记录介质，既可以构成单独的应用程序软件，也可以作为图像加工软件或文件管理用软件等的应用程序的一部分组装。另外，本发明的图像处理程序以及记录介质的使用不局限于计算机等的计算机系统的情况，也能够作为组装到数字摄像机或便携式电话等的信息设备中的中央处理器(CPU)的操作程序、记录介质使用。产业上的可利用性本发明的图像处理装置以及图像处理方法，通过对由于拍摄元件的像素混合而导致像素数据分布出现不均衡的RAW原始图像进行分布均等化并再合成RAW数据，能够生成降低了伪亮度信号并确保清晰度的RAW数据，而且，通过与从单板彩色拍摄元件获得的RAW原始图像的缩小处理和扩大处理一起进行使用，作为具有高质量的RAW数据的尺寸转换处理的电子静态摄像机、RAff数据的尺寸转换处理程序等是有用的。附图标记的说明Al第I分布均等化处理部BI第2分布均等化处理部A2 第I分布均等化尺寸调整处理部B2第2分布均等化尺寸调整处理部al第I滤光处理部a2第I亮度分布均等化处理部a3第I亮度尺寸调整处理部a4第I颜色反转解调部a5第I颜色差分尺寸调整处理部a6第I颜色载波调制部a7第I颜色阵列再现处理部bl第2滤光处理部b2第2亮度分布均等化处理部b3第2亮度尺寸调整处理部b4第2颜色反转解调部b5第2颜色差分尺寸调整处理部b6第2颜色载波调制部b7第2颜色阵列再现处理部H1、H11、Hl2 水平分布均等化处理V1、VI1、Vl2 垂直分布均等化处理H2、H21、H22 水平分布均等化及尺寸调整处理V2、V21、V22 垂直分布均等化及尺寸调整处理FM1、FM2帧存储器LM1、LM2行存储器I拍摄元件11颜色载波除去滤光处理部12颜色载波提取滤光处理部20水平分布均等化处理部27、28高频强调处理部30颜色阵列再现处理部
37、38高频强调处理部41颜色载波除去滤光处理部42颜色载波提取滤光处理部43垂直分布均等化处理部44颜色阵列再现处理部61颜色载波除去滤光处理部62颜色载波提取滤光处理部63水平分布均等化处理部64水平亮度尺寸调整处理部65颜色反转解调部66水平颜色差分尺寸调整处理部67颜色载波调制部68颜色阵列再现处理部71颜色载波除去滤光处理部
`
72颜色载波提取滤光处理部73垂直分布均等化处理部74颜色反转解调部75垂直亮度尺寸调整处理部76垂直颜色差分尺寸调整处理部77颜色载波调制部78颜色阵列再现处理部110、120高频强调处理部
权利要求
1.一种图像处理装置，具有: 第I分布均等化处理部，其从具有颜色阵列的周期性的多颜色像素的拍摄元件输入在彼此正交的第I和第2阵列方向上发生了由于偶数像素混合输出而导致的像素数据分布的不均衡的原始图像RAW数据之后，通过对所输入的上述原始图像RAW数据的上述第I阵列方向的像素数据分布进行均等化，从而生成第I多颜色阵列数据；以及 第2分布均等化处理部，其在输入了上述第I多颜色阵列数据之后，通过对所输入的上述第I多颜色阵列数据的上述第2阵列方向的像素数据分布进行均等化，从而生成第2多颜色阵列数据， 上述第I分布均等化处理部具有: 第I滤光处理部，其通过沿着上述第I阵列方向的像素单位的滤光处理，将上述原始图像RAW数据划分成连续的第I亮度数据和连续的第I颜色载波数据； 第I亮度分布均等化处理部，其通 过将上述第I亮度数据的上述第I阵列方向的亮度分布进行均等化，从而生成第2亮度数据；以及 第I颜色阵列再现处理部，其通过将上述第I颜色载波数据对上述第2亮度数据进行再合成，从而生成上述第I多颜色阵列数据， 上述第2分布均等化处理部具有: 第2滤光处理部，其通过沿着上述第2阵列方向的像素单位的滤光处理，将上述第I多颜色阵列数据划分成连续的第3亮度数据和连续的第2颜色载波数据； 第2亮度分布均等化处理部，其通过将上述第3亮度数据的上述第2阵列方向的亮度分布进行均等化，从而生成第4亮度数据；以及 第2颜色阵列再现处理部，其通过将上述第2颜色载波数据对上述第4亮度数据进行再合成，从而生成上述第2多颜色阵列数据。
2.根据权利要求1所述的图像处理装置，其中， 还具有将上述第I多颜色阵列数据转送给上述第2分布均等化处理部的缓存器， 上述缓存器具备具有被二维展开的存储空间的帧存储器， 上述帧存储器构成为:在与向该帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从该帧存储器读出上述第I多颜色阵列数据并提供给上述第2分布均等化尺寸调整处理部。
3.根据权利要求1所述的图像处理装置，其中， 还具有将上述第I多颜色阵列数据转送给上述第2分布均等化处理部的缓存器， 上述缓存器具有由多行构成的行存储器， 上述行存储器构成为:上述第I多颜色阵列数据按每一行被写入到该行存储器中，同时，多行的第I多颜色阵列数据被从该行存储器中读出并被转送到上述第2分布均等化处理部。
4.一种图像处理装置，具有: 第I分布均等化尺寸调整处理部，其从具有颜色阵列的周期性的多颜色像素的拍摄元件输入在彼此正交的第I和第2阵列方向上发生了由于偶数像素混合输出而导致的像素数据分布的不均衡的原始图像RAW数据之后，通过对所输入的上述原始图像RAW数据的上述第I阵列方向的像素数据分布进行均等化并且进行尺寸调整，从而生成第I多颜色阵列数据；以及 第2分布均等化尺寸调整处理部，其通过对上述第I多颜色阵列数据的上述第2阵列方向的像素数据分布进行均等化并且进行尺寸调整，从而生成第2多颜色阵列数据， 上述第I分布均等化尺寸调整处理部具有: 第I滤光处理部，其利用沿着上述第I阵列方向的像素单位的滤光处理，将上述原始图像RAW数据划分成连续的第I亮度数据、和符号交替地反转且颜色排列成为按每个像素呈交替不同颜色的连续的第I颜色载波数据； 第I亮度分布均等化处理部，其通过将上述第I亮度数据的上述第I阵列方向的亮度分布进行均等化，从而生成第2亮度数据； 第I亮度尺寸调整处理部，其通过将上述第2亮度数据在上述第I阵列方向上进行尺寸调整处理，从而生成第2-1亮度数据； 第I颜色反转解调部，其通过解调上述第I颜色载波数据，从而生成连续且颜色排列统一成相同颜色的第I颜色差分数据； 第I颜色差分尺寸调整处理部，其通过将上述第I颜色差分数据在上述第I阵列方向上进行尺寸调整处理，从而生成第2颜色差分数据； 第I颜色载波调制部，其将上述第2颜色差分数据调制成符号交替地反转且颜色阵列的周期性已被复原的第1-1颜色载波数据；以及 第I颜色阵列再现处理部，其通过将上述第1-1颜色载波数据对上述第2-1亮度数据进行再合成，从而生成上述第I多颜色阵列数据， 上述第2分布均等化 尺寸调整处理部具有: 第2滤光处理部，其利用沿着上述第2阵列方向的像素单位的滤光处理，将上述第I多颜色阵列数据划分成连续的第3亮度数据、和符号交替地反转且颜色排列成为按每个像素呈交替不同颜色的连续的第2颜色载波数据； 第2亮度分布均等化处理部，其通过将上述第3亮度数据的上述第2阵列方向的亮度分布进行均等化，从而生成第4亮度数据； 第2亮度尺寸调整处理部，其通过将上述第4亮度数据在上述第2阵列方向上进行尺寸调整处理，从而生成第5亮度数据； 第2颜色反转解调部，其通过解调上述第2颜色载波数据，从而生成连续且颜色排列统一成相同颜色的第3颜色差分数据； 第2颜色差分尺寸调整处理部，其通过将上述第3颜色差分数据在上述第2阵列方向上进行尺寸调整处理，从而生成第4颜色差分数据； 第2颜色载波调制部，其将上述第4颜色差分数据调制成符号交替地反转且颜色阵列的周期性已被复原的第3颜色载波数据；以及 第2颜色阵列再现处理部，其通过将上述第3颜色载波数据对上述第5亮度数据进行再合成，从而生成上述第2多颜色阵列数据。
5.根据权利要求4所述的图像处理装置，其中， 还具有将上述第I多颜色阵列数据转送给上述第2分布均等化尺寸调整处理部的缓存器， 上述缓存器具备具有被二维展开的存储空间的帧存储器，上述帧存储器构成为:在与向该帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从该帧存储器读出上述第I多颜色阵列数据并提供给上述第2分布均等化尺寸调整处理部。
6.根据权利要求4所述的图像处理装置，其中， 还具有将上述第I多颜色阵列数据转送给上述第2分布均等化尺寸调整处理部的缓存器， 上述缓存器具有由多行构成的行存储器， 上述行存储器构成为:上述第I多颜色阵列数据按每一行被写入到该行存储器中，同时，多行的第I多颜色阵列数据被从该行存储器中读出并被转送到上述第2分布均等化尺寸调整处理部。
7.根据权利要求4所述的图像处理装置，其中， 上述第I亮度尺寸调整处理部、上述第2颜色差分尺寸调整处理部、上述第2亮度尺寸调整处理部和上述第2颜色差分尺寸调整处理部具有进行缩小尺寸调整处理作为其尺寸调整处理的功能。
8.根据权利要求4所述的图像处理装置，其中， 上述第I亮度尺寸调整处理部、上述第I颜色差分尺寸调整处理部、上述第2亮度尺寸调整处理部和上述第2颜色差分尺寸调整处理部具有进行扩大尺寸调整处理作为其尺寸调整处理的功能。
9.根据权利要求1或4所述的图像处理装置，其中， 由上述第I亮度分布均等化处理部或者上述第2亮度分布均等化处理部进行的上述亮度数据分布均等化处理是以下的处理，即: 通过插值处理使处理对象像素的亮度数据接近于对多个像素混合前的原始图像设定的任意像素的亮度数据； 并且，在将构成上述处理对象像素的两相邻的相邻像素当中的与上述处理对象像素相隔得更远的上述相邻像素的相当于不同颜色的像素设定为引用像素之后，将利用上述处理对象像素的亮度数据和上述引用像素的亮度数据的插值处理而获得的插值亮度数据作为上述处理对象像素的亮度数据。
10.根据权利要求9所述的图像处理装置，其中， 由上述第I亮度分布均等化处理部或上述第2亮度分布均等化处理部进行的上述亮度数据分布均等化处理是以下的处理，即: 通过将假设为位于上述相邻像素的中央的虚拟配置像素和上述引用像素之间的间隔距离、与上述处理对象像素和上述虚拟配置像素之间的间隔距离代入分点公式，从而对上述处理对象像素的亮度数据和上述引用像素的亮度数据进行比例分割，根据所得到的比例分割结果来获得上述插值亮度数据。
11.根据权利要求9所述的图像处理装置，其中， 上述第I亮度分布均等化处理部或上述第2亮度分布均等化处理部进行的上述亮度数据分布均等化处理是以下的处理，即: 将在假设为向上述处理对象像素和上述引用像素彼此间隔开的方向移动且呈均等分布状态的状态下的上述处理对象像素设为虚拟配置像素之后，将上述引用像素和上述虚拟配置像素之间的间隔距离、与上述处理对象像素和上述虚拟配置像素之间的间隔距离代入分点公式，由此，对上述处理对象像素的亮度数据和上述引用像素的亮度数据进行比例分害I]，基于所得到的比例分割结果来获得上述插值亮度数据。
12.根据权利要求9所述的图像处理装置，其中， 上述第I亮度分布均等化处理部和上述第2亮度分布均等化处理部构成为:在进行上述插值处理之前进行上述处理对象像素的亮度数据的高频强调处理和上述引用像素的亮度数据的高频强调处理。
13.根据权利要求9所述的图像处理装置，其中， 上述第I亮度分布均等化处理部和上述第2亮度分布均等化处理部构成为:在进行上述插值处理之后，进行上述处理对象像素的亮度数据的高频强调处理和上述引用像素的亮度数据的高频强调处理。
14.根据权利要求1或4所述的图像处理装置，其中， 上述原始图像RAW数据是具有RGB拜耳阵列的周期性、并且沿着水平方向反复BG的行数据和反复GR的行数据在垂直方向上被交替输出的RAW数据。
15.根据权利要求1或4所述的图像处理装置，其中， 上述原始图像RAW数据是单板彩色拍摄元件获取的RAW数据，该单板彩色拍摄元件具有利用补色滤光器呈周期性地进行了颜色阵列排列的多颜色的像素。
16.根据权利要求1或4所述的图像处理装置，其中， 上述原始图像RAW数据是单板彩色拍摄元件获取的RAW数据，该单片彩色拍摄元件具有利用补色滤光器以行上的像素为单位呈周期性地进行了颜色阵列排列的多颜色的像素、以及在与上述行不同的其他行呈非周期性地进行了阵列排列的单色像素。
17.—种图像处理方法,包括: 第I分布均等化处理步骤，从具有颜色阵列的周期性的多颜色像素的拍摄元件输入在彼此正交的第I和第2阵列方向上产生了由于偶数像素混合输出而导致的像素数据分布的不均衡的原始图像RAW数据之后，通过将所输入的上述原始图像RAW数据的上述第I阵列方向的像素数据分布进行均等化，从而生成第I多颜色阵列数据；以及 第2分布均等化处理步骤，通过将上述第I多颜色阵列数据的上述第2阵列方向的像素数据分布进行均等化，从而生成第2多颜色阵列数据， 上述第I分布均等化处理步骤包括: 第I滤光处理步骤，通过沿着上述第I阵列方向的像素单位的滤光处理，从而将上述原始图像RAW数据划分成连续的第I亮度数据和连续的第I颜色载波数据； 第I亮度分布均等化处理步骤，通过将上述第I亮度数据的上述第I阵列方向的亮度分布进行均等化，从而生成第2亮度数据；以及 第I颜色阵列再现处理步骤，通过将上述第I颜色载波数据对上述第2亮度数据进行再合成，从而生成上述第I多颜色阵列数据， 上述第2分布均等化处理步骤包括: 第2滤光处理步骤，通过沿着上述第2阵列方向的像素单位的滤光处理，从而将上述第I多颜色阵列数据划分成连续的第3亮度数据和连续的第2颜色载波数据； 第2亮度分布均等化处理步骤，通过将上述第3亮度数据的上述第2阵列方向的亮度分布进行均等化，从而生成第4亮度数据；以及 第2颜色阵列再现处理步骤，通过将上述第2颜色载波数据对上述第4亮度数据进行再合成，从而生成上述第2多颜色阵列数据。
18.根据权利要求17所述的图像处理方法，其中， 作为将上述第I多颜色阵列数据转送给上述第2分布均等化处理步骤的缓存器，使用具有被二维展开的存储空间的帧存储器，在与向上述帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从上述帧存储器读出上述第I多颜色阵列数据并转送到上述第2分布均等化尺寸调整处理步骤。
19.根据权利要求17所述的图像处理方法，其中， 作为将上述第I多颜色阵列数据转送给上述第2分布均等化处理步骤的缓存器，使用由多行构成的行存储器，将上述第I多颜色阵列数据按每一行写入到上述行缓存器中，同时，将多行的第I多颜色阵列数据从上述行缓存器中读出并转送到上述第2分布均等化处理步骤。
20.—种图像处理方法，包括: 第I分布均等化尺寸调整处理步骤，从具有颜色阵列的周期性的多颜色像素的拍摄元件输入在彼此正交的第I和第2阵列方向上产生了由于偶数像素混合输出而导致的像素数据分布的不均衡的原始图像RAW数据之后，通过将所输入的上述原始图像RAW数据的上述第I阵列方向的像素数据分布进行均等化并进行尺寸调整，从而生成第I多颜色阵列数据；以及 第2分布均等化尺寸调整处理步骤，通过将上述第I多颜色阵列数据的上述第2阵列方向的像素数据分布进行均等化并进行尺寸调整，从而生成第2多颜色阵列数据， 上述第I分布均等化尺寸调整处理步骤包括: 第I滤光处理步骤，通过沿着上述第I阵列方向的像素单位的滤光处理，从而将上述原始图像RAW数据划分成连续的第I亮度数据、和符号交替反转且颜色排列按每个像素呈交替颜色不同的连续的第I颜色载波数据； 第I亮度分布均等化处理步骤，通过将上述第I亮度数据的上述第I阵列方向的亮度分布进行均等化，从而生成第2亮度数据； 第I亮度尺寸调整处理步骤，通过在上述第I阵列方向上对上述第2亮度数据进行尺寸调整处理，从而生成第2-1亮度数据； 第I颜色反转解调步骤，通过对上述第I颜色载波数据进行解调，从而生成连续且颜色排列被统一成相同颜色的第I颜色差分数据； 第I颜色差分尺寸调整处理步骤，通过在上述第I阵列方向上对上述第I颜色差分数据进行尺寸调整处理，从而生成第2颜色差分数据； 第I颜色载波调制步骤，将上述第2颜色差分数据调制成符号交替地反转且颜色阵列的周期性已被复原的第1-1颜色载波数据；以及 第I颜色阵列再现处理步骤，通过将上述第1-1颜色载波数据对上述第2-1亮度数据进行再合成，从而生成上述第I多颜色阵列数据， 上述第2分布均等化尺寸调整处理步骤包括: 第2滤光处理步骤，通过沿着第2阵列方向的像素单位的滤光处理，从而将上述第I多颜色阵列数据划分成连续的第3亮度数据和符号交替地反转且颜色排列按每个像素呈交替颜色不同的连续的第2颜色载波数据； 第2亮度分布均等化处理步骤，通过将上述第3亮度数据的上述第2阵列方向的亮度分布进行均等化，从而生成第4亮度数据； 第2亮度尺寸调整处理步骤，通过在上述第2阵列方向上对上述第4亮度数据进行尺寸调整处理，从而生成第5亮度数据； 第2颜色反转解调步骤，通过对上述第2颜色载波数据进行解调，从而生成连续且颜色排列被统一成相同颜色的第3颜色差分数据； 第2颜色差分尺寸调整处理步骤，通过在上述第2阵列方向上对上述第3颜色差分数据进行尺寸调整处理，从而生成第4颜色差分数据； 第2颜色载波调制步骤，将上述第4颜色差分数据调制成符号交替地反转并且颜色阵列的周期性已被复原的第3颜色载波数据；以及 第2颜色阵列再现处理步骤，通过将上述第3颜色载波数据对上述第5亮度数据进行再合成，从而生成上述第2多颜色阵列数据；
21.根据权利要求20所述的图像处理方法，其中， 作为将上述第I多颜色阵列数据发转送给上述第2分布均等化尺寸调整处理步骤的缓存器，使用具有被二维展开的存储空间的帧存储器，在与向上述帧存储器中写入上述第I多颜色阵列数据的方向正交的方向上，从上述帧存储器读出上述第I多颜色阵列数据并转送到上述第2分布均等化尺寸调整处理步骤。
22.根据权利要求20所述的图像处理方法，其中， 作为将上述第I多颜色阵列数据转送给上述第2分布均等化尺寸调整处理步骤的缓存器，使用由多行构成的行存储器，将上述第I多颜色阵列数据按每一行写入到上述行缓存器中，同时，将多行的上述第I多颜色阵列数据从上述行缓存器中读出并转送到上述第2分布均等化尺寸调整处理步骤。
23.根据权利要求20所述的图像处理方法，其中， 上述第I亮度尺寸调整处理步骤、上述第I颜色差分尺寸调整处理步骤、上述第2亮度尺寸调整处理步骤和上述第2颜色差分尺寸调整处理步骤进行缩小尺寸调整处理作为其尺寸调整处理。
24.根据权利要求20所述的图像处理方法，其中， 上述第I亮度尺寸调整处理步骤、上述第I颜色差分尺寸调整处理步骤、上述第2亮度尺寸调整处理步骤和上述第2颜色差分尺寸调整处理步骤进行扩大尺寸调整处理作为其尺寸调整处理。
25.根据权利要求17或20所述的图像处理方法，其中， 上述第I亮度分布均等化处理步骤或者上述第2亮度分布均等化处理步骤进行的亮度数据分布均等化处理是以下的处理，即: 通过插值处理使处理对象像素的亮度数据接近于对多个像素混合前的原始图像设定的任意像素的亮度数据； 并且，在将构成上述处理对象像素的两相邻的相邻像素当中的与上述处理对象像素相隔得更远的上述相邻像素的相当于不同颜色的像素设定为引用像素之后，将利用上述处理对象像素的亮度数据和上述引用像素的亮度数据的插值处理而获得的插值亮度数据作为上述处理对象像素的亮度数据。
26.根据权利要求25所述的图像处理方法，其中， 由上述第I亮度分布均等化处理步骤或上述第2亮度分布均等化处理步骤进行的上述亮度数据分布均等化处理是以下的处理，即: 通过将假设为位于上述相邻像素的中央的虚拟配置像素和上述引用像素之间的间隔距离、与上述处理对象像素和上述虚拟配置像素之间的间隔距离代入分点公式，从而对上述处理对象像素的亮度数据和上述引用像素的亮度数据进行比例分割，根据所得到的比例分割结果来获得上述插值亮度数据。
27.根据权利要求25所述的图像处理方法，其中， 上述第I亮度分布均等化处理部或上述第2亮度分布均等化处理部进行的上述亮度数据分布均等化处理是以下的处理，即: 将在假设为向上述处理对象像素和上述引用像素彼此间隔开的方向移动且呈均等分布状态的状态下的上述处理对象像素设为虚拟配置像素之后，将上述引用像素和上述虚拟配置像素之间的间隔距离、与上述处理对象像素和上述虚拟配置像素之间的间隔距离代入分点公式，由此，对上述处理对象像素的亮度数据和上述引用像素的亮度数据进行比例分割，基于所得到的比例分割结果来获得上述插值亮度数据。
28.根据权利要求25所述的图像处理方法，其中， 在上述第I亮度分布均等化处理步骤和上述第2亮度分布均等化处理步骤中，在进行上述插值处理之前，进行上述处理对象像素的亮度数据的高频强调处理。
29.根据权利要求25所述的图像处理方法，其中， 在上述第I亮度分布均等化处理步骤和上述第2亮度分布均等化处理步骤中，在进行上述插值处理之后，进行上述处理对象像素的亮度数据的高频强调处理。
30.根据权利要求17或20所述的图像处理方法，其中， 上述原始图像RAW数据是具有RGB拜耳阵列的周期性、并且沿着水平方向反复BG的行数据和反复GR的行数据在垂直方向上被交替输出的RAW数据。
31.根据权利要求17或20所述的图像处理方法，其中， 上述原始图像RAW数据是单板彩色拍摄元件获取的RAW数据，该单板彩色拍摄元件具有利用补色滤光器呈周期性地进行了颜色阵列排列的多颜色的像素。
32.根据权利要求17或20所述的图像处理方法，其中， 作为上述原始图像RAW数据是单板彩色拍摄元件获取的RAW数据，该单片板彩色拍摄元件具有利用补色滤光器以行上的像素为单位呈周期性地进行了颜色阵列排列的多颜色的像素以及在与上述行不同的其他行呈非周期性地进行了阵列排列的单色像素。
33.一种图像处理用程序，是与根据权利要求17或20所述的图像处理方法相对应地制成的程序，能够利用计算机按顺序执行与各个步骤对应的多个步骤。
34.一种能够用计算机读取的图像处理用记录介质，记录有权利要求33所述的程序。
全文摘要
在第1滤光处理步骤中，利用沿着第1阵列方向的像素单位的滤光处理，将原始图像RAW数据划分为第1亮度数据和第1颜色载波数据。在第1亮度分布均等化处理步骤中，通过对第1亮度数据的第1阵列方向的亮度分布进行均等化，从而生成第2亮度数据。在第1颜色阵列再现处理步骤中，通过将第2亮度数据与第1颜色载波数据进行再合成，从而生成第1多颜色阵列数据。在第2滤光处理步骤中，利用沿着第2阵列方向的像素单位的滤光处理，将第1多颜色阵列数据划分成第3亮度数据和第2颜色载波数据。在第2亮度分布均等化处理步骤中，通过对第3亮度数据的第2阵列方向的亮度分布进行均等化，从而生成第4亮度数据。在第2颜色阵列再现处理步骤中，通过将第4亮度数据与第2颜色载波数据进行再合成，从而生成第2多颜色阵列数据。
文档编号H04N9/07GK103155567SQ20118005033
公开日2013年6月12日 申请日期2011年8月1日 优先权日2010年10月20日
发明者秦野敏信 申请人:松下电器产业株式会社