专利名称：成像装置和成像装置中的成像结果处理方法
相关申请的交叉参考本发明包含于2005年6月1日向日本专利局提交的日本专利申请JP 2005-160841号的主题，其全部内容结合于此作为参考。
背景技术：
本发明涉及一种成像装置和成像装置中的成像结果处理方法，并能够应用在例如电子照相机中。本发明使用三维查找表，并通过使用三维查找表校正成像结果，从而能够简单、灵活地校正图像质量，有效地避免了图像质量的劣化。
传统上，已经提供了一种电子照相机，根据色彩模式的选择，允许对图像质量进行各种设置，因此，能够广泛地适应各种成像环境、用户偏好等。
具体来说，在这种类型的电子照相机中，通过成像元件获得的图像数据经历自动白平衡调节、灰度校正、和色度校正，随后以与DCF(像机文件系统的设计规则)兼容的格式记录在作为记录介质的存储卡中。在根据色彩模式选择进行图像质量的设置中，可切换灰度校正和色度校正的设置。
灰度校正是指使用非线性功能来校正红、绿、和蓝(RGB)所定义的图像数据的灰度。在灰度校正中，举例来说，对图像质量的亮度感和对比度感进行操作，从而使成像结果的对比度接近成像目标的实际样子的对比度。在例如日本公开专利第2004-104464号中，已经提出了关于校正的各种配置。当根据色彩模式设置图像质量时，在灰度校正中改变定义非线性功能的参数。
与之相反，色度校正是指基于RGB的图像数据转换成基于亮度信号和色差信号的图像数据、然后基于亮度信号和色差信号的图像数据在由色差信号定义的色差平面上被线性转换的处理。色度校正被应用于色调调节和色度调节，其中，增加色度以提供令人印象深刻的图像质量，或者降低色度以防止灰度误差。当根据色彩模式设置图像质量时，在色度校正中改变定义线性转换处理的参数。
因此，在电子照相机中，根据成像环境和用户偏好，预备并记录了多种类型的与灰度校正和色度校正相关的两组参数。成像时色彩模式的选择决定了相关参数的设置。
但是，通过灰度校正和色度校正调节图像质量的处理在实际使用中存在不足。
具体而言，当如上所述通过在色差平面上进行线性转换实施色度校正时，亮度也发生改变，这导致图像质量下降。这个问题是由于伴随着相应明度增加的色度增加引起的。更具体地说，尽管色差信号电平的改变不会引起亮度信号的改变，但是在作为接近人类感知的色彩系统的L*a*b*色彩系统中，色差信号的这种电平改变会导致明度(lightness)L*的改变。当通过色度校正增加了色差信号的增益时，明度L*在具有高色度和低明度的区域中增加，破坏了成像结果的三维景像。
作为一种解决这个问题的方法，通过由红、绿和蓝信号组成的图像数据的3×3矩阵运算来进行色度校正是可行的一种方法。但是，这种方法也不能完全防止明度的改变。
另外，存在另外一个问题，即，灰度校正和色度校正是用于转换整个色空间的处理，因此只调节色空间的限定区域存在难度。因此，不能够灵活校正图像质量。例如，红色区域的色调调节导致了不自然的皮肤颜色，黄色区的色调操作会影响绿色区。结果，对各代表色的调节操作互相影响，因而没法对所有代表色彩都进行适度的调节。
此外，还存在一个问题，即，尽管色空间包括容易饱和的色彩和具有饱和下降趋势的色彩，但是灰度校正和色度校正不能够提供考虑到这些对立色彩的存在的处理，因此，很容易由于色彩饱和度引起图像质量的劣化。
作为解决上述问题(该问题与灵活性有关)的一种方法，已经提出了这样一种方法，其中，将即将在色度校正中使用的色空间划分为多个区域，然后在分别划分的区域中执行处理。但是，即使通过这种方法，实际上也无法防止诸如红色和皮肤色、及黄色和绿色等具有类似色调的色彩之间的相互影响。
因此，这些问题不仅出现在当基于色彩模式调节图像质量的时候，也必然出现在当在电子照相机中执行诸如γ校正和色度校正的灰度校正的时候。
作为一并解决这些问题的方法，存在一种将成像结果作为文件记录并存储、并将其下载至计算机、随后接受编辑处理的方法。但是，这种方法强迫用户进行繁琐的操作，因此，不是所有用户都能容易地使用这种方法。
发明内容
考虑到上述问题，作出本发明，其目的是提供一种成像装置和成像装置中的成像结果处理方法，能够容易、灵活地校正图像质量，同时有效地避免图像质量的劣化。
为了解决上述问题，根据本发明的第一实施例，提供了一种成像装置，包括成像元件，用于输出在成像平面上形成的光学图像的成像结果；透镜，用于在成像平面上形成光学图像；图像处理器，用于通过使用三维查找表(3D-LUT)对成像结果进行色彩调节；以及记录器，用于将通过图像处理器处理的成像结果记录在记录介质中。
根据本发明的第二实施例，提供了一种成像装置中的成像结果处理方法。该方法包括通过使用三维查找表，对成像元件获得的成像结果进行色彩调节。
根据第一实施例，只有明度或色度能够进行校正，这使得色度能够在防止明度改变的情况下得到校正。此外，能够最佳地调节所有代表色彩，使得对于各个代表色彩的调节操作彼此没有影响。另外，不需要使用计算机等，就能校正图像质量。这些优势允许容易、灵活地校正图像质量，从而有效地防止图像质量的劣化。
因此，第二实施例能够提供一种能够容易、灵活地校正图像质量、从而有效地防止图像质量劣化的成像装置中的成像结果处理方法。
根据本发明的这些实施例，能够容易、灵活地校正图像质量，从而有效地防止其劣化。
图1示出了根据本发明第一实施例的电子照相机的3D-LUT模块的方框图；图2示出了根据第一实施例的电子照相机的透视图；
图3是示出图2的电子照相机中的菜单屏幕的平面图；图4示出了根据第一实施例的电子照相机的方框图；图5是用于说明图2的电子照相机中的图像质量校正的示意图；图6是用于说明图1的3D-LUT模块的格点的示意图；图7是示出图6的格点之间的关系、基准格点、及偏移量的示意图；图8是示出图6的格点和输入数据之间的关系的示意图；图9是示出用于建立针对图1的3D-LUT模块的校正数据的分析处理的流程图；图10是示出用于建立针对图1的3D-LUT模块的校正数据的转换处理的流程图；图11示出了根据本发明第二实施例的电子照相机的菜单屏幕的平面图；图12是示出与图11的菜单屏幕相关的一系列处理步骤的流程图；图13示出了根据本发明第三实施例的电子照相机的方框图；图14是用于说明图13的电子照相机的操作的特征曲线图；图15示出了根据本发明第四实施例的电子照相机的方框图；
图16是用于说明图15的电子照相机的操作的特征曲线图；图17示出了根据本发明第六实施例的电子照相机的方框图；图18示出了根据本发明第七实施例的电子照相机的方框图；图19示出了应用于根据本发明第九实施例的电子照相机的3D-LUT模块的方框图；图20示出了应用于根据本发明第十实施例的电子照相机的3D-LUT模块的方框图；图21是用于说明根据本发明第十二实施例的电子照相机的操作的示意图；图22是用于说明当在记录介质中记录由色彩信号定义的图像数据时的电子照相机的操作的示意图；图23示出了应用于根据本发明第十四实施例的电子照相机的3D-LUT模块的方框图；图24是示出在图23的3D-LUT模块中用于色差信号的输入侧3D-LUT的特性的特征曲线图；图25是示出在图23的3D-LUT模块中用于色差信号的输出侧3D-LUT的特性的特征曲线图；图26是示出在图23的3D-LUT模块中用于亮度信号的输入侧3D-LUT的特性的特征曲线图；图27是示出在图23的3D-LUT模块中用于亮度信号的输出侧3D-LUT的特性的特征曲线图；
图28示出了3D-LUT模块应用于根据本发明第十五实施例的电子照相机的方框图；图29示出了3D-LUT模块应用于根据本发明第十七实施例的电子照相机的方框图；图30示出了3D-LUT模块应用于根据本发明第十八实施例的电子照相机的方框图；图31是示出在L*a*b*色空间中创建校正数据的分析处理的流程图；图32是示出在L*a*b*色空间中创建校正数据的转换处理的流程图；图33是示出在CIECAM02 Jab色空间中创建校正数据的分析处理的流程图；以及图34是示出在CIECAM02 Jab色空间中创建校正数据的转换处理的流程图。
具体实施例方式
下面，将参照附图，详细描述本发明的实施例。
1.实施例的构成图2示出了根据本发明第一实施例的电子照相机的透视图。电子照相机1形成为矩形薄板形，并且在其前表面具有透镜等。另外，电子照相机1在其在附图中示出的背面具有液晶显示器2，用来监控成像结果。在液晶显示器2的显示屏幕上设置有触摸屏3。从而，通过触摸屏3的操作，能够选择在液晶显示器2上显示的菜单中的选项。电子照相机1在其背面还具有能够被压按的旋转操作元件4和用于选择方向并进行确认的操作元件5。此外，电子照相机1在其侧面具有滑动开关6。这些操作元件4～6的操作同样允许接受诸如菜单选择的操作。
图3示出了相应于触摸屏3及操作单元4～6的操作选择色彩模式的菜单显示的平面图。色彩模式是根据成像环境和用户偏好的图像质量校正模式。电子照相机1显示的菜单包括以下项目图像质量校正模式(色彩模式)、ISO灵敏度、闪光、和分辨率。从菜单中选择项目进入相应子菜单的显示。图3示出的是选择图像质量校正模式的选项的情况。显示的子菜单包括作为色彩模式的人像(portrait)、Vivid(电灯)、Vivid(阴天)、Vivid(晴天)、和电影效果(filmlike)。在电子照相机1中，通过从包含这些色彩模式的子菜单中进行选择，可以选择期望的色彩模式。因此，能够生成用户界面，从而与只通过使用白平衡调节等校正图像质量相比，能够更细致地调节图像质量。
图4示出了根据本发明第一实施例的电子照相机的方框图。在电子照相机1中，成像元件12设置有例如原色系的滤色片，并输出通过透镜(未示出)在成像平面上形成的光学图像的成像结果。电子照相机1对来自成像元件12的输出信号执行相关双重采样和其他处理，随后对结果信号进行模拟/数字转换，从而生成由原色色彩信号定义的图像数据。图像数据输入到解马赛克(demosaic)处理器13中。
解马赛克处理器13对该图像数据执行插值处理(interpolationprocessing)，从而相应于成像元件12中设置的滤色片校正成像结果的空间相位，并输出结果图像数据。线性矩阵部14对从解马赛克处理器13输出的图像数据执行运算处理，从而增加图像数据的色彩纯度，并输出结果图像数据。自动白平衡调节器(AWB)15对来自线性矩阵部14的输出数据进行自动白平衡调节，并输出结果数据。伽马校正器(γ校正器)16对来自自动白平衡调节器15的输出数据执行伽马校正，并输出校正后的数据。
YCC转换器17通过根据等式1的运算处理，将从伽马校正器16输出的由原色色彩信号组成的图像数据(R1、G1、B1)转换成由亮度信号和色差信号定义的图像数据(Y1、Cb1、Cr1)。
Y1Cb1Cr1=M1·R1G1B1···(1)]]>M1=0.29900.58700.1140-0.1687-0.33130.50000.5000-0.4187-0.0813]]>色差矩阵18对基于亮度信号和色差信号的图像数据(Y1、Cb1、Cr1)中由色差信号定义的图像数据(Cb1、Cr1)进行等式2的矩阵运算处理。从而，色差矩阵18执行色度校正处理，并输出处理得到的图像数据(Cb2、Cr2)。在等式2中，R11、R12、R21、及R22为色度校正处理的转换因子。
Cb2Cr2=R11R12R21R22·Cb1Cr1···(2)]]>三维查找表模块(3D-LUT模块)19校正从色差矩阵18输出的由色差信号组成的图像数据(Cb2、Cr2)和从YCC转换器17输出的由亮度信号定义的图像数据Y1，并输出经过校正的数据。图像记录器20将从3D-LUT模块19输出的图像数据D3记录在诸如存储卡的记录介质中。因此，输入3D-LUT模块19的图像数据(Y2、Cb2、Cr2)的亮度信号Y2通过等式3表示。
Y2＝T1……(3)液晶显示器2根据从3D-LUT模块19输出的图像数据显示图像，用于监控。
控制器21为控制整个电子照相机1的操作的单元，并执行记录在存储器22中的处理程序，从而相应于触摸屏3和各种操作元件4～6的操作来切换整个操作。在这一系列处理中，当用户选择色彩模式时，控制器21根据这个色彩模式的选择，设置记录在3D-LUT模块19的存储器22中的用于校正的数据(下文中，称作校正数据)。存储器22存储将通过控制器21执行的处理程序和相应于电子照相机1中包含的色彩模式的多种校正数据。当在3D-LUT模块19中设置校正数据时，液晶显示器2上的显示被切换，从而通知用户设置完成。在本实施例中，通过预安装，在照相机1中提供与3D-LUT模块19相关的处理程序。或者，可以通过从诸如互联网的网络下载来提供程序，或可以在将程序记录在诸如光盘、磁盘、或存储卡的记录介质中之后，提供该程序。
图1示出了3D-LUT模块19和相关配置的方框图。3D-LUT模块19通过使用如图5所示的校正向量来在色空间中校正输入的图像数据(Y2、Cb2、Cr2)，并输出具有目标值的图像数据D3。在3D-LUT模块19中，如图6所示，以矩阵形式排列的格点被设置在由输入的图像数据(Y2、Cb2、Cr2)定义的色空间中。在控制器21的控制下，依赖于所选择的色彩模式来设置格点的校正向量。如图7和8所示，3D-LUT模块19根据针对位于输入图像数据(Y2、Cb2、Cr2)采样点周围的八个格点所设置的校正向量，建立用于所输入图像数据(Y2、Cb2、Cr2)的采样值的校正向量。随后，3D-LUT模块19通过使用建立的校正向量，校正输入图像数据(Y2、Cb2、Cr2)的采样值。在本实施例中，将环绕在输入图像数据(Y2、Cb2、Cr2)的采样点周围的八个格点中具有最小采样值的格点定义为基准格点g1。
在3D-LUT模块19中，区域确定器31对输入数据(Y2、Cb2、Cr2)的采样值进行确定，从而检测出所输入图像数据的基准格点g1(图7)。另外，区域确定器31根据用于所输入图像数据(Y2、Cb2、Cr2)的采样值的基准格点g1，检测出偏移量p。偏移量p为输入图像数据(Y2、Cb2、Cr2)的采样值和基准格点g1之间的偏差。
具体而言，在本实施例中，在由m位的输入图像数据(Y2、Cb2、Cr2)定义的色空间中，以2n+1(n＜m)个格点均匀分布在每个轴上的方式设置格点。如等式4和5所示，区域确定器31根据输入图像数据(Y2、Cb2、Cr2)的n个最高有效位来检测基准格点g1，并根据输入图像数据(Y2、Cb2、Cr2)的m-n个最低有效位检测偏移量p。
[等式5] 基于区域检测器31检测出的基准格点g1的信息，地址解码器32依次生成并输出用于存取与位于输入图像数据(Y2、Cb2、Cr2)周围的八个格点相关的校正数据所需的地址。这些格点记录在三维查找表(3D-LUT)33中。当基准格点g1的坐标为(x，y，z)时，通过等式6表示这八个格点g1～g8的坐标。
g1＝(x y z)g2＝(x+1 y z)g3＝(x y+1 z)g4＝(x+1 y+1 z)g5＝(x y z+1)g6＝(x+1 y z+1)g7＝(x y+1 z+1)g8＝(x+1 y+1 z+1)……(6)3D-LUT 33根据从地址解码器32输出的地址数据，依次输出针对位于输入图像数据(Y2、Cb2、Cr2)周围的八个格点设置的校正向量G1～G8。
插值因子计算器34通过使用由区域确定器31检测的偏移量p来执行等式7的运算处理，从而根据针对环绕在输入图像数据(Y2、Cb2、Cr2)周围的八个格点设置的校正向量G1～G8，计算用于建立针对输入图像数据(Y2、Cb2、Cr2)的校正数据的插值因子k＝(kx、ky、kz)。需要注意，等式7中的n为上述等式5中的m-n。
k=p2n···(7)]]>插值运算单元35通过使用由插值因子计算器34计算出的插值因子k＝(kx、ky、kz)，对从3D-LUT 33输出的校正向量G1～G8执行插值处理，从而生成用于输入图像数据(Y2、Cb2、Cr2)的校正向量V。本实施例使用三线性插值(trilinear interpolation)处理来用于这种插值运算处理，因而，以根据等式8的运算处理为基础，生成校正向量V。
V＝kz*(S-P)+P……(8)从等式9获得等式8中的S和P。
S＝ky*(R-Q)+QP＝ky*(N-M)+MM＝kx*(G2-G1)+G1N＝kx*(G4-G3)+G3Q＝kx*(G6-G5)+G5R＝kx*(G8-G7)+G7 ……(9)加法器36根据等式10的运算操作，将校正向量V加至初始输入的图像数据(Y2、Cb2、Cr2)，并将输出图像数据(Y3、Cb3、Cr3)输出。因此，在本实施例中，色差矩阵18和3D-LUT模块19构成了使用3D-LUT 33对成像结果进行色彩调节的图像处理器。
(Y3 Cb3 Cr3)＝(Y2 Cb2 Cr2)+V……(10)图9和10示出了生成设置在3D-LUT 33中的各个格点的校正向量的处理程序的流程图。对于电子照相机1，计算机预先执行这些处理程序，从而计算各个格点的校正向量，并将校正向量存储在存储器22中。用于生成校正向量的处理程序包括图9所示的分析处理和图10所示的转换处理。
分析处理用于分析校正前后的色彩之间的对应关系。在该处理程序的开始阶段，处理程序从步骤SP1前进至步骤SP2，其中，计算机通过使用预定的光源作为照明光源，获取拍摄比色表(colorchart)而生成的图像数据。作为比色表使用的表是诸如Macbeth比色图(color checker)、Macbeth比色图SG、或数字像机比色图的标准测试表(reflectance chart)。另外，作为光源使用的光源为D65光源。因此，电子照相机1中的各个色彩模式的成像条件是完全相0同的。为了成像，使用根据本实施例的电子照相机1，并使用从YCC转换器17输出的图像数据(Y1、Cb1、Cr1)作为图像数据。因此，在本实施例中能够获得与将在校正中使用的各个色彩相关的成像结果。
随后，在步骤SP3中，计算机从比色表的成像结果中获取采样点。这些采样点通过运算处理(在该处理中，可根据需要使用用于色空间转换的功能)，在诸如L*a*b*色空间、SYCC色空间、或CIECAM的所有色空间中都可进行检测。
随后，处理前进至步骤SP4，其中，计算机在用于采样点提取的色空间中，将在步骤SP3中得到的采样点的色域(color gamut)划分为Delaunay四面体的集合。通过按顺序执行下面的操作来执行该划分选择不存在于同一平面内的四个采样点，使得没有其他采样点存在于包括这四个采样点的球面所在球体的内部，随后，设置顶点为这四个采样点的四面体。这样的划分方法不使用先前的关于采样值排列的知识，就能非常稳定地划分色域，使得色域中所有的区域都与任一Delaunay四面体重叠，并且不会生成没有被任何Delaunay四面体重叠的间隔区。
例外的是，如果包括四个采样点并且四周没有采样点的球面包括一个或多个其他采样点，那么通过使用Delaunay四面体对这一个或多个其他采样点进行划分是不确定的。在这种情况下，将随机小波动E添加到采样点，使在从球面除去采样点之后执行划分。
计算机的处理顺序前进至步骤SP5。在步骤SP5中，在对每个采样点的转换之后，计算机接受目标色的设置，并设置对于各个采样值的目标色的信息。通过从利用作为设计目标的基准成像装置拍摄比色表得到的成像结果中提取色标(color of patch)，执行目标色设置。根据来自操作员的指令，接受目标色的设置。
计算机对电子照相机1的成像结果和另一台具有期望色调和灰度的成像装置的成像结果进行比较。从而，计算机通过随后在图10中所示的转换处理生成将设置在3D-LUT 33中的校正数据。
具体来说，在转换处理的开始阶段，处理顺序从步骤SP11前进至步骤SP12，其中，计算机基于在步骤SP3中用来检测采样值的色空间，输入将设置在3D-LUT 33中的各个格点的颜色值(输入值xp、yp、zp)。
在下一步骤SP13中，对于在步骤SP12中检测的各个格点的每个色彩值(xp、yp、zp)，计算机搜索在步骤SP4中设置的、格点色彩所属的Delaunay四面体。计算机所搜索的Delaunay四面体为包括色彩值(xp、yp、zp)的四面体。如果不存在包括色彩值的Delaunay四面体，则期望的Delaunay四面体为具有适于该色彩值(xp、yp、zp)转换的平面的四面体。
以搜索具有顶点(x0、y0、z0)、(x1、y1、z1)、(x2、y2、z2)、(x3、y3、z3)的Delaunay四面体的方式，执行该搜索，这些顶点与输入值(xp、yp、zp)具有等式11的关系。
α≥0，β≥0，γ≥0，α+β+γ≤1……(11)
通过等式12表示等式11中的α、β、和γ。
αβγ=x1-x0x2-x0x3-x0y1-y0y2-y0y3-y0z1-z0z2-z0z3-z0-1·xp-x0yp-y0zp-z0···(12)]]>随后，处理顺序从步骤SP13前进至步骤SP14，其中，计算机对已经检测出包括格点的相应Delaunay四面体的格点执行等式13的运算处理，从而根据输入值和检测到的Delaunay四面体顶点的采样值之间的关系，计算该格点的插值因子。这些插值因子是将在随后的步骤SP15中用于计算格点的校正向量的加权因子，即，等式13中的α、β、和γ。
等式13αβγ=x1-x0x2-x0x3-x0y1-y0y2-y0y3-y0z1-z0z2-z0z3-z0-1·xp-x0yp-y0zp-z0···(13)]]>随后，在下一步骤SP15中，计算机根据使用步骤S14中得到的插值因子的等式14，通过线性插值，根据在步骤SP5中设置的、与相应Delaunay四面体的顶点的采样点相关的色彩信息，计算格点的目标值(xt、yt、zt)。
xtytzt=x1-x0x2-x0x3-x0y1-y0y2-y0y3-y0z1-z0z2-z0z3-z0·αβγ+x0y0z0···(14)]]>随后，在步骤SP16中，计算机从计算出的目标值(xt、yt、zt)中减去初始输入值(xp、yp、zp)，从而计算出校正向量V。于是，在下一步骤SP17中，计算机结束针对能够在步骤SP13中检测出相应Delaunay四面体的格点的处理程序。
相反，对于不能检测出包括格点的相应Delaunay四面体的格点，处理顺序从步骤SP13前进至步骤SP18，其中，计算机检测适于输入值(xp、yp、zp)转换的Delaunay四面体的平面。具体而言，计算机从Delaunay四面体的各个平面中检测出与连接输入值的色域中心和输入值(xp、yp、zp)的直线相交的、并且是色域边界的平面。更具体地说，计算机检测具有满足等式15表示的关系的三个顶点(x1、y1、z1)、(x2、y2、z2)、(x3、y3、z3)的各个平面。随后，计算机搜索在检测出的平面中最接近输入值(xp、yp、zp)的平面。在等式15中，(xorg、yorg、zorg)为表示色域中心的坐标。
δ=111·x1x2x3y1y2y3z1z2z3-1·xorg-xpyorg-ypzorg-zp.]]>η=1-111·x1x2x3y1y2y3z1z2z3-1·xpypzpδ(δ≠0).]]>xpypzp=η·xorg-xpyorg-ypzorg-zp+xpypzp(η≤1).]]>αβγ=x1x2x3y1y2y3z1z2z3-1·xp-xorgyp-yorgzp-zorgα≥0,β≥0,γ≥0···(15)]]>随后，在步骤SP19中，计算机使用在步骤SP18中检测出的平面的顶点坐标(x1、y1、z1)、(x2、y2、z2)、(x3、y3、z3)执行等式15的运算处理，从而计算格点的插值因子α、β、和γ。
然后，在随后的步骤SP20中，计算机通过使用在步骤SP19中得到的插值因子α、β、和γ和通过等式15的运算处理获得的参数η，执行等式16表示的插值处理。于是，计算机根据平面顶点的色彩信息，计算出格点的目标值(xt、yt、zt)。
xtytzt=11-η(x1x2x3y1y2y3z1z2z3·αβγ-ηxorgyorgzorg)···(16)]]>同样，当以上述方式根据Delaunay四面体的平面计算格点的目标值时，处理程序前进至步骤SP16，其中，计算机计算格点的校正向量，随后，结束处理。
通过该处理，根据每种色彩模式，计算图6所描述的每个格点的校正向量，并且将计算出的校正向量的数据记录在存储器22中。记录在存储器22中的校正向量数据依赖于用户选择的色彩模式设置在3D-LUT 33中。
在本实施例中，色差矩阵18执行色度校正处理。相应地，相应于色差矩阵18进行的校正，通过在步骤SP5中的目标值的设置或在步骤SP16中被校正的运算结果来计算校正向量。另外，在步骤SP5中设置目标值，使得明度不会由于通过色差矩阵18进行色度校正而发生改变。在校正向量的建立过程中，可以对从色差矩阵18输出的由色差信号组成的图像数据(Cb2、Cr2)执行图9和10的处理，而不对从YCC转换器17输出的由色差信号组成的图像数据(Cb1、Cr1)执行处理。因此，可以生成每个都具有与色差矩阵18进行的校正相对应的校正值的校正向量。
2.实施例的操作根据上述构成，在电子照相机1(图4)中，从成像元件12获得的成像结果的图像数据经受诸如线性矩阵、自动白平衡、及伽马校正的处理，然后通过YCC转换器17将其转换成由亮度信号和色差信号定义的图像数据(Y1、Cb1、Cr1)。图像数据(Y1、Cb1、Cr1)中基于色差信号的图像数据(Cb1、Cr1)通过色差矩阵18进行色度校正。于是，生成基于亮度信号和色差信号的图像数据(Y2、Cb2、Cr2)。通过3D-LUT模块19校正由亮度信号和色差信号构成的图像数据(Y2、Cb2、Cr2)的色调和灰度，随后，将结果数据记录在记录介质上，并在液晶显示器2上显示。
在通过3D-LUT模块19进行的色调和灰度校正中(图1)，由亮度信号和色差信号定义的图像数据(Y2、Cb2、Cr2)的色调和灰度，通过与该图像数据(Y2、Cb2、Cr2)的三个分量对应的3D-LUT33进行校正。在通过与图像数据(Y2、Cb2、Cr2)的三个分量对应的3D-LUT 33进行的色调和灰度校正中，能够只校正明度或只校正色度。另外，也能够执行不改变已经由色差矩阵18的色度校正改变了的亮度和色度的校正。因此，在本实施例中，通过包括色差矩阵18的处理的整个处理，可以防止由于色度校正引起的明度改变，从而相应地使图像质量得到校正，并有效地防止图像质量的劣化。
此外，在通过3D-LUT 33的色调和灰度校正中，能够通过使用设置在3D-LUT 33中的数据，只调节色空间的限定区域。因此，在对各个代表色彩进行调节操作不相互影响的情况下，能最佳地调节所有代表色彩。另外，即使色彩具有类似的色调，也能够最佳地调节期望的色彩，使得这个调节不会影响另一种颜色。而且，也可以允许考虑到易饱和的色彩及具有饱和度下降趋势的色彩的处理。因此，能够灵活地校正图像质量，有效地防止其劣化。
由于这种校正通过内置的3D-LUT 33执行，所以不用将成像结果记录在记录介质中、然后利用计算机对其执行处理，就能获得具有期望图像质量的成像结果，因此，能够容易地校正图像质量。根据上述特性，在本实施例中，能够容易、灵活地校正图像质量，有效地防止图像质量的劣化。
相应于成像环境和用户偏好，在电子照相机1中设置了多种图像质量校正模式。相应于各种图像质量校正模式，在存储器22中存储了多种作为将设置在3D-LUT 33中的校正数据的校正向量数据。响应于用户的操作，在液晶显示器2上显示色彩模式菜单(图3)，通过用户从菜单中进行选择可获得3D-LUT 33中相应校正数据的设置。因此，在电子照相机1中，根据在3D-LUT 33中设置的校正数据，校正图像数据的采样值，并输出具有用户期望的图像质量的图像数据。
因此，电子照相机1能够根据成像环境和用户偏好切换不同的图像质量，相应地提高了可用性。在图像质量的这种切换中，也可以切换地址解码器32的转换参数，从而根据每个图像质量校正模式，改变色空间的分配。
具体而言，在电子照相机1中，在色空间的采样点中的预定采样点被定义为格点，将被校正的图像数据(Y2、Cb2、Cr2)能够占据这些格点，并且在3D-LUT 33中设置用于各个格点的校正数据(图5至8)。区域检测器31检测表示由格点定义的、其中有图像数据(Y2、Cb2、Cr2)存在的区域和位置的基准格点g1和偏移量p。通过基于基准格点g1向3D-LUT 33进行存取，检测出在图像数据(Y2、Cb2、Cr2)采样点周围的格点的校正数据G1～G8。此外，通过使用偏移量p，插值因子计算器34通过使用校正数据G1～G8，计算用于插值运算处理的插值因子。而且，利用该插值因子的插值处理能够计算出对于图像数据(Y2、Cb2、Cr2)采样值的校正向量V，并根据这个校正向量V校正图像数据(Y2、Cb2、Cr2)的色度和明度。
通过这种方式，在电子照相机1中，通过3D-LUT 33得到校正量，从而校正所输入的图像数据。在利用3D-LUT 33的图像数据校正中，也能够为3D-LUT 33直接提供输出值。但是，如果像在本实施例中一样，3D-LUT 33输出用于图像数据校正的校正量，则与输出值直接从3D-LUT输出的情况相比，能够降低3D-LUT的大小。
将设置在3D-LUT 33中的校正数据按下述生成。首先，对利用基准照明通过电子照相机1拍摄比色表得到的作为参考图像的图像数据进行采样。随后，设定具有与从采样得到的采样值对应的顶点的Delaunay四面体，于是，由成像结果定义的色空间通过Delaunay四面体划分。随后，对与各个Delaunay四面体的顶点相对应的采样值设置目标色。然后，在通过Delaunay四面体划分的色空间中设置格点的采样点，随后，利用对Delaunay四面体顶点设置的目标色并通过插值运算处理，设置各个格点的目标色。在电子照相机1中，根据格点的目标色，生成用于每个格点的校正数据，并将其存储在存储器22中。在电子照相机1中，通过从利用作为设计目标的基准成像装置拍摄比色表得到的成像结果中提取色标，来设置Delaunay四面体的顶点位置的目标色的设置。随后，根据电子照相机1的成像结果和基准成像装置的成像结果之间的比较，生成校正数据。这样，能够生成将设置在3D-LUT 33中的校正数据，从而允许容易并确定地调节至期望的图像质量。
3.实施例的效果根据上述构成，在图像处理器中设置3D-LUT，通过使用3D-LUT校正成像结果，从而，使图像质量能够被容易、灵活地校正，有效地防止了图像质量的劣化。
另外，预备了多种校正数据，作为将设置在3D-LUT中的数据，并且根据来自用户的命令，选择性执行3D-LUT中的数据设置。因此，通过简单的操作，就能够对图像质量校正类型进行各种切换。
而且，在显示单元上显示多种图像质量校正模式的菜单，用于接受用户的选择，并相应于用户的选择，在3D-LUT中设置校正数据，即使用户所知很少，也能够简单、无误地将成像结果校正至期望的图像质量。
第二实施例图11示出了根据本发明第二实施例的电子照相机中色彩模式设置屏幕的平面图。根据该实施例的电子照相机通过该色彩模式设置屏幕接受图像质量校正设置，并在3D-LUT中设置校正数据。除相应于色彩模式设置的一系列处理不同之外，第二实施例具有与第一实施例的电子照相机1相同的结构。因此，下面的说明也使用上述图1和4的结构。
类似于对于第一实施例的上述说明(图3)，在初始状态中，该设置屏幕上显示的是包括诸如图像质量校正模式(色彩模式)、ISO灵敏度、闪光灯、和分辨率这些项目的菜单。菜单的选择生成相应子菜单的显示。具体而言，当选择图像质量校正模式的项目时，显示的是包括作为色彩模式的人像、Vivid(电灯)、Vivid(阴天)、Vivid(晴天)、电影效果的子菜单。
在本实施例中，当在菜单系列操作中，用户发布将图像质量校正至中间色调的命令时，接受作为色彩模式的多个项目的选择，然后校正成像结果的图像质量，使得图像具有处于多个项目的图像质量之间的中间色调。
图12示出在控制器21中相应于该图像质量设置处理的处理顺序的流程图。当如图11所示表示包括作为色彩模式的多个项目的子菜单时，处理程序启动，并从步骤SP21前进至步骤SP22，其中，控制器21接受第一色彩模式的选择。在随后的步骤SP23中，控制器21接受第二色彩模式的选择。这样，控制器21接受了作为中间色调的根据的两个色彩模式的输入。
随后，在步骤SP24中，控制器21显示用于接受中间色调的输入的屏幕。在本实施例中，在针对各种色彩模式的上述子菜单的右侧显示出两端相应于第一和第二色彩模式的横条B(见图11)，横条B上显示有光标K。通过用户对触摸屏3等的操作，光标K移动，从而通过对光标K在横条B上的位置的设置，接受中间色调的设置。因此，光标K在横条B上的位置接近一端时，控制器使中间色调接近于一端的色彩模式。
因此，响应于用户的确定操作，控制器21根据通过光标K相应于横条B的整个长度的内部划分值来生成用于第一和第二色彩模式的加权因子k。在随后的步骤SP26中，从存储器22顺序地加载相应于第一和第二色彩模式的校正数据，并将其记录在寄存器中。随后，通过使用记录在寄存器中的校正数据，执行等式17的运算处理，从而通过对与两个色彩模式相关的校正数据L1和L2的插值处理，建立对于中间色调的校正数据L0。
L0＝k*L1+(1-k)*L2……(17)在下一步骤SP27中，控制器21将针对中间色调所生成的校正数据L0设置在3D-LUT 33中，随后切换液晶显示器2上的显示，通知用户设置完成。随后，处理程序前进至步骤SP28，结束该处理程序。
可以记录并存储针对中间色调所生成的校正数据，并且对应于这个中间色调校正数据的图像质量校正模式可用作设置另一个中间色调等的基础。
在第二实施例中，通过对记录在存储器22中的多种校正数据的插值运算处理，生成由插值运算得到的校正数据，并且在3D-LUT中设置由插值运算得到的校正数据，来代替记录在存储器22中的校正数据。因此，通过使用预设图像质量校正模式作为基础，能够细微地调节图像质量校正，这种方法相应地允许通过简单操作来灵活地校正图像质量。利用从插值运算生成的校正数据能够提供各种便利，例如，增加了图像质量校正模式的变化。另外，能够确保大量图像质量校正模式，其数量大于记录在存储器22中的校正数据的种类数，从而能够减小用于记录校正数据的存储空间。
此外，由于在作为基础的图像质量校正模式在显示单元上显示的情况下接受中间色调的设置，所以即使所知甚少的用户也能够简单、无误地完成期望的中间色调设置。
第三实施例图13示出了根据本发明第三实施例的电子照相机41的方框图。在电子照相机41中，对于与第一和第二实施例的电子照相机的元件相同的元件，给出同样的数字标号，并省去对其的重复说明。在成像时，电子照相机41根据能够被检测的成像条件，自动选择图像质量校正模式。
在电子照相机41中，电机43的驱动使聚焦透镜42在光轴方向上移动，从而调节焦距，使得在成像元件12的成像平面上形成光学图像。
信号处理器44具有包括在第一实施例中从解马赛克处理器13到伽马校正器16的上述元件的结构。信号处理器44将从成像元件12获得的成像结果转换成图像数据，随后，处理并输出图像数据。在这个系列处理中，信号处理器44检测成像结果的高通信号电平，从而获取用于聚焦调节的信息，并将这个聚焦调节信息通知中央处理器(CPU)45。另外，信号处理器44根据聚焦调节信息检测被确定为实现刚好聚焦(iust focus)的区域，并通知CPU 45这个区域中的亮度电平分布。
三维查找表(3D-LUT)处理器46具有包括在第一实施例中从YCC转换器17到3D-LUT模块19的上述元件的结构。3D-LUT处理器46校正图像数据的色度和明度，并输出经过校正的数据。此外，3D-LUT处理器46在CPU 45的控制下，更新3D-LUT中用于色度和明度校正的数据。
CPU 45为用于控制信号处理器44和3D-LUT处理器46的控制器。响应于来自控制微机48的命令，CPU 45控制信号处理器44和3D-LUT处理器46的操作，生成用于3D-LUT处理器46的校正数据。另外，CPU 45通知控制微机48从信号处理器44输出的、用于聚焦调节的信息和亮度值分布的信息。
电机驱动器47在控制微机48的控制下驱动电机43。控制微机48为控制整个电子照相机操作的控制器，并响应于操作单元等的操作，控制各个元件的操作。在这种控制中，控制微机48通过CPU从信号处理器44获取聚焦调节信息，并通过所谓的登山法(hill-climbing method)驱动电机驱动器47，从而实现透镜42的自动聚焦控制。通过这种自动聚焦控制，控制微机48检测当前聚焦位置。
另外，控制微机48通过CPU 45获取关于被确定实现刚好聚焦的区域的亮度值分布的、由信号处理器44检测的信息。控制微型计算机48随后根据当前聚焦位置确定亮度值分布，并选择图像质量校正模式。
具体而言，如图14所示，当当前聚焦位置处于远处并且确定实现刚好聚焦的区域的亮度值大于某一值时，或当当前聚焦位置处于近处并且确定实现刚好聚焦的区域的亮度值很高时，作出确定，很可能被拍摄的是风景。因此，将图像质量校正模式设置为风景成像模式(Vivid)。
相反，当当前聚焦位置处于近处并且确定实现刚好聚焦的区域的亮度值为中间值时，作出确定，很可能被拍摄的是人像。因此，将图像质量校正模式设置为人像成像模式(人像)。相反，当确定实现刚好聚焦的区域的亮度值很低时，进行确定，很可能进行的是夜间拍摄。因此，将图像质量校正模式设置为夜间拍摄模式(夜间模式)。在图像质量校正模式的这种确定中，能够使用图案匹配(pattern matching)法。
随后，控制微机48指示CPU 45根据从确定得到的图像质量校正模式设置3D-LUT处理器46。在这个设置中，能够使用第一和第二实施例中任何一种的上述设置方法。如果能够设置图像质量校正模式足够用于实际使用，则可以只根据用于自动聚焦调节的信息设置图像质量校正模式。
根据第三实施例，用于3D-LUT的校正数据依赖于通过自动聚焦调节实现的当前聚焦位置进行切换，这是在成像时能够被检测的一个成像条件。因此，除了类似于上述实施例的优势，能够实现根据成像条件更容易执行图像质量校正的优势。
第四实施例图15示出了根据本发明第四实施例的电子照相机51的方框图。在电子照相机51中，对于与第一、第二、和第三实施例的电子照相机的元件相同的元件，给出同样的数字标号，并省去对其的重复说明。电子照相机51根据作为能够在成像时被检测的一个成像条件的自动白平衡调节前的成像结果的色温，来自动选择图像质量校正模式。
具体而言，在电子照相机51中，信号处理器具有包括在第一实施例中从解马赛克处理器13到伽马校正器16的上述元件的结构。信号处理器54将从成像元件12获取的成像结果转换成图像数据，随后，处理并输出图像数据。在这个系列处理中，信号处理器54将与自动白平衡调节相关的各个色彩信号的增益信息通知中央处理器(CPU)55。
CPU 55为用于控制信号处理器54和3D-LUT处理器46的控制器。响应于来自控制微机(没有示出)的命令，CPU 55控制信号处理器54和3D-LUT处理器46的操作。在这个系列控制中，CPU55确定由信号处理器54通知的与自动白平衡调节相关的各个色彩信号的增益，从而检测成像目标对象的色温。此外，CPU 55根据色温检测结果更新用于3D-LUT处理器46的校正数据。
具体而言，如图16所示，目标对象的色温依赖于拍摄条件是晴天条件、阴天条件、和灯光条件中的哪一种而发生细微的改变。因此，人物的皮肤颜色等的外观依赖于条件而不同。因此，在第四实施例中，根据检测到的色温来选择图像质量校正模式，在3D-LUT处理器46中设置相应于选择的图像质量校正模式的校正数据。在这个设置中，可以使用第一和第二实施例的任何上述设置方法。
根据第四实施例，依赖作为能够在拍摄时被检测的一个成像条件的色温，切换用于3D-LUT的校正数据。因此，除类似于上述实施例的优势之外，也能够实现根据拍摄条件更容易执行图像质量校正的优势。
第五实施例在本发明的第五实施例中，根据第三和第四实施例中关于成像结果的上述确定的组合，切换图像质量校正模式。根据第五实施例的电子照相机除与组合相关的结构之外，具有与上述第三和第四实施例的电子照相机相同的结构。
具体而言，在第五实施例中，针对与存储在存储器22中的多种校正数据对应的图像质量校正模式M1～Mn，电子照相机中设置了用于确定当前聚焦位置、成像结果的亮度值和色温的参考图案。另外，通过利用这些参考图案的图案匹配，电子照相机确定从成像结果中获得的当前聚焦位置、被确定实现刚好聚焦的区域的亮度值、和成像结果的色温。因此，电子照相机生成分别针对图像质量校正模式M1～Mn生成加权因子k1～kn。
在该电子照相机中，如等式18所示，通过使用加权因子k1～kn，实现图像质量校正模式M1～Mn的控制数据L1～Ln的加权加和。于是，生成由插值运算处理得到的校正数据L0。在该电子照相机中，将从插值处理得到的校正数据L0设置到3D-LUT中。
L0=Σiki*Li···(18)]]>在第五实施例中，通过针对各个图像质量校正模式的图案匹配确定能够在成像时检测到的成像条件，生成校正数据。因此，除类似于上述实施例的优势之外，还能够实现更充分地执行图像质量校正的优势。
第六实施例图17示出了根据本发明第六实施例的电子照相机61的方框图。在电子照相机61中，对于与在上述实施例的电子照相机的元件相同的元件，给出同样的数字标号，并省去对其的重复说明。除3D-LUT模块68设置在YCC转换器17的上游端以外，电子照相机61具有与上述第一至第五实施例的任何一种电子照相机相同的结构。因此，在第六实施例中，3D-LUT对由原色色彩信号构成的图像数据的图像质量校正在经受色差矩阵18的色度校正之前进行。
即使像第六实施例一样，3D-LUT对由原色色彩信号定义的图像数据的图像质量校正在色差矩阵18的色度校正之前进行，也能够实现类似于上述实施例的优势。
第七实施例图18示出了根据本发明第七实施例的电子照相机71的方框图。在电子照相机71中，对于与上述实施例的电子照相机的元件相同的元件，给出同样的数字标号，并省去对其的重复说明。电子照相机71不包括γ校正器16、色差矩阵18、和YCC转换器17(见图4)，以前通过这些元件执行的诸如色度校正和灰度校正的处理只通过3D-LUT模块79来执行。除与3D-LUT模块79相关的结构不同之外，根据第七实施例的电子照相机具有与上述第一至第五实施例的电子照相机相同的结构。
即使当像第七实施例一样，只通过使用3D-LUT执行色度调节、灰度调节、和从由原色色彩信号构成的图像数据向由亮度信号和色差信号定义的图像数据的转换时，也能够实现与上述实施例类似的优势。此外，如果只通过使用3D-LUT执行色度调节、灰度调节、和从由原色色彩信号构成的图像数据向由亮度信号和色差信号定义的图像数据的转换，则除与上述实施例类似的优势之外，还能够实现简化整个结构的优势。
第八实施例本发明的第八实施例采用了第一至第七实施例中的任意一种结构。但是，在第八实施例中，将记录并存储在存储器22中基于某一参考向量的校正数据L1乘以增益k，从而生成等式19表示的校正数据L0，并将该校正数据L0存储在3D-LUT 33中。在第八实施例中，通过控制增益k来调节图像质量。可以将这种通过控制增益k的图像质量调节与上述第一至第七实施例的任意一种图像质量调节方法结合。
L0＝k*L1……(19)如果像在第八实施例中一样，通过使用加权因子校正参考校正数据并将其存储在3D-LUT 33中，使图像质量可通过加权因子的改变来调节，则除与上述实施例类似的优势以外，还能够实现减小校正数据的存储容量及有效调节色彩校正量的优势。
第九实施例图19示出了应用于根据本发明第九实施例的电子照相机的3D-LUT模块的方框图。根据第九实施例的电子照相机具有通过将3D-LUT模块89应用于上述第一至第七实施例的任意一种电子照相机的结构而获得的结构。
3D-LUT模块89安装了对从插值运算单元35输出的校正向量V进行加权、并将加权的向量输出至加法器36的乘法器89A，和对来自加法器36的输出值进行加权、并输出加权结果的乘法器89C。这样，通过在这些乘法器89A和89C中设置加权因子来代替在上述第一至第七实施例中的3D-LUT 33中的校正数据设置，或在3D-LUT 33中的校正数据设置以外在乘法器中设置加权因子，从而调节图像质量。
具体而言，在该电子照相机中，如等式20所示，通过乘法器89A利用加权因子k对校正向量V进行加权，并通过加法器36将加权向量加入输入图像数据。因此，校正了图像质量。另外，为了消除由于乘法器89A的加权引起的增益的增加，乘法器89C执行加权，来相应地减小增益。
(Y3 Cb3 Cr3)＝(Y2 Cb2 Cr2)+k*v……(20)如果对位精度没有限制，也可以没有乘法器89C。另外，可以为输入图像数据提供乘法电路89B，并且可以执行通过乘法器89B的加权，来代替通过乘法器89A的加权，或在通过乘法器89A的加权之外进行乘法器89B的加权。通过对输入图像数据所提供的乘法器89B的加权代替通过乘法器89A的加权，相当于在间接用加权因子加权之后从3D-LUT 33输出输出值的状态。这种图像质量调节可以与上述第一至第八实施例的任何一种图像质量调节方法结合。
根据第九实施例，在通过加权因子加权之后从3D-LUT输出输出值，从而通过加权因子的改变来调节图像质量。因此，除类似于上述实施例的优势，还能够实现减小用于校正数据的存储量及有效地调节色彩校正量的优势。
第十实施例图20示出了应用于根据本发明第十实施例的电子照相机的3D-LUT模块的方框图。根据第十实施例的电子照相机具有通过将3D-LUT模块99应用于上述的第一至第七实施例的任意一种电子照相机的结构而获得的结构。
在3D-LUT模块99的结构中，输出值(Y3、Cb3、Cr3)从3D-LUT 93直接输出，并在3D-LUT 93中设置与这种结构兼容的校正数据。除输出值(Y3、Cb3、Cr3)从3D-LUT 93直接输出之外，第十实施例的电子照相机具有与上述第一至第七实施例的任意一种电子照相机相同的结构。
即使当像第十实施例一样，输出值从3D-LUT 93直接输出，也能够实现与上述实施例类似的优势。
第十一实施例在本发明的第十一实施例中，第一至第十实施例的任意一种结构包括多个3D-LUT和/或多个3D-LUT模块，并且输出的是来自这些元件的输出值合成所得的图像数据。在第十一实施例中，通过使用加权因子的加权加和来执行输出值的合成，并通过控制这些加权因子调节图像质量。
即使当像第十一实施例一样，通过直接或间接合成来自多个3D-LUT的输出值来实现色彩调节，并通过控制用于合成这些输出值的加权因子来调节成像结果的图像质量，也能够实现与上述实施例类似的优势。
第十二实施例在根据本发明第十二实施例的电子照相机中，将3D-LUT形成为使得同样允许对于设置在通过记录在记录介质中的格式定义的色空间之外的成像结果的处理。除与3D-LUT相关的结构不同以外，第十二实施例具有与上述第一至第十一实施例的任意一种电子照相机类似的结构。
如作为关系式的等式21和22所示，这样形成的3D-LUT根据图像数据的色差信号Cb和Cr的最大值Cmax来执行剪裁(clipping)处理。因此，当3D-LUT对一个色差信号执行剪裁处理时，其他色差信号也经受3D-LUT的剪裁处理，从而不改变色调。另外，3D-LUT对排列在由输出格式定义的色空间之外的输入图像数据执行剪裁处理，从而不改变色调。
Cb′=Cb,if|Cb|<Cmax,|Cr|<CmaxCmax|Cr|*Cb,if|Cb|<|Cr|<CmaxCmax|Cb|*Cb,if|Cr|<|Cb|<Cmax···(21)]]>[等式22]Cb′=Cb,if|Cb|<Cmax,|Cr|<CmaxCmax|Cr|*Cb,if|Cb|<|Cr|<CmaxCmax|Cb|*Cb,if|Cr|<|Cb|<Cmax···(22)]]>
因此，在该电子照相机中，如图21所示，在防止色调改变的同时，输入图像数据在色空间中被转换成用于在记录介质中记录的数据，随后将其记录在记录介质中。
对于在色空间外部的数据的处理同样适用于作为由色彩信号定义的数据而记录在记录介质中的图像数据。
具体而言，在这种情况下，在矩阵运算单元中处理由原色色彩信号构成的成像结果的输入图像数据，从而使其在sRGB色域中经受映射处理，随后，将该图像数据输入3D-LUT模块。然后，从第十二实施例的电子照相机的成像结果获得的格点的RGB值转换成L*a*b*值，并根据在经受任意色域映射处理之后在L*a*b*空间获得的RGB值，生成将设置在3D-LUT中的校正数据。
因此，如图22所示，输入图像数据的采样值得到校正，使得RGB色空间中的各个采样点向空间的中心转移，防止了由RGB值定义的色调改变。
针对用于提供与输出格式兼容的色空间范围进行的校正处理能够被广泛地应用于各种输出图像数据的方式。例如，这种处理也可以应用于输出图像数据限于色空间内能够在液晶显示器2上显示的数据的情况。
根据第十二实施例，对于超出由记录介质中的记录格式定义的色空间范围的成像结果执行剪裁处理，使色调不发生改变，然后输出经过处理的数据。因此，除与上述实施例类似的优势之外，也能够实现有效地防止由于后处理中的饱和度引起色调改变的优势。
第十三实施例在根据本发明第十三实施例的电子照相机中，与3D-LUT中处理相关的三个轴被设计为具有不同的分辨率。除与3D-LUT有关的结构不同之外，第十三实施例具有与上述第一至第十二实施例的任意一种电子照相机相同的结构。
具体而言，在第十三实施例中，与3D-LUT设置相关的各个轴上的格点数被分别设置成2p+1、2q+1、和2r+1。另外，生成与这个设置兼容的校正数据。具体而言，区域检测器31和插值因子计算器34通过根据等式23～25的运算处理来代替等式4、5、和7的运算处理，处理输入的图像数据。随后，通过插值运算处理生成校正数据。
[等式24] [等式25]k=p·2p0002q0002t-1···(25)]]>
根据第十三实施例，与3D-LUT的处理相关的三个轴被设计具有不同的分辨率。因此，指定每个轴的最佳分辨率，从而减小3D-LUT的规模，这样能够减小用于存储校正数据的存储器容量。此外，能够实现与上述实施例类似的优势。
第十四实施例图23示出了应用于根据本发明第十四实施例的电子照相机的3D-LUT模块以及相关部件的方框图。除用于色空间转换的LUT19A和19B分别设置在3D-LUT模块的上游端和下游端之外，根据第十四实施例的电子照相机具有与上述第一至第十三实施例的任意一种电子照相机相同的结构。
在该电子照相机中，LUT 19A和19B转换输入图像数据的色空间，从而提高3D-LUT模块19的处理精度。
将LUT 19A和19B设计成具有彼此相反的输入/输出特性，防止了由于空间转换时产生的失真而引起的电子照相机精度的降低。
在第十四实施例中，通过LUT 19A和19B的色空间转换使用的是一维转换处理。输入侧LUT 19A以非线性输入/输出特性处理输入的图像数据并输出处理后的数据，使在随后的3D-LUT模块19中的格点密度在需要高精度图像质量校正的区域中设为较高。要求高精度图像质量校正区域的实例包括相应于非彩色和记忆色的区域。
具体而言，当要处理由亮度信号和色差信号定义的输入图像数据时，输入侧LUT 19A被设计成具有如图24所示的与色差信号相关的输入/输出特性。对于该特性，特征曲线的斜率在接近非彩色轴的地方很陡，随着色度增加，斜率变缓。引起曲线收敛的输入值任意设置在高色度侧，从而可以控制将被随后的3D-LUT模块19处理的空间的范围。如果输入值的范围大于输出值的范围，则通过输出值的范围将输入值标准化(正规化)，从而提高处理精度。
图25中所示的特性为与图24中所示的特性相反的特性，是输出侧LUT 19B的与色差信号相关的输入/输出特性。
与此相反，对于亮度信号，输入侧LUT 19A被设计成具有图26中所示的输入/输出特性，其中，在诸如皮肤色的重要色周围及高亮度区，特性曲线的斜率很陡。这种在高亮度区中很陡的斜率是为了扩大动态范围。
图27中所示的特性为与图26中所示的特性相反的特性，是输出侧LUT 19B的与亮度信号相关的输入/输出特性。
根据第十四实施例，色空间在通过LUT处理之前和之后转换，并且这种色空间转换通过一维处理执行。因此，除与上述实施例类似的优势之外，还能够实现提高3D-LUT处理精度的优势。具体而言，对非彩色和记忆色进行细微色彩调节，为此，将格点的密度设置为高，从而能够提高图像质量校正的精度。
第十五实施例作为与图23的对比，图28示出了应用于根据本发明第十五实施例的电子照相机的3D-LUT模块以及相关部件的方框图。除3D-LUT模块的上游端和下游端结构不同之外，根据第十五实施例的电子照相机具有与第十四实施例的电子照相机类似的结构。
在该电子照相机中，设置在3D-LUT模块上游端和下游端的分别是用于二维色空间转换处理的LUT 19C和19D，以代替用于一维色空间转换的LUT 19A和19B。这些LUT 19C和19D校正的是色差信号。
另外，在色差信号系统中，在3D-LUT模块19的输入和输出阶段设置了偏移单元19E～19H。因此，对将输入至3D-LUT模块19的由色差信号组成的图像数据施加一定偏差，随后，从由3D-LUT模块19输出的由色差信号组成的图像数据中消除这种偏差。
因此，在第十五实施例中，转换输入图像数据的色空间，从而在需要高精度图像质量校正的区域中，将与色调相关的3D-LUT模块19的格点密度设高。相应地，与第十四实施例相比，进一步提高了3D-LUT模块19的处理精度。在这个结构中，可以将一维色空间转换应用于亮度信号。
根据第十五实施例，色空间在通过LUT处理之前和之后转换，并通过二维处理执行该色空间转换。因此，除与上述实施例类似的优势之外，还能够实现进一步提高3D-LUT处理精度的优势。
第十六实施例根据本发明第十六实施例的电子照相机具有通过以3D-LUT替换在图23中所示结构中的一维LUT 19A和19B而得到的结构。因此，色空间在通过LUT处理之前和之后转换，并通过三维处理执行色空间转换。
在这个色空间转换中，要处理的是由原色色彩信号定义的图像数据。在输入侧的LUT中，执行的是从RGB色空间向L*a*b*色空间的色空间转换。在输出侧的LUT中，执行的是与在输入侧的LUT转换相反的转换，或从L*a*b*色空间向YCC色空间的转换。因此，在3D-LUT模块19中设置与L*a*b*色空间相关的校正数据，并且3D-LUT模块19执行诸如色度校正的处理。
根据第十六实施例，色空间在通过LUT处理之前和之后转换，并通过三维处理执行色空间转换。因此，除与上述实施例类似的优势之外，还能够实现进一步提高3D-LUT处理精度的优势。
第十七实施例作为与图1的对比，图29示出了应用于根据本发明第十七实施例的电子照相机的3D-LUT模块的方框图。除应用了该3D-LUT模块之外，根据第十七实施例的电子照相机具有与第一至第十六实施例的任何一种电子照相机相同的结构。
在3D-LUT模块109中，设置了区域检测器109A、区域确定器109B、和地址解码器109C，代替区域确定器31和地址解码器32。区域检测器109A确定所输入的图像数据(Y2、Cb2、Cr2)的采样值，从而检测输入的图像数据(Y2、Cb2、Cr2)的采样值是否存在于在由输入图像数据(Y2、Cb2、Cr2)定义的色空间中设置的多个区域的特定区域中。
特定区域是相应于需要高精度图像质量校正的区域，包括接近诸如皮肤色和绿色的记忆色的区域。
区域确定器109B根据对输入图像数据的采样值的确定，来检测用于输入图像数据(Y2、Cb2、Cr2)的基准格点g1和偏移量p。在这个处理中，只有当区域检测器109A已经检测到在色空间的特定区域中存在输入图像数据(Y2、Cb2、Cr2)的采样值时，区域确定器109B才会检测并输出基准格点g1和偏移量p。
相应于区域检测器109A和区域确定器109B的操作，用于3D-LUT 33的与校正数据相关的色空间根据区域检测器109A进行的区域分割来划分，并且只将与通过区域检测器109A的检测相关的相应于特定区域的校正数据记录在3D-LUT 33中。由于只记录了与特定区域相关的校正数据，所以相应地允许记录高分辨率校正数据。因此，3D-LUT模块109只针对与记忆色对应的特定区域，生成校正向量V，并校正输入图像数据的图像质量。因此，第十七实施例允许进一步提高图像质量校正的精度。
此外，依赖于图像质量校正模式，切换地址解码器109C中的转换参数及用于3D-LUT 33的校正数据。因此，根据每个图像质量校正模式，切换色空间的分配，这样也进一步提高了图像质量校正的精度。对于根据每个图像质量校正模式来切换色空间的分割，可以通过切换由区域检测器109A检测的区域，来切换输入图像数据的色空间被分割的区域数。
根据第十七实施例，将与3D-LUT相关的色空间划分成多个区域，并以各个区域为基础切换3D-LUT的处理。这样，能够提高相应于记忆色等的特定区域的调节精度。因此，除与上述实施例类似的优势之外，还能够实现更细微地调节图像质量的优势。
第十八实施例作为与图1的对比，图30示出了应用于根据本发明第十八实施例的电子照相机的3D-LUT模块的外围设备结构的方框图。除3D-LUT模块19的外围设备结构不同之外，根据第十八实施例的电子照相机具有与第一至第十七实施例的任意一种电子照相机相同的结构。
在电子照相机1中，由例如私人计算机的其他成像装置生成的、用于3D-LUT 33的校正数据通过与外部接口(I/F)122连接的诸如存储卡的记录介质获得。因此，电子照相机1能够复制通过其他设备进行的图像质量校正的条件。
此外，反之亦然，记录在存储器22中的校正数据能够通过外部I/F 122记录到在记录介质上，使得能够在计算机等中编辑校正数据，并能够在其他成像装置中设置校正数据。
根据第十八实施例，通过其他成像装置获得的校正数据通过外部I/F得到，并设置在3D-LUT中，这样允许复制由其他设备进行的图像质量校正的条件。因此，除与上述实施例类似的优势之外，还能够实现提高针对用户的使用性的优势。
第十九实施例根据本发明第十九实施例的电子照相机通过例如存储卡来获得由其他成像装置记录的成像结果，并根据这个成像结果，生成将设置在3D-LUT中的校正数据。因此，该电子照相机可模仿其他成像装置的图像质量校正处理，从而提高对于用户的使用性。
具体而言，除用于控制整个操作的控制器等能够执行这种模仿处理之外，根据第十九实施例的电子照相机具有与第一至第十七实施例的任意一种电子照相机相同的结构。
该电子照相机和其他成像装置在相同成像条件下执行相同比色表的成像，随后，电子照相机中的控制器通过使用这两种成像结果执行图9和10的处理顺序，从而生成校正数据。在这个处理中，其他成像装置的成像结果被设置为各个格点的目标色。
因此，该电子照相机生成用于3D-LUT的校正数据，从而能够复制由其他成像装置执行的图像质量校正。
根据第十九实施例，获得其他成像装置记录的成像结果，随后，生成将设置在3D-LUT中的校正数据，这样允许在这台成像装置中模仿图像质量校正处理。因此，除与上述实施例类似的优势之外，还能够实现提高对于用户的使用性的优势。
第二十实施例在上述实施例中，用于3D-LUT的校正数据根据YCC色空间生成。但是，本发明并不限于这些实施例，相反，可以在L*a*b*色空间或CIECAM02 Jab色空间中设计校正数据。作为与图9和10的对比，图31～34示出了在L*a*b*色空间或CIECAM02 Jab色空间中建立校正数据的处理程序。在这些处理程序中，如流程图所示，根据被用于建立校正数据的色空间来转换并处理采样值，在这些流程图中，处理步骤的数字与在图9和10中的相应步骤的数字相关。因此，与上述实施例类似，能够简单、无误地建立校正数据。
在上述实施例中，通过电子照相机获取作为静态图像的成像结果。但是，本发明并不限于这些实施例，相反地，也可以广泛地应用于使用电子照相机或摄像机获取作为运动图像的成像结果。在获取作为运动图像的成像结果中，可以通过逐渐改变与3D-LUT的处理结果相关的加权因子，沿时间轴改变图像质量校正的条件，这种方法已经对第八和第九实施例等在上面进行了说明。
在上述实施例中，实时地处理成像结果。但是，本发明并不限于这些实施例。成像结果可以作为所谓的RAW数据记录在记录介质中，随后，可以使用相应于任意一种上述实施例的处理，进行图像质量调节。在RAW数据的记录中，仅在获取成像结果时可检测到的成像条件可以与RAW数据一起被记录并存储。此后，RAW数据可以进行与第三和第四实施例中任意一个类似的处理。
在上述实施例中，只有图像质量已经校正过的成像结果被记录在记录介质中。但是，本发明并不限于这些实施例。指定用于图像质量校正的校正数据的信息可以与经过校正的成像结果一起记录，并且，该信息也可以用于随后的处理。
在上述实施例中，本发明被应用于电子照相机。但是，本发明并不限于这些实施例，相反地，本发明能够被广泛地应用于诸如摄像机和配备像机的便携电话的其他各种成像装置。
权利要求
1.一种成像装置，包括成像元件，用于输出在成像平面上形成的光学图像的成像结果；透镜，用于在所述成像平面上形成所述光学图像；图像处理器，用于通过使用三维查找表(3D-LUT)来对所述成像结果进行色彩调节；以及记录器，用于将通过所述图像处理器处理的所述成像结果记录到记录介质中。
2.根据权利要求1所述的成像装置，进一步包括存储器，用于存储将设置在所述3D-LUT中的多种校正数据；以及控制器，用于从存储在所述存储器中的所述多种校正数据中选择校正数据，并将所选择的校正数据设置在所述3D-LUT中。
3.根据权利要求1所述的成像装置，进一步包括存储器，用于存储将设置在所述3D-LUT中的多种校正数据；以及控制器，用于通过使用存储在所述存储器中的所述多种校正数据、通过插值运算处理创建校正数据，并将所创建的校正数据设置在所述3D-LUT中。
4.根据权利要求2所述的成像装置，进一步包括显示单元，用于显示所述成像结果，其中所述控制器使所述显示单元显示包括与所述多种校正数据对应的多种项目的菜单，并接受用户的项目选择，以及与由所述用户选择的所述项目相对应的校正数据设置在所述3D-LUT中。
5.根据权利要求3所述的成像装置，进一步包括显示单元，用于显示所述成像结果，其中所述控制器使所述显示单元显示包括与所述多种校正数据对应的多种项目的菜单，并接受第一项目和第二项目的选择，所述控制器在所述显示单元上设置用于所选择的第一和第二项目的中间色调的设置屏幕，并接受用于所述中间色调的加权因子的设置，以及使用所述加权因子通过插值运算处理生成的校正数据和相应于所述第一和第二项目的校正数据，作为所创建的校正数据设置在所述3D-LUT中。
6.根据权利要求2所述的成像装置，其中所述控制器根据能够在通过所述成像元件获取所述成像结果时检测的成像条件，来选择将设置在所述3D-LUT中的所述校正数据。
7.根据权利要求3所述的成像装置，其中所述控制器根据能够在通过所述成像元件获取所述成像结果时检测的成像条件，来设置将用于所述插值运算处理的插值因子。
8.根据权利要求1所述的成像装置，进一步包括控制器，用于在将所述校正数据用加权因子进行加权之后在所述3D-LUT中设置校正数据，其中所述控制器通过控制所述加权因子调节所述成像结果的图像质量。
9.根据权利要求1所述的成像装置，进一步包括控制器，用于调节所述成像结果的图像质量，其中所述图像处理器将来自所述3D-LUT的输出值用加权因子进行加权，并输出经过加权的输出值，以及所述控制器控制所述加权因子，从而调节所述成像结果的所述图像质量。
10.根据权利要求1所述的成像装置，进一步包括控制器，用于调节所述成像结果的图像质量，其中所述3D-LUT为多个3D-LUT，所述图像处理器合成来自所述多个3D-LUT的输出值，从而执行所述色彩调节，以及所述控制器控制用于所述输出值合成的加权因子，从而调节所述成像结果的图像质量。
11.根据权利要求8所述的成像装置，进一步包括显示单元，用于显示所述成像结果，其中所述控制器使所述显示单元显示设置屏幕，并接受通过所述设置屏幕输入的所述加权因子的设置。
12.根据权利要求9所述的成像装置，进一步包括显示单元，用于显示所述成像结果，其中所述控制器使所述显示单元显示设置屏幕，并接受通过所述设置屏幕输入的所述加权因子的设置。
13.根据权利要求10所述的成像装置，进一步包括显示单元，用于显示成像结果，其中所述控制器使所述显示单元显示设置屏幕，并接受通过所述设置屏幕输入的所述加权因子的设置。
14.根据权利要求8所述的成像装置，其中所述控制器根据能够只在通过所述成像元件获取所述成像结果时检测的成像条件来设置所述加权因子。
15.根据权利要求9所述的成像装置，其中所述控制器根据能够只在通过所述成像元件获取所述成像结果时检测的成像条件来设置所述加权因子。
16.根据权利要求10所述的成像装置，其中所述控制器根据能够只在通过所述成像元件获取所述成像结果时检测的成像条件来设置所述加权因子。
17.根据权利要求1所述的成像装置，其中所述图像处理器在不改变色调的情况下，对超出由在所述记录介质中进行记录的记录格式定义的色空间范围的所述成像结果执行剪裁，并输出所得的成像结果，所述剪裁依赖于设置在所述3D-LUT中的校正数据的设置。
18.根据权利要求1所述的成像装置，其中所述3D-LUT被设计为使各个轴具有不同的分辨率。
19.根据权利要求1所述的成像装置，其中所述图像处理器包括输入侧色空间转换器，用于转换来自所述成像元件的成像结果的色空间，并输出所得的成像结果，作为将由所述3D-LUT处理的数据；以及输出侧色空间转换器，用于以所述输入侧色空间转换器的特性的相反特性，来转换所述3D-LUT的处理结果的色空间，并输出所得的成像结果。
20.根据权利要求1所述的成像装置，其中所述图像处理器将来自所述成像元件的成像结果的色空间划分为多个区域，并确定所述成像结果属于哪个区域，以及所述图像处理器依赖于确定结果切换对所述3D-LUT的存取。
21.根据权利要求1所述的成像装置，进一步包括控制器，用于将校正数据设置在所述3D-LUT中，其中所述控制器通过将其他成像装置得到的成像结果设置为目标值来创建所述校正数据，并将所创建的校正数据设置在所述3D-LUT中。
22.一种成像装置中的成像结果处理方法，包括通过使用三维查找表，对通过成像元件获得的成像结果执行色彩调节。
全文摘要
本发明涉及一种成像装置和成像装置中的成像结果处理方法，可应用于例如电子照相机中，从而允许该相机简单、灵活地校正图像质量，有效地防止所述图像的劣化。在本发明中，提供了三维查找表，并通过使用该三维查找表校正成像结果(Y2、Cb2、Cr2)。
文档编号H04N1/60GK1874410SQ20061008376
公开日2006年12月6日 申请日期2006年6月1日 优先权日2005年6月1日
发明者若园雅史, 早川浩史, 石神光一朗, 水仓贵美, 加藤直哉, 冈田深雪 申请人:索尼公司