专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本公开涉及图像处理设备、图像处理方法和程序。具体地，本公开涉及捕获可见光和非可见光的图像的图像处理设备、图像处理方法和程序。例如,本公开涉及可用于当实现图案投影(pattern projection)技术时检测带有高对比度的非可见光的处理的图像处理设备、图像处理方法和程序，所述图案投影技术通过将非可见光图案投影于其上来测量主题的三维形状。
背景技术：
已知一种技术，其通过组合可见光图像捕获来产生图像，通过将诸如红外光等之类的非可见光进行投影来捕获非可见光分量，并且例如，通过使用所捕获的非可见光来使得可以执行对所捕获的图像的图像分析，诸如，测量到包括在所捕获的图像中的主题的距 离。例如，在日本专利申请公开No. JP-A 2005-258622和日本专利申请公开No. JP-A2003-185412中，提出了一种图像捕获设备，其同时捕获可见光和非可见光的图像。日本专利申请公开No. JP-A 2005-258622和日本专利申请公开No. JP-A2003-185412公开了三维形状测量处理技术，其将非可见光图案投影到主题，将图案作为所捕获的非可见光图像获得，并且，利用图案投影方法来测量到主题的距离。在日本专利申请公开No. JP-A 2005-258622和日本专利申请公开No. JP-A2003-185412中，使用了一种配置，其中，用于捕获可见光的像素和用于捕获非可见光的像素被设定在图像捕获设备中，并且，可见光分量图像和非可见光分量图像被在各自像素中捕获，但是，隐含假定可见光捕获像素和非可见光捕获像素的光谱特性是理想特性。但是，实际上，很难在可见光捕获像素和非可见光捕获像素中获得理想的光谱特性。一种用于将可见光捕获像素和非可见光捕获像素设定在图像捕获设备中的技术例如是一种方法，其设定颜色滤波器，该颜色滤波器传输每个像素的具体波长的光。但是，存在可被制造的颜色滤波器的光谱性能的极限，并且，很难防止以从不同颜色的邻近像素泄漏的光形式存在的光子(photon)的混合(intermixing)。这意味着诸如红外光等之类的非可见光混合到可见光捕获像素中，并且，等同于RGB的波长的可见光混合到非可见光捕获像素中。给定颜色由于各种原因而变为混合到另一颜色中的现象被称为颜色混合。未获得理想光谱特性的事实是由于可见光分量混合到被捕获的非可见光投影图案中，这意味着仅可产生带有低对比度的投影图案。即便基于低对比度投影图案完成了三维形状测量，也不可能获得主题的准确的距离信息和准确形状。因此，已知技术存在如下问题当使用同时捕获可见光和非可见光的图像捕获设备时，在可见光捕获像素和非可见光捕获像素中未产生足够的光谱，这意味着不能准确地执行图像分析，所述图像分析例如是测量到主题的距离和主题的三维形状。
发明内容
鉴于上述问题，本公开提供了实现以高精度分离可见光和非可见光的处理的图像处理设备、图像处理方法和程序。本公开的一个示例通过实现以高精度分离可见光和非可见光的处理，提供了能够基于所捕获的非可见光图像来更加准确地执行图像分析(诸如例如，测量到主题的距离的信息、测量主题的三维形状)的图像处理设备、图像处理方法和程序。根据本公开的第一实施例，提供了一种图像处理设备，其包括光谱校正部，该光谱校正部输入由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及对比度增强部，该对比度增强部在已经由所述光谱校正部所生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。
根据本公开的图像处理设备的实施例，该图像处理设备还包括插值部，该插值部在所述马赛克图像上执行插值处理，并且，生成插值图像，其中，针对每个像素位置，已经设定了可见光分量像素值和非可见光分量像素值。光谱校正部生成光谱校正图像，其中，已经由所述插值部所生成的插值图像的像素值已经被校正。根据本公开的图像处理设备的实施例，光谱校正部通过执行使用光谱特性校正矩阵的矩阵计算来生成所述光谱校正图像，其中，已经由所述插值部所生成的插值图像的像素值已经被校正。根据本公开的图像处理设备的实施例，光谱校正部通过计算所述光谱特性校正矩阵来执行所述矩阵计算，使得当元素是对应于捕获了所述马赛克图像的图像捕获设备的光谱特性的光谱透射率的实际光谱特性矩阵乘以所述光谱特性校正矩阵时，所得乘积将比所述实际光谱特性矩阵更接近理想光谱特性矩阵，该理想光谱特性矩阵的元素是对应于理想光谱特性的光谱透射率。根据本公开的图像处理设备的实施例，对比度增强部关于已经由所述光谱校正部生成并包括所述非可见光分量的光谱校正图像中的一个来执行压缩全局亮度分量并增强对比度分量的处理。根据本公开的图像处理设备的实施例，对比度增强部关于已经由所述光谱校正部生成并包括所述非可见光分量的光谱校正图像中的一个来执行边缘增强处理。根据本公开的图像处理设备的实施例，对比度增强部关于已经由所述光谱校正部生成并包括所述非可见光分量的光谱校正图像中的一个通过利用色调曲线来执行对比度增强。根据本公开的第二实施例，提供了一种图像捕获装置，包括图像捕获设备，该图像捕获设备包括单板彩色图像捕获元件，该单板彩色图像捕获元件生成由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像；光谱校正部，该光谱校正部输入所述图像捕获设备已经生成的所述马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及对比度增强部，该对比度增强部在已经由所述光谱校正部所生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。根据本公开的第三实施例，提供了一种实现在图像捕获装置中的图像处理方法，包括输入由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及在已经生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。根据本公开的第四实施例，提供了一种导致图像处理在图像处理设备中被执行的程序，所述程序包括输入由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及在已经生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。 注意，例如，通过以计算机可读格式提供的存储介质或通信介质，可将根据本公开的程序提供给可执行各种程序码的信息处理设备或计算机系统。当以计算机可读格式提供这种程序时，根据该程序的处理被实现在信息处理设备或计算机系统上。从以下本公开的实施例和基于附图所做出的详细描述，本公开的其他目的、特征和优点将变得明显。另外，在本说明书中的系统是多个设备的逻辑集合配置，并且，无需是这样一种配置其中，带有每个配置的设备被容纳在当个外壳中。根据本公开的示例的配置，实现了一种配置，其提升了可见光和非可见光的光谱特性，并且，生成了带有很少可见光分量的非可见光分量图像。具体地，马赛克图像被输入，该马赛克图像由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成，并且，每个像素的光谱特性已经被校正的光谱校正图像被生成。接下来，在由非可见光分量所组成的已经生成的光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。光谱校正部通过执行矩阵计算来生成光谱校正图像，该矩阵计算利用通过利用关于理想光谱特性的信息所生成的光谱特性校正矩阵M。该配置使得可以生成仅带有很小的可见光分量的非可见光分量图像，并且，使得可以在一种配置中执行更高精度的处理，该配置使用光图案投影，该光图案使用诸如红外光等之类的非可见光分量来例如测量到主题的距离和主题的形状。
图I是说明了根据本公开的图像处理设备的配置示例的示图；图2是示出了设定在图像捕获设备中的颜色滤波器的示例的示图；图3是示出了其中设置了具有图2中的颜色阵列的滤波器的图像捕获设备的理想光谱特性的示例；图4是说明了实际作为设置了具有图2中的颜色阵列的滤波器的图像捕获设备的图像捕获设备的光谱特性的示例的示图；图5是说明了图像处理部的示例的示图，该图像处理部执行生成可见光分量图像(RGB图像)和非可见光分量图像(IR图像)的处理；图6是示出了插值部的详细配置的示例的示图；图7是说明了计算亮度信号Y 的处理的示例的示图；图8是示出了对比度增强部的详细配置的示例的示图；图9是说明了色调曲线(tone curve)应用部所执行的处理的示图；以及图10是示出了说明图像处理部执行的处理序列的流程图的示图。
具体实施例方式以下，将参照附图来详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的参考标号来表示具有本质上相同功能和结构的结构元件，并且，省去了对这些结构元件的重复说明。以下，将参照示图详细说明图像处理设备、图像处理方法和程序。注意，说明将依次覆盖以下项目。I.图像处理设备的配置示例2.图像捕获设备的配置示例3.图像处理的细节(3-1)图像处理的整个序列(3-2)图像处理中的各自处理的细节(3-2-1)插值部的处理(3-2-2)光谱校正部的处理(3-2-3)对比度增强部的处理4.图像处理序列5.其他示例6.本公开的配置总结I.图像处理设备的配置示例首先，将参照图I来说明根据本公开的图像处理设备的配置示例。图I是示出作为根据本公开的图像处理设备的示例的图像捕获装置的配置示例的示图。图I是示出了图像捕获装置100的配置的框图，该图像捕获装置100利用非可见光来执行三维测量并同时执行可见光图像捕获。如图I中所示，图像捕获装置100包括光发射部(发射机)102、透镜103、光圈(diaphragm) 104、图像捕获设备105、相关双采样(CDS)电路106、A/D转换器107、数字信号处理器(DSP)块108、定时生成器(TG) 109、存储器110和CPU1110DSP块108是具有用于信号处理的处理器和用于图像的RAM的块。用于信号处理的处理器能够关于存储在用于图像的RAM中的图像数据执行预编程图像处理。以下，将DSP块108简单称为DSP。光发射部(发射机)102包括激光和光投影系统，并且，其将用于三维测量的非可见光图案投影到主题(对象)10。光发射部(发射机)102发射例如光图案，诸如，条纹图案，该光由诸如红外光、紫外光等之类的光组成，该光具有可见光区域的波长之外的波长。
光发射部(发射机)102发射的非可见光图案由主题10所反射、经过透镜103和光圈104，并且，到达图像捕获设备105，该图像捕获设备105例如由C⑶等配置。反射光到达图像捕获设备105的图像捕获表面上的各自光接收元件，并且，通过光接收元件中的光电转换被转换成电信号。噪声去除由相关双米样(CDS)电路106执行,并且,在信号由A/D转换器107转换成数字数据(即，被数字化)之后，其被存储在DSP块108中的图像存储器中。DSP块108在存储在DSP块108中的图像存储器中的图像信号上执行信号处理。定时生成器(TG) 109执行对信号处理系统的控制，使得在固定帧率处的图像获取被维持，同时图像捕获装置100处于执行图像捕获的状态中。像素流也被以固定速率发送到DSP块108，在该DSP块108处，执行合适的图像处理。从DSP块108处，可见光和非可见光图像被输出并被存储在存储器110中。从DSP块108输出的非可见光分量图像进一步由CPUlll处理，在该CPU 111处，例如计算主题的三维形状。 已经提供了对本示例中的图像捕获装置100的一般说明。2.图像捕获设备105的配置示例接下来，将详细说明图I中所示的图像捕获装置100的图像捕获设备105的配置示例和其特性。图I中所示的图像捕获装置100的图像捕获设备105例如包括可同时捕获可见光和非可见光的单板颜色图像捕获元件。DSP块108在已经由包括单板颜色图像捕获元件的图像捕获设备105所捕获的可见光分量图像和非可见光分量图像上执行处理，并且，生成带有高光谱水平的高质量非可见光分量图像。稍后将描述DSP块108中所执行的具体处理，但是，根据本公开的图像处理设备是这样一种技术，当实现了图案投影技术时，其可被用于检测带有高对比度的非可见光图案的处理，该图案投影技术例如通过将非可见光投影到主题上来测量主题的三维形状。注意，在本说明书中，术语“对比度”被用于意味着对象图像区域和另一图像区域之间的亮度差。图I中所示的图像捕获装置100的图像捕获设备105包括单板颜色图像捕获元件，该单板颜色图像捕获元件具有对可见光敏感的像素和对非可见光敏感的像素。通过在单色(monochrome)图像捕获元件上形成带有图2中所示的颜色阵列的颜色滤波器,可做出这种图像捕获元件。图2中的R、G、B形成用于捕获可见光的颜色滤波器，而IR形成用于捕获非可见光的滤波器。R、G和B在对应于可见光(R、G、B)的波长处传输光。IR在对应于可见光区域外部的非可见光(IR)的波长处传输光，例如，红外光、紫外光等。主题10所反射的光例如通过图2中所示的颜色滤波器进入图I中所示的图像捕获装置100的图像捕获设备105。已经被设定到R、G和B的像素因此变为可见光捕获像素，该可见光捕获像素根据对应于可见光(R、G、B)的光的波长来生成电信号。另外，已经被设定到IR的像素变为非可见光捕获像素，该非可见光捕获像素根据对应于非可见光(IR)的光的波长来生成电信号。
注意，如图2中所示，通过利用带有多个层的颜色滤波器而非利用仅带有一层的颜色滤波器，还可获得创建对应于各自像素的敏感度(sensitivity) (R、G、B、IR)的配置。注意，图2中所示的颜色滤波器阵列仅是一个示例，本公开并不限于图2中所示的配置，并且，根据本公开的处理可被用于具有用于可见光和非可见光的图像捕获像素的混合的任意配置。图2中所示的滤波器中的IR可被设定，使得其在对应于可见光区域外部的非可见光(诸如，红外光、紫外光等)的波长处传输光，但是，在将以下说明的示例中，IR被配置，使得其传输红外光。图3是示出了其中设置了具有图2中的颜色阵列的滤波器的图像捕获设备的理想光谱透射率(transmittance)的示例的示图。水平轴是波长，而垂直轴是光谱透射率。 B像素光谱是图2中所示的颜色滤波器的B像素区域的光谱特性(光谱透射率)，其中，在对应于带有接近蓝色(B)的波长的光的短波长区域中的光被有选择地传输。G像素光谱是图2中所示的颜色滤波器的G像素区域的光谱特性(光谱透射率)，其中，在对应于具有接近绿色(G)的波长的光的中等波长区域中的光被有选择地传输。R像素光谱是图2中所示的颜色滤波器的R像素区域的光谱特性(光谱透射率)，其中，在对应于具有接近红色(R)的波长的光的长波长区域中的光被有选择地传输。IR像素光谱是图2中所示的颜色滤波器的IR像素区域的光谱特性(光谱透射率)，其中，在对应于具有接近红外(IR)的波长的光的超长波长区域中的光被有选择地传输。图3中所示的光谱特性图示出了理想特性。但是，即便设置了例如图2中所示的颜色滤波器的图像捕获设备被实际制造，也很难获得图3中所示的理想光谱特性。图4中示出了实际制造的图像捕获设备的光谱特性的示例。以与图3中所示相同的方式，水平轴是波长，而垂直轴是光谱透射率。实际作为设置了具有图2中的颜色阵列的滤波器的图像捕获设备而被制造的图像捕获设备的光谱特性指示出现如下问题如图4中所示，用于捕获可见光的像素具有对红外光的敏感度，而用于捕获红外光的像素具有对可见光的敏感度。根据本公开的图像处理设备使得可以输入已经由具有图4中所示的光谱特性(即，有瑕疵的光谱特性)的图像捕获设备所捕获的图像信号，并且，通过执行以下将说明的信号处理来产生高质量的可见光分量图像和非可见光分量图像。3.图像处理的细节接下来，将说明在根据本公开的图像处理设备中所执行的图像处理的细节。以下将说明的图像处理可在例如图I中所示的图像捕获装置100的DSP块108中被执行。在DSP块108中，执行能够恢复信号直至其高频分量的插值处理、通过矩阵计算来执行光谱校正的处理，以及对非可见光分量图像的对比度增强处理。以下，将首先参照图5来说明对生成可见光分量(RGB图像)和非可见光分量图像(IR图像)的所有处理的概述，并且然后，将详细说明图5中所示的各自处理部。说明将依次覆盖以下项目。(3-1)图像处理的整个序列
(3-2)图像处理中的各自处理的细节(3-1)图像处理的整个序列首先，将参照图5来说明执行在根据本公开的图像处理设备中的图像处理(S卩，生成可见光分量图像(RGB图像)和非可见光分量图像(IR图像)的处理)的整个序列。图5是说明了在作为图I中所示的图像捕获装置100的图像处理部的DSP块108中所执行的处理的示图。在图5中，针对在DSP块108中所执行的多个处理中的每一个，不出了一个处理部。如图5中所示，图像处理部(DSP块108)包括插值部202、光谱校正部203和对比度增强部204。 RGBIR马赛克图像201是已经被图I中所示的图像捕获设备105所捕获的马赛克图像。即，其为马赛克图像，其中，针对每个像素，已经仅针对一个光波长R、G、B或IR设定了一个信号。换言之，RGBIR马赛克图像201是已经被图像捕获设备105所捕获的马赛克图像，该图像捕获设备105设置了带有图2中所示的阵列的颜色滤波器，该颜色滤波器传输可见光(R、G、B)和非可见光(IR)。噪声去除由相关双采样(CDS)电路106执行，并且，在信号由A/D转换器107转换成数字数据(即，被数字化)之后，其被存储在DSP块108中的图像存储器中。插值部202执行插值处理，该插值处理针对RGBIR马赛克图像201中的每个像素设定所有RGBIR像素值，其中，针对每个像素，已经仅设定了一个像素值R、G、B或IR。例如，像素值插值处理被执行，其针对R颜色滤波器所位于的像素位置对G、B和IR像素值进行插值，针对G颜色滤波器所位于的像素位置对R、B和IR像素值进行插值，针对B颜色滤波器所位于的像素位置对R、G和IR像素值进行插值，并且，针对IR颜色滤波器所位于的像素位置对R、G和B像素值进行插值。例如，插值部202可通过生成亮度信号并将亮度信号用作参考执行对颜色信号的插值，该亮度信号具有比包括在马赛克信号中的任意颜色都高的分辨率。注意，通过组合多个颜色信号，亮度信号被产生，该多个颜色信号位于定义了正被插值的像素值的对象像素位置的附近。通常，在已经被捕获的多个颜色信号之间存在很强的相关。利用该相关，可组合多个颜色信号，并且，可生成带有比任意一个颜色信号的分辨率都高的分辨率的亮度信号。另夕卜，亮度信号和颜色信号之间的强相关可被用于产生将所有颜色恢复至其最高频率分量的插值的值。光谱校正部203输入作为插值部202所生成的插值图像的RGBIR图像，在该图像中，针对每个像素，提供了所有颜色的像素值。针对每个像素位置，光谱校正部203关于像素位置中存在的四个颜色(R、G、B、IR)的像素值执行单独的矩阵计算，从而计算校正了光谱的新的四色像素值。该处理对在已知相机信号处理中已被用于改善颜色再现的计算进行了扩展。例如，颜色再现被一种计算改善，该计算通过利用关于由一般的相机所捕获的可见光的三种颜色(R、G、B)的三乘三矩阵来计算新的三色值。在本公开的配置中，关于整个四种颜色，即可见光的三种颜色和非可见光的一种颜色，使用四乘四的矩阵。在其光谱已经被校正的R、G和B像素中，非可见光分量被抑制，并且，在其光谱已经被校正的IR像素中，可见光分量被抑制。光谱校正部203的输出被分成由可见光分量所组成的RGB图像205和由非可见光分量所组成的IR图像。已经从光谱校正部203输出的IR图像被输入到对比度增强部204，其中，非可见光分量被增强，并且输出可见光分量被抑制的IR图像206。注意，在根据本公开的图像处理设备中，假定非可见光被用于三维测量。因此，非可见光图案被投影到来自光发射部102的主题上，之前参照图I说明了光发射部102。
该图案由売点和売线配置而成，其具有闻对比度的纹理。因此，在主题上，非可见光分量在高对比度纹理中占主导，而可见光分量在低对比度纹理中占主导。另外，由于在透镜中一般存在轴向色差(axial chromatic aberration),因此,如果透镜聚焦于非可见光，则将出现可见光模糊。这种光学现象是具有高对比度的非可见光分量中的一个因素。换言之，将已经由光谱校正部203输出的IR图像分成对比度分量和非对比度分量几乎与将其分成非可见光分量和可见光分量是同一回事。注意，已经被使用了一段时间的对比度增强技术还可被用于对比度增强。例如，对比度增强可由实空间中的信号校正所执行，诸如，直方图拉伸或色调曲线，并且，其还可由频率空间中的信号校正所执行，诸如，对高频分量的增强。如果使用了色调曲线，则使用S形曲线比较好，该S形曲线使得暗区域更暗而亮区域更亮。这是因为，即便可见光被混合到已经由光谱校正部203输出的IR图像，非可见光信号更加占主导，因此，捕获到更亮的图像。注意，利用边缘保持平滑滤波器的技术可被用作根据本公开的图像处理设备中的有效的对比度增强技术。边缘保持平滑滤波器是一种平滑技术，其平滑主题的详细纹理(包括小表面区域中的高频分量的信号)，并且，仅留下大的纹理。双向滤波器是已知的代表技术。非可见光的投影图案比可见光背景具有更加详细的纹理，并且，其可由边缘保持平滑滤波器分离出来。在分离的可见光和非可见光的两个图像上使用增益和色调曲线使得可以抑制可见光并增强非可见光。(3-2)图像处理中的各自处理的细节接下来，将按次序说明在图5中所示的每个处理部中所执行的处理的细节。(3-2-1)插值部202的处理首先，将详细说明图5中所示的插值部202。图6中示出了插值部202的详细框图。如图6中所示，插值部202包括亮度计算部303、本地平均值计算部304和颜色插值部305。以下，将说明由这些处理部中的每一个所执行的处理。
亮度计算部303在亮度计算部303中，计算亮度信号Y，该亮度信号Y具有比包括在图2中所示的颜色滤波器中的四种颜色(R、G、B、IR)中任一个更多的像素和更高的频率分量。具体地，例如，利用以下所示的方程I来计算亮度信号Y。方程I(I)Y(x+0. 5, y+0. 5)= Mosaic (x, y) +Mosaic (x+1, y) +Mosaic (x, y+1) +Mosaic (x+1, y+1)
在方程I中，x、y指示像素位置，而“马赛克”指示RGBIR马赛克图像(图6中所示的RGBIR马赛克图像302)。将参照图7说明计算方程I中的亮度信号Y的处理的示例。由方程I所计算的亮度信号Y(x+0. 5，y+0. 5)对应于图7中的点P处的亮度。如果对象像素位置被定义为中心像素251，即，B像素(x，y)，则亮度信号Y被计算为位于在X方向和y方向二者上偏移对象像素半个像素的位置处(S卩，在坐标位置(x+0.5，y+0. 5)处)的亮度。为了计算图7中的点P处的亮度信号Y(x+0. 5，y+0. 5)，通过利用图7中所示的四个像素的四个像素值来执行计算，具体地，像素251的像素值[马赛克(x，y)] :B像素(X，y),像素252的像素值[马赛克(x+l,y)] :G像素(x+l,y),像素253的像素值[马赛克(x,y+1) ] IR像素(x, y+1),以及，像素254的像素值[马赛克(x+1, y+1) ] R像素(x+1, y+1)。在亮度计算部303，配置已经被输入到插值部202的RGBIR马赛克图像302的像素被以四个像素为单位顺序选择，根据方程1，亮度信号Y被计算，并且，亮度图像被生成。本地平均值计算部304接下来，将说明图6中所示的插值部202的本地平均值计算部304中的处理。在本地平均值计算部304中，针对具有位于其中心处的对象像素的本地区域中的R、G、B和IR像素值，加权平均值被计算。以下，用于各自颜色R、G、B和IR的平均值将被分别称为mR、mG、mB和mIR。在亮度计算部303中，如之前参照图7所说明的，亮度信号Y在关于RGBIR马赛克图像302偏移半个像素的位置处被计算，因此，也针对从对象像素位置(x，y)偏移半个像素的位置(x+0. 5，y+0. 5)来计算平均值。例如，如图7中所示，如果中心中的B像素被定义为(x，y)，则通过利用以下所示出的方程2可分别计算对应于各自颜色的平均值，具体是mR(x+0. 5，y+0. 5)、mG(x+0. 5，y+0. 5)、mB(x+0. 5, y+0. 5)和 mIR(x+0. 5, y+0. 5)。方程2(2)mR(x+0. 5, y+0. 5)= (Mosaic (x_l，y-1) +Mosaic (x+1, y-1) X 3+Mosaic (x_l，y+1) X 3+Mosaic (x+1,y+1) X9)/16mG (x+0. 5, y+0. 5)= (Mosaic (x~l, y) X 3+Mosaic (x+1, y) X 9+Mosaic (x~l, y+2) +Mosaic (x+1,y+2)X3)/16mB (x+0. 5, y+0. 5)= (Mosaic (x, y) X 9+Mosaic (x+2, y) X 3+Mosaic (x, y+2) X 3+Mosaic (x+2,7+2))/16mIR(x+0. 5, y+0. 5)= (Mosaic (x, y-1) X3+Mosaic(x+2, y-1)+Mosaic (x, y+1) X9+Mosaic (x+2,y+1)X3)/16颜色插值部305接下来，将说明图6中所示的插值部202的颜色插值部305中的处理。
在颜色插值部305中，根据以下所示的方程3，未知颜色的像素值C被插值在像素位置(x+0. 5，y+0. 5)处。注意，C等于R、G、B和IR中的一个。方程3
(3)
C(x + 0.5，y + 0.5) =吩 + 0.5 j + 0.5)
mF(x + 0.5,^ + 0.5)mY(x+0. 5, y+0. 5)= (mR (x+0. 5，y+0. 5) +mG (x+0. 5，y+0. 5) +mB (x+0. 5，y+0. 5) +mlR (x+0. 5,y+0. 5))/4在方程3中，C指示R、G、B和IR中的任意一个颜色。C(x+0. 5，y+0. 5)指示从对象像素位置(x，y)在x方向和y方向每个方向上偏移半个像素的位置处的像素值R、G、B和IR。mY指示亮度分量的平均值。方程3是一个插值公式，其利用如下事实亮度信号和颜色信号在本地区域中具有很强的正相关，并且，两个信号的平均值的比率几乎等于两个信号的比率。已经在颜色插值部305中被插值的RGBIR图像306在关于作为到插值部202的输入图像的RGBIR马赛克图像302在X方向和y方向上偏移半个像素的位置处被计算。DSP块108可被配置，使得插值图像被在后续处理中原样使用，并且，其可被配置，使得在利用双三次(bicubic)插值等来校正半个像素的偏移之后，插值图像被输入到下一阶段的处理部。不论使用哪种配置，将继续说明，其中插值图像中的像素位置由x、y指示。(3-2-2)光谱校正部203的处理接下来，将详细说明图5中所示的光谱校正部203。如之前所说明的，光谱校正部203输入作为插值部202已经生成的插值图像的RGBIR图像，并且该图像中，针对每个像素，所有颜色的像素值被提供。针对每个像素位置，光谱校正部203关于像素位置中存在的四个颜色(R、G、B、IR)的像素值执行单独的矩阵计算，从而计算校正了光谱的新的四色像素值。在本公开的配置中，关于所有四种颜色(即，可见光的三种颜色和非可见光的一种颜色)，使用了四乘四的矩阵。
在其光谱已经被校正的R、G和B像素中，非可见光分量被抑制，并且，在其光谱已经被校正的IR像素中，可见光分量被抑制。光谱校正部203的输出被分成由可见光分量组成的RGB图像205和由非可见光分量所组成的IR图像。光谱校正部203利用以下所示的方程4中的矩阵计算来执行对光谱的校正。方程4
(4)·^(m00 mOl m02 m03 丫 R(x,y)^G'(x, y) mlO ml I ml2 ml3 G(x,y)
B'(x,y) m20 m21 m22 m23 B(x,y)
yIR' (x, y)J ljn30 m31 m32 m33在方程4中，R、G、B和IR指不已经在图6中所不的插值部202内的颜色插值部305中插值的四种颜色的像素值，并且，R’、G’、B’和IR’指示其光谱已经被校正的像素值。以下，将描述用于导出方程4中所示的矩阵元素mOO到m33的方法的示例。之前，参照图3和图4说明了理想图像捕获设备的光谱特性(图3)和实际图像捕获设备的光谱特性(图4)。对应于参照图3所说明的理想光谱特性的四种颜色(R、G、B、IR)的各自波长(I)的光谱透射率被定义为r (I)、g⑴、b⑴和ir⑴。此处，“I”指示波长。另外，对应于参照图4所说明的实际设备的实际光谱特性的四种颜色(R、G、B、IR)的各自波长(I)的光谱透射率被定义为^1)’^(1)’4(1)’和化(1)’。此处，“I”指示波长。如果这些光谱透射率关于波长(I)被离散化，则产生以下所示的方程5。方程5
(5)
U Ka) Ah) ^nT
g{k) s{h) s{h) g(iN)b{l0) b{l') b{l2)"b(lN)
M1 o) Hh) Hh) H1 n\
权利要求
1.一种图像处理设备，包括 光谱校正部，该光谱校正部输入由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及 对比度增强部，该对比度增强部在已经由所述光谱校正部所生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。
2.根据权利要求I所述的图像处理设备，还包括 插值部，该插值部在所述马赛克图像上执行插值处理，并且，生成插值图像，在所述插值图像中，针对每个像素位置，已经设定了可见光分量像素值和非可见光分量像素值， 其中，所述光谱校正部生成光谱校正图像，在所述光谱校正图像中，已经由所述插值部所生成的插值图像的像素值已经被校正。
3.根据权利要求2所述的图像处理设备， 其中，所述光谱校正部通过执行使用光谱特性校正矩阵的矩阵计算来生成所述光谱校正图像，在所述光谱校正图像中，已经由所述插值部所生成的插值图像的像素值已经被校正。
4.根据权利要求3所述的图像处理设备， 其中，所述光谱校正部通过按如下方式计算所述光谱特性校正矩阵来执行所述矩阵计算使得当元素是对应于捕获了所述马赛克图像的图像捕获设备的光谱特性的光谱透射率的实际光谱特性矩阵乘以所述光谱特性校正矩阵时，所得乘积将比所述实际光谱特性矩阵更接近理想光谱特性矩阵，该理想光谱特性矩阵的元素是对应于理想光谱特性的光谱透射率。
5.根据权利要求I所述的图像处理设备， 其中，所述对比度增强部关于已经由所述光谱校正部生成并包括所述非可见光分量的光谱校正图像中的一个来执行压缩全局亮度分量并增强对比度分量的处理。
6.根据权利要求I所述的图像处理设备， 其中，所述对比度增强部关于已经由所述光谱校正部生成并包括所述非可见光分量的光谱校正图像中的一个来执行边缘增强处理。
7.根据权利要求I所述的图像处理设备， 其中，所述对比度增强部关于已经由所述光谱校正部生成并包括所述非可见光分量的光谱校正图像中的一个通过利用色调曲线来执行对比度增强。
8.一种图像捕获装置，包括 图像捕获设备，该图像捕获设备包括单板彩色图像捕获元件，该单板彩色图像捕获元件生成由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像； 光谱校正部，该光谱校正部输入所述图像捕获设备已经生成的所述马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及 对比度增强部，该对比度增强部在已经由所述光谱校正部所生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。
9.一种实现在图像捕获装置中的图像处理方法，包括 输入由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及 在已经生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。
10.一种导致图像处理在图像处理设备中被执行的程序，所述程序包括 输入由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成的马赛克图像，并且，生成每个像素的光谱特性已经被校正的光谱校正图像；以及 在已经生成的并包括所述非可见光分量的所述光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。
全文摘要
本发明公开了图像处理设备、图像处理方法和程序。马赛克图像被输入，该马赛克图像由已经主要捕获了可见光分量的可见光分量像素和已经主要捕获了非可见光分量的非可见光分量像素所组成，并且，每个像素的光谱特性已经被校正的光谱校正图像被生成。然后，在已经生成的并包括非可见光分量的光谱校正图像中的一个上执行对比度增强处理，并且，生成对比度已经被增强的非可见光分量图像。光谱校正部通过执行矩阵计算来生成光谱校正图像，该矩阵计算利用通过利用关于理想光谱特性的信息所生成的光谱特性校正矩阵(M)。
文档编号G01B11/02GK102778201SQ20121014727
公开日2012年11月14日 申请日期2012年5月7日 优先权日2011年5月13日
发明者野村宜邦 申请人:索尼公司