图像处理设备、图像处理方法和计算机程序的制作方法

专利名称：图像处理设备、图像处理方法和计算机程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和计算机程序。具体而言，本发明涉及用于通过校正其中例如由于透镜像差而产生假彩色(false color)的图像数据而产生高质量图像数据的图像处理设备、图像处理方法和计算机程序。
背景技术：
对于使用摄像机拍摄，由于透镜像差而产生各种问题。典型的色像差的示例包括赛德尔(Seidel)的5个像差，它们是单色像差。这是由德国的赛德尔分析并且基于透镜球面的5个像差，并且是球面像差、彗形像差、像散像差、失真像差和场曲率的通称术语。除了那些像差之外，已知的色像差还可以引起严重的问题。色像差起因于相对于透镜材料光的折射指数根据其波长而改变的事实，并且所述色像差在图像捕获表面上产生假彩色。
色像差、轴向色像差和放大色像差的典型示例是公知的，由于在光轴上的焦点位置根据波长而改变，因此所述轴向色像差引起色彩模糊(color blur)，并且由于图像放大根据波长而改变，因此放大色像差引起色移(color shift)。总体上，在英语中被称为“紫色条纹(purple fringe)”的现象也是图像劣化的重要原因。这是这样的现象其中，因为由于光波长而导致的点扩展(pointspread)中的差别，因此在图像中的边缘部分中产生假彩色。即使当它在典型的像素中不可视时，发生白饱和(white saturation)的高对比度边缘部分的存在也使得在所述边缘部分周边产生紫色假彩色，因此形成不自然的图像，所述白饱和即其中亮度(luminance)级饱和的状态。总体上，在白饱和部分的附近产生的假彩色被称为“紫色条纹”，因为产生大量的基于紫色的色彩。但是，根据透镜和拍摄条件，所述假彩色可以是任何色彩，诸如带有绿色的色彩。以下，“紫色条纹”指的是在发生白饱和的高对比度边缘部分出现的假彩色产生现象，而与所产生的色彩无关。
作为用于降低色像差的技术，使用以诸如萤石之类的特殊材料构成的玻璃的透镜可以使用。但是，因为需要高成本来制造这样的透镜，因此价格也高。这样的透镜用于诸如可更换透镜的摄像机之类的一些高级摄像机，但是不能被广泛使用。
专利文件1描述了一种通过执行图像处理而减少由于色像差而产生的假彩色的方法。在这个处理中，对于绿色信道高频分量高的部分执行用于抑制色彩、即降低色彩饱和的处理。作为针对其中出现白饱和的情况的措施，专利文件1还公开了一种配置，用于通过以变化的曝光来拍摄两个图像，并且估计白饱和部分的原始亮度，而执行用于降低白饱和部分的色彩饱和的处理。
但是，在专利文件1中所述的处理中，因为通过降低色彩饱和而减少假彩色，因此也减少了原始对象色彩的色彩饱和，由此使得不可能如实地再现对象的原始色彩。结果，存在输出看起来不自然的图像的问题。另外，为了估计白饱和部分的亮度，需要两次进行拍摄。当在两次拍摄操作期间发生手移动或对象移动时，存在难以获得正确结果的问题。
日本未审查专利申请公开第2003-60983号。

发明内容
已经基于上述问题而作出本发明，本发明的目的是提供一种图像处理设备、图像处理方法和计算机程序，它们通过关注诸如在白饱和部分周边产生的紫色条纹之类的假彩色，有效地检测假彩色区域，并且执行部分校正，而使得可以产生和输出高质量图像数据而不影响整个图像。
本发明的第一方面提供了一种图像处理设备。
所述图像处理设备包括白饱和检测单元，用于从图像数据检测白饱和像素；假彩色像素检测区域设置单元，用于在由白饱和检测单元检测的白饱和像素周围设置假彩色像素检测区域；假彩色检测单元，用于在由假彩色像素检测区域设置单元设置的区域中，将具有与假彩色对应的色彩的像素识别为假彩色像素；以及像素值校正单元，用于根据周围像素的值，对由假彩色检测单元检测的假彩色像素执行像素值校正处理。
另外，按照本发明的图像处理设备的一个实施例，像素值校正单元具有补偿内插单元，用于根据周围的像素值而对假彩色像素执行补偿内插处理；以及色彩模糊处理单元，用于对假彩色像素执行色彩模糊处理。
另外，按照本发明的图像处理设备的一个实施例，像素值校正单元从在假彩色像素周围存在的像素中，选择除了假彩色像素和白饱和像素之外的像素，并且根据所选择的像素而执行补偿内插处理。
另外，按照本发明的图像处理设备的一个实施例，假彩色检测单元执行在由假彩色像素检测区域设置单元设置的区域中将具有预设特定色彩的像素识别为假彩色像素的处理。
另外，按照本发明的图像处理设备的一个实施例，所述假彩色是紫色条纹，并且假彩色检测单元执行把在由假彩色像素检测区域设置单元设置的区域中的紫色像素识别为假彩色像素的处理。
另外，按照本发明的图像处理设备的一个实施例，所述假彩色像素检测区域设置单元，按照在拍摄将被处理的图像数据期间的光圈、焦距信息、和从光中心到白饱和像素(x，y)的距离的数据之中的至少一个，执行确定在由白饱和检测单元检测的白饱和像素周围设置的假彩色像素检测区域的处理。
另外，按照本发明的图像处理设备的一个实施例，所述白饱和检测单元执行选择具有高于或等于预定阈值的亮度的白饱和像素的处理。
另外，按照本发明的图像处理设备的一个实施例，图像处理设备还包括用于执行数据转换处理的色彩转换单元，所述数据转换处理将输入图像数据分离为亮度分量图像数据和色彩分量图像数据，并且所述图像处理设备根据由所述色彩转换单元产生的转换数据来执行像素值校正处理。
另外，按照本发明的图像处理设备的一个实施例，假彩色像素检测区域设置单元具有基准图像分析单元，用于接收基准图像，并且获得与将被处理的图像中的白饱和像素对应的基准图像像素的亮度值，在所述基准图像中，在与将被处理的图像中的白饱和像素对应的位置的像素不具有饱和亮度值。所述基准图像是与将被处理的图像对象相同的拍摄图像。假彩色像素检测区域设置单元还具有假彩色像素检测区域确定单元，用于按照对应的基准图像像素的亮度值来设置假彩色像素检测区域，所述亮度值由基准图像分析单元获得。
另外，按照本发明的图像处理设备的一个实施例，假彩色像素检测区域确定单元通过使用查找表来设置假彩色像素检测区域，在所述查找表中，基准图像的亮度值和可产生假彩色的像素范围或假彩色像素检测区域彼此相关联。
另外，按照本发明的图像处理设备的一个实施例，假彩色像素检测区域确定单元执行随着在基准图像中的对应像素的亮度值的增大而设置更宽的假彩色像素检测区域的处理。
另外，按照本发明的图像处理设备的一个实施例，通过使用由具有低灵敏度传感器的图像捕获器件所拍摄的图像、或在低于适当的曝光的低曝光的条件下拍摄的图像来作为基准图像，假彩色像素检测区域确定单元获得与在将被处理的图像中的白饱和像素对应的部分的基准图像亮度值。
另外，本发明的第二方面提供了一种图像处理方法。所述图像处理方法包括白饱和检测步骤，从图像数据检测白饱和像素；假彩色像素检测区域设置步骤，设置在白饱和检测步骤中检测的白饱和像素周围的假彩色像素检测区域；假彩色检测步骤，在假彩色像素检测区域设置步骤中设置的区域中，将具有与假彩色对应的色彩的像素识别为假彩色像素；以及像素值校正步骤，根据周围像素的值，对在假彩色检测步骤检测的假彩色像素执行像素值校正处理。
另外，按照本发明的一个实施例，像素值校正步骤包括补偿内插步骤，根据周围的像素值而对假彩色像素执行补偿内插处理；以及色彩模糊处理步骤，对假彩色像素执行色彩模糊处理。
另外，按照本发明的图像处理方法的一个实施例，像素值校正步骤是这样的步骤从在假彩色像素周围存在的像素中选择除了假彩色像素和白饱和像素之外的像素，并且根据所选择的像素而执行补偿内插处理。
另外，按照本发明的图像处理方法的一个实施例，假彩色检测步骤是这样的步骤执行在假彩色像素检测区域设置步骤中设置的区域中，将具有预设特定色彩的像素识别为假彩色像素的处理。
另外，按照本发明的图像处理方法的一个实施例，所述假彩色是紫色条纹，并且假彩色检测步骤是这样的步骤执行把在假彩色像素检测区域设置步骤中设置的区域中的紫色像素识别为假彩色像素的处理。
另外，按照本发明的图像处理方法的一个实施例，所述假彩色像素检测区域设置步骤是这样的步骤按照在拍摄将被处理的图像数据期间的光圈、焦距信息、和从光中心到白饱和像素(x，y)的距离的数据之中的至少一个，执行确定在白饱和检测步骤中检测的白饱和像素周围设置的假彩色像素检测区域的处理。
另外，按照本发明的图像处理方法的一个实施例，所述白饱和检测步骤是这样的步骤执行选择具有高于或等于预定阈值的亮度的白饱和像素的处理。
另外，按照本发明的图像处理方法的一个实施例，图像处理方法还包括执行数据转换处理的色彩转换步骤，所述数据转换处理将输入图像数据分离为亮度分量图像数据和色彩分量图像数据，并且所述图像处理方法还包括根据由色彩转换单元产生的转换数据来执行像素值校正处理。
另外，按照本发明的图像处理方法的一个实施例，假彩色像素检测区域设置步骤具有基准图像分析步骤，输入基准图像，并且获得与将被处理的图像中的白饱和像素对应的基准图像像素的亮度值，在所述基准图像中，在与将被处理的图像中的白饱和像素对应的位置的像素不具有饱和亮度值，所述基准图像是与将被处理的图像对象相同的拍摄图像；以及假彩色像素检测区域确定步骤，按照对应的基准图像像素的亮度值来设置假彩色像素检测区域，所述亮度值在基准图像分析步骤中获得。
另外，按照本发明的图像处理方法的一个实施例，假彩色像素检测区域确定步骤是这样的步骤通过使用查找表来设置假彩色像素检测区域，在所述查找表中，基准图像的亮度值和可产生假彩色的像素范围或假彩色像素检测区域彼此相关联。
另外，按照本发明的图像处理方法的一个实施例，假彩色像素检测区域确定步骤是这样的步骤执行随着在基准图像中的对应像素的亮度值的增大而设置更宽的假彩色像素检测区域的处理。
另外，按照本发明的图像处理方法的一个实施例，在假彩色像素检测区域确定步骤中，使用由具有低灵敏度传感器的图像捕获器件所拍摄的图像、或在低于适当的曝光的低曝光的条件下拍摄的图像来作为基准图像，获得与在将被处理的图像中的白饱和像素对应的部分的基准图像亮度值。
另外，本发明的第三方面提供了一种计算机程序，用于使得计算机执行图像处理。所述程序包括
白饱和检测步骤，从图像数据检测白饱和像素；假彩色像素检测区域设置步骤，设置在白饱和检测步骤中检测的白饱和像素周围的假彩色像素检测区域；假彩色检测步骤，在假彩色像素检测区域设置步骤中设置的区域中，将具有与假彩色对应的色彩的像素识别为假彩色像素；以及像素值校正步骤，根据周围像素的值，对在假彩色检测步骤检测的假彩色像素执行像素值校正处理。
另外，按照本发明的一个实施例，假彩色像素检测区域设置步骤包括基准图像分析步骤，输入基准图像，并且获得与将被处理的图像中的白饱和像素对应的基准图像像素的亮度值，在所述基准图像中，在与将被处理的图像中的白饱和像素对应的位置的像素不具有饱和亮度值，所述基准图像是与将被处理的图像对象相同的拍摄图像；以及假彩色像素检测区域确定步骤，按照对应的基准图像像素的亮度值来设置假彩色像素检测区域，所述亮度值在基准图像分析步骤中获得。
本发明的计算机程序可以被提供到例如通用计算机系统，所述通用计算机系统可以经由计算机可读格式的诸如CD、FD或MO之类的存储介质、或通过诸如网络的通信介质来执行各种程序代码。以计算机可读格式来提供这样的程序可以使得计算机按照所述程序而实现处理。
通过基于按照本发明的下述实施例和附图的更详细的说明，本发明的其它目的、特征和优点将变得清楚。此处的术语“系统”指多个设备的逻辑组合，但不限于各个设备包含在同一外壳中的系统。
按照本发明的配置，从图像数据检测白饱和像素，在所检测的白饱和像素周围设置假彩色像素检测区域，从所设置的区域检测具有与诸如紫色条纹之类的假彩色对应的色彩的像素，所检测的像素被确定为假彩色像素，并且对所识别的假彩色像素执行基于周围像素的值的校正处理。因此，可以有效地检测在白饱和像素的邻近产生的诸如紫色条纹的假彩色的区域，并且部分地校正像素的值。也可以产生和输出高质量的图像数据而不影响整个图像。
按照本发明的配置，可以对色像差引起的诸如紫色条纹之类的假彩色执行适当的校正，所述色像差对于由摄像机拍摄的图像而发生，并且可以实现产生和输出高质量图像数据。使用传统的摄像机，有可能拍摄出不自然的图像，除非在产生紫色条纹的情况下调整诸如透镜光圈之类的设置。但是，当应用本发明时，可以有效地提取和校正在所拍摄的图像中包含的诸如紫色条纹之类的假彩色，并且可以产生和输出高质量图像。不必关注透镜光圈和焦距，在拍摄期间不出现紫色条纹，因此使得可以以较高的自由度来执行拍摄。
另外，按照本发明的配置，根据基准图像来估计与白饱和像素对应的对象实际亮度，设置与对象实际亮度对应的假彩色(紫色条纹)检测区域，并且检测和校正在所设置区域中的假彩色(紫色条纹)像素。因此，可以设置与其中有可能产生假彩色(紫色条纹)的区域对应的假彩色(紫色条纹)检测区域，而不使得所设置的假彩色(紫色条纹)检测区域变得太大或太小。可以可靠地和有效地检测假彩色(紫色条纹)像素，提高图像校正的精确度，并且提高效率。


图1是示出本发明的图像处理设备的配置的图。
图2是图解本发明的图像处理方法的整个处理序列的流程图。
图3是图解要由本发明的图像处理设备校正的图像数据的配置的图。
图4是在本发明的图像处理中执行的白饱和区域检测处理的详细序列。
图5是图解在本发明的图像处理中执行的假彩色像素检测区域设置处理的详细序列的流程图。
图6是图解在本发明的图像处理中执行的假彩色像素检测区域设置处理的处理示例的图。
图7是图解在本发明的图像处理中执行的假彩色像素检测处理中的详细序列的流程图。
图8是图解在本发明的图像处理中执行的假彩色像素检测处理的处理示例(使用CIE L*a*b*的情况)的图。
图9是图解在本发明的图像处理中执行的假彩色像素检测处理的处理示例(使用YCbCr的情况)的图。
图10(A)和10(B)包括图解在本发明的图像处理中执行的假彩色像素校正处理的处理示例的图。
图11是图解在本发明的图像处理中执行的假彩色像素校正处理的详细序列的流程图。
图12是图解在本发明的图像处理中执行的假彩色像素校正处理的详细序列的流程图。
图13是图解在本发明的图像处理中执行的色彩模糊处理的详细序列的流程图。
图14是图解在本发明的图像处理设备中、按照第一实施例的用于执行假彩色校正的数字信号处理的功能配置的方框图。
图15(a)和15(b)包括图解对象实际亮度/边缘配置和假彩色(紫色条纹)的产生之间的关系的图。
图16(a)～(c)包括图解对象实际亮度、边缘配置、所拍摄图像亮度和假彩色(紫色条纹)的产生的图。
图17(a)、(b)、(p)、(r)、和(q)包括图解使用例如低灵敏度传感器以估计对象实际亮度而获得的基准图像的亮度信息的图。
图18包括图解在对象实际亮度和假彩色(紫色条纹)的产生范围之间的关系的图。
图19是图解在第二实施例中的用于设置假彩色检测区域的处理过程的流程图。
图20是示出在第二实施例中的用于设置假彩色检测区域的处理中使用的查找表(LUT)的结构的示例的表格。
图21是图解在本发明的图像处理设备中的、按照第二实施例的用于执行假彩色校正的数字信号处理的功能配置的方框图。
图22是图解在本发明的图像处理设备中的、按照第二实施例的用于执行假彩色校正的数字信号处理中的假彩色像素检测区域设置单元的配置的方框图。
具体实施例方式
以下，参照附图来说明按照本发明的图像处理设备、图像处理方法和计算机程序的细节。
首先，将参照图1来说明图像处理设备的配置的示例。图1所示的图像处理设备具有图像捕获单元，并且被图解为用于对由图像捕获单元捕获的图像的数据执行校正处理的设备的示例。但是，例如，本发明的图像处理设备可以接收在诸如硬盘之类的存储单元中存储的图像数据，并且校正所输入的图像。所述图像处理设备可以不仅对经由图像捕获单元输入的图像数据执行校正处理，而且可以对诸如经由存储装置或网络而输入的图像数据之类的各种类型的输入图像数据执行校正处理。图1示出了本发明的图像处理设备的配置的一个示例。
将说明图1所示的图像处理设备的详细配置。如图1所示，所述图像处理设备包括透镜101、光圈102、固态图像捕获器件103、相关双采样电路104、模数(A/D)转换器105、DSP块106、定时产生器107、数模(D/A)转换器108、视频编码器109、视频监视器110、编码解码器(CODEC)111、存储器112、CPU 113、输入器件114、快闪控制器件115和快闪发光器件116。
在此，输入器件114指在摄像机主单元上提供的诸如记录按钮之类的操作按钮等。DSP块106是具有信号处理器和图像RAM的块。所述信号处理器可以对在图像RAM中存储的图像数据执行预先编程的图像处理。以下，DSP块将被简称为“DSP”。
下面说明本实施例的整体操作。
通过光学系统已经到达固态图像捕获器件103的入射光首先到达图像捕获表面上的光接收元件，并且被光接收元件光电转换为电信号。所述电信号的噪音被相关双采样电路104消除，并且作为结果产生的信号被模数转换器105转换为数字信号。其后，数字信号被临时存储在数字信号处理器(DSP)106中的图像存储器中。在拍摄期间，可以使得快闪发光器件116在必要时经由快闪控制器件115来发光。
当捕获图像时，定时产生器107控制信号处理系统以便将图像捕获保持在恒定的帧速率上。还向数字信号处理器(DSP)106发送像素流，在数字信号处理器(DSP)106中执行适当的图像处理。其后，向数模转换器108和编码解码器(CODEC)111之中的任何一个或两者发送作为结果产生的图像数据。数模转换器108把从数字信号处理器(DSP)106发送的图像数据转换为模拟信号，并且视频编码器109将所述模拟信号转换为视频信号，所述视频信号然后可以在视频监视器110上被监视。这个视频监视器110在本实施例中作为摄像机取景器(finder)。编码解码器(CODEC)111把从数字信号处理器(DSP)106发送的图像数据编码，并且将所编码的图像数据存储在存储器112中。在这种情况下，所述存储器112可以是例如使用半导体、磁存储介质、磁光存储介质或光学存储介质的存储器件。
上面已经将数字摄像机系统的整个系统描述为本实施例的图像处理设备的一个示例。通过数字信号处理器(DSP)106来执行按照本发明的图像处理，即用于校正图像数据的处理。下面详细说明所述图像处理。
将首先说明如何产生假彩色(紫色条纹)的特征。假彩色(紫色条纹)指其中由于色像差而导致的色移显著出现在白饱和部分周围的现象，并且具有例如产生紫色假彩色的特征。在白饱和部分周围产生假彩色的区域的大小关联于光学系统的类型、光学系统的光圈、和焦距、以及在高亮度部分及其周围部分之间的亮度差，并且也按照与光学中心的距离而改变。而且，在从光学中心到高亮度像素的外部的方向上、在从高亮度像素向光学中心的方向上等，出现大量的假彩色。出现的趋势根据执行图像捕获的光学系统而不同。根据如上所述的特征，本发明提供了一种用于减少紫色条纹的图像处理方法。在此的高亮度像素指在图像上的饱和像素，并且以下将被称为白饱和像素。
如上所述，在作为亮度级饱和的状态的白饱和所发生的高对比度边缘部分产生的由透镜像差引起的假彩色的典型现象被称为“紫色条纹”。所述假彩色不限于紫色，并且可以是带有绿色的色彩。在下面的实施例中，将说明产生紫色假彩色的示例，但是本发明不将假彩色限制到紫色，并且适用于校正具有在白饱和部分的邻近产生的任何色彩的假彩色的处理。
图2是示出本实施例的流程图。将首先说明整个处理的概况，然后说明每个处理的细节。步骤S101是色彩空间转换处理，其中，输入图像经过色彩空间转换，并且被分离为亮度分量图像和色彩分量图像。接着，步骤S102是白饱和区域检测处理，其中，从要校正的输入图像数据检测白饱和部分。步骤S103是假彩色像素检测区域设置处理，其中，设置紫色像素的搜索区域，所述紫色像素是在白饱和部分周边产生的假彩色像素。而且，步骤S104是假彩色像素检测处理，其中检测在搜索区域中的紫色像素。步骤S105是假彩色像素校正处理，其中校正所检测的紫色像素的色彩分量。而且，步骤S106是色彩模糊处理(过滤处理)，其中，进行过滤处理以提供看起来自然的结果。最后，步骤S107是色彩空间逆转换处理，其中，转换所校正的结果的亮度分量图像和色彩分量图像，并且将作为结果产生的图像输出为RGB彩色图像。
输入图像是由例如在具有图1所示的图像捕获单元的系统中的图像捕获单元捕获的图像的数据，并且是被输入到数字信号处理器(DSP)106作为数字数据的数据。如上所述，输入图像数据可以是在存储介质中存储的图像数据或者通过网络从另一个设备输入的数据。
在本实施例中，要被处理的输入图像被称为RGBin。RGBin是具有每个像素中的色彩信息的图像，并且是通过对从摄像机的固态图像捕获器件输出的数据执行去马赛克(demosaic)处理和白平衡处理而获得。将被处理的输入图像RGBin，如图3所示，在输入图像RGBin的x方向上的像素的数量(宽度)被指示为w，并且在y方向上的像素的数量(高度)被指示为h。下面详细说明每个步骤。
首先，在步骤S101中的色彩空间转换处理中，输入图像RGBin被转换，并且被分离为亮度分量图像Lin和色彩分量图像Cin。即，输入的RGB彩色图像被转换为具有亮度分量的色彩空间数据和具有色彩分量的色彩空间数据。例如，YCbCr或CIEL*a*b*可以用于所转换数据的色彩空间。
接着，在步骤S102中的白饱和区域检测处理中，执行基于所转换的图像数据的白饱和区域检测处理(白饱和屏蔽确定)。即，从图像数据检测白饱和像素，并且产生作为二进制图像的白饱和屏蔽S。将参照图4来说明在步骤S102中执行的白饱和像素检测处理的细节。
在步骤S201和S202中，在要校正的图像数据中，初始化要检查的像素的位置。在所述初始化中，要检查的像素的位置被设置为x＝0和y＝0。在步骤S203中，确定具有亮度分量图像Lin的像素(x，y)的亮度是否高于或等于预定阈值。当所述亮度高于或等于所述阈值时，处理进行到步骤S204，其中，将白饱和屏蔽S(x，y)设置为真。当亮度低于或等于阈值时，处理进行到步骤S205，其中，将白饱和屏蔽S(x，y)设置为假。
在步骤S206，更新像素位置x。在步骤S207，确定是否x达到最大值(x＝w)。当x未达到最大值时，重复执行步骤S203和随后的步骤。当在步骤S207中x达到最大值(x＝w)时，处理进行到步骤S208，更新像素位置y。在步骤S209，确定是否y达到最大值(y＝h)。当y未达到最大值时，重复执行步骤S202和随后的步骤。当结束了对于所有像素(x＝0到w，y＝0到h)的处理时，结束产生白饱和屏蔽。
结果，对每个像素位置产生在具有高于阈值的亮度级的像素区域和具有等于或低于阈值的亮度区域的像素区域之间区别的白饱和屏蔽。当设置了0(暗)-255(亮)的亮度级时，所述阈值被设置到例如大约250，并且将具有高于或等于250的亮度级的像素提取为白饱和产生像素，并且产生仅仅可以区别那些像素的白饱和屏蔽。
通过如上所述的处理，结束了图2所示的步骤S102。接着，执行在步骤S103中的假彩色像素检测区域设置处理。在这个处理中，执行对于在白饱和部分周边的假彩色产生部分的搜索区域设置(扩大(dilate))处理。在这种情况下，产生用于区别在白饱和部分周边的假彩色产生部分的搜索区域的屏蔽P，即代表在白饱和部分周边的紫色像素的搜索区域的屏蔽P。P是二进制屏蔽图像。
将参照图5来说明在步骤S103中的假彩色产生部分搜索区域设置处理的细节。首先，在步骤S301中，将假彩色区域屏蔽P的所有像素初始化为假。接着，在步骤S302和S303中，初始化像素位置。在所述初始化中，将像素位置设置为x＝0和y＝0。
在设置了像素位置后，在步骤S304，确定所设置的像素位置的白饱和屏蔽S的像素值。当白饱和屏蔽S(x，y)对于所设置的像素位置(x，y)为假时，处理进行到步骤S314以进行对下一像素的处理。如果S(x，y)为真，则处理进行到步骤S305。当白饱和屏蔽S(x，y)对于像素位置(x，y)为假时，这意味着像素位置(x，y)的像素值指示非白饱和的像素。当白饱和屏蔽S(x，y)对于像素位置(x，y)为真时，这意味着像素位置(x，y)的像素值指示白饱和的像素。
当白饱和屏蔽S(x，y)对于像素位置(x，y)为真时，在步骤S305，确定其中可以在白饱和像素(x，y)周边产生假彩色的区域。如上所述，在白饱和部分周边出现紫色条纹，并且其中会出现紫色条纹的区域根据光学系统的类型、光圈/焦距的设置、和在高亮度像素及其周围像素之间的亮度差而改变。其中会发生紫色条纹的区域也根据距图像上的光学中心的距离而改变。可以在拍摄期间存储光学系统的类型和设置的信息，以用于图像处理。可以容易地确定在白饱和部分和光学中心部分之间的位置关系。
例如，根据图像捕获系统的光学系统的特征，在本实施例中使用预设假彩色像素检测区域确定信息，诸如包含对应于图像区域的假彩色像素检测区域的查找表(LUT)。例如，所述查找表(LUT)具有能够输出作为输入参数的假彩色检测区域信息的结构，所述假彩色检测区域信息诸如从图像上的光学中心到白饱和像素(x，y)的距离、在图像数据的拍摄期间的光圈、和焦距信息。
从图像数据的属性信息获得在图像数据的拍摄期间的光圈和焦距信息，并且被设置为在这个流程中要检查的信息的所述像素位置信息用于从图像上的光学中心到白饱和像素(x，y)的距离。
当不能获得诸如在图像数据的拍摄期间的光圈和焦距信息之类的属性信息时，可以仅根据从图像上的光学中心到白饱和像素(x，y)的距离来确定假彩色像素检测区域。而且，可以把白饱和像素(x，y)周边的一定区域自动设置为假彩色像素检测区域，而不使用诸如从光学中心到白饱和像素(x，y)的距离之类的信息。
在步骤S305中，将白饱和像素(x，y)周边的假彩色像素检测区域的范围确定为四个标量值(x0，x1，y0，y1)。在这个确定中，如图6所示，将由饱和白像素(x，y)201周边的x0至x1和y0至y1限定的矩形区域确定为假彩色像素检测区域202。由图6中的虚线指示的像素203是除了所关注的白饱和像素(x，y)201之外的白饱和像素203。
接着，关于所确定的假彩色像素检测区域(x0，x1，y0，y1)，将由i＝x0和j＝y0表达的点设置为原点(在步骤S306和S307)。在步骤S308至S312中，关于在假彩色像素检测区域(x0，x1，y0，y1)中的每个像素而确定是否白饱和屏蔽S(i，j)的值为真或假。关于图6中所示的假彩色像素检测区域202中包括的像素，依序确定是否白饱和屏蔽的值为真或假。在图6中，关于所关注的白饱和像素(x，y)201和白饱和像素203，确定白饱和屏蔽S(i，j)为真。
当在步骤S308中确定白饱和屏蔽S(i，j)为真时，处理进行到步骤S310，其中执行对于下一像素的处理。当白饱和屏蔽S(i，j)为假时，处理进行到步骤S309，其中，将假彩色区域屏蔽P(i，j)的值设置为真。其后，处理进行到步骤S310，其中，执行对下一像素的处理。步骤S310-S313包括用于更新i和j的值的处理和用于确定是否满足最大值i＝x1和j＝y1的处理。当依序更新i和j的值时，确定在特定像素(x，y)周边设置的假彩色区域屏蔽P(i，j)的值。
假彩色屏蔽P(i，j)＝真表示所述像素属于假彩色像素检测区域，并且不是白饱和像素。假彩色区域屏蔽P(i，j)＝假表示所述像素不属于假彩色像素检测区域，或者是白饱和像素。
当在步骤S313中确定完成对在假彩色像素检测区域(xo，x1，y0，y1)中的所有像素(i，j)的处理时，所述处理进行到步骤S314。步骤S314-S317包括更新x和y的值的处理和确定是否满足最大值x＝w和y＝j的处理。当依序更新x和y的值时，关于将被处理的图像(x＝0到w和y＝0到h)中的所有像素来确定假彩色区域屏蔽P(i，j)的值，并且产生假彩色区域屏蔽P(i，j)。当确定已经处理在所述图像中的所有像素(x，y)时，结束在图2中所示的步骤S103中的假彩色像素检测区域设置处理。
下一处理是在图2中所示的步骤S104中的假彩色像素检测处理。在步骤S103中，虽然使用假彩色区域屏蔽P而确定了白饱和部分周边的假彩色，即其中可以在图像中产生紫色条纹的区域，但是在下一步骤S104中进行检测实际上被假定具有紫色条纹的像素的处理。即，从在满足假彩色区域屏蔽P＝真的区域中的像素中检测实际上假定具有紫色条纹的像素。
在步骤S104中，通过盖写在步骤S103中计算的假彩色区域屏蔽P，来更新假彩色区域屏蔽P，由此产生使得能够仅仅识别被最终确定为具有假彩色的像素的假彩色区域屏蔽P。将参照图7来说明在步骤S104中的假彩色像素检测处理的细节。
在步骤S401和S402中，初始化图像数据像素位置。在所述初始化中，将像素位置设置为x＝0和y＝0。在步骤S403中，确定像素位置(x，y)的假彩色区域屏蔽P的值。对于P(x，y)＝假，处理进行到步骤S406。对于P(x，y)＝真，处理进行到步骤S404。
如上所述，假彩色区域屏蔽P(i，j)＝真表示所述的像素属于假彩色像素检测区域，并且不是白饱和像素。假彩色区域屏蔽P(i，j)＝假表示所述的像素不属于假彩色像素检测区域，或者是白饱和像素。
当像素位置(x，y)满足假彩色区域屏蔽P(i，j)＝真时，即所述的像素属于假彩色像素检测区域并且不是白饱和像素时，在步骤S404确定是否在位置(x，y)的色彩分量图像Cin的色彩是对应于假彩色的色彩。例如，确定是否所述色彩是紫色条纹的紫色。
确定是否色彩分量图像Cin(x，y)是与例如紫色的假彩色对应的色彩的方法根据所转换的色彩空间而改变。将参照图8来说明当例如CIE L*a*b*用于色彩空间时的确定方法的一个示例。使用分量a*和分量b*来确定色彩分量。CIE L*a*b*具有如下的特征。当分量a*的值增加时，色彩接近红色(Red)，当分量a*的值降低时，色彩接近绿色(Green)。当分量b*的值增加时，色彩接近黄色(Yellow)，当分量b*的值降低时，色彩接近蓝色(Blue)。因此，当在第四象限中存在(a*，b*)时，它具有接近紫色(Purple)的色彩。使用由向量(a*，b*)和轴a*形成的角度α来确定是否色彩是紫色。
被确定为假彩色的紫色的角度范围被适当地设置为参数。或者，预定值用于所述角度范围。假彩色(紫色条纹)部分像素的色彩饱和趋向高。因此，仅仅当上述的条件被满足且色彩分量Cin的色彩饱和高于或等于预设阈值时，可以确定为假彩色(紫色条纹)。
确定是否色彩分量图像Cin(x，y)是与例如紫色的假彩色对应的色彩的方法根据所转换的色彩空间而改变。下面说明对于YCbCr用于色彩空间的情况的处理。在这种情况下，使用分量Cb和分量Cr来确定色彩分量。因为Cb＝128和Cr＝128表示在YCbCr空间中的非彩色色彩，因此由Cb和Cr表示的色彩被表达为(Cb-128，Cr-28)。例如，由(Cb-128，Cr-128)＝(a×cosθ，a×sinθ)的θ表达的角度被用作色调。通过例如确定是否角度θ在预先指定的范围内来确定是否色彩分量图像Cin(x，y)是对应于假彩色的色彩。
参照图9来说明如下处理确定在使用YCbCr的配置中是否Cin(x，y)具有在预先指定的色调范围中的色调，即具有在对应于诸如紫色条纹(PF)之类的假彩色的色调范围中的色调。图9是示出在色彩空间中的紫色条纹(PF)色调范围的图。在图9中二维地绘制了当YCbCr空间被用作色彩空间的一个示例时对应于色彩信息的CbCr。水平轴指示Cb的值，垂直轴指示Cr的值。原点250具有对应于Cb＝128和Cr＝128的色彩。
作为指定对应于紫色条纹(PF)的色调范围的方法，使用用于确定是否所述的色调在两个色彩色调的范围中的方法。所述紫色条纹具有紫色，并且在图9所示的二维CbCr坐标空间中设置这个特定的色调范围。在所述附图中所示的色调线251和色调线252之间的区域被设置为指示对应于紫色条纹(PF)的色调范围253的区域。
可以根据在图9所示的色调范围253中是否包括Cin(x，y)来确定是否Cin(x，y)是对应于假彩色的色彩。
被确定为假彩色的紫色的角度范围被适当地设置为参数。或者，将预定值用于所述角度范围。假彩色(紫色条纹)部分像素的色彩饱和趋向高。因此，仅仅当满足上述条件并且色彩分量Cin的色彩饱和高于或等于预设阈值时，可以将其确定为假彩色(紫色条纹)。以这种方式，当确定Cin(x，y)是假彩色(紫色条纹)像素时，处理进行到步骤S406。当确定Cin(x，y)不是假彩色(紫色条纹)时，处理进行到步骤S405。
在步骤S405中，假彩色区域屏蔽P(x，y)被设置为假，并且处理进行到步骤S406。即，在步骤S103(图2)中的上述处理中已经被确定为可能具有假彩色，即假彩色区域屏蔽P(x，y)＝真，的像素被最终确定为不具有假彩色，根据这个最终的确定，改变(更新)为假彩色区域屏蔽P(x，y)＝假。
即，在图7所示的处理中，仅仅已经被所述色彩确定最终确定为具有假彩色的像素，被从由步骤103(图2)中的上述处理确定为可能具有假彩色的像素中分类，并且更新假彩色区域屏蔽P(x，y)。
步骤S406至S409包括更新x和y的值的处理和确定是否满足最大值x＝w和y＝h的处理。当依序更新x和y的值时，关于将被处理的图像(x＝0-w和y＝0-h)中的所有像素而确定假彩色区域屏蔽P(i，j)的值，并且产生假彩色区域屏蔽P(i，j)。当确定已经处理了在图像中的所有像素(x，y)时，结束在图2中所示的步骤S104中的假彩色像素检测处理。
下面说明图2所示的步骤S105中的假彩色像素校正处理。在步骤S104中，如上所述，已经产生了用于识别被确定为具有假彩色(紫色条纹)的像素的假彩色区域屏蔽P。在下一步骤S105中，通过基于像素周围的像素的像素值来进行补偿重复处理，而执行内插被确定为具有假彩色(紫色条纹)的像素的色彩的处理。在此的“补偿”处理指根据周围像素的像素值而依序重复假彩色像素内插处理。
图10(A)和10(B)是图解在图2中所示的步骤S105中的假彩色像素校正处理的示意图。如图10(A)所示，在直到步骤S104的处理中的所有像素被分类到“白饱和像素301”、“假彩色(紫色条纹)像素302”和“既非白饱和又非紫色条纹像素的像素303”中的任意一个。
在补偿重复处理的第一步骤中，扫描在图像中的每个像素。如果假彩色(紫色条纹)像素302(位置(x，y))在既非白饱和又非紫色条纹像素的像素303的邻近，例如，如果像素303存在于周围的8个邻近像素中，则将邻近像素303的像素色彩分量C的平均值设置为新的像素色彩分量C(x，y)。
以这种方式，对所有像素执行一次根据其它像素303而设置假彩色(紫色条纹)像素302的像素值的处理。结果，如图10(B)所示，其它像素303邻近的假彩色(紫色条纹)像素302的色彩分量被内插，并且将假彩色(紫色条纹)像素302设置为内插的假彩色(紫色条纹)像素304。
另外，在下面的补偿重复处理中，根据其它像素303和内插的假彩色(紫色条纹)像素304来类似地内插其它像素303或内插的假彩色(紫色条纹)像素304的邻近的假彩色(紫色条纹)像素302的色彩分量。将这样的重复处理重复固定次数。在这个处理中，假彩色(紫色条纹)像素302在由图10(B)所示的箭头320指示的方向上被依序设置为内插的假彩色(紫色条纹)像素304。在重复执行了固定次数的这样的重复处理后，即使存在其色彩分量还没有被内插的假彩色(紫色条纹)像素302，也确定使用它们周围的像素的彩色内插是不可能的，并且执行均匀地降低那些像素的色彩的色彩饱和的处理。
以这种方式，图2所示的步骤S105中的假彩色像素校正处理是补偿重复处理，即根据除了白饱和像素周围之外的像素而设置在步骤S104中被确定为具有假彩色(紫色条纹)的像素的像素值的处理。对通过上述处理而未被内插的剩余的假彩色(紫色条纹)像素302执行色彩饱和降低处理。
将参照图11和12所示的处理流程来说明在步骤S105中的假彩色像素校正处理的细节。在图11和12中的处理流程中，在图11中所示的步骤S501-S515中的处理是用于补偿假彩色(紫色条纹)像素的色彩分量的处理，在图12中所示的步骤S516-S523中的处理是用于降低还未被补偿的像素的色彩饱和的处理。
从图11依序进行说明。首先，在步骤S501中，在图2中所示的步骤S104中的假彩色像素检测处理中产生的假彩色区域屏蔽P的内容被复制到具有大致相同的大小的二进制屏蔽P”上。示例包括假彩色区域屏蔽P＝真→二进制屏蔽P”＝真 (1)假彩色区域屏蔽P＝假→二进制屏蔽P”＝假 (0)在步骤S502，指示补偿处理的重复次数的变量t的值被设置为0。在步骤S503中，二进制屏蔽P”的值被复制到具有大致相同大小的另一二进制屏蔽P’上。这些屏蔽P”和P’是用于存储通过重复处理而降低的假彩色(紫色条纹)像素302的位置的临时屏蔽图像。
接着，在步骤S504和S505中，指示将被处理的像素的位置坐标的变量x和y被初始化以满足x＝0和y＝0。接着，在步骤S506中，确定二进制屏蔽P’(x，y)的值。对于二进制屏蔽P’(x，y)＝假，即，当将被处理的像素不是假彩色像素时，处理进行到步骤S510。对于二进制屏蔽P’(x，y)＝真，即当将被处理的像素是假彩色像素时，处理进行到步骤S507。
在步骤S507中，确定是否在像素(x，y)的邻近的像素中存在满足二进制屏蔽P’＝假与白饱和屏蔽S＝假的像素。即，确定是否存在既非假彩色像素又非白饱和像素的像素。当确定在像素(x，y)的邻近的像素中不存在满足这样的条件的像素时，处理进行到步骤S510。
当确定在像素(x，y)的邻近的像素中存在既非假彩色像素又非白饱和像素的像素时，处理进行到步骤S508。在步骤S508，确定并且对于坐标(x，y)的色彩分量C(x，y)设置满足二进制屏蔽P’＝假且白饱和屏蔽S＝假，即既非假彩色像素又非白饱和像素的一个或多个像素的色彩分量C的平均值。即，将所确定的平均值设置为像素(x，y)的像素值。通过这种内插处理，设置在图10(b)中所示的内插的假彩色(紫色条纹)像素304。
在这个处理后，处理进行到步骤S509。在步骤S509，将二进制屏蔽P”(x，y)的值设置为假。即，在二进制屏蔽P”(x，y)上，将已经从假彩色像素改变为内插假彩色像素的像素设置为可以被识别为非假彩色像素的像素。
步骤S510-S513包括更新将被处理的像素的坐标的处理和确定最大值的处理。在步骤S510，将x坐标的值增大1。接着，在步骤S511，确定是否满足x＞w-1(w是输入图像的宽度)。当确定满足x＞w-1时，处理进行到步骤S512。当确定不满足x＞w-1时，处理进行到步骤S506。
在步骤S512，y坐标增大1。接着，在步骤S513，将y坐标与h-1相比较，h-1是y坐标的最大值(h是输入图像的高度)。当确定满足y＞h-1时，处理进行到步骤S514。当确定不满足y＞h-1时，处理进行到步骤S505。
在步骤S514，指示重复次数的t增大1。在步骤S515，确定是否重复次数t是预定值tmax或更大。同时，对于屏蔽图像P”，确定是否具有真值的像素的数量是0。即，确定是否通过补偿内插处理还没有被完全内插的假彩色像素的数量是0。当确定上述两个条件的任何一个为真时，处理进行到步骤S516。当确定两个条件均为假时，处理返回步骤S503，并且再次执行补偿处理。
在步骤S515，当在确定是否重复次数t达到预定值tmax或更大的处理中，或者在确定是否通过补偿内插处理还没有被完全内插的假彩色像素的数量是0的处理中，确定为真时，处理进行到图12所示的步骤S516。
在步骤S516和S517中，指示将被处理的像素的坐标的变量x和y被初始化以满足x＝0和y＝0。接着，在步骤S518中，确定是否(x，y)的二进制屏蔽P”的值为真。即，确定是否将被处理的像素是假彩色像素。对于二进制屏蔽P”(x，y)＝真，即对于假彩色像素，处理进行到步骤S519。对于二进制屏蔽P”(x，y)＝假，即对于非假彩色像素，处理进行到步骤S520。
当将被处理的像素是假彩色像素时，在步骤S519中执行色彩饱和降低处理，用于降低像素(x，y)的色彩分量C(x，y)的色彩饱和。例如，当使用L*a*b*色彩系统时，可以通过将a*和b*的每个分量的值乘以在范围1.0到0.0中的常数而均匀地降低色彩饱和。当在步骤S519中的色彩饱和降低处理结束时，处理进行到步骤S520。在步骤S520，将x坐标的值增大1。接着，在步骤S521，确定是否满足x＞w-1。当确定满足x＞w-1时，处理进行到步骤S522。当确定不满足x＞w-1时，处理进行到步骤S518，并且对已经更新了x坐标的邻近像素重复类似的处理。
在步骤S521，当确定满足x＞w-1时，达到x坐标的最大值，因此处理进行到步骤S522，其中y坐标被增大1。在下一步骤S523，将y坐标与h-1相比较，h-1是y坐标的最大值。当不满足y＞h-1时，处理进行到步骤S517，并且对具有更新的y坐标的像素重复类似的处理。当在步骤S523确定满足y＞h-1时，结束假彩色像素校正处理。通过如上所述的处理，图2所示的步骤S105中的假彩色像素校正处理结束。
当结束在步骤S105中的假彩色像素校正处理时，接着执行在步骤S106中的色彩模糊处理(过滤)。在步骤S105，通过重复补偿处理而内插假彩色(紫色条纹)像素的色彩，并且还没有补偿的假彩色(紫色条纹)像素经过降低色彩饱和的处理。但是，其彩色相对较快地改变的部分可以存在于经过在步骤S105中的处理的假彩色(紫色条纹)部分中。在步骤S106中的色彩模糊处理(过滤)中，执行应用模糊过滤器的处理以降低快速的色彩改变。
参照图13所示的处理流程来说明在步骤S106中的色彩模糊处理(过滤)的细节。首先，在步骤S601，将指示色彩模糊处理(过滤)的重复次数的变量t的值设置为0。接着，在步骤S602中，由如上所述的步骤S105中的假彩色像素校正处理更新的色彩分量图像C被复制到具有大致相同的大小的色彩分量图像C’上。
接着，在步骤S603和S604中，指示将被处理的像素的坐标的变量x和y被初始化以满足x＝0和y＝0。接着，在步骤S605，确定假彩色区域屏蔽P(x，y)的值。对于假彩色区域屏蔽P(x，y)＝假，即对于非假彩色像素，处理进行到步骤S607。对于假彩色区域屏蔽P(x，y)＝真，即对于假彩色像素，处理进行到步骤S606。
假彩色区域屏蔽P(x，y)是对于下述像素被设置为真的屏蔽，所述像素根据在如上所述的步骤S104中的假彩色像素检测处理(对应于图7中的处理流程)中的色彩(像素值)确定而被确定为具有假彩色。假彩色区域屏蔽P(x，y)是对于由如上所述的步骤S105中的假彩色像素校正像素处理所校正的假彩色像素区域而保持值“真”的屏蔽数据。因为假彩色区域屏蔽P(x，y)用于色彩模糊(过滤)处理，因此假彩色区域屏蔽P(x，y)的复制屏蔽P”用于在步骤S105中的假彩色像素校正处理。
继续图13中的色彩模糊处理(过滤)的说明。当在步骤S605中假彩色屏蔽P(x，y)为真时，即当所述的像素是假彩色像素时，处理进行到步骤S606。在步骤S606中，向色彩分量应用模糊过滤。这是按照指示周围像素的色彩分量的像素值C而更新指示在色彩分量图像C’中的像素(x，y)的色彩分量的像素值C(x，y)的值的处理。例如，确定包括将被处理的像素(x，y)及其周围的8个像素的9个像素的色彩分量C’的平均值，并且应用移动平均过滤器以便将所述平均值设置为将被处理的像素(x，y)的更新的像素值C(x，y)。
在结束步骤S606中的模糊过滤应用处理后，在步骤S607-S610，更新将被处理的像素的坐标，并且检查最大值。在步骤S607，x坐标的值增大1。接着，在步骤S608，确定是否满足x＞w-1。当确定满足x＞w-1时，处理进行到步骤S608。当确定不满足x＞w-1时，处理返回步骤S604，并且对已经更新x坐标的像素执行类似的处理，并且在必要时执行模糊处理。
当在步骤S608确定满足x＞w-1时，处理进行到步骤S609，其中，y坐标被增大1。在下一步骤S610中，将y坐标与h-1相比较，h-1是y坐标的最大值。当确定不满足y＞h-1时，处理进行到步骤S603，并且对具有更新的y坐标的像素执行类似的处理，并且在必要时执行模糊处理。
当在步骤S610确定满足y＞h-1时，处理进行到步骤S611。在步骤S611，执行把色彩模糊处理(过滤)的重复次数t增大1的处理。在步骤S612中，确定是否重复次数t是预定阈值t’max或更大。对于t＜t’max，处理返回步骤S602，对于t≥t’max，结束色彩模糊处理(过滤)。
通过如上所述的处理，图2所示的步骤S106中的色彩模糊处理(过滤)结束。当结束在步骤S106中的色彩模糊处理(过滤)时，在下一步骤S107，转换原始图像的亮度分量图像Lin和从上述处理产生的色彩分量图像C，并且将作为结果产生的图像RGBout输出为RGB彩色图像，由此完成整个处理。
虽然已经在上述的处理示例中描述了在图7所示的步骤S404中将假彩色确定为紫色的示例，但是假彩色的色彩不限于紫色，而是可以是例如带有绿色的色彩。在这种情况下，在步骤S404将假彩色设置为不同的色彩，并且配置用于确定具有作为假彩色的所设置色彩的像素的假彩色区域屏蔽P(x，y)由此允许对应于任意色彩的处理。
当校正多种不同色彩，例如包括紫色和绿色的多种色彩时，可以对不同的色彩多次执行图2所示的处理，或者可以使用下述配置来执行图2所示的处理，在所述配置中，把包括紫色和绿色的多种色彩的像素值确定为真的假彩色区域屏蔽P(x，y)被设置为屏蔽。这使得可以校正包含多种色彩的假彩色。
图14是示出在执行上述处理的本发明的图像处理设备中的数字信号处理器(DSP)(对应于图1所示的DSP 106)的功能配置的方框图。将参照图14中所示的方框图，同时与图2所示的流程图相比较，来说明由数字信号处理器(DSP)106执行的处理。
在功能上，如图14所示，数字信号处理器(DSP)106具有色彩转换单元401、白饱和检测单元402、假彩色像素检测区域设置单元403、假彩色(紫色条纹)检测单元404、像素值校正单元410和色彩逆转换单元405。像素值校正单元410包括假彩色(紫色条纹)补偿内插单元411和假彩色(紫色条纹)模糊处理单元412。
数字信号处理器(DSP)106从输入图像帧存储器420接收图像数据(RGBin)，并且色彩转换处理单元401将输入的RGB图像的色彩空间转换，并且将其分离为亮度分量和色彩分量。由色彩转换处理单元401执行的处理对应于在图2中所示的流程图中步骤S101中的处理。输入图像RGBin被转换，并且被分离为亮度分量图像Lin和色彩分量图像Cin。即，RGB色彩输入图像被转换为具有亮度分量的色彩空间和具有色彩分量的色彩空间。YCbCr或CIE L*a*b*等可以用于所述色彩空间。
接着，根据由色彩转换处理单元401转换的数据，白饱和检测单元402检测具有白饱和的像素部分。这个处理对应于在图2所示的流程图中的步骤S102。具体上，如上参照图4所示的流程图所述，检测具有高于或等于预定亮度阈值的亮度的像素，并且执行产生用于识别白饱和像素的白饱和屏蔽S(x，y)的处理。
假彩色像素检测区域设置单元403执行用于在由白饱和检测单元402检测的白饱和像素周边的部分设置假彩色像素检测区域的处理。这个区域设置处理是用于确定其中能够在满足白饱和屏蔽S(x，y)＝真的白饱和像素(x，y)周边产生假彩色的区域的处理，并且将假彩色像素检测区域确定信息用于其。这个处理对应于在图2所示的流程图中的步骤S103，并且按照图5所示的处理流程而被执行。
例如，使用具有与从图像上的光学中心到白饱和像素(x，y)的距离相关联的假彩色像素检测区域信息、和在拍摄图像数据期间的光圈和焦距信息的查找表(LUT)，假彩色像素检测区域设置单元403在每个白饱和像素(x，y)周边设置假彩色像素检测区域。当不可获得在拍摄图像数据期间的光圈和焦距信息等时，可以仅仅根据从图像上的光学中心到白饱和像素(x，y)的距离来确定假彩色像素检测区域。而且，在白饱和像素(x，y)周边的一定区域可以总是被设置为假彩色像素检测区域，而不使用诸如从光学中心到白饱和像素(x，y)的距离之类的信息。
如上参照图6所述，假彩色像素检测区域设置单元403将在白饱和像素(x，y)201周边的假彩色像素检测区域的范围确定为四个标量值(x0，x1，y0，y1)，并且进一步产生通过去除在那个区域中的白饱和像素而获得的假彩色区域屏蔽P。
假彩色(紫色条纹)检测单元404使用由假彩色像素检测区域设置单元403设置的假彩色区域屏蔽P，并且进一步执行检测通过对每个像素进行色彩确定处理而被确定为具有假彩色(紫色条纹)的像素的处理。即，更新假彩色区域屏蔽P以产生能够仅仅识别要校正的假彩色像素的假彩色区域屏蔽P。这个处理对应于在图2所示的流程图中的步骤S104，并且按照图7所示的处理流程而被执行。如上所述，要确定为假彩色的色彩是任意的，因此，其中仅仅具有特定色彩值的紫色被设置为假彩色的配置、或其中诸如绿色和紫色之类的多种色彩被设置为假彩色的配置是可能的。
假彩色(紫色条纹)补偿内插单元411执行校正由假彩色(紫色条纹)检测单元404确定为具有假彩色的像素的处理。所述处理对应于在图2所示的流程图中的步骤S105，并且按照图11和12中所示的处理流程而被执行。这个像素值校正处理包括补偿内插处理(见图10和11)和色彩饱和降低处理(见图12)，所述补偿内插处理是对于根据除了周围假彩色和白饱和像素之外的像素的值而被确定为具有假彩色(紫色条纹)的像素而执行的，所述色彩饱和降低处理针对还没有被预定重复次数的补偿内插处理校正的假彩色(紫色条纹)像素。
假彩色(紫色条纹)模糊处理单元412对由假彩色(紫色条纹)补偿内插单元411的处理校正的数据执行模糊处理。这个处理对应于在图2所示的流程图中的步骤S106，并且按照图13所示的处理流程而被执行。
假彩色(紫色条纹)模糊处理单元412提取被假彩色(紫色条纹)检测单元404确定为具有假彩色的像素，并且向色彩分量应用模糊过滤。例如，假彩色(紫色条纹)模糊处理单元412确定包括将被处理的像素(x，y)及其周围的8个像素的9个像素的平均值，并且执行将所述平均值设置为将被处理的像素(x，y)的更新像素值的移动平均过滤处理。
色彩逆转换单元405转换原始图像的亮度分量图像Lin和作为上述处理结果的色彩分量图像C，并且将作为结果产生的图像RGBout输出为RGB色彩图像。
当应用本发明时，可以对由色像差引起的、诸如紫色条纹的假彩色执行适当的校正，其中所述色像差对由摄像机拍摄的图像发生，并且可以实现高质量图像数据的产生和输出。使用传统的摄像机，有可能拍摄不自然的图像，除非在产生紫色条纹的情况下调整诸如透镜光圈的设置。但是，当应用本发明的图像处理时，可以执行校正以便所拍摄的图像看起来更自然。因此，不必关注透镜光圈和焦距，在拍摄期间不发生紫色条纹，因此使得可以以较高的自由度来进行拍摄。
接着，将说明本发明的第二实施例的配置。如参照第一实施例的在图5的流程而详细描述，在图2的流程中的步骤S103中的假彩色像素检测区域设置处理中，当在图5的步骤S304中像素位置(x，y)的像素值指示白饱和像素时，在步骤S305中在白饱和像素周边设置假彩色像素检测区域(x0，x1，y0，y1)，并且执行从假彩色像素检测区域(x0，x1，y0，y1)检测假彩色像素的处理(图2中的步骤S104和图7中的流程)。
在如上所述的第一实施例的处理中，使用预设的假彩色图像检测区域确定信息的处理被用来设置在白饱和像素周边的假彩色图像检测区域(x0，x1，y0，y1)，所述预设的假彩色图像检测区域确定信息诸如查找表(LUT)，其中根据图像捕获系统的光学系统的特征来设置对应于图像区域的假彩色像素检测区域。
如上所述，在所拍摄图像中包括的白饱和像素是高亮度像素，即，图像中的饱和像素。例如，对于其亮度值可以被设置在0-255范围内的图像数据，将超过250的所有像素确定为白饱和像素，并且根据查找表在白饱和像素周边设置假彩色像素检测区域(x0，x1，y0，y1)。但是，白饱和像素，即所拍摄图像中的高亮度像素不是全部根据具有相同明度(brightness)的对象而产生的，而是具有高于或等于一定明度的明度的对象产生白饱和像素。即，具有对象明度的一定程度高级别到其很高级别的部分在所拍摄的图像中全部显现为白饱和像素。
但是，其中在白饱和像素周边出现紫色条纹的区域根据对象的明度级的改变、即在边缘部分的明度中的差而变化。即使对于在所拍摄的图像数据中的相同的白饱和像素，具有与在白饱和像素及其邻近像素之间的明度级差对应的边缘部分中的大明度差的白饱和像素导致大的紫色条纹产生区域，并且在边缘部分中具有小明度差的白饱和像素导致小的紫色条纹产生区域。因此，总体上，对于具有高对象明度级(实际明度)的白饱和像素，紫色条纹产生区域趋向于减少，对于具有很高对象明度级(实际明度)的白饱和像素，产生区域趋向于增加。
因此，即使对于在所拍摄图像数据中的相同的白饱和像素，按照对象的实际明度而改变和设置假彩色像素检测区域(x0，x1，y0，y1)可以实现假彩色像素的可靠和有效的检测。在第二实施例中，检测或估计对象的实际明度(实际亮度)，并且按照对象的实际亮度来设置假彩色像素检测区域。
如上所述，具有与在白饱和像素及其邻近像素之间的亮度级差对应的边缘部分的大亮度差的白饱和像素导致大的紫色条纹产生区域，并且在边缘部分中具有小亮度差的白饱和像素导致小的紫色条纹产生区域。因此，需要考虑在边缘部分的亮度差以便确定紫色条纹产生范围。原理上，因为由于光波长而导致的点扩展差而发生紫色条纹。由于波长而导致的点扩展差依赖于透镜的类型、焦距和光圈等的设置、在图像中的位置。因此，如果点扩展由于光波长而略微改变，则即使在其中理论上没有太大明度差的边缘部分也产生假彩色，但是当点扩展差很小时不产生人可以感知到的假彩色。但是，即使当由于波长而导致的点扩展差很小时，如果边缘亮度差大到高亮度部分变得饱和，则小差别被放大，并且在大区域中产生可感知的假彩色。因此，必须考虑在边缘部分的亮度差、以及透镜类型、设置和像素位置，以便精确地确定其中可以产生紫色条纹的区域。
本实施例克服了这样的问题，并且提供了更精确地检测和校正在高亮度像素周边产生的紫色条纹的方法。如在第一实施例中那样，图1所示的配置适用于在本实施例中的图像处理设备的配置。所述整体处理序列也以与第一实施例相同的方式作为按照图2所示的流程图的处理而被执行。
第二实施例与第一实施例的差别是图5中所示的流程中的步骤S305中的处理，所述处理对应于在图2所示的流程中的步骤S103中的假彩色像素检测区域设置处理。即，设置假彩色像素检测区域(x0，x1，y0，y1)的处理不同。其它处理，即除了在第一实施例中的图2的流程中的步骤S103之外的处理与在第一实施例中的处理类似。
在本实施例中，在图5的流程中的步骤S305中的假彩色像素检测区域(x0，x1，y0，y1)设置处理作为设置与对象的明度(实际亮度)对应的最佳假彩色像素检测区域的处理而被执行。下面，参照图15和随后的附图来说明在本实施例中的设置假彩色像素检测区域的处理的细节。
将参照图15来说明假彩色(紫色条纹)的产生的原理。图15(a)和图15(b)是其中垂直轴表示对象的明度(实际亮度)并且水平轴表示所拍摄的图像数据的像素位置的图。图15(a)包括对象的明度(实际亮度)＝500，并且这个部分显现为饱和像素，即在所拍摄图像中的白饱和像素。在图15(a)和图15(b)中的饱和阈值线510表示图像捕获器件相对于入射光量的饱和阈值。即，当大于或等于饱和阈值线510的光量入射时，所述图像饱和而变为白饱和图像。
图15(a)示出了其中拍摄如下所述对象的情况，所述对象具有邻近部分，所述邻近部分的明度在对象明度(实际亮度)500和明度(实际亮度)10之间突变，即，所述对象其实际亮度从500改变到50。图15(b)示出了其中拍摄其实际明度从5000改变到50的对象的情况。在图15(a)中，具有实际亮度500的部分位于饱和阈值线510或之上，并且这个部分变为白饱和部分。在图15(b)中，具有实际亮度5000的部分位于饱和阈值线510或之上，并且这个部分变为白饱和像素，它们在所拍摄的图像中被表达为具有相同白饱和像素的像素。
在图15(a)中，实线(G)是绿色信道光量线(G)511，指示入射在图像捕获器件上的绿色信道光的量，虚线(B)是蓝色信道光量线(B)512，指示入射在图像捕获器件上的蓝色信道光的量。在图15(b)中，类似地，实线(G)是绿色信道光量线(G)521，指示入射在图像捕获器件上的绿色信道光的量，虚线(B)是蓝色信道光量线(B)522，指示入射在图像捕获器件上的蓝色信道光的量。
图15(a)和图15(b)图解其中使用同一透镜来进行拍摄的状态。因为使用同一透镜来用于所述拍摄，因此绿色信道和蓝色信道的点扩展轮廓(profile)完全相同。但是，图15(b)中的对象的实际亮度和在图15(a)中的对象的实际亮度彼此不同，并且当拍摄图15(b)中的对象时入射在图像捕获器件上的光量比当拍摄图15(b)中的对象时入射在图像捕获器件上的光量大得多。
当入射光量大时，所拍摄的图像显示在绿色和蓝色之间的显著级别差。在其中在所拍摄图像中的绿色和蓝色之间的级别差大的部分产生紫色条纹。因此，在图15(a)中，在白饱和像素的右侧的大约10像素部分是其中很可能产生紫色条纹的部分，在图15(b)中，在白饱和像素的右侧的大约20像素部分是其中很可能要产生紫色条纹的部分。在图15(a)和15(b)中的高亮度部分也具有其中在绿色和蓝色之间的级别差变得显著的部分，并且这个部分在所拍摄的图像中显现为白饱和像素，并且不变为紫色条纹像素。
以这种方式，经常在引起白饱和的高亮度部分周围产生紫色条纹，并且其中产生紫色条纹的区域取决于在边缘部分的亮度中的差。将参照图16来说明在具有与图15(a)和15(b)对应的实际亮度的对象的所拍摄图像中的亮度值和紫色条纹产生区域。图16(a)和16(b)是对应于图15(a)和图15(b)的图。图16(a)对应于其实际亮度从500改变到50的对象，图16(b)对应于其实际亮度从5000改变到50的对象。当使用同一透镜来拍摄那两个图像时获得的图像数据的亮度值分布变为如图16(c)所示。
在图16(c)中，垂直轴指示所拍摄图像数据的亮度值(即，所拍摄图像的亮度值)，水平轴指示像素位置。在图像数据中，亮度级255是饱和级别的亮度级，实际亮度500和实际亮度5000都导致在所拍摄的图像上的具有大约255的饱和亮度级的像素、即白饱和像素。紫色条纹出现在白饱和像素的邻近的部分。这个可产生紫色条纹的区域与图16(a)中所示的实际亮度500的对象的在图16(c)中所示的区域A中的大约10像素部分对应，并且与图16(b)中所示的实际亮度5000的对象的在图16(c)中所示的区域B中的大约20像素部分对应。
以这种方式，在引起白饱和的高亮度部分周边产生紫色条纹，并且其中产生紫色条纹的区域取决于在边缘部分的亮度差。需要确定没有饱和的原始亮度，以便确定在边缘部分的亮度差。作为处理这个问题的一种方法，可以使用这样的方法，其中使用通过具有低灵敏度传感器的图像捕获器件而拍摄的图像。
具体上，对于在同一位置的像素使用其中布置了具有不同灵敏度的多个传感器的图像捕获器件。例如，布置了两种传感器，即正常灵敏度传感器和低灵敏度传感器。通过正常灵敏度传感器而拍摄的图像被用作所拍摄的图像，并且根据通过低灵敏度传感器而拍摄的图像来确定已经变为通过正常灵敏度传感器而拍摄的图像的白饱和像素的部分的原始对象亮度(实际亮度)。即使对于具有通过正常灵敏度传感器而引起白饱和的高亮度的对象，通过低灵敏度传感器而拍摄的图像由于低灵敏度而不引起在所拍摄图像中的白饱和，并且被输出为具有未达到饱和值的亮度值的像素。因此，对于具有图16(a)所示的实际亮度500的对象和具有图16(b)所示的实际亮度5000的对象，所述图像可以被输出为具有各自不同的拍摄图像亮度值的图像数据。
将参照图17来说明根据使用低灵敏度传感器而拍摄的图像来估计对象的实际亮度的处理。图17(a)和图17(b)是对应于图15(a)和15(b)与图16(a)和16(b)的图。图17(a)对应于其实际亮度从500改变到50的对象，图17(b)对应于其实际亮度从5000改变到50的对象。当使用低灵敏度传感器来拍摄那两个图像时获得的图像数据的亮度值分布变为图17(p)和17(q)所示。当使用正常灵敏度传感器而拍摄那两个图像时获得的图像数据的亮度值分布变为如图17(r)所示。图17(r)是类似于图16(c)的图。对于实际亮度500和5000的任何一种情况，所拍摄图像亮度值被输出在大致255，即被输出为白饱和像素。
但是，如图17(p)和17(q)所示，在当使用低灵敏度传感器进行拍摄时获得的图像数据的亮度值分布中，在正常灵敏度拍摄的图像上引起白饱和的图像部分不变为白饱和像素，并且被输出为具有小于饱和的像素值的亮度值的像素。在所图解的示例中，在作为具有图17(a)所示的实际亮度500的对象的图像数据的图17(p)中所示的数据中，具有实际亮度500的图像部分被输出为具有所拍摄图像亮度5的图像数据，并且在作为具有图17(b)所示的实际亮度5000的对象的图像数据的图17(q)中所示的数据中，具有实际亮度5000的图像部分被输出为具有所拍摄图像亮度值50的图像数据。以这种方式，当使用低灵敏度传感器来进行拍摄时，甚至因为大量入射光而通过正常传感器会引起白饱和的部分也不引起白饱和，并且被输出为具有小于饱和亮度值的级别值的像素。因此，一定程度亮的对象和很亮的对象的图像数据可以被输出为具有不同亮度值的图像数据。在本实施例中，在与正常拍摄处理的条件不同的条件下拍摄的图像数据被用作基准图像，以确定和估计在正常拍摄的图像中的白饱和像素部分的对象实际亮度，并且根据所估计的结果，设置可产生假彩色(紫色条纹)的区域。
已经描述了其中使用低灵敏度传感器来获得用于确定对象的实际亮度的基准图像的示例。作为另一个示例，所述配置可以使得通过提高快门速度来以暗曝光而执行拍摄以获得基准图像。即使当在正常拍摄的图像中出现白饱和时，即在以适当曝光而拍摄的图像中出现白饱和时，使用暗曝光的拍摄结果是不出现白饱和并且输出小于饱和亮度值的像素值。因此，通过提高的快门速度而拍摄的图像也可以被用作基准图像。例如，当以适当曝光中的曝光时间的大约1/30而拍摄的图像被用作基准图像时，可以估计在适当曝光中已经饱和的像素的对象实际亮度。
如上所述，在低曝光条件下拍摄的图像，诸如通过低灵敏度传感器而拍摄的图像或通过高快门速度而拍摄的图像，被用作基准图像，根据与在正常拍摄的图像数据中的白饱和像素对应的部分的基准图像亮度值来估计对象的实际亮度，并且根据所估计的实际亮度来设置最佳假彩色(紫色条纹)的像素检测区域。
图18示出了在对象实际亮度(白饱和像素的真实亮度)和可产生假彩色(紫色条纹)的范围(距白饱和像素的距离)之间的关系的一个示例。图18所示的图对应于图17所示的示例，并且示出了当对象实际亮度是500时可产生假彩色(紫色条纹)的范围(距白饱和像素的距离)是距离白饱和像素10像素，并且当对象实际亮度是5000时可产生假彩色(紫色条纹)的范围(距白饱和像素的距离)是距离白饱和像素20像素。在所述图中所示的示例是一个示例，并且根据图像捕获系统的光学系统的特征，将预先测量的数据用于在对象实际亮度和可产生假彩色(紫色条纹)的范围之间的关系。
将参照图19中所示的流程来说明在本实施例中假彩色像素检测区域设置处理的过程。图19中所示的流程是对于如上所述的第一实施例图解的图5中的流程的一部分。即，图19中的流程示出了在图5中的步骤S304和S305中的处理，即确定是否所关注像素是白饱和像素和当它是白饱和像素时设置在所述像素周边的假彩色像素检测区域(x0，x1，y0，y1)的处理。在第二实施例中，这个部分的处理被执行为与第一实施例不同的处理。
将按照图19中的流程而说明第二实施例的处理序列。步骤S304是类似于第一实施例的处理，并且确定在所设置的像素位置的白饱和屏蔽S的像素值。在对于白饱和屏蔽S(x，y)＝假的所设置像素位置(x，y)，处理进行到步骤S314(见图5)以进行对于下一像素的处理。如果S(x，y)为真，则处理进行到步骤S305a。当白饱和屏蔽S(x，y)对于像素位置(x，y)为假时，这意味着像素位置(x，y)的像素值指示非白饱和的像素。当白饱和屏蔽S(x，y)对于像素位置(x，y)为真时，这意味着像素位置(x，y)的像素值指示白饱和像素。
当白饱和屏蔽S(x，y)对于像素位置(x，y)为真时，在步骤S305a，获得对应于白饱和像素位置(x，y)的基准图像像素的像素值。基准图像指的是例如通过如上所述的低灵敏度传感器而拍摄的图像或在低曝光条件下拍摄的图像，所述在低曝光条件下拍摄的图像例如以高速快门速度并以适当曝光或低于适当曝光而拍摄的图像。根据基准图像，获得与在作为将被处理的图像的正常拍摄图像中被确定为白饱和像素的像素(x，y)对应的基准图像像素的像素值。
其后，在步骤S305b中，根据基准图像像素的像素值，使用查找表(LUT)来确定假彩色像素检测区域(x0，x1，y0，y1)。图20示出了在本发明中使用的查找表(LUT)的数据结构的示例。图20中所示的查找表(LUT)具有表格结构，其中，“基准图像的亮度”、“对象的实际亮度”和“可产生假彩色(PF紫色条纹)的像素范围”彼此相关联。这个表格被示出为对应于上面参照图15-17所述的示例的表。
例如，示出当在基准图像中的亮度是“5”时，对象实际亮度是“500”，并且在这种情况下的“可产生假彩色(PF紫色条纹)的像素范围”在距离白饱和像素10个像素的范围中。类似地，示出当在基准图像中的亮度是“50”时，对象实际亮度是“5000”，并且在这种情况下的“可产生假彩色(PF紫色条纹)的像素范围”在距离白饱和像素20个像素的范围中。
在图19中所示的步骤S305b中，例如，从图20中所示的表格来确定按照在基准图像中的亮度而设置的“可产生假彩色(PF紫色条纹)的像素范围”，并且根据结果，将假彩色像素检测区域(x0，x1，y0，y1)确定为包括可产生假彩色(PF紫色条纹)的像素范围的区域。
虽然图20所示的表格具有包含对象的实际亮度数据的结构，但是这个数据不必需。如果所述表格被配置为允许根据与在将被处理的图像，即正常拍摄的图像，上的白饱和像素对应的基准像素的亮度，而确定假彩色像素检测区域(x0，x1，y0，y1)，即可。即，可以将所述表格配置为查找表(LUT)，其中，“基准图像的亮度”和“可产生假彩色(PF紫色条纹)的像素范围”或假彩色像素检测区域(x0，x1，y0，y1)彼此相关联。
参照图21和22来说明执行上述处理的本实施例的图像处理设备中的数字信号处理器(DSP)(对应于图1所示的DSP 106)的功能配置。
图21是与第一实施例的、参照图14所述的DSP的配置对应的图，图22是示出了在图21中所示的假彩色像素检测区域设置单元403的配置的图。如图21所示，如在第一实施例中那样，在本实施例中的数字信号处理器(DSP)具有色彩转换单元401、白饱和检测单元402、假彩色像素检测区域设置单元403、假彩色(紫色条纹)检测单元404、像素值校正单元410和色彩逆转换单元405。像素值校正单元410包括假彩色(紫色条纹)补偿内插单元411和假彩色(紫色条纹)模糊处理单元412。
数字信号处理器(DSP)106从输入图像帧存储器420接收图像数据(RGBin)，并且色彩转换处理单元401转换输入的RGB图像的色彩空间，并且将其分离为亮度分量和色彩分量。由色彩转换处理单元401执行的处理对应于在图2中所示的流程图中的在步骤S101中的处理。输入图像RGBin被转换，并且被分离为亮度分量图像Lin和色彩分量图像Cin。即，输入的RGB彩色图像被转换为具有亮度分量的色彩空间和具有色彩分量的色彩空间。可以使用YCbCr或CIE L*a*b*等来用于所述色彩空间。
接着，根据由色彩转换处理单元401转换的数据，白饱和检测单元402检测发生白饱和的像素部分。这个处理对应于在图2所示的流程图中的步骤S102。具体上，如参照图4所示的流程图所述，检测具有高于或等于预定亮度阈值的亮度的像素，并且产生用于识别白饱和像素的白饱和屏蔽S(x，y)。
假彩色像素检测区域设置单元403执行在由白饱和检测单元402检测的白饱和像素周边的部分设置假彩色像素检测区域的处理。这个区域设置处理是确定其中可以在满足白饱和屏蔽S(x，y)＝真的白饱和像素(x，y)周边产生假彩色的区域的处理，并且如上所述，执行使用基准图像的最佳假彩色像素检测区域设置处理。
将参照图22来说明假彩色像素检测区域设置单元403的功能配置。如图22所示，假彩色像素检测区域设置单元403具有基准图像分析单元711、查找表存储单元712和假彩色像素检测区域确定处理单元713。基准图像分析单元711从白饱和检测单元402获得在将被处理的图像中的白饱和像素位置，并且获得与白饱和像素位置对应的基准图像像素的亮度值。所述基准图像是从与将被处理的图像相同的对象拍摄的图像，但是是以低灵敏度传感器拍摄的图像或以低于适当曝光的曝光，例如以高速快门速度的设置，拍摄的图像。
假彩色像素检测区域确定处理单元713从基准图像分析单元711接收与在将被处理的图像中的白饱和像素位置对应的基准图像像素的亮度值。根据所接收的值，假彩色像素检测区域确定处理单元713通过参照在查找表存储单元712中存储的查找表(LUT)而确定假彩色像素检测区域。例如，如上参照图20所述，所述查找表(LUT)是这样的查找表(LUT)，其中，“基准图像的亮度”和“可产生假彩色(PF紫色条纹)的像素范围”或“假彩色像素检测区域(x0，x1，y0，y1)”彼此相关联。
按照与在将被处理的图像中的白饱和像素位置对应的基准图像像素的亮度值，假彩色像素检测区域确定处理单元713确定假彩色像素检测区域(x0，x1，y0，y1)。假彩色像素检测区域确定处理单元713将在白饱和像素(x，y)周边的假彩色像素检测区域的范围确定为四个标量值(x0，x1，y0，y1)，并且还产生通过从那个区域去除白饱和像素而获得的假彩色区域屏蔽P(见图5和19中的处理流程)。这个处理使得可以在考虑实际对象亮度(实际亮度)的情况下设置假彩色像素检测区域，由此实现最佳的区域设置。返回参见图21，将继续本实施例的说明。
假彩色(紫色条纹)检测单元404使用由假彩色像素检测区域设置单元403设置的假彩色区域屏蔽P，并且还执行检测通过对每个像素进行色彩确定处理而被确定为具有假彩色(紫色条纹)的像素的处理。即，更新假彩色区域屏蔽P以产生能够仅仅识别要校正的假彩色像素的假彩色区域屏蔽P。这个处理对应于在图2中所示的流程图中的步骤S104，并且按照图7中所示的处理流程而被执行。如上所述，要被确定为假彩色的色彩是任意的，因此其中仅仅具有特定色彩值的紫色被设置为假彩色的配置或其中诸如绿色和紫色之类的多种色彩被设置为假彩色的配置是可以的。
假彩色(紫色条纹)补偿内插单元411执行校正由假彩色(紫色条纹)检测单元404确定为具有假彩色的像素的处理。所述处理对应于在图2中所示的流程图中的步骤S105，并且按照在图11和12中所示的处理流程而被执行。此像素值校正处理包括根据除了其周围的假彩色和白饱和像素之外的像素的值而对被确定为具有假彩色(紫色条纹)的像素执行的补偿内插处理(见图10和11)；减少还没有被预定重复次数的补偿内插处理校正的假彩色(紫色条纹)像素的色彩饱和的处理(见图12)。
假彩色(紫色条纹)模糊处理单元412对由假彩色(紫色条纹)补偿内插单元411进行的处理而校正的数据执行模糊处理。这个处理对应于在图2中所示的流程图中的步骤S106，并且按照在图13中所示的处理流程而被执行。
假彩色(紫色条纹)模糊处理单元412提取由假彩色(紫色条纹)检测单元404确定为具有假彩色的像素，并且向色彩分量施加模糊过滤。例如，假彩色(紫色条纹)模糊处理单元412确定包括将被处理的像素(x，y)及其周围的8个像素的9个像素的平均值，并且执行将该平均值设置为将被处理的像素(x，y)的更新像素值的移动平均过滤处理。
色彩逆转换单元405转换原始图像的亮度分量图像Lin和作为上述处理结果的色彩分量图像C，并且输出作为结果产生的图像RGBout来作为RGB彩色图像。
当应用本实施例时，可以对于由色像差引起的诸如紫色条纹之类的假彩色执行适当的校正，其中所述色像差对于由摄像机拍摄的图像发生，并且可以实现产生和输出高质量图像数据。
另外，按照第二实施例，根据基准图像来估计与白饱和像素对应的对象实际亮度，设置对应于对象实际亮度的假彩色(紫色条纹)检测区域，并且检测和校正在所设置区域中的假彩色(紫色条纹)像素。因此，可以设置与其中有可能产生假彩色(紫色条纹)的区域对应的假彩色(紫色条纹)检测区域，而不使得所设置的假彩色(紫色条纹)检测区域变得太大或太小。可以可靠地和有效地检测假彩色(紫色条纹)像素，提高图像校正的精确度，并且提高效率。
已经参照特定的实施例而详细描述了本发明。但是，显然本领域内的技术人员可以在不脱离本发明的实质的范围内对所述实施例进行修改和替换。即，本发明已经通过举例而被公开，因此不应当被理解为限定性的。应当理解权利要求的范围，以便明白本发明的实质。
可以通过硬件、软件或其组合配置来执行在此所述的系列处理。当使用软件来执行处理时，可以通过向内置在专用硬件中的计算机内的存储器中安装其中记录了处理序列的程序，或向能够执行各种类型的处理的通用计算机安装所述程序，来执行上述处理。
例如，可以在诸如硬盘或ROM(只读存储器)之类的存储介质上预先存储所述程序。或者，可以将所述程序临时或永久地存储(记录)在可移去存储介质上，诸如软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。这样的可移去存储介质可以作为所谓的“封装软件”而被提供。
除了从上述的可移去存储介质向计算机上安装所述程序之外，还可以从下载网站向计算机无线传送所述程序，或者可以通过诸如LAN(局域网)和/或因特网的网络经由有线连接而向计算机传送所述程序，以便以这种方式传送的所述程序被计算机接收并且被存储在诸如内置硬盘之类的存储介质上。
在此所述的各种类型的处理不仅包括按照所述序列而以时间顺序执行的处理，而且包括按照执行处理的设备的吞吐量或按照需要而同时或分别执行的处理。在此的术语“系统”指的是多个设备的逻辑组合，而不限于其中在同一外壳中包括各个设备的系统。
工业实用性如上所述，按照本发明的配置，从图像数据检测白饱和像素，并且在所检测的白饱和像素周边设置假彩色像素检测区域，从所设置的区域检测具有与诸如紫色条纹的假彩色对应的色彩的像素，将所检测的像素确定为假彩色像素，并且对于所识别的假彩色像素执行基于周围像素的值的校正处理。因此，可以有效地检测在白饱和像素的邻近产生的诸如紫色条纹的假彩色的区域，并且部分地校正像素的值。也可以产生和输出高质量图像数据而不影响整个图像。
按照本发明的配置，可以对由色像差引起的诸如紫色条纹之类的假彩色执行适当的校正，其中所述色像差对于由摄像机拍摄的图像发生，并且可以实现产生和输出高质量图像数据。使用传统的摄像机，有可能拍摄出不自然的图像，除非在产生紫色条纹的情况下调整诸如透镜光圈之类的设置。但是，当应用本发明时，可以有效地提取和校正在所拍摄的图像中包含的诸如紫色条纹之类的假彩色，并且可以产生和输出高质量图像。因此，不必关注透镜光圈和焦距，在拍摄期间不出现紫色条纹，因此使得可以以较高的自由度来执行拍摄。
另外，按照本发明的配置，根据基准图像来估计与白饱和像素对应的对象实际亮度，设置对应于对象实际亮度的假彩色(紫色条纹)检测区域，并且检测和校正在所设置区域中的假彩色(紫色条纹)像素。因此，可以设置与其中有可能产生假彩色(紫色条纹)的区域对应的假彩色(紫色条纹)检测区域，而不使得所设置的假彩色(紫色条纹)检测区域变得太大或太小。可以可靠地和有效地检测假彩色(紫色条纹)像素，提高图像校正的精确度，并且提高效率。
权利要求
1.一种图像处理设备，包括白饱和检测单元，用于从图像数据检测白饱和像素；假彩色像素检测区域设置单元，用于在由白饱和检测单元检测的白饱和像素周边设置假彩色像素检测区域；假彩色检测单元，用于在由假彩色像素检测区域设置单元设置的区域中，将具有与假彩色对应的色彩的像素识别为假彩色像素；以及像素值校正单元，用于根据周围像素的值，对由假彩色检测单元检测的假彩色像素执行像素值校正处理。
2.按照权利要求1的图像处理设备，其中，所述像素值校正单元具有补偿内插单元，用于根据周围的像素值而对假彩色像素执行补偿内插处理；以及色彩模糊处理单元，用于对假彩色像素执行色彩模糊处理。
3.按照权利要求2的图像处理设备，其中，所述像素值校正单元从在假彩色像素周边存在的像素中，选择除了假彩色像素和白饱和像素之外的像素，并且根据所选择的像素而执行补偿内插处理。
4.按照权利要求1的图像处理设备，其中，所述假彩色检测单元执行在由假彩色像素检测区域设置单元设置的区域中将具有预设特定色彩的像素识别为假彩色像素的处理。
5.按照权利要求1的图像处理设备，其中所述假彩色是紫色条纹，以及所述假彩色检测单元执行把在由假彩色像素检测区域设置单元设置的区域中的紫色像素识别为假彩色像素的处理。
6.按照权利要求1的图像处理设备，其中，所述假彩色像素检测区域设置单元，按照在拍摄将被处理的图像数据期间的光圈、焦距信息、和从光中心到白饱和像素(x，y)的距离的数据之中的至少一个，执行确定在由白饱和检测单元检测的白饱和像素周边设置的假彩色像素检测区域的处理。
7.按照权利要求1的图像处理设备，其中，所述白饱和检测单元执行选择具有高于或等于预定阈值的亮度的白饱和像素的处理。
8.按照权利要求1的图像处理设备，还包括用于执行数据转换处理的色彩转换单元，所述数据转换处理将输入图像数据分离为亮度分量图像数据和色彩分量图像数据，以及所述图像处理设备还根据由所述色彩转换单元产生的转换数据来执行像素值校正处理。
9.按照权利要求1的图像处理设备，其中，所述假彩色像素检测区域设置单元具有基准图像分析单元，用于接收基准图像，并且获得与将被处理的图像中的白饱和像素对应的基准图像像素的亮度值，在所述基准图像中，在与将被处理的图像中的白饱和像素对应的位置的像素不具有饱和亮度值，所述基准图像是与将被处理的图像对象相同的拍摄图像；以及假彩色像素检测区域确定单元，用于按照对应的基准图像像素的亮度值来设置假彩色像素检测区域，所述亮度值由基准图像分析单元获得。
10.按照权利要求9的图像处理设备，其中，所述假彩色像素检测区域确定单元通过使用查找表来设置假彩色像素检测区域，在所述查找表中，基准图像的亮度值和可产生假彩色的像素范围或假彩色像素检测区域彼此相关联。
11.按照权利要求9的图像处理设备，其中，所述假彩色像素检测区域确定单元执行随着在基准图像中的对应像素的亮度值的增大而设置更宽的假彩色像素检测区域的处理。
12.按照权利要求9的图像处理设备，其中，通过使用由具有低灵敏度传感器的图像捕获器件所拍摄的图像、或在低于适当曝光的低曝光条件下拍摄的图像来作为基准图像，假彩色像素检测区域确定单元获得与在将被处理的图像中的白饱和像素对应的部分的基准图像亮度值。
13.一种图像处理方法，包括白饱和检测步骤，从图像数据检测白饱和像素；假彩色像素检测区域设置步骤，设置在白饱和检测步骤中检测的白饱和像素周边的假彩色像素检测区域；假彩色检测步骤，在假彩色像素检测区域设置步骤中设置的区域中，将具有与假彩色对应的色彩的像素识别为假彩色像素；以及像素值校正步骤，根据周围像素的值，对在假彩色检测步骤检测的假彩色像素执行像素值校正处理。
14.按照权利要求13的图像处理方法，其中，所述像素值校正步骤包括补偿内插步骤，根据周围的像素值而对假彩色像素执行补偿内插处理；以及色彩模糊处理步骤，对假彩色像素执行色彩模糊处理。
15.按照权利要求14的图像处理方法，其中，所述像素值校正步骤是这样的步骤从在假彩色像素周边存在的像素中选择除了假彩色像素和白饱和像素之外的像素，并且根据所选择的像素而执行补偿内插处理。
16.按照权利要求13的图像处理方法，其中，所述假彩色检测步骤是这样的步骤执行在假彩色像素检测区域设置步骤中设置的区域中，将具有预设特定色彩的像素识别为假彩色像素的处理。
17.按照权利要求13的图像处理方法，其中所述假彩色是紫色条纹，以及所述假彩色检测步骤是这样的步骤执行把在假彩色像素检测区域设置步骤中设置的区域中的紫色像素识别为假彩色像素的处理。
18.按照权利要求13的图像处理方法，其中，所述假彩色像素检测区域设置步骤是这样的步骤按照在拍摄将被处理的图像数据期间的光圈、焦距信息、和从光中心到白饱和像素(x，y)的距离的数据之中的至少一个，执行确定在白饱和检测步骤中检测的白饱和像素周边设置的假彩色像素检测区域的处理。
19.按照权利要求13的图像处理方法，其中，所述白饱和检测步骤是这样的步骤执行选择具有高于或等于预定阈值的亮度的白饱和像素的处理。
20.按照权利要求13的图像处理方法，还包括执行数据转换处理的色彩转换步骤，所述数据转换处理将输入图像数据分离为亮度分量图像数据和色彩分量图像数据，并且所述图像处理方法还包括根据由色彩转换单元产生的转换数据来执行像素值校正处理。
21.按照权利要求13的图像处理方法，其中，所述假彩色像素检测区域设置步骤具有基准图像分析步骤，输入基准图像，并且获得与将被处理的图像中的白饱和像素对应的基准图像像素的亮度值，在所述基准图像中，在与将被处理的图像中的白饱和像素对应的位置的像素不具有饱和亮度值，所述基准图像是与将被处理的图像对象相同的拍摄图像；以及假彩色像素检测区域确定步骤，按照对应的基准图像像素的亮度值来设置假彩色像素检测区域，所述亮度值在基准图像分析步骤中获得。
22.按照权利要求21的图像处理方法，其中，所述假彩色像素检测区域确定步骤是这样的步骤通过使用查找表来设置假彩色像素检测区域，在所述查找表中，基准图像的亮度值和可产生假彩色的像素范围或假彩色像素检测区域彼此相关联。
23.按照权利要求21的图像处理方法，其中，所述假彩色像素检测区域确定步骤是这样的步骤执行随着在基准图像中的对应像素的亮度值的增大而设置更宽的假彩色像素检测区域的处理。
24.按照权利要求21的图像处理方法，其中，在所述假彩色像素检测区域确定步骤中，使用由具有低灵敏度传感器的图像捕获器件所拍摄的图像、或在低于适当曝光的低曝光条件下拍摄的图像来作为基准图像，获得与在将被处理的图像中的白饱和像素对应的部分的基准图像亮度值。
25.一种计算机程序，用于使得计算机执行图像处理，所述程序包括白饱和检测步骤，从图像数据检测白饱和像素；假彩色像素检测区域设置步骤，设置在白饱和检测步骤中检测的白饱和像素周边的假彩色像素检测区域；假彩色检测步骤，在假彩色像素检测区域设置步骤中设置的区域中，将具有与假彩色对应的色彩的像素识别为假彩色像素；以及像素值校正步骤，根据周围像素的值，对在假彩色检测步骤中检测的假彩色像素执行像素值校正处理。
26.按照权利要求25的计算机程序，其中，所述假彩色像素检测区域设置步骤包括基准图像分析步骤，输入基准图像，并且获得与将被处理的图像中的白饱和像素对应的基准图像像素的亮度值，在所述基准图像中，在与将被处理的图像中的白饱和像素对应的位置的像素不具有饱和亮度值，所述基准图像是与将被处理的图像对象相同的拍摄图像；以及假彩色像素检测区域确定步骤，按照对应的基准图像像素的亮度值来设置假彩色像素检测区域，所述亮度值在基准图像分析步骤中获得。
全文摘要
一种设备和方法，用于有效地校正由色像差引起的诸如紫色条纹等的假彩色，以产生和输出高质量图像数据。从图像数据检测白非灰度(white non－gradation)像素，在所检测的白非灰度像素周边设置假彩色像素检测区域。在所设置的区域中，检测具有与诸如紫色条纹之类的假彩色对应的色彩的像素，所检测的像素被指定为假彩色像素。基于周围像素的值校正所指定的假彩色像素。这种配置使得能够有效地检测在白非灰度像素的邻近产生的诸如紫色条纹之类的假彩色区域，并且还使得能够部分地校正像素的值，从而使得能够产生和输出高质量的图像数据而不影响整个图像。
文档编号H04N9/07GK1806449SQ200580000559
公开日2006年7月19日 申请日期2005年4月25日 优先权日2004年5月27日
发明者山田类, 大木光晴 申请人:索尼株式会社