图像处理装置、图像处理方法、成像元件以及成像装置与流程

文档序号:13518731阅读:150来源:国知局
图像处理装置、图像处理方法、成像元件以及成像装置与流程

本技术涉及一种图像处理装置、图像处理方法、摄像元件以及摄像装置。它们被设计为处理从摄像元件接收的图像信号,从而防止图像质量的恶化。



背景技术:

过去,例如ptl1所公开,设有一个摄像元件的单芯片型的摄像装置的特点是:摄像元件在成像表面上有拜耳阵列形式的滤色器,从而每一个像素产生一个颜色成分的信号。这样的摄像装置进行称为去马赛克的内插,从而将由摄像元件产生的信号变换为图像信号,图像信号具有每个像素的诸如红-绿-蓝(rgb)等多个颜色成分的像素值。而且,这样的摄像装置对已经过变换的图像信号进行各种信号处理,从而将已处理的图像信号变换为特定色空间的图像信号,然后输出变换后的图像信号。

[引用列表]

[专利文献]

[ptl1]

jp2012-244449a



技术实现要素:

技术问题

顺便提及,摄像元件通常被合并为单元以改善图像质量,从而即使摄像元件被改变以减小尺寸、增加像素的数目并且改善灵敏度,可以避免诸如噪音等副作用。为此,摄像元件对图像信号进行去马赛克,并且提高图像质量的单元使用通过去马赛克产生的图像信号,以进行进一步的处理。在从摄像元件输出的信号和来自于在相关技术中的拜耳排列的信号一样的情况下,已经从用于质量改善的信号处理单元输出的图像信号经过稀疏处理。令人遗憾的是,对从摄像元件输出的图像信号进行的去马赛克或至指定色空间的色空间变换,通过去马赛克和色空间变换,根据来自于摄像元件的图像信号的色空间,会在某种程度上恶化图像质量和颜色分辨率。

于是,本技术的目的是提供处理从摄像元件输出的图像信号的一种图像处理装置、图像处理方法、摄像元件和摄像装置,从而防止图像质量的恶化。

技术方案

本技术的一个方面保护一种图像处理装置,其包括:色空间变换单元,其用于将第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号;稀疏处理单元,其用于对所述第二色空间的图像信号进行稀疏处理以对应于信号处理单元,所述信号处理单元从代表各个像素的色空间的一个颜色成分的图像信号产生代表各个颜色成分的图像信号并且输出所述第三色空间的图像信号,并且从代表各个像素的所述第二色空间的各个颜色成分的图像信号产生代表各个像素的一个颜色成分的图像信号。

根据本技术,所述色空间变换单元将第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号。所述第二色空间是这样的色空间,即其中最多分辨率信息的颜色成分的频带比所述第三色空间中的最多分辨率信息的颜色成分的频带宽,或者是这样的色空间,即其中从所述第二色空间变换为所述第三色空间的颜色变换的噪音传递函数的值小于从所述第一色空间到所述第三色空间的颜色变换的噪音传递函数的值,或者是这样的色空间,即其中在具有多分辨率信息的颜色成分中不存在负的灵敏度,或者是这样的色空间,即其中具有多分辨率信息的颜色成分具有等于或高于xyz色空间的颜色成分的指定比率的灵敏度。所述稀疏处理单元用于对所述第二色空间的图像信号进行稀疏处理,从而产生代表各个像素的第二色空间的一个颜色成分的图像信号。顺便提及,所述色空间变换单元将所述第一色空间的图像信号变换为包括所述第二色空间、第三色空间或者彼此不同的多个第二色空间的任何色空间的图像信号。在这种情况下,所述稀疏处理单元对各个色空间的图像信号进行稀疏处理。

本发明的第二方面保护一种图像处理装置,其包括:色空间变换单元,其用于将第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号;所述第二色空间是这样的色空间,即其中最多分辨率信息的颜色成分的频带比所述第三色空间中的最多分辨率信息的颜色成分的频带宽,从所述第二色空间变换为所述第三色空间的颜色变换的噪音传递函数的值小于从所述第一色空间到所述第三色空间的颜色变换的噪音传递函数的值,并且在具有多分辨率信息的颜色成分中不发生负的灵敏度。

本技术的第三方面保护一种图像处理方法,其包括:在色空间变换单元中将第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号;在稀疏处理单元中对所述第二色空间的图像信号进行稀疏处理,以从代表各个像素的色空间中的一个颜色成分的图像信号产生代表各个颜色成分的图像信号,从而使得最终的图像信号对应于输出第三色空间的图像信号的信号处理单元,从而从代表各个像素的所述第二色空间的各个颜色成分的图像信号产生代表一个颜色成分的图像信号。

本技术的第四方面保护一种摄像元件,其包括:传感器单元,其用于产生第一色空间的图像信号;和电路单元,其用于对所述图像信号进行信号处理,所述电路单元具有:色空间变换单元,其用于将所述第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号;以及稀疏处理单元,其用于对所述第二色空间的图像信号进行稀疏处理以对应于信号处理单元,所述信号处理单元从代表各个像素的色空间的一个颜色成分的图像信号产生代表各个颜色成分的图像信号并且输出所述第三色空间的图像信号,从而从代表各个像素的所述第二色空间的各个颜色成分的图像信号产生代表一个颜色成分的图像信号。

本技术的第五方面保护一种摄像装置,其包括摄像元件和处理器单元,处理器单元用于对从所述摄像元件输出的图像信号进行信号处理。所述摄像元件具有:传感器单元,其用于产生第一色空间的图像信号;色空间变换单元,其用于将所述第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号;以及稀疏处理单元,其用于对所述第二色空间的图像信号进行稀疏处理,以从代表各个像素的所述第二色空间的各个颜色成分的图像信号产生代表各个颜色成分的图像信号。所述处理器单元具有:去马赛克单元,其用于从代表各个像素的色空间的一个颜色成分的图像信号产生代表各个像素的各个颜色成分的图像信号,以及信号输出单元,其用于以第三色空间的形式输出由所述去马赛克单元产生的图像信号。

技术效果

根据本公开内容,第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号。代表各个像素的第二色空间的各个颜色成分的变换后的图像信号经过稀疏处理,该稀疏处理从代表各个空间的色空间的一个颜色成分的图像信号产生代表各个颜色成分的图像信号,从而如此产生的图像信号应对输出第三色空间的图像信号的信号处理单元。作为该稀疏处理的结果,代表第二色空间的各个颜色成分的变换后的图像信号被制成代表各个像素的第二颜色空间的一个颜色成分的图像信号。当代表各个像素的第二色空间的一个颜色成分的图像信号从摄像元件输出以由信号处理单元处理时,可以防止图像质量恶化。顺便提及,这里描述的效果仅仅是示例性的,并且可以有其他的效果而没有限制。

附图说明

[图1]图1是图示本技术的第一实施例的配置的图。

[图2]图2是图示滤色器(rgb色空间)的光谱特性的图。

[图3]图3是图示srgb的光谱特性的图。

[图4]图4是图示xyz的光谱特性的图。

[图5]图5是图示本技术的第二实施例的配置的图。

[图6]图6是图示cs的光谱特性的图。

[图7]图7是图示在变换至srgb色空间的色空间变换时的线性矩阵系数和噪音传递函数值的图。

[图8]图8是图示通过利用输出色空间进行连接的系统的配置的图。

[图9]图9是图示图像处理装置如何工作的流程图。

具体实施方式

下面是设计为实施本技术的实施例的详细说明。以下述顺序进行说明。

⒈第一实施例

⒉第二实施例

⒊其他的实施例

<1.第一实施例>

本技术的第一实施例涉及将第一色空间的图像信号变换至第二色空间的图像信号的图像处理装置,第二色空间的图像信号适合于变换至第三色空间的图像信号。更具体地,图像处理装置将已经由具有特定颜色布置的滤色器的摄像元件产生的第一色空间的图像信号变换为代表各个像素的第二色空间的单个颜色成分的图像信号。

图像处理装置也对第二色空间的图像信号进行稀疏处理,从而对应于信号处理单元,所述信号处理单元从代表每个像素的色空间的一个颜色成分的图像信号产生代表单个颜色成分的图像信号、并且输出第三色空间的图像信号。由于该稀疏处理,图像处理装置从代表各个像素的第二色空间的各个颜色成分的图像信号产生代表各个像素的一个颜色成分的图像信号。更具体地,图像处理装置使得连接到摄像元件的处理器单元产生代表各个像素的色空间的各个颜色成分的图像信号,并且对代表各个像素的第二色空间的各个颜色成分的图像信号进行稀疏处理,从而允许第三色空间的图像信号被输出。于是,图像处理装置进行稀疏处理,从而产生代表各个像素的第二色空间的一个颜色成分的图像信号,允许最终的图像信号从摄像元件输出;这使得从处理器单元输出的第三色空间的图像信号避免了图像质量和颜色分辨率的恶化。

即使对已经输出的图像信号进行去马赛克处理,第一实施例设计为保持期望的图像质量和颜色分辨率;当第二色空间具有较宽的存在最多分辨率信息的颜色成分的频带宽度时,可以实现该目的。下面是第一实施例的描述。

第一实施例具有如图1所示的典型的配置。摄像装置10包括摄像元件20和处理器单元30。摄像元件20包括传感器单元21和电路单元22a,并且电路单元22a包括去马赛克单元221、信号处理单元222、第一色空间变换单元223和稀疏处理单元226。处理器单元30包括去马赛克单元31和输出色空间变换单元32。

摄像元件20包括互补金属氧化物半导体(cmos)等等。传感器单元21具有光入射面,该光入射面上放置有例如红色(r)、绿色(g)和蓝色(b)像素的按拜耳阵列排列的滤色器。传感器单元21为各个像素产生代表红色成分、绿色成分和蓝色成分中的任何一个的rgb色空间的图像信号,然后输出最终的图像信号至电路单元22a。滤色器(rgb色空间)具有如图2所示的光谱特性。

电路单元22a具有对图像信号进行去马赛克处理的去马赛克单元221。为了完成去马赛克,去马赛克单元221假定红色和蓝色像素在本区域与具有最多分辨率信息的绿色像素相关联,进行颜色相关内插。换句话说,去马赛克单元221进行去马赛克处理,从而为各个像素产生代表红色成分、绿色成分和蓝色成分的图像信号,并且输出最终的图像信号至信号处理单元222。

信号处理单元222例如从去马赛克单元221接收图像信号,并且对接收到的图像信号进行图像质量改善处理。信号处理单元222进行的图像质量改善处理包括去噪处理和缺陷像素校正处理。图像质量改善处理可包括色调校正处理和任何其他额外的处理。顺便提及,信号处理单元222不但进行图像质量改善处理,而且进行任何其他的处理。由信号处理单元222处理的图像信号输出到第一色空间变换单元223。

第一色空间变换单元223从信号处理单元222接收第一色空间的图像信号,然后将如此接收的图像信号变换为第二色空间的图像信号,第二色空间的图像信号适合于变换为第三色空间的图像信号,第三色空间的图像信号将要从处理器单元30输出。更具体地说,第一色空间变换单元223将第一色空间的图像信号变换为第二色空间的图像信号,该图像信号即使在处理器单元30中经过去马赛克处理,也能保持图像质量和颜色分辨率。如此变换的图像信号被输出到稀疏处理单元226。

稀疏处理单元226对已经过色空间变换的图像信号进行稀疏处理,并且产生代表各个像素的一个颜色成分的图像信号,然后输出它们到处理器单元30。这些步骤和摄像元件没有电路单元22a的情况下的步骤一致。

处理器单元30中的去马赛克单元31对已经从摄像元件20输出的第二色空间的图像信号进行去马赛克处理。为了完成去马赛克,去马赛克单元31假定在本地区域的某一颜色成分和另一个颜色成分之间存在颜色相关,进行颜色相关内插。去马赛克单元31进行颜色相关内插,从而从代表各个像素的一个颜色成分的图像信号产生代表各个像素的各个颜色成分的图像信号,然后输出如此产生的图像信号到输出色空间变换单元32。

输出色空间变换单元32从去马赛克单元31接收图像信号,并且对如此接收的图像信号进行色空间变换,从而产生指定输出的第三色空间的图像信号(例如srgb色空间的图像信号),并且输出如此变换的图像信号。已经从输出色空间变换单元32输出的图像信号例如可发送给相机信号处理单元以进行显影处理(例如γ校正和白平衡校正)。顺便提及,图3图示了srgb光谱特性(相当于颜色拟合函数)。

如上述构造的摄像装置具有下列缺点。即,当处理器单元30的去马赛克单元31例如根据颜色相关内插进行去马赛克处理时,在来自于摄像元件20的图像信号是rgb色空间(第一色空间)的图像信号的情况下,由于在代表红色成分的频率中仅仅存在少量绿色成分,红色成分的分辨率降低。因此,即使图像经过电路单元22a的信号处理单元222的图像质量改善处理,由去马赛克单元31产生的图像信号导致图像质量恶化。为了解决该缺点,第一色空间变换单元223从信号处理单元222接收rgb色空间的图像信号,然后将如此接收的图像信号变换为第二色空间的图像信号,第二色空间的图像信号适合于变换为srgb色空间的图像信号以从处理器单元30输出。

同时,通过颜色相关内插进行的去马赛克处理恶化其他颜色(例如红色)的分辨率,颜色相关内插在如上述的具有最大分辨率信息的颜色中具有较少颜色成分(例如绿色)的条件下进行。为应对该情况,第一色空间变换单元223将rgb色空间的图像信号变换为xyz色空间的图像信号,xyz色空间是第二色空间。该色空间的特点在于具有最多分辨率信息的颜色成分具有宽的带宽。

图4图示了xyz光谱特性(颜色拟合函数)。从这个图注意到,激励y(关于亮度和绿色的量)具有宽的带宽,以至于在激励x(关于红色的量)的频率中包含大量的激励y的成分。因此,由处理器单元30的去马赛克单元31对从摄像元件20输出的图像信号进行的去马赛克处理保持激励x(关于红色的量)的分辨率。

顺便提及,处理器单元30的去马赛克单元31通常不假定负信号,于是从摄像元件20输出的图像信号如果包含负的灵敏度,它们会恶化图像质量和颜色分辨率。假定从摄像元件20输出的图像信号是srgb色空间的图像信号,会存在一种情形,即srgb色空间具有图3所示的负信号。因此,由于在相对于绿色的红色的比率和蓝色的比率之间的不连续性,该不连续性发生在绿色成分接近“0”的区域中,例如对绿色的颜色相关的去马赛克处理可能恶化图像质量。这导致恶化的图像质量。此外,在绿色成分是"0"的区域周围,在绿色成分和红色成分(蓝色成分)之间存在低度相关。这导致恶化的颜色分辨率。在图4所示的情况下不是如此,图4表明xyz色空间没有引起任何负信号。因此,第一色空间变换单元223将rgb色空间的图像信号变换为xyz色空间的图像信号,从而无论处理器单元30中进行的去马赛克处理,可以防止图像质量和颜色分辨率的恶化。

<2.第二实施例>

下面的是第二实施例的详细说明。已知的是,由线性矩阵处理进行的色空间变换不期望地放大噪音和假色。第二实施例旨在解决这个情况。根据第二实施例,当处理器单元30进行色空间变换以变换为指定色空间的图像信号时,摄像元件20进行图像信号的色空间变换,以便抑制噪音和假色。

第二实施例的配置如图5所示。摄像装置10包括摄像元件20和处理器单元30。摄像元件20包括传感器单元21和电路单元22b。电路单元22b设有去马赛克单元221、信号处理单元222、第二色空间变换单元224和稀疏处理单元226。处理器单元30包括去马赛克单元31和输出色空间变换单元32。

摄像元件20包括cmos等等。传感器单元21具有光入射面,该光入射面上放置有例如红色(r)、绿色(g)和蓝色(b)像素的按照拜耳阵列排列的滤色器。传感器单元21产生代表各个像素的红色成分、绿色成分和蓝色成分的任何一个的rgb空间的图像信号,然后传感器单元21输出最终的图像信号至电路单元22b。

电路单元22b具有对图像信号进行去马赛克处理的去马赛克单元221。为了实现去马赛克,去马赛克单元221为各个像素产生代表红色成分、绿色成分和蓝色成分的图像信号。然后,去马赛克单元221输出最终的图像信号至信号处理单元222。

信号处理单元222从如上所述的去马赛克单元221接收图像信号,并且对如此接收到的图像信号进行图像质量改善处理。然后,信号处理单元222输出已处理的图像信号至第二色空间变换单元224。

第二色空间变换单元224从信号处理单元222接收第一色空间的图像信号,然后将如此接收的图像信号变换为第二色空间的图像信号,第二色空间的图像信号适合于变换为第三色空间的图像信号以从处理器单元30输出。然后,第二色空间变换单元224输出已变换的图像信号至稀疏处理单元226。即使在处理器单元30中进行去马赛克处理,第二色空间变换单元224例如将第一色空间的图像信号变换为第二色空间的图像信号,从而防止图像质量和颜色分辨率的恶化。此外,第二色空间变换单元224将第一色空间的图像信号变换第二色空间的图像信号,从而抑制当处理器单元30中进行至第三色空间的变换时发生的噪音和假色。

稀疏处理单元226对已经过色空间变换的图像信号进行稀疏处理。然后,和摄像元件没有电路单元22b的情况一样,稀疏处理单元226产生代表各个像素的一个颜色成分的图像信号,然后输出最终的图像信号至处理器单元30。

处理器单元30的去马赛克单元31对从上述摄像元件20输出的已经过色空间变换的图像信号进行去马赛克处理。去马赛克单元31进行去马赛克处理,从而产生代表各个像素的各个颜色成分的图像信号,并且输出结果至输出色空间变换单元32。

输出色空间变换单元32对从去马赛克单元31提供的图像信号进行色空间变换,然后输出已变换的图像信号。该变换产生第三色空间的图像信号(例如srgb色空间颜色图像信号)以输出。从输出色空间变换单元32输出的图像信号被提供给相机信号处理单元以显影,或者输出到外部的装置或记录媒介。

下面与在第二色空间变换单元224中使用的色空间的优化有关。在输出色空间变换为还没有经过色空间变换的优化色空间的情况下,色空间的优化采用公式(1)定义的线性矩阵系数lm(p)。在优化色空间变换为输出色空间的情况下,色空间的优化也采用公式(2)定义的线性矩阵系数lm(q)。顺便提及,可以假定在下面的说明中,输出色空间是srgb色空间,并且优化色空间是cs色空间。

表达式1

在srgb色空间变换为cs色空间的情况下,根据公式(3),在srgb色空间具有频率λ的像素(rλ,gλ,bλ)可以变换为在cs色空间中的像素(r'λ,g'λ,b'λ)。

表达式2

在上面的公式中,cs色空间的成分r'λ可以由公式(4)计算得出。如果假定这种情况中的噪音与成分rλ、gλ和bλ没关系,成分r'λ的方差var(r'λ)可以定义为公式(5)。而且,如果假定在公式(5)中成分rλ、gλ和bλ具有相等的噪音水平,以便建立如公式(6)所描述的关系,那么公式(5)变成公式(7)。换言之,代表成分r'λ的噪音水平的方差var(r'λ)变成通过将代表成分rγ的噪音水平的方差var(rλ)乘以系数“a12+a22+a32”而获得的值。于是,通过使用线性矩阵系数lm(p)进行的色空间变换中,系数“a12+a22+a32”表示从成分rλ变换到成分r'λ的噪音传递函数。

r'λ=a1·rλ+a2·gλ+a3·bλ...(4)

var(r'λ)=a12*var(rλ)+a22*var(gλ)+a32*var(bλ)...(5)

var(rλ)=var(gλ)=var(bλ)...(6)

var(r'λ)=(a12+a22+a32)*var(rλ)...(7)

类似地,也可以获得从成分gλ传输到成分g'λ的噪音传递函数,以及从成分bλ传输到成分b'λ的噪音传递函数。此外,在使用线性矩阵系数lm(q)进行色空间变换的情况下,也可以按照如上所述的方式获得从成分r'λ传输到成分rλ的噪音传递函数、从成分g'λ传输到成分gλ的噪音传递函数以及从成分b'λ传输到成分bλ的噪音传递函数。

色空间的优化要求建立线性矩阵系数,从而噪音传递函数具有尽可能小的值。为此,公式(8)可以用于求出可以给出由于线性矩阵系数lm(p)的噪音传递函数的值以及由于线性矩阵系数lm(q)的噪音传递函数的值的最小总和的系数。

min(a12+a22+a32+b12+b22+b32+c12+c22+c32)

+(d12+d22+d32+e12+e22+e32+f12+f22+f32)×j...(8)

由于被用来从srgb色空间变换为cs色空间的线性矩阵系数lm(p)的噪音传递函数是计算优化的色空间的稳定项。由于被用来从cs色空间变换为srgb色空间的线性矩阵系数lm(q)的噪音传递函数是目标函数。系数j是用于稳定的系数,并且例如j=1。

色空间的优化需要约束,以避免图像质量和颜色分辨率的恶化以及噪音和假色的发生。

约束(1):具有最多分辨率信息的颜色成分不应该具有负的灵敏度。因为在具有最多分辨率信息的颜色成分是“0”的位置附近发生色比的不连续性,由上述的颜色相关内插进行的去马赛克处理有可能致使图像质量的恶化。所以,在cs色空间的情况下,“min(g'λ>0)”应该分配为使得使用绿色的颜色相关的去马赛克处理不会恶化图像质量。

约束(2):具有最多分辨率信息的颜色成分应该具有等于或高于给定值的灵敏度。如果具有最多分辨率信息的颜色成分具有窄的带宽,由上述的颜色相关内插法执行的去马赛克处理恶化了颜色分辨率。为了避免这个情况,例如使用不引起负值的xyz色空间的颜色成分。在cs色空间的情况下,应该分配“r'λ>max(xλ,yλ,zλ)×k”,以便具有灵敏度的量可以通过系数k调整。例如,如果系数k是"0.2",在xyz色空间中,每个颜色成分的灵敏度将要等于或高于20%。

约束(3):线性矩阵系数的对角线成分应该最大化,以便避免重根。线性矩阵系数lm(q)应该被决定为使得“max(d2,d3≤d1”和“max(e1,e3≤e2”和“max(f1,f2≤f3”。

约束(4):线性矩阵系数应该是单位矩阵。"lm(p)lm(q)=lm(q)lm(p)=a"被分配,在srgb色空间和cs色空间之间进行双向的变换是可能的。

约束(5):线性矩阵系数的总和应该是"1",并且色空间变换中的增益应该是"1"。对于没有信号放大或压缩的色空间变换,线性矩阵系数lm(q)确定为满足公式(9)。

表达式3

为了色空间的最优化,线性矩阵系数计算为满足以上约束,并且最小化噪音传递函数的值。顺便提及,线性矩阵系数可以通过常用的最小化方法计算得出。而且,色空间优化的约束仅仅是示例;并且可以根据界面及其他条件,展开另外一个、删除或者变更。

图6描述了cs光谱特性(颜色拟合函数)。而且,图7描述了变成srgb色空间的色空间变换的线性矩阵系数和噪音传递函数的值。图7(a)描述了从cs色空间变成srgb色空间的色空间变换所涉及的值。图7(b)描述了从xyz色空间变成srgb色空间的色空间变换所涉及的值。图7(c)描述了从rgb色空间到srgb色空间的色空间变换所涉及的值。

第二色空间变换单元224从信号处理单元222接收图像信号,并且将如此接收的图像信号变换为已经由色空间优化建立的cs色空间的图像信号,并且最后将如此变换的信号输出至稀疏处理单元226。

如图6所示,cs色空间的特征是,宽的带宽覆盖绿色,并且红色和蓝色的频率范围包含大量的绿色成分。在从摄像元件20输出的图像信号的去马赛克处理期间,这有助于处理器单元30的去马赛克单元31防止红色和蓝色的分辨率恶化。而且,关于绿色的成分不变成负信号的事实避免了颜色分辨率恶化。此外,图7清楚地图示了cs色空间最小化噪音传递函数的值。因此,可以通过色空间变换来抑制噪音和假色,其中,cs色空间的图像信号由处理器单元30的输出颜色变换单元32变换为srgb色空间的图像信号。

顺便提及,cs色空间偶尔地导致红色和蓝色的负信号。在至处理器单元的输入没解决负信号的情况下,这可以通过增加预定量的偏移来解决。

<3.其他的实施例>

顺便提及,上述实施例是假设图像完全具有相同的色空间而进行描述的。然而,用于连接的色空间被恰当地切换到单个像素或分别由多个像素组成的图像区域。而且,用于在摄像元件20和处理器单元30之间连接的色空间不限于第一和第二实施例中提到的色空间;例如可以使用输出色空间。

图8是描述输出色空间用于连接的配置的图。摄像装置10包括摄像元件20和处理器单元30。摄像元件20包括传感器单元21和电路单元22c,并且电路单元22c包括去马赛克单元221、信号处理单元222、第三色空间变换单元225和稀疏处理单元226。处理器单元30包括去马赛克单元31。

摄像元件20包括cmos等等。传感器单元21具有光入射面,光入射面上面放置有用于红色(r)、绿色(g)、和蓝色(b)像素的按照拜耳排列的滤色器。传感器单元21产生代表各个像素的红色、绿色和蓝色成分中的任何一个的图像信号。然后,传感器单元21将它们输出到电路单元22c的去马赛克单元221。

去马赛克单元221根据图像信号执行去马赛克处理。于是,去马赛克单元221执行去马赛克处理,从而产生代表各个像素的红色、绿色和蓝色成分的图像信号,然后输出最终的图像信号至信号处理单元222。

信号处理单元222从如上所述的去马赛克单元221接收图像信号,然后对如此接收的图像信号执行图像质量改善处理。最后,信号处理单元222输出已处理的图像信号至第三色空间变换单元225。

第三色空间变换单元225从信号处理单元222接收图像信号,然后变换成适合于图像信号从处理器单元30输出的色空间。

稀疏处理单元226从第三色空间变换单元225接收图像信号,然后对接收的图像信号执行稀疏处理。和摄像元件没有电路单元22c的情形一样,稀疏处理单元226产生代表各个像素的一个颜色成分的图像信号。然后,稀疏处理单元226输出最终的图像信号至处理器单元30。

处理器单元30的去马赛克单元31对从上述的摄像元件20输出的已经过色空间变换的图像信号执行去马赛克处理。去马赛克单元31执行去马赛克处理,从而产生分别代表各个像素的颜色成分的图像信号。顺便提及,从去马赛克单元31输出的图像信号例如提供给相机信号处理单元以显影,或可以输出到外部的装置或记录媒介。

在传感器单元21基于rgb色空间、并且其输出基于srgb色空间的情况下,存在一种情况,即从图3所清楚地注意到,srgb色空间在绿色成分中具有负信号。这意味着当通过使用绿色的颜色相关例如执行处理器单元30中的去马赛克处理时,存在一种情形,即颜色分辨率在绿色成分是"0"的附近降低。另外,如图7所清楚地图示,从rgb色空间到srgb色空间的色空间变换的噪音传递函数的值足够小,从而防止噪音和假色因为色空间变换而增加。所以,如果通过srgb色空间连接到没有发生负信号的图像区域,从处理器单元30的去马赛克单元31输出的图像将具有有限的噪音和假色,并且颜色分辨率的恶化不显著。

在为每个像素或由多个像素组成的每个像素区域恰当地切换色空间的情况下,摄像装置10根据图像的特征属性或色空间变换的特征属性选择足够的色空间以用于连接。例如,随着分辨率在边缘部分或细节部分降低,图像质量显著地降低。因此,摄像装置10选择的色空间的特征在于分辨率信息最多以及颜色成分的带宽较宽。摄像装置10选择的色空间在噪音是显著的平坦区域中具有小的噪音传递函数值,从而防止噪音增大。在选定的色空间中,存在具有最多分辨率信息的颜色成分发生负信号的可能性的情况下,摄像装置10在信号变成负的颜色区域中选择另一个色空间,从而恶化颜色分辨率。

根据由图像信号计算出的特征量来进行诸如平坦区域和边缘区域等区域之间的区分。例如,在平坦区域中像素之间的信号水平仅仅存在较小的差异。因此,在这种情况下的特征量是关于从图像信号获得的图像的平坦度的信息。更具体而言,特征量是基于关注的像素的位置确定的预定范围内的动态范围。动态范围小于第一阈值的动态范围的区域被认为是平坦区域。而且,动态范围等于或高于第二阈值(第一阈值≤第二阈值)的区域被认为是边缘区域。顺便提及,特征量可以是从第一阶微分导出的特征量(例如用于联接像素的绝对差值及其总和),或者是基于频率成分的特征量。特征量可以单独使用或可以与其它特征量结合使用,然后可以在诸如平坦区域和边缘区域的区域之间进行区分。信号是负的颜色区域可以通过提取出(借助于过滤器)发生负信号的颜色区域而加以区分。

在色空间被适应地切换的情况下,摄像元件20的电路单元对从信号处理单元输出的图像信号进行色空间变换,从而为可选择的色空间(例如xyz色空间、cs色空间、srgb色空间或他们中的任何两个)产生图像信号。而且,电路单元对每个色空间的图像信号进行稀疏处理,然后输出结果到处理器单元30。处理器单元30对可以被选择的各个色空间进行去马赛克处理。而且,处理器单元30根据图像的特征属性或色空间变换的特征属性区别优化色空间,然后选择已经过区别后的色空间的去马赛克处理的图像信号。而且,如果被选定的图像信号的色空间不是输出色空间,处理器单位30将选定的图像信号的色空间变换为输出色空间。

如上述,如果根据图像的特征属性s和色空间变换的特征属性为各个像素或各个图像区域选择色空间,输出色空间的图像信号仅仅具有图像质量和颜色分辨率的稍微的降低,并且会产生低水平的噪音和假色。

如上所述的实施例和如下的情况相关,其中,摄像元件20的传感器单元21产生rgb色空间的图像信号。然而,色空间不是必须限于rgb色空间,并且可以是任何其他色空间。例如,通过利用由红色、绿色和白色像素组成的滤色器,可以产生wrg色空间的图像信号。而且,输出色空间不是必须限于srgb色空间,并且可以是任何其他色空间。

下面的表1描述了连接色空间和上述优化色空间的条件之间的对应关系。连接色空间意味着图像信号的色空间从摄像元件20提供给处理器单元30。符号○表示满足条件。符号×表示不满足条件。符号δ表示半满足条件。和符号○相比,符号○-表示条件几乎不满足。

表1

表2描述了各个连接色空间的性能的评估结果。符号○表示获得良好性能。符号×表示没有获得期望的性能。符号δ表示性能是中等的。符号○-表示性能次于具有符号○的性能。

表2

如上所述,本说明书涉及一系列处理,一系列处理可以借助于硬件或软件或它们的组合来实施。图像处理装置可以和摄像元件独立。这类型的配置可以应用于信号处理系统,其中,摄像元件的传感器单元产生图像信号,图像信号随后记录在记录媒介中,并且如此记录的图像信号经过信号处理。

图9是图示图像处理装置的动作的流程图。图像处理装置从步骤st1开始,从而获得第一色空间的图像信号。图像处理装置从传感器单元或存储器件获得第一色空间的图像信号,然后进行到步骤st2。

图像处理装置在步骤st2执行色空间变换。也就是说,图像处理装置将第一色空间的图像信号变换为第二色空间的图像信号,从而已变换的图像信号适合于变换为指定的第三色空间的图像信号,然后进行到步骤st3。

在步骤st3,图像处理装置执行稀疏处理。也就是说,图像处理装置对第二色空间的图像信号执行稀疏处理,从而最终的图像信号适合于信号处理单元输出第三色空间的图像信号。进行稀疏,从而从代表各个像素的一个颜色成分的图像信号产生代表单独颜色成分的图像信号。换言之,图像处理装置进行稀疏,以从代表各个像素的第二色空间的各个颜色成分的图像信号产生代表各个像素的一个颜色成分的图像信号。

上述处理可以通过装有软件的计算机来完成,在所述软件中具有如图9所示的处理的程序。该程序可以安装在嵌入专用硬件的计算机的存储器中,或者安装在能够执行各种处理的通用计算机中。

该程序可以事先存储在记录媒介中,所述记录媒介例如是硬盘和只读存储器(rom),或存储在可移除记录媒介中,可移除记录媒介例如软盘、致密盘只读存储器(cd-rom)、磁光(mo)盘、数字通用盘(dvd)、磁盘和半导体存储器卡。存储(记录)可以是暂时的或永久的。程序可以以记录在上述的可移除记录媒介上的封装软件的形式存在。

该程序可以从可移除记录媒介安装在计算机上,或者可以通过无线或有线网(例如局域网(lan)和internet)从下载地点传输。计算机接收如此传输的程序,并且将该程序安装在诸如嵌入式硬盘的记录媒介上。

本技术不应该解释为限于上述实施例。如上所述的本发明仅仅是示例性的,并且在所附的权利要求书所限定的范围内,本领域的技术人员可以对本发明的实施例进行改变和变化。

顺便提及,根据本技术的图像处理装置可以如下构造:

(1)一种图像处理装置,其包括:

色空间变换单元,其用于将第一色空间的图像信号变换为第二色空间的图像信号,所述第二色空间的图像信号适合于变换为指定的第三色空间的图像信号;

稀疏处理单元,其用于对所述第二色空间的图像信号进行稀疏处理以对应于信号处理单元,所述信号处理单元从代表各个像素的色空间的一个颜色成分的图像信号产生代表各个颜色成分的图像信号并且输出所述第三色空间的图像信号,并且从代表各个像素的所述第二色空间的各个颜色成分的图像信号产生代表各个像素的一个颜色成分的图像信号。

(2)根据段落(1)所限定的图像处理装置,其中,所述第二色空间是特征为具有最多分辨率信息的颜色成分的频带比所述第三色空间中具有最多分辨率信息的颜色成分的频带宽的色空间。

(3)根据段落(1)或者(2)所限定的图像处理装置,其中,所述第二色空间是特征为从所述第二色空间到所述第三色空间的色变换中的噪音传递函数的值小于从所述第一色空间到所述第三色空间的色变换中的噪音传递函数的值的色空间。

(4)根据段落(1)~(3)中的任一个所限定的图像处理装置,其中,所述第二色空间是在具有多分辨率信息的颜色成分中没有负灵敏度的色空间。

(5)根据段落(1)~(4)中的任一个所限定的图像处理装置,其中,所述第二色空间是特征为具有多分辨率信息的颜色成分具有等于或高于xyz色空间的各个颜色成分的指定比率的灵敏度的色空间。

(6)根据段落(1)~(5)中的任一个所限定的图像处理装置,其中,所述色空间变换单元将所述第一色空间的图像信号变换为包括所述第二色空间和第三色空间或者彼此不同的多个第二色空间的各个色空间的图像信号,并且所述稀疏处理单元对各个色空间的图像信号进行稀疏处理。

[工业实用性]

本技术保护一种图像处理装置和图像处理方法、以及摄像元件以及摄像装置,它们产生下列效果。第一个色空间的图像信号变换为第二色空间的图像信号,第二色空间的图像信号适合于变换为指定的第三色空间的图像信号。代表各个像素的第二色空间的各个颜色成分的变换后的图像信号经过稀疏处理,该稀疏处理从代表各个空间的色空间的一个颜色成分的图像信号产生代表各个颜色成分的图像信号,从而如此产生的图像信号应对输出第三色空间的图像信号的信号处理单元。作为该稀疏处理的结果,代表第二色空间的各个颜色成分的变换后的图像信号被制成代表各个像素的第二色空间的一个颜色成分的图像信号。当代表各个像素的第二色空间的一个颜色成分的图像信号从摄像元件输出以由信号处理单元处理时,可以防止图像质量恶化。上述处理适用于具有摄像功能的任何装置和处理拍摄图像的装置。

[附图标记列表]

10摄像装置

20摄像元件

21传感器单元

22a、22b、22c电路单元

30处理器单元

31、221去马赛克单元

32输出色空间变换单元

222信号处理单元

223第一色空间变换单元

224第二色空间变换单元

225第三色空间变换单元

226稀疏处理单元。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1