本发明关于一种影像处理，特别是一种关于红外线ir信号的影像处理装置及方法。
背景技术：
传统rgb感测器在低光源的环境具有感光度不足的限制，现今一般监视应用等级的影像获取装置使用红外截止滤波器(ircutfilter)，分别在日间模式输出rgb彩色影像及夜晚模式打开人眼看不到的红外线(ir)主动光源借此输出亮度充足的ir影像。然而，机械性的红外截止滤波器装置本身容易因为使用过度而损坏，体积及成本也是相对的增大。近年来，由于ir影像逐渐被应用于人脸辨识、瞳孔辨识、深度辨识，如何在有限的机构空间加入ir影像特色，需求便转向新型的混合型rgbir感测器。
因为不再使用红外截止滤波器，所以当环境光线中有ir成分时，都会通过混合型rgbir滤波阵列中的ir像素吸收感光，然而在r/g/b/ir光谱中，本身就会有重叠的状况。现今的感测器制造技术并无法完全的阻隔吸收非来自颜色信号，因此在具有高度ir成分的光能量时，物体颜色就会受到ir串音干扰(crosstalk)影响发生色彩偏移的色彩流失(colorwashout)现象。
技术实现要素：
本发明提出的影像处理装置及方法可以降低rgb彩色影像受到ir串音干扰的影响，也可以改善rgb彩色影像色彩偏移而造成色彩流失的现象。
本发明实施例提供一种影像处理装置，包括：一感测器，包括多个像素点，每一像素点用以感测一影像的三原色光及一红外光；以及一处理器，连接该感测器；其中，该处理器根据该三原色光对该红外光的串音干扰以计算在无该三原色光的串音干扰下该红外光的一真实响应值；其中，该处理器根据该红外光的该真实响应值对该三原色光的串音干扰以计算在无该红外光的串音干扰下该三原色光的一真实响应值；其中，该处理器根据该红外光的该真实响应值的亮度与该三原色光的该真实响应值以增强该影像的亮度。
本发明实施例提供另一种影像处理装置，包括：一感测器，包括多个像素点，每一像素点用以感测一影像的三原色光及一红外光；以及一处理器，连接该感测器，该处理器根据每一原色光对该红外光的一串音干扰程度参数以计算对应该原色光的该红外光的一第一串音响应值、根据该三原色光的该第一串音响应值与该三原色光对该红外光的一串音干扰比重以计算该红外光的一第二串音响应值、以及将该第二串音响应值减去一干扰响应值以取得在无该三原色光的串音干扰下该红外光的一真实响应值。
本发明实施例提供又一种影像处理装置，包括：一感测器，包括多个像素点，每一像素点用以感测一影像的三原色光及一红外光；以及一处理器，连接该感测器，该处理器根据该红外光的一真实响应值对每一原色光的一距离响应参数以计算该原色光的一第一串音响应值、根据该影像的一影像位元长度与该原色光的该距离响应参数以计算该原色光的一映射比例、以及根据该原色光的该第一串音响应值与该映射比例以取得在无该红外光的串音干扰下该原色光的一真实响应值。
本发明实施例提供再一种影像处理装置，包括：一感测器，包括多个像素点，每一像素点用以感测一影像的三原色光及一红外光；以及一处理器，连接该感测器，该处理器计算一第一比例的该红外光的一真实响应值以取得一第一亮度分量、计算一第二比例的该红外线的该真实响应值以取得一第二亮度分量、依据该第二亮度分量与每一原色光的一真实响应值对该影像的一影像位元长度的比例以取得一第三亮度分量、以及将该原色光的该真实响应值、该第一亮度分量、及该第三亮度分量相加以增强该影像的亮度。
本发明实施例提供一种影像处理方法，应用于一装置，该装置包括一感测器及连接该感测器的一处理器，该感测器包括多个像素点，每一像素点用以感测一影像的三原色光及一红外光，该处理器执行该影像处理方法包括：根据该三原色光对该红外光的串音干扰以计算在无该三原色光的串音干扰下该红外光的一真实响应值；根据该红外光的该真实响应值对该三原色光的串音干扰以计算在无该红外光的串音干扰下该三原色光的一真实响应值；以及根据该红外光的该真实响应值的亮度与该三原色光的该真实响应值以增强该影像的亮度。
本发明提出的影像处理装置及方法可修正镜头的角度偏移(angularshift)现象以重建色彩误差、可消除硬件暗电流效应以准确还原色彩表现、可补偿rgb色彩的响应值动态范围以减少色偏现象、以及在低光源环境下仍可通过ir主动光源以增强rgb彩色影像的亮度。
为了能更进一步了解本发明为实现既定目的所采取的技术、方法及技术效果，请参阅以下有关本发明的详细说明、附图，相信本发明的目的、特征与特点，当可由此得以深入且具体的了解，然而说明书附图仅提供参考与说明用，并非用来对本发明加以限制者。
附图说明
图1是本发明一实施例的影像处理装置示意图。
图2是本发明一实施例的影像处理方法示意图。
图3是本发明另一实施例的影像处理方法示意图。
图4是本发明又一实施例的影像处理方法示意图。
图5是本发明再一实施例的影像处理方法示意图。
附图标记说明：
1影像处理装置
2感测器
3处理器
4红外光源发射器
s101、s103、s105、s301、s303、s305、s501、s503、s505、s701、s703、s705、s707步骤
具体实施方式
在下文将参看说明书附图更充分地描述各种例示性实施例，在说明书附图中展示一些例示性实施例。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述的例示性实施例。确切而言，提供这些例示性实施例使得本发明将为详尽且完整，且将向熟习此项技术者充分传达本发明概念的实施方式。在诸附图中，可为了清楚而夸示层及区的大小及相对大小。类似数字始终指示类似元件。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种元件或信号等，但这些元件或信号不应受这些术语限制。这些术语乃用以区分一元件与另一元件，或者一信号与另一信号。另外，如本文中所使用，术语「或」视实际情况可能包括相关联的列出项目中的任一者或者多者的所有组合。
图1是本发明一实施例的影像处理装置示意图。本发明的影像处理装置1包括：感测器2、处理器3、及红外光源发射器4，其中处理器3连接感测器2及红外光源发射器4。感测器2包括多个像素点，感测器2用以感测影像，像素点用以感测影像的三原色光(rgbcolors)及红外光(irray)，其中像素点可为阵列或任意排列方式，本发明不以此为限。处理器3用以执行影像处理方法。红外光源发射器4用以发射ir主动光源。
图2是本发明一实施例的影像处理方法示意图。当在环境光源充足的情况下，感测器2感测影像的三原色光rgb及红外光ir以便处理器3执行影像处理方法。当在环境光源不足的情况下，红外光源发射器4发射ir主动光源以使得物件得以反射红外光ir，而感测器2感测影像的三原色光rgb及红外光ir以便处理器3执行影像处理方法。处理器3执行影像处理方法包括：s101：根据三原色光rgb对红外光ir的串音干扰(crosstalk)计算在无三原色光rgb的串音干扰下红外光ir的真实响应值(trueresponsevalue)以便输出ir影像；s103：根据红外光ir的真实响应值对三原色光rgb的串音干扰计算在无红外光ir的串音干扰下三原色光rgb的真实响应值以便输出rgb影像；以及s105：根据红外光ir的真实响应值的亮度与三原色光rgb的真实响应值增强影像的亮度以便输出增强型rgb影像。
图3是本发明另一实施例的影像处理方法示意图。步骤s101中，处理器3根据三原色光rgb对红外光ir的串音干扰以计算在无三原色光rgb的串音干扰下红外光ir的真实响应值包括：s301：根据每一原色光对红外光ir的串音干扰程度参数以计算对应每一原色光的红外光ir的第一串音响应值；s303：根据三原色光rgb的第一串音响应值与三原色光rgb对红外光ir的一串音干扰比重以计算红外光ir的第二串音响应值；以及s305：将第二串音响应值减去一干扰响应值以取得在无三原色光rgb的串音干扰下红外光ir的真实响应值。
处理器3计算在无三原色光rgb的串音干扰下红外光ir的真实响应值的方程式如下表示。
ircrosstalk_r＝irori–α1rori
ircrosstalk_g＝irori–α2gori
ircrosstalk_b＝irori–α3bori
ircrosstalk_rgb＝β1ircrosstalk_r+β2ircrosstalk_g+β3ircrosstalk_b
iroutput＝ircrosstalk_rgb-iroffset
其中，串音干扰程度参数αi是使用者根据感测器2吸收光谱特性而设定的比例参数，每一原色光的串音干扰程度参数αi不相同，其中i＝1～3。串音干扰比重βi是红外光ir分别被三原色光rgb影响的比重，每一原色光的串音干扰比重βi不相同，其中i＝1～3。irori是红外光ir的原始响应值。α1rori是原色光r的串音干扰程度参数α1与原色光r的原始响应值rori的乘积。ircrosstalk_r是红外光ir的原始响应值irori减去乘积α1rori后取得的红外光ir的第一串音响应值。α2gori是原色光g的串音干扰程度参数α2与原色光g的原始响应值gori的乘积。ircrosstalk_g是红外光ir的原始响应值irori减去乘积α2gori后取得的红外光ir的第一串音响应值。α3bori是原色光b的串音干扰程度参数α3与原色光b的原始响应值bori的乘积。ircrosstalk_b是红外光ir的原始响应值irori减去乘积α3bori后取得的红外光ir的第一串音响应值。β1ircrosstalk_r是原色光r的第一串音响应值ircrosstalk_r与第一串音干扰比重β1的乘积。β2ircrosstalk_g是原色光g的第一串音响应值ircrosstalk_g与第一串音干扰比重β2的乘积。β3ircrosstalk_b是原色光b的第一串音响应值ircrosstalk_b与第一串音干扰比重β3的乘积。ircrosstalk_rgb是将三原色光rgb的乘积相加后取得的红外光ir的第二串音响应值。iroffset是暗电流干扰响应值。iroutput是红外光ir的真实响应值。
步骤s101所实现的技术效果为找出无三原色光rgb的串音干扰与硬件影响下红外光ir的真实响应值iroutput。在红外光源发射器4关闭以及感测器2感测无红外光ir的影像时找出硬件影响的偏差，即假设环境光源并无红外光ir且感测器2感测红外光ir时，感测器2感测红外光ir的响应值数值应为0，然而红外光ir的响应值仍然存在某些数值，如不为0的数值，此时即表示硬件影响所产生的偏差，如感测器2产生干扰响应值iroffset，其中干扰响应值不限制由感测器2产生，亦可由其他硬件所产生，本发明不以此为限。步骤s101不但扣除三原色光rgb的串音干扰，同时也消除硬件影响所产生的响应值偏差。
图4是本发明又一实施例的影像处理方法示意图。步骤s103中，处理器3根据红外光ir的真实响应值对三原色光rgb的串音干扰以计算在无红外光ir的串音干扰下三原色光rgb的真实响应值包括：s501：根据红外光ir的真实响应值对每一原色光的距离响应参数以计算每一原色光的第三串音响应值；s503：根据影像的影像位元长度与距离响应参数以计算每一原色光的映射比例；以及s505：根据每一原色光的第三串音响应值与映射比例以取得在无红外光ir的串音干扰下每一原色光的真实响应值。
处理器3计算在无红外光ir的串音干扰下三原色光rgb的真实响应值的方程式以原色光r为例如下表示。
γloc_r＝f_distance(γr)
routput＝(rori–γloc_riroutput)*n/(((n-1)-γloc_riroutput)+1)
其中，γr是感测器2的原色光r光谱特性响应参数，γloc_r是原色光r的距离响应参数，f_distance(x)是感测器2的每一原色光光谱特性响应参数随着像素点中每一原色光与影像的中心点之间的距离递增而线性产生距离响应参数的方程式，每一原色光的距离响应参数不相同。rori是原色光r的原始响应值。iroutput是红外光ir的真实响应值。γloc_riroutput是红外光ir的真实响应值iroutput与对原色光r的距离响应参数γloc_r的乘积。(rori–γloc_riroutput)是原色光r的原始响应值rori减去乘积γloc_riroutput后取得原色光r的第三串音响应值。n是影像的影像位元长度，即n＝2j，j＝位元数。(((n-1)-γloc_riroutput)+1)是影像位元长度n与乘积γloc_riroutput的差值。n/(((n-1)-γloc_riroutput)+1)是影像位元长度n除以差值后取得的映射比例。routput是原色光r的第三串音响应值与映射比例相乘后取得的原色光r的真实响应值。
另外，取得原色光g与b的真实响应值的方式相似于原色光r，故于此不在赘述。因此，影像处理装置1可分别通过三原色光rgb的方程式以取得三原色光rgb的真实响应值。
步骤s103所实现的技术效果为调整受到红外光ir影响的三原色光rgb的响应值动态范围、找出无红外光ir的串音干扰下三原色光rgb的真实响应值、以及修正影像的色彩误差。假设8位元时，则n＝256，即理想上三原色光rgb的响应值动态范围为0～255。而当受到红外光ir影响时，三原色光rgb的响应值动态范围可能为0～k，k<255，即三原色光rgb的响应值动态范围受到红外光ir影响而变动，因此通过步骤s103调整三原色光rgb的响应值动态范围以接近影像的三原色光rgb的响应值动态范围。另外，由于镜头的物理特性(角度偏移现象)，使得影像由中心到边缘的红外光ir渗透三原色光的程度逐渐产生偏移，因此通过步骤s103通过影像中心点到影像上任一像素点的距离递增而线性补偿三原色光rgb的响应值以改善影像周围因红外光ir渗透导致色彩偏移而造成色彩流失的现象。
图5是本发明再一实施例的影像处理方法示意图。步骤s105中，处理器3根据红外光ir的真实响应值的亮度与三原色光rgb的真实响应值以增强影像的亮度包括：s701：计算第一比例的红外光ir的真实响应值以取得第一亮度分量；s703：计算第二比例的红外线ir的真实响应值以取得第二亮度分量；s705：依据第二亮度分量与每一原色光的真实响应值对影像的影像位元长度的比例以取得第三亮度分量；以及s707：将每一原色光的真实响应值、第一亮度分量、及第三亮度分量相加以增强影像的亮度。
处理器3增强影像的亮度的方程式以原色光r为例如下表示。
renhanced_output＝routput+iroutput*(x-δ)/x+iroutput*(routput/(n-1))*(δ/x)
其中，x是混合精确度参数，δ是混合比例参数，混合精确度参数x大于0，混合比例参数δ小于混合精确度参数x。(x-δ)是混合精确度参数与混合比例参数的差值。(x-δ)/x是差值(x-δ)除以混合精确度参数x后取得的第一比例。(δ/x)是混合比例参数δ除以混合精确度参数x后取得的第二比例。(routput/(n-1))是原色光r的真实响应值除以影像的影像位元长度。iroutput*(x-δ)/x是第一亮度分量。iroutput*(δ/x)是第二亮度分量。iroutput*(routput/(n-1))*(δ/x)是第三亮度分量。renhanced_output是原色光r的真实响应值routput、第一亮度分量iroutput*(x-δ)/x、及第三亮度分量iroutput*(routput/(n-1))*(δ/x)相加后增强影像的原色光r的亮度。
另外，增强影像的原色光g与b的亮度方式相似于原色光r，故于此不在赘述。因此，影像处理装置1可分别通过三原色光rgb的方程式以增加影像的亮度。
步骤s105所实现的技术效果为在低光源环境下，通过ir主动光源提供的亮度，使得三原色光rgb的真实响应值加入红外光ir的真实响应值的部分亮度以便增加rgb彩色影像的亮度。
综上所述，本发明提供的影像处理装置及方法，可实现的技术效果为修正镜头的角度偏移(angularshift)现象以重建色彩误差、消除硬件暗电流效应以准确还原色彩表现、降低rgb彩色影像受到ir串音干扰的影响以改善rgb彩色影像色彩偏移而造成色彩流失的现象、补偿rgb色彩的响应值动态范围以减少色偏现象、以及在低光源环境下通过ir主动光源以增强rgb彩色影像的亮度。
以上所述仅为本发明的优选可行实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。