专利名称：用于自适应且自校准传感器绿色通道增益平衡的方法及设备的制作方法
技术领域：
本发明大体来说涉及图像校正方法，且更具体来说涉及用于自适应地移除绿色通 道奇偶失配的过程。
背景技术：
随着传感器像素数的增加，每一像素光电二极管的面积縮小。信号读出电路必须 关照读取及传送较弱的信号电平。对于具有ROB贝尔图案的传感器来说，奇数及偶数 行上的绿色通道通常经由不同的电路读出。更具体来说，光电二极管、电子泄漏、光 入射角及信号输出电路的金属线布局导致贝尔图案传感器的绿色通道展现不平衡的响 应。此不平衡包含全局及局部变异两者。虽然所述电路布局是相同的，但有缺陷的制 造过程可导致所述读出与放大器电路失配。而且，色彩滤波器阵列与透镜镀膜及安装 的不一致等也可导致绿色通道展现奇偶失配。因此，总的绿色通道奇偶失配是由位置 决定且不均匀的。所述绿色通道奇偶失配使图像处理任务困难，因为所述绿色通道奇 偶失配转化为如图1中所示的伪影的交叉阴影线图案。
在图1中，通过去马赛克操作产生平场图像IO。此平场图像应该是平的，因为所 述透镜由漫射透镜覆盖。在所述图像被处理之后，其上不应存在任何纹理。然而，如 在图1中所见，交叉阴影线图案在整个图像10中普遍存在。进一步研究表明此伪影是 由绿色通道奇偶失配导致的。
去马赛克算法通常很大程度上依据绿色通道信号来确定边缘，因为贝尔像素的 50%是绿色的。图10B中显示实例性贝尔像素布置。然而，如果存在绿色通道奇偶失 配，那么将所述失配视为边缘且去马赛克模块尝试在垂直或水平方向上保留所述边缘。 最终结果是去马赛克处理之后的图1中所示的交叉阴影线图案。当所述图像放大约 300%时，此伪影最明显。
一种失败的解决方案提出全局绿色通道增益平衡。如果通道读出及放大器电路是 绿色奇偶失配的仅存因素，那么应用全局绿色通道增益平衡可解决所述问题。然而，
对于SonyTM 3MP传感器来说，使用全局绿色通道增益平衡并不起作用。进一步分析 表明所述奇偶失配在所述整个图像中是不均匀的。
将所述3MP传感器图像分割为每一区域具有32x32像素的区域，对所述平场图 像执行基于区域的通道平衡校准。图2A及2B中显示用以平衡所述绿色通道所需要的 Gr增益及Gb增益。如可从图2A及2B容易地看出，所述绿色通道平衡在所述整个图 像中是非常不均匀的。因此，应用全局绿色通道增益不能够解决所述问题或消除图1 中所示的伪影的交叉阴影线图案。
另一种可行的解决方案釆用自适应贝尔滤波器。仅可将所述自适应贝尔滤波器应 用于绿色像素上以去除奇偶失配。问题是，对于研究中的索尼传感器来说，某些区域 显示13%的绿色通道奇偶失配。如果打算去除所述大的失配，那么图像中的真实边缘 也可受到损害。因此，所述图像将变模糊。
此外，自适应贝尔滤波器的计算成本在软件/固件方面相对较高。所述计算还将向 快照图像处理添加相当大量的延迟时间。图3图解说明在将自适应贝尔滤波器应用到 图1的平场图像之后的所得图像20。所得图像20已穿过整个处理管线。在所述自适 应贝尔滤波器中应用适量的平滑。虽然在所得图像20中去除了某些交叉阴影线图案伪 影，但某些仍存在。
如果在所述自适应贝尔滤波器中应用更大量的平滑，那么可完全移除所述交叉阴 影线图案，但此以图像中的模糊纹理为代价。
如果对贝尔域上的原始图像执行简单的平滑，那么边缘及纹理将受到损害。如果 迫使每一对绿色像素(Gr与Gb)相等，那么高频率边缘受到损害。
发明内容
本发明的目标是提供一种用于自适应绿色通道奇偶失配移除以实现所述失配所 产生的伪影的消失的方法。
本发明的另一目标是提供一种自适应绿色通道奇偶失配移除模块以实现所述失 配所产生的伪影的消失。
本发明的又一 目标是提供可由处理器执行的程序指令以自适应地移除绿色通道 奇偶失配以实现所述失配所产生的伪影的消失。
本发明的再一目标是提供以使计算复杂性降到最低且不降低图像处理速度的方 式容易地实施的自适应绿色通道奇偶失配移除。
本发明的又一 目标是提供以以下方式的自适应绿色通道奇偶失配移除自适应地 校准以逐区域地校正所述奇偶失配以补偿图像内容变异以及室内及室外图像变异。
本发明的再一目标是提供以自适应地补偿空间变化绿色通道奇偶失配方式的自 适应绿色通道奇偶失配移除。
本发明的又一 目标是提供以以下方式的自适应绿色通道奇偶失配移除使用自适
应方法来解决具有包括高频率边缘及垂直方向或水平方向上的边缘在内的边缘的巨大 保留的绿色通道奇偶失配。
鉴于以上目标，本发明的目标由用于自适应绿色通道奇偶失配移除的包含以下步 骤的方法实现将来自传感器的原始图像分割为多个区域；及针对每一区域自适应地 移除所述原始图像中的绿色通道奇偶失配以在经去马赛克处理的图像中实现伪影的消 失。
本发明的目标由通过对所述原始图像逐区域地校准红色行的绿色(GR)通道增 益及蓝色行的绿色(GB)通道增益来自适应地移除所述绿色通道奇偶失配的方法实现。 在所述校准步骤之后，然后逐区域地将针对每一相应区域校准的所述GR通道增益应 用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到 所述蓝色行中的绿色像素以移除所述绿色通道奇偶失配。
本发明的目标由通过以下方式自适应地移除绿色通道奇偶失配的方法实现针对
所述原始图像中的每一区域，通过基于中心绿色像素的第一加权因数产生经加权中心
绿色像素值；将基于第一层次层中的相对于所述区域的所述中心绿色像素的周围绿色 像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和；将基于第二层次 层中的相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权 绿色像素值相加以形成第二层次层和；将所述经加权中心绿色像素值、所述第一层次 层和及所述第二层次层和相加以形成经加权绿色像素总和。在产生所述经加权绿色像 素总和之后，将所述经加权绿色像素总和规范化。所述经规范化的经加权绿色像素总 和替代所述区域的所述中心绿色像素值以移除绿色通道奇偶失配。
本发明的目标由从原始贝尔图像移除绿色通道奇偶失配的方法实现。
本发明的目标由在去马赛克处理之前通过在校准增益时对图像逐区域地移除边 缘像素来移除绿色通道奇偶失配的方法实现。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现，所述方法在校准 时滤除出每一区域中的坏像素及边缘像素以形成一组有效像素对。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现，所述方法在校准 时对所述区域中的有效像素对的数量进行计数，计算红色行的有效绿色像素的平均数 量，且计算蓝色行的有效绿色像素的平均数量。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现，所述方法在校准 时用先前图像的GR通道增益及GB通道增益对GR通道增益及GB通道增益进行滤波 以减小噪声方差。所应用的GR通道增益及所应用的GB通道增益分别是经滤波的GR 通道增益及经滤波的GB通道增益。
本发明的目标由用于自适应绿色通道奇偶失配移除的方法实现，所述方法包括将 每一区域中的红色行中的绿色像素与所述GR通道增益相乘；将蓝色行中的绿色像素 与所述GB通道增益相乘，以校正所述奇偶失配并实现去马赛克处理之后的伪影的消 失。
本发明的目标由程序码实现，所述程序码由处理装置执行且包含在执行时可操作
以在图像中逐区域地校准GR通道增益及GB通道增益的指令。所述指令还可操作以 逐区域地应用针对每一相应区域校准的所述GR通道增益及所述GB通道增益以自适 应地从所述图像移除绿色通道奇偶失配。
本发明的目标由包含以下装置的自适应绿色通道奇偶失配移除模块实现用于在 图像中逐区域地校准GR通道增益及GB通道增益的装置。所述模块还包括用于逐区 域地将针对每一相应区域校准的所述GR通道增益应用到红色行中的绿色像素且将针 对每一相应区域校准的所述GB通道增益应用到蓝色行中的绿色像素的装置。
本发明的目标由自适应绿色通道奇偶失配移除模块实现，所述模块包含用于基于 中心绿色像素的第一加权因数产生经加权中心绿色像素值的装置。所述模块进一步包 含用于将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的 第二加权因数的经加权绿色像素值相加以形成第一层次层和的装置；及用于将基于第 二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经 加权绿色像素值相加以形成第二层次层和的装置。所述模块还包括用于将所述经加 权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像 素总和的装置，用于将所述经加权绿色像素总和规范化的装置，及用于用所述经规范 化的经加权绿色像素总和替代所述中心绿色像素的像素值以移除绿色通道奇偶失配的 装置。
本发明的目标由程序码实现，所述程序码由处理装置执行且包含在执行时可操作 以基于中心绿色像素的第一加权因数产生的经加权中心绿色像素值的指令。所述程序 码进一步可操作以将基于第一层次层中相对于所述区域的所述中心绿色像素的周围
绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和，且将基于第 二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经
加权绿色像素值相加以形成第二层次层和。所述程序码进一步可操作以将所述经加 权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像 素总和，将所述经加权绿色像素总和规范化，且用所述经规范化的经加权绿色像素总 和替代所述中心绿色像素的像素值以移除绿色通道奇偶失配。
当结合附图阅读时将更好地理解以上发明内容以及对本发明的优选实施例的以 下详细说明。出于图解说明本发明的目的，图式中显示目前为优选的实施例。然而， 应了解，本发明并不限于所显示的精确布置。图式中
图1图解说明去马赛克操作之后的平场图像(放大300免)；
图2A图解说明绿色通道奇偶失配分布的Gb增益分布的曲线图，其中每一点表 示一个区域(32x32像素)； 图2B图解说明所述绿色通道奇偶失配分布的Gr增益分布的曲线图，其中每一点
表示一个区域(32x32像素)；
图3图解说明在应用用以通过适当的平滑处置所述绿色通道奇偶失配的自适应贝
尔滤波器之后的经修改平场图像(放大300%);
图4图解说明室内图像的绿色通道失配(Gr/Gb)的曲线图，其中每一点表示一
个区域(32x32像素)；
图5图解说明室外图像的绿色通道失配(Gr/Gb)的曲线图，其中每一点表示一
个区域(32x32像素)；
图6A-6B图解说明绿色通道奇偶失配移除方法的自适应逐区域绿色通道增益自
校准过程的流程图7图解说明所述绿色通道奇偶失配移除方法的校正过程的流程图8图解说明用以计算有效像素对的平均GB及GR值的流程图9图解说明用以计算每一GB、 GR对的平均增益的流程图10A图解说明具有4x3区域的经分割原始贝尔图像，其中一个区域具有交叉阴
影线；
图10B图解说明图10A的分割为8x8像素的交叉阴影线区域；
图11图解说明并入有绿色通道奇偶失配移除模块的快照成像装置的方块图12图解说明逐区域增益校正及去马赛克之后的平场图像，其中每一区域大小
是32x32 (放大300%);
图13A图解说明具有绿色像素索引的贝尔图案；
图13B图解说明具有绿色像素索引及红色像素索引的贝尔图案；
图14A-14E图解说明用于自适应通道平衡的替代性自适应绿色通道奇偶失配移
除方法的流程图15A图解说明不具有所述自适应通道平衡的平场图像(放大300%且具有去马 赛克处理)；
图15B图解说明具有所述自适应通道平衡的平场图像(放大300%且具有去马赛 克处理)；
图16A图解说明不具有所述自适应通道平衡的分辨率测试卡图像(中心圈)(放 大300%且具有去马赛克处理)；
图16B图解说明具有所述自适应通道平衡的分辨率测试卡图像(中心圈)(放大 300%且具有去马赛克处理)；
图17A图解说明不具有所述自适应通道平衡的分辨率测试卡图像(垂直线)(放 大300%且具有去马赛克处理)；
图17B图解说明具有所述自适应通道平衡的分辨率测试卡图像(垂直线)(放大 300%且具有去马赛克处理)；
图18A图解说明不具有所述自适应通道平衡的分辨率测试卡图像(水平线)(放
大300%且具有去马赛克处理)；
图18B图解说明具有所述自适应通道平衡的分辨率测试卡图像(水平线)(放大
300%且具有去马赛克处理)；
图19A图解说明不具有所述自适应通道平衡的MacBeth测试卡图像(放大300% 且具有去马赛克处理)；
图19B图解说明具有所述自适应通道平衡算法的MacBeth测试卡图像(放大300免 且具有去马赛克处理)；
图20A图解说明不具有所述自适应通道平衡而具有去马赛克处理的MacBeth测 试卡图像；及
图20B图解说明具有所述自适应通道平衡且具有去马赛克处理的MacBeth测试卡 图像。
具体实施例方式
虽然本发明容许许多不同形式的实施例，但本说明书及附图仅揭示某些形式作为 使用本发明的实例。并非打算将本发明限定为所说明的实施例，且将在随附权利要求 书中指出本发明的范围。
下文通过到快照图像的具体应用来说明根据本发明的绿色通道奇偶失配移除方 法的优选实施例。然而，所属技术领域的技术人员将了解，本发明还很好地适用于需 要绿色通道校正的其它类型的图像。现在详细参照图式，其中所有图式中使用相同的 编号来指示相同的元件，图6A-6B及7中显示根据本发明的自校准过程及校正过程， 其大体指示为100及120。
然而，为准许理解本发明，奇偶失配是指红色行上的绿色像素存在红色与绿色像 素失配且指蓝色行上的绿色像素存在蓝色与绿色像素失配。由于上文提及的多个原因， 绿色像素响应是不同的，即使所述景物是平滑的平场图像。此失配通常表征为Gr/Gb 的比率。其中Gr意指红色行上的绿色像素而Gb意指蓝色行上的绿色像素。理想地， 此比率应为1.0。
如图2A及2B中所示，所述绿色通道奇偶失配在整个图像中非常不均匀。不能 够以简单的方式建模所述失配图案。很明显，所述绿色通道失配从传感器到传感器不 同。此外，同一传感器模式的不同模块可偏离。通过将图4中的室内图像的绿色通道 失配与同一传感器所捕获的图5中的室外图像的绿色通道失配相比较，可容易地看出 所述绿色通道失配还取决于图像内容。
在第一实例性实施例中，所述绿色通道奇偶失配移除方法包括结合图6A-6B说明 的自适应逐区域绿色通道增益自校准过程100及结合图7说明的校正过程120。大体 来说，所述绿色通道奇偶失配移除方法通过自适应逐区域绿色通道增益自校准过程 100补偿所述绿色通道失配，且然后逐区域地将所述绿色通道增益应用到在校正过程
120中从快照成像装置200的传感器模块210 (图ll)输出的每一最终快照图像。
现在参照图6A-6B、 8、 9及IOA-IOB，自适应逐区域绿色通道增益自校准过程 100以步骤S102开始，其中从传感器模块210 (图ll)输出的整个图像150 (例如原 始图像)被分割为具有MxM像素(图10B)的XxY区域(图10A)，其中M是2 的倍数。在所述实例性实施例中，图像150被分割为4x3 (X=4， Y=3)区域，其中每 一区域被分割为8x8像素。对于此实例，图像150中有12个区域。标为Rl的阴影线 区域被分割为MxM像素，如图10B中所示。图像150为原始贝尔图像且尚未经去马 赛克处理230。因此，图10B图解说明原始贝尔代表区域R1。
仅出于例示的目的，图10B中的第一行是具有交互绿色与蓝色像素的蓝色行。所 述蓝色行中的绿色像素表示为GB。紧跟所述第一行的第二行是具有交互绿色与红色 像素的红色行。所述红色行上的绿色像素表示为GR。在所述实例性实施例中，图10B 中的第一列包括交互绿色与红色像素。
再次返回到图6A的流程图，步骤S102跟随其中将所述区域设定为1的步骤S103。 步骤S103后跟其中针对每一区域计算红色行及蓝色行上的毗邻绿色像素GR与GB的 比率的步骤S104。在所述实例性实施例中，选择每一区域的两个GB、 GR像素对。 步骤S104后跟其中滤除出坏像素及边缘像素的步骤S106。
可基于同一颜色的相邻像素检测坏像素。举例来说，如果当前像素与同一颜色的 相邻像素的比较超过某阈值，那么可确定所述当前像素是坏的。另一方面，边缘像素 检测可采用AxA大小的窗口及2-D巻积。将所述2-D巻积的输出与阈值相比较。如 果所述输出大于所述阈值，那么所述输出是边缘。否则，所述输出不是边缘。存在多 种坏像素检测及边缘像素检测算法。因此，上文对坏像素检测及边缘像素检测的说明 是仅出于例示的目的。
步骤S106后跟其中计算所述区域内的非坏像素的GB及GR像素值的平均值(表 示为Gr—avg及Gb—avg)的步骤S108。步骤S108后跟图6B中的步骤SllO。下文分 别基于方程式Eq.(l)及Eq.(2)计算所述Gr—avg及Gb—avg，论述如下。
现在参照图8，说明用于计算所述Gr_avg及Gb—avg像素值的过程。在跟随此章 节的附件中还提供用于计算Gr_aVg及Gb一avg的实例性码。步骤S108的过程以其中 计数或确定考虑中的区域中的有效像素对的数量(#VP)的步骤S140。所述有效对是 在滤波步骤S106之后仍存在的非坏像素对。步骤S140后跟其中将i设定为0的步骤 S142。步骤S142后跟步骤S144 (确定步骤)，其确定i是否小于所述区域的有效对 的数量(#VP)，如果所述确定为"是"，那么在步骤S146处计算红色行中非坏绿色像 素GR的GR像素值的和(表示为Gi^sum)。步骤S146后跟其中计算蓝色行中非坏 绿色像素GB的GB像素值的和(表示为Gb—sum)的步骤S148。步骤S148后跟其中 将i增加1的步骤S150。
步骤S150返回到步骤S144。步骤S144、 S146、 148及150是回路且重复直到i 小于所述有效对数量。因此，在步骤S146处，将所述和增加所述区域中每一对应非坏
GR像素的绿色像素值。在步骤S148处，将所述和增加每一对应非坏GB像素的绿色 像素值。 一旦将所有非坏GR及GB像素单独相加，那么步骤S144后跟其中基于方程 式Eq.(l)计算Gr—avg (区域的红色行中的非坏绿色像素的平均像素值)的步骤S152， Eq.(l)定义为
Gr一avg = Gr—sum/ Number of Valid P纽rs per Region,方程式(l)
步骤S152后跟其中基于方程式Eq.(2)计算Gb_avg (区域的蓝色行中的非坏绿色像素 的平均像素值)的步骤S154， Eq.(2)定义为
Gb一avg Gb一sum/ Number of VaHd Pairs per Region.方程式(2)
现在参照图6B及图9 ，在步骤S110处计算2个通道绿色像素值Gr—gain与Gb_gain 的平均增益。此意指对较弱的绿色通道应用>1的数字增益，而对较强的绿色通道应用 <1.0的数字增益。注意，此过程的目标是平衡来自所述2个通道的绿色像素，而不是 在不同颜色的通道之间，因此应用<1.0的增益不将导致色移。因此，可在步骤S160 处在以下方程式Eq.(3)中，在步骤S162处在Eq.(4)中且在步骤S164处在方程式Eq.(5) 中导出每一 (GB，GR)对的通道增益，所述方程式定义为
avg - (Gr—avg + Gb一avgy2; 方程式(3) Gr—gain - avg/GR一曰vg: 方程式(4) Gb_jgain = 阔； 方程式(5)
其中avg是从在方程式Eq.(l)中计算的红色行中有效(非坏)绿色像素GR的平 均值与在方程式Eq.(2)中计算的蓝色行中有效(非坏)绿色像素GR的平均值计算的
所述区域中非坏或有效像素对的平均值。
步骤S110产生Gr—gain及GLgain的通道增益，其被传递到步骤S112。在步骤 S112处，可通过先前图像的通道增益(Gr—gain及Gbjain)对当前图像150的Gr_gain 及Gb_gain进行低通滤波以减小噪声方差。将所述当前图像的经滤波Gr_gain及 Gb一gain表示为Gr—gain'及Gb_gain'。
表示步骤S112的方框具有表示为G^gain'及Gb—gain'的两个输出，其被存储以用 于校正过程中的计算。步骤S112后跟其中增加所述区域的步骤S114。
重复图6A-6B中的过程以计算Gr_gain及Gb—gain或每一区域的Gr—gain'及 Gb_gain'(如果经滤波的话)。相应地，步骤S114后跟确定步骤S116以确定是否还 有区域。如果"是"，那么步骤S116返回到图6A的步骤S104以自校准下一区域。否 则，如果没有区域，那么用以校准所述两个通道增益的自校准过程100结束。
现在参照图7，现在将说明使用每一区域的Gi^gain'及Gb—gain'的校正过程120。 过程120以其中将区域设定为1的步骤S122开始。步骤S122后跟其中将蓝色行中的 每一绿色像素GB的像素值乘以Gl^gain'的步骤S124。步骤S124后跟其中将红色行 中的每一绿色像素GR的像素值乘以Gr』ain'的步骤S126。步骤S126后跟其中增加所
述区域的步骤S128，步骤S128后跟其中做出是否还有区域的确定的步骤S130。如果 "否"，那么过程120结束。否则，如果"是"，那么步骤S130返回到其中将校正应用到 下一区域的步骤S124。
通过32x32像素的区域大小，借助测试图像执行自校准及校正过程100及120， 且所述测试图像的去马赛克输出不再显示任何交叉阴影线图案。由于32x32的区域大 小足够小，因此经校正的图像不显示任何可观察到的区域边界伪影。然而，如果所述 区域大小太大(例如256x256)，那么块状伪影可变得可观察得到。图12显示去马赛 克处理之后的经校正图像10'。与图1相比，图12中的图像10'是较大的改善。
现在参照图11，快照成像装置200包括透镜202及具有图像处理单元212及色彩 滤波单元214的传感器模块210。色彩滤波单元214是产生原始贝尔图像的贝尔色彩 滤波器阵列。此原始贝尔图像由绿色通道奇偶失配移除模块220校正。从毗邻像素内 插单个像素位置处的所有三个原色红色、绿色及蓝色的传感器值。此内插过程由去马 赛克处理单元230实现。存在多种去马赛克方法，例如像素复制、双线性内插及中值 内插。自适应绿色通道奇偶失配移除模块220的输出向去马赛克处理单元230提供经 校正的原始贝尔图像。
可使用固件、软件及硬件来实施绿色通道奇偶失配移除模块220所执行的绿色通 道奇偶失配移除方法。对于固件实施方案来说，数字信号处理(DSP) 222 —次读取 一个区域，ARM(高级RISC机器)226将Gr—gain'及Gb—gain'供应到DSP 222。DSP 222 对所述绿色像素执行乘法。所述处理是在原地进行的，即，输入与输出像素共享同一 缓冲器228。换句话说，可直接用新的值替代所述图像像素而无需分配用于处理的另 一缓冲器。程序指令224在执行时可操作以执行自适应逐区域绿色通道增益自校准过 程100及校正过程120。
虽然将DSP 222及ARM 226显示为绿色通道奇偶失配移除模块220的部分，但 快照成像装置200可已经包括DSP 222及ARM 226以实现图像处理单元212、色彩滤 波单元214及去马赛克处理单元230中的功能。因此，用以执行程序指令224的处理 装置可能已经存在。
另一方面，对于软件实施方案来说，用编程语言编写的程序指令(例如但非限制， C码)在ARM226上运行以将原始图像(例如原始贝尔图像)分割为数个区域并使用 所述区域的G乙gain'及Gb—gain'对绿色像素执行乘法。ARM 226通常预先存在且可用 于执行程序指令224。因此，ARM226执行自校准及校正过程100及120两者。在所 述软件实施方案的情况下，所述处理也是在原地进行的，使得可直接用新的值替代所 述图像像素而无需分配用于处理的另一缓冲器。
对于硬件实施方案来说，只要查找表的大小不是问题便可将自校准及校正过程 100及120实施于硬件中。
绿色通道奇偶失配产生图像处理器的视频前端(VFE)处理的全新的问题。由于 不均匀失配分布的性质，全局通道增益不解决所述问题。逐区域校准及校正过程100
及120提供用以解决与所述不均匀失配分布相关的问题的有效且快速的方法。
图13A显示具有将在下文中更加详细说明的绿色像素索引的典型RGB贝尔图案。 结合图14A-14E的流程图及图13A-13B的图像说明用于自适应地平衡绿色通道以移除 奇偶失配的替代性自适应绿色通道奇偶失配移除方法300。在此实施例中，将修改程 序指令224 (图ll)以包括操作以执行本文中所说明的自适应绿色通道奇偶失配移除 方法300的指令。
自适应绿色通道奇偶失配移除方法300以其中获得原始图像(例如原始贝尔图像， 如最佳见于图13A中)的步骤S302开始。图13A具有加索引以准许理解方法300的 绿色像素。步骤S302后跟其中从所述图像产生NxN像素区域的步骤S304。在所述实 例性实施例中，N是奇数且等于5。步骤S304后跟其中选择中心绿色像素(CGP)的 步骤S306。在此实施例中，将所述CGP表示为图13A中的G22。步骤S306后跟其中 向CGP G22指派第一加权因数的步骤S308。在所述实例性实施例中，所述第一加权 因数是8。步骤S308后跟其中为距离CGP1个像素的区域NxN中的所有绿色像素指 派第二加权因数的步骤S310。在所述实例性实施例中，有四(4)个邻近绿色像素在 相对的绿色通道中且到CGP的距离为1。因此，这些具有1个像素的距离的邻近像素 将被称作"GP1"且共同定义第一层次层。所述第一层次层的GP1包括加索引为Gll、 G13、 G31及G33的绿色像素。在所述实例性实施例中，所述第二加权因数是四(4)。
步骤S310后跟其中向距离CGP G22两个(2)像素的绿色像素指派第三加权因 数的步骤S312。因此，这些具有2个像素的距离的邻近像素将被称作"GP2"且共同定 义第二层次层。在所述实例性实施例中，所述第二层次层中存在加索引为GOO、 G02、 G04、 G20、 G24、 G40、 G42及G44的8个GP2。因此，总的加权因数为32，因此可 容易地通过5个位的下移位或除以25进行规范化，其中所述像素值可由8、 10或12
位表示(使用二进制表示法)。将在下文中说明规范化。
步骤S312后跟其中设定并计算F-max、 F—min的步骤S314。 F—max是最大绿色 失配的比率的上限阈值。？_11^11是最大绿色失配的比率的下限阈值。步骤314后跟其 中计算偏移的步骤316，其中所述偏移是执行平滑的强度阙值。
绿色通道失配产生的一个重要因素是由于周围红色像素的串话干扰。即，Gr/Gb 通道变异取决于所述红色通道值。因此，所述偏移自适应于所述周围红色像素以正确 地移除空间变化绿色通道奇偶失配。在实例性实施例中，所述周围红色像素是索引且 表示为RIO、 R12、 R14、 R30、 R32及R34 (图13B)。在所述实例性实施例中，存 在六个(6)周围红色像素。所述偏移参数由方程式Eq.(6)定义为
Offset = k*mean(R10, R14, R30， R32, R34)方程式(6)
其中k是调整串话干扰的校正的量值的参数；且RIO、 R12、 R14、 R30、 R32、
R34表示对应的加索引红色像素的像素值。
此外，所述偏移由表示为偏移上限的常数限定以避免过大的偏移闽值。因此，步骤S316后跟其中如果偏移大于所述偏移上限那么在步骤S318处将所述偏移设定为偏 移上限或其它常数的步骤S317。步骤S318后跟步骤S319。然而，如果所述偏移不大 于所述偏移上限，那么步骤S317后跟步骤S319。
在步骤S319处，针对CGPG22，通过方程式Eq.(7)、 Eq.(8)及Eq.(9a.)计算变量 P_max、 P一min及G—sum，所述方程式定义如下
P一m欲- m欲(F一max * G22+;偏移)；方程式(7) P一min-m〗n(F—min*G22> 偏移>;及方程式(8)
G一sum - (322 3 方程式(9a)
其中G22表示中心像素G22的绿色像素值；P一max是所述绿色像素的最大值； 而P一min是绿色像素的最小值。此外，符号"《"表示3个位的上移位。换句话说，G一sum 等于绿色中心像素G22的像素值乘以其加权因数8 (23)。因此，还可将方程式Eq.(9a) 写作方程式Eq.9(b)，方程式Eq.9(b)定义如下
G—sum- G22的像素值，G22的加权因数。 方程式9(b)
可容易地看出，Eq.(9a)或Eq.(9b)中的G-sum产生基于中心绿色像素(CGP) G22 的第一加权因数的经加权中心绿色像素值。
步骤S319后跟其中在第一层次层中获得距离中心绿色像素(CGP) G22为1的 第一绿色像素的步骤S320。步骤S320后跟其中做出绿色像素GP1的像素值是否大于 或等于P—min且小于或等于P—max (参见步骤S322)的确定的步骤S322。换句话说， 步骤S322确定被评价的所述绿色像素是否在范围内。如果步骤S322处的确定为"是"， 那么步骤S322后跟其中将值G_sum增加上移位2个位的第一绿色像素GP1 (例如加 索引像素Gll)的绿色像素值以产生所述第一层次层的经加权像素值的步骤S324。更 具体来说，通过方程式Eq.(10a)或Eq.(10b)增加G—sum:
G一糾m +。 GP1 2;或 方程式(1 Oa)
G一sum - G一sum + (GPPGP1的加权因数) 方程式(10b)
(所述第一层次层的加权因数，=4)
其中GP1是所述中心绿色像素周围的第一层次层中的加索引绿色像素的像素值。 在所述实例性实施例中，所述第一层次层中的GPl包括Gll、 G13、 G31及G33。因 此，如果被评价的绿色像素值GP1在P_min与P—max所定义的范围内，那么将Eq.(10a) 或Eq.(10b)的G_sum增加乘以所述第一层次层加权因数(4)或(22)的每一 GP1 (Gll、 G13、 G31及G33)的像素值。
另一方面，如果步骤S322处的确定为"否"，那么绿色像素GP1的像素值不大于 或等于P—min及/或不小于或等于P—max。换句话说，被评价的绿色像素值GP1超出 范围。因此，步骤S322后跟其中将值G一sum增加表示为G22的中心绿色像素值的上
移位2的像素值的步骤S326。更具体来说，通过方程式Eq.(lla)或Eq.(llb)来增加 G—sum:
<formula>formula see original document page 22</formula> 方程式(l 1 a)
<formula>formula see original document page 22</formula> (G22*GP1的加权因数) 方程式(llb)
(所述第一层次层的加权因数，=4) 其中G22表示加索引中心绿色像素G22的像素值。给予所述第一层次层的G13、
G31及G33相同的操作及加权。如果被评价的绿色像素值GPl超出P—min与P一max
所定义的范围，那么使用Eq.(lla)或Eq.(llb)处的G—sum方程式。可在Eq.(lla)或
Eq.(llb)中容易地看出，所述层次层的超出范围的绿色像素被中心绿色像素G22的像
素值替代。
步骤S324及S326后跟步骤S328以确定是否存在另一 GP1。如果是，那么步骤 S328返回到步骤S320，以便基于下一 GPl的像素值重新评价步骤S322、 S324、 S326。
在步骤S320、 S322、 S324、 S326及S328所定义的回路的末尾，Eq.(10a)、 (lOb)、 (11a)及/或ll(b)的G_sum已将所述第一层次层的经加权绿色像素值加在一起，其通常 形成第一层次层和。在所提供的所提出程序码中，所述G—sum方程式还将所述第一层 次层和加入到先前针对所述经加权中心绿色像素值计算的G_sum。
当所述第一层次层中不再有GP1时，步骤S328后跟其中在第二层次层中获得距 离中心绿色像素(CGP) G22为2的第一绿色像素的步骤S330。步骤S330后跟其中 做出绿色像素GP2的像素值是否大于或等于P_min且小于或等于P_max (参见步骤 S332)或是否在范围中的确定的步骤S332。如果步骤S332处的确定为"是"，那么步 骤S332后跟其中将值G—sum增加第一绿色像素GP2 (例如加索引像素GOO)的绿色 像素值的步骤S334。更具体来说，通过方程式Eq.(12a)或Eq.(12b)来增加所述G—sum: G—,+-GP2;或 f"程g(12a) G一sum - G一sum + GP2力P2的加权因数 方程式(12b)
(所述第二层次层的加权因数，=1)
其中GP2是所述第二层次层中加索引绿色像素的像素值。在所述实例性实施例 中，所述第二层次层中的GP2包括G00、 G02、 G04、 G20、 G24、 G42及G44。因此， 如果被评价的绿色像素值GP2在P_min与P—max所定义的范围内，那么由于加权因 数为1 ，因此G—sum增加所述GP2的像素值。
另一方面，如果步骤S332处的确定是绿色像素GP2的像素值不大于或等于P一min 及/或不小于或等于P一max或超出范围，那么步骤S332后跟其中将值G—sum增加表示 为G22的中心绿色像素值的像素值的步骤S336。更具体来说，通过方程式Eq.(13a) 或Eq.(13b)增加所述G—sum:
Gjum+-G22;或 方程式(13a) G_sum = (3一si8TJ + (G22，GP2的加权因数》方程式(i3b)
(所述第二层次层的加权因数，=1)
其中G22表示加索引中心绿色像素G22的像素值。给予所述第二层次层中表示 为GOO、 G02、 G04、 G20、 G24、 G42及G44的GP2相同的操作及加权。如果被评价 的绿色像素值GP2超出P_min与P—max所定义的范围，那么使用Eq.(13a)或Eq.(13b) 处的Gjum方程式。因此，用中心绿色像素G22的像素值替代所述第二层次层中超 出范围的绿色像素的绿色像素值。
可容易地看出，Eq.(12a)、 (12b)、 (13a)及/或13(b)将所述第二层次层的经加权像 素值相加。
步骤S334及步骤S336后跟步骤S338以确定是否存在另一GP2。如果是，那么 步骤S338返回到其中基于下一 GP2的像素值重新评价步骤S332、 S334、 S336的步骤 S330。在步骤S330、 S332、 S334、 S336及S338所定义的回路的末尾，G—sum已将所 述第二层次层的经加权绿色像素值加在一起，其形成第二层次层和。在所提供的所提 出程序码中，G—sum也已将所述第二层次层和、所述第一层次层和及所述经加权中心 绿色像素值加在一起以形成经加权绿色像素总和。
现在参照图14E，在处理所述NxN (N=5)区域中的绿色像素之后，在步骤S340 处将所述G—sum(经加权绿色像素总和)规范化。通过将所述G_sum下移位5个位(25= 二进制表示法的总加权因数32)来将所述G_sum规范化。所述总加权因数等于第一 加权因数、乘以所述第一层次层中的绿色像素的数量的第二加权因数与乘以所述第二 层次层中的绿色像素的数量的第三加权因数的总和。在所述实例性实施例中，所述第 一加权因数是8。乘以所述第一层次层中的绿色像素的数量的第二加权因数等于18。 乘以所述第二层次层中的绿色像素的数量的第三加权因数等于8。
在步骤S342处，用在步骤S340中计算的经规范化G_sum替代中心绿色像素G22 的像素值。更具体来说，中心绿色像素(G22)的新像素值由方程式Eq.(14)定义
新的G22 =G_sum 5;方程式(14)
其中G22表示中心绿色像素G22的像素值且符号"》"表示下移位；且Eq.(14)中 的G_sum是经加权绿色像素总和。下移位5个位与除以25或32相同。
通过自适应绿色通道奇偶失配移除方法300，对于靠近中心绿色像素G22的绿色 像素来说，其用于执行低通滤波。如果所述绿色像素超过所定义的靠近程度的范围， 那么将其跳过(用所述中心绿色像素的像素值替代)。在所述实例性实施例中，所定 义的靠近程度是一个(1)像素的距离处或两个(2)像素的距离处的像素。因此，所 述规范化因数为常数。因此，可用简单的下移位替代除法。
步骤342后跟其中针对图像的下一区域重复方法300直到不再有区域为止的步骤
S344。在步骤S344处，如果所述确定为"否"，那么方法300结束，因为不再有区域。 另一方面，如果所述确定为"是"，那么步骤S344循环回到图14A中的步骤S304以针 对所述整个帧图像的下一区域重复所述过程。
另一选择为，可将步骤S344移动到规范化步骤S340 (其可允许将所有中心像素 同时规范化)之前的位置。
注意，值P—max与P—min利用比率及偏移参数两者。对于小的信号，所述比率 不能够产生有用的范围。在所述偏移的帮助下，其可提供有意义的范围[P—min，P一max]。 附加收益是噪声的同时降低。对于大的信号，所述比率支配并匹配在所述校准过程期 间从亮灰信号估计的经校准最差Gr/Gb比率失配。
通过自适应绿色通道奇偶失配移除方法300，仅需要知道传感器(例如传感器模 块210)的最差失配作为现有知识。在运行时间，不存在参数需要改变或调谐。在所 述传感器校准程序期间知道所述最差失配。
实验结果
图15A、 15B、 16A、 16B、 17A、 17B、 18A、 18B、 19A、 19B、 20A及20B显示
具有及不具有自适应绿色通道奇偶失配移除方法300、具有去马赛克处理的图像的比 较。可容易地看出，通过自适应绿色通道奇偶失配移除方法300 (下文中称作"自适应 绿色通道平衡方法")，高频率分量(清晰线及曲线)被保留得很好且交叉阴影线图案 被移除。通过所述自适应绿色通道平衡方法，所述图像中未引入新的伪影。用 F—max=U3、 F_min=0.87及限定为5的偏移来处理图15A、 15B、 16A、 16B、 17A、 17B、 18A、 18B、 19A、 19B、 20A及20B的图像。图15A-15B图解说明不具有及具 有所述自适应绿色通道平衡方法的平场图像(放大300%且具有去马赛克)；图16A-16B 图解说明不具有及具有所述自适应绿色通道平衡方法的分辨率测试卡图像(中心圈)
(放大300%且具有去马赛克处理)；图17A-17B图解说明不具有及具有所述自适应 绿色通道平衡方法的分辨率测试卡图像(垂直线)(放大300%且具有去马赛克处理)； 图18A-18B图解说明不具有及具有所述自适应绿色通道平衡方法的分辨率测试卡图像
(水平线)(放大300%且具有去马赛克处理)；图19A-19B图解说明不具有及具有 所述自适应通道平衡算法的MacBeth测试卡图像(放大300%且具有去马赛克处理)； 及图20A-20B图解说明不具有及具有所述自适应通道平衡的MacBeth测试卡图像(具 有去马赛克处理)。
可从图15B、 16B、 17B、 18B、 19B及20B中容易地看出，自适应绿色通道平衡 方法300将图像中的边缘保留得很好，同时可移除藉由失配伪影(交叉阴影线图案)。 自适应绿色通道平衡方法300不需要具有运行时间调谐或监督。仅需要对最差奇偶失 配的离线校准来确定用于自造应绿色通道平衡方法300中的参数(F一max及F—min)。 所述校准程序将提供所述绿色通道失配增益及所述增益方差。基于此，可导出所述参 数(F—max及F_min)。
自适应绿色通道平衡方法300适合实施于硬件、固件或软件中。
已出于例示及说明的目的提供对本发明的实施例的以上说明，其并非打算为穷尽 性或将本发明限定为所揭示的精确形式，且按照以上教示可得出修改及变更或从对本 发明的实践中获得修改及变更。选择并说明所述实施例旨在解释本发明原理及其实际 应用，以使所属技术领域的技术人员能够以适于所涵盖的特定使用的各种实施例及各 种修改来利用本发明。本发明的范围打算由其随附权利要求书及其等效物来定义。
附件
根据以下程序计算所述区域内的非坏绿色像素的Gr一avg及Gb_avg值
对于(i=0; i〈每一区域的有效对的数量；i++)
Gr sum GR; (3t)一SJjm +=! G8;
Gr_avg = Gr—sum/每一区域的有效对的数量； Gb—avg = Gt^sum/每一区域的有效对的数量。
可使用所述伪码导出每一 (GB，GR)对的通道增益 avg =《Gr一avg + Gb一avg)/2;
(3b一gain = svg/GB一avg.
可将以下码用于替代性自适应绿色通道奇偶失配移除方法300。 P—max - m欲{F—m欲* G22, G22+o行set):
P一min - min (P一min * G22, G22-oifset);及
G—sum - G22 <<3.
可将以下实例性码用于替代性自适应绿色通道奇偶失配移除方法300以基于距离
所述第一层次层中的绿色中心像素为1的绿色像素将参数G—sum相加。 对于 G11,
如果(G11 >。P—min and G11 <^P—max)<formula>formula see original document page 25</formula>,
另外
<formula>formula see original document page 25</formula>
给予G13、 G31及G33相同的操作及加权。
可将以下实例性码用于替代性自适应绿色通道奇偶失配移除方法300以基于距离 所述第二层次层中的绿色中心像素为2的绿色像素将参数G—sum相加。
对于 Goa,
如果(G0O>=P_min and GOO<=P_max)
G_sum + = GOO; (加权=1)
另外
G_sum+=G22.
给予G02、 G04、 G20、 G24、 G40、 G42及G44相同的操作及加权。
权利要求
1.一种用于自适应绿色通道奇偶失配移除的方法，其包含以下步骤对图像逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB)通道增益，及逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的所述绿色像素以移除所述绿色通道奇偶失配。
2、 如权利要求l所述的方法；其中所述图像是原始贝尔图像。
3、 如权利要求1所述的方法；其中所述校准步骤包括滤除出所述每一相应区域中的坏像素及边缘像素以形成一组有效像素对的步骤。
4、 如权利要求3所述的方法；其中所述校准步骤包括以下步骤对所述区域中 的所述有效像素对的数量进行计数；计算所述红色行的所述有效绿色像素的平均数量； 及计算所述蓝色行的所述有效绿色像素的平均数量。
5、 如权利要求4所述的方法；其中所述GR通道增益及所述GB通道增益是所述所计算的所述红色行及所述蓝色行的所述有效绿色像素的平均数量的函数。
6、 如权利要求1所述的方法；其中所述校准步骤包括用先前图像的GR通道增 益及GR通道增益对所述GR通道增益及所述GB通道增益进行滤波的步骤；且其中 所述应用步骤的所述所应用GR通道增益及所述所应用GB通道增益是所述经滤波GR 通道增益及所述经滤波GB通道增益。
7、 如权利要求1所述的方法；其中所述应用步骤包含以下步骤将所述每一相 应区域中的红色行中的所述绿色像素与所述GR通道增益相乘；及将蓝色行中的所述 绿色像素与所述GB通道增益相乘。
8、 一种由处理装置执行的程序码，其包含 在执行时可操作以进行以下操作的指令在图像中逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB) 通道增益，及逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中 的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中 的绿色像素以自适应地从所述图像中移除绿色通道奇偶失配。
9、 如权利要求8所述的码；其中所述可操作以进行校准的指令包括可操作以滤 除出所述每一相应区域中的坏像素及边缘像素以形成一组有效像素对的指令。
10、 如权利要求9所述的码；其中所述可操作以进行校准的指令包括可操作以进 行以下操作的指令对所述区域中的所述有效像素对的数量进行计数；计算所述红色 行的有效绿色像素的平均数量；及计算所述蓝色行的有效绿色像素的平均数量。
11、 如权利要求10所述的码；其中所述GR通道增益及所述GB通道增益是所述所计算的所述红色行及所述蓝色行的所述有效绿色像素的平均数量的函数。
12、 如权利要求8所述的码；其中所述可操作以进行校准的指令包括可操作以用先前图像的GR通道增益及GB通道增益对所述GR通道增益及所述GB通道增益进行 滤波的指令；且其中所述指令可操作以应用所述GR通道增益且所述所应用GB通道 增益应用所述经滤波GR通道增益及所述经滤波GB通道增益。
13、 如权利要求8所述的码；其中所述可操作以应用的指令包括可操作以进行以 下操作的指令将所述每一相应区域中的所述红色行中的所述绿色像素与所述GR通 道增益相乘；及将所述蓝色行中的所述绿色像素与所述GB通道增益相乘。
14、 一种自适应绿色通道奇偶失配移除模块，其包含校准装置，其用于在图像中逐区域地校准红色行的绿色(GR)通道增益及蓝色 行的绿色(GB)通道增益，及应用装置，其用于逐区域地将针对每一t&应区域校准的所述GR通道增益应用到 所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述 蓝色行中的绿色像素以移除所述绿色通道奇偶失配。
15、 如权利要求14所述的模块；其中所述图像是原始贝尔图像。
16、 如权利要求14所述的模块；其中所述校准装置包括用于滤除出所述每一相 应区域中的坏像素及边缘像素以形成一组有效像素对的装置。
17、 如权利要求16所述的模块；其中所述校准装置包括用于对所述区域中的所 述有效像素对的数量进行计数的装置；用于计算所述红色行的有效绿色像素的平均数 量的装置；及用于计算所述蓝色行的有效绿色像素的平均数量的装置。
18、 如权利要求17所述的模块；其中所述GR通道增益及所述GB通道增益是所 述所计算的所述红色行及所述蓝色行的所述有效绿色像素的平均数量的函数。
19、 如权利要求17所述的模块；其中所述校准装置包括用于用先前图像的GR 通道增益及GR通道增益对所述GR通道增益及所述GR通道增益进行滤波的装置； 且其中所述应用装置的所述所应用GR通道增益及所述所应用GB通道增益是所述经 滤波GR通道增益及所述经滤波GB通道增益。
20、 如权利要求19所述的模块；其中所述应用装置包含用于将所述每一相应区 域中的所述红色行中的所述绿色像素与所述GR通道增益相乘的装置；及用于将所述 蓝色行中的所述绿色像素与所述GB通道增益相乘的装置。
21、 一种用于自适应绿色通道奇偶失配移除的方法，其包含以下步骤 将来自传感器的原始图像分割为多个区域；及针对每一区域，自适应地移除所述原始图像中的绿色通道奇偶失配以在经去马赛 克处理的图像中实现伪影的消失。
22、 如权利要求21所述的方法；其中所述原始图像是原始贝尔图像。
23、 如权利要求21所述的方法；其中所述移除步骤包含以下步骤 对所述原始图像逐区域地校准红色行的绿色(GR)通道增益及蓝色行的绿色(GB) 通道增益，及逐区域地将针对每一相应区域校准的所述GR通道增益应用到所述红色行中的绿 色像素且将针对每一相应区域校准的所述GB通道增益应用到所述蓝色行中的所述绿 色像素以移除所述绿色通道奇偶失配。
24、 如权利要求21所述的方法；其中所述移除步骤包含以下步骤-针对所述原始图像中的所述每一相应区域基于中心绿色像素的第一加权因数产生经加权中心绿色像素值；将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和；将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的 第三加权因数的经加权绿色像素值相加以形成第二层次层和；将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以 形成经加权绿色像素总和；将所述经加权绿色像素总和规范化；及用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值。
25、 如权利要求24所述的方法；其中所述产生步骤包含以下步骤 将所述中心绿色像素值乘以所述第一加权因数以产生所述经加权中心绿色像素值。
26、 如权利要求24所述的方法；其进一步包含以下步骤 在所述第一层次层的所述相加步骤之前将所述第一层次层中的每一绿色像素的像素值与像素最大值及像素最小值相比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范围内；针对所述第一层次层中的在所述范围内的每一绿色像素，将所述每一绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值； 及针对所述第一层次层中的不在所述范围内的每一绿色像素，将所述中心绿色 像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值，其中所述 第一层次层的所述相加步骤将所述第一层次层中的在所述范围内的所有绿色像素 的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所有绿色 像素的所述范围外经加权绿色像素值相加。
27、 如权利要求26所述的方法；其进一步包含以下步骤-在所述第二层次层的所述相加步骤之前将所述第二层次层中的每一绿色像素的像素值与所述像素最大值及所述像素 最小值相比较以确定所述第二层次层中的每一绿色像素的所述像素值是否在所述范围内； 针对所述第二层次层中的在所述范围内的每一绿色像素，将每一绿色像素的 所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素值；及针对所述第二层次层中的不在所述范围内的每一绿色像素，将所述中心绿色 像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值其中所述第二层次层的所述相加步骤将所述第二层次层中的在所述范围内的 所有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范 围的所有绿色像素的所述范围外经加权绿色像素值相加。
28、 如权利要求26所述的方法；其进一步包含以下步骤 设定最大绿色失配比率的上限阈值(F一max); 设定所述最大绿色失配比率的下限阈值(F_min);计算自适应于所述中心绿色像素(CGP)周围的红色像素的偏移以移除空间变化 绿色通道奇偶失配；基于如下定义的方程式计算所述像素最大值(P—max) P—nnsx = m欲(F一m欲* CGP, CGP+o舒坊t);及基于如下定义的方程式计算所述像素最小值(P—min) P一rrnn - min (F一min * CGP, CGP^offest).
29、 如权利要求28所述的方法；其中所述偏移计算步骤包含将k乘以所述周围红色像素的周围红色像素值的平均数，其中k是调整串话干扰 校正的量值的参数。
30、 一种自适应绿色通道奇偶失配移除模块，其包含分割装置，其用于将来自传感器的原始图像分割为多个区域；及移除装置，其用于自适应地移除所述原始图像中每一区域中的绿色通道奇偶失配 以在经去马赛克处理的图像中实现伪影的消失。
31、 如权利要求30所述的模块；其中所述原始图像是原始贝尔图像。
32、 如权利要求30所述的模块；其中所述移除模块包含校准装置，其用于对所述原始图像逐区域地校准红色行的绿色(GR)通道增益 及蓝色行的绿色(GB)通道增益；及应用装置，其用于逐区域地将针对每一相应区域校准的所述GR通道增益应用到 所述红色行中的绿色像素且将针对每一相应区域校准的所述GB通道增益应用到所述 蓝色行中的绿色像素以移除所述绿色通道奇偶失配。
33、 如权利要求32所述的模块；其中所述移除装置包含产生装置，其用于基于中心绿色像素的第一加权因数产生经加权中心绿色像素值；相加装置，其用于将基于第一层次层中相对于所述区域的所述中心绿色像素的周 围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和；相加装置，其用于将基于第二层次层中相对于所述区域的所述中心绿色像素的周 围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和；相加装置，其用于将所述经加权中心绿色像素值、所述第一层次层和及所述第二 层次层和相加以形成经加权绿色像素总和；规范化装置，其用于将所述经加权绿色像素总和规范化；及替代装置，其用于用所述经规范化的经加权绿色像素总和替代所述中心绿色像素 的像素值。
34、 如权利要求33所述的模块；其中所述产生装置包含相乘装置，其用于将所述中心绿色像素值乘以所述第一加权因数以产生所述经加 权中心绿色像素值。
35、 如权利要求33所述的模块；其进一步包含-比较装置，其用于将所述第一层次层中的每一绿色像素的像素值与像素最大值及 像素最小值相比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范围内；相乘装置，其用于针对所述第一层次层中的在所述范围内的每一绿色像素，将相 应绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值；相乘装置，其用于针对所述第一层次层中的不在所述范围内的每一绿色像素，将 所述中心绿色像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值；其中所述第一层次层的所述相加装置将所述第一层次层中的在所述范围内的所 有绿色像素的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所 有绿色像素的所述范围外经加权绿色像素值相加。
36、 如权利要求35所述的模块；其进一步包含比较装置，其用于在所述第二层次层的所述相加之前将所述第二层次层中的每一 绿色像素的像素值与所述像素最大值及所述像素最小值相比较以确定所述第二层次层 中的每一绿色像素的所述像素值是否在所述范围内；相乘装置，其用于针对所述第二层次层中的在所述范围内的每一绿色像素，将每 一绿色像素的所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素 值；相乘装置，其用于针对所述第二层次层中的不在所述范围内的每一绿色像素，将 所述中心绿色像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值其中所述第二层次层的所述相加装置将所述第二层次层中的在所述范围内的所 有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范围的所 有绿色像素的所述范围外经加权绿色像素值相加。
37、 如权利要求36所述的模块；其进一步包含设定装置，其用于设定最大绿色失配比率的上限阈值(F—max);设定装置，其用于设定所述最大绿色失配比率的下限阈值(F一min); 计算装置，其用于计算自适应于所述中心绿色像素(CGP)周围的红色像素的偏移以移除空间变化绿色通道奇偶失配；计算装置，其基于如下定义的方程式计算所述像素最大值(P_max) Pjn欲- m欲(FLm欲* C(3F\ CGP+off錄t):及计算装置，其基于如下定义的方程式计算所述像素最小值(P—min) P—min - mir* (F一min * CGP, CGPoffs射).
38、 如权利要求37所述的模块；其中所述偏移计算装置包含相乘装置，其用于将k乘以所述周围红色像素的周围红色像素值的平均数，其中 k是调整串话干扰校正的量值的参数。
39、 一种用于自适应绿色通道奇偶失配移除的方法，其包含以下步骤 针对所述原始图像中的每一区域基于中心绿色像素的第一加权因数产生经加权中心绿色像素值；将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和；将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的 第三加权因数的经加权绿色像素值相加以形成第二层次层和；将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和；将所述经加权绿色像素总和规范化；及用所述经规范化的经加权绿色像素总和替代所述中心绿色像素的像素值以移 除所述绿色通道奇偶失配。
40、 如权利要求39所述的方法；其中所述产生步骤包含以下步骤-将所述中心绿色像素值乘以所述第一加权因数以产生所述经加权中心绿色像素值。
41、 如权利要求40所述的方法；其进一步包含以下步骤 在所述第一层次层的所述相加步骤之前将所述第一层次层中的每一绿色像素的像素值与像素最大值及像素最小值相 比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范围内；针对所述第一层次层中的在所述范围内的每一绿色像素，将相应绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值；及 针对所述第一层次层中的不在所述范围内的每一绿色像素，将所述中心绿色像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值其中所述第一层次层的所述相加步骤将所述第一层次层中的在所述范围内的所有绿色像素的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所有绿色像素的所述范围外经加权绿色像素值相加。
42、 如权利要求41所述的方法；其进一步包含以下步骤 在所述第二层次层的所述相加步骤之前将所述第二层次层中的每一绿色像素的像素值与所述像素最大值及所述像素 最小值相比较以确定所述第二层次层中的每一绿色像素的所述像素值是否在所述 范围内；针对所述第二层次层中的在所述范围内的每一绿色像素，将相应绿色像素的 所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素值；及针对所述第二层次层中的不在所述范围内的每一绿色像素，将所述中心绿色 像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值其中所述第二层次层的所述相加步骤将所述第二层次层中的在所述范围内的 所有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范 围的所有绿色像素的所述范围外经加权绿色像素值相加。
43、 如权利要求41所述的方法；其进一步包含以下步骤 设定最大绿色失配比率的上限阈值(F_max); 设定所述最大绿色失配比率的下限阈值(F—min);计算自适应于所述中心绿色像素(CPG)的周围红色像素的偏移以移除空间变化 绿色通道奇偶失配；基于如下定义的方程式计算所述像素最大值(P_max) P—max max (Fjm欲* CGP, GGP+offset);及基于如下定义的方程式计算所述像素最小值(P_min) P—m'们=min (F一min *CGP, CGP offset).
44、 如权利要求43所述的方法；其中所述偏移计算步骤包含 将k乘以所述周围红色像素的周围红色像素值的平均数，其中k是调整串话干扰校正的量值的参数。
45、 一种自适应绿色通道奇偶失配移除模块，其包含产生装置，其用于基于中心绿色像素的第一加权因数产生经加权中心绿色像素值；相加装置，其用于将基于第一层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第二加权因数的经加权绿色像素值相加以形成第一层次层和；相加装置，其用于将基于第二层次层中相对于所述区域的所述中心绿色像素的周围绿色像素的第三加权因数的经加权绿色像素值相加以形成第二层次层和；相加装置，其用于将所述经加权中心绿色像素值、所述第一层次层和及所述第二层次层和相加以形成经加权绿色像素总和；规范化装置，其用于将所述经加权绿色像素总和规范化；及 替代装置，其用于用所述经规范化的经加权绿色像素总和替代所述中心绿色像素 的像素值。
46、 如权利要求45所述的模块；其中所述产生装置包含相乘装置，其用于将所述中心绿色像素值乘以所述第一加权因数以产生所述经加 权中心绿色像素值。
47、 如权利要求45所述的模块；其进一步包含比较装置，其用于将所述第一层次层中的每一绿色像素的像素值与像素最大值及 像素最小值相比较以确定所述第一层次层中的每一绿色像素的所述像素值是否在一范 围内；相乘装置，其用于针对所述第一层次层中的在所述范围内的每一绿色像素将相应 绿色像素的所述像素值乘以所述第一加权因数以形成对应的范围内经加权绿色像素值；相乘装置，其用于针对所述第一层次层中的不在所述范围内的每一绿色像素将所 述中心绿色像素值乘以所述第一加权因数以形成对应的范围外经加权绿色像素值；其中所述第一层次层的所述相加装置将所述第一层次层中的在所述范围内的所 有绿色像素的所述范围内经加权绿色像素值与所述第一层次层中的超出所述范围的所 有绿色像素的所述范围外经加权绿色像素值相加。
48、 如权利要求47所述的模块；其进一步包含比较装置，其用于在所述第二层次层的所述相加装置进行相加之前将所述第二层 次层中的每一绿色像素的像素值与所述像素最大值及所述像素最小值相比较以确定所述第二层次层中的每一绿色像素的所述像素值是否在所述范围内；相乘装置，其用于针对所述第二层次层中的在所述范围内的每一绿色像素将相应 绿色像素的所述像素值乘以所述第二加权因数以形成对应的范围内经加权绿色像素 值；相乘装置，其用于针对所述第二层次层中的不在所述范围内的每一绿色像素将所 述中心绿色像素值乘以所述第二加权因数以形成对应的范围外经加权绿色像素值其中所述第二层次层的所述相加装置将所述第二层次层中的在所述范围内的所 有绿色像素的所述范围内经加权绿色像素值与所述第二层次层中的超出所述范围的所 有绿色像素的所述范围外经加权绿色像素值相加。
49、 如权利要求38所述的模块；其进一步包含设定装置，其用于设定最大绿色失配比率的上限阈值(F—max);设定装置，其用于设定所述最大绿色失配比率的下限阈值(F—min);计算装置，其用于计算自适应于所述中心绿色像素(CPG)的周围红色像素的偏移以移除空间变化绿色通道奇偶失配；计算装置，其基于如下定义的方程式计算所述像素最大值(P—max) P一max = m欲(F—m欲* CGP, CGPwffset);及 计算装置，其基于如下定义的方程式计算所述像素最小值(P—min) Pjmin - min (F一min * CGP, CGP-offset).
50、如权利要求49所述的模块；其中所述偏移计算装置包含相乘装置，其用于将k乘以所述周围红色像素的周围红色像素值的平均数，其中k是调整串话干扰校正的量值的参数。
全文摘要
本发明揭示一种用于自适应绿色通道奇偶失配移除以在经去马赛克处理的图像中实现由奇偶失配导致的伪影的消失的方法及设备。在一种自适应方法中，确定红色行的经校准GR通道增益及蓝色行的经校准GB通道增益且其是仅在每一相应区域中的有效像素的函数。在所述校准之后，在校正过程中，将一区域的红色行中的绿色像素乘以所述经校准的GR通道增益。另一方面，将蓝色行中的绿色像素乘以所述经校准的GB通道增益。因此，在去马赛克处理之后，所述经校正的图像实质上不具有由所述绿色通道的奇偶失配所导致的伪影。另一选择为，所述自适应绿色通道奇偶失配移除方法用经规范化的经加权绿色像素总和替代具有奇数数量的列及行的区域的中心绿色像素。所述经加权绿色像素总和将由第一加权因数加权的中心绿色像素、基于第二加权因数的第一层次层的经加权绿色像素值的和及基于第三加权因数的第二层次层的经加权绿色像素值的和相加。
文档编号H04N9/04GK101371592SQ200780003066
公开日2009年2月18日 申请日期2007年1月17日 优先权日2006年1月19日
发明者塞泽波·罗伯特·洪, 李向川, 英·谢·诺伊斯 申请人:高通股份有限公司