专利名称：色彩内插系统及方法
技术领域：
本发明涉及一种数字影像处理，特别是涉及一种影像前处理的色彩内插系统及方 法。
背景技术：
摄像装置，例如数字相机或数字摄影机，藉由影像感测器(例如，电荷耦合元件 (CXD)或互补金属氧化半导体(CM0Q影像感测器)将影像光线转换为电子讯号。然而，影 像感测器的每一个光感元件(photosensor)通常仅用以撷取一种颜色，因此经由光感元件 阵列所感测输出的信号并非人眼可观看的完整图像(picture)。因此，一般需经由色彩内插 (colorinterpolation)技术将其转换为图像影像信号，一般又称为影像前处理。影像前处理的色彩内插方法有很多种，有些方法简单但会牺牲影像解析度、降低 对比，甚至造成影像杂讯。有些色彩内插方法虽可保留影像解析度以获得较佳影像品质，但 是其演算法复杂，因而造成运算时间或电路面积的增加。因此，亟需提出一种新颖的色彩内插系统或方法，以不复杂的架构及演算法而能 得到较佳的影像品质。由此可见，上述现有的数字影像处理在产品、方法与使用上，显然仍存在有不便与 缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解 决之道，但长久以来一直未见适用的设计被发展完成，而一般产品及方法又没有适切的结 构及方法能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新 的色彩内插系统及方法，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。有鉴于上述现有的数字影像处理存在的缺陷，本发明人基于从事此类产品设计制 造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种 新的色彩内插系统及方法，能够改进一般现有的数字影像处理，使其更具有实用性。经过不 断的研究、设计，并经过反复试作样品及改进后，终于创设出确具实用价值的本发明。
发明内容
本发明的主要目的在于，克服现有的数字影像处理存在的缺陷，而提供一种新的 色彩内插系统及方法，所要解决的技术问题是使其系统架构及色彩内插运算简单，但可保 留更多的影像解析度、降低色彩内插错误的比例及提高影像品质，特别是对于影像边缘 (edge)有较佳的效果，非常适于实用。本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明 提出的一种色彩内插(color interpolation)系统，其包括一空间回旋积(spatial convolution)单元，用以接收一影像感测器(imagesensor)的输出并对其进行空间回旋积 运算，以产生一回旋积输出；一色彩内插单元，用以对该回旋积输出进行色彩内插运算，以 产生一色彩内插输出；及一空间反回旋积(spatial deconvolution)单元，用以对该色彩 内插输出进行空间反回旋积运算，以产生一前处理影像，其中该空间反回旋运算为该空间
4回旋积运算的逆运算。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的色彩内插系统，其中所述的空间回旋积单元包含一空间滤波器(spatial filter)ο前述的色彩内插系统，其中所述的空间滤波器包含一高通滤波器(high-pass filter)ο前述的色彩内插系统，其中所述的高通滤波器包含一高通滤波矩阵，其系数包含 t示}(standard deviation)。前述的色彩内插系统，其中所述的空间反回旋积单元包含一矩阵，其为该高通滤 波矩阵的反矩阵。前述的色彩内插系统，其中所述的色彩内插单元的色彩内插运算为非可适性 (non-adaptive)色彩内插运算，其对整体(global)该回旋积输出的每一像素均执行相同运算。前述的色彩内插系统，其中所述的非可适性色彩内插运算包含双线性内插法 (bilinear interpolation)。前述的色彩内插系统，其中所述的色彩内插单元的色彩内插运算为可适性 (adaptive)色彩内插运算，其根据该回旋积输出的个别区域(local)的趋势而对像素执行 不同运算。前述的色彩内插系统，其中所述的可适性色彩内插运算包含边缘感测内插法 (edge sensing interpolation)0前述的色彩内插系统，其中所述的影像感测器包含一拜耳(Bayer)彩色滤波阵列 (CFA)，以从该影像感测器输出一拜耳图样排列。本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的 一种色彩内插(color interpolation)方法，其包括接收一影像感测器(image sensor) 的输出并对其进行空间回旋积运算，以产生一回旋积输出；对该回旋积输出进行色彩内插 运算，以产生一色彩内插输出；及对该色彩内插输出进行空间反回旋积运算，以产生一前处 理影像，其中该空间反回旋运算为该空间回旋积运算的逆运算。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的色彩内插方法，其中所述的空间回旋积运算以一空间滤波器(spatial filter)执行。前述的色彩内插方法，其中所述的空间滤波器包含一高通滤波器(high-pass filter)ο前述的色彩内插方法，其中所述的高通滤波器包含一高通滤波矩阵，其系数包含 t示}(standard deviation)。前述的色彩内插方法，其中所述的空间反回旋运算以一矩阵执行，其为该高通滤 波矩阵的反矩阵。前述的色彩内插方法，其中所述的色彩内插运算为非可适性(non-adaptive)色 彩内插运算，其对整体(global)该回旋积输出的每一像素均执行相同运算。前述的色彩内插方法，其中所述的非可适性色彩内插运算包含双线性内插法(bilinear interpolation)。前述的色彩内插方法，其中所述的色彩内插运算为可适性(adaptive)色彩内插 运算，其根据该回旋积输出的个别区域(local)的趋势而对像素执行不同运算。前述的色彩内插方法，其中所述的可适性色彩内插运算包含边缘感测内插法 (edge sensing interpolation)0前述的色彩内插方法，其中所述的影像感测器包含一拜耳(Bayer)彩色滤波阵列 (CFA)，以从该影像感测器输出一拜耳图样排列。本发明与现有技术相比具有明显的优点和有益效果。由以上可知，为达到上述目 的，本发明实施例提出一种色彩内插系统及方法，根据本发明实施例之一，色彩内插系统主 要包含空间回旋积(spatial convolution)单元、色彩内插单元及空间反回旋积(spatial deconvolution)单元。空间回旋积单元，例如使用标准差(standard deviation)作为系 数的高通滤波器，接收影像感测器的输出并对其进行空间回旋积运算，以产生回旋积输出。 色彩内插单元对回旋积输出进行色彩内插运算，以产生色彩内插输出。空间反回旋积单元 使用空间回旋积运算的逆运算以对色彩内插输出进行空间反回旋积运算，以产生前处理影 像。借由上述技术方案，本发明色彩内插系统及方法至少具有下列优点及有益效果 其系统架构及色彩内插运算简单，但可保留更多的影像解析度、降低色彩内插错误的比例 及提高影像品质，特别是对于影像边缘(edge)有较佳的效果。综上所述，本发明是有关于一种色彩内插系统及方法，其中的空间回旋积 (spatial convolution)单元接收影像感测器的输出并对其进行空间回旋积运算，以产生 回旋积输出。色彩内插单元对回旋积输出进行色彩内插运算，以产生色彩内插输出。空间 反回旋积(spatial deconvolution)单元使用空间回旋积运算的逆运算以对色彩内插输出 进行空间反回旋积运算，以产生前处理影像。本发明在技术上有显著的进步，并具有明显的 积极效果，诚为一新颖、进步、实用的新设计。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够 更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
图1是影像感测器的光感元件(photosensor)阵列及覆盖的彩色滤波阵列(CFA)。图2是本发明实施例的色彩内插系统的方块图。图3是本发明实施例的色彩内插方法的流程图。图4是例示一拜耳(Bayer)图样。10 光感元件阵列12 彩色滤波阵列22:空间回旋积单元22:色彩内插单元24 空间反回旋积单元31-34 步骤
R 红色像素G 绿色像素B 蓝色像素
具体实施例方式为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合 附图及较佳实施例，对依据本发明提出的色彩内插系统及方法)其具体实施方式
、结构、方 法、步骤、特征及其功效，详细说明如后。有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实 施例的详细说明中将可清楚的呈现。为了方便说明，在以下的实施例中，相同的元件以相同 的编号表示。本发明的实施例所揭露的色彩内插(color interpolation)处理为数字影像处 理的一种，特别是一种影像的前处理(Pr印rocessing)，主要用以将影像感测器(例如，电 荷耦合元件(CCD)或互补金属氧化半导体(CM0Q影像感测器)的各种颜色取样输出进行 重建(reconstruct)使其成为一彩色图像(picture)。图1显示一影像感测器的光感元件 (photosensor)阵列10，其上覆盖有彩色滤波阵列(CFA) 12。彩色滤波阵列(CFA) 12的每一 彩色滤波器(CF)仅能让一种颜色光受到相应光感元件的感测。由于彩色滤波阵列(CFA) 12 的特殊嵌合(mosaic)图样(pattern)排列并非人眼一般所观看的完整图像，所以必须藉由 色彩内插以重建出人眼可观看的图像。因此，色彩内插一般又称为CFA内插、色彩重建或去 嵌合(demosaicking)。图1所例示的彩色滤波阵列(CFA) 12为拜耳(Bayer)滤波器的一 种，其普遍使用于数字相机或摄影机。拜耳(Bayer)滤波器的图样由红(R)、绿(G)、蓝⑶ 滤波器依图示规则排列，其含有50%绿(G)、25%红(R)、25%蓝(B)滤波器。每一像素点位 置的其他颜色可由其四周像素点来得到。例如，位于绿(G)像素点的红色可由上、下或左、 右红(R)滤波器得到，而蓝色可由左、右或上、下蓝(B)滤波器得到。又例如，位于红(R)像 素点的绿色可由上、下、左、右绿(G)滤波器得到，而蓝色可由右上、右下、左下、左上蓝(B) 滤波器得到。图2显示本发明实施例的色彩内插系统的方块图，图3则显示本发明实施例的色 彩内插方法的流程图。本实施例可适用于各种数字摄像(imaging)装置，例如数字相机或 数字摄影机。而且，本实施例所使用的影像感测器可以为各种影像感测器，例如电荷耦合元 件(CCD)或互补金属氧化半导体(CM0Q影像感测器。再者，影像感测器上的彩色滤波阵列 (CFA)可以为，但不限定于，图1所示的拜耳(Bayer)滤波器。本实施例的色彩内插系统(图2)主要包含空间回旋积(spatialconvolution)单 元20、色彩内插单元22及空间反回旋积(spatialdeconvolution)单元Μ。其中，空间回 旋积(spatial convolution)单元20用以接收影像感测器的输出(例如图1的拜耳图样 排列输出)(步骤31)，并对其进行空间回旋积运算(步骤32)，以产生回旋积输出。在本实 施例中，空间回旋积单元20为空间滤波器(spatial filter)，例如高通滤波器(high-pass filter)。高通滤波器让输入信号的高频成分通过，但衰减输入信号的其他频率成分。高 通空间滤波(high-pass spatialfiltering)通常使用一高通滤波矩阵作为遮罩(mask)， 并以矩阵的系数作为权重(weighting)，用以对每一像素点及其相邻像素点进行加权运算。在一较佳实施例中，高通滤波矩阵的系数使用输入信号(亦即，影像感测器输出)的标准差 (standard deviation)。藉此，空间回旋积单元20的回旋积输出主要包含有边缘(edge)信号。接着，本实施例的色彩内插单元22对回旋积输出进行色彩内插运算(步骤33)，以 产生色彩内插输出。本实施例的色彩内插单元22可使用各种传统色彩内插方法或演算法。 色彩内插方法一般可分为两类非可适性(non-adaptive)及可适性(adaptive)。非可适 性色彩内插法整体地(globally)对每一像素均执行相同的运算，而可适性色彩内插法则 是根据个别区域(local)像素的趋势而执行不同的运算。各种传统的非可适性及可适性内 插演算法可参考各相关文献或下列网页http://scien. Stanford. edu/class/psych221/ projects/99/tingchen/main. htm。双线性内插法(bilinear interpolation)为非可适性色彩内插常用的一种演 算法，其他则还有最近相邻复制法(nearest neighborr印lication)、立方回旋积(cubic convolution)等。对于双线性内插法，绿色的内插由上、下、左、右的绿(G)像素平均而得。 以图4所示的拜耳(Bayer)图样为例，G15 = (G9+G21+G14+G16)/4。于绿(G)像素位置的 红色内插由上、下或左、右红(R)像素平均而得，如图4的R9 = (R3+R15)/2 ；而于绿(G)像 素位置的蓝色内插由左、右或上、下蓝(B)像素平均而得，如图4的B9= (B8+B10)/2。于 蓝(B)像素位置的红色内插由右上、右下、左下、左上红(R)像素平均而得，如图4的R20 = (R15+R27+R25+R13)/4。于红(R)像素位置的蓝色内插由右上、右下、左下、左上蓝(B)像素 平均而得，如图 4 的 B15 = (B10+B22+B20+B8)/4o边缘感测内插法(edge sensing interpolation)为可适性色彩内插常用的一 种演算法，其他则还有色彩更正的内插法(interpolation withcolor correction)、变数 梯度(variable number gradients)等。对于边缘感测内插法，其绿色内插将较小梯度 (gradient)方向的相邻绿(G)像素予以平均。以图4为例，于B8位置，如果其水平梯度(亦 即，G7和G9的差值绝对值)小于临界值而垂直梯度(亦即，G2和G14的差值绝对值)大于 临界值，则G8= (G7+G9)/2。至于红色及蓝色的内插则可采用其他内插法。值得注意的是，虽然本实施例的色彩内插单元22使用传统色彩内插方法，然而本 实施例和传统系统/方法至少具有下列的差异。本实施例的色彩内插单元22的色彩内插运 算作用于空间回旋积单元20的回旋积输出(例如经高通滤波的边缘信号)，然而传统系统 /方法则是直接作用于影像感测器的输出信号。藉此，本实施例可增强所使用的色彩内插运 算结果。换句话说，如果本实施例和传统系统/方法要达到相同的效果，则相较于传统系统 /方法，本实施例可使用运算较为简单的色彩内插演算法，例如非可适性色彩内插演算法。最后，本实施例的空间反回旋积单元M对色彩内插输出进行空间反回旋积运算 (步骤34)，以产生前处理影像，其中空间反回旋运算为(空间回旋积单元20的)空间回旋 积运算的逆运算。在本实施例中，空间反回旋积单元M为前述(空间回旋积单元20的) 高通滤波矩阵的反矩阵，以此作为遮罩(mask)，并以该反矩阵的系数作为权重，用以对每一 像素点及其相邻像素点进行加权运算。以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽 然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人 员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更
8动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的 技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案 的范围内。
权利要求
1.一种色彩内插系统，其特征在于其包括一空间回旋积单元，用以接收一影像感测器的输出并对其进行空间回旋积运算，以产 生一回旋积输出；一色彩内插单元，用以对该回旋积输出进行色彩内插运算，以产生一色彩内插输出；及一空间反回旋积单元，用以对该色彩内插输出进行空间反回旋积运算，以产生一前处 理影像，其中该空间反回旋运算为该空间回旋积运算的逆运算。
2.根据权利要求1所述的色彩内插系统，其特征在于其中所述的空间回旋积单元包含 一空间滤波器。
3.根据权利要求2所述的色彩内插系统，其特征在于其中所述的空间滤波器包含一高 通滤波器。
4.根据权利要求3所述的色彩内插系统，其特征在于其中所述的高通滤波器包含一高 通滤波矩阵，其系数包含标准差。
5.根据权利要求4所述的色彩内插系统，其特征在于其中所述的空间反回旋积单元包 含一矩阵，其为该高通滤波矩阵的反矩阵。
6.根据权利要求1所述的色彩内插系统，其特征在于其中所述的色彩内插单元的色彩 内插运算为非可适性色彩内插运算，其对整体该回旋积输出的每一像素均执行相同运算。
7.根据权利要求6所述的色彩内插系统，其特征在于其中所述的非可适性色彩内插运 算包含双线性内插法。
8.根据权利要求1所述的色彩内插系统，其特征在于其中所述的色彩内插单元的色彩 内插运算为可适性色彩内插运算，其根据该回旋积输出的个别区域的趋势而对像素执行不 同运算。
9.根据权利要求8所述的色彩内插系统，其特征在于其中所述的可适性色彩内插运算 包含边缘感测内插法。
10.根据权利要求1所述的色彩内插系统，其特征在于其中所述的影像感测器包含一 拜耳彩色滤波阵列，以从该影像感测器输出一拜耳图样排列。
11.一种色彩内插方法，其特征在于其包括接收一影像感测器的输出并对其进行空间回旋积运算，以产生一回旋积输出；对该回旋积输出进行色彩内插运算，以产生一色彩内插输出；及对该色彩内插输出进行空间反回旋积运算，以产生一前处理影像，其中该空间反回旋 运算为该空间回旋积运算的逆运算。
12.根据权利要求11所述的色彩内插方法，其特征在于其中所述的空间回旋积运算以 一空间滤波器执行。
13.根据权利要求12所述的色彩内插方法，其特征在于其中所述的空间滤波器包含一 高通滤波器。
14.根据权利要求13所述的色彩内插方法，其特征在于其中所述的高通滤波器包含一 高通滤波矩阵，其系数包含标准差。
15.根据权利要求14所述的色彩内插方法，其特征在于其中所述的空间反回旋运算以 一矩阵执行，其为该高通滤波矩阵的反矩阵。
16.根据权利要求11所述的色彩内插方法，其特征在于其中所述的色彩内插运算为非可适性色彩内插运算，其对整体该回旋积输出的每一像素均执行相同运算。
17.根据权利要求16所述的色彩内插方法，其特征在于其中所述的非可适性色彩内插 运算包含双线性内插法。
18.根据权利要求11所述的色彩内插方法，其特征在于其中所述的色彩内插运算为可 适性色彩内插运算，其根据该回旋积输出的个别区域的趋势而对像素执行不同运算。
19.根据权利要求18所述的色彩内插方法，其特征在于其中所述的可适性色彩内插运 算包含边缘感测内插法。
20.根据权利要求11所述的色彩内插方法，其特征在于其中所述的影像感测器包含一 拜耳彩色滤波阵列，以从该影像感测器输出一拜耳图样排列。
全文摘要
本发明是有关于一种色彩内插系统及方法，其中的空间回旋积(spatial convolution)单元接收影像感测器的输出并对其进行空间回旋积运算，以产生回旋积输出。色彩内插单元对回旋积输出进行色彩内插运算，以产生色彩内插输出。空间反回旋积(spatial deconvolution)单元使用空间回旋积运算的逆运算以对色彩内插输出进行空间反回旋积运算，以产生前处理影像。本发明的系统架构及色彩内插运算简单，但可保留更多的影像解析度、降低色彩内插错误的比例及提高影像品质，特别是对于影像边缘(edge)有较佳的效果。
文档编号G06T3/40GK102098520SQ20091024629
公开日2011年6月15日 申请日期2009年12月15日 优先权日2009年12月15日
发明者陈泰宏 申请人:佳能企业股份有限公司