专利名称：用来对缩减取样拜耳图像进行色彩内插的方法及相关装置的制作方法
技术领域：
本发明公开了即时图像处理，尤指一种用来对一缩减取样拜耳图像 (Down-sampled Bayer Image)进行色彩内插的方法及相关装置。
背景技术：
依据相关技术，一图像传感器可于一正常模式中产生一原始图像，其中该原始图像的每一像素仅具有对应于一色彩通道(Color Channel)的像素值，且不具有完整的图像信息如分别对应于红色、绿色、与蓝色通道的所有的像素值。另外，该图像传感器也可于一缩减取样(Down-sampling)模式中舍弃一部分的像素值以产生一缩减取样拜耳图像 (Down-sampled Bayer Image) 0相仿地，该缩减取样拜耳图像的每一像素仅具有对应于一色彩通道的像素值，且不具有完整的图像信息如分别对应于红色、绿色、与蓝色通道的所有的像素值。针对该缩减取样拜耳图像，相关技术往往利用原本为该原始图像所设计的传统的色彩内插(Color Interpolation)演算法来进行色彩内插，并未顾及这些传统的色彩内插演算法是否适用于该缩减取样拜耳图像。于是，通过利用这些传统的色彩内插演算法对该缩减取样拜耳图像进行色彩内插而产生的内插图像会有许多错误的图像信息。因此，需要一种新颖的方法来改善色彩内插图像的品质。
发明内容
因此本发明的目的之一在于提供一种用来对一缩减取样拜耳图像(Down-sampled Bayer Image)进行色彩内插的方法及相关装置，以解决上述问题。本发明的较佳实施例中提供一种用来对一缩减取样拜耳图像进行色彩内插的方法，该方法包含有针对该缩减取样拜耳图像中的至少一待内插像素，依据缩减取样所保留的多个邻近像素的像素值进行至少一像素预测操作，以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值；以及依据该缩减取样所保留的至少一邻近像素的至少一像素值以及该至少一模拟像素值进行至少一色彩内插操作，以产生该至少一待内插像素的像素值。本发明于提供上述方法的同时，也对应地提供一种用来对一缩减取样拜耳图像进行色彩内插的装置，该装置包含有至少一像素预测模块，其中针对该缩减取样拜耳图像中的至少一待内插像素，该至少一像素预测模块依据缩减取样所保留的多个邻近像素的像素值进行至少一像素预测操作，以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值；以及至少一色彩内插模块，用来依据该缩减取样所保留的至少一邻近像素的至少一像素值以及该至少一模拟像素值进行至少一色彩内插操作，以产生该至少一待内插像素的像素值。本发明的好处之一是，本发明的方法及相关装置能提供具有极佳品质的色彩内插图像。相较于相关技术，本发明的方法及相关装置于对该缩减取样拜耳图像进行色彩内插说明书2/6页CN 102404579 A时会进行至少ー像素预测操作，以产生该缩减取样所舍弃的至少ー邻近像素的至少ー相对 应模拟像素的至少ー模拟像素值；因此，本发明能避免错误的图像信息的产生。
图IA为依据本发明ー第一实施例的一种电子装置的示意图。图IB绘示图IA所示的图像信号处理器于ー实施例中所涉及的原始图像的至少ー 部分像素。图IC绘示图IA所示的图像信号处理器于ー实施例中的实施细节。图2为依据本发明ー实施例的一种用来对ー缩减取样拜耳图像(Down-sampled Bayer Image)进行色彩内插的方法的流程图。图3A至图3F为图2所示的方法于ー实施例中的不同情况下所分别涉及的像素的 示意图。其中，附图标记说明如下
5 OL镜头
50S图像传感器
100图像信号处理器
112，114，116像素预测模块
122，124，126色彩内插模块
180显示模块
182驱动器
184显示面板
310R, 310B，320R，320B,像素排列形状 330Gr，330Gb
910用来对ー缩减取样拜耳图像进行
色彩内插的方法
912,914步骤
1000电子装置
Ic色彩内插图像
Idb缩减取样拜耳图像
具体实施方式
请参考图IA与图1B。图IA为依据本发明一第一实施例的一种电子装置1000的示意图，其中电子装置1000包含一镜头50L、一图像传感器50S、一图像信号处理器100、与一显示模块180，而显示模块180包含一驱动器182、与一显示面板184。图像传感器50S 可传感镜头50L所接收的图像，并且选择性地于一正常模式中产生原始图像L、或于一缩减取样(Down-sampling)模式中产生一缩减取样拜耳图像(Down-sampled Bayer Image) Idb。 尤其是，于该缩减取样模式中，图像传感器50S于取得原始图像L的图像资料时，进行缩减取样以舍弃原始图像Ib中的一部分像素如图IB中以阴影绘示的像素的像素值，并输出非以阴影绘示的像素的像素值作为缩减取样拜耳图像Idb的图像资料。在此，不论是原始图像 Ib或是缩减取样拜耳图像IDB，每一像素仅具有对应于一色彩通道(Color Channel)的像素值，且不具有完整的图像信息如分别对应于红色、绿色、与蓝色通道的所有的像素值。例如 图IB中以标号「R」、「G」、与「B」所标示的像素分别仅具有对应于红色、绿色、与蓝色通道的像素值。由于原始图像Ib与缩减取样拜耳图像Idb的每一像素均不具有完整的图像信息， 故电子装置1000中需要一种用来对原始图像L或缩减取样拜耳图像Idb进行色彩内插的装置如图像信号处理器100，才能产生完整的图像信息以供显示模块180用来进行即时显示。例如图像信号处理器100可对缩减取样拜耳图像Idb进行色彩内插以产生相对应的色彩内插图像Ic(其每一像素包含完整的图像信息，如分别对应于红色、绿色、与蓝色通道的所有的像素值)，而驱动器182可接收色彩内插图像Ic并据以驱动显示面板184以显示色彩内插图像Ic，其中图像信号处理器100也可进行某些图像处理操作来改变色彩内插图像 Ic中的图像信息。这只是为了说明的目的而已，并非对本发明的限制。依据本实施例的一变化例，图像信号处理器100也可对原始图像L进行色彩内插以产生相对应的色彩内插图像I。(其每一像素也包含完整的图像信息如分别对应于红色、绿色、与蓝色通道的所有的像素值)。请参考图1C。图IC绘示图IA所示的图像信号处理器100于一实施例中的实施细节。图像信号处理器100包含至少一像素预测模块如像素预测模块112、114、与116，且另包含至少一色彩内插模块如色彩内插模块122、124、与126。依据本实施例，针对缩减取样拜耳图像Idb中的至少一待内插像素，上述的至少一像素预测模块依据该缩减取样所保留的多个邻近像素的像素值进行至少一像素预测操作，以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值。另外，上述的至少一色彩内插模块依据该缩减取样所保留的至少一邻近像素的至少一像素值以及该至少一模拟像素值进行至少一色彩内插操作，以产生该至少一待内插像素的像素值。实际操作中，图像信号处理器100可实施为执行程序代码的一控制器，而该控制器包含硬件电路，用来执行该程序代码，其中上述的至少一像素预测模块与上述的至少一色彩内插模块为该程序代码中的程序模块。例如该程序代码可为固件码(Firmware Code)；又例如该程序代码可为只读存储器码(ROM Code)。这只是为了说明的目的而已， 并非对本发明的限制。依据本实施例的一变化例，图像信号处理器100中的至少一部分(例如图IA所示的模块中的一部分；又例如图IA所示的模块中的全部)可通过利用逻辑电路来实现。图像信号处理器100进行上述的色彩内插的相关细节可参考图2来进一步说明。图2为依据本发明一实施例的一种用来对一缩减取样拜耳图像如上述的缩减取样拜耳图像Idb进行色彩内插的方法910的流程图。该方法可应用于图IA所示的图像信号处理器100，尤其是上述的控制器。另外，该方法可通过利用图IA所示的图像信号处理器 100来实施，尤其是通过利用上述的控制器来实施。该方法说明如下步骤912 针对缩减取样拜耳图像Idb中的至少一待内插像素，上述的至少一像素预测模块(例如像素预测模块112、114、及/或116)依据该缩减取样所保留的多个邻近像素的像素值进行至少一像素预测操作，以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值。步骤914 上述的至少一色彩内插模块(例如色彩内插模块122、124、及/或126) 依据该缩减取样所保留的至少一邻近像素的至少一像素值以及该至少一模拟像素值进行至少一色彩内插操作，以产生上述的至少一待内插像素的像素值。尤其是，上述的至少一色彩内插操作包含分别对应于红色、绿色、与蓝色通道的色彩内插操作，用来产生分别对应于红色、绿色、与蓝色通道的像素值。依据本实施例，该缩减取样所保留的至少一邻近像素以及上述的至少一相对应模拟像素是用来模拟缩减取样拜耳图像Idb于该缩减取样之前的原始图像Ib的模拟图像Is中的至少一部分。请注意，不论模拟图像Is中的该部分是否完全等同于或是相似于原始图像 Ib中的相对应部分，利用方法910所实现的色彩内插的效果总是优于相关技术中未对该缩减取样所舍弃的像素进行任何模拟的架构的效果。图3A至图3F为图2所示的方法910于一实施例中的不同情况下所分别涉及的像素的示意图。于图3A至图:3B所示的任一情况中，用来产生对应于绿色通道的像素值的色彩内插操作(例如色彩内插模块122所进行的一部分色彩内插操作)所涉及的像素于模拟图像L中排列成一菱形；其细节说明如下。如图3A所示，用来产生对应于绿色通道的像素值的色彩内插操作(例如色彩内插模块122所进行的一部分色彩内插操作)所涉及的像素于模拟图像Is中可排列成菱形310R。尤其是，菱形310R所对应的像素包含13个像素，其中菱形310R内的正中央像素代表此情况下的待内插像素，且已具有红色通道的像素值，故标示为「R」。如此，在该待内插像素被该缩减取样所保留的像素值为对应于红色通道的像素值的情况下，于模拟图像 Is中，菱形310R的每一对角线上的像素对应于红、绿、红、绿、红的色彩排列(于图3A中即 「R-G-R-G-R」的色彩排列)。由于像素预测模块112可依据该缩减取样所保留的邻近像素的像素值逐一计算菱形310R中被该缩减取样所舍弃的像素(于图3A中即以较淡的阴影绘示的像素)的模拟像素值，故色彩内插模块122于计算该待内插像素于绿色通道的像素值时，可利用菱形310R中对应于不同色彩通道(例如红色通道、蓝色通道)的像素所形成的图像的明暗变化趋势，来调整该待内插像素于绿色通道的像素值以求逼近真实图像。相仿地，如图:3B所示，用来产生对应于绿色通道的像素值的色彩内插操作(例如 色彩内插模块122所进行的一部分色彩内插操作)所涉及的像素于模拟图像Is中可排列成菱形310B。尤其是，菱形310B所对应的像素包含13个像素，其中菱形310B内的正中央像素代表此情况下的待内插像素，且已具有蓝色通道的像素值，故标示为「B」。如此，在该待内插像素被该缩减取样所保留的像素值为对应于蓝色通道的像素值的情况下，于模拟图像Is中，菱形310B的每一对角线上的像素对应于蓝、绿、蓝、绿、蓝的色彩排列(于图:3B中即「B-G-B-G-B」的色彩排列)。由于像素预测模块112可依据该缩减取样所保留的邻近像素的像素值逐一计算菱形310B中被该缩减取样所舍弃的像素(于图:3B中即以较淡的阴影绘示的像素)的模拟像素值，故色彩内插模块122于计算该待内插像素于绿色通道的像素值时，可利用菱形310B中对应于不同色彩通道(例如红色通道、蓝色通道)的像素所形成的图像的明暗变化趋势，来调整该待内插像素于绿色通道的像素值以求逼近真实图像。另外，于图3C至图3F所示的任一情况中，用来产生对应于一非绿色通道的像素值的色彩内插操作(例如色彩内插模块IM与1 的任何一个所进行的一部分色彩内插操作)所涉及的像素于模拟图像Is中排列成一正方形，其中该非绿色通道代表该红色通道或该蓝色通道；其细节说明如下。如图3C所示，用来产生对应于蓝色通道的像素值的色彩内插操作(例如色彩内插模块IM所进行的一部分色彩内插操作)所涉及的像素于模拟图像Is中可排列成正方形 320R。尤其是，正方形320R所对应的像素包含9个像素，其中正方形320R内的正中央像素代表此情况下的待内插像素，且已具有红色通道的像素值，故标示为「R」。如此，在该待内插像素被该缩减取样所保留的像素值为对应于红色通道的像素值的情况下，于模拟图像Is 中，正方形320R的边上的像素对应于蓝、绿、蓝的色彩排列(于图3C中即「B-G-B」的色彩排列)。由于像素预测模块114可依据该缩减取样所保留的邻近像素的像素值逐一计算正方形320R中被该缩减取样所舍弃的像素(于图3C中即以较淡的阴影绘示的像素)的模拟像素值，故色彩内插模块124于计算该待内插像素于蓝色通道的像素值时，可利用正方形 320R中对应于不同色彩通道(例如绿色通道)的像素所形成的图像的明暗变化趋势，来调整该待内插像素于蓝色通道的像素值以求逼近真实图像。相仿地，如图3D所示，用来产生对应于红色通道的像素值的色彩内插操作(例如 色彩内插模块IM所进行的一部分色彩内插操作)所涉及的像素于模拟图像Is中可排列成正方形320B。尤其是，正方形320B所对应的像素包含9个像素，其中正方形320B内的正中央像素代表此情况下的待内插像素，且已具有蓝色通道的像素值，故标示为「B」。如此， 在该待内插像素被该缩减取样所保留的像素值为对应于蓝色通道的像素值的情况下，于模拟图像Is中，正方形320B的每一对角线上的像素对应于红、绿、红的色彩排列(于图3D中即「R-G-R」的色彩排列)。由于像素预测模块114可依据该缩减取样所保留的邻近像素的像素值逐一计算正方形320B中被该缩减取样所舍弃的像素(于图3D中即以较淡的阴影绘示的像素)的模拟像素值，故色彩内插模块1 于计算该待内插像素于红色通道的像素值时，可利用正方形320B中对应于不同色彩通道(例如绿色通道)的像素所形成的图像的明暗变化趋势，来调整该待内插像素于红色通道的像素值以求逼近真实图像。如图9所示，用来产生对应于该非绿色通道(例如红色通道或蓝色通道)的像素值的色彩内插操作(例如色彩内插模块126所进行的一部分色彩内插操作)所涉及的像素于模拟图像Is中可排列成正方形330Gr。尤其是，正方形330Gr所对应的像素包含9个像素，其中正方形330Gr内的正中央像素代表此情况下的待内插像素，且已具有绿色通道的像素值，故标示为「G」。如此，在该待内插像素被该缩减取样所保留的像素值为对应于绿色通道的像素值的情况下，于模拟图像Is中，正方形330Gr的一边上的像素对应于绿、蓝、 绿的色彩排列(于图3E中即「G-B-G」的色彩排列)，且正方形330Gr的另一边上的像素对应于绿、红、绿的色彩排列(于图3E中即「G-R-G」的色彩排列)。由于像素预测模块116可依据该缩减取样所保留的邻近像素的像素值逐一计算正方形330Gr中被该缩减取样所舍弃的像素(于图3E中即以较淡的阴影绘示的像素)的模拟像素值，故色彩内插模块1 于计算该待内插像素于该非绿色通道的像素值时，可利用正方形330Gr中对应于不同色彩通道(例如绿色通道及另一非绿色通道)的像素所形成的图像的明暗变化趋势，来调整该待内插像素于该非绿色通道的像素值以求逼近真实图像。相仿地，如图3F所示，用来产生对应于该非绿色通道(例如红色通道或蓝色通道)的像素值的色彩内插操作(例如色彩内插模块126所进行的一部分色彩内插操作) 所涉及的像素于模拟图像Is中可排列成正方形330(ib。尤其是，正方形330( 所对应的像素包含9个像素，其中正方形330( 内的正中央像素代表此情况下的待内插像素，且已具有绿色通道的像素值，故标示为「G」。如此，在该待内插像素被该缩减取样所保留的像素值为对应于绿色通道的像素值的情况下，于模拟图像Is中，正方形330( 的一边上的像素对应于绿、蓝、绿的色彩排列(于图3F中即「G-B-G」的色彩排列)，且正方形330( 的另一边上的像素对应于绿、红、绿的色彩排列(于图10中即「G-R-G」的色彩排列)。由于像素预测模块116可依据该缩减取样所保留的邻近像素的像素值逐一计算正方形330( 中被该缩减取样所舍弃的像素(于图3F中即以较淡的阴影绘示的像素)的模拟像素值，故色彩内插模块126于计算该待内插像素于该非绿色通道的像素值时，可利用正方形330( 中对应于不同色彩通道(例如绿色通道及另一非绿色通道)的像素所形成的图像的明暗变化趋势，来调整该待内插像素于该非绿色通道的像素值以求逼近真实图像。本发明的好处之一是，本发明的方法及相关装置能提供具有极佳品质的色彩内插图像。相较于相关技术，本发明的方法及相关装置于对该缩减取样拜耳图像进行色彩内插时会进行至少一像素预测操作，以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值；因此，本发明能避免错误的图像信息的产生。以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
权利要求
1.一种用来对一缩减取样拜耳图像进行色彩内插的方法，该方法的特征是，包含有针对该缩减取样拜耳图像中的至少一待内插像素，依据缩减取样所保留的多个邻近像素的像素值进行至少一像素预测操作，以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值；以及依据该缩减取样所保留的至少一邻近像素的至少一像素值以及该至少一模拟像素值进行至少一色彩内插操作，以产生该至少一待内插像素的像素值。
2.如权利要求1所述的方法，其特征是，该至少一色彩内插操作包含分别对应于红色、 绿色、与蓝色通道的色彩内插操作，用来产生分别对应于红色、绿色、与蓝色通道的像素值。
3.如权利要求2所述的方法，其特征是，该缩减取样所保留的至少一邻近像素以及该至少一相对应模拟像素用来模拟该缩减取样拜耳图像于该缩减取样之前的原始图像的模拟图像中的至少一部分。
4.如权利要求3所述的方法，其特征是，用来产生对应于绿色通道的像素值的色彩内插操作所涉及的像素于该模拟图像中排列成一菱形。
5.如权利要求4所述的方法，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于红色通道的像素值的情况下，于该模拟图像中，该菱形的每一对角线上的像素对应于红、绿、红、绿、红的色彩排列。
6.如权利要求4所述的方法，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于蓝色通道的像素值的情况下，于该模拟图像中，该菱形的每一对角线上的像素对应于蓝、绿、蓝、绿、蓝的色彩排列。
7.如权利要求3所述的方法，其特征是，用来产生对应于一非绿色通道的像素值的色彩内插操作所涉及的像素于该模拟图像中排列成一正方形；以及该非绿色通道代表该红色通道或该蓝色通道O
8.如权利要求7所述的方法，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于红色通道的像素值的情况下，于该模拟图像中，该正方形的边上的像素对应于蓝、绿、蓝的色彩排列。
9.如权利要求7所述的方法，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于蓝色通道的像素值的情况下，于该模拟图像中，该正方形的边上的像素对应于红、绿、红的色彩排列。
10.如权利要求7所述的方法，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于绿色通道的像素值的情况下，于该模拟图像中，该正方形的一边上的像素对应于绿、蓝、绿的色彩排列，且该正方形的另一边上的像素对应于绿、红、绿的色彩排列。
11.一种用来对一缩减取样拜耳图像进行色彩内插的装置，其特征是，该装置包含有至少一像素预测模块，其中针对该缩减取样拜耳图像中的至少一待内插像素，该至少一像素预测模块依据缩减取样所保留的多个邻近像素的像素值进行至少一像素预测操作， 以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值；以及至少一色彩内插模块，用来依据该缩减取样所保留的至少一邻近像素的至少一像素值以及该至少一模拟像素值进行至少一色彩内插操作，以产生该至少一待内插像素的像素值。
12.如权利要求11所述的装置，其特征是，该至少一色彩内插操作包含分别对应于红色、绿色、与蓝色通道的色彩内插操作，用来产生分别对应于红色、绿色、与蓝色通道的像素值。
13.如权利要求12所述的装置，其特征是，该缩减取样所保留的至少一邻近像素以及该至少一相对应模拟像素用来模拟该缩减取样拜耳图像于该缩减取样之前的原始图像的模拟图像中的至少一部分。
14.如权利要求13所述的装置，其特征是，用来产生对应于绿色通道的像素值的色彩内插操作所涉及的像素于该模拟图像中排列成一菱形。
15.如权利要求14所述的装置，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于红色通道的像素值的情况下，于该模拟图像中，该菱形的每一对角线上的像素对应于红、绿、红、绿、红的色彩排列。
16.如权利要求14所述的装置，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于蓝色通道的像素值的情况下，于该模拟图像中，该菱形的每一对角线上的像素对应于蓝、绿、蓝、绿、蓝的色彩排列。
17.如权利要求13所述的装置，其特征是，用来产生对应于一非绿色通道的像素值的色彩内插操作所涉及的像素于该模拟图像中排列成一正方形；以及该非绿色通道代表该红色通道或该蓝色通道。
18.如权利要求17所述的装置，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于红色通道的像素值的情况下，于该模拟图像中，该正方形的边上的像素对应于蓝、绿、蓝的色彩排列。
19.如权利要求17所述的装置，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于蓝色通道的像素值的情况下，于该模拟图像中，该正方形的边上的像素对应于红、绿、红的色彩排列。
20.如权利要求17所述的装置，其特征是，在该待内插像素被该缩减取样所保留的像素值为对应于绿色通道的像素值的情况下，于该模拟图像中，该正方形的一边上的像素对应于绿、蓝、绿的色彩排列，且该正方形的另一边上的像素对应于绿、红、绿的色彩排列。
全文摘要
本发明公开了一种用来对一缩减取样拜耳图像进行色彩内插的方法，该方法包含有针对该缩减取样拜耳图像中的至少一待内插像素，依据缩减取样所保留的多个邻近像素的像素值进行至少一像素预测操作，以产生该缩减取样所舍弃的至少一邻近像素的至少一相对应模拟像素的至少一模拟像素值；以及依据该缩减取样所保留的至少一邻近像素的至少一像素值以及该至少一模拟像素值进行至少一色彩内插操作，以产生该至少一待内插像素的像素值。本发明另提供相关的装置。本发明的方法及相关装置能提供具有极佳品质的色彩内插图像，能避免错误的图像信息的产生。
文档编号G06T3/40GK102404579SQ20111012797
公开日2012年4月4日 申请日期2011年5月17日 优先权日2010年9月13日
发明者谢兆魁 申请人:慧荣科技股份有限公司