图像处理系统的制作方法

本发明提供一种图像处理系统，尤指一种利用零快门延迟操作以生成高画质的快照图像的图像处理系统。

背景技术：

随着摄影科技的日新月异，各种光感测器及图像处理演算法也已经应用于日常生活中。例如，当相机在昏暗场景撷取图像时，撷取到的图像可能会曝光不足。由于曝光不足的图像其信号噪声比(signal-to-noiseratio)偏低，故噪声(热噪声或是颗粒噪声)会变得非常明显且随机分布于整张曝光不足的图像中。为了提供在昏暗场景令人满意的图像画质，各种不同拜尔(bayer)滤色镜的格式也被应用于光感测器。并且，拜尔滤色镜可视为多个具有三原色的滤色镜所构成的色彩滤波阵列(colorfilterarray，cfa)，其以矩形方格的排列组态设置于光感测器中。然而，在较新的拜尔滤色镜的格式中，色彩滤波阵列可包含2×2个拜尔滤色镜样式，如红/黄/黄/蓝(r/y/y/b)的滤色镜。对于较新的拜尔滤色镜的格式，其设计目的在于提升相机在昏暗场景中撷取图像的信号噪声比，以提升图像画质。

然而，目前大部分的图像信号处理器并不支援具有较新的拜尔滤色镜的格式的图像。并且，虽然拜尔滤色镜可提升撷取到的图像的信号噪声比，却牺牲了图像的解析度或是色彩保真度(colorfidelity)。原因在于，色彩滤波阵列要搭配马赛克程序，以降低噪声。换句话说，对于相机撷取到的图像而言，当图像经过后期处理时，信号噪声比的提升与维持图像解析度的功效常常只能两者选择其一。因此，发展一种图像处理系统，用以将较新的拜尔滤色镜的格式转换为标准拜尔滤色镜的格式，且能在不牺牲图像解析度的条件下提供高图像画质，是当今重要的设计议题。

技术实现要素：

本发明一实施例提出一种图像处理系统，包含图像撷取装置、像素合并装置、时域滤波器、第一存储器、马赛克处理装置、第二存储器及图像混合装置。图像撷取装置用以撷取具有第一解析度的原始图像。像素合并装置耦接于图像撷取装置，用以依据原始图像输出具有第二解析度的增强图像。时域滤波器耦接于像素合并装置，用以依据增强图像输出具有第二解析度的一预览图像。第一存储器耦接于图像撷取装置，用以缓存原始图像。马赛克处理装置耦接于第一存储器，用以输出具有第一解析度的处理图像。第二存储器耦接于时域滤波器，用以通过时域滤波器缓存增强图像。图像混合装置耦接于马赛克处理装置及第二存储器，用以依据处理图像及增强图像，输出具有第一解析度的快照图像。图像撷取装置、像素合并装置及时域滤波器恒开启。马赛克处理装置及图像混合装置依据快照信号选择性地开启。第一解析度大于第二解析度。

附图说明

图1为本发明的图像处理系统的实施例的方块图；

图2为图1的图像处理系统中，图像撷取装置的拜尔滤色镜的样式的示意图；

图3为图1的图像处理系统中，马赛克处理装置及图像混合装置进入待命模式的示意图；

图4为图1的图像处理系统中，马赛克处理装置及图像混合装置进入启动模式的示意图；

图5为图1的图像处理系统中，引入人工智能控制器的示意图。

附图标记说明

100及200、图像处理系统；

10、图像撷取装置；

10a、光感测器；

11、像素合并装置；

12、时域滤波器；

13、第一存储器；

14、马赛克处理装置；

15、第二存储器；

16、图像混合装置；

cfa、色彩滤波阵列；

sa1、sa2及sa3、子阵列；

sg、矩形方格；

r1、g2及g3、滤色镜；

imga、图像范围；

f1至f12、数据流；

17、人工智能控制器。

具体实施方式

图1为本发明的图像处理系统100的实施例的方块图。图2为图像处理系统100中，图像撷取装置10的拜尔滤色镜的样式的示意图。图像处理系统100可视为相容于任何拜尔滤色镜的样式的“预处理”的系统。图像撷取装置10具有执行零快门延迟(zero-shutter-lag)操作的功能。图像处理系统100可包含图像撷取装置10、像素合并装置11、时域滤波器12、第一存储器13、马赛克处理装置14、第二存储器15及图像混合装置16。图像撷取装置10可用以撷取具有第一解析度的原始图像。图像撷取装置10可为任何种类的具有光感应器10a的光检测器件，如具有互补式金属氧化物半导体(complementarymetal-oxide-semiconductor，cmos)的镜头，或是具有感光耦合器件(charge-coupleddevice，ccd)的相机。在图像处理系统100中，多个拜尔滤色镜(bayerfilter)可应用于光感应器10a中。该些拜尔滤色镜的样式可用色彩滤波阵列(colorfilterarray)的形式叠在光感测器10a之上。举例而言，如图2，图像撷取装置10可以用色彩滤波阵列cfa的形式产生该些拜尔滤色镜的样式(bayerpatterns)，且叠在图像撷取装置10中的光感测器10a之上。色彩滤波阵列cfa包含多个子阵列，如子阵列sa1、子阵列sa2以及子阵列sa3。每一个子阵列可包含n×n个矩形方格sg的相同原色的滤色镜。n是大于1的正整数。举例而言，该些拜尔滤色镜的样式可为基于以四个单位为一组的拜尔滤色镜样式，且每一个子阵列包含2×2个矩形方格。在图2中，子阵列sa1可包含2×2个“红色”滤色镜的矩形方格。换句话说，子阵列sa1可视为基于以四个单位(矩形方格)为一组的红色滤色镜，表示为滤色镜r1。子阵列sa2可包含2×2个“绿色”滤色镜的矩形方格。换句话说，子阵列sa2可视为基于以四个单位(矩形方格)为一组的绿色滤色镜，表示为滤色镜g2。子阵列sa3可包含2×2个“绿色”滤色镜的矩形方格。换句话说，子阵列sa3可视为基于以四个单位(矩形方格)为一组的绿色滤色镜，表示为滤色镜g3。因此，在色彩滤波阵列cfa中，一行(row)的矩形方格sg所代表的滤色镜的颜色序列可以表示为“r1r1g2g2…”。类似地，在色彩滤波阵列cfa中，一列(column)的矩形方格sg所代表的滤色镜的颜色序列可以表示为“r1r1g3g3…”。由于色彩滤波阵列cfa可以叠在光感应器10a的图像范围imga上，因此，光感测器10a可检测至少一个颜色的光线强度，位置以及其对应的波长特性。因此，光感测器10a可以区隔不同颜色的光信息(如不同原色光的信息)。然而，在图像处理系统100中，多个拜尔滤色镜的样式或是其配置方式也可以合理地变动。任何标准或是非标准规格的拜尔滤色镜的格式或样式的应用都属于本发明的范畴。

像素合并装置11耦接于图像撷取装置10，用以依据原始图像输出具有第二解析度的增强图像。举例而言，像素合并装置11可用于结合一部分的矩形方格sg的信息且产生多个标准拜尔滤色镜的样式，并进一步产生具有第二解析度的增强图像。并且，由于一部分的矩形方格sg的信息被结合，因此，原始图像的噪声的标准差(noisevariance)将可降低，故可提升信号噪声比。换句话说，增强图像的信号噪声比大于原始图像的信号噪声比。并且，像素合并装置11可以将多个非标准的拜尔滤色镜的样式重新配置，以产生增强图像。因此，增强图像的格式对应多个拜尔滤色镜的标准格式。于此，该些拜尔滤色镜的标准格式可定义为色彩滤波阵列cfa中，滤色镜的颜色以“红绿蓝绿(rgbg)”、“绿红绿蓝(grgb)”或是“红绿绿蓝(rggb)”分组。因此，具有标准拜尔滤色镜格式的增强图像可相容于现今大部分的图像信号处理器。时域滤波器12耦接于像素合并装置11，用以依据增强图像输出具有第二解析度的预览图像。举例而言，时域滤波器12可在曝光不足的条件下，将增强图像的数据与预设的脉冲响应(impulseresponse)进行卷积(convolution)运算，以使增强图像的随机噪声波动平滑化，以达到消除噪声功能。换句话说，时域滤波器12可以输出低噪声的预览图像，尤其在曝光不足的场景更能优化图像品质。预览图像可视为缩图图像。第一存储器13耦接于图像撷取装置10，用以缓存原始图像。第一存储器13可为随机存取存储器(randomaccessmemory，ram)。马赛克处理装置14耦接于第一存储器13，用以输出具有第一解析度的处理图像。举例而言，类似于像素合并装置11的运作，马赛克处理装置14也可用于结合一部分的矩形方格信息，并产生多个标准拜尔滤色镜的样式。并且，为了避免牺牲解析度，马赛克处理装置14可以将该些标准拜尔滤色镜的样式的矩形方格内插，以产生具有第一解析度的处理图像。因此，处理图像的格式会对应标准拜尔滤色镜的格式。并且，由马赛克处理装置14所输出的处理图像的解析度不会降低，可维持与原始图像相同的第一解析度。第二存储器15耦接于时域滤波器12，用以通过时域滤波器12缓存增强图像。第二存储器15可为随机存取存储器。图像混合装置16耦接于马赛克处理装置14及第二存储器15，用以依据处理图像及增强图像，输出具有第一解析度的快照图像。举例而言，图像混合装置16可将缓存于第二存储器15内的增强图像的信息与马赛克处理装置14所输出的处理图像的信息结合，以增加处理图像的信号噪声比。在实作上，快照图像有联合图像专家小组(jointphotographicexpertsgroup，jpeg)格式。图像混合装置16可将增强图像中多个jpeg的直流(directcurrent)参数，与处理图像中的多个jpeg的交流(alternatingcurrent)参数结合，以产生快照图像。在缓存于第二存储器15内的增强图像的信息与处理图像的信息被结合后，图像混合装置16可输出具有第一解析度的快照图像(快照图像可维持与原始图像相同的第一解析度)。并且，快照图像的信号噪声比大于原始图像的信号噪声比。

在图像处理系统100中，图像撷取装置10、像素合并装置11及时域滤波器12恒开启。马赛克处理装置14及图像混合装置16可依据快照信号选择性地开启，且第一解析度大于第二解析度。在其他实施例中，时域滤波器12及图像混合装置16可以省略，以降低硬件复杂度及功耗。第二存储器15也可以直接缓存增强图像或缓存预览图像。任何合理地硬件变更都属于本发明的范畴。在图像处理系统100中，图像混合装置11可属于硬件核心模块。马赛克处理装置14可属于可程序化核心模块。并且，由于图像撷取装置10、像素合并装置11及时域滤波器12恒开启，故原始图像可以用即时(real-time)的方式缓存在第一存储器13中。缓存于第二存储器15中的预览图像或增强图像也可以依据原始图像而以接近即时的方式产生。因此，马赛克处理装置14以及图像混合装置16可以用接近即时的方式存取在第一存储器13中的原始图像及第二存储器15中的预览图像或是增强图像，以产生快照图像。换句话说，马赛克处理装置14及图像混合装置16可支援零快门延迟(zero-shutter-lag，zsl)的操作。

图3为图像处理系统100中，马赛克处理装置14及图像混合装置16进入待命模式的示意图。在图像处理系统100中，在马赛克处理装置14及图像混合装置16闲置一段预定时间后，马赛克处理装置14及图像混合装置16可进入待命模式。举例而言，假设快照信号5秒内没被产生，马赛克处理装置14及图像混合装置16可进入待命模式以避免额外功耗。并且，在图像处理系统100中，第一解析度可为图像撷取装置10中的光感测器10a的原始解析度。第二解析度可为缩图解析度。举例而言，第一解析度实质上可等于24m(mega，百万)像素。第二解析度实质上可等于6m(mega，百万)像素。图像撷取装置10可产生对应原始图像的第一数据流f1(频宽为24m/帧，以24mp表示，以此类推)至像素合并装置11。图像撷取装置10可产生对应原始图像的第二数据流f2(频宽为24m/帧)至第一存储器13。像素合并装置11可接收对应原始图像的第一数据流f1，并产生对应增强图像的第三数据流f3(频宽为6m/帧)。时域滤波器12可接收对应增强图像的第三数据流f3，并产生第四数据流f4(频宽为6m/帧)至第二存储器15。如前述提及，由于预览图像有标准拜尔滤色镜的格式，故预览图像可相容于现今大部分的图像信号处理器，并可直接通过预览图像数据流(频宽为6m/帧)显示于荧幕上。并且，由于马赛克处理装置14及图像混合装置16可进入待命模式以节省功耗，故图像处理系统100的工作时间长度将可增加。

图4为图像处理系统100中，马赛克处理装置14及图像混合装置16进入启动模式的示意图。在图像处理系统100中，在快照信号触发马赛克处理装置14及图像混合装置16后，马赛克处理装置14及图像混合装置16可进入启动模式。举例而言，当使用者按压快门键时，可以产生快照信号。在图像处理系统100中，第一数据流f1、第二数据流f2、第三数据流f3以及第四数据流f4的细节已于前文中详述，故于此将不再赘述。在快照信号触发马赛克处理装置14及图像混合装置16后，马赛克处理装置14可以通过第五数据流f5(频宽为24m/帧)存取第一存储器13中的原始图像。马赛克处理装置14可产生对应于处理图像的第六数据流f6(频宽为24m/帧)。图像混合装置16可同时接收对应于处理图像的第六数据流f6以及对应于预览图像或增强图像的第七数据流f7(频宽为6m/帧)，以产生对应快照图像的快照图像数据流(频宽为24m/帧)。如前述提及，由于快照图像有标准拜尔滤色镜的格式，故快照图像可相容于现今大部分的图像信号处理器，并可直接通过快照图像数据流显示于荧幕上。并且，由于第五数据流f5及第七数据流f7可被即时处理，因此，马赛克处理装置14及图像混合装置16可支援零快门延迟(zero-shutter-lag，zsl)的操作。

图5为图像处理系统100中，引入人工智能控制器17的示意图。为了避免混淆，具有人工智能控制器17的图像处理系统100后文称为图像处理系统200。在图像处理系统200中，人工智能控制器17可耦接于像素合并装置11、时域滤波器12、马赛克处理装置14、图像混合装置16及第二存储器15，用以控制像素合并装置11、时域滤波器12、马赛克处理装置14及图像混合装置16。举例而言，在图5中，人工智能控制器17可接收缓存于第二存储器15内的对应预览图像或是增强图像的第八数据流f8。如前述提及，预览图像或是增强图像具有良好的信号噪声比及图像品质，特别在曝光不足或是偏暗的场景中。因此，在人工智能控制器17依据“画质纯净”的图像，利用机器学习训练类神经网路时，无论是训练速度以及精确度都可以提升。并且，人工智能控制器17也可以最佳化像素合并装置11、时域滤波器12、马赛克处理装置14及图像混合装置16的运作。在实作上，人工智能控制器17可产生多个控制信号，以最佳化图像处理系统200的运作。举例而言，人工智能控制器17可产生第九数据流f9至像素合并装置11，以最佳化像素合并装置11的运作。人工智能控制器17可产生第十数据流f10至时域滤波器12，以最佳化时域滤波器12的运作。人工智能控制器17可产生第十一数据流f11至马赛克处理装置14，以最佳化马赛克处理装置14的运作。人工智能控制器17可产生第十二数据流f12至图像混合装置16，以最佳化图像混合装置16的运作。图像处理系统200其余器件的运作模式类似于图像处理系统100的运作模式，故于此将不再赘述。因此，图像处理系统200藉由引入人工智能控制器17，预览图像的图像画质以及快照图像的图像画质还可以进一步提升。

综上所述，本发明描述一种图像处理系统。图像处理系统可视为具有最佳化拜尔滤色镜图像功能的一种利用人工智能辅助的图像预处理系统。图像处理系统可利用零快门延迟的操作产生高品质的快照图像。图像处理系统可将任何形式的非标准拜尔滤色镜格式转换为标准拜尔滤色镜格式。因此，图像处理系统中的所有的图像数据流可相容于现今大部分的图像信号处理器。并且，图像处理系统可在不损失解析度的条件下，输出高品质的快照图像。换句话说，在偏暗场景下，图像处理系统可以智能地决定所撷取的原始图像的最佳信号噪声比。因此，即使在偏暗场景下撷取原始图像，最后输出的快照图像的图像品质仍与明亮场景下的图像品质类似，且均符合标准拜尔滤色镜格式。因此，图像处理系统无论是在何种场景下都可以输出高品质的快照图像。并且，图像处理系统还可用即时的方式处理原始图像，以输出预览图像以及快照图像。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。