专利名称：基于亚像素的下采样的方法和装置的制作方法
技术领域：
本发明通常涉及图像信号处理，特别涉及图像显示和下采样 (down-sampling) —个图像以符合较小显示、软件应用、传输或用户要求。 更特别地，本发明的目的是用于RGB显示的基于亚像素(subpixel)的下采样。
发明概述图像是由像素构成。通过减少表示图像的像素数目的方式来减 小图像的尺寸是可能的。减少像素数目是通过一个下采样过程进行。在下采样阶段，不是初始图像的所有像素都能够得到保留，而 仅保留其部分像素，这样会导致在高空间频率(spatial frequency)区域产 生严重的混叠失真(aliasing artifact),因为细线断裂/不连续而破坏形状信 息(shape information)禾口边缘，从而显示梯状失真(staircase artifact)。普通彩色LCD显示器的每个像素实际上是由单个可寻址的红、 绿、和蓝亚像素条纹(sub-pixel stripe)组成。使用基于亚像素的显示可以 提高显示图像的可见分辨率(apparentresolution)。由于亚像素数目比像素 数目大三倍，使用基于亚像素的显示可以有效地降低梯状失真，并更加如 实地重建形状信息。所以，通过基于亚像素的下采样以增强可视质量是可 能的。但是，对一些像素将会感知到色彩失真(color fringing artifact),因 为在下采样的图像中不是所有红、绿、蓝亚像素都被保留。而且，在基于像素的下采样中所使用的防混叠低通滤波器 (low-pass filtering)虽然可以减轻色彩失真，但会付出图像模糊的代价。
为了减少初始图像和以亚像素方式显示图像之间的差别，可以 在频域(frequency domain)内定义一个误差度量，并通过导出滤波系数而 设计一个滤波器以最小化此误差度量。但是，这些方法仅能够处理水平方 向上的下采样。如果同时考虑垂直下采样，性能将大幅降低。本发明涉及一种基于亚像素的下采样方法。基于亚像素的下采 样方法根据边缘检测通过一个自适应滤波可以减轻色彩失真和模糊。基于 亚像素的下采样方法提供一个最优截止频率(cutoff frequency)给自适应 滤波以保留尽可能多的图像细节信息。基于亚像素的下采样方法允许在一 个或多个方向而不是仅在一个水平方向上的下采样，这在本披露之前并没 有出现过。这可以保证所有方向上的形状细节得到保留。本发明的一个目的是去除色彩失真。现有方法仅允许在水平方 向上的基于亚像素下采样，否则可视质量将大幅降低。但是，如果在所示 图像里有边缘存在，将可能产生色彩失真，且如果在边缘左侧像素的RGB 亚像素的数值为255时，即显示白色，而当在边缘右侧像素的RGB亚像 素的数值为0时，即显示黑色，情况亦是如此。在仅采用左侧R亚像素和 右侧G和B亚像素的水平方向的基于亚像素下采样之后，将产生一个RGB 数值为(255，0，0)的像素，即显示红色。在初始图像里并不存在这种颜色， 从而产生色彩失真。由于本发明考虑边缘，并基于边缘检测结果在不同方 向上自适应地应用抗混叠滤波(anti-aliasing filter),可以去除或至少减少 色彩失真，如果没有完全去除，至少能够尽可能保留更多的图像细节信息。本发明的另一个目的是降低模糊并保留图像信息。在本发明里 定义了一个最优的抗混叠滤波截止频率，其是新颖的并高于已知的截止频 率。本发明的抗混叠滤波不仅能够去除大多数的色彩混叠，而且能够提供 一个比传统抗混叠滤波更清晰的结果。本发明的其它方面也将在以下披露。
参照以下附图，随后将详细描述本发明的其它目的、方面和实 施例，其中
图1显示一个本发明实施例的流程图；
图2显示一个上采样和下采样实施例；
图3显示一个边缘检测实施例；图4显示一个自适应的抗混叠滤波的实施例；
图5显示一个基于亚像素的下采样实施例；
图6显示一个实施本发明的装置的结构示意图。 发明详述图l显示在所述实施例里如何执行本发明的基于亚像素的下釆 样的流程图。在一个实施例里，图像的期望尺寸是M,N，即在水平方向 上有M个像素，在垂直方向上有N个像素。图像的初始尺寸是xM,yN，
其中x和y是实数，导致M和N的倍数或分数。在一个实施例里，在输入步骤110，输入一个高分辨率图像。 随后，在采样步骤120，通过上采样或下采样或两者兼有来处理xM , yN 图像，产生一个3M ■ 3N图像，其中可引入基于像素的防混叠低通滤波器。 在交替或同等可预见的实施例里，同样可以采用稍微不同的尺寸，如 (3M+l)x(3M+l)，或(3M+2)x(3M+2)，或甚至(3M+l)x(3M-2)。在边缘检测 步骤130，识别确定3M 3N图像的边缘，可以使用或不必使用梯度计算， 同时边缘方向也被确定。在自适应滤波步骤140，依照边缘方向应用不同 的滤波。在亚像素下采样步骤150， R-亚像素、G-亚像素和B-亚像素分别 从3M 3N图像内的三个像素中挑选出来，以提供M , N图像内像素的 RGB信息。在输出步骤160，输出M,N图像。图2(a)和2(b)显示一个采样步骤的实施例，其中上采样是通过 插值(interpolation)完成。在图2(a)示意图里，沿着每行的每个初始像素210、 220，填补一个具有相同强度值的额外像素230、 240，以在水平方向 上使图像尺寸加倍。可以在任何方向添加任何数量的额外像素。在一个实 施例里，下采样是通过采样完成。在图2(b)，仅采样图象上每2,2方块的 左侧角的像素250，以产生一个新图像。所有其它剩余的像素260、 270、 280将被丢弃。这样，图像在水平方向和垂直方向上被下采样一半。通常， 将被添加或将被采样的每个像素的强度值以某种方式来选择，在下采样过 程中可引入防混叠低通滤波器，以保持图像质量。图3显示一个边缘检测步骤的实施例，在边缘检测歩骤的说明 范例里，在一个图象里每个像素0/') 350的亮度^被用来确定边缘信息， 通过比较其在O"W)310' (/力')320， (/力.+"330， (4;W)340， 0， (/+/,>7) 370， (/+7，力380禾口(>'+/，7+/) 390上的相邻像素的亮度。定义四个 方向，其包括水平、垂直、左对角线(left diagonal)和右对角线(right diagonal)。在等式(1)定义沿着水平方向的梯度
Gra&(U P^,^ fl^jQI圍ll (1)在等式(2)定义沿着垂直方向的梯度
Gra^(Dfl|i;flJ画l.l (2)在等式(3)定义沿着左对角线方向的梯度 Gra《。(^) P|l^,jgl a" (3)在等式(4)定义沿着右对角线方向的梯度 爿;^,w圍K」^1^,-圍X,」 (4)沿着每个方向的梯度表示沿着此特定方向上亮度的变化率。沿 着一个特定方向的梯度越大，沿着此特定方向的边缘越明显。在所述实施 例里，通过比较沿着不同方向的梯度值并找出具有最大梯度的那个方向以 确定边缘方向。边缘方向与最大梯度的方向垂直正交(90—)。为了计算像 素(/，/)350的梯度，可采用各种梯度算子，包括Roberts算子、Prewitt算子和Sobel算子，并且许多其它算子在确定不同方向上的梯度也是适用的。图4(a)显示一个抗混叠滤波(anti-aliasing filter)的实施例，其 可被自适应地应用信道元素410， 420, 430， 440, 450, 460, 470， 480和490。
每个方向信道都要求一个抗混叠滤波。理论上，对一个单色图像(i.e.， R=G=B=Y， U=V=0)，基于亚像素下采样的采样率是Uqy/I;^像z素，其是 基于像素下采样ft5qy/^示像素的三倍。在条件F^G:B下，使用基于亚像 素下采样可以有效地保留所有亮度信息。但是，对一个完全彩色的图像， 通常由亮度和色度两部分采样组成Y分量和UV分量。由于UV分量引 起的混叠，基于亚像素下采样在采样率上不能达到3倍的提升。有必要在 保留亮度细节信息和色度混叠之间做出权衡。由于人类眼睛对亮度比对色 度更为敏感，通常亮度支配可感知的分辨率。传统上，对于3比1的下采样，选择的滤波截止频率是^/3。 基于本发明和以上分析，在本发明中，截止频率被延长到大约0/3和(Z之间 以获得额外亮度信息，同时不会发生明显色度可视失真。本发明中最佳截 止频率是50/12 。 一个抗混叠滤波的实施例是一个在空间域内无限长的为 W>7C函数的低通滤波器，通常其主瓣被当作抗混叠滤波器。在另一个实施 例里，使用的抗混叠滤波是一个9-阶滤波器(9-tap filter)。在图4(b)，显 示不同实施例里的各种空域滤波器491、 493、 495在频域内的响应曲线。 不需要有一个在50/12上的尖锐的截止频率，如滤波493和495。在抗混叠 滤波里也有可能出现过冲(overshoot),如滤波495。只要它们仍然是低通 滤波，频域相应曲线轮廓在抗混叠滤波的不同实施例中可以是不同的。而且，基于边缘检测可以自适应地应用抗混叠滤波。抗混叠滤 波被实施在一个与边缘方向相反的方向上。例如，如果边缘方向是垂直的， 比如左侧的亚像素值完全不同于右侧的亚像素值，那么会在水平方向上应 用抗混叠滤波。分别处理红、绿和蓝信道。图5显示本发明所述的一个基于亚像素下采样步骤的实施例。 在一个M.N图像的每个像素(/力是由一个3M . 3N图像的亚像素(及3,,3, ,G，，万，'，)组成。例如，在M. N图像的(^)上，M. N图像的(0力)
位置上像素500的R亚像素等于3M. 3N图像的(0")位置上像素510的R 亚像素，其等于i 。。。 M.N图像的(0，0)位置上像素500的G亚像素等于 3M. 3N图像的(0,。位置上像素550的G亚像素，其等于C^。 M. N图像
的(0,0)位置上像素500的B亚像素等于3M. 3N图像的(O，O)位置上像素590 的B亚像素，其等于&2。这样，基于亚像素下采样是在一个对角线方向
上执行。很多种方法可以用来实施基于亚像素下采样步骤150。除了那些 沿着3M* 3N图像的对角线方向的像素之外，也可以使用不同的像素以获 得M.N图像内像素500的R亚像素、G亚像素和B亚像素。例如，像素 500的R亚像素是像素520、 540、 560和580的R亚像素的一个均值。即 使使用了 3M. 3N图像的像素510、 550、 590，也可以选择不同的亚像素 以获得像素500的R亚像素、G亚像素和B亚像素。例如，可以从像素 550选择B亚像素，而从像素590选择G亚像素。图6显示一种实施本发明的装置的结构示意图。装置600是一 个显示器，在特定实施里其可能是任何类型，如LCD， LED和OLED。装 置600集成一个处理器，在特定实施例里其利用一个Xilinx FPGA芯片或 一个SoC ASIC芯片，在预处理和后处理上专为视频下采样而设计。 一个 高分辨率图像605是装置600的一个输入，高分辨率图像605随后被一个 采样器610处理，执行上采样和下采样以获得期望的分辨率以便进行如上 所述的进一步处理。在上采样和下采样之后，图像由一个边缘检测器620 进行处理，以识别图像里的边缘，以及通过如上所述的边缘检测方法识别 其方向。图像然后由一个滤波630进行处理，其根据如上所述方法，基于 边缘检测结果执行一个自适应抗混叠滤波。在滤波之后，图像再由一个基 于亚像素采样器640进行处理，其执行如上所述的基于亚像素下采样以输 出一个低分辨率的图像650。对本领域技术人员而言，本发明优选实施例的描述并不是穷尽 的，很明显可以对其作出任何更新或修改，所以可以参照用来确定本发明 范围的所附权利要求。工业应用本发明在低分辨率手持设备如便携式多媒体播放器(PMPs) 或个人数字助理(PDAs)上显示高分辨率图像或视频内容时具有广泛的工 业应用。本发明也可以被应用在RGB-线状LCD、 LED、 OLED或任何其 它显示器类型。本发明在各种要求图像下采样的应用里也是适用的。此外， 本发明可以被实施在专为视频下采样预处理和后处理而设计的Xilinx FPGA芯片或SoC ASIC芯片上。
权利要求
1. 一种下采样xMyN图像的方法，包括将一个xMyN图像采样成一个3M3N图像；检测3M3N图像内的一个或多个边缘；基于边缘检测，在3M3N图像上实施一个自适应滤波；和将3M3N图像基于亚像素下采样成一个MN图像。
2. 根据权利要求1所述的下采样xM ■ yN图像的方法，其中所述滤 波有一个大于0/3但小于(Z的截止频率。
3. 根据权利要求1所述的下采样xM yN图像的方法，其中所述滤 波有一个50/12的截止频率。
4. 根据权利要求1所述的下采样xM yN图像的方法，其中所述滤 波是一个9阶滤波。
5. 根据权利要求1所述的下采样xM ■ yN图像的方法，其中基于亚 像素下采样是在一个对角线方向上进行。
6. 根据权利要求1所述的下采样xM ■ yN图像的方法，其中所述滤 波被实施在一个与边缘方向相反的方向上。
7. —种下采样xM,yN图像的装置，包括一个采样器，将一个xM,yN图像采样成一个3M,3N图像；一个边缘检测器，检测3M,3N图像里的一个或多个边缘；一个滤波器，基于边缘检测对3M,3N图像自适应地滤波；和一个基于亚像素下采样器，基于亚像素将3M , 3N图像下采样成一个 M静N图像。
8. 根据权利要求7所述的下采样xM ■ yN图像的装置，其中所述滤 波有一个大于0/3但小于(2的截止频率。
9. 根据权利要求7所述的下采样xM ■ yN图像的装置，其中所述滤 波有一个50/12的截止频率。
10. 根据权利要求7所述的下采样xM^yN图像的装置，其中所述滤 波是一个9-阶滤波。
11. 根据权利要求7所述的下采样xM,yN图像的装置，其中所述基 于亚像素采样器在一个对角线方向上执行基于亚像素下采样。
12. 根据权利要求7所述的下采样xM,yN图像的装置，其中所述滤 波被实施在一个与边缘方向相反的方向上。
全文摘要
本发明涉及基于亚像素下采样的方法和装置。本发明基于边缘检测采用一种自适应滤波140，能够去除由亚像素下采样引起的色彩混叠，同时有效地保留图像清晰度。
文档编号H04N7/46GK101448163SQ20081018588
公开日2009年6月3日 申请日期2008年12月17日 优先权日2008年12月17日
发明者区子廉, 璐 方, 祎 杨, 焰 火, 黄汉华 申请人:香港应用科技研究院有限公司