图像处理设备及方法

专利名称：图像处理设备及方法
技术领域：
本发明总的来说涉及图像处理，尤其涉及减小因图像的欠取样造成的混叠失真的图像处理设备及方法。本发明还涉及通过增大低分辨率图像的像素数目来产生高分辨率图像的技术。
利用现代数字成像技术，可对模拟视频信号进行取样并将其作为数字数据进行存储，然后在阴极射线管(CRT)或其它显示器上再现。设计目标是以尽可能高的分辨率和尽可能小的失真来显示这样的图像。
在CRT上显示的图像、例如来自电视机、磁带录象机(VTR)或数字通用光盘(DVD)机的图像是通过沿水平方向重复扫描电子束来产生的。如图25所示，从左到右进行每一次水平扫描，在每次扫描之后，电子束回到最左侧，沿垂直方向重新定位以便开始下一水平扫描。CRT的荧光屏被三个电子束照射，以便分别照亮按照小的单元分布在屏幕上的蓝、绿和红荧光物质。这些荧光物质产生相应于电子束强度的光点，所有光点的聚集形成了图像。因此，可把被显示图像看作是这些光点、即像素的聚集。
由于从模拟信号得到的CRT上的被显示图像是由发光像素的聚集形成的，所以可把图像看作是通过在像素位置处取样原始图像得到的数字信号。因此，如果沿水平和垂直方向以足够的取样间隔取样原始模拟图像来在CRT上产生数目与像素数目相同的光点，就能够以数字方式存储图像数据的集合。在随后进行再现时，可以如在严格的模拟记录/再现方法中那样得到分辨率几乎相同的图像。
取样定律指出只要以至少是信号最高频率分量两倍的速率对模拟信号进行取样，就能够根据该信号的按均匀时间间隔排列的离散取样值来完全地对其进行再现。在取样原始图像时，如果不满足取样定律，在被显示图像中就会出现混叠失真。为了校正混叠失真，已使用了前置滤波器来补偿水平(扫描行)方向的欠取样；但是，沿垂直方向通常不设置这种前置滤波器。因此，垂直方向的混叠失真是一个常见的问题。
图26表示沿垂直方向被显示图像的混叠失真。帧N和N+1的每一个中有一已知列的四个像素P1-P4。信号SN和SN+1表示沿该已知列的垂直方向原始图像的图像电平变化，图中沿水平方向示出振幅电平。于是例如在帧N中，像素P2的图像亮度比像素P1的亮。现在，如果沿垂直方向原始图像的最高空间频率分量的周期小于像素间的水平间距的两倍，则取样定律就得不到满足，产生了混叠失真。图26中的两个信号SN和SN+1都是这种情况。例如是帧N的被取样信号的近似的信号S′N与原始信号SN明显不同。由于混叠失真，即使在垂直方向设置消除混叠的滤波器，在再现期间也将会丢失原始信号的高频分量。这种混叠失真会造成信号处理、例如Y/C分离、消噪、质量改善等的降低。
注意，虽然刚刚讨论过的图像的欠取样将总是导致分辨率降低，但就图像质量而言，其对收视者的影响将依赖于场景如何逐帧地发生变化。如果有混叠失真的帧逐帧显著地发生变化，如图26所示那样，则从用户的观点来看，就出现了不自然的运动图像或模糊。如果场景保持静止，混叠噪声就不那么大。在任何情况下，由于欠取样总是使分辨率降低，并由于标准电视广播等的信号每帧只有有限次数的水平扫描，所以实际上需要消除混叠，以改善的质量恢复原始图像。
因此，本发明的目的是提供把欠取样图像信号变换成为减小或清除了混叠失真的输出图像信号的方法。
本发明的另一个目的是根据低分辨率图像产生高分辨率图像。
本发明的再一个目的是改善根据低质量输入图像信号产生的可显示图像的质量。
本发明的其它各个目的和优点将容易被本领域普通技术人员所了解，新颖的特点将特别在所附的权利要求书中指出。
本发明的一示范性实施例提供了把第一图像信号变换成为第二图像信号的图像信号变换设备，第一和第二图像信号各包括来自不同帧的多幅图像。该设备包括能够检测第一帧和第二帧之间的第一图像信号的运动的运动检测器，以及根据在相应于被检测运动的位置处的像素的假设产生第二图像信号的处理电路。
该设备可用来产生分辨率与第一图像信号相同的、减小或消除了混叠失真的输出信号或沿垂直和/或水平方向具有更高分辨率的输出信号。运动检测器最好检测第一图像信号的小于其像素大小的运动量。处理电路可以由分辨率产生存储器和控制器组成，该分辨率产生存储器存储第一图像信号的图像，其存储容量大于第一图像信号的一幅图像的数据量，该控制器能够控制第一图像信号向分辨率产生存储器的写入和新图像信号从该存储器的读出，并根据该第一图像信号的被检测运动把该第一图像信号写入该存储器。
在另一实施例中，图像变换设备包括至少确定一幅图像的第一和第二图像区域的一区域分割器，在每一个图像区域内检测运动。在这种情况下，根据在相应于第一图像信号的第一和第二图像区域内的被检测运动的位置处的像素的假设产生第二图像信号的第一和第二图像区域。一组合器组合第二图像信号的第一和第二图像区域来产生一复合图像。
在一种应用场合中，第一图像信号可以是标准清晰度(SD)图像信号，由于第二图像信号在水平和垂直方向的分辨率都是SD信号分辨率的两倍，所以第一图像信号被变换成为高清晰度(HD)信号。对于某些帧，还可以用自适应处理技术来产生HD信号的像素。
参看附图将能够更好理解以下的详细描述，这种描述是例示性的而不是限制本发明，图中相同的标号表示相同的元件和部分，其中

图1是本发明的例示性电视接收机的方框图；图2A-2B和图3表示本发明的像素数据产生；图4是图1的失真校正器的方框图；图5表示确定图像的一运动矢量的方法；图6-8表示在分辨率产生存储器内的数据存储；图9是表示产生高分辨率帧的例行程序的流程图；图10是例示性失真校正器的方框图；图11是本发明的接收机另一实施例的方框图；图12是在图11接收机内的例示性分辨率变换器的方框图；图13表示图12变换器的分辨率产生存储器的数据存储单元；图14是表示在分辨率变换器的存储器内写入图像数据的例行程序的流程图；图15表示根据图像的运动矢量在分辨率变换器内存储图像数据；图16是表示从分辨率变换器内的分辨率产生存储器中读出图像数据的例行程序的流程图；图17是表示产生高清晰度像素数据的过程的流程图；图18是应用预测系数根据标准清晰度图像数据产生高清晰度图像数据的电路的方框图；图19表示分类抽头和预测抽头；图20是确定预测系数的学习装置的方框图；图21表示在具有扩大的存取区域的分辨率建立存储器内的数据存储；图22表示图像逐帧的运动；图23和24表示图22的图像的像素数据的存储；图25表示CRT显示器的水平扫描行；图26表示沿垂直方向图像信号的欠取样；图27是本发明的另一分辨率变换器的方框图。
参看图1，示出了本发明的电视接收机10的简化方框图。接收机10把输入电视信号变换为数字信号、在提高该数字信号的分辨率的同时校正其混叠失真、然后把被进行了失真校正的数字信号复原为模拟信号进行显示。
接收机10包括解调利用天线或传输导线接收的选定频带的输入电视广播信号的调谐器1。被解调信号提供给低通滤波器(LPF)2，它起滤除电视信号高频分量的混叠失真前置滤波器的作用。LPF2的滤波输出信号提供给模数(A/D)变换器3，被其进行取样和数字化。数字化信号然后提供给减小或大体上消除数字化电视信号垂直方向的混叠失真的失真校正器4。在失真校正器4和D/A变换器6(或替换地在调谐器1和LPF2)之间设置诸如Y/C分离器5这样的图像处理电路。Y/C分离器5分离失真校正器4的输出信号的亮度和色度。注意在所示的结构中，复合信号(亮度+色度)提供给A/D变换器3，根据色度副载波的频率进行取样。如果替换地在信号被提供给A/D变换器3之前进行电视信号的Y/C分离，就以大约13.5MHz的频率进行取样。在任一种情况下，D/A变换器6都把失真校正器4的进行了失真校正的输出信号复原为模拟信号，在CRT7上进行显示。
现在描述根据具有垂直方向、即垂直于水平扫描行方向的混叠失真的图像再现原始图像。参看图2A，该图表示在失真校正器4内执行的混叠失真消除方法的原理。对于帧N至N+4，分别用信号SN至SN+4来表示图像的每一帧的一已知列Ci内的沿垂直方向的图像信号变化。各帧的列Ci的像素P1至Pk位于普通水平扫描行SL1-SKk的相应位置处。各像素的信号电平在图中沿水平方向示出，例如在帧N中，信号电平V1-Vk分别相应于像素P1-Pk。
根据本发明的一个实施例，在普通水平扫描行之间的位置处产生像素来消除混叠失真和提高被显示图像的分辨率。根据图像逐帧的运动产生这些扫描行间像素。为了说明这一概念，首先参看帧N，示出了沿该帧的列Ci的原始图像SN的信号变化。由于信号SN内的高空间频率的缘故，在相应于水平扫描行的位置处的垂直取样不足以再现该信号SN的全部图像信息，如果不使用本发明的像素产生方法，就将出现混叠失真。即在普通水平扫描行处每次仅取样一个帧得到的垂直方向的图像信号将类似失真信号S′N(用虚线表示)，它与原始图像信号SN明显不同。
为了产生恢复原始图像的中间扫描行像素，对图像信号逐帧的运动进行检测。对于帧N，把各个像素的信号值V1-Vk存储在存储器内。然后检测帧N和N+1之间的图像运动。(以后将描述检测逐帧运动的例示性方法)。在图2A的例子中，在帧N和N+1之间图像向下运动了距离D1。对于帧N+1，在水平扫描行处再次对图像进行取样，以便产生帧N+1的像素P1-Pk的信号值V′1-V′k，并把这些值存储在存储器内。此外，还产生中间扫描行像素P1a、P2a、…Pka并将它们存储在存储器内，像素P1a的信号值V1根据像素P1的帧N的取样值来确定，像素P2a的信号值V2根据像素P2的帧N的取样值来确定，依此类推。帧N+1中的像素P1a的位置距扫描行SL1的距离是D1，根据从帧N到N+1的运动来确定。同样地，像素P2a的位置比扫描行SL2低距离D1。
对帧N+2重复像素产生处理，在各水平扫描行对图像信号SN+2进行取样，以确定该帧的各个像素P1-Pk的信号值V1″-Vk″，并检测从帧N+1到帧N+2的运动。假设图像向下运动了距离D2，产生值分别为V′1、V′2、......V′k的像素P1b、P2b、......Pkb，值V′1、V′2、......V′k相应于帧N+1的存储在存储器内的先前确定的值，每一个像素比相应水平扫描行SL1-SLk低了距离D2。同样地，帧N+2还包括分别具有值V1、V2、......Vk的像素P1a、P2a、......Pka，这些值已在帧N+1的情况下预先存储在存储器内，这些像素的位置比相应水平扫描行SL1-SLk低了距离(D1+D2)。
对后续帧重复像素产生处理，直到产生了预定数目的额外像素为止。在图2A的例子中，像素产生处理继续到帧N+4为止，帧N+4沿垂直方向的像素是帧N的5倍。图2B表示帧N+4的扫描行DL1和SL2之间的像素。假设图像在帧N+2和N+3之间向下运动了距离D3，在帧N+3和N+4之间向下运动了距离D4。因此，帧N+4具有相应于位置SL1处的信号SN +4的电平的值V′1的像素P1，还具有值分别为V1、V″1、V′1和V1的像素P1d、P1c、P1b和P1a，P1d比SL1低了距离D4，P1c比SL1低了距离(D3+D4)，依此类推。当然，可根据所希望的分辨率产生多些或少些的额外像素。在任何情况下，在本例子中，帧N+4后的所有帧沿垂直方向的像素都将是水平扫描行数的5倍。
因此，可通过假设在相应于运动的位置处的像素来实现像素的产生。但是，实际上需要用间隔均匀的取样值来表示图像。在上述例子中，如果帧间运动不是均匀的，使得距离D1至D4不相等。则产生的像素就将不是均匀间隔的。但是，通过恰当地对帧间运动进行四舍五入，就能够获得间隔均匀的像素并将它们存储在存储器内。假设如此地用沿垂直方向均匀间隔的像素(在本例子中是扫描行数的5倍)来表示帧N+4，则此后就能够用同一数目的间隔均匀的像素来表示每一帧。
在图2A的例子中假设了图像的帧间运动被限于垂直方向。当原始图像沿水平和垂直两个方向运动时，为了清除混叠失真和增大垂直方向的像素数目，还应考虑水平运动。为此，将如以下更详细描述的那样计算帧间的运动矢量。此外，帧内图像的不同部分通常沿不同方向运动。本发明的一些实施例通过分别分析各个帧不同的块，还考虑了这种不同方向的运动。
图3是说明通过根据先前帧的图像数据和帧间图像运动产生像素来提高分辨率和消除混叠的一般原理的图示。该图的上部表示沿共同水平扫描行的分别具有图像数据101-104的帧N至N+3。假设图像递增地从帧N至N+3向下运动，如上所述地根据先前帧和图像运动在扫描行之间产生额外像素。于是利用帧N的像素数据101来增强帧N+1；给帧N+2增加像素数据101、102和给帧N+3增加像素数据101、102和103来产生其垂直方向像素数是原始帧的4倍的高分辨率图像。
现在参看图4，该图表示失真校正器4的例示性结构的方框图。帧存储器11接收传送给失真校正器的输入图像数据。假设该输入图像数据相应于欠取样图像信号，于是如果简单地再现帧而不增加任何分辨率增强像素的话，在通常情况下就会出现混叠失真。帧存储器11由存储当前帧的图像数据的当前帧存储器11A和存储就在当前帧之前的前一帧的图像数据的先前帧存储器11B组成。运动检测器12检测表示当前帧相对于前一帧的运动的运动矢量。被检测的这种帧间运动在垂直方向上的量小于失真图像内的像素的大小(或像素的间距)。在当前的讨论中假设整帧图像一起运动，于是对于每一帧的所有部分而言，从前一帧到当前帧的运动都是相同的。在这种情况下，对于每一帧，检测器12只需检测一个运动矢量。该运动矢量被提供给控制器14。
确定运动矢量的一种方法是对相邻帧的同样大小的像素块、例如8×8或16×16像素块进行若干次比较。从当前帧的对象块开始，把前一帧的若干个像素块(基准块)的图像特性与对象块作比较。当发现前一帧中的基准块具有最接近该对象块的图像特性时，就可以认为该基准块运动到该对象块的位置，运动矢量就可被确定。
通过计算对象块中的像素与基准块中的相应像素的像素值的绝对值差来比较对象块和基准块。从基准块中的像素P11的信号值中减去对象块中的像素P11(行1，列1)的信号值，依此类推。把差值称为误差。求和每一基准块相对于对象块的误差，确定总误差最小的基准块，把运动矢量确定为大体上沿相应于该基准块和对象块之间的位置关系的方向。具体来说，如图5所示，执行基准块之间的线性内插，以便更准确地确定运动矢量。斜率相反的一对内插线的交叉点确定了对象块和假定的基准块之间的误差最小的相对位置。该交叉点确定了相对于对象块的运动矢量。
再参看图4，用场景变化检测器分析帧间的图像差别来检测电视信号的场景变化。一般来说，如果当前帧和前一帧的图像差别大于预定阈值，就检测到了场景变化。检测场景变化的方法在已有技术中是众所周知的。例如，可以把场景变化检测器13设计成按照与确定运动矢量和找出形成当前帧的各个对象块的最小误差值相同的方式来分析对象块和基准块之间的误差。如果各个块的最小误差值的总和大于预定阈值，就检测到场景变化并把场景变化信号提供给控制器14。
控制器14按照运动检测器12提供的运动矢量和场景变化检测器13的信号控制数据从帧存储器11写入分辨率产生存储器15。分辨率产生存储器15能够存储比帧存储器11内的一个低分辨率帧的数据多的图像数据，以便存储顺序地被移出的新产生的高分辨率帧。控制器14通过按照运动矢量确定存储器15内的合适的存储地址来控制图像数据从存储器11写入存储器15。按照与以上参看图2描述的方式类似的方式在存储器15内产生高分辨率帧。简单地说，为了产生中间扫描行像素(分辨率增强像素)，根据扫描行把当前帧存储器11A(或先前帧存储器11B)的数据传送给该帧内的相同像素位置处的存储器15的高分辨率“帧”。然后根据运动矢量把下一帧的图像数据以平移了的位置写入存储器15。控制器14把相对地址指针提供给存储器15来执行向平移位置的数据传送，同时至少使存储在存储器15内的先前帧的某些图像数据原封不动地留在相同的存储单元处。一旦产生了帧，就在控制器14的控制下把其从存储器15传送给垂直低通滤波器16。
注意在场景变化之后，由图2A显然可见，需要花费时间来接收和处理几个低分辨率帧，以产生真正高分辨率帧。因此，一旦出现场景变化，就可以执行低分辨率图像数据的内插，以便开始在存储器15内产生额外像素。
图6表示图像数据在分辨率产生存储器15内的存储。存储器15能够存储水平(扫描行)方向P′H个像素和垂直方向P′V个像素的图像数据。作为一个例子，在以下的描述中将假设P′H＞PH和P′V＞4PV，其中PH和PV分别是存储在帧存储器11内低分辨率帧的水平和垂直方向的像素数目。在这种情况下，分辨率产生存储器15在水平方向能够存储比低分辨率图像多的像素和在垂直方向能够存储是低分辨率图像4倍多的像素。以下将用术语“失真图像”或“失真数据”来指存储在帧存储器11内的图像或数据，这种数据相应于垂直方向的欠取样图像。但是，如上所述，只有直接从帧存储器11中读出数据并逐帧地再现时才会产生失真再现图像。在本实施例中，用“失真”图像数据来产生非失真再现图像。
在分辨率产生存储器15内，数据存储单元可以用绝对地址也可以用相对地址来确定。图6表示按照绝对地址的数据存储，其中的绝对地址覆盖了存储器15的全部存储单元。绝对地址存储区域的第一行和第一列用行0和列0来表示。这样一来，第(i+1)行和第(j+1)列处的像素用绝对地址(i，j)来指定。
如图7所示，在存储器15的绝对地址存储阵列内，定义了相应于PN×4PV个像素的存取区域15a。存取区域15a左上角的存储单元用相对地址指针RP来确定，如图7箭头所示。该地址指针RP实际上可以是控制器14提供给存储器15内的控制电路(未示出)的码字。地址指针起控制把输入图像数据写入何处的作用。对于较大绝对地址区域，存取区域15a也可以行0和列0开始。
图8表示如何把来自帧存储器11的图像数据写入存取区域15a。在存取区域的水平方向上，存储了像素数目与帧存储器11的一个帧中相同的图像数据，而在垂直方向上，存储了4倍像素的数据。因此，如图8中的阴影区域所示，在水平方向上，从地址指针RP确定的地址开始顺序地把帧存储器11的失真图像写入存取区域15a，而在垂直方向上，每第4行地进行写入。根据运动矢量产生和存储扫描行之间，例如图8网格内的行1-3、5-7等的像素数据，以便沿垂直方向产生高分辨率帧。为了实现高于失真图像分辨率的分辨率，以比帧存储器11内的帧的像素尺寸小的单位对运动矢量进行检测。
现在参看图9的流程图更详细地说明数据在分辨率产生存储器15内的存储。当控制器14从场景变化检测器13接收到表示从前一帧到当前帧的场景变化的信号时，就复位(清零)存储器15内的所有数据(步骤S1)。注意在帧存储器11接收第一帧数据时也会接收到场景变化信号。(不管接收到第一帧数据还是出现了场景变化，控制器14的操作都是相同的。)在步骤S2，控制器14如图8所示每第4行地把当前帧存储器11A的失真数据写入存取区域15a。此时，存取区域15a相应于扫描行的存储单元之间出现了间隙，这是由于这些存储单元先前被复位的缘故。控制器14在步骤S3中利用内插对这些间隙进行填充。即控制器14计算中间扫描行像素的内插值，并将这些值作为数据存储在存取区域15a内。然后在步骤S4中从存储器15读出包括这些内插值的图像数据，并将它们提供给垂直低通滤波器16。
在步骤S5，把当前帧存储器11A的数据移入先前帧存储器11B，接收下一帧数据并将其存储在当前帧存储器11A内，然后再判断是否出现了场景变化。如果没有，就利用运动检测器12检测运动(步骤S6)并计算运动矢量。控制器14然后根据运动移动相对地址指针(步骤S7)，并根据运动矢量把数据写入存储器15内的高分辨率帧。这一操作可以几种方法来执行。一种方法是把存储在存取区域15a内的先前数据取出，存入在控制器14内的暂时缓冲存储器，然后把该数据再写入存取区域15a，但根据运动矢量进行了移位。在进行了移位之后，当前帧存储器11A的数据(尚未被写入存储器15)将每第4行地被写入先前确定的相同的存取区域15a、即相同的扫描行位置。这样一来，某些先前数据将被重写。根据这一方法，先前的高分辨率帧数据将按照运动逐帧移位，如前面在图2A和图3中所说明的那样，每一先前帧的数据直接相应于运动地顺序移位。(但是，一种差别是假设在图2A或图3的方法中没有内插数据-假设在图2A中在第5帧之前和在图3中在第4帧之前，在高分辨率帧中有间隙。)虽然上述直接根据运动矢量移位高分辨率数据的存储位置的方法足以产生合适的高分辨率帧，但优选的方法是保持存取区域15a内的先前数据在相同的存储单元内，把当前帧存储器11A的新的低分辨率数据写入相对于存取区域内的先前数据的移位位置。换句话说，每当帧N+1的运动矢量不为零，帧N+1的数据将被写入具有不同于帧N的数据的绝对地址的存储单元内。与此同时，存储器15的先前数据的绝对地址保持不变，所以净效果就是先前数据相对于新数据的移位。这一方法的执行仅需沿相反方向根据运动矢量移位相对地址指针。因此，低分辨率(失真)数据的相对地址将保持不变(例如图8所示的行0、4等)，但前一高分辨率帧数据的相对地址将直接根据运动矢量发生变化。实际上，存储器15的物理存取区域15a将根据每一新的相对地址指针进行移位。
根据每一新的运动矢量，相对地址指针移动与运动矢量的水平分量的像素数目相同的像素数目。但是，在垂直方向上，相对地址指针移动是运动矢量的垂直分量的低分辨率像素数目的4倍的高分辨率像素数目(这是由于高分辨率帧的垂直方向的像素数是低分辨率帧的4倍)。自然，相对地址指针被舍入到相应于运动矢量的最接近像素(或对运动矢量进行舍入)。因此，例如，如果运动矢量的垂直分量在原始低分辨率像素的大小的1/8和3/8之间，则相对地址指针将改变一个垂直单位。(以下将会讨论运动矢量的简单舍入的替代方案)。
再参看图9，根据相对地址指针把新的低分辨率(失真)图像数据写入存储器15(步骤S8)产生了新的高分辨率帧，然后在步骤S9中将其读出给垂直LPF16。如果在步骤S10中确认再不向帧存储器11提供低分辨率数据，例行程序就结束；否则，例行程序就返回S5，对输入图像数据的每一后续帧重复处理。
因此，通过重复步骤S5至S9若干次，不进行场景变换，填充扫描行取样值之间的间隙的内插数据就顺序地被图像取样值所代替。场景变化后的几个帧、即图像帧就成为真正的高分辨率图像，当包括在原始图像内的垂直方向的最高频率比相应于失真图像的水平扫描周期的1/4的频率的一半还要低时，再现图像在垂直方向上将没有混叠失真。
回到图4，垂直LPF16通过以低通滤波器沿垂直方向进行滤波来限制分辨率产生存储器15的图像数据的高频分量。这种滤波的作用是即使在随后要再现的图像是低分辨率图像的时候也防止混叠失真。例如，如果仅有低分辨率显示器，就将显示低分辨率图像，但消除了混叠失真。因此，当随后再现图像时，观看者将不会觉察不自然或模糊的运动图像。垂直LPF16的输出信号提供给帧存储器17，该帧存储器17的存储容量可以与存储器15的存取区域15a的存取容量相同。帧存储器暂存图像数据，然后例如每第4行地读出该图像数据，以便产生行数与原始失真图像相同但清除了混叠失真的低分辨率图像。
因此，上述方法改善了图像质量，并克服了伴随某些信号处理操作、例如Y/C分离、消噪等的缺点。
本领域的普通技术人员将容易理解上述根据帧间运动矢量从欠取样图像产生高分辨率图像、然后利用垂直LPF对其进行滤波和仅读出低分辨率图像的技术将产生消除了混叠失真的输出图像。相反地，如果仅把输入低分辨率图像数据提供给垂直LPF，则不会实现这种混叠失真消除。
如果CRT6能够利用比欠取样帧的水平扫描行多的水平扫描行(例如4倍的水平扫描行)来显示高分辨率图像，就能够直接输出图像数据进行显示。因此，在这种情况下，将不使用垂直LPF16，将直接把数据提供给帧存储器17，逐行而不是每第4行地从中读出数据进行显示。
当原始图像所包含的垂直方向的最高频率比相应于水平扫描周期的1/4的频率高1/2时，上述产生4倍像素的方法就不能满足取样定律，垂直方向的混叠失真不能完全被消除。然而，该方法的有用之处在于大大地减小了混叠失真。
虽然在上述实施例中把垂直方向的像素数目增大了4倍，但可以替换地产生更多或较少的中间扫描行像素，为了以减小了的混叠失真显示低分辨率或高分辨率图像。
对于上述失真校正器4a，假设任何给定帧的整个图像一起运动，即沿相同方向从帧至帧地移动相同的距离。换句话说，假设每一帧的所有部分的运动矢量是相同的。这种假设一般来说对某些应用、例如扫视和俯摄操作是有效的。但是，在大多数的视频应用中，每一帧的不同部分以不同的速率和/或沿不同的方向运动。以下将描述的本发明的实施例能够减小混叠失真，同时计算这种独立运动。
现在参看图10，示出了本发明的失真校正器另一示范性实施例的方框图。失真校正器4b能够分辨每一帧的多个部分的帧间运动，并能够根据这种运动产生高分辨率帧。这些高分辨率帧可用来产生低或高分辨率图像，其中消除了混叠失真。
失真校正器4b如上述失真校正器4a一样主要包括帧存储器11、运动检测器12、场景变化检测器13、垂直低通滤波器16和帧存储器17。运动检测器12如上所述地通过分析当前帧的对象块和先前帧的多个基准块之间的差来根据先前帧确定例如8×8或16×16像素的对象块的运动矢量。在失真校正器4a中，一个对象块的运动矢量就足以确定整帧图像的运动。相反地，对于失真校正器4b，为每一帧确定若干个运动矢量，每一运动矢量相应于不同的对象块。各个对象块的运动矢量被提供给区域分割器21，区域分割器21把帧区域分割成为多个区域，以便进行独立的处理操作。利用其它必要的操作、例如平滑等并根据运动矢量和相邻像素之差来确定各区域。例如，如果场景包括固定或缓慢移动物体、例如背景和迅速移动的对象、例如飞机，则区域分割器21将把帧的第一区域确定为相应于背景，把第二区域确定为相应于飞机。在图10中，区域分割器21适合于确定每帧两个区域；但是，应当认识到可以替代地把区域分割器21设计成把每一帧分割成为三个或多个区域而不是仅两个区域。
一旦区域分割器21确定了当前帧的图像区域，它就通过控制开关22A和22B来控制从当前帧存储器11A读出图像数据，以便只有第一区域的图像数据通过开关22A暂存入存储器23A，只有第二区域的图像数据通过开关22B存储入存储器23B。区域分割器21还把第一区域内的某一部分的运动矢量提供给控制器14A，把第二区域内的某一部分的运动矢量提供给控制器14B。场景变化检测器13把场景变化信号提供给控制器14A和14B。控制器14A通过根据每一帧的第一区域内的运动矢量动态地改变相对地址指针来控制数据从存储器23A写入分辨率产生存储器15A。于是按照基本上与上述方式相同的方式在根据运动矢量的位置处产生了中间扫描行像素。由此在存储器1 5A中产生了高分辨率帧或帧部分，这些高分辨率帧或帧部分在垂直方向上的分辨率例如是帧存储器11A中的帧的4倍。同样地，根据第二运动矢量，在控制器14B的控制下，把第二帧区域的图像数据从存储器23B传送给存储器15B，以便在存储器15B中产生高分辨率帧或P＝帧部分。就是说，每一控制器14A和14B分别与存储器15A和15B协同操作，按照与上述对于图4的控制器14和存储器15所描述的方式相同的方式动态地确定各个地址指针，区别在于只对整个图像的一部分进行增强并将其存储在每一存储器15A和15B内。
在控制器14A和14B的控制下分别把在存储器15A和15B内产生的各高分辨率帧的数据传送给组合器24。组合器24组合两个帧部分的数据来产生复合帧的图像数据，并将其提供给垂直LPF16。因此组合器24的输出图像数据类似于失真校正器4a中存储器15的数据。垂直LPF16和帧存储器17执行如上所述的相同处理来产生消除了混叠失真的低分辨率图像。相反地，如果需要高分辨率图像，就可以旁路垂直LPF16或如上所述地把其设计成具有不同的频率响应。
虽然已描述了失真校正器4a和4b根据运动矢量(即相应于图像的垂直和水平运动的运动矢量)来产生垂直方向的中间扫描行像素，但也可以产生水平方向的额外像素的图像数据。即也可以按照类似于垂直方向的方式沿水平方向在存储器15(或存储器15A、15B)内产生在低分辨率像素位置中间的位置处的高分辨率像素。因此，能够沿水平方向进一步消除混叠失真和获得更高的分辨率。
存在存取区域根据相对地址指针的位置超出了分辨率产生存储器15(或15A、15B)的存储区域的特别情形。对于这种情形，可通过把分辨率产生存储器的存储区域扩展至邻近区域来保留超出区域的数据。假设X≥P′H，Y≥P′V，当用绝对地址(X，Y)表示的位置被包括在存取区域内时，该位置就被维持在存储器15的存储区域的(MOD(X，P′H)，MOD(Y，P′V))的绝对地址处(此处的MOD(a，b)表示当“a”被“b”除时的余数)。保留超出数据的另一种方法是重新确定包括保留最新数据的存取区域，控制器14把所有这些数据传送给缓冲存储器，然后利用新的地址指针把它们再写入新的存取区域。
在上述实施例中，通过假设中间扫描行像素在相应于运动矢量的位置处来产生高分辨率帧。然后用这些高分辨率帧来产生减小了(或消除了)混叠失真的低或高分辨率图像。执行这种图像再现的另一种方法如下假设无混叠失真的原始图像用P来表示，基于这种无混叠失真的原始图像的失真(欠取样)图像用P′来表示。两者的关系可表示为
P′＝f(P)(1)其中f()表示对括号内的图像进行子取样的函数。
同样地，f()的逆函数可表示为g()，于是P＝g(P′)(2)因此，如果确定了函数g()，在理论上就能够根据失真图像P′再现原始图像P，这样就能够减小混叠失真，而不需要检测失真图像的运动。
可利用学习过程来获得函数g()，在这种学习过程中，原始图像被认为包含某些训练数据，而失真图像P′的连续帧被认为包含学习数据。然后可以根据函数g()填充失真图像的中间扫描行间隙，由此就能够再现原始图像P。
除消除混叠失真外，本发明还有其它应用，例如产生增强分辨率的增大图像，或者把低或标准分辨率图像(以后称为SD图像)变换为高分辨率图像(以后称为HD图像)。
现在参看图11，该图表示了把包含SD图像的电视信号变换为HD图像进行显示的电视接收机100的一示范性实施例的方框图。接收机100与图1的接收机10的区别在于用分辨率变换器34代替了失真校正器4和用高分辨率CRT36代替了CRT7。其它部件与接收机10的部件相同，Y/C变换器(未示出)通常在分辨率变换器34和D/A变换器6之间或在LPF2和A/D变换器3之间。
图12是分辨率变换器34的一实施例的方框图。分辨率变换器34在许多方面与图10的失真校正器4b相同，即根据各个区域的不同运动分割低分辨率帧的区域、产生各个区域的高分辨率图像和组合这些区域的高分辨率图像来产生复合图像。分辨率变换器34被设计成通过根据每一帧的运动矢量在SD图像的相邻水平像素之间的位置上以及在SD图像的相邻垂直像素之间的位置上产生像素来增强水平和垂直两个方向的分辨率。变换器34可利用以下详细描述的分类和自适应处理技术来产生某些高分辨率像素。
分辨率变换器34包括上述的帧存储器11、运动检测器12和场景变化检测器13，还包括区域分割器21′，该区域分割器21′与图10的区域分割器21相同，但它把每一帧分割为M个帧区域而不是只分割为两个区域。M个高分辨率对象产生器的每一个产生由区域分割器21′确定的各个帧区域的高分辨率对象。每一对象产生器41i(i＝1，2，...，M)包括开关22i、缓冲存储器23i、控制器14i、分辨率产生存储器15i、写标记存储器42i和像素产生器43i。
每一写标记存储器42i存储数目与存储在相关分辨率产生存储器15i内的像素数目相同的写标记。写标记是1位标记，表示SD图像的像素数据是否存储在存储器15i的相应地址内(例如，如果像素数据存储在该地址内，该标记就是1，如果不是，该标记就是0)。控制器14i控制写标记成为置位/复位。
参看图13，每一分辨率存储器15i的存储区域能够存储水平方向上P′H个像素和垂直方向上P′V个像素的像素数据，P′H≥2PH，P′V≥2PV，PH和PV分别是存储在帧存储器11内的SD帧的水平和垂直方向的像素数目。在这一例子中，存储器15i能够存储水平方向和垂直方向上的像素数都是SD图像的像素数的两倍的像素数据。存储器存取区域15ai由存储2PH×2PV个像素的像素数据的存储单元构成。
现在参看图14的流程图描述把一帧的SD数据写入分辨率产生存储器15i的过程。在步骤D11，如果场景变化检测器13检测到场景变化或检测到第一帧数据的接收，就把场景变化信号提供给每一个控制器141-14M。每一个控制器14i然后在步骤S12清零相关的存储器15i(擦除先前帧像素数据)，并将写标记存储器41i内的全部写标记复位为初始值(步骤S13)。然后通过在自帧存储器11A的帧数据读出操作的恰当时刻闭合开关22i来把当前帧存储器11A的相关帧区域的失真SD图像数据写入存储器15i(步骤S14)。于是只有在被区域分割器21′确定的相关区域内的图像数据通过开关22i传送给存储器23i。特别是，在水平和垂直方向每隔一个像素位置地把SD数据写入存储器15i的存取区域。因此，例如假设SD帧被排列成M个像素行(行1至M)×N个像素列(列1至N)，存储器15i的存取区域是相应于2M行(行1至2M)×2N列(列1至2N)的存储阵列，那么，如果相应于SD帧的行1、列1的像素1，1的数据被传送给对象产生器41i，则该数据起初就被存储在相应于存取区域的行2、列2的HD像素的存取区域的存储单元内。最好是该存储单元也是存储阵列中的行2、列2，以便于像素的产生。同样地，SD帧的像素2，2的SD数据起初也被存储在存取区域的行4、列4内，依此类推。对于如此存储了SD数据的每一个HD存储单元同时置位写标记。像素产生器43i此时从存储器15i中读出图像数据，但该图像数据不会从存储器15i中被删除，这是因为将用该图像数据来构成下一高分辨率帧的一部分(在没有出现场景变化的情况下)。
如果在步骤S11中没有接收到场景变化，则在步骤S16中，每一控制器14i就从区域分割器21′接收相应于在当前帧的相关图像区域内的运动的运动矢量。控制器14i计算相应于该运动矢量的新的相对地址指针RP，并将其提供给分辨率产生存储器15i。例行程序然后到达步骤S14，按照刚刚确定的相对地址指针把当前帧的失真图像数据写入存储器15i，由此相对于新的数据移位了以前存储在存储器15i的先前帧内的数据(这是由于先前帧的数据根据先前地址指针仍然存储在相同的存储单元内，而当前帧的数据根据新的地址指针进行存储的缘故)。如上所述，通常在这一步骤中重写某些以前存储的数据。然后对于在步骤S15中存储了新数据的存储单元置位写标记(除非它们以前已被进行了置位)。
因此，随着在每一分辨率产生存储器15i内逐帧地执行写处理，就逐渐地得到完整的HD图像，其水平和垂直方向的分辨率是相应SD图像的两倍。
为了进一步说明HD图像的产生，参看说明一小实心三角形物体47的帧间运动和表示该物体的像素数据的相应存储的图15。该图的左手侧表示与物体47叠加在一起的SD像素PSD的阵列，而右手侧表示在帧N至(N+3)的存取区域15aN至15a(N+3)内的存储单元MC。在低分辨率图像中，在物体47的边界区域内的SD像素PSD表示该物体例如使自己比邻近像素更亮或更暗和/或具有不同的颜色。在任何情况下，假设物体47在帧N中用像素a、b、c和d来表示，在帧(N+1)中用像素f、g来表示，在帧(N+2)中用像素h，i，j，k来表示，在帧(N+3)中用像素1，m来表示，帧间像素的变化是由于帧间运动的缘故。
根据上述方法，SD像素数据被写入交替存储单元的阴影区域的存取区域15aN至15a(N+3)。在帧N中，存储单元(a′至e′)用相应于SD像素(a至e)的像素数据来填充。在帧N和N+1之间，物体向上移动了SD像素间距(相邻SD像素的中点之间的间距)的一半，所以帧N+1的相对地址指针Rp如所示地向下移动了一个HD像素存储单元，并写入了像素f和g的像素数据。在此期间，存储像素数据(a′-e′)的绝对存储单元在帧N+1中保持不变。因此，可以看到，虽然像素b和g都在SD图像中的同一位置上，但相应的“像素”b′和g′在表示HD图像的存取区域15a(N+1)内彼此被移了位。随着物体的运动，地址指针RP从其先前位置处沿相反方向移动，直到在帧(N+3)形成完整的HD图像。注意，如果物体保持静止或如果帧间的运动很微小，则根据运动矢量产生仅以产生的HD像素数据为基础的完整的HD图像将需要更多的帧。
图16是表示从高分辨率对象产生器41i读出图像数据的例行程序的流程图。每当新的图像数据被写入存储器15i、即每当结束一特定帧的数据的写入，该读例行程序就接在图14的例行程序之后。在步骤S21中，控制器14i从存取区域15i的存储单元中读出图像数据并将其提供给像素产生器23。在步骤S22中，像素产生器23根据写标记存储器42i中的写标记确定是否存储了相应于特定地址的特定高分辨率像素的图像数据。例如，考虑图15，假设帧N相应于场景发生变化后的第一帧，存储单元c′和d′包含了存储的图像数据，但c′和d′之间的存储单元48是空的。于是c′和d′的写标记应置位为1而存储单元48的写标记应为0。因此，在显示当前帧例如帧N的图像数据之前，需要产生相应于空存储单元例如48的HD像素的像素数据。
因此，在步骤S23，如果所考虑存储单元被相关的写标记指出是空的，像素产生器43i就产生图像数据。这种图像数据可以用各种方法来产生，例如可通过在邻近像素之间进行内插，或者利用更复杂的预测技术，如以下将说明的分类和自适应处理方法。在任何情况下，一旦产生了所考虑像素的图像数据(或在该图像数据已存储在存储器15i内时直接将其读出)，就在步骤S24中从对象产生器41i输出该像素的图像数据并将其提供给组合器24。如果在步骤S25已确认所考虑的高分辨率帧的全部图像数据已被读出，则该帧的读处理就结束。否则，例行程序就返回步骤S21，从下一个存储单元读出数据，如果有必要，就再次产生像素数据。
图17表示利用内插或预测技术产生相应于空存储单元的像素的图像数据的处理步骤S23的简化流程图。在步骤S31，根据写标记判断所考虑像素的哪些邻近像素包含了在存储器15i内的被存储像素数据。然后在步骤S32中，从相应于这些邻近像素的存取区域15ai内的存储单元中读出数据。最后在步骤S33中根据这些邻近像素数据产生所考虑像素的像素数据。
利用自适应方法产生像素数据如果分辨率产生存储器15i内的高分辨率帧如上所述具有空的存储单元，则产生这些空存储单元的像素数据的简单内插技术就可能不足以再现原始图像的高频分量。本申请人已提出了把SD图像变换成为包含SD图像所不包含的高频分量的HD图像的图像变换器装置。参看1996年5月14日授权的名称为“数字数据变换装置及其方法”的美国专利5517588号。因此，像素产生器43i可以应用同样或类似的自适应方法来产生空存储单元的像素数据。即自适应方法可用来产生除通过假设在相应于被检测图像运动的存储单元处的像素产生的那些像素外的“填充”像素。现在将描述实现这种像素产生的例示性自适应方法。
自适应方法根据SD图像和预定的估算系数之间的线性关系来确定HD图像的像素的预测值。例如，组成HD图像的HD像素的像素值y的预测值E[y]可通过利用线性组合模型来确定。该模型由SD像素的像素值(以后称为学习数据)X1，X2，......和预定预测系数W1，W2，......的线性组合来确定，在这种情况下，预测值E[y]可表示如下E[y]＝w1x1+w2x2+…(3)为了把以上所述一般化，假设矩阵Y’由一组预测值E[y]组成，y＝y1至yn。即矩阵Y′被定义为矩阵W(它是一组预测系数w)和矩阵X(它是一组学习数据)的乘积。于是可得到如下的待解方程XW＝Y′ (4)其中X=x11x12...x1nx21x22...x2n............xm1xm2...xmn]]>W=w1w2...wn,Y′=E[y1]E[y2]...E[yn]]]>确定接近HD像素值y的预测值E[y]的一种方法把最小二乘法应用于待解方程(4)。在这种情况下，矩阵Y′被认为是矩阵Y和矩阵E之和，其中矩阵Y由一组实HD像素值(将被用作训练数据)组成，矩阵E由预测值E[y]的一组余数“e”组成，于是可根据方程(4)导出以下余数方程XW＝Y+E其中E=e1e2...em,Y=y1y2...yn---(5)]]>平方根误差被定义为余数的平方之和，即Σi=1mei2---(6)]]>因此，通过使表达式(6)的平方根误差最小就能够确定用来获得接近HD像素值的预测值E[y]的预测系数wi。
当求平方根误差对预测系数wi的微分时，如果结果是0，则满足以下公式(7)的wi的值就是用来确定接近HD像素值的预测值E[y]的最佳值e1∂e1∂wi+e2∂e2∂wi+···+em∂em∂wi=0(i=1,2,...,n)---(7)]]>当求表达式(6)对预测系数wi的微分时，就得到以下公式(8)∂ei∂w1=xi1,∂ei∂w2=xi2,···,∂ei∂wn=xin(i=1,2,...,m)---(8)]]>根据公式(7)和(8)，导出有以下公式(9)Σi=1meixi1=0,Σi=1meixi2=0,···,Σi=1meixin=0---(9)]]>当考虑学习数据x、预测系数w、训练数据y和余数e之间的关系时，可得到以下一组预测方程(10)(Σi=1mxi1xi1)w1+(Σi=1mxi1xi2)w2+···+(Σi=1mxi1xin)wn=(Σi=1mxi1yi)]]>(Σi=1mxi2xi1)w1+(Σi=1mxi2xi2)w2+···+(Σi=1mxi2xin)wn=(Σi=1mxi2yi)]]>(Σi=1mxinxi1)w1+(Σi=1mxinxi2)w2+···+(Σi=1mxinxin)wn=(Σi=1mxinyi)---(10)]]>方程组(10)中的方程的个数相应于预测系数w的个数。用普通技术、例如高斯-约旦消去法解方程(10)可得到最佳预测系数w。注意，为了使方程(10)可解，由预测系数w组成的矩阵应当是正则矩阵。
因此，利用上述自适应方法，就可得到最佳预测系数w，这些系数w可用来获得接近HD像素值(即接近如果原来电视接收机接收的是HD信号而不是SD信号而存在的HD像素值)的最佳预测值E[y]。自适应方法与内插方法不同之处在于原始图像的高频分量(SD图像中不包括，但HD图像中包括)可被恢复。如果仅就方程(1)而言，自适应方法类似于采用内插滤波器的内插方法。但是，对于自适应方法，通过利用训练数据进行学习就能够获得相应于内插滤波器的抽头系数的预测系数。因此，可恢复HD图像所包含的高频分量，以便容易地获得高分辨率图像。
现在参看图18，示出了把SD图像变换成为HD图像的图像变换器装置200的方框图。如果需要，即每当分辨率产生存储器内的HD像素存储单元是空的时，就可把该装置200用作像素产生器43i的一部分来产生HD像素数据。输入SD图像信号提供给自适应处理器204和分类电路201，后者由分类抽头产生器202和分类确定电路203组成。在分类电路201中，其预测值要在自适应处理中被确定的HD像素(以后称为标记像素)根据与该标记像素接近的、具有预定位置关系的一组SD像素的特性被分成预定的类别。与标记HD像素相关的该组SD像素的像素值称为该标记像素的分类抽头。
在分类抽头产生器202内提取基于输入SD图像的分类抽头，并将它们提供给分类确定电路203，分类确定电路203检测形成每一标记像素的分类抽头的那组SD像素的模式。该模式基于该像素组中每一个像素的特性，它是像素值的函数。例如，一种模式可以相应于像素的均匀性，第二种模式可以相应于沿右上方向增大的像素值，第三种模式可以相应于沿左下方向增大的像素值，等等。然后，把预先分配给被检测模式的值提供给自适应处理器204，作为标记像素的分类表示。
图19表示分类抽头与相关HD像素的位置关系。假设HD图像由用x表示的像素组成，相应的SD图像由用O表示的像素组成。于是示出的SD图像包含作为HD图像的四分之一的像素数目。HD列的中点之间和HD行的中点之间的间距是SD列和行的间距的一半。在图19中，左起位置(i+1)(SD列(i+1))和顶部起位置(j+1)(SD行(j+1))处的SD像素被表示为Xij。同样地，HD列(i′+1)和HD行(j′+1)位置处的HD像素被表示为Yi′j′。因此，例如SD像素Xij和HD像素Y(2i)(2j)的位置是一样的。(在此要注意，“分类抽头”和“预测抽头”实际上是特定像素的图像数据值。但是，为描述简明起见，将把“抽头”描述为像素本身，反之亦然)。
为了说明分类抽头是如何被确定的，假设标记像素是HD像素Y44，该像素的位置与SD像素X22的位置相同。该标记像素的分类抽头是在以标记HD像素Y44为中心的3×3SD像素矩形内的最接近的9个SD像素。因此，在图19中，分类抽头就是在由边界Tc限定的区域内的SD像素，即SD像素X11，X21，X31，X12，X22，X32，X13，X23，X33。分类抽头产生器202提取这些SD像素的像素值作为标记像素的分类抽头。在标记像素邻近于与SD像素重合的HD像素的情况下，可以确定与重合HD像素的分类抽头相同的分类抽头。例如，如果标记像素是Y54、Y55、Y45等，则这些HD像素的任一个的分类抽头可以与“重合”HD像素Y44的分类抽头相同。还可以为非重合像素，例如Y54、Y55或Y45形成不同的分类抽头。
在分类电路203中，检测标记像素的分类抽头的模式(哪些分类抽头由分类抽头产生器202提供)。换句话说，检测靠近标记像素的9个SD像素的诸如均匀性这样的模式，以确定给标记像素什么分类。然后输出相应于被检测模式的模式值作为标记像素的分类，并将其提供给在自适应处理器204内的系数只读存储器(ROM)的地址端(AD)。
一般来说，把8个位分配给构成图像的像素。例如假设把8个位分配给一SD像素，如果象在图19的例子中那样用9个SD像素作为分类抽头，则每个分类抽头的可能像素值的个数就高达(28)9。于是不能够高速地执行模式检测处理操作。
因此，在进行分类之前，需要减少分配给分类抽头的SD像素的位数。例如，可以采用自适应动态量程编码(ADRC)来实现这种位缩小。作为ADRC处理的第一个步骤，检测组成处理块的9个SD像素中具有最大像素值的像素(以后称为最大像素)和在该处理块中具有最小像素值的像素(以下称为最小像素)。然后计算最大像素的像素值MAX和最小像素的像素值MIN的差DR。把该值DR指定作为处理块的局部动态基准值，然后以比通常分配的位数少的每一像素的位数K对组成处理块的各个像素值再进行量化。换句话说，从组成处理块的各个像素值中减去最小像素的像素值MIN，然后用DR/2K除各个减法结果。这样一来就能够用K个位来表示组成处理块的各个像素值。因此，例如当K＝1时，9个SD像素的最大模式数是(21)9。所以与当没有采用ADRC处理时相比，显著减少了模式的最大数目。
继续参看图18，在包括预测抽头产生器205、预测值计算器206和预测系数ROM 207的自适应处理器204内执行自适应处理。在预测抽头产生器205内提取具有与标记像素预定位置关系的SD像素的个数数据。这些被提取像素作为预测抽头x1、x2、......提供给预测值计算器206，预测值计算器206根据预测系数和预测抽头确定HD像素的预测值。
预测抽头相应于具有与标记HD像素的高度位置相关性的那些像素。例如，如果标记像素是图19所示的像素Y44，并如上所述地形成边界Tc内的分类抽头，则预测抽头产生器205就可以把预测抽头确定为落在由边界Tp封闭的区域内的5×5SD像素块，即SD像素X00至X44。如果标记像素是邻近Y44的像素，例如像素Y54、Y45或Y55，则产生与像素Y44的预测抽头相同的预测抽头，即相应于像素X00至X44。但是，当非重合像素，例如Y45、Y54或Y55是标记像素时，就可以确定不同的预测抽头。
预测系数ROM207存储预测系数，这些预测系数是利用根据分类预先进行的学习来确定的。当ROM207接收分类电路203提供的分类时，ROM207就读出存储在相应于所提供分类的地址上的预测系数，并将该(这些)预测系数提供给预测值计算器206。
因此，相应于标记像素的预测抽头和与标记像素的分类有关的(一些)预测系数都被提供给计算器206。在计算器206内，利用接收自ROM207的预测系数w1、w2、......和构成来自预测抽头产生器205的预测抽头的SD像素数据x1、x2、......执行与上述公式(3)一致的操作。于是就确定了标记像素y的预测值E[y]，并将其作为HD像素的像素值进行输出。把每一HD像素指定作为标记像素来重复以上处理，当如此指定了所有HD像素并根据这些HD像素产生了预测值时，一完整的SD图像就被变换为HD图像。
现在参看图20，示出了执行计算要被存储在图18的ROM207内的预测系数的学习处理的学习装置210的方框图。将作为学习处理的训练数据的HD图像数据被提供给稀化电路211和训练数据取样电路146。在稀化电路211中，通过稀化减少HD图像的像素数目，使得HD图像被变换成为SD图像。沿水平和垂直方向把HD图像像素的数目减少一半，由此产生SD图像。SD图像被提供给分类电路212和预测抽头产生器145。注意，代替根据HD图像产生SD图像，可以相应于HD摄象机的HD图像从SD摄象机把SD图像直接提供给分类电路212。
在分类电路212或预测抽头产生器145中，执行与在图18的分类电路201或预测抽头产生器205中执行的处理相同的处理，由此分别输出标记像素的分类或预测抽头。分类电路212输出的分类提供给预测抽头存储器147和训练数据存储器148的地址端(AD)。预测抽头产生器145输出的预测抽头提供给预测抽头存储器147，这些抽头被存储在其中相应于分类电路212提供的分类的地址处。
训练数据取样电路146从提供给它的HD图像中提取将作为分类电路212和预测抽头产生电路145中的标记像素的HD像素。被提取的抽头作为训练数据与计算的分类一道存储在训练数据存储器148的共同地址单元中。对于输入给装置210的HD图像的所有HD像素重复上述处理以达到学习的目的。由于预测抽头存储器147和训练数据存储器148均设计成能够在相同的地址单元中存储多种信息，所以能够在基本上相同的地址单元中存储被分类为相同分类的多个学习数据x和训练数据y。
计算器149然后从预测抽头存储器147或训练数据存储器148中分别读出存储在相同地址单元中的作为学习数据的预测抽头或作为训练数据的HD像素数据。在这些数据的基础上，计算器149例如利用使预测值和训练数据之间的误差最小的最小二乘法计算预测系数。换句话说，在计算器149中，用分类来形成上述预测方程(10)，解这些方程来得到预测系数。这些预测系数然后被存储在相应于图18的系数ROM207中的分类的地址单元中。注意，即使预测抽头相同，也对每一个“非重合”HD像素、例如图19中的像素Y45、Y54或Y55和对于每一个“重合”像素Y44，解独立方程(10)。
在图19的例子中，对于每一个标记HD像素，形成了9个分类抽头和25个预测抽头，并相应地执行分类和自适应处理(以后称为分类自适应处理)。但是，对于接近图像区域边缘的标记HD像素，9个分类抽头和25个预测抽头的假设就不再有效。因此，对于这些HD像素，就需要产生不同数目的分类和预测抽头，并按照类似于上述的方式计算预测系数来适应这种特殊情况。
于是，当没有根据相关的运动矢量产生HD像素时，就用上述分类自适应处理来实现在分辨率产生存储器15i内的像素产生。例如，在出现场景变化之后，将需要根据几帧的运动来仅依赖于运动从SD图像产生HD图像。因此，在出现场景变化之后的初始帧中，可以经常地应用分类自适应处理。
根据运动矢量写入数据如以上对于图4的实施例所提到的，为了在相应于图像运动的位置处实际产生像素，可以把每一运动矢量舍入成为相应于邻近高分辨率像素的中点之间间距的距离。因此，例如对于根据SD像素数据产生HD像素数据的实施例，如果任何给定帧的运动矢量相应于沿垂直(或水平)方向在0.5和1.5HD像素间距之间的运动，就可以把该运动矢量舍入成为沿垂直(或水平)方向的1HD像素间距，并相应地移动地址指针来把新的SD数据写入存储器。或者只有当运动矢量约等于或在HD像素间距的整数倍(即SD像素间距一半的整数倍)的预定范围内时，才能够移动地址指针。在这种情况下，地址指针在多种状况下将不发生变化，在分辨率产生存储器15i中更经常地获得用于HD像素数据的空地址。于是可利用内插或分类自适应处理来填充这些空地址。
舍入运动矢量来由此产生高分辨率像素数据的另一种方法是，在分辨率产生存储器15或15i内产生更高分辨率的存储阵列(扩大的存取区域)，以便减小运动矢量的舍入误差。一旦产生了更高分辨率帧，就能够通过跳过某些数据、例如通过隔行和隔列跳过地读出像素数据来产生高分辨率图像，但没有利用如实际上可实现的那么高的分辨率。
为了说明后一种方法，可以对把SD图像变换为HD图像的上述分辨率变换器34进行改进，使其采用沿水平和垂直方向具有4倍于SD图像的像素存储单元、即像素密度是SD图像的16倍的分辨率变换存储器15i′。这一方法如图21所示，在该存储器15i′中设有P′H＞＝4PH列，P′V＞＝4PV行，PH和PV分别是SD帧的水平和垂直方向的像素数目。存取区域15ai具有4PH×4PV个像素。相对地址指针RP按照与上述方式基本相同的方式控制在存储器15i的更大存储区域内的存取区域15ai的准确存储单元。
在根据运动矢量移动相对地址指针之后，沿水平和垂直方向每第4个位置地在存取区域15a′i内写入SD像素。在确定相对地址指针之前把运动矢量舍入成为相应于SD像素间距的四分之一的整数。但是，即使在这种情况下，如果SD图像的运动矢量x和y分量显著地偏离SD像素间距的四分之一的整数倍，也可以不把附加SD像素数据写入存储器。例如，如果确认运动矢量小于SD像素间距的八分之一，就可以形成与先前高分辨率帧相同的新的高分辨率帧，不写入新的SD像素数据。
图22-24进一步说明扩大的存取区域的方法。图22表示像素PSD的SD像素排列的一部分。假设对象OBN-4由帧(N-4)的像素组成。对象的位置从一帧到另一帧地移动，直到其到达帧N的目标OBN的位置为止。如刚才所说明的那样在被扩大成4PH×4PV区域的存取区域内写入构成图像的像素。在图23的存取区域15ai′内示出存储状态，用不同的阴影表示不同帧的像素。图23中还示出了相应于帧间运动的运动矢量。图24是图23的存储器存储单元或单元MC的放大图示。在从帧(N-4)至帧N的4帧的运动之后，许多存储单元仍然是空的。它们可利用内插、分类自适应处理等来填充。另一种做法是简单地把最接近的存储单元的相同像素值插入空存储单元来填充空的存储单元。
图23和24中的虚线表示隔行和隔列的像素数据。为了从存取区域15ai′中读出HD像素数据，每隔一行和每隔一列地读出数据、即从沿虚线的存储单元中读出数据就足够了。这一方法产生的分辨率将高于采用只具有2PH×2PV的存储单元阵列的存取区域所能够实现的分辨率。
现在参看表示分辨率变换器34的另一实施例34′的图27。本实施例类似于图12的实施例，但它专为每一帧的整个图像从一帧至另一帧地一起移动相同运动量的情形而设计。即，分辨率变换器在功能上类似于图4的失真校正器4a。因此，用不带有开关22或缓冲存储器23的一个高分辨率图像产生器41代替高分辨率对象产生器411-41M，省略了区域分割器21和组合器24。其它方面与上述图12实施例的相同。
在采用分辨率产生存储器15或15i的本发明的上述实施例的每一个中，当已在该分辨率产生存储器中产生了先前高分辨率帧数据时，则通过根据运动矢量移动地址指针并重写某些先前数据就完成了下一帧、即当前帧存储器11A的数据的存储。另一种做法可以是存储先前帧的运动矢量并将其与当前帧的运动矢量作比较，以便确定哪一个运动矢量具有最接近相应于一个高分辨率像素间距的距离的x和y分量，并相应地存储该数据。换句话说，选择与具有最小舍入误差的运动矢量相关的数据来存储。对于图23的存储器，这将意味着选择与最接近SD像素间距的四分之一的整数倍的运动矢量相关的数据。
虽然参看其最佳实施例对本发明进行了描述，但本领域的普通技术人员都懂得不违背本发明的精神和不超出其范围可以对描述的各实施例作出各种变更和改进。例如，虽然描述的实施例用来减小混叠失真和选择性地产生高分辨率图像，但本发明也可用来放大图像。此外，虽然对在帧间的基础上处理数据进行了描述，但也可以对帧的一部分、例如以场为单位来进行处理。还有，可以在CRT以外的其它显示器、例如液晶显示器上显示图像。再有，接收的图像信号可以是数字图像信号。在这种情况下，可以省略(例如图1或图11的)A/D变换器。本发明还可以用来把隔行扫描图像变换为逐行扫描图像。因此，这些和其它变更和改进应被包括在由所附权利要求书所限定的本发明的范围之内。
权利要求
1.把第一图像信号变换为第二图像信号的图像信号变换装置，所述第一和第二图像信号由多幅不同帧的图像组成；所述装置包括运动检测器，检测第一图像信号第一帧和第二帧之间的运动；以及处理电路，根据在相应于被检测运动的位置处的像素的假设产生第二图像信号。
2.权利要求1的装置，其中的第二图像信号的分辨率高于第一图像信号的分辨率。
3.权利要求1的装置，其中的第二图像信号的像素数据的像素数目大于第一图像信号的像素数据的像素数目。
4.权利要求3的装置，其中的所述处理电路产生的第二图像信号的像素数据的像素数目在沿垂直于第一图像信号的扫描行的方向上大于第一图像信号的像素数据的像素数目。
5.权利要求1的装置，其中所述第一和第二帧是相邻帧。
6.权利要求1的装置，其中所述多幅不同帧的图像的每一幅包括整个帧的图像。
7.权利要求1的装置，其中所述多幅不同帧的图像的每一幅包括各个帧的一部分的图像。
8.权利要求1的装置，还包括滤除所述第二图像信号的高频分量的低通滤波器。
9.权利要求1的装置，其中所述运动检测器对所述第一图像信号的小于其像素尺寸的运动量进行检测，所述处理电路包括分辨率产生存储器，存储第一图像信号的图像，其存储容量大于第一图像信号的一幅图像内的数据量，控制器，控制在所述分辨率产生存储器中写入第一图像信号和从所述存储器中读出质量高于所述第一图像信号的新图像信号的数据，并根据被检测的第一图像信号的运动把第一图像信号数据写入所述存储器。
10.权利要求9的装置，其中所述控制器控制把所述新图像信号作为所述第二图像信号进行读出。
11.权利要求9的装置，还包括滤波所述新图像信号的低通滤波器；以及一输出单元，把所述被滤波新图像信号变换成为像素数目与第一图像信号的一幅图像的像素数目相同的所述第二图像信号，并输出所述第二图像信号，所述第二图像信号的混叠失真小于所述第一图像信号的混叠失真。
12.权利要求9的装置，还包括场景变化检测器，检测所述第一图像信号的场景变化并根据场景变化产生场景变化信号，所述控制器响应所述场景变化信号，把所述存储器的存储单元内的值重置为预定值。
13.权利要求9的装置，在该装置中所述第一图像信号的所述第一帧的数据被存储在所述分辨率产生存储器的第一存储单元内；所述第一图像信号的所述第二帧的数据被存储在所述存储器的第二存储单元内，第二存储单元相对于所述第一存储单元移位了相应于所述第一图像信号在所述第一和第二帧之间的运动的量，由此产生包含所述第一帧数据和所述第二帧数据的更高质量帧数据。
14.权利要求13的装置，在该装置中所述第一帧数据被存储在所述分辨率产生存储器的第一存取区域内；所述第二帧数据被存储在与所述第一存取区域相同大小的第二存取区域内，所有所述第一帧数据不被删除，根据所述被检测运动相对于所述第一存取区域移位所述第二存取区域；和所述控制器把确定所述第一和第二存取区域的位置的相对地址指针提供给所述存储器。
15.权利要求9的装置，其中所述处理电路包括检测器，检测在所述存储器内的没有存储第一图像信号的数据的空位置；以及像素产生器，在这些空位置处产生像素。
16.权利要求15的装置，其中所述检测器包括存储标记的标记存储器，这些标记指出所述分辨率产生存储器的哪些存储单元包含被存储的所述第一图像信号的图像数据。
17.权利要求15的装置，其中所述像素产生器通过在所述空存储单元的邻近存储单元中的已存储像素数据之间进行内插来确定在相应于所述空存储单元的位置处的像素的图像值。
18.权利要求15的装置，其中所述像素产生器包括确定器，检测第一图像信号的特性和确定相应于被检测特性的分类；预测数据存储器，存储每种分类的预测数据；以及根据相应于被确定分类从预测数据存储器中读出的预测数据，产生空存储单元的像素数据的电路。
19.权利要求18的装置，在该装置中，至少利用分辨率高于第一信号的学习图像信号通过学习来产生每种分类的预测数据。
20.把第一图像信号变换为第二图像信号的图像信号变换装置，所述第一和第二图像信号各由多幅不同帧的图像组成，所述装置包括运动检测器，检测在每一帧的至少第一和第二区域内第一图像信号在第一帧和第二帧之间的运动；区域分割器，至少根据被检测运动至少确定第一图像信号的图像的第一和第二图像区域；处理电路，根据在相应于第一和第二图像区域中的被检测运动的位置处的像素的假设产生第二图像信号的第一和第二图像区域；以及组合器，组合第二图像信号的第一和第二图像区域，产生复合图像信号。
21.权利要求20的装置，其中的第二图像信号的分辨率高于第一图像信号的分辨率。
22.权利要求20的装置，其中的第二图像信号的像素数据的像素数目大于第一图像信号的像素数据的像素数目。
23.权利要求20的装置，在该装置中，产生的第二图像信号的像素数据的像素数目在沿垂直于第一图像信号的扫描行方向上多于第一图像信号的像素数据的像素数目。
24.权利要求20的装置，还包括滤波第二图像信号的滤波器。
25.权利要求20的装置，其中所述运动检测器对所述第一图像信号的小于其像素尺寸的运动量进行检测，所述处理电路包括分别对所述第一信号的所述第一和第二图像区域进行处理的第一和第二电路部分，各电路部分包括分辨率产生存储器，存储在第一图像信号的各图像区域内的数据，其存储容量大于第一图像信号的一幅图像的数据量；和控制器，控制在所述分辨率产生存储器中写入第一图像信号和从所述存储器中读出质量高于所述第一图像信号的新图像信号的数据，并根据在相关图像区域内的第一图像信号的被检测运动把第一图像信号数据写入所述存储器。
26.权利要求25的装置，还包括场景变化检测器，检测所述第一图像信号的场景变化并根据场景变化产生场景变化信号，每一所述控制器响应所述场景变化信号，把相关分辨率产生存储器的存储单元内的值重置为预定值。
27.权利要求25的装置，还包括滤波第二图像信号的低通滤波器；以及一输出单元，把所述被滤波第二信号变换成为像素数目与第一图像信号的一幅图像的像素数目相同的输出图像信号，并输出所述第二图像信号，所述输出图像信号的混叠失真小于所述第一图像信号的混叠失真。
28.权利要求27的装置，其中所述输出单元包括存储所述被滤波第二信号的帧存储器，通过周期性地跳过数据行从所述帧存储器读出数据来产生质量低于所述第二图像信号的所述输出信号。
29.权利要求25的装置，其中所述处理电路的每一所述电路部分包括检测器，检测在相关分辨率产生存储器中的没有存储第一图像信号的数据的空位置；以及像素产生器，在空位置处产生像素数据。
30.权利要求29的装置，其中所述检测器包括存储标记的标记存储器，这些标记指出所述分辨率产生存储器的哪些存储单元包含被存储的所述第一图像信号的图像数据。
31.权利要求29的装置，其中所述像素产生器通过在所述空存储单元的邻近存储单元中的已存储像素数据之间进行内插来确定在相应于所述空存储单元的位置处的像素的图像值。
32.权利要求29的装置，其中所述像素产生器包括确定器，检测第一图像信号的特性和确定相应于被检测特性的分类；预测数据存储器，存储每种分类的预测数据；以及根据相应于被确定分类从预测数据存储器中读出的预测数据，产生空存储单元的所述像素数据的电路。
33.权利要求32的装置，在该装置中，至少利用分辨率高于第一信号的学习图像信号通过学习来产生每种分类的预测数据。
34.权利要求1的装置，其中所述第一图像信号包括标准清晰度(SD)信号，而所述第二图像信号包括在水平和垂直方向其分辨率都高于所述SD信号的高清晰度(HD)信号。
35.权利要求9的装置，在该装置中所述第一图像信号代表标准清晰度(SD)图像，而所述第二图像信号代表在水平和垂直方向其分辨率都高于所述SD图像的高清晰度(HD)图像；和，在所述分辨率产生存储器内为产生的每幅高分辨率图像确定存取区域，该区域存储单元所存储的在水平方向和在垂直方向的像素数目是所述SD图像信号的像素数目的两倍。
36.权利要求9的装置，在该装置中所述第一图像信号代表标准清晰度(SD)图像，而所述第二图像信号代表在水平和垂直方向其分辨率都高于所述SD图像的高清晰度(HD)图像；在所述分辨率产生存储器内为产生的每幅高分辨率图像确定存取区域，该区域存储单元所存储的在水平方向和在垂直方向的像素数目是所述SD图像信号的像素数目的四倍；隔行和隔列地从所述分辨率产生存储器中读出像素数据，以便形成在水平和垂直方向的像素数目是所述SD图像的像素数目的两倍的HD图像。
37.把第一图像信号变换成为第二图像信号的方法，每一所述第一和第二图像信号由多幅不同帧的图像组成，所述方法包括以下步骤检测所述第一图像信号在第一帧和第二帧之间的运动；通过在相应于被检测运动的位置处假设像素来产生像素数据；以及根据所述产生的像素数据产生所述第二图像信号。
38.权利要求37的方法，其中所产生的第二图像信号的分辨率高于第一图像信号的分辨率。
39.权利要求37的方法，其中所产生的第二图像信号的像素数据的像素数目大于第一图像信号的像素数据的像素数目。
40.权利要求39的方法，其中所产生的第二图像信号的像素数据的像素数目在垂直于与第一图像信号相关的扫描行的方向上大于第一图像信号的像素数据的像素数目。
41.权利要求37的方法，其中所述第一和第二帧是相邻帧。
42.权利要求37的方法，还包括对所述第二图像信号进行低通滤波来减小其中可能存在的任何混叠失真的步骤。
43.权利要求37的方法，其中所述检测运动的步骤包括对所述第一图像信号的小于其像素尺寸的运动量进行检测，还包括以下步骤把第一图像信号的图像存储在分辨率产生存储器内，该分辨率存储器的存储容量大于第一图像信号的一幅图像的数据量，根据被检测的第一图像信号的运动控制第一图像信号数据向所述分辨率产生存储器的写入；以及控制从所述存储器读出新图像信号的数据，所述新图像信号的质量比所述第一图像信号的高。
44.权利要求43的方法，其中所述控制读出的步骤包括控制把所述新图像信号的数据作为所述第二图像信号进行读出。
45.权利要求43的方法，还包括以下步骤低通滤波所述新图像信号来产生被滤波信号；把所述被滤波图像信号变换成为像素数目与第一图像信号的一幅图像的像素数目相同的所述第二图像信号；以及输出其混叠失真小于所述第一图像信号的混叠失真的所述第二图像信号。
46.权利要求43的方法，还包括以下步骤检测所述第一图像信号的场景变化；以及一旦检测到场景变化，就把所述分辨率产生存储器的存储单元内的数据重置为预定值。
47.权利要求43的方法，还包括根据被检测运动产生相对地址指针和在相应于相对地址指针的所述存储单元中写入所述第二帧的图像数据，不删除所述存储器内的所述第一帧的全部图像数据，由此产生包含所述第一帧数据和所述第二帧数据的更高质量帧数据，所述第二帧数据被存储在相对于存储所述第一帧数据的存储单元被移了位的存储单元内。
48.权利要求43的方法，还包括以下步骤检测所述存储器中的没有存储第一图像信号的数据的空位置；以及产生相应于空位置的像素的像素数据。
49.权利要求48的方法，其中所述检测步骤包括存储指出所述分辨率产生存储器的哪些存储单元包含被存储的所述第一图像信号的图像数据的标记。
50.权利要求48的方法，其中所述产生像素数据的步骤包括在其像素数据已被存储的邻近像素的图像值之间进行内插。
51.权利要求48的方法，其中所述产生像素数据的步骤包括检测第一图像信号的特性并确定相应于被检测特性的分类；把每种分类的预测数据存储在预测数据存储器内；以及根据相应于被确定分类从预测数据存储器中读出的预测数据产生空存储单元的所述像素数据。
52.权利要求48的方法，还包括至少利用分辨率高于第一信号的学习图像信号通过学习来产生每种分类的预测数据。
53.权利要求37的方法，其中所述第一图像信号包括标准清晰度(SD)信号，所述第二图像信号包括在水平和垂直方向具有比所述SD信号的分辨率高的分辨率的高清晰度(HD)信号。
54.权利要求43的方法，其中所述第一图像信号代表标准清晰度(SD)图像，所述第二图像信号代表在水平和垂直方向具有比所述SD图像的分辨率高的分辨率的高清晰度(HD)图像；所述方法还包括以下步骤把SD图像数据存储在所述分辨率产生存储器的用于产生的每幅高分辨率图像的存取区域内，各存取区域的存储单元所存储的在水平方向和在垂直方向的像素数目是所述SD图像的两倍。
55.权利要求43的方法，其中所述第一图像信号代表标准清晰度(SD)图像，所述第二图像信号代表在水平和垂直方向具有比所述SD图像的分辨率高的分辨率的高清晰度(HD)图像；所述方法还包括以下步骤把SD图像数据存储在所述分辨率产生存储器的用于产生的每幅高分辨率图像的存取区域内，各存取区域的存储单元所存储的在水平和在垂直方向的像素数目是所述SD图像的四倍；隔行和隔列地从所述分辨率产生存储器中读出像素数据，以便形成在水平和垂直方向的像素数目是所述SD图像的像素数目的两倍的HD图像。
56.权利要求37的方法，其中所述检测运动的步骤包括对所述第一图像信号在其图像的多个图像区域中的小于其像素尺寸的运动量进行检测，还包括以下步骤至少根据被检测运动至少确定第一图像信号的所述图像的第一和第二图像区域；根据在相应于第一和第二图像区域中的被检测运动的位置处的像素的假设产生第二图像信号的第一和第二图像区域；以及组合第二图像信号的第一和第二图像区域来形成复合图像信号。
全文摘要
把第一图像信号变换为第二图像信号的图像信号变换装置,第一和第二图像信号包括多幅不同帧的图像。运动检测器检测第一图像信号在第一帧和第二帧之间的运动,处理电路根据在相应于被检测运动的位置处的像素的假设产生第二图像信号。该装置可用来产生与第一图像信号分辨率相同的、但减小或消除了混叠失真的输出信号,或产生在垂直和/或水平方向具有较高分辨率的输出信号。
文档编号H04N5/44GK1199987SQ9810949
公开日1998年11月25日 申请日期1998年2月14日 优先权日1997年2月14日
发明者近藤哲二郎, 渡边勉, 大月知之 申请人:索尼公司