专利名称：图像处理器和配有这种图像处理器的图像显示设备的制作方法
技术领域：
本发明涉及用于运动补偿图像处理的图像处理器，包括-存储单元，用于存储第一输入图像和第二输入图像；-运动估计器，用于根据该第一输入图像和第二输入图像估计运动向量场；以及-运动补偿单元，用于根据另一运动向量场以及根据第一输入图像和第二输入图像计算输出图像。
本发明还涉及一种图像显示设备，包括-接收机，用于接收包含第一输入图像和第二输出图像的图像序列；-用于运动补偿图像处理的图像处理器，包括-存储单元，用于存储第一输入图像和第二输入图像；-运动估计器，用于根据该第一输入图像和第二输入图像估计运动向量场；以及-运动补偿单元，用于根据另一运动向量场以及根据第一输入图像和第二输入图像计算输出图像；-显示装置，用于显示该输出图像。
在G.de Haan 1999年8月发表于IEEE消费电子学报第45卷第3期的论文“用于运动补偿解交织、噪声降低以及图像速率转换的IC”(“IC for motion-compensated de-interlacing，noise reduction，and picture rate conversion”，IEEE Transaction on ConsumerElectronics，Vol.45，No.3，August 1999)中，可以了解在起始段所述的这种图像处理器的一种实施方式。
图像序列以各种图像速率输入电影资料为24、25和30Hz，而视频通常为50Hz和60Hz。另一方面，电视显示器在商业上可以利用图像速率50、60和100Hz，逐行扫描或者隔行扫描。简单的图像速率转换器重复图像，直到下一图像到达，这将导致运动发生时的模糊和/或抖动。相似地，解交织有时也来自于图像重复、或者相邻行的平均。更先进的解交织思想是施加垂直时间处理，但是这会恶化图像的发生运动的那些部分。
在上述的论文中记载了在90年代中期出现的消费电视IC，使用运动估计和运动补偿来获得甚至对于运动序列的高性能转换。该论文揭示了改善的算法，用于运动估计、运动补偿解交织、运动补偿图像内插以及运动补偿噪声降低。实施这些算法的IC包含了用于高速缓冲当前和前一图像的存储单元、运动估计器和运动补偿单元。以下为该IC的工作方式。两个连续的输入图像被接收并被高速缓冲在IC的存储单元中。根据这些输入图像计算运动向量。一个图像对(即当前图像和前一图像)的运动向量组被称为运动向量场。这些运动向量被提供到运动补偿单元，后者执行以上列出的操作。其结果为运动补偿输出图像。该IC实时执行这些操作。这意味着以相对少的操作数量来实施运动估计算法。尽管该运动估计单元的结果相对较好，但是也会存在错误运动向量，导致运动补偿图像中的伪像(artifact)。特别是在图像的边界或者在图像的闭合区域。因此，在这些情形中需要更先进的运动估计。
本发明的第一个目标是提供在起始段所述的那种图像处理器，它被设计以允许更先进的运动估计。
本发明的第二个目标是在起始段所述的那种具有更先进的运动估计的图像显示设备。
实现本发明的第一个目标是通过将该图像处理器设计成选择性地从以下装置接收另一运动向量场-运动估计器；或-外部单元。
它和现有技术的图像处理器的主要差别在于，运动向量不但可以由图像处理器自身的运动估计器计算，而且运动向量还可以由外部单元计算，即并非处理器自身的部分的信号源，它被安排用作协处理器。优选地，该协处理器被设计用于执行比该运动估计器的运动估计更先进的运动估计。注意，该另一运动向量场可以对应于运动估计器计算的运动向量场，也可以是由外部单元提供的运动向量场。
依照本发明的该图像处理器的一个实施例被设计用于提供运动向量场至外部单元，该外部单元被安排用来根据上述运动向量场计算该另一运动向量场。在本实施例中，该运动向量场被交换到外部单元，后者被安排用作协处理器，以改善由该图像处理器的运动估计器所计算的运动向量场。其优点在于使用了该图像处理器的可用的运动估计器并且利用外部单元改善了所获得的运动向量场。该图像处理器具有两种操作模式-单遍(one pass)模式第一输入图像和第二输入图像被接收，并被存储在该图像处理器的存储单元。基于这些输入图像计算运动向量。这些运动向量被提供到计算运动补偿输出图像的运动补偿单元。
-两遍(two pass)模式在两遍的第一遍中，第一输入图像和第二输入图像被接收，并被存储在存储单元。基于这些输入图像计算运动向量。这些运动向量被提供给外部单元。在外部，所接收的运动向量场可以被暂时存储。但最重要的是，该外部单元被安排用于对该运动向量场执行操作，以便改善该运动向量场。同时，图像处理器可以继续处理其它图像。例如，该图像处理器的运动补偿单元可以计算第二运动补偿输出图像，或者该图像处理器的运动补偿器可以计算另一图像对的运动向量场。在两遍的第二遍中，将对应于第一和第二输入图像的另一向量场与第一和第二输入图像一起提供给运动补偿单元。根据该输入计算输出图像。
在两遍模式，该第一和第二输入图像必须被读入到存储单元两次一次用于第一遍，一次用于第二遍。其结果导致存储器总线的附加负载。然而，依照本发明被设计在单遍和两遍模式之间改变的图像处理器的主要优点是可伸缩性。它允许在一些附加带宽的代价和图像质量的增加之间作出选择。
依照本发明，在该图像处理器的另一实施例，其中该运动向量场被提供到外部单元，该外部单元被安排用于重新计算该运动向量场的特定运动向量。可以应用该运动向量场的甚至更高级的适配。例如，通过使用候选运动向量的扩展集合来找出适当运动向量。基于多于两个连续图像的运动估计也是可能的。
依照本发明该图像处理器的实施例，其中该运动向量场可以被提供到外部单元，包括一个开关，该开关具有-同该运动估计器相连的第一输入接头；-同该外部单元相连的第二输入接头；以及-同该运动补偿单元相连的输出接头，该开关具有
-第一状态，其中第一输入接头被连接到输出接头；以及-第二状态，其中第二输入接头被连接到输出接头。
该开关的优点在于它使得运动补偿单元的设计相对容易。该运动补偿单元包含可提供适当的运动补偿向量场的一个接口，而不是可能提供另一运动向量场的两个接口。
在依照本发明的该图像处理器的实施例中，其中该运动向量场被提供到外部单元，该运动估计器包括第一控制接口，以便允许和/或禁止运动估计器。该第一控制接口的优点在于它使得设计运动估计器单元相对容易。该运动估计器的定时和控制的主要部分在运动估计器之外执行。
在依照本发明的该图像处理器的实施例中，其中该运动向量场被提供到外部单元，该运动补偿单元包括第二控制接口，以便允许和/或禁止运动补偿单元。该第二控制接口的优点在于它使得设计运动补偿单元相对容易。该运动补偿单元的定时和控制的主要部分在运动补偿单元之外执行。
在依照本发明的该图像处理器的实施例中，该运动补偿单元被设计执行用于以下操作中的至少一个-解交织通用音频广播信号被交织，这意味着连续图像交替地只包含偶数或者奇数行。解交织试图恢复完全的垂直分辨率，即，使得奇数和偶数行都可用于每个图像；-时间图像内插根据一系列原始输入图像计算较大系列的输出图像。输出图像在时间上位于两个原始输入图像之间。
-时间噪声降低。这也会涉及空间处理，导致空间-时间噪声降低。
由于该图像显示设备的图像处理器被设计用于从一组信号源中选择一个信号源，从而实现了本发明的第二目标，该信号源将该另一运动向量场提供到运动补偿单元，并且该组信号源包括-运动估计器；以及-外部单元，将该运动向量场提供到该外部单元。
该图像处理器的改进及其变化也许对应于所述图像显示设备的修改及其变化。
参照附图，根据此后所述的实施方式和实施例，将进一步阐明本发明的图像显示设备和图像处理器的这些和其它方面，从而使其明白。在附图中
图1A示意性地示出了在其环境中的该图像处理器的实施例；图1B示意性地示出了该图像处理器的实施例，包括一个在来自运动估计器的运动向量和来自外部单元的运动向量之间进行选择的开关；图2示意性地示出了运行在单遍模式的该图像处理器实施例中的运动向量场的数据流；图3A示意性地示出了在两遍模式的第一遍期间，在该图像处理器的实施例中运动向量场的数据流；图3B示意性地示出了在两遍模式的第二遍期间，在该图像处理器的实施例中另一运动向量场的数据流；图4示意性地示出了依照本发明的图像显示设备。
在所有的附图中，相应的附图标记具有相同的意义。
图1A示意性地示出了在其环境中的图像处理器100。该图像处理器100包括-存储单元102，用于存储第一输入图像和第二输入图像；-运动估计器104，用于根据第一输入图像和第二输入图像估计运动向量；和-运动补偿单元106，用于根据另一运动向量场以及根据第一输入图像和第二输入图像来计算输出图像。
该图像处理器100被设计用于从一组信号源中选择一个信号源，所选的信号源将另一运动向量场提供给运动补偿单元106，并且该组信号源包括-运动估计器104；以及-外部单元108。
数据总线112被设计用来交换例如输入和输出图像以及运动向量的数据。在总线112上连接了-图像处理器100；-外部存储设备110，被安排来存储输入和输出图像以及运动向量的数据；以及-外部单元108。
图像处理器的工作原理如下。第一和第二输入图像经由数据总线112从外部存储设备110中获得，并存储在存储单元102中。有可能第一和第二输入图像中的所有像素都被同时存储在存储单元102中。但是优选地，只是将这些像素的一部分存储在存储单元102中。第一和第二输入图像分别经由图像数据路径116和图像数据路径118交换。如果之前没有计算该图像对的运动向量场，则第一和第二输入图像被提供到运动估计器104。运动向量估计器104计算运动向量场并经由运动向量路径114将其提供到运动补偿单元106。第一和第二输入图像经由图像数据路径126和128也被提供到运动补偿单元106，由其计算相应的输出图像。如果之前已经计算了该图像对的运动向量场，则另一运动向量场被从外部信号源108中获得，并同该第一和第二输入图像一起经由运动向量路径120被提供到运动补偿单元106。基于该输入，运动补偿单元106计算相应的输出图像。经由图像数据路径115交换输出图像。图像数据经由图像数据路径125被提供到外部单元108，并且经由运动向量路径123从外部单元108中获得运动向量。运动补偿单元106被设计用于执行至少一个以下操作-解交织；-时间图像内插；或-时间噪声降低。
优选地，运动估计器104和运动补偿单元106按照1999年8月由G.de Haan发表于IEEE消费电子学报第45卷第3期的论文“用于运动补偿解交织、噪声降低以及图像速率转换的IC”中所述的算法工作。可选地，也可以根据G.de Haan发表于IEEE学报第86卷第9期的论文“解交织概述”(De-interlacing-An Overview)中所述的另一种方法来执行解交织。
该图像处理器最好在一片IC上实现。可替换地，也可以使用具有相对大的带宽的连线互联的多片IC来实现该图像处理器。
图1B示意性地示出了包括开关130的该图像处理器101的实施方式，开关130有-第一输入接头，经由运动向量路径114和运动估计器104相连；-第二输入接头，经由运动向量路径120和外部单元108相连；以及
-同运动补偿单元106相连的输出接头，并且开关(130)具有-第一状态，其中第一输入接头被连接到输出接头，允许该另一运动向量场被直接从运动估计器104提供到运动补偿单元106；以及-第二状态，其中第二输入接头被连接到输出接头，允许把该另一运动向量场从外部单元108提供到运动补偿单元106。
运动估计器104包含第一控制接口134以便允许和/或禁止运动估计器104，并且运动补偿单元106包含第二控制接口132以便允许和/或禁止运动补偿单元106。运动估计器104和运动补偿单元106的定时和控制的主要部分在这些单元104、106之外执行。
存储单元102包含用于存储第一输入图像的第一子单元103以及用于存储第二输入图像的第二子单元105。
图像处理器101被安排用于把运动向量场从运动估计器104分别124经由运动向量路径113交换到外部单元108。
与图2有关，根据开关是处于第一状态还是第二状态以及该运动估计器104和运动补偿单元106被允许还是禁止来描述图3A和图3B。
在表1中对其进行了总结。
表1
图2示意性地示出了在单遍模式运行的该图像处理器101的实施例中运动向量场的数据流202。如钩号204和206所示，运动估计器104和运动补偿单元106都被允许。开关130处于第一状态。处理步骤的顺序如下。从外部存储设备110中获得第一输入图像和第二输入图像，并且将其高速缓冲在图像处理器101的存储单元102中。第一图像，即所谓的前一图像，被输入到子单元103中，而第二输入图像，即所谓的前一图像，被输入到子单元105。图像被分成多个段。对于每一段计算运动向量。一幅图像的所有向量在一起构成了运动向量场。这些运动向量被直接提供到运动补偿单元106，由其计算运动补偿后的输出图像。原则上，运动向量被一个接一个地提供或者在小分组中提供。但是最终提供整个运动向量场。一个接一个地提供运动向量的优点在于，在上一个运动向量已被计算之后相对短的时间之内就可以完成输出图像。另一个优点在于，不需要在图像处理器101中提供存储空间来存储整个运动向量场。通常运动向量也被存储在外部存储设备110中。
图3A示意性地示出了在两遍模式的第一遍期间，在该图像处理器101的实施例中该运动向量场的数据流302。如附图标记304和306所示，允许该运动估计器104而禁止运动补偿单元106。开关130处于第二状态。然而，开关130的状态是无关紧要的，因为禁止了运动补偿单元106。处理步骤的顺序如下。从外部存储设备110中获得第一输入图像和第二输入图像，并将其高速缓冲在图像处理器101的存储单元102中。这些图像被分成多个段。对于每个段计算运动向量。这些运动向量被暂时存储在外部存储设备110中。外部单元108可以访问这些运动向量。外部单元108被设计用于可选地基于正由运动估计器104计算的运动向量来计算另一运动向量场。由外部单元108计算的另一运动向量场将被图像处理器101在第二遍中使用。可选地，该另一运动向量场也可以被存储在外部存储设备110中。
图3B示意性地示出了在两遍模式的第二遍期间，在该图像处理器101的实施例中另一运动向量场的数据流302。如附图标记308、310所示，运动估计器104被禁止而运动补偿单元106被允许。开关130处于第二状态。处理步骤的顺序如下。从外部存储设备110中接收第一输入图像和第二输入图像，并将其高速缓冲在图像处理器101的存储单元102中。对应于该第一和第二输入图像的特定运动向量由外部信号源108提供，或者从外部存储器110中获得。运动补偿单元106计算输出图像。在第二遍期间的扫描方向，即被处理的分段顺序，与第一遍期间的扫描方向无关。换而言之，在第一遍期间，运动向量可以从右下角到左上角计算分段，而在第二遍期间，可以通过例如从左上角到右下角处理分段来创建运动补偿后的输出图像。这允许改变运动估计器的扫描方向，提高了该算法的收敛速度，尽管运动补偿经常应用相同的扫描方向。
外部单元108和图像处理器101均被设计用于计算与相同的图像顺序有关的运动向量。图像处理器101被设计用于在第一时隙计算特定图像对的第一运动向量场。外部单元108被安排用来在第二时隙期间根据第一运动向量场计算特定图像对的第二运动向量场。在第三时隙期间，图像处理器101的运动补偿单元106使用第二运动向量场来计算输出图像。然而外部单元108和图像处理器101是并行运行的处理器。利用一个实例，列出了并行处理的效果。
在表2中概括了该实例。
表2
在时隙1期间，图像处理器101的运动估计器104计算图像对N，N+1的运动向量场F1(N，N+1)，而外部单元108计算图像对N-1，N的运动向量场F2(N-1，N)。在时隙2期间，图像处理器101的运动补偿单元106使用图像对N-1，N的运动向量场F2(N-1，N)，而外部单元108计算图像对N，N+1的运动向量场F2(N，N+1)。注意在此例中，外部单元108比起图像处理器来可以花费更多的时间计算运动向量场。还应注意，在大多数情况下，只有一部分运动向量场需要改进，因此可以确信两遍模式可以获得改进的图像质量。
图4示意性地示出了依照本发明的图像显示设备400，包括-用于接收图像序列的接收机402。这些图像可以被广播并且经由天线或者电缆接收，也可以来自于类似VCR(盒式磁带录像机)或者DVD(数字通用光盘)的存储设备。该图像序列被提供到图像显示设备400输入接头406。图像序列可以用多种图像速率电影资料为24、25和30Hz，而视频通常为50Hz和60Hz；-以联合图1B所述的方式实施的图像处理器101；以及-用于显示图像的显示装置404。显示装置404的类型可以是CRT、LCD或者PDP。显示装置404可以用50、60或者100Hz的图像速率工作并且可以是逐行扫描或者隔行扫描。
还应指出，上述实施例只是示例而非限制本发明，本领域技术人员还可能设计替换实施方式，而不超出附加的权利要求的范围。在权利要求中，在括号中的任何附图标记不应被视为对权利要求的限制。单词“包括”不排除存在权利要求中未列出的元件或者步骤。在元件之前的单词“一个”也不排除存在多个此类元件。本发明可以利用包括几个不同元件的硬件实现，也可以利用适当编程的计算机实现。在权利要求书中列举了多个装置，这些装置中的一些可以使用同一硬件实现。
权利要求
1.一种用于运动补偿图像处理的图像处理器(100，101)，包括-存储单元(102)，用于存储第一输入图像和第二输入图像；-运动估计器(104)，用于根据第一输入图像和第二输入图像估计运动向量场；以及-运动补偿单元(106)，用于根据另一运动向量场以及根据第一输入图像和第二输入图像计算输出图像，其特征在于，该图像处理器(100，101)被设计用于选择性地从以下装置中接收另一运动向量场-运动估计器(104)；或者-外部单元(108)。
2.权利要求1所述的图像处理器(100，101)，其特征在于，该图像处理器(100，101)被设计用于将运动向量场提供给外部单元(108)，该外部单元(108)被安排用来根据该运动向量场计算另一运动向量场。
3.权利要求2所述的图像处理器(100，101)，其特征在于，该外部单元(108)被安排用于重新计算运动向量场的特定运动向量。
4.权利要求2所述的图像处理器(100，101)，其特征在于，该图像处理器(100，101)包括开关(130)，该开关(130)包含-与运动估计器(104)相连的第一输入接头；-与外部单元(108)相连的第二输入接头；以及-与运动补偿单元(106)相连的输出接头，该开关(130)具有-第一状态，其中第一输入接头被连接到输出接头，以及-第二状态，其中第二输入接头被连接到输出接头。
5.权利要求2所述的图像处理器(100，101)，其特征在于，运动估计器(104)包括第一控制接口(134)，以便允许和/或禁止该运动估计器(104)。
6.权利要求2所述的图像处理器(100，101)，其特征在于，运动补偿单元(106)包含第二控制接口(132)，以便允许和/或禁止运动补偿单元(106)。
7.权利要求1所述的图像处理器(100，101)，其特征在于，运动补偿单元(106)被设计用于执行以下操作中的至少一个-解交织；-时间图像内插；或者-时间噪声降低。
8.一种图像显示设备(400)，包括-接收机(402)，用于接收包含第一输入图像和第二输出图像的图像序列；-图像处理器(100，101)，用于运动补偿图像处理，包括*存储单元(102)，用于存储第一输入图像和第二输入图像；*运动估计器(104)，用于根据第一输入图像和第二输入图像估计运动向量场；以及*运动补偿单元(106)，用于根据另一运动向量场以及根据第一输入图像和第二输入图像计算输出图像；-用于显示输出图像的显示装置(404)，其特征在于，该图像处理器(100，101)被设计用于选择性地从以下装置中接收另一运动向量场-运动估计器(104)；或者-外部单元(108)。
9.权利要求8所述的图像显示设备(400)，其特征在于，图像处理器(100，101)被设计用于将运动向量场提供给外部单元(108)，该外部单元(108)被安排用于根据运动向量场来计算另一运动向量场。
10.权利要求8所述的图像显示设备(400)，其特征在于，运动补偿单元(106)被设计用于执行以下操作中的至少一个-解交织；-时间图像内插；或者-时间噪声降低。
全文摘要
用于运动补偿图像处理的该图像处理器(101)包括运动补偿单元(106)，用于根据一个特定的运动向量场以及根据第一输入图像和第二输入图像计算输出图像。该特定运动向量场可以由运动估计器(104)或者由外部单元(108)计算，其中运动估计器(104)是该图像处理器(101)的一部分。图像处理器(101)被设计用于确定用于计算输出图像的该特定运动向量场是来自于哪个信号源，即运动估计器(104)或者外部单元(108)。该外部信号源被设计根据由图像处理器(101)的运动估计器(104)所提供的运动向量场来计算该特定运动向量场。
文档编号H04N7/01GK1552160SQ02817458
公开日2004年12月1日 申请日期2002年9月2日 优先权日2001年9月7日
发明者K·A·维塞斯, K A 维塞斯, A·K·里门斯, 里门斯, R·J·舒特坦, 舒特坦 申请人:皇家飞利浦电子股份有限公司