专利名称：处理数据的系统和方法、程序单元以及计算机可读介质的制作方法
技术领域：
本发明涉及处理数据的系统。
本发明还涉及处理数据的方法。
而且，本发明涉及程序单元。
另外，本发明涉及计算机可读介质。
背景技术：
视频是处理表示运动图片的电子信号的技术。视频技术的主要应用是电视，但也广泛用于工程、科学、制造和安全应用。
个人视频记录器(PVR)是一种电子设备，其将电视节目以数字格式记录到硬盘。PVR使得“时移”特征更加便利，其中时移是将电视节目记录到存储介质，以便在方便的时间供用户观看。数字PVR给时移带来了新的自由度，因为有可能甚至在记录还没有完成的情况下就从开头部分开始观看所记录的节目。PVR技术还允许技巧模式(trick mode)，比如暂停直播的TV、瞬间重放感兴趣的镜头、跳过广告等等。许多PVR记录器使用MPEG格式来编码模拟视频信号。
另外的即将出现的技术是PC-TV技术，其允许在个人计算机上观看电视。
US 5,287,420公开了用于个人计算机应用的图像压缩方法，其分两步来压缩和存储数据。实时捕捉一个图像并且将其压缩和存储到硬盘。在某一稍后的时间，数据被进一步非实时地压缩。
然而，US 5,287,420的缺点在于倘若视频输入数据具有相对差的质量，则视频数据不可能以足够的质量进行重放。
发明内容
本发明的一个目的是允许以足够的质量来回放数据，即使是在所记录的数据受相对差的质量损害时。
为了达到上面所规定的目的，提供了根据独立权利要求的处理数据的系统和方法、程序单元和计算机可读介质。
根据本发明的处理数据的系统包括第一处理单元，其适合于在重放数据之前将数据从数据可用以记录的记录格式转换成一个部分处理的中间格式，如此使得该部分处理的中间格式的数据与记录格式的数据相比包含附加数据。此外，在重放数据期间，数据由第二处理单元从中间格式转换成数据可用以重放的一个完全处理的重放格式。
而且，提供了一种处理数据的方法，包括步骤在重放数据之前将数据从数据可用以记录的记录格式转换成一个部分处理的中间格式，如此使得该部分处理的中间格式的数据与记录格式的数据相比包含附加数据，并且在重放数据期间，将数据从该中间格式转换成数据可用以重放的一个完全处理的重放格式。“可重放的”数据特指准备好要发送到无处理的(“无智能的”)数字或模拟显示或记录设备的数据。
此外，提供了一种程序单元，其当由处理器执行时适合于执行根据上述处理数据的方法的步骤。
另外，提供了一种计算机可读介质，其中存储了计算机程序，该计算机程序当由处理器执行时适合于执行上面所述的处理数据的方法的步骤。
本发明的数据处理可以由计算机程序即由软件，或通过使用一个或多个特定的电子优化电路即以硬件或以混合形式(即借助软件组件和硬件组件)来实现。
根据本发明的特有特征特别地具有这样的优点，即所记录的视频(或音频)数据被部分地处理以在回放之前从记录格式转换成中间格式。这样，系统的空闲时间可以有效地用来在回放这些数据之前开始数据的处理。这样的输入数据的预处理或部分处理可以如此执行使得可以在回放数据之前执行在数字计算上尤其昂贵的算法，其不可能实时完成，因为执行这样的提高质量的算法所需的时间在许多情况下大于实时处理和回放方案的帧中的最大可用处理时间。部分处理的数据于是可以被存储为中间格式。从这样的中间格式开始，在实时回放期间仅必须完成剩余部分的处理以获取记录格式的数据，从而允许数据实时地且同时以提高的质量重现。
根据本发明的数据的预处理稍稍增加了要被存储的数据量，因为除了所记录的数据之外，产生自预处理的数据被另外存储以允许与所记录的数据相比提高回放数据的质量。例如，预处理可以包括运动矢量估计，通过允许实现复杂的特征比如运动补偿的时间上变换(temporal up-conversion)或去隔行，该运动矢量与所记录的数据相结合来允许具有提高质量的重现。运动矢量由在数据记录和数据重现之间执行的相对昂贵和费时的算法来计算，其中所得到的运动矢量仅需要很少量的附加存储空间，但允许显著提高数据回放的质量。
因此，根据本发明的一个重要方面，使能了一种回放之前的计算和中间视频处理数据的存储，特别是对于PC-TV和PVR应用。
根据一个方面，本发明教导了通过记录视频、在记录期间和记录之后做部分的视频处理比如运动矢量估计，以及存储中间结果(不是完全处理的视频数据，而仅是最小所需的数据)来对存储容量进行杠杆调节以克服图像处理能力的不足。接着，在随后的视频回放期间，算法的最终步骤可以优选地以实时的方式来完成。这样，优选地，处理算法的较昂贵部分，以及特别是不能实时完成的各种事情，可以在系统的空闲时间来执行，这样使得系统资源的很有效利用被与很小的、附加的存储该部分处理的中间格式数据所需的存储量相结合。在视频的回放期间，完成算法的最终步骤可以包括基于先前估计的运动矢量数据来计算适当的去隔行的行，或者为时间上变换来计算缺失的帧。
本发明基于这样的认识，即未来的家庭娱乐TV记录和TV观看应用(特别是视频应用)比如个人视频记录器(PVR)和混合PC-TV系统可以结合两种因素。第一，通过自动(即不要求任何用户动作)的MPEG-2编码(或任何其它的视频压缩方法)和在硬盘上的存储来使能广播视频的实践上是无限的帧缓冲器存储。相对比，传统的TV中的视频处理设施典型地仅可以访问过去的二或三个帧。第二，通用处理器，而不是专用硬件，经常不适合于涉及每像素许多操作的视频处理应用。然而，在许多情况下使用现成的处理器而不是开发和生产专用IC(集成电路)将经济得多。假定视频处理的一部分可以在记录节目期间和之后来完成，而不是实时完成的话，第一方面使得可能克服由于缺乏专用硬件(见第二方面)而导致的不足。
通过在节目的记录和回放之间计算和存储中间视频处理结果，使用不能在可用计算硬件上实时运行的复杂的视频处理算法(例如用于去隔行或时间上变换-也称作运动抖颤消除)变成可能。
本发明克服的另一种不足与营销和测试新的视频处理算法有关。通过首先以如本申请中描述的离线软件形式中引入新算法，而变得有可能在实现硬件中的一个-经常昂贵得多的-实时解决方案之前测试一个算法在市场上被接纳的程度。
另外，由于视频处理可以基本上以软件完成并且不限于特定的硬件实现(例如，没有实时要求，没有对于处理速度的任何关键门限)，所以与传统的TV和VCR相比，在设备中升级视频处理算法是可能的。
在节目的记录期间，根据本发明的优选实施例的视频应用将开始高质量回放所需的初步视频处理工作，使用任何未致力于记录任务的处理能力。典型地，视频处理任务到节目结束时将不会完成。可能存在两种情形1.用户在节目的记录期间观看，或者在记录之后如此之快地观看，以致于处理还没完成。在这种情况下，系统将使用可以实时完成的“中等”质量处理。在这种情况下，由确定单元确定不可能或不适合执行预处理步骤。
2.直到完成处理，用户才请求回放节目。在这种情形下，考虑到所兑换的(cashed)数据，回放将使用高质量处理。
用户灵活地具有一个易于理解的选择以“中等”质量视频处理来立刻观看记录，或者给系统时间来计算所需的数据且然后以高质量视频处理观看该记录。
在优选实施例中，运动矢量的计算在空闲时间期间执行，例如使用3DRS(“三维递归搜索”)算法。
在实现运动矢量的上下文中的有利应用是去隔行(或者“隔行到逐行扫描格式转换”)，其可以以便宜和有效的方式(例如使用倍行)或以更复杂的运动补偿方式来完成。后一选项产生更好的质量，但要求运动矢量。有可能离线地估计运动矢量，并且在视频回放期间使用这些运动矢量来对该视频进行去隔行。
“去隔行”是将视频的隔行的图像转换成非隔行形式的过程。隔行的视频为每帧在屏幕上仅画出一半的行(可选地对于每帧画出奇数和偶数行)，其利用一个图像在CRR(“阴极射线管”)上淡出(fade)所用的时间以给出实际刷新速率加倍的印象，从而有助于防止闪烁。去隔行的基本方法包括“组合”，其中偶数和奇数帧被组合成一个图像，然后被显示，并且包括“扩展”，其中每帧(具有仅一半的行)被扩展到整个屏幕。
在计算运动矢量的帧中的另一个应用是所谓的“时间上变换”，其也要求运动矢量信息。假使运动矢量已经在回放期间可得，则大大减少了实时处理要求。这样，视频或音频回放设备可以被制造成根据标准清晰度信号来输出增强的或高清晰度信号。这样的设备可以包括集成的缩放器(scaler)来将标准清晰度视频上变换成高清晰度视频。这个上变换过程可以提高标准清晰度视频的被感知的画面质量。
本发明的优选应用是个人视频记录器(PVR)，特别是具有要求去隔行的逐行输出的。还未以硬件实现的新开发的算法可以在如本发明中略述的离线情形中被更早且更便宜地加以运用(并且因此在市场上得到测试)。本发明的另一个优选应用是具有内置硬盘的电视机。另一个应用是PC-TV应用。然而US 5,287,420仅公开了数据压缩并且因此使得压缩的图像数据使用比原始数据更少的存储器，本发明通过描述一个存储比初始记录的多的数据的系统而完全与这一教导背道而驰。根据本发明，存储了初始记录的数据以及被离线生成的附加数据。这样，本发明以略微增加存储空间为代价而提高了重现质量。与此相比，US 5,287,420是以画面质量为代价提高了压缩比。
特别地，是在本发明的帧中从标准清晰度视频信号(例如PAL的720×576i@50Hz)转向某些适合在例如1280×1024p@60Hz LCD面板上显示的形式。在某种意义上，所记录的信号被当作“压缩”信号来处理，本发明旨在使用视频或音频处理技术从该“压缩”信号来“解压缩”一个高分辨率信号。通过非实时(即并非在回放期间)地进行一些这样的“解压缩”，将使用比标准清晰度隔行信号所要求的原始记录再多一些的空间。这样，本发明提供了存储视频数据流、然后生成和存储再多一些数据的系统。
本发明引入中间视频处理数据的提前的非实时计算和存储。一个重要的思想是高质量回放所需的部分数据被提前计算(并且临时存储)而不是在回放时计算。本发明提高了回放质量，而不是压缩特性。本发明涉及任选的视频处理，其在系统空闲时间期间完成而不是实时完成。
换言之，本发明已经在记录期间或在记录之后立即做部分视频处理，并且在视频的回放期间执行最后的处理步骤。
参考从属权利要求，本发明的另外的优选实施例将在下面进行描述。
接下来，将描述处理数据的系统的优选实施例。这些实施例还可以适用到处理数据的方法、程序单元和计算机可读介质。
本发明的系统可以适用于处理视频数据或音频数据。通常，本发明可以适用于任何种类的数据，该数据可以在重放之前处理并且可以在重放之前由这样的处理来就质量进行改进。例如，视频数据可以通过计算运动矢量来处理。例如，音频数据可以通过计算要添加到主音频数据的混响来处理，以提高由听众所感知的音频重放的主观质量。
本发明的系统可以包括记录单元，其可以适合于以记录格式记录数据并且其可以适合于将所记录的数据提供到第一处理器单元。本系统可以进一步包括重放单元，该重放单元适合于以重放格式重放数据并且适合于由第二处理器单元提供以要重放的数据。这样的重放单元可以包括个人计算机、LCD、音频播放器等等。
此外，可以提供存储单元，其可以适合于以记录格式存储记录的数据并且适合于以部分处理的中间格式存储部分处理的中间数据。这样的存储单元可以例如是硬盘、RAM存储器、闪存或光存储介质如DVD。
记录格式的数据可以具有第一质量级，并且重放格式的数据可以具有第二质量级，第二质量级指示比第一质量级更高的质量。换言之，通过计算中间格式的数据而将数据从记录格式开始处理成重放格式，重放数据的质量可以提高。例如，进入的视频数据可以具有24H z的重放速率。然而，现代的LCD面板能够以60Hz或甚至是75Hz的频率重放视频数据。为了弥合这一差距并因此提高重放的视频的质量，可以计算运动矢量。在这些运动矢量的基础上，可以执行时间上变换来生成中间画面。可选地，进入的视频可以具有60Hz的频率并且是隔行的。在这种情况下，运动矢量信息可以用于执行运动补偿的去隔行，以便在逐行扫描显示器(比如LCD)上显示视频。时间上变换和去隔行可以可选地或附加地来执行。
本发明的系统可以包括确定单元，其适合于基于用户定义的在记录数据和重放数据之间的时间间隔、或者基于可用的系统资源或者基于未来预期的系统资源来确定第一处理单元是否被控制来在以重放格式重放数据之前将所记录的数据从记录格式转换成中间格式，或者第一处理单元是否被控制来将所记录的数据从记录格式直接转换成重放格式。根据这个实施例，系统可以根据对记录和回放之间的时间是否足以执行本发明的预处理进行检查的结果来被灵活地加以控制。如果是，预处理被执行并且重现的数据的质量与所记录的数据相比可能增加。如果不是，不可能通过预处理数据来提高质量，因为时间不足以完成该算法。因此，该系统灵活地判定视频信号质量提高是否有可能。有关中间数据是否应当生成的判决还可以基于以下事实来做出，即当前是否有足够的系统资源(例如CPU容量、存储空间)可用或者预期在不久的未来其很可能变得可用。
对前面描述的实施例的又一个可选方案是，确定单元可以实现为使之适合于在重放数据时确定是否中间格式的数据已经由第一处理单元生成并且因此可用，这样第二处理单元被控制来将数据从该中间格式转换成该重放格式，或者是否中间格式的数据不可用，这样第一处理单元被控制来将所记录的数据从记录格式直接转换成重放格式。换言之，根据这个实施例，第一处理单元在记录期间和直接在记录之后的任一情况下开始计算中间数据。然而，在触发器开始回放的情况下(例如当用户按下重放设备上的“播放”按钮时)，确定单元检查是否第一处理单元已经完成中间数据的计算，即是否中间数据(如运动矢量)已经可用。如果是，确定单元在考虑先前估计的中间数据的情况下控制第二处理单元来生成重放数据。如果不是，确定单元控制第一处理单元来直接从所记录的数据中生成重放数据。该判决因此基于这样的事实，即是否中间数据可用。
在第一处理单元被控制来将所记录的数据从记录格式直接转换成重放格式的情况中，重放格式的数据可以被重放，其中记录格式和重放格式的帧速率之间的任何失配都通过使用帧重复来克服。例如，如果24Hz输入信号应当在60Hz的显示设备上重现，特定帧被简单地重复几次。
可选地，在第一处理单元被控制来将所记录的(隔行的)数据从记录格式直接转换成(逐行(非隔行))重放格式的情况下，重放格式的数据可以使用行重复方法来重放，其中隔行的记录格式可以使用倍行被转换成逐行重放格式。行重复方法仅重复地显示特定行来将隔行的视频转换成逐行扫描格式。
将数据转换成部分处理的中间格式可以包括计算运动矢量数据。运动矢量数据的计算在许多情况下是计算上很昂贵的并且因此需要相当多的时间来执行。本发明的系统可以使用空闲时间，即其中系统资源未被占用的时间，来计算运动矢量数据。运动矢量数据可以使用很小量的存储空间来存储，然而却允许显著提高所显示的数据的质量。在运动矢量数据已经先前被记录的情况下，那么有可能基于所记录的数据和另外计算的运动矢量数据，以显著改进的方式重放视频数据，而不需要存储大量的附加数据。
将数据转换成完全处理的重放格式可以包括时间上变换。这样的时间上变换可以包括使用先前估计的运动矢量数据来提高画面质量。
可选地或另外地，将数据转换成完全处理的重放格式可以包括运动补偿的去隔行。再次，这样的去隔行可以基于先前执行的运动矢量分析并且允许以显著提高的质量来实时回放视频数据。
此外，将数据转换成部分处理的中间格式可以包括颜色分析，特别地包括颜色直方图的创建和分析。
将数据转换成完全处理的重放格式可以包括使用颜色直方图的修正、使用先前创建的和分析的颜色直方图信息来增强。
记录格式的数据可以是压缩的数据格式的数据。优选的压缩格式是用于编码音频和视频数据的MPEG-2格式。然而，可以应用可选的压缩方案，例如MPEG-4。
本发明的系统可以实现为集成电路，特别是半导体集成电路。特别地，该系统可以实现为单片式IC，其可以以硅技术来制造。
本发明的系统可以实现为个人视频记录器(PVR)或个人计算机电视系统(PC-TV)，或者是便携式音频播放器或者是DVD播放器或MP3播放器。
在本发明的系统中，第一处理单元和第二处理单元可以被结合到一个共同的处理单元。换言之，两个处理单元都可以被组合到或集成到一单个的共同处理单元中，例如一个CPU(中央处理单元)中。
本发明上面所定义的方面和另外的方面将从下文中描述的实施例的例子中变得明白并且将参照实施例的这些例子加以解释。
下面，本发明将参照实施例的例子更具体地加以描述，但本发明并不限于这些例子。
图1示出了根据本发明的一个优选实施例的处理数据的系统。
图2至图12示出了根据本发明的优选实施例的处理数据的方法的流程图。
具体实施例方式
附图中的示例是示意性的。在不同的图中，类似的或相同的部件被提供同样的参考符号。
下面，参照图1，将描述根据本发明的优选实施例的视频处理系统100。
视频处理系统100包括记录单元102用于记录视频数据。记录单元102的输出被耦合到确定单元105的输出，所述确定单元105用于确定在记录视频数据和重现视频数据之间所提供的时间间隔是否足以在重放数据之前预处理数据。更具体地，确定单元105适合于基于在记录数据和重放数据之间的用户定义的时间间隔来确定是否第一处理单元101a被控制来在以重放格式(表示为C)重放数据之前将记录的数据从记录格式(表示为A)转换到中间格式(表示为B)，或者是否第一处理单元101a(或者可选地第二处理单元101b)被控制来将记录的数据从记录格式直接转换到重放格式。在由于设备100的用户希望在记录之后立刻重放所记录的数据而使得不可能进行这样的预处理的情况下，确定单元105控制第一处理单元101a直接将所记录的数据转换成可重放的数据并且将可重放的数据转发给重放单元103。在由于设备100的用户并未控制设备100在记录之后立刻重放所记录的数据而使得可能进行预处理的情况下，确定单元105给第一处理单元101a提供所记录的数据用于预处理。第一处理单元101a预处理所记录的数据并且可以使用存储单元104来存储和访问数据。当用户以后希望重放数据时，预处理的数据被第二处理单元101b进一步进行处理来生成可重放数据，该可重放数据然后被提供给重放单元103以重放这些数据。
这样，图1示出了视频处理系统100，其具有第一处理单元101a，适合于在由重放单元103重放数据之前将数据从数据由记录单元102记录所用的记录格式转换成部分处理的中间格式。数据由第一处理单元101a转换，如此使得部分处理的中间格式的数据与所记录的数据相比包含附加数据，即原始数据加上适合提高回放质量的数据。随后，第二处理单元101b将数据从中间格式转换成数据由重放单元103重放所用的完全处理的重放格式。后一处理步骤在重放数据期间执行，即以实时的方式执行。存储单元104适合于以记录格式来存储所记录的数据并且以部分处理的中间格式来存储部分处理的中间数据。
由记录单元102以记录格式记录的数据具有第一质量级(即具有24Hz的帧速率的数据)，并且由重放单元103重放的重放格式的数据具有第二质量级(即具有60Hz的帧速率的数据)，这样第二质量级指示比第一质量级更高的质量。视频处理系统100的组件被以硅技术实现为集成电路。该视频处理系统100是个人视频记录器。
作为对图1的实施例的一种可选方案，确定单元105可以适合于确定在请求数据重放的时候是否中间格式的数据(即运动矢量)已经由第一处理单元101a生成并且因此可用。如果这样的计算在应当重放数据的时候已经完成，第二处理单元101b被控制来将数据从该中间格式转换成该重放格式。与比相反，如果这样的计算在应当重放数据的时候尚未完成，这样中间格式的数据尚未可用，则第一处理单元101a被控制来将所记录的数据从记录格式直接转换成重放格式。换言之，根据这个实施例，第一处理单元101a在记录期间和直接在记录之后的任一情况下开始计算中间数据。然而，在触发器开始回放的情况下(例如当用户按下重放设备103上的“播放”按钮时)，确定单元105检查是否第一处理单元101已经完成中间数据的计算，即是否中间数据(如运动矢量)已经可用。如果是，则确定单元105在考虑先前估计的中间数据的情况下控制第二处理单元101b来产生重放数据。如果不是，则确定单元105控制第一处理单元101a(或者可选地第二处理单元101b)来直接从记录的数据产生重放数据。该判决因此基于是否中间数据可用这样的事实。
下面，参照图2至图12，将描述根据本发明的处理数据的方法的优选实施例。处理单元101适合于执行对应的方法步骤。
下面，参照图2、图3和图4，描述关于运动补偿上转换的第一实施例。
图2示出了流程图200，该图示出了接收和存储数据。如可以从图2中看到的，TV信号通过接收装置201被接收和转换成视频数据。这些视频数据被提供给压缩装置202以生成压缩的视频数据，该视频数据然后被存储在数据存储装置203中。数据存储装置203可以是硬盘、RAM存储器、闪存或光存储介质如DVD。图2示出了接收和存储TV信号为压缩数据(通常为MPEG-2或MPEG-4变体或其它格式如数字视频DV)。可选实施例是绕过这个压缩步骤，并且将DVD或其它数字载波信号直接用作为数据存储装置203。
下面，参照图3来描述流程图300。
流程图300示出了离线处理方案，即生成运动矢量的方法，该方法可以在第一处理单元101a中执行。如可以从图3中看到的，解压缩单元301被提供以存储在数据存储装置203中的压缩的视频数据。解压缩装置301部分解压缩所压缩的视频数据以生成视频数据。解压缩装置301可以例如适合于仅部分地而不是完全地解压缩数据。例如，在视频数据为MPEG格式的情况下，解压缩单元301因为解压缩的原因可能不考虑颜色数据，而仅考虑照度数据。运动矢量估计单元302从视频数据估计运动矢量数据。压缩装置303使用无损压缩算法而从运动矢量数据生成压缩的运动矢量数据。在附加的数据存储装置304中，存储了压缩的运动矢量数据。
图3示出了用于离线处理作业的实施例。运动矢量估计可以是数字计算上很昂贵的过程。一旦数据存储装置203被(部分地)填充并且系统具有空闲的计算资源，该估计过程就可以开始。所得到数据(对于每个视频帧中的每个8×8像素块典型地为一个(vx，vy)数据对)可以被存储在附加的数据存储装置304中。为了减少数据大小，附加的无损压缩步骤在无损压缩单元303中执行。
下面，参照图4，描述了流程图400，其示出了在60Hz显示器上回放影片资料(提供有24Hz的帧速率)，即以60Hz的帧速率进行重放。
如可以从图4中看到的，存储在数据存储装置203中的压缩的视频数据被提供给可以是一个MPEG-2解码器的解压缩装置401a。解压缩装置401a从压缩的视频数据生成24Hz的视频数据并且提供这些24Hz的视频数据给判决装置402。在判决装置402中，判定运动矢量数据是否可用，即在运动矢量估计单元303中先前是否已经计算过。在无运动矢量数据可用的情况下，帧重复装置403使用简单的帧重复从24Hz视频数据生成60Hz视频数据。换言之，帧重复装置403从具有24Hz频率的视频数据中通过简单重复不同帧多次而生成具有60Hz频率的视频数据。具有60Hz频率的视频数据被提供给60Hz显示设备405，例如液晶设备(LCD)，用于以60Hz速率来显示被处理的视频数据。
然而，在判决装置402判定运动矢量数据可用-作为已经由运动矢量估计装置302执行的运动矢量估计的结果-的情况下，具有24Hz频率的视频数据被提供给时间上变换装置404以生成具有60Hz频率的视频数据，其质量相对于具有24Hz频率的视频数据被提高。这些具有60Hz频率的预处理的视频数据被提供给显示设备405来显示。
如可以从图4中进一步看到的，解压缩装置401b(其可以是关于类似霍夫曼(Huffman)的无损压缩)被提供以压缩的运动矢量数据，该数据从附加数据存储单元304中传递。这些运动矢量数据被提供给时间上变换单元404，该上变换单元404使用这些运动矢量数据以提供60Hz频率的视频数据，其具有相比于24Hz频率的视频数据提高的质量。
这样，图4示出了所计算的运动矢量可以如何被用于影片速率上变换的例子。作为输入，使用了24Hz的影片序列(这通常由“影片检测器”从对60Hz隔行TV信号的分析来确定)，其应当在60Hz显示器405上被显示。借助于预计算的运动矢量，视频可以以简单的方式上变换达到60Hz。如果这样的运动矢量不可用(例如由于记录数据和重放数据之间的时间间隔对于计算运动矢量来说太小)，就执行帧重复。
下面，参照图2、图3和图5，描述了根据本发明的处理视频数据的方法的第二实施例，其关于运动补偿的去隔行。
如上面参照图2和图3所描述的方法步骤还在第二实施例的情况中执行。提供了这些计算的结果，表示为“a”和“b”，如流程图500中所示的，根据该第二实施例使用运动补偿来进行去隔行。
先前已经生成的压缩的视频数据被提供给解压缩装置401a来生成视频数据480i(比如是在NTSC(国家电视系统委员会)TV信号中，对PAL和HDTV隔行模式中也存在类似的例子)。判决装置402判定运动矢量数据是否可用，即运动矢量是否已经由运动矢量估计装置302来产生。如果不是，则由行重复装置501执行简单的行重复，从而将视频数据480i转换成视频数据480p，以在逐行显示器503上进行显示。如果运动矢量数据可用，则视频数据480i被提供给运动补偿的去隔行装置502来使用先前估计的运动矢量数据生成视频数据480p。这些视频数据480p然后被显示在逐行显示设备503上。
这样，图5示出了使用预计算的运动矢量来提高显示视频数据的质量的第二例子。在这个例子中，480i 60Hz(NTSC，国家电视系统委员会)信号应当被去隔行以在480p(逐行)显示器503上进行显示。为此，使用了运动补偿的去隔行算法(例如“多数选择(majorityselect)”)。如果无任何运动矢量可用，该系统会通过仅重复所有的行一次而回退到很基本的去隔行算法。
下面，参照图2、图6、图7和图8，描述了根据本发明的第三实施例的处理视频数据的方法，其引入了运动自适应的去隔行。
类似第一实施例的情况，在第三实施例的情况中执行如图2所示的方法步骤。
图6中所示的算法类似于图3中所示的算法，但不同之处在于运动矢量估计装置302由去隔行分析装置601所代替。去隔行分析装置601将视频数据转换成去隔行数据，该去隔行数据被提供给无损压缩单元303。这样，图6示出了离线处理的另一个实施例，其引入了去隔行参数，即去隔行的另一种方式，其比运动补偿的去隔行，即运动自适应的去隔行更便宜。
如图7中所示的流程图700示出了去隔行分析装置601的功能性的细节。图像像素被提供给运动判决装置701，用于判定特定图像是否在(局部地)运动。如果是，则参数“use_previus”在设置装置702中被设置为“0”值，并且确定装置703确定最优内插方向L。如果运动判决装置701已经判定图像不是局部运动，则参数“use_previus”由设置装置703设置成值“1”，并且L被设置为“0”。存储装置705与单元703、704的输出相连并且存储值“use_previus”和“L”。
根据图7中所示的算法，首先确定是否图像在(局部)运动。如果不是，则插入来自前一场的像素。如果是，则系统尽力确定最佳的内插方向。存储了运动检测和内插方向值。
图8示出了流程图800，其示出了属于图6中所描述的过程的回放图。
解压缩装置401a被提供以存储在数据存储装置203中的数据。在解压缩这些数据之后，由此生成的视频数据480i被提供给判决装置801用于判定是否去隔行参数(如根据图7中所示的程序可区分的)可用。如果不可用，则视频数据480i被提供给行重复装置501用于生成视频数据480p，以在逐行显示设备503上进行显示。如果判决装置801判定去隔行参数可用，那么视频数据480i被使用如运动自适应去隔行装置802执行的运动自适应去隔行而转换成视频数据480p。运动自适应去隔行装置802被供应给来自解压缩单元401b的去隔行参数，该解压缩单元401b接收存储在附加数据存储装置304中的数据，参见“c”。
下面，参照图2、图9至图12，描述了根据本发明的第四实施例的处理视频数据的方法，其引入了直方图修正增强。
图9中所示的流程图900类似于图3中所示的流程图300和图6中所示的流程图600，并且示出了存储在数据存储装置203(见图2)中的压缩的视频数据如何被处理以生成颜色直方图数据。为此，压缩的视频数据在解压缩单元301中被部分解压缩，其中解压缩的数据作为视频数据被提供给颜色直方图创建和分析装置901。颜色直方图创建和分析装置901适合于通过应用对应的算法来生成颜色直方图数据。该计算步骤的结果作为颜色直方图数据被提供给无损压缩单元303，其生成被存储在附加数据存储装置304中的压缩的颜色直方图数据。
如图9中所示的方法步骤示出了使用直方图修正来实现图像增强的实施例。实现了一种众所周知的、用于在并非所有可用颜色都被同时使用的地方增加颜色对比度的技术。该方法还用于TV系统中，但是这里它遭受这样的事实的困扰，即该算法需要“展望未来(look into the future)”。颜色使用必须提前便清楚知道以防止时间上的不一致。
下面，描述了如图10中所示的流程图1000，其示出了确定和存储每个景象的颜色使用的方法的细节。因此根据图10示出了直方图分析。首先，图像颜色像素被提供给测量装置1001用于测量颜色直方图。在判决装置1002中，检测是否存在景象变化。如果是，存储装置1003存储帧号作为景象边界，并且分配新的空的景象平均直方图。存储装置1003的结果被提供给加法装置1004用于将直方图数据加到景象平均上。此外，在判决装置1002没有检测到任何景象改变的情况下，这个检测的结果被提供给加法装置1004。
图11示出了流程图1100，该图示出了对应直方图块的不同的帧参考。这样，在图11中示出了存储在存储器中的(未压缩的)直方图数据。由此，图11给出了颜色数据的存储的概图。每个景象存储了一个直方图。还存储了表示景象之间的边界的帧号，因此总体提供了帧号到平均直方图数据的映射。下面，参照图12，描述了流程图1200，其示出了使用直方图修正的、带有颜色和亮度增强的回放。类似于图3、图4和图8中所示的，图12示出了解压缩单元401a被提供以存储在如图2所示的数据存储装置203中的数据。此外，存储在如图9所示的附加数据存储装置304中的数据被提供给如图12所示的解压缩单元401b。
由数据存储装置203提供的数据在解压缩单元401a中被解压缩并且被提供给判决装置1201，其检查直方图数据是否可用(即是否历史数据已经由颜色直方图创建和分析装置901产生)。如果不是，则视频数据在显示设备1202上显示(液晶显示器，LCD)。如果是，视频数据被在一个使用直方图修正的增强装置1204中处理，该增强装置被提供以来自查找当前景象的直方图的查找装置1203的当前的景象直方图数据。这个查找装置1203包含由解压缩单元401b提供的颜色直方图数据。增强装置1204增强所提供的视频数据并且在显示设备1202上显示视频数据。这样，执行了使用直方图修正的颜色和亮度增强。
应当看到，术语“包括”不排除其它元素或步骤并且“一”或“一个”不排除多个。还可以组合那些结合不同实施例描述的元素。
还应当看到，权利要求中的参考符号不应当被视作限制权利要求的范围。
权利要求
1.一种处理数据的系统(100)，包括第一处理单元(101a)，适合于在重放数据之前将数据从数据可用以记录的记录格式转换成一个部分处理的中间格式，如此使得该部分处理的中间格式的数据与记录格式的数据相比包含附加数据；以及第二处理单元(101b)，适合于在重放数据期间将数据从该中间格式转换成数据可用以重放的一个完全处理的重放格式。
2.根据权利要求1的系统(100)，适合于处理视频数据或音频数据。
3.根据权利要求1的系统(100)，包括记录单元(102)，适合于以记录格式记录数据并且适合于提供所记录的数据给第一处理器单元(101a)。
4.根据权利要求1的系统(100)，包括重放单元(103)，适合于以重放格式重放数据并且适合于由第二处理器单元(101b)提供以要重放的数据。
5.根据权利要求1的系统(100)，包括存储单元(104)，适合于以记录格式存储所记录的数据并且适合于以部分处理的中间格式存储部分处理的中间数据。
6.根据权利要求1的系统(100)，其中记录格式的数据对应第一质量级，并且其中重放格式的数据对应第二质量级，该第二质量级指示比第一质量级更高的质量。
7.根据权利要求1的系统(100)，包括确定单元(105)，适合于基于在记录数据和重放数据之间用户定义的时间间隔或者基于可用的系统资源或者基于未来预期的系统资源来确定是否第一处理单元(101a)被控制来在以重放格式重放数据之前将所记录的数据从该记录格式转换成该中间格式，或者是否第一处理单元(101a)被控制来将所记录的数据从该记录格式直接转换成该重放格式。
8.根据权利要求1的系统(100)，包括确定单元(105)，适合于在重放数据时确定该中间格式的数据是否已经由第一处理单元(101a)生成并且因此可用，这样第二处理单元(101b)被控制来将数据从该中间格式转换成该重放格式，或者该中间格式的数据是否不可用，这样第一处理单元(101a)被控制来将记录的数据从该记录格式直接转换成该重放格式。
9.根据权利要求1的系统(100)，其中将数据转换成部分处理的中间格式包括计算运动矢量数据
10.根据权利要求9的系统(100)，其中将数据转换成完全处理的重放格式包括时间上变换。
11.根据权利要求9的系统(100)，其中将数据转换成完全处理的重放格式包括运动补偿的去隔行。
12.根据权利要求1的系统(100)，其中将数据转换成部分处理的中间格式包括颜色分析。
13.根据权利要求1的系统(100)，其中将数据转换成部分处理的中间格式包括创建和分析颜色直方图。
14.根据权利要求13的系统(100)，其中将数据转换成完全处理的重放格式包括使用颜色直方图的修正的增强。
15.根据权利要求1的系统(100)，其中记录格式是压缩的数据格式。
16.根据权利要求1的系统(100)，其中将数据转换成部分处理的中间格式包括至少部分地解压缩数据。
17.根据权利要求1的系统(100)，被实现为一个集成电路。
18.根据权利要求1的系统(100)，被实现为个人视频记录器或个人计算机电视系统，或者是便携式音频播放器或者是DVD播放器或MP3播放器。
19.根据权利要求1的系统(100)，其中第一处理单元(101a)和第二处理单元(101b)被结合到一个共同的处理单元。
20.一种处理数据的方法，包括步骤在重放数据之前将数据从数据可用以记录的记录格式转换成一个部分处理的中间格式，如此使得该部分处理的中间格式的数据与该记录格式的数据相比包含附加数据；以及在重放数据期间将数据从该中间格式转换成数据可用以重放的一个完全处理的重放格式。
21.一种程序单元，其当由处理器(101a，101b)执行时适合于执行处理数据的方法，所述方法包括步骤在重放数据之前将数据从数据可用以记录的记录格式转换成一个部分处理的中间格式，如此使得该部分处理的中间格式的数据与该记录格式的数据相比包含附加数据；以及在重放数据期间将数据从该中间格式转换成数据可用以重放的一个完全处理的重放格式。
22.一种计算机可读介质，其中存储了计算机程序，该计算机程序当由处理器(101a，101b)执行时适合于执行处理数据的方法，该方法包括步骤在重放数据之前将数据从数据可用以记录的记录格式转换成一个部分处理的中间格式，如此使得该部分处理的中间格式的数据与该记录格式的数据相比包含附加数据；以及在重放数据期间将数据从该中间格式转换成数据可用以重放的一个完全处理的重放格式。
全文摘要
一种处理数据的系统(100)，包括第一处理单元(101a)，适合于在重放数据之前将数据从数据可用以记录的记录格式转换成一个部分处理的中间格式，如此使得部分处理的中间格式的数据与记录格式的数据相比包含附加数据，以及第二处理单元(101b)，适合于在重放数据期间将数据从该中间格式转换成数据可用以重放的完全处理的重放格式。
文档编号H04N5/76GK101053261SQ200580037464
公开日2007年10月10日 申请日期2005年10月25日 优先权日2004年10月29日
发明者H·范德海登 申请人:皇家飞利浦电子股份有限公司