专利名称：用于提高特技播放性能和时域可调整性的分配和调度策略的制作方法
技术领域：
本发明涉及视频数字数据的非线性重放(特技播放、可调视频格式等)，并且更加具体地讲，涉及用于提高特技播放性能和时域可调整性的分配和调度方法和设备。
背景技术：
随着象DVD-记录器和硬盘记录系统这样的数字消费者记录系统的推广，消费者越来越多地开始记录数字广播内容和自编码的MPEG视频素材。在这样的系统中，消费者期望功能和性能至少与传统的模拟视频记录系统(例如，VCR)相同。在基于随机存取介质的记录系统中，例如，硬盘和光盘，MPEG编码的素材是按照其进入记录器(或离开记录器)的顺序写入到存储介质当中的。对于某些快速特技播放的操作模式而言，这导致驱动器利用率非常低下。
快进和快退操作导致数据位引擎的额外搜索，这是由于从I帧到I帧的跳跃。这有数种重大缺点，比如造成性能明显下降、驱动器磨损和破损以及由搜索操作造成的噪声。这样，需要一种以能够避免上述问题的方式记录数据的方法和设备。
发明内容
本发明的目的是通过提供一种用于分配和调度记录数据来提高特技播放性能和时域可调整性的方法和设备来克服上述缺点。本发明提供了一种以使搜索最小化的方式在盘上存储视频数据的机制。此外，分配策略提供了另一种优点，非常简单类型的时域可调整性。这对于移动装置延长电池寿命或减小用于网络连接的接口带宽(以牺牲图像刷新率为代价)尤其有用。本发明所针对的是消费者记录器，不过也可以应用于会同时管理多个特技播放流的大型视频点播系统。
按照本发明的一种实施方式，公开了一种在存储介质上记录数据流的方法和设备，用于提高所记录数据的非线性播放性能。首先，接收数据流。将数据流中的I-图像存储在第一缓冲区中，并且将数据流中剩下的数据存储在第二缓冲区中。每次第一缓冲区装满时，将存储在第一缓冲区中的I-图像写入到存储介质上的帧内编码分配单元中。然后，最好将第二缓冲区的内容写入到随后的帧间编码分配单元上。
按照本发明的另一种实施方式，公开了一种在存储介质上记录数据流的方法和设备，用于提高所记录数据的非线性播放性能。首先，接收数据流。将数据流中的I-图像存储在第一缓冲区中。将数据流中的P-图像和非视频数据存储在第二缓冲区中。将数据流中的B-图像存储在第三缓冲区中。每次第一缓冲区装满时，将存储在第一缓冲区中的I-图像写入到存储介质上的帧内编码分配单元中。将第二缓冲区的内容写入到至少一个P-图像分配单元中，该至少一个P-图像分配单元一般来说跟在之前写入的帧内编码分配单元之后。将第三缓冲区的内容写入到B-图像分配单元中，该B-图像分配单元跟在所述至少一个P-图像分配单元之后。
通过参照此后介绍的实施方式，本发明的这些和其它的方面将会变得显而易见，并且将会参照此后介绍的实施方式对本发明的这些和其它的方面加以阐释说明。
现在将参照附图，仅以举例为目的，对本发明加以介绍，其中附图1表示适于采纳本发明的实施方式的音频-视频设备的框图；附图2表示可用于实现本发明的至少一种实施方式的机顶盒的框图；附图3表示按照本发明的一种实施方式的存储介质；附图4表示按照本发明的一种实施方式的记录设备；附图5是表示按照本发明的一种实施方式存储数据流的流程图；附图6表示按照本发明的一种实施方式的存储介质；附图7表示按照本发明的一种实施方式的记录设备；附图8是表示按照本发明的一种实施方式存储数据流的流程图。
具体实施例方式
附图1表示适于采纳本发明的音频-视频设备。该设备包括用于接收要记录到盘3上的数字视频信号的输入端子1。此外，该设备包括用于供应从盘上再现的数字视频信号的输出端子2。在使用中，这些端子可以通过数字接口与数字电视接收机和具有机顶盒(STB)12形式的解码器相连接，该机顶盒还接收来自卫星、电缆等等的具有MPEG TS格式的广播信号。虽然现在讨论的是MPEG格式，但是本领域技术人员应当理解，也可以采用具有类似的IPB型结构的其它格式。机顶盒12向显示装置14提供显示信号，该显示装置14可以是传统的电视机。
视频记录设备如附图1所示是由两个主要系统部分组成的，即盘子系统6和视频记录器子系统8，它们控制记录和重放。很容易理解，这两个子系统具有数种功能，包括可以依据逻辑地址(LA)透明地对盘子系统进行寻址，并且盘子系统能够保证用于从盘上读取和/或向盘上写入数据时的最大可维持位速率。
用于实现这样的设备的适当硬件结构对于本领域技术人员来说是公知的，专利申请WO00/00981A中就图解说明了一个实例。该设备一般来说包括信号处理单元、和读取/写入单元，后者又包括构成为用于从盘3上读取/向盘3写入的读取/写入头。致动器在电机旋转盘的同时沿着横穿盘的径向对头进行定位。还有一个微处理器，用于按照公知的方式控制所有的电路。
参照附图2，给出了机顶盒12的框图。本领域的技术人员应当理解，本发明并不局限于机顶盒，而是也可以扩展到多种多样的装置，比如DVD播放器、PVR盒、包含硬盘的盒(记录器模块)等。接收广播信号并且将其馈送给调谐器31。调谐器31选择传送广播音频-视频-交互式信号的信道并且将该信号转送给处理单元32。如果必要的话，处理单元32对来自广播信号的数据包进行去多路复用，并且重构内嵌在该信号中的电视节目和/或交互式应用程序。然后由解压缩单元33对这些程序和应用程序进行解压缩。然后将与内嵌在信号中的电视节目相关联的音频和视频信息输送给显示单元34，该显示单元34可以进行进一步的处理和将信息转换成适当的电视格式(比如NTSC或HDTV视频/音频)。由广播信号重构的应用程序被发送到随机存取存储器(RAM)37，并且由控制系统35运行。
控制系统35可以包括微处理器、微控制器、数字信号处理器(DSP)或者某种其它类型的软件指令处理装置。RAM 37可以包括存储器单元，按照需要，这些存储器单元是静态的(例如，SRAM)、动态的(例如，DRAM)、易失性或非易失性的(例如，FLASH)，以支持机顶盒的功能。当向机顶盒供给了电源时，控制系统35运行存储在ROM 36中的操作系统代码。在机顶盒加电的时候，操作系统代码按照与一般个人计算机的操作系统代码相同的方式连续运行，并且使得机顶盒能够按照控制信息工作并且运行交互式和其它应用程序。机顶盒还包括调制解调器38。调制解调器38提供了可以将收看者数据发送到广播台的返回路径和广播台可以向机顶盒发送数据的交替路径。
虽然本文使用了术语“机顶盒”，应当理解，这个术语指的是用于接收和处理所发送的数据并且将经过处理的数据输送给电视机或其它监视器的任何接收器或处理单元，和通过网络连接的与再现/显示装置分离的联网装置。机顶盒可以处于物理上位于电视顶部的外壳中，它可以位于远离电视的某个其它位置上，或者可以组装到电视机本身当中。
按照本发明的一个实施方式，公开了一种用于提高非线性或非实时播放性能和有助于实现时域可调整性的组合的调度和分配策略。非线性播放指的是特技播放操作，例如，快进和快退，以及重放所存储的分层/可调整音频/视频格式，比如时域、SNR、空间可调整性。这是通过在记录的时候将I一图像分配到盘上的独立的分配单元中来实现的。如附图3所示，帧内编码分配单元302用于存储I-图像，而帧间编码分配单元304用于存储B-、P-图像。帧内编码分配单元中的数据使用第一编码算法进行编码，而帧间编码分配单元内的数据使用第二编码算法进行编码，其中编码算法指的是压缩技术和可调整/分层格式，比如，空间和SNR编码。这些独立分开的帧内和帧间编码分配单元是交替写入的，但是最好是连续写入到存储介质300中的。由于这些I-图像的开始和终止位置已经可以由CPI-提取算法得到，因此这并不会明显增加记录器的复杂程度。如附图4所示，通过为I-图像和流的剩余部分划分调度缓冲区，一个帧内编码的调度缓冲区402用于存储I-图像，而另一个帧间编码的调度缓冲区404用于P-和B-图像以及非视频数据。本领域的技术人员应当理解，也可以使用单独一个缓冲区，只要系统知道I-图像边界在单独一个调度缓冲区内的什么位置上。
一旦存储器中的调度缓冲区之一包含了足以填满整个分配单元的数据，就可以将缓冲区内容写入到存储介质300中。对于平均GOP大小cG＝390kB并且I-图像大小cI＝75kB的典型DVB流而言，可以断定，对于所记录的DVB广播流，在存储介质300上，大概每四到五个分配单元将会是帧间编码分配单元304。在本说明书的末尾，给出了一个说明性的算法，该算法将分离的缓冲区的输出重新交织成与原始流相同的单独一个MPEG流，而不需要关于各个图像在存储介质300内的位置的任何预先了解，即，额外的元数据。
在正常播放速度下，每个帧内编码分配单元302至少包含对直到下一个帧内编码分配单元302之前的所有随后的帧间编码分配单元304中的帧间编码图像进行解码所需的所有I-图像。这保证了在这样的流的正常播放期间不需要进行额外的跳跃或搜索。这在I图像可能超出分配单元边界，并且可能需要调度缓冲区稍大于单独一个缓冲区大小的两倍或者必须使用填充机制来填满分配单元的时候尤其重要。注意，这暗示了分配单元包含整数个图像。本领域的技术人员应当理解，在开始写入相关的帧间编码和非视频数据之前，可以写入多个帧内编码分配单元。
在特技播放期间使用这种分配策略，确保了不再需要在I-图像之间进行搜索操作并且免除了从存储介质300中读取帧间编码数据(在特技播放期间不使用)的需要。另一个优点是，在记录和正常播放期间，将不会有特别大的性能下降，因为帧内编码分配单元与帧间编码图像分配单元在盘上是相互交错的。换句话说，在记录时和正常播放中没有使用特别耗时的搜索。
通过使用这种分配方法，应当注意到，I-图像不再必须在节目流或传输流数据包的边界上开始和结束。这需要处理每个帧内编码图像的引导和拖尾数据包及其相邻的帧间编码图像。由于图像的这种开始和结束检测已经可以在具有CPI-提取形式的记录器中实现，这种可以获得的功能可以用于找出这些图像在传输数据包中的边界。随后，可以在传输流数据包的适当字段中进行填充，以便消除记录时不必要的剩余，其中额外需要的处理最少。
帧内编码图像被单独分配到存储介质上，这一情况还具有其它一些不太显而易见的优点。例如，这种分配使得分析内容(例如，产生缩略图像、场景切换检测和产生摘要)更加容易，因为通常用于这些目的的I-图像不再遍及整个存储介质分布。对于条件存取(CA)系统，这种分离从某种意义上也是很有益处的对帧内和帧间编码数据应用不同的加密机制。在这样的CA系统中，I-图像常常是采用明文方式(即，不加密地)存储的，以利于特技播放，而P-和B-图像是加密地存储的。
为了展示本发明的进步之处，现在将介绍最差情况分析。这一分析假设I-图像大小为cI＝75kB，而平均GOP大小为cG＝390kB。这些数量指的是局部传输流大小，因此也包括用于音频、系统信息和其它数据的少量开销。假设APAT也是这样存储的，这导致平均I-图像大小为400个传输流数据包(每个数据包为192字节)。对于硬盘的情况，在块或分配单元大小为B＝4MB的情况下，系统可以在存储介质300上的单独一个分配单元内平均存储B/cI＝54.6个帧内编码图像。分配单元或块是在存储介质300上分配的单元，在这些单元中，保证了视频数据不间断地存储。在可维持用户数据速率为R＝196Mbps(典型硬盘驱动器)的情况下，这得到了下述的系统I-图像通过率fI＝BR/cI(RTscek+B)＝260.8个图像每秒。对于最坏情况的情形，这比当前记录器通常使用的分配策略提高了五倍以上。而且，大大减少了所需的搜索操作的数量，这对驱动器的预期寿命和系统的噪声水平很有益处。
附图5是表示按照本发明的上述实施方式存储和读取数据流的流程图。首先，在步骤502中接收数据流。然后在步骤504中将得自数据流的I-图像存储在第一缓冲区中，并且在步骤506中将得自数据流的剩余数据存储在第二缓冲区中。每次第一缓冲区装满时，在步骤508中，将存储在第一缓冲区中的I-图像写入到存储介质上的帧内编码分配单元上。然后，在步骤510中，最好将第二缓冲区的内容写入随后的帧间编码分配单元上。
按照本发明的另一种实施方式，可以实现与时域可调整性的非常低的复杂度形式相结合的最佳分配。时域可调整性是通过将P-和B-图像存储在存储介质上的分开的分配单元中来实现的，如附图6所示。在附图6中，每个帧内分配单元302后面跟着至少一个P-图像分配单元310和至少一个B-图像分配单元312。如附图7所示，使用了三个缓冲区来存储数据流。第一缓冲区700存储I-图像。在这个例子中，第二缓冲区702存储P-图像和非视频数据。第三缓冲区704存储B-图像。要获得这种类型的可调整性，编码器中不需要额外的构造，即，与现有的编解码器兼容。可调整性对于移动装置尤其重要，在移动装置中，功耗限制要优先于视频质量。而且，这种可调整性对于通过网络工作的装置极其有用，在这种装置中，需要使用比实际视频流低的带宽通过数字接口传输视频数据。
这种时域视频可调整性可以通过两种不同的方式实现。首先，可以通过在重放的时候在所跳过的原始图像的位置上插入空的图像，降低播放时或在通过数字接口进行播放的情况下的内部解码器的帧刷新率，来有效地实现这一结果。应当注意，因为这一可调整性并不影响所重放视频图像的持续时间，因此音频数据保持不变，从而可以按照与视频素材同步的正常播放速度得以解码。为了使其能够实现，所有的非视频数据，也称为其它数据，例如视频数据、专用数据、交互式电视数据和SI信息都是单独存储的，并且最好相对于I-图像分配单元是连续存储的，或者存储在I-图像分配单元302的末端或者存储在P-图像分配单元310的开端，如附图4所示。
专用数据可以包括与象MPEG7或TV-anytime这样的开放标准兼容的任何种类的内容描述数据。交互式电视数据最好与DVB-MHP标准兼容，不过同样也可以与DASE兼容。
由于不从B-图像预测图像，因此B-图像可以在播放时随意对B-图像进行子采样。作为例子，让我们采用GOP长度N＝12并且锚定图像距离为M＝4的编码视频流。这种GOP结构有可能减少每秒需要解码的不同图像的数量通过仅重放I-图像，可以减少12倍；通过跳过所有的B-图像，可以减少4倍；通过重放所有的I-和P-图像和中间的B-图像，可以减少2倍；并且通过重放所有的I-、P-和B-图像可以减小1倍。这样，在原始帧速率为25帧每秒的情况下，分别得到了2.08Hz、6.35Hz、12.5Hz和25Hz的图像刷新率。注意，例如，通过播放三个B-图像中的两个，可以实现其它的刷新率，但是图像采样间隔是不规则的。这有可能导致令人不快的可见伪像，比如图像抖动。
假设宏块流量与功耗成线性比例，则时域可调整性能够导致视频解码器的功耗减小相应的子采样倍数。而且需要恢复较少的数据，导致功耗的进一步明显降低。通过选择特定的GOP结构，可以影响时域可调整性的精细度。注意，通过将B-和P-图像放到同样的分配单元中，可以实现可调整性的层次形式(与GOP长度N相等的倍数)。
使用这种分配策略不仅会降低所需的解码器功耗，而且会得到就存储引擎的功耗而言最好的分配方式。这是由于这种分配策略保证了对于不同的精细度介质存取的数量最小。在低电池电量下工作的移动装置的情况下(其中当前流送的视频图像的播放无法得到保证)，可以使驱动器和解码器的功率降低，以延长电池寿命。这种类型的分配方式还提高了基于IPP的特技模式的性能，其中分配单元不再由不需要的B-图像占用。
附图8是表示按照本发明的上述实施方式存储和读取数据流的流程图。首先，在步骤802中接收数据流。在步骤804中将得自数据流的I-图像存储在第一缓冲区中。在步骤806中将得自数据流的P-图像和非视频数据存储在第二缓冲区中。在步骤808中将得自数据流的B-图像存储在第三缓冲区中。每次第一缓冲区填满时，在步骤810中将存储在第一缓冲区中的I-图像写入到存储介质上的帧内编码分配单元中。在步骤812中，将第二缓冲区的内容写入到至少一个P-图像分配单元中，该P-图像分配单元一般来说跟在之前写入的帧内编码分配单元之后。在步骤814中，将第三缓冲区的内容写入到B-图像分配单元中，该B-图像分配单元跟在所述至少一个P-图像分配单元之后。
作为另一种可选方案，同样可以将与空图像组合在一起的音频和系统信息一起保存到I-图像、P-图像和B-图像分配单元中。在这个说明性的实例中，将非视频数据复制了三次，但是可以省略掉额外开销。这提供了下述三层操作。首先，读取包括与非视频数据交织的附加空图像的分配单元中的I-图像。注意，在同一分配单元中，所有的音频数据是与I-图像交织的。其次，读取I-图像和P-图像以及与I-和P-图像交织的非视频数据。在重放的时候，跳过I-图像段中的空图像和所交织的音频数据。这一部分以这样一种方式通过P-图像得到了加倍在重放的时候所有的音频数据可用。最后，读取I-图像、P-图像、B-图像和与I-、P-、B-图像交织的非视频数据。在重放的时候跳过I-图像和P-图像分配单元中的空图像和与之交织的非视频数据。同样，与原始的I-、P-和B-图像交织的非视频数据得到了完整的音频流。
如果适当组织结构，任何一种上述组合都可以得到有效的MPEG流，虽然在重放的时候要对某些非视频数据进行加倍并且有时要跳过空图像。对于非常低的位速率而言，时域可调整性是一种很好的可调整性类型，因为它不会降低图像质量，而是仅仅降低图像刷新率。而且，对于其它类型的分层压缩格式，在存储介质上的同样的间隔方式会得到同样的优点，比如空间和SNR可调整性。
在以正常速度进行播放时，帧内和帧间编码分配块必须再次被再多路复用为单独一个MPEG兼容视频流。这可以根据MPEG图像的时间参考(即，存取单元)来完成。下面以伪C代码给出了实现这种再交织的一般算法，不过本发明并不局限于此while(“I图像缓冲器不为空”){prev＝-1curr＝“在缓冲器中第一个I图像的时间参考”“从缓冲器中移除I图像并将其发送到数字接口”for(int I＝prev+1；I＜curr；I++){“从缓冲器中移除B图像并将其发送至数字接口”}while(“缓冲器中下一个P图像的时间参考”＞curr){prev＝curr；curr＝“在缓冲器中第一个P图像的时间参考”“从缓冲器中移除I图像并将其发送到数字接口”for(int I＝prev+1；I＜curr；I++){“从缓冲器中移除B图像并将其发送至数字接口”}}
}该算法对两个缓冲区的实施方式(单独的帧内和帧间编码缓冲区)以及三个缓冲区(单独的I-、P-和B-图像缓冲区)的实施方式有效。变量“prev”和“curr”分别代表当前处理的GOP中的前一和当前锚定图像的时间参考。唯一的前提是，在处理开始时，三个缓冲区中的读取指针是同步的，即，全部指向正确的相应项目。
假设帧间编码块中的第一个图像由紧跟在帧内编码分配单元的第一个I-图像后面的帧间编码图像开始，如上面所述，系统可以重构原始的视频流，而不需要任何额外的信息。不过，对于随机存取系统，可能会需要在CPI信息表中加入额外的字段，该字段包含对这一帧间编码图像的位置的说明，以便能够帮助实现对分配单元的第一个I-图像之后的I-图像的随机存取。
将会理解，本发明的不同实施方式并不局限于上面介绍的步骤的确切顺序，因为某些步骤的时间顺序可以相互交换，而不会影响本发明的总体操作。
例如，不使用盘3(附图1)，可以使用象闪存卡之类的固态存储器。而且，可以使用除了MPEG2之外的、采用帧内编码和帧间编码图像的压缩算法，而不会超出本发明的范围。
而且，术语“包括”并不排除其它的元件或步骤，术语“一”和“一个”并不排除多个，并且单独一个处理器或其它单元可以实现权利要求中所列举的数个单元或电路的功能。
本发明概述如下公开了一种在存储介质上记录数据流的方法和设备，用于提高所记录数据的非线性播放性能。首先，接收数据流。将数据流中的I-图像存储在第一缓冲区中，并且将数据流中剩下的数据存储在第二缓冲区中。每次第一缓冲区装满时，将存储在第一缓冲区中的I-图像写入到存储介质上的帧内编码分配单元中。然后，最好将第二缓冲区的内容写入到随后的帧间编码分配单元上。
权利要求
1.一种将包括帧内编码图像和帧间编码图像的数据流存储到包括至少一个帧内编码分配单元和至少一个帧间编码分配单元的存储介质上的方法，该方法包括步骤a)接收数据流；b)将多个帧内编码图像存储到存储介质上的帧内编码分配单元中；c)将多个帧间编码图像存储到存储介质上的帧间编码分配单元中。
2.按照权利要求1所述的方法，其中数据流包括除了编码图像之外的其它数据并且其它数据存储在帧内编码分配单元中。
3.按照权利要求1所述的方法，其中帧间编码分配单元位于帧内编码分配单元之后，并且存储在帧间编码分配单元中的帧间编码图像与存储在之前的帧内编码分配单元中的帧内编码图像相关联。
4.按照权利要求1所述的方法，还包括步骤a)接收对所存储数据的特技播放请求；和b)读取帧内编码分配单元中的数据，以创建所请求的记录数据的特技播放流。
5.按照权利要求1所述的方法，其中帧内编码分配单元中的数据是采用第一编码算法编码的，而帧间编码分配单元中的数据是采用第二编码算法编码的。
6.用于将包括帧内编码图像和帧间编码图像的数据流存储到包括至少一个帧内编码分配单元和至少一个帧间编码分配单元的存储介质上的设备，该设备进一步包括a)接收机，用于接收数据流；b)用于将多个帧内编码图像存储到存储介质上的帧内编码分配单元中的装置；c)用于将多个帧间编码图像存储到存储介质上的帧间编码分配单元中的装置。
7.存储介质，包括a)至少一个帧内编码分配单元，用于存储多个帧内编码图像；和b)至少一个帧间编码分配单元，用于存储多个帧间编码图像。
全文摘要
公开了一种在存储介质上记录数据流的方法和设备，用于提高所记录数据的非线性播放性能。首先，接收数据流。将数据流中的I－图像存储在第一缓冲区中，并且将数据流中剩下的数据存储在第二缓冲区中。每次第一缓冲区装满时，将存储在第一缓冲区中的I－图像写入到存储介质上的帧内编码分配单元中。然后，最好将第二缓冲区的内容写入到随后的帧间编码分配单元上。
文档编号H04N5/783GK1720726SQ200380105178
公开日2006年1月11日 申请日期2003年10月31日 优先权日2002年12月5日
发明者J·P·范加斯塞, D·P·凯利 申请人:皇家飞利浦电子股份有限公司