专利名称：网络视频快进退平稳播放的方法和装置的制作方法
技术领域：
本发明涉及网络视频播放领域，更具体地说，涉及一种网络视频快进退平稳播放 的方法和装置。
背景技术：
在网络环境下，视频快进退播放时都无法做到平稳、流畅播放。现有的实现快进退 的方法都是提取原始视频中的完整的I帧组成新的视频流，我们将原始视频流定义为A流， I帧视频流定义为B流，在正常速度播放时播放A流，快进退时播放B流。现有的从A流中提取完整的I帧形成B流的方式有明显的缺点由于每个I帧的 数据量大小差异非常大，以一个3Mb的MPEG-2TS流为例，复杂的I帧可以达到160KB以上， 而简单的I帧只有20K-30KB，这样网络传输每个I帧的时间不一样，各个I帧的DTS (解码 时间戳 decoding Time Mamp)和PTS(显示时间戳 presentation Time Mamp)间隔不一 致，在终端缓存大小、解码时间、显示时间间隔等都是不等长的，I帧流示意图如图1所示。 具体的表现就是在网络视频快进退播放时，简单的I帧画面会很快显示而复杂的I帧需要 较长的时间才能显示出来，给用户的感觉就是一会儿快，一会儿慢，很不流畅。
发明内容
本发明要解决的技术问题在于，针对现有技术的网络视频快进退播放时无法做到 平稳、流畅播放的缺陷，提供一种通过对I帧进行重新编码实现网络视频快进退播放时做 到平稳、流畅播放的网络视频快进退平稳播放的方法和装置。本发明解决其技术问题所采用的技术方案是构造网络视频快进退平稳播放的方 法，其中包括步骤si、根据网络视频快进退播放要求抽取I帧；S2、将抽取的I帧的数据 量与基准值进行比较，得到比较结果；S3、根据所述比较结果对所述抽取的I帧进行平滑处 理；S4、对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流。在本发明所述的网络视频快进退平稳播放的方法中，所述步骤S3包括当所述比 较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I帧进 行压缩处理使所述抽取的I帧的数据量与所述基准值之差小于误差值；当所述比较结果为 所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填充处 理使所述基准值与所述抽取的I帧的数据量之差小于误差值；否则直接使用所述抽取的I 帧。在本发明所述的网络视频快进退平稳播放的方法中，所述压缩处理方法包括最邻 近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾 部添加无效字符字节。在本发明所述的网络视频快进退平稳播放的方法中，所述步骤S 1之前包括步 骤so、根据原始视频流的质量和网络传输环境确定所述基准值；根据客户对网络视频快 进退播放的平稳要求确定所述误差值。
4
在本发明所述的网络视频快进退平稳播放的方法中，所述步骤S 1包括S11、根 据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时 间；S12、抽取最邻近所述理论抽取时间的相应的I帧。本发明还构造一种网络视频快进退平稳播放的装置，其中包括抽取模块用于 根据网络视频快进退播放要求抽取I帧；比较模块用于将抽取的I帧的数据量与基准值 进行比较，得到比较结果；平滑处理模块用于根据所述比较结果对所述抽取的I帧进行平 滑处理；以及组合模块用于对平滑处理后的I帧进行组合，形成网络视频快进退播放的I 帧视频流。在本发明所述的网络视频快进退平稳播放的装置中，所述平滑处理模块包括压缩 单元用于当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时， 对所述抽取的I帧进行压缩使所述抽取的I帧的数据量与所述基准值之差小于误差值；填 充单元用于当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值 时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误 差值；以及跳过单元用于当比较结果为其他情况时，直接使用所述抽取的I帧。在本发明所述的网络视频快进退平稳播放的装置中，所述压缩处理方法包括最邻 近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的I帧的尾 部添加无效字符字节。在本发明所述的网络视频快进退平稳播放的装置中，所述网络视频快进退平稳播 放的装置还包括基准设定模块用于根据原始视频流的质量和网络传输环境确定所述基 准值；以及误差设定模块用于根据客户对网络视频快进退播放的平稳要求确定所述误差值。在本发明所述的网络视频快进退平稳播放的装置中，所述抽取模块包括计算单 元用于根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理 论抽取时间；以及临近抽取单元用于抽取最邻近所述理论抽取时间的相应的I帧。实施本发明的网络视频快进退平稳播放的方法和装置，具有以下有益效果通过 对I帧进行重新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基本一致，因 此在网络传输、终端缓存、解码、显示所花的时间能保持一致，用户的体验效果就会非常平 滑，实现网络视频快进退播放时做到平稳、流畅播放。对I帧的重新编码方法使得I帧的数据量保持在基准值附近。多种压缩处理和填 充处理方法供用户选择。可根据实际需要设定基准值和误差值。通过抽取最邻近理论抽取 时间的I帧使得不会由于I帧本身的时间间隔不一造成网络视频快进退的不平稳播放。
下面将结合附图及实施例对本发明作进一步说明，附图中图1是现有技术的传统I帧流示意图；图2是采用本发明网络视频快进退平稳播放的方法的I帧流示意图；图3是本发明的网络视频快进退平稳播放的方法的第一优选实施例的流程图；图4是本发明的网络视频快进退平稳播放的方法的第二优选实施例的流程图；图5是本发明的网络视频快进退平稳播放的方法的第三优选实施例的流程图6是本发明的网络视频快进退平稳播放的装置的第一优选实施例的结构示意 图；图7是本发明的网络视频快进退平稳播放的装置的第二优选实施例的结构示意 图；图8是本发明的网络视频快进退平稳播放的装置的第三优选实施例的结构示意 图；图9是本发明的网络视频快进退平稳播放的装置的第四优选实施例的结构示意 图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。如图3所示，在本发明的网络视频快进退平稳播放的方法的第一优选实施例的流 程图中，所述网络视频快进退平稳播放的方法开始于步骤300 ；步骤300之后进行到步骤 301，根据网络视频快进退播放要求抽取I帧；随后，到下一步骤302，将抽取的I帧的数据 量与基准值进行比较，得到比较结果；随后，到下一步骤303，根据所述比较结果对所述抽 取的I帧进行平滑处理；随后，到下一步骤304，对平滑处理后的I帧进行组合，形成网络视 频快进退播放的I帧视频流；最后该方法结束于步骤305。采用本网络视频快进退平稳播 放的方法时，首先根据网络视频的快进退播放要求即根据网络视频播放的速率和时间决定 抽取的I帧的位置和数量，抽取I帧之后和预先设定的基准值极性比较，得出抽取的I帧数 据量过大、过小或者合适的比较结果，根据上述比较结果对I帧进行数据处理，使所有抽取 的I帧的数据量都在基准值附近以达到播放平滑的效果，最后对平滑处理后的I帧进行组 合，形成用户需要得到的可平滑快进退播放的网络视频的I帧视频流。通过对I帧进行重 新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基本一致，因此在网络传 输、终端缓存、解码、显示所花的时间能保持一致，用户的体验效果就会非常平滑，实现网络 视频快进退播放时做到平稳、流畅播放。如图4所示，在本发明的网络视频快进退平稳播放的方法的第二优选实施例的流 程图中，所述网络视频快进退平稳播放的方法开始于步骤400;步骤400之后进行到步骤 401，根据原始视频流的质量和网络传输环境确定所述基准值；根据客户对网络视频快进退 播放的平稳要求确定所述误差值；随后，到下一步骤402，根据网络视频快进退播放要求抽 取I帧；随后，到下一步骤403，将抽取的I帧的数据量与基准值进行比较，得到比较结果； 随后，到下一步骤404，根据所述比较结果对所述抽取的I帧进行平滑处理；随后，到下一步 骤405，对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流；最后该方 法结束于步骤406。基准值的提前设定，使得可以根据原始视频流的质量和网络传输环境决 定基准值，例如对于3Mb的MPEG-2TS流，在网络传输环境好的情况下I帧的基准值设定为 70KB，如网络传输环境比较差的情况下I帧的基准设定可为50KB或者更低；在网络传输环 境好的情况下可以根据原始视频流的质量设当提高基准值，使得画面质量更好。误差值的 提前设定，使得可以根据客户对网络视频快进退播放的平稳要求决定误差值，如用户对网络视频快进退播放的平稳要求高，则将误差值设的小一点，如用户对网络视频快进退播放 的平稳要求不太高，则将误差值设的大一点，使尽可能多的I帧不需要重新编码而直接使 用，减少了运算的复杂度，同时又不会影响用户的体验。如图5所示，在本发明的网络视频快进退平稳播放的方法的第三优选实施例的 流程图中，所述网络视频快进退平稳播放的方法开始于步骤500 ；步骤500之后进行到步 骤501，根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理 论抽取时间；随后，到下一步骤502，抽取最邻近所述理论抽取时间的相应的I帧；随后，到 下一步骤503，将抽取的I帧的数据量与基准值进行比较，得到比较结果；随后，到下一步 骤504，根据所述比较结果对所述抽取的I帧进行平滑处理；随后，到下一步骤505，对平滑 处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流；最后该方法结束于步骤 506。由于I帧本身的时间间隔不一，因此在抽取之前要根据I帧的抽取量设置统一的抽取 I帧的时间间隔，从而计算每个I帧的理论抽取时间，相邻两个I帧之间的时间间隔应该是 相等的；如理论抽取时间上没有I帧，则抽取最邻近该理论抽取时间的相应的I帧，保证抽 取的I帧本身的时间间隔基本相同。这样通过抽取最邻近理论抽取时间的I帧使得不会由 于I帧本身的时间间隔不一造成网络视频快进退的不平稳播放。作为本发明的网络视频快进退平稳播放的方法的优选实施例，步骤S3包括当所 述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述抽取的I 帧进行压缩处理使所述抽取的I帧的数据量与所述基准值之差小于误差值；当所述比较结 果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述抽取的I帧进行填 充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；否则直接使用所述抽取 的I帧。通过抽取的I帧的数据量和基准值的差的比较后再编码，使得所有的I帧的数据 量与基准值的差都在误差值的范围内。这种做法可以根据用户需要改变抽取的I帧的重新 编码量，在用户允许的范围内尽可能减少重新编码的I帧，减少运算的复杂度，同时又可保 证用户感觉网络视频可平稳的进行快进退播放。作为本发明的网络视频快进退平稳播放的方法的优选实施例，所述压缩处理方法 包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的 I帧的尾部添加无效字符字节。对于数据量较大的I帧，通过最邻近插值法、双线性内插值 法或三次卷积法等差值算法进行压缩处理可以很好的对抽取的I帧进行压缩而尽可能减 小对图像质量的损伤。对于数据量较小的I帧，通过在抽取的I帧的尾部添加无效字符字 节，如“0”或“ 1”等使之数据量填充到基准值附近而对图像质量没有任何影响。本发明还构造一种网络视频快进退平稳播放的装置，如图6所示，在本发明的网 络视频快进退平稳播放的装置的第一优选实施例的结构示意图中，所述网络视频快进退平 稳播放的装置包括抽取模块1、比较模块2、平滑处理模块3以及组合模块4。抽取模块1用 于根据网络视频快进退播放要求抽取I帧；比较模块2用于将抽取的I帧的数据量与基准 值进行比较，得到比较结果；平滑处理模块3用于根据所述比较结果对所述抽取的I帧进行 平滑处理；组合模块4用于对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧 视频流。采用本网络视频快进退平稳播放的装置，首先抽取模块1根据网络视频的快进退 播放要求即根据网络视频播放的速率和时间决定抽取的I帧的位置和数量，抽取I帧之后 比较模块2将抽取的I帧的数据量和预先设定的基准值极性比较，得出抽取的I帧数据量过大、过小或者合适的比较结果，平滑处理模块3根据上述比较结果对I帧进行数据处理， 使所有抽取的I帧的数据量都在基准值附近以达到播放平滑的效果，最后组合模块4对平 滑处理后的I帧进行组合，形成用户需要得到的可平滑快进退播放的网络视频的I帧视频 流。通过对I帧进行重新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基 本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，用户的体验效果就 会非常平滑，实现网络视频快进退播放时做到平稳、流畅播放。如图7所示，在本发明的网络视频快进退平稳播放的装置的第二优选实施例的结 构示意图中，平滑处理模块3包括压缩单元31、填充单元32以及跳过单元33，压缩单元31 用于当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述 抽取的I帧进行压缩使所述抽取的I帧的数据量与所述基准值之差小于误差值；填充单元 32用于当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所 述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；跳 过单元33用于当比较结果为其他情况时，直接使用所述抽取的I帧。通过抽取的I帧的数 据量和基准值的差的比较后再编码(即压缩处理、填充处理或跳过)，使得所有的I帧的数 据量与基准值的差都在误差值的范围内。这种做法可以根据用户需要改变抽取的I帧的重 新编码量，在用户允许的范围内尽可能减少重新编码的I帧，减少运算的复杂度，同时又可 保证用户感觉网络视频可平稳的进行快进退播放。如图8所示，在本发明的网络视频快进退平稳播放的装置的第三优选实施例的结 构示意图中，所述网络视频快进退平稳播放的装置还包括基准设定模块5和误差设定模块 6，基准设定模块5用于根据原始视频流的质量和网络传输环境确定所述基准值；误差设定 模块6用于根据客户对网络视频快进退播放的平稳要求确定所述误差值。基准设定模块5 实现基准值的提前设定，使得可以根据原始视频流的质量和网络传输环境决定基准值，例 如对于3Mb的MPEG-2TS流，在网络传输环境好的情况下I帧的基准值设定为70KB，如网络 传输环境比较差的情况下I帧的基准设定可为50KB或者更低；在网络传输环境好的情况下 可以根据原始视频流的质量设当提高基准值，使得画面质量更好。误差设定模块6实现误 差值的提前设定，使得可以根据客户对网络视频快进退播放的平稳要求决定误差值，如用 户对网络视频快进退播放的平稳要求高，则将误差值设的小一点，如用户对网络视频快进 退播放的平稳要求不太高，则将误差值设的大一点，使尽可能多的I帧不需要重新编码而 直接使用，减少了运算的复杂度，同时又不会影响用户的体验。如图9所示，在本发明的网络视频快进退平稳播放的装置的第四优选实施例的结 构示意图中，抽取模块1包括计算单元11和临近抽取单元12，计算单元11用于根据网络视 频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的理论抽取时间，临近抽 取单元12用于抽取最邻近所述理论抽取时间的相应的I帧。由于I帧本身的时间间隔不 一，因此在抽取之前计算单元11要根据I帧的抽取量设置统一的抽取I帧的时间间隔，从 而计算临近抽取单元12抽取每个I帧的理论抽取时间，相邻两个I帧之间的时间间隔应该 是相等的；如理论抽取时间上没有I帧，则临近抽取单元12抽取最邻近该理论抽取时间的 相应的I帧，保证抽取的I帧本身的时间间隔基本相同。这样通过抽取最邻近理论抽取时 间的I帧使得不会由于I帧本身的时间间隔不一造成网络视频快进退的不平稳播放。作为本发明的网络视频快进退平稳播放的装置的优选实施例，所述压缩处理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述抽取的 I帧的尾部添加无效字符字节。对于数据量较大的I帧，通过最邻近插值法、双线性内插值 法或三次卷积法等差值算法进行压缩处理可以很好的对抽取的I帧进行压缩而尽可能减 小对图像质量的损伤。对于数据量较小的I帧，通过在抽取的I帧的尾部添加无效字符字 节，如“0”或“1”等使之数据量填充到基准值附近而对图像质量没有任何影响。如图1、2所示，图1为没有采用本发明的网络视频快进退平稳播放的方法和装置 的网络视频快进退的I帧流示意图，从图中可以看出网络传输每个I帧的时间都不一样，各 个I帧的DTS和PTS间隔不一致，在终端缓存大小、解码时间、显示时间间隔等都是不等长 的，这样的I帧流的网络视频快进退时就会由于解码数据量的不一造成无法平稳流畅的播 放。图2为采用了本发明的网络视频快进退平稳播放的方法和装置的网络视频快进退的I 帧流示意图，经过重新编码后的I帧数据流，I帧的数据量大小基本一致，I帧的DTS、PTS间 隔也基本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，用户的体验 效果就会非常平滑，实现网络视频快进退播放时做到平稳、流畅播放。以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均 同理包括在本发明的专利保护范围内。
权利要求
1.一种网络视频快进退平稳播放的方法，其特征在于包括步骤51、根据网络视频快进退播放要求抽取I帧；52、将抽取的I帧的数据量与基准值进行比较，得到比较结果；53、根据所述比较结果对所述抽取的I帧进行平滑处理；54、对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流。
2.根据权利要求1所述的网络视频快进退平稳播放的方法，其特征在于所述步骤S3 包括当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大于误差值时，对所述 抽取的I帧进行压缩处理使所述抽取的I帧的数据量与所述基准值之差小于误差值；当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大于误差值时，对所述 抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之差小于误差值；否则直接使用所述抽取的I帧。
3.根据权利要求2所述的网络视频快进退平稳播放的方法，其特征在于所述压缩处 理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述 抽取的I帧的尾部添加无效字符字节。
4.根据权利要求1所述的网络视频快进退平稳播放的方法，其特征在于所述步骤Sl 之前包括步骤SO、根据原始视频流的质量和网络传输环境确定所述基准值；根据客户对网络视频快 进退播放的平稳要求确定所述误差值。
5.根据权利要求1所述的网络视频快进退平稳播放的方法，其特征在于所述步骤Sl 包括511、根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔，得到每个I帧的 理论抽取时间；512、抽取最邻近所述理论抽取时间的相应的I帧。
6.一种网络视频快进退平稳播放的装置，其特征在于，包括抽取模块(1)用于根据网络视频快进退播放要求抽取I帧；比较模块O)用于将抽取的I帧的数据量与基准值进行比较，得到比较结果；平滑处理模块(3)用于根据所述比较结果对所述抽取的I帧进行平滑处理；以及组合模块用于对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视 频流。
7.根据权利要求6所述的网络视频快进退平稳播放的装置，其特征在于，所述平滑处 理模块⑶包括压缩单元(31)用于当所述比较结果为所述抽取的I帧的数据量与所述基准值之差大 于误差值时，对所述抽取的I帧进行压缩使所述抽取的I帧的数据量与所述基准值之差小于误差值；填充单元(3 用于当所述比较结果为所述基准值与所述抽取的I帧的数据量之差大 于误差值时，对所述抽取的I帧进行填充处理使所述基准值与所述抽取的I帧的数据量之 差小于误差值；以及跳过单元(3 用于当比较结果为其他情况时，直接使用所述抽取的I帧。
8.根据权利要求7所述的网络视频快进退平稳播放的装置，其特征在于，所述压缩处 理方法包括最邻近插值法、双线性内插值法或三次卷积法；所述填充处理方法包括在所述 抽取的I帧的尾部添加无效字符字节。
9.根据权利要求6所述的网络视频快进退平稳播放的装置，其特征在于，所述网络视 频快进退平稳播放的装置还包括基准设定模块(5)用于根据原始视频流的质量和网络传输环境确定所述基准值；以及误差设定模块(6)用于根据客户对网络视频快进退播放的平稳要求确定所述误差值。
10.根据权利要求6所述的网络视频快进退平稳播放的装置，其特征在于，所述抽取模 块⑴包括计算单元(11)用于根据网络视频快进退播放要求设置统一的相邻I帧的时间间隔， 得到每个I帧的理论抽取时间；以及临近抽取单元(1 用于抽取最邻近所述理论抽取时间的相应的I帧。
全文摘要
本发明涉及一种网络视频快进退平稳播放的方法，其中包括步骤根据原始视频流的质量和网络传输环境确定所述基准值；根据客户对网络视频快进退播放的平稳要求确定所述误差值；根据网络视频快进退播放要求抽取I帧；将抽取的I帧的数据量与基准值进行比较，得到比较结果；根据比较结果对所述抽取的I帧进行平滑处理；对平滑处理后的I帧进行组合，形成网络视频快进退播放的I帧视频流。本发明还涉及一种网络视频快进退平稳播放的装置，本发明通过对I帧进行重新编码使得I帧的字节数大小基本一致，I帧的DTS、PTS间隔也基本一致，因此在网络传输、终端缓存、解码、显示所花的时间能保持一致，实现网络视频快进退播放时做到平稳、流畅播放。
文档编号H04L29/12GK102075739SQ20101028232
公开日2011年5月25日 申请日期2010年9月15日 优先权日2010年9月15日
发明者李斌斌 申请人:深圳市九洲电器有限公司