一种视频流解码方法及装置制造方法
【专利摘要】本发明实施例公开了一种视频流解码方法及装置，一种视频流解码方法，包括：检测数字信号处理器DSP缓冲区是否处于不饱和状态，所述DSP缓冲区用于缓存视频帧数据；如果是，则向DSP缓冲区中插入空白帧EOS，直至DSP缓冲区达到饱和状态；对DSP缓冲区内的帧数据进行解码。应用上述技术方案，在DSP缓冲区处于不饱和状态、DSP缓冲区中残留视频流不能被立即解码的情况下，本发明实施例能够采用向DSP缓冲区内插入不影响视频流播放效果的空白帧的方法，使该DSP缓冲区快速达到饱和状态，继而对包含上述残留视频流的帧数据进行解码，实现了在不影响该部分视频流后续播放效果的基础上，对上述残留视频流数据的立即解码。
【专利说明】一种视频流解码方法及装置
【技术领域】
[0001] 本发明涉及流媒体【技术领域】，特别涉及一种视频流解码方法及装置。
【背景技术】
[0002] 为降低网络环境不稳定给视频流解码带来的影响，在对视频流进行解码之前，具 有视频流解码功能的电子设备通常会在本地预先建立视频流缓冲区，比如图1中的H. 264 缓冲区；此外，为合理分配CPU(Central Processing Unit,中央处理器）资源，该电子设备 通常采用DSP (Digital Signal Processor,数字信号处理器）对视频流进行硬解，其中，该 DSP内部有输入缓冲区，为了方便描述，这里将它称作DSP缓冲区。
[0003] 现有技术中，视频解码过程如图1所示，当网络视频流到达该电子设备时，首先缓 存到预先建立的H. 264缓冲区，之后H. 264缓冲区中的视频流缓存到DSP缓冲区，待DSP缓 冲区中充满视频流时，立即将DSP缓冲区中的视频流推送到DSP中的DSP解码器内进行解 码。
[0004] 然而，由于DSP缓冲区中的视频流只能来源于H. 246缓冲区，在网络中的视频流发 生堵塞的情况下，网络视频流不能够持续地缓存到H. 246缓冲区，H. 264缓冲区中的视频流 很快就会被耗尽，而DSP缓冲区仍有可能未被充满，此时，DSP缓冲区中残留的视频流不能 被立即解码，只有等待其他来自H. 264缓冲区中的视频流填满该DSP缓冲区时，这部分残留 的视频流才能够被解码，这就导致DSP缓冲区中残留视频流被延时解码。
【发明内容】
[0005] 为了解决上述问题，本发明实施例公开了一种视频流解码方法及装置，具体技术 方案如下：
[0006] 一种视频流解码方法，包括：
[0007] 检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于 缓存视频帧数据；
[0008] 如果是，则向DSP缓冲区中插入空白帧E0S，直至该DSP缓冲区达到饱和状态；
[0009] 对DSP缓冲区内的帧数据进行解码。
[0010] 优选的，在所述检测数字信号处理器DSP缓冲区是否处于不饱和状态之前，还包 括：
[0011] 检测当前是否有视频流数据缓存到所述DSP缓冲区，如果否，则执行所述检测数 字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述视频流数据为：预先建立的视频 数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器 侧的视频帧数据。
[0012] 优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
[0013] 实时检测DSP缓冲区是否处于不饱和状态；
[0014] 或
[0015] 根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
[0016] 优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
[0017] 检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
[0018] 优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
[0019] 检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且 未被视频帧数据充满。
[0020] 优选的，所述对DSP缓冲区内的帧数据进行解码，包括：
[0021] 对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视 频帧为来源于预先建立的视频流缓冲区的帧数据。
[0022] -种视频流解码装置，包括：
[0023] 第一检测模块，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中， 所述DSP缓冲区用于缓存视频帧数据；
[0024] 空白帧填充模块，用于在所述第一检测模块的检测结果为是的情况下，向DSP缓 冲区中插入空白帧E0S，直至该DSP缓冲区达到饱和状态；
[0025] 解码模块，用于对DSP缓冲区内的帧数据进行解码。
[0026] 优选的，该装置还包括：
[0027] 第二检测模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检 测结果为否的情况下，触发所述第一检测模块进行工作，其中，所述视频流数据为：预先建 立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网 络服务器侧的视频帧数据。
[0028] 优选的，所述第一检测模块，具体用于：
[0029] 实时检测DSP缓冲区是否处于不饱和状态；
[0030] 或
[0031] 根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
[0032] 优选的，所述第一检测模块，具体用于：
[0033] 检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
[0034] 优选的，所述第一检测模块，具体用于：
[0035] 检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且 未被视频帧数据充满。
[0036] 优选的，所述解码模块，具体用于：
[0037] 对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视 频帧为来源于预先建立的视频流缓冲区的帧数据。
[0038] 本发明实施例通过引入覆盖在待播放视频帧上但不会影响该待播放视频帧展示 效果的空白帧，及将该类型空白帧插入到DSP缓冲区的技术，从而实现在DSP缓冲区处于 不饱和状态的情况下，立即对DSP缓冲区中的残留视频流进行解码，具体实现步骤如下：在 DSP缓存区处于不饱和状态情况下，能够向该DSP缓冲区插入空白帧，直至该DSP缓冲区达 到饱和状态；对DSP缓冲区内的帧数据进行解码。
[0039] 与现有技术相比，在DSP缓冲区处于不饱和状态、DSP缓冲区中残留视频流不能被 立即解码的情况下，本发明实施例能够采用向DSP缓冲区内插入不影响视频流播放效果 的空白帧的方法，使该DSP缓冲区快速达到饱和状态，继而对包含上述残留视频流的帧数 据进行解码，实现了在不影响该部分视频流后续播放效果的基础上，对上述残留视频流数 据的立即解码。
【专利附图】
【附图说明】
[0040] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0041] 图1为现有技术中视频流解码方法的示例性流程图；
[0042] 图2a为本发明实施例提供的一种视频流解码方法的流程图；
[0043] 图2b为本发明实施例提供的一种视频流解码方法的示例性流程图；
[0044] 图3为本发明实施例提供的另一种视频流解码方法的流程图；
[0045] 图4为本发明实施例提供的一种视频流解码装置的结构示意图；
[0046] 图5为本发明实施例提供的另一种视频流解码装置的结构示意图。
【具体实施方式】
[0047] 为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施 例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例 仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。
[0048] 随着网络多媒体技术的快速发展，多元化的网络多媒体文件不断丰富人们视觉和 听觉感受；流媒体（比如视频流、音频流等）的出现，使得用户不必像非流式播放方式那样， 待整个多媒体文件完全下载到播放设备本地后才能观看其中的内容；而只需经过几秒或几 十秒的传输延迟即可在播放设备上对其进行解码及播放，它为用户带来了新的视听体验。 [0049] 作为视频的一种存在形式，视频流在该视频文件的网络传输、播放设备的解码及 播放方面有着重要的作用。为了便于理解，现对视频流的播放过程进行简要说明：在接收 到网络服务器侧发送的视频流后，播放设备首先将该视频流缓存到预先建立的视频流缓冲 区（比如图1中的H. 264缓冲区），之后再将该视频流缓存到DSP缓冲区，继而对该网络侧 视频流进行解码及播放，为了能够对DSP缓冲区中缓存的网络服务器侧视频流进行实时播 放，本发明实施例提供了一种视频流解码方法及装置。
[0050] 下面首先对本发明实施例提供的一种视频流解码方法进行介绍。
[0051] 需要说明的是，本发明实施例方法适用于电子设备中，在实际应用中，该电子设备 可以为笔记本电脑、台式电脑、平板电脑，及智能手机等等，本发明实施例对此不作限定；
[0052] 此外，由于目前市场上主流的视频编码方式为H. 264,而H. 264的四种画质级别 BP (Baseline Profile，基本画质）、EP (Extended Profile，进阶画质）、MP (Main Profile，主流 画质）、HP (High Profile，高级画质）中BP最为基础，全文将着重以Η· 264中的BP视频流 为例对本发明实施例方法进行介绍。
[0053] 如图2a所示，一种视频流解码方法，可以包括：
[0054] S201，检测数字信号处理器DSP缓冲区是否处于不饱和状态；如果是，转到S202。
[0055] 通常情况下，DSP (Digital Signal Processor,数字信号处理器）内包含输入缓冲 区和输出缓冲区，为了便于描述，在本发明实施例中，将数字信号处理器的输入缓冲区简称 为DSP缓冲区，它的主要作用是对进入DSP的视频帧数据进行暂时缓存。
[0056] 为了能够在网络不稳定的情况（比如网络不稳导致网络服务器侧的H. 264视频流 会瞬间涌入播放设备）下正常工作，通常会预先在视频播放设备的驱动或硬件中开辟一块 视频流缓冲区，来暂时缓存来自网络服务器侧的H. 264视频流数据，为了便于描述，在本发 明实施例中，将开辟的视频流缓冲区简称为H. 264缓冲区，如图2b所示。
[0057] 可以理解的是，开辟的缓冲区越小，视频流到达DSP缓冲区的延时就越小，该视频 流的播放延时也就越小，但可能导致播放不平滑；开辟的缓冲区越大，播放则越平滑，但视 频流到达DSP缓冲区的延时就越长。
[0058] 在本发明实施例中，如图2b所示，网络服务器侧的H. 264视频流首先缓存到H. 264 缓冲区中，H. 264缓冲区内的视频流缓存到DSP缓冲区中，检测DSP缓冲区处于不饱和状态 可以理解为检测DSP缓冲区是否未被来自H. 264缓冲区内的视频帧充满。
[0059] 可选的，在本发明的一个实施方式中，可以实时检测DSP缓冲区是否处于不饱和 状态。
[0060] 可选的，在本发明的另一个实施方式中，可以根据预设的检测周期，周期性地检测 DSP缓冲区是否处于不饱和状态；比如每隔Is对DSP的缓冲区进行一次检测。
[0061] 需要说明的是，本发明中的预设的检测周期可以为播放设备系统默认的检测周 期，或用户根据实际需求自行设定的检测周期，本发明实施例对此不作限定。
[0062] S202,向DSP缓存区中插入空白帧E0S，直至该DSP缓冲区达到饱和状态。
[0063] 本发明实施例中的空白帧可以理解为透明帧，覆盖在具有实际画面内容的视频帧 上不会对该视频帧的播放效果产生影响，在H. 264编码方式中，该空白帧也被叫做E0S帧。
[0064] 前面已经提到，只有当DSP缓冲区被充满时，DSP解码器才能够对该处于饱和状态 的DSP缓冲区的视频帧进行解码；在本发明实施例中，当由于网络阻塞等原因致使DSP缓 冲区处于不饱和状态时，可以向该处于未饱和状态的DSP缓冲区内插入空白帧（如图2b所 示），以使该DSP缓冲区迅速达到饱和状态。
[0065] 需要说明的是，当DSP缓冲区处于饱和状态时，本发明实施例方法不会继续向该 DPS缓冲区中插入空白帧，以避免因 DSP缓冲区中帧数据过满而导致的丢帧问题。
[0066] S203,对DSP缓冲区内的帧数据进行解码。
[0067] 在DSP缓冲区达到饱和状态时，可以迫使该DSP缓冲区的包含空白帧在内的帧数 据全部溢出，从而实现对该DSP缓冲区内残留的帧数据进行解码。
[0068] 应用上述技术方案，本发明实施例通过引入覆盖在待播放视频帧上但不会影响该 待播放视频帧展示效果的空白帧，及将该类型空白帧插入到DSP缓冲区的技术，从而实现 在DSP缓冲区处于不饱和状态的情况下，立即对DSP缓冲区中的残留视频流进行解码，具体 实现步骤如下：在DSP缓存区处于不饱和状态情况下，能够向该DSP缓冲区插入空白帧，直 至该DSP缓冲区达到饱和状态；对DSP缓冲区内的帧数据进行解码。
[0069] 与现有技术相比，在DSP缓冲区处于不饱和状态、DSP缓冲区中残留视频流不能被 立即解码的情况下，本发明实施例能够采用向DSP缓冲区内插入不影响视频流播放效果的 空白帧的方法，使该DSP缓冲区快速达到饱和状态，继而对包含上述残留视频流的帧数据 进行解码，实现了在不影响该部分视频流后续播放效果的基础上，对上述残留视频流数据 的立即解码。
[0070] 可选的，在本发明的一个实施例中，上述S201，可以包括：
[0071] 检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
[0072] 可以理解的是，如图2b所示，正常情况下，H. 264缓冲区中的H. 264视频流缓存到 DSP缓冲区只需极短的时间；有时，网络会出现暂时阻塞的问题，但很快会恢复正常，此时 DSP缓冲区可能会短暂的处于不饱和状态，很快又会达到饱和状态，且不会对后续的播放效 果产生较大的影响。
[0073] 基于上述情况，在本发明实施例中，可以设置一个不影响整体观看效果的时长阈 值，如果DSP缓冲区处于不饱和状态的时长超过时长阈值，则向该DSP缓冲区内插入空白 帧，使该DSP缓冲区迅速达到饱和状态；如果DSP缓冲区处于不饱和状态的时长不超过时长 阈值（比如上述情况），则可以不向该DSP缓冲区内插入空白帧。
[0074] 可选的，在本发明的一个实施例中，上述S201，可以包括：
[0075] 检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且 未被视频帧数据充满。
[0076] 可选的，在本发明的一个实施例中，上述S203,可以包括：
[0077] 对DSP缓冲区内的携带有网络标识的视频帧数据进行解码；其中，所述携带有网 络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。
[0078] 可以理解的是，网络服务器侧发送的视频帧数据都携带有时间戳等网络标识，本 发明实施例中的携带有网络标识的视频帧数据可以理解为网络服务器侧发送到播放设备 中的视频帧数据，由于网络服务器侧发送的帧数据首先缓存到H. 264缓冲区中，故也可以 理解为来源于预先建立的H. 264缓冲区的视频帧数据。
[0079] 在本发明实施例中，可以只对包含实质内容的视频帧进行解码，从而维持了该视 频帧的原始展示效果。
[0080] 可选的，在本发明的另一个实施例中，如图3所示，在上述S201之前，还可以包 括：
[0081] S200,检测当前是否有视频流数据缓存到所述DSP缓存区。
[0082] 在本发明实施例中，在检测DSP缓冲区是否处于不饱和状态之前，可以通过检测 当前是否有视频流数据缓存到该DSP缓冲区，来确定是否需要检测DSP缓冲区是否处于不 饱和状态；如果检测到当前没有视频流数据缓存到该DSP缓冲区，则可以确定当前网络阻 塞较严重，如果此时该DSP缓冲区中残留部分视频流数据，则可以向该DSP缓冲区插入空白 帧，以达到将上述残留视频流数据尽快进行解码的目的。
[0083] 相应于上面的方法实施例，本发明实施例还提供了一种视频流解码装置。
[0084] 如图4所示，一种视频流解码装置，可以包括：
[0085] 第一检测模块401，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其 中，所述DSP缓冲区用于缓存视频帧数据；
[0086] 空白帧填充模块402,用于在所述第一检测模块401的检测结果为是的情况下，向 DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态；
[0087] 解码模块403,用于对DSP缓冲区内的帧数据进行解码。
[0088] 可选的，在本发明一个实施方式中，所述第一检测模块401，可以用于实时检测 DSP缓冲区是否处于不饱和状态。
[0089] 可选的，在本发明的另一个实施方式中，所述第一检测模块401，可以用于根据预 设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
[0090] 可选的，在本发明的一个实施方式中，所述第一检测模块401，可以用于检测DSP 缓冲区处于不饱和状态的时长是否超过预设的阈值。
[0091] 可选的，在本发明的一个实施例中，所述第一检测模块401，可以用于检测DSP缓 冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充
[0092] 在本发明的一个实施例中，所述推送模块403,具体用于：
[0093] 对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视 频帧为来源于预先建立的视频流缓冲区的帧数据。
[0094] 可选的，在本发明的另一个实施例中，如图5所示，该装置还包括：
[0095] 第二检测模块400,用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在 检测结果为否的情况下，触发所述第一检测模块进行工作，其中，所述视频流数据为：预先 建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于 网络服务器侧的视频帧数据。
[0096] 对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关 之处参见方法实施例的部分说明即可。
[0097] 为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本 发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0098] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存 在任何这种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要 素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除 在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0099] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部 分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实 施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例 的部分说明即可。
[0100] 本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中， 这里所称得的存储介质，如：R0M/RAM、磁碟、光盘等。
[0101] 以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在 本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围
【权利要求】
1. 一种视频流解码方法，其特征在于，该方法包括： 检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于缓存 视频帧数据； 如果是，则向DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态； 对DSP缓冲区内的帧数据进行解码。
2. 根据权利要求1所述的方法，其特征在于，在所述检测数字信号处理器DSP缓冲区是 否处于不饱和状态之前，还包括： 检测当前是否有视频流数据缓存到所述DSP缓冲区，如果否，则执行所述检测数字信 号处理器DSP缓冲区是否处于不饱和状态，其中，所述视频流数据为：预先建立的视频数据 缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的 视频帧数据。
3. 根据权利要求1所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否 处于不饱和状态，包括： 实时检测DSP缓冲区是否处于不饱和状态； 或 根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
4. 根据权利要求1所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否 处于不饱和状态，包括： 检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
5. 根据权利要求1所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否 处于不饱和状态，包括： 检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被 视频帧数据充满。
6. 根据权利要求5所述的方法，其特征在于，所述对DSP缓冲区内的帧数据进行解码， 包括： 对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧 为来源于预先建立的视频流缓冲区的帧数据。
7. -种视频流解码装置，其特征在于，该装置包括： 第一检测模块，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述 DSP缓冲区用于缓存视频帧数据； 空白帧填充模块，用于在所述第一检测模块的检测结果为是的情况下，向DSP缓冲区 中插入空白帧EOS，直至该DSP缓冲区达到饱和状态； 解码模块，用于对DSP缓冲区内的帧数据进行解码。
8. 根据权利要求7所述的装置，其特征在于，该装置还包括： 第二检测模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检测结 果为否的情况下，触发所述第一检测模块进行工作，其中，所述视频流数据为：预先建立的 视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服 务器侧的视频帧数据。
9. 根据权利要求7所述的装置，其特征在于，所述第一检测模块，具体用于： 实时检测DSP缓冲区是否处于不饱和状态； 或 根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
10. 根据权利要求7所述的装置，其特征在于，所述第一检测模块，具体用于： 检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
11. 根据权利要求7所述的装置，其特征在于，所述第一检测模块，具体用于： 检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被 视频帧数据充满。
12. 根据权利要求11所述的装置，其特征在于，所述解码模块，具体用于： 对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧 为来源于预先建立的视频流缓冲区的帧数据。
【文档编号】H04N21/433GK104113778SQ201410377484
【公开日】2014年10月22日 申请日期:2014年8月1日 优先权日:2014年8月1日
【发明者】邝锐强 申请人:广州金山网络科技有限公司