专利名称：一种视频码流的平滑方法及装置的制作方法
技术领域：
本发明涉及通信领域，尤其涉及一种视频码流的平滑方法及一种视频码流的平滑
直O
背景技术：
通过数字网络进行通信的终端之间进行视频通话时，终端之间需要交互大量的视 频数据包，由于数字网络的带宽有限，发送端需要对原始视频数据进行编码压缩之后再按 照固定的帧频发送到接收端。在视频通信过程中，由于终端之间采用固定的帧频传输视频 数据包，因此，若传输码流太大，则可能导致在网络传输过程中丢包或接收端来不及接收视 频数据包而产生丢包的现象，使得接收端接收到的视频数据包不全而导致接收到的视频的 质量较差；若传输码流太低，则视频数据包的图像压缩比率较大，图像压缩比率较大则视频 帧的失真比较严重，接收端还原出来的图像失真较大，从而导致接收端接收的视频的质量 较差，并且，不能充分利用网络带宽而导致资源利用率较低。目前，为平滑视频码流，在编码器中采用“关键帧”压缩算法，即在发送端，对于关 键帧采用无损编码的方式进行编码，而对于非关键帧(即预测帧)则采用预测编码方式进 行编码，关键帧和非关键帧交替传输，通过对关键帧与非关键帧的不同编码方式来控制视 频码流在一定的范围内，不至于太大或太小；接收端对接收到非关键帧进行解码操作时，需 要参考相邻帧的图像数据。采用上述方式虽然能够在一定程度上平滑视频码流，但是若单 位时间内关键帧发送的数量较大，则可能会导致视频码流较大，还是会存在传输过程中丢 包或者接收端来不及接收而导致丢包的问题，从而使得接收端的视频的质量较差；并且，关 键帧是对全图像进行压缩编码处理，因此，关键帧通常比较大；另外，若相邻的两帧非关键 帧的图像差异较大，由于非关键帧是对当前图像和相邻图像的不同点进行压缩处理，因此， 编码后的非关键帧的数据量比较大。因此，发送端发送的关键帧和/或非关键帧的数据量 都比较大时，则可能会导致视频码流比较大，从而使得接收端接收的视频的质量也较差。为保证接收端接收的视频的质量，目前通过对接收端的视频码流进行控制以平滑 控制视频码流，如提高图像压缩比率或优化视频编码算法，但是提高图像压缩比率会降低 编码后的图像质量，从而可能导致接收端接收到的视频画面中会出现一小段模糊的画面， 需要通过后续的视频帧进行修复而变清晰，因此，采用现有的平滑视频码流的方式会使得 接收端接收的视频质量较差。
发明内容
本发明提供一种视频码流的平滑方法及装置，以提高接收端接收到的视频的质量。一种视频码流的平滑方法，包括编码器接收待编码视频帧；编码器对该待编码视频帧进行编码处理；
编码器在确定传输视频帧的视频码流大于或等于设置的第一视频码流阈值时，降 低发送视频帧的频率。一种视频码流的平滑装置，包括接收模块，用于接收待编码视频帧；编码模块，与所述接收模块相连接，用于对所述接收模块接收到的待编码视频帧 进行编码处理；视频码流控制模块，分别与所述接收模块和所述编码模块相连接，用于在确定传 输视频帧的视频码流大于或等于设置的第一视频码流阈值时，降低发送视频帧的频率。本发明实施例中，编码器在对接收到的待编码视频帧进行编码之后，若确定传输 视频帧的视频码流大于或等于设置的第一视频码流阈值时，通过调整发送视频帧的频率来 降低视频码流，从而将视频码流控制在一定范围内，实现了对视频码流的平滑控制，克服了 现有技术中采用固定的帧频发送视频帧而导致视频码流过高或过低，从而导致接收端接收 到的视频质量较差的问题，采用本发明技术方案，控制发送端以较为平滑的视频码流发送 视频数据，避免由于视频码流过大而导致数据包丢失的问题，从而提高了接收端接收到的 视频的质量。
图1为本发明实施例中平滑视频码流的方法流程图；图2为本发明实施例中平滑视频码流的方法流程图；图3为本发明实施例中视频码流平滑装置的结构示意图。
具体实施例方式针对现有技术存在的上述技术问题，本发明实施例提供一种视频码流的平滑方 法，该方法包括编码器接收待编码视频帧，并对该待编码视频帧进行编码处理；编码器在 确定传输视频帧的视频码流大于或等于设置的第一视频码流阈值时，降低发送视频帧的频 率。采用本发明技术方案，当视频码流大于或等于设置的第一视频码流阈值时，通过调整发 送视频帧的频率来降低视频码流，从而将视频码流控制在一定范围内，实现了对视频码流 的平滑控制，克服了现有技术中采用固定的帧频发送视频帧而导致视频码流过高或过低， 从而导致接收端接收到的视频质量较差的问题，采用本发明技术方案，控制发送端以较为 平滑的视频码流发送视频数据，避免由于视频码流过大而导致数据包丢失的问题，从而提 高了接收端接收到的视频的质量。下面结合说明书附图对本发明技术方案进行详细的描述。参见图1，为本发明实施例中平滑视频码流的方法流程图，该方法包括步骤101、编码器接收待编码视频帧。步骤102、编码器对接收到的待编码视频帧进行编码处理。步骤103、编码器在确定传输视频帧的视频码流大于或等于设置的第一视频码流 阈值时，降低发送视频帧的频率。如丢弃下一帧视频帧。该步骤中，编码器确定传输视频帧的视频码流，具体为根据基准帧频确定出的单 位时间内传输的视频数据的大小，所述单位时间内传输的视频数据的大小即为视频码流。
较佳地，上述流程还包括步骤步骤104、编码器在确定传输视频帧的视频码流小于设置的第二视频码流阈值 (该第二视频码流阈值小于第一视频码流阈值)时，降低对所述待编码视频帧的下一帧视 频帧的图像压缩比率。如可采用无损编码方式对下一帧视频帧进行编码处理。较佳地，上述步骤102还包括，编码器在对待编码视频帧进行编码处理之前，若确 定所述待编码视频帧前一帧视频帧的图像压缩比率大于或等于设置的图像压缩比率阈值 时，降低对接收到的待编码视频帧的图像压缩比率。如采用无损编码方式对接收到的待编 码视频帧进行编码处理。较佳地，上述流程还包括步骤105、编码器判断接收到的待编码视频帧与其前一帧视频帧的相关度小于设 置的相关度阈值时，丢弃该待编码视频帧的下一帧视频帧，以降低传输视频帧的频率，从而 降低视频码流。较佳地，为保证接收端能够正确接收并播放接收到的视频帧，本发明实施例 中，在对该次视频通信需要发送的每帧视频帧的数据包进行RTPOteal-timeTransport Protocol，实时传送协议)封装时，针对每一帧需要发送的视频帧，根据该视频帧的前一帧 发送的视频帧的时间戳，和该视频帧与该前一帧发送的视频帧之间编码器丢弃的视频帧的 数量，确定出该视频帧的时间戳，即可根据以下公式(1)确定需要传输的每一帧视频帧的 时间戳 tk = t^+d/f) XcX (A k+1)式(1)式(1)中，tk为发送第k帧视频帧的时间戳，k为发送第(k_l)帧视频帧的时间 戳，f为接收模块接收视频帧的帧频，c为采样率，A k为发送第(k_l)帧视频帧之后且发送 第k帧视频帧之前发送模块丢弃的视频帧的数量。以一具体的实例对时间戳进行说明如编码器接收视频帧的帧频为25fps，采样 率为90000，编码器在整个视频通信过程中接收了 5个视频帧，编码器对第1视频帧、第2视 频帧、第5视频帧进行了编码，将第3视频帧和第4视频帧丢弃，假设第1视频帧的时间戳 为t，则确定第2视频帧的时间戳为t+(l/25) X 90000 = t+3600，确定第5视频帧的时间戳 为 t+3600+3600+3600+3600 = t+14400。较佳地，为避免在发送端丢弃视频帧的数量较多而导致接收端的视频出现不连续 的问题，本发明实施例中，编码器统计每单位时间内丢弃的视频帧的数量，并在确定单位时 间内丢弃视频帧的数量达到设置的丢帧数量阈值时，则在下一单位时间内，若确定视频码 流大于或等于设置的第一视频码流阈值时或者确定接收到的待编码视频帧与其前一帧视 频帧的相关度低于设置的相关度阈值时，在保证对视频帧的图像压缩比率低于设置的图像 压缩比率阈值时，可适当的提高对待编码视频帧或该待编码视频帧的下一视频帧的图像压 缩比率，以降低视频码流。为更清楚、详细的对本发明技术方案进行描述，下面以一具体的实例对本发明技 术方案进行描述。参见图2，为本发明实施例中平滑视频码流的方法流程图，该方法预先设置有一用 于对每秒发送的视频帧的数量进行统计的帧计算器；并且设置有用于表征是否丢弃下一帧 视频帧的丢帧指示，以使得编码器在接收到下一帧视频帧时，根据丢帧指示确定是否丢弃接收到的待编码帧视频帧，该方法具体包括步骤201、编码器接收待编码的视频帧，帧计算器加一。步骤202、编码器根据丢帧指示确定是否需要丢弃接收到的待编码视频帧，若是则 执行步骤211，若否则执行步骤203。步骤203、编码器对接收到的待编码视频帧进行编码处理。步骤204、编码器确定出当前传输视频帧的视频码流。步骤205、判断当前的视频码流是否大于或等于设置的视频码流阈值，若是则执行 步骤206，否则执行步骤207。步骤206、将丢帧指示值设置为用于表征丢弃帧的取值，如设置为True。步骤207、编码器判断帧计数器的值是否等于设置的基准帧频，该基准帧频的大小 与编码器接收视频帧的帧频相同，若是则执行步骤208，否则执行步骤209。步骤208、将帧计数器清零。步骤209、对需要传输的每一帧视频帧中的数据包进行RTP封装时，编码器针对每 一帧需要发送的视频帧，根据该视频帧的前一帧发送的视频帧的时间戳，和该视频帧与所 述前一帧发送的视频帧之间编码器丢弃的视频帧的数量，确定出该视频帧的时间戳。步骤210、结束流程。步骤211、将丢帧指示设置为用于表征不丢帧的取值，如设置为False。基于上述流程相同的构思，本发明实施例还提供一种视频码流的平滑装置，该装 置的结构如图3所示。参见图3，为本发明实施例中视频码流平滑装置的结构示意图，该装置包括接收模块31，用于接收待编码视频帧； 编码模块32，与接收模块31相连接，用于对接收模块31接收到的待编码视频帧进 行编码处理；视频码流控制模块33，分别与接收模块31和编码模块32相连接，用于在确定传输 视频帧的视频码流大于或等于设置的第一视频码流阈值时，降低发送视频帧的频率。视频码流控制模块33确定传输视频帧的视频码流，具体为根据基准帧频确定出 的单位时间内传输的视频数据的大小，所述单位时间内传输的视频数据的大小即为视频码流。较佳地，视频码流控制模块33进一步用于，在编码模块32对待编码视频帧进行编 码之前，在确定该待编码视频帧的前一帧视频帧的图像压缩比率小于设置的图像压缩比率 阈值时，提高对所述待编码视频帧的图像压缩比率；编码模块32，具体用于，采用视频码流控制模块33提高后的图像压缩比率对所述 待编码视频帧进行编码处理。较佳地，视频码流控制模块33降低发送视频帧的频率，具体用于指示编码模块 32丢弃该待编码视频帧的下一帧视频帧。较佳地，上述装置还包括时间戳确定模块34，与编码模块32相连接，用于根据上式(1)确定需要传输的每 一帧视频帧的时间戳。较佳地，视频码流控制模块33进一步用于，在确定传输视频帧的视频码流小于设置的第二视频码流阈值时，降低对待编码视频帧的下一帧视频帧的图像压缩比率，所述第 二视频码流阈值小于所述第一视频码流阈值。本发明实施例中，一方面，编码器在对接收到的待编码视频帧进行编码之后，若确 定传输视频帧的视频码流大于或等于设置的第一视频码流阈值时，通过调整发送视频帧的 频率来降低视频码流，从而将视频码流控制在一定范围内，实现了对视频码流的平滑控制， 克服了现有技术中采用固定的帧频发送视频帧而导致视频码流过高或过低，从而导致接收 端接收到的视频质量较差的问题，采用本发明技术方案，控制发送端以较为平滑的视频码 流发送视频数据，避免由于视频码流过大而导致数据包丢失的问题，从而提高了接收端接 收到的视频的质量；另一方面，编码器确定传输视频帧的视频码流小于设置的第二视频码 流阈值(该第二视频码流阈值小于第一视频码流阈值)时，降低待编码视频帧的下一帧视 频帧的图像压缩比率，从而提高视频码流，以充分利用宽带资源，并且由于视频帧的图像压 缩比率降低了，从而使得图像失真度较小，提高接收端接收到的视频的质量。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
权利要求
一种视频码流的平滑方法，其特征在于，包括编码器接收待编码视频帧；编码器对该待编码视频帧进行编码处理；编码器在确定传输视频帧的视频码流大于或等于设置的第一视频码流阈值时，降低发送视频帧的频率。
2.如权利要求1所述的方法，其特征在于，所述编码器降低发送视频帧的频率，具体 为丢弃所述待编码视频帧的下一帧视频帧。
3.如权利要求1所述的方法，其特征在于，还包括编码器在确定所述待编码视频帧与其前一帧视频帧的相关度小于设置的相关度阈值 时，丢弃该待编码视频帧的下一帧视频帧。
4.如权利要求1 3任一项所述的方法，其特征在于，还包括编码器统计每单位时间内丢弃的视频帧的数量；编码器确定单位时间内丢弃的视频帧的数量达到设置的丢帧数量阈值时，在下一单位 时间内，若确定出视频码流大于或等于所述第一视频码流阈值或确定接收到的视频帧与其 前一帧视频帧的相关度小于所述相关度阈值时，编码器提高对视频帧的图像压缩比率。
5.如权利要求1 3任一项所述的方法，其特征在于，还包括编码器对所述待编码视频帧进行编码处理之后，编码器在确定发送视频帧的视频码流 小于设置的第二视频码流阈值时，降低对所述待编码视频帧的下一帧视频帧的图像压缩比 率，所述第二视频码流阈值小于所述第一视频码流阈值。
6.一种视频码流的平滑装置，其特征在于，包括接收模块，用于接收待编码视频帧；编码模块，与所述接收模块相连接，用于对所述接收模块接收到的待编码视频帧进行 编码处理；视频码流控制模块，分别与所述接收模块和所述编码模块相连接，用于在确定传输视 频帧的视频码流大于或等于设置的第一视频码流阈值时，降低发送视频帧的频率。
7.如权利要求6所述的装置，其特征在于，视频码流控制模块确定传输视频帧的视频 码流，具体为根据基准帧频确定出的单位时间内传输的视频数据的大小，所述单位时间内 传输的视频数据的大小即为视频码流。
8.如权利要求6所述的装置，其特征在于，所述视频码流控制模块降低发送视频帧的 频率，具体用于指示所述编码模块丢弃所述待编码视频帧的下一帧视频帧。
9.如权利要求6所述的装置，其特征在于，所述视频码流控制模块进一步用于，在确定 出所述待编码视频帧与其前一帧视频帧的相关度小于设置的相关度阈值时，指示所述编码 模块丢弃所述待编码视频帧的下一帧视频帧。
10.如权利要求8或9所述的装置，其特征在于，还包括时间戳确定模块，与所述编码模块相连接，采用下式确定需要传输的每一帧视频帧的 时间戳tk = t^+d/f) XcX (Ak+l)式中，tk为发送第k帧视频帧的时间戳，、―为发送第(k-1)帧视频帧的时间戳，f为 接收模块接收视频帧的帧频，c为采样率，A k为发送第(k_l)帧视频帧之后且发送第k帧视频帧之前编码模块丢弃的视频帧的数量。
11.如权利要求6 9任一项所述的装置，其特征在于，所述视频码流控制模块进一步 用于，在确定发送视频帧的视频码流小于设置的第二视频码流阈值时，降低对所述待编码 视频帧的下一帧视频帧的图像压缩比率，所述第二视频码流阈值小于所述第一视频码流阈值。
全文摘要
本发明公开了一种视频码流的平滑方法及装置，以提高视频质量。该方法包括编码器接收待编码视频帧；编码器对该待编码视频帧进行编码处理；编码器在确定传输视频帧的视频码流大于或等于设置的第一视频码流阈值时，降低发送视频帧的频率。采用本发明技术方案，控制发送端以较为平滑的视频码流发送视频数据，避免由于视频码流过大而导致数据包丢失的问题，从而提高了接收端接收到的视频的质量。
文档编号H04N7/24GK101931799SQ20101028252
公开日2010年12月29日 申请日期2010年9月14日 优先权日2010年9月14日
发明者廖凯, 王东, 贺彬 申请人:中兴通讯股份有限公司