专利名称：一种在低带宽中场景切换视频图像的编码方法和装置的制作方法
技术领域：
本发明涉及图像编码技术，特别是涉及一种在低带宽中场景切换视频图像的编码 方法和装置。
背景技术：
低带宽下，如果对视频图像编码保持较高的压缩率，在瞬间发生场景切换或其它 复杂情况时，其图像预测误差将上升，并且随着误差的扩散，视频图像的质量会明显下降。 相反，如果在静态场景或低复杂度情况下，视频图像质量则相对较高。比如视频会议中， 分配给视频编码器的带宽一般比较低。如果视频图像的内容是给各参会人员讲解的幻灯 (PPT)，那么在幻灯页面不变的静止状态时，视频图像质量比较清晰，但在幻灯翻页这一场 景切换时，其图像质量将变得模糊，用户体验不佳。现有技术中，INTRA宏块刷新技术可以避免上述缺陷，防止预测误差持续扩散而造 成图像质量恶化。其方法主要是对视频每一帧图像的若干宏块随机进行刷新，被刷新的宏 块质量会立即变得比较高。这样，持续一段时间后，图像中所有宏块都会被刷新，整个图像 的质量就会变得高，用户视觉体验就是该视频图像从模糊变为清晰了。INTRA宏块刷新技术虽然可以将视频图像从模糊变得清晰，但其过程一般比较长。 这是因为INTRA宏块刷新技术是周期性的对每一帧图像的若干宏块进行刷新，从第一批宏 块刷新到最后一批宏块刷新需持续较长的时间，比如在h. 263协议中针对标清格式的建议 大约是132帧的时长，而场景切换的时间通常比较短，可能仅持续6 7帧。也就是说，6 7帧的场景切换造成的图像质量下降，可能需要利用较长的时间来恢复，其恢复速度太慢， 用户体验不佳。
发明内容
有鉴于此，本发明第一个目的是提供一种在低带宽中场景切换视频图像的编码方 法，可以提高图像从模糊到清晰的恢复速度，提高视频会议的用户体验。本发明第二个目的是提供一种在低带宽中场景切换视频图像的编码装置，可以提 高图像从模糊到清晰的恢复速度，提高视频会议的用户体验。为了达到上述第一个发明目的，本发明提出的技术方案为一种在低带宽中场景切换视频图像的编码方法，该方法包括以下步骤在视频图像编码中，根据场景切换时长确定紧靠当前帧之前需要被检测的至少两 帧，将距离远的作为远邻待检测帧，将距离近的作为近邻待检测帧；根据远邻待检测帧和近邻待检测帧各自的偏移量计算偏移特性值，所述偏移特性 值表示远邻待检测帧和近邻待检测帧之间偏移的变化程度；将所述偏移特性值与预先设置的阈值比较，并在偏移特性值大于阈值的情况下编 码一个I帧作为当前帧插入。上述方案中，所述根据远邻待检测帧和近邻待检测帧各自偏移量计算偏移特性值的方法包括a、先计算远邻待检测帧和近邻待检测帧中每一帧的偏移量，所述每一帧的偏移量 包括横坐标偏移量、纵坐标偏移量；所述横坐标偏移量为每一帧中作为检测基准点宏块 的运动矢量在横坐标方向的偏移量绝对值之和；所述纵坐标偏移量为每一帧中作为检测 基准点宏块的运动矢量在纵坐标方向的偏移量绝对值之和；b、计算所有远邻待检测帧横坐标偏移量之和，所有远邻待检测帧纵坐标偏移量之 和；计算所有近邻待检测帧横坐标偏移量之和，所有近邻待检测帧纵坐标偏移量之和；C、计算远邻待检测帧横坐标偏移量之和与近邻待检测帧横坐标偏移量之和的比 值，获得横坐标偏移量特性值；计算远邻待检测帧纵坐标偏移量之和与近邻待检测帧纵坐 标偏移量之和的比值，获得纵坐标偏移量特性值；d、根据设置的横坐标特性系数、计算出的横坐标偏移量特性值、设置的纵坐标特 性系数、计算出的纵坐标偏移量特性值，计算获得所述的偏移特性值。上述方案中，所述作为检测基准点的宏块是从图像中选择出的均勻分布的宏块。上述方案中，所述场景切换为幻灯PPT翻页，所述远邻待检测帧为连续3帧，所述 近邻待检测帧也为连续3帧。为达到上述第二个发明目的，本发明提出的技术方案为一种在低带宽中场景切换视频图像的编码装置，该装置包括检测帧确定单元，用于根据场景切换时长确定紧靠当前帧之前需要被检测的至少 两帧，将距离远的作为远邻待检测帧，将距离近的作为近邻待检测帧；并将确定出的远邻待 检测帧和近邻待检测帧通知给偏移特性值计算单元；偏移特性值计算单元，用于根据远邻待检测帧和近邻待检测帧各自的偏移量计算 偏移特性值，所述偏移特性值表示远邻待检测帧和近邻待检测帧之间偏移的变化程度，并 将偏移特性值发送给比较单元；比较单元，用于将偏移特性值与存储单元中保存的阈值相比较，并在偏移特性值 大于与阈值的情况下通知编码单元；编码单元，用于对视频图像进行编码，并在比较单元通知偏移特性值大于阈值的 情况下编码一个I帧作为当前帧插入；存储单元，用于保存事先设置的阈值。上述方案中，所述偏移特性值计算单元包括第一计算单元，用于计算远邻待检测帧和近邻待检测帧中每一帧的偏移量，并发 送给第二计算单元；所述每一帧的偏移量包括横坐标偏移量、纵坐标偏移量；所述横坐标 偏移量为每一帧中作为检测基准点宏块的运动矢量在横坐标方向的偏移量绝对值之和； 所述纵坐标偏移量为每一帧中作为检测基准点宏块的运动矢量在纵坐标方向的偏移量绝 对值之和；第二计算单元，用于计算所有远邻待检测帧横坐标偏移量之和，所有远邻待检测 帧纵坐标偏移量之和；计算所有近邻待检测帧横坐标偏移量之和，所有近邻待检测帧纵坐 标偏移量之和；并将计算结果发送给第三计算单元；第三计算单元，用于计算远邻待检测帧横坐标偏移量之和与近邻待检测帧横坐标 偏移量之和的比值，获得横坐标偏移量特性值；计算远邻待检测帧纵坐标偏移量之和与近邻待检测帧纵坐标偏移量之和的比值，获得纵坐标偏移量特性值；将计算结果发送给第四 计算单元；第四计算单元，用于根据设置的横坐标特性系数、计算出的横坐标偏移量特性值、 设置的纵坐标特性系数、计算出的纵坐标偏移量特性值，计算获得所述的偏移特性值，并将 计算结果发送给比较单元。上述方案中，所述作为检测基准点的宏块是从图像中选择出的均勻分布的宏块。上述方案中，所述场景切换为幻灯PPT翻页，所述远邻待检测帧为连续3帧，所述 近邻待检测帧也为连续3帧。综上所述，本发明提出一种在低带宽中场景切换视频图像的编码方法和装置，可 以根据场景切换时长确定需要被检测远邻待检测帧和近邻待检测帧，根据各自的偏移量计 算偏移特性值，将所述偏移特性值与预先设置的阈值比较，并在偏移特性值大于阈值的情 况下编码一个I帧作为当前帧插入。应用本发明方案，可以在视频编码时准确地检测出场 景切换，并在场景切换处插入可以消除误差扩散的I帧，从而提高图像从模糊到清晰的恢 复速度，增强用户的体验。
图1是本发明方法流程图。图2是本发明方法实施例中视频图像宏块划分示意图。图3是本发明方法实施例中确定待检测帧的示意图。图4是本发明方法实施例的流程图。图5是本发明的装置结构示意图。图6是本发明装置中偏移特性值计算单元502内部结构的一个实施例示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对 本发明作进一步地详细描述。要提高场景切换时图像质量恢复的速度，本发明需要解决两个方面的问题一是 如何检测出场景切换；二是如何对场景切换处的图像进行优化，加快从模糊到清晰的恢复 速度。下面将分别对这两方面进行详细描述。本发明方法如图1所示，其中，步骤101 103解决上述第一个方面的问题，步骤 104解决上述第二个方面的问题。步骤101 根据场景切换时长确定紧靠当前帧之前需要被检测的至少两帧，将距 离远的作为远邻待检测帧，将距离近的作为近邻待检测帧。本步骤中，场景切换的时长可以根据实际情况事先设置。比如针对视频会议PPT 翻页这种场景切换，可以设置其时长为6帧。如果针对其它场景切换，还可以设置不同的时 长。在极端情况下，如果场景切换的速度非常快，可以设置其时长为2帧。也就是说，当前 帧之前需要被检测的至少需要2帧。另外，如背景技术所述，场景切换的特点是从动态重新回归到静态的连续过程， 如PPT翻页是动态的，停止翻页时是静态的。其中，动态过程中图像运动矢量的偏移量大，而静态图像运动矢量的偏移量小。根据这一特点，本发明将紧靠当前帧之前需被检测的图 像分为两类，每一类至少一帧图像一类是距离当前帧较远的，运动矢量偏移量大，作为远 邻待检测帧；另一类是距离当前帧较近的，运动矢量偏移量小，作为近邻待检测帧。比如 场景切换时长为6帧，当前帧为视频的第50帧，就可以将第44 第46帧作为远邻待检测 帧，将第47帧 第49帧作为近邻待检测帧。再比如，场景切换时长为2帧，当前帧为视频 的第100帧，就可以将第98帧作为远邻待检测帧，将第99帧作为近邻待检测帧。另外，还需要澄清的是，这里所述的当前帧是当前正准备编码生成的图像，但还没 有存在于视频中。即，前面例子中所述的第50帧或第100帧还不存在，正准备编码生成。步骤102 根据远邻待检测帧和近邻待检测帧各自的偏移量计算偏移特性值，所 述偏移特性值表示远邻待检测帧和近邻待检测帧之间偏移的变化程度。视频图像编码时，如果第n-1帧图像相对于第n-2帧来说有小的变化，这个变化可 以用第n-1帧图像与第n-2帧图像之间运动矢量的偏移量来表示，通常也可以直接说是第 n-1帧的偏移量。同样，如果第η帧相对于第n-1帧来说也有小的变化，这个变化同样可以 用第η帧与第n-1之间运动矢量的偏移量来表示，S卩第η帧的偏移量。这样，在编码时，就 可以仅对第n-1帧和第η帧图像的偏移量进行编码，大大减少数据量，达到压缩的目的。本 步骤可以利用现有技术来获得远邻待检测帧和近邻待检测帧各自的偏移量，具体计算方法 将在下面的实施例中详细介绍，此处不再赘述。总之，本步骤计算出远邻待检测帧和近邻待检测帧各自的偏移量后，就可以利用 其计算两者之间偏移的变化程度。比如如果远邻待检测帧和近邻待检测帧都只有一帧，分 别为第η帧和第n-1帧。其中，第n-1帧为远邻待检测帧，第η帧为近邻待检测帧。又假如 步骤102计算出第n-1帧的偏移量为m，第η帧的偏移量为η，就可以利用m和η计算第η 帧和第n-1帧偏移的变化程度。当然，具体的计算方法比较多，比如可以直接将运动矢量 绝对值的差值作为其偏移的变化程度，也可以直接将运动矢量绝对值的比值作为其偏移的 变化程度，还可以像下面的实施例一样利用偏移量在横坐标和纵坐标上的标量值来进行比 较。不管采用哪种方式，只要可以体现远邻待检测帧和近邻待检测帧两者偏移的变化程度 即可。需要注意的是，这里体现的是远邻待检测帧和近邻待检测帧之间偏移的变化程 度，并不是指它们之间的偏移量。比如第n-1帧相对于第n-2帧的偏移量为m，第η帧相 对于第n-1帧的偏移量也为m，但第n-1帧和第η帧的偏移不存在变化，或者说变化程度为 0。这种情况属于图像中某个物体在进行持续勻速的运动，虽然每一帧相对于前一帧都在运 动或者存在偏移量，但其变化程度不变。步骤103 将偏移特性值与预先设置的阈值比较，如果偏移特性值大于阈值，则表 明当前发生了场景切换。本发明中，体现偏移变化程度的值称为偏移特性值。为了准确检测出切换场景， 通常需要与设置的阈值进行比较，只有在超过阈值的情况下才确定是发生了场景切换。比 如仍然以远邻待检测帧为第n-1帧，近邻待检测帧为第η帧为例，如果第n-1帧的偏移量 为ml，第η帧的偏移量为m2，且运动方向相同，偏移特性值为两者矢量绝对值的差值，假设 这里计算出来为0.5。另外，假设事先设置的阈值为1，那么，由于计算出的偏移特性值小于 阈值，说明远邻待检测帧和近邻待检测帧偏移的变化小，可能是误差或其他情况，但不属于从动态到静态这种场景切换。当然，具体如何设置阈值需要应用本发明方案的用户根据实 际情况来确定。步骤104:编码一个I帧作为当前帧插入。本发明中，为了提高视频图像从模糊到清楚的速度，一旦检测出场景切换，就插入 一个I帧。插入I帧可以提高恢复速度的原因在于1帧无需参考其它图像就能完成自身 的编码，避免因为场景切换所造成误差的扩散。相应地，在解码时，I帧可以直接利用自身 的图像来获得清晰的图像，从而提高视频图像从模糊到清楚的恢复速度。为了更好地说明本发明方案，下面用一个实施例进行详细说明。本实施例中，假设是对低带宽下视频会议这类实时性要求高的图像进行编码，其 中仅包含B帧和I帧。与现有技术一样，视频中每一帧图像中都划分了宏块，并从中均勻选 择出了作为检测基准点的宏块。如图2所示，一个小方格表示一个宏块，阴影部分表示作为 检测基准点的宏块，共42个。这样，在进行计算每一帧图像的偏移量时，可以只计算作为检 测基准点宏块的偏移量，而不需要计算图像中所有宏块的偏移量，从而减少计算量。另外，本实施例假设场景切换为PPT翻页，设置时长为6帧，其检测时机如图3所 示。即在准备编码第η帧时，将第η-6 第η-4连续3帧作为远邻待检测帧，将第η_3 第η-1连续3帧作为近邻待检测帧。如图4所示，本实施例实现方法包括以下步骤步骤401 根据场景切换时长确定紧靠当前帧(第η帧)之前需要被检测的待检测 帧，将距离远的连续3帧(第η-6 第η-4)作为远邻待检测帧，将距离近的连续3帧(第 η-3 第η-1)作为近邻待检测帧。本实施例是将距离远的连续3帧作为远邻待检测帧，将距离近的连续3帧作为近 邻待检测帧，实际应用中也可以作其他方式的划分，比如将距离远的连续2帧作为远邻待 检测帧，将距离近的连续4帧作为近邻待检测帧，具体如何划分由应用本实施例方案的用 户自行确定。步骤402 计算远邻待检测帧和近邻待检测帧中每一帧的偏移量，所述每一帧的 偏移量包括横坐标偏移量、纵坐标偏移量；所述横坐标偏移量为每一帧中作为检测基准 点宏块的运动矢量在横坐标方向的偏移量绝对值之和；所述纵坐标偏移量为每一帧中作 为检测基准点宏块的运动矢量在纵坐标方向的偏移量绝对值之和。本实施例中，假设每一个作为检测基准点的宏块用MB表示，其相对于前一帧的运 动矢量用MV= (xn, yn)表示，1彡η彡42。那么，每一帧图像的偏移量的计算可以用公式 ⑴和公式⑵表示η=\Xoffset = YjIxnlf k=42, ISn^k公式(1)Kn=l
权利要求
1.一种在低带宽中场景切换视频图像的编码方法，其特征在于，该方法包括以下步骤在视频图像编码中，根据场景切换时长确定紧靠当前帧之前需要被检测的至少两帧， 将距离远的作为远邻待检测帧，将距离近的作为近邻待检测帧；根据远邻待检测帧和近邻待检测帧各自的偏移量计算偏移特性值，所述偏移特性值表 示远邻待检测帧和近邻待检测帧之间偏移的变化程度；将所述偏移特性值与预先设置的阈值比较，并在偏移特性值大于阈值的情况下编码一 个I帧作为当前帧插入。
2.根据权利要求1所述的方法，其特征在于，所述根据远邻待检测帧和近邻待检测帧 各自偏移量计算偏移特性值的方法包括a、先计算远邻待检测帧和近邻待检测帧中每一帧的偏移量，所述每一帧的偏移量包括 横坐标偏移量、纵坐标偏移量；所述横坐标偏移量为每一帧中作为检测基准点宏块的运 动矢量在横坐标方向的偏移量绝对值之和；所述纵坐标偏移量为每一帧中作为检测基准 点宏块的运动矢量在纵坐标方向的偏移量绝对值之和；b、计算所有远邻待检测帧横坐标偏移量之和，所有远邻待检测帧纵坐标偏移量之和； 计算所有近邻待检测帧横坐标偏移量之和，所有近邻待检测帧纵坐标偏移量之和；c、计算远邻待检测帧横坐标偏移量之和与近邻待检测帧横坐标偏移量之和的比值，获 得横坐标偏移量特性值；计算远邻待检测帧纵坐标偏移量之和与近邻待检测帧纵坐标偏移 量之和的比值，获得纵坐标偏移量特性值；d、根据设置的横坐标特性系数、计算出的横坐标偏移量特性值、设置的纵坐标特性系 数、计算出的纵坐标偏移量特性值，计算获得所述的偏移特性值。
3.根据权利要求2所述的方法，其特征在于，所述作为检测基准点的宏块是从图像中 选择出的均勻分布的宏块。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述场景切换为幻灯PPT翻 页，所述远邻待检测帧为连续3帧，所述近邻待检测帧也为连续3帧。
5.一种在低带宽中场景切换视频图像的编码装置，其特征在于，该装置包括 检测帧确定单元，用于根据场景切换时长确定紧靠当前帧之前需要被检测的至少两帧，将距离远的作为远邻待检测帧，将距离近的作为近邻待检测帧；并将确定出的远邻待检 测帧和近邻待检测帧通知给偏移特性值计算单元；偏移特性值计算单元，用于根据远邻待检测帧和近邻待检测帧各自的偏移量计算偏移 特性值，所述偏移特性值表示远邻待检测帧和近邻待检测帧之间偏移的变化程度，并将偏 移特性值发送给比较单元；比较单元，用于将偏移特性值与存储单元中保存的阈值相比较，并在偏移特性值大于 与阈值的情况下通知编码单元；编码单元，用于对视频图像进行编码，并在比较单元通知偏移特性值大于阈值的情况 下编码一个I帧作为当前帧插入；存储单元，用于保存事先设置的阈值。
6.根据权利要求5所述的装置，其特征在于，所述偏移特性值计算单元包括第一计算单元，用于计算远邻待检测帧和近邻待检测帧中每一帧的偏移量，并发送给第二计算单元；所述每一帧的偏移量包括横坐标偏移量、纵坐标偏移量；所述横坐标偏移 量为每一帧中作为检测基准点宏块的运动矢量在横坐标方向的偏移量绝对值之和；所述 纵坐标偏移量为每一帧中作为检测基准点宏块的运动矢量在纵坐标方向的偏移量绝对值 之和；第二计算单元，用于计算所有远邻待检测帧横坐标偏移量之和，所有远邻待检测帧纵 坐标偏移量之和；计算所有近邻待检测帧横坐标偏移量之和，所有近邻待检测帧纵坐标偏 移量之和；并将计算结果发送给第三计算单元；第三计算单元，用于计算远邻待检测帧横坐标偏移量之和与近邻待检测帧横坐标偏移 量之和的比值，获得横坐标偏移量特性值；计算远邻待检测帧纵坐标偏移量之和与近邻待 检测帧纵坐标偏移量之和的比值，获得纵坐标偏移量特性值；将计算结果发送给第四计算 单元；第四计算单元，用于根据设置的横坐标特性系数、计算出的横坐标偏移量特性值、设置 的纵坐标特性系数、计算出的纵坐标偏移量特性值，计算获得所述的偏移特性值，并将计算 结果发送给比较单元。
7.根据权利要求6所述的装置，其特征在于，所述作为检测基准点的宏块是从图像中 选择出的均勻分布的宏块。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述场景切换为幻灯PPT翻 页，所述远邻待检测帧为连续3帧，所述近邻待检测帧也为连续3帧。
全文摘要
本发明提出一种在低带宽中场景切换视频图像的编码方法和装置，在视频图像编码中，根据场景切换时长确定需要被检测远邻待检测帧和近邻待检测帧，根据其各自的偏移量计算偏移特性值，将所述偏移特性值与预先设置的阈值比较，并在偏移特性值大于阈值的情况下编码一个I帧作为当前帧插入。应用本发明方案，可以在视频编码时准确地检测出场景切换，并在场景切换处插入可以消除误差扩散的I帧，从而提高图像从模糊到清晰的恢复速度，增强用户体验。
文档编号H04N7/26GK102045556SQ20091023645
公开日2011年5月4日 申请日期2009年10月22日 优先权日2009年10月22日
发明者吴坚, 雷奕 申请人:杭州华三通信技术有限公司