视频码流错误隐藏中丢失块的运动矢量补偿方法与系统与流程

本发明涉及视频编解码技术领域，特别是涉及视频码流错误隐藏中丢失块的运动矢量补偿方法与系统。

背景技术：

HEVC(High Efficiency Video Coding，视频压缩标准)主要应用于高清/ 超高清电视、多媒体技术等领域，其获得更好的压缩效率，但是高压缩率往往与抗误码能力是相互矛盾的，因为更高的压缩意味着更少的冗余信息，这样信息间的依赖性更强，所以少量的误码就可能导致错误的急剧扩散，严重影响解码质量。因此，当HEVC编码码流在易错网络中传输时，必须要考虑视频传输时的鲁棒性。

解码端的错误隐藏技术是视频码流在传输过程中受到传输错误影响的情况下，由接收端采取的一种后处理技术。它是利用人眼能容忍一定程度的视频信号失真的特性，根据视频信号在时间及空间上的强相关性，从先前已接收到的无错误视频信息中提取出有用信息来近似恢复丢失或出错的视频数据，以提高解码后的图像质量。错误隐藏分为帧内错误隐藏和帧间错误隐藏两种。

帧间错误隐藏的主要工作是近似恢复出丢失块的运动矢量。目前已有的错误隐藏算法中恢复丢失块运动矢量大都采用的是基于边界匹配的最佳候选运动矢量搜索法。具体实施步骤是利用丢失块周围正确接受块或已隐藏块的运动矢量作为丢失块的运动矢量进行运动补偿，然后将恢复块与其周围块进行边界匹配，选取匹配误差最小的运动矢量作为丢失块的运动矢量。这种算法计算复杂度不高，但也存在着一些不足，若丢失块刚好处于边界处或纹理很复杂的区域则丢失块的运动矢量与边界块的运动矢量有很大的差别。这种情况下仍采用边界匹配算法则不合适。

技术实现要素：

基于此，有必要针对现有错误隐藏中丢失块的运动矢量补偿复杂且不准确的问题，提供一种简单且准确的视频码流错误隐藏中丢失块的运动矢量补偿方法与系统。

一种视频码流错误隐藏中丢失块的运动矢量补偿方法，包括步骤：

搜索丢失块，并获取视频码流中的参考帧；

查找丢失块周围可用块，其中，可用块包括正确接收块和已隐藏块；

查找参考帧中与可用块对应的补偿码；

将可用块与其相应的补偿码进行结构化相似性对比，获得可用块的结构化相似性对比值；

选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。

一种视频码流错误隐藏中丢失块的运动矢量补偿系统，包括：

搜索模块，用于搜索丢失块，并获取视频码流中的参考帧；

第一查找模块，用于查找丢失块周围可用块，其中，可用块包括正确接收块和已隐藏块；

第二查找模块，用于查找参考帧中与可用块对应的补偿码；

相似性比对模块，用于将可用块与其相应的补偿码进行结构化相似性对比，获得可用块的结构化相似性对比值；

选取模块，用于选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。

本发明视频码流错误隐藏中丢失块的运动矢量补偿方法与系统，搜索丢失块，并获取视频码流中的参考帧，查找丢失块周围可用块，查找参考帧中与可用块对应的补偿码，将可用块与其相应的补偿码进行结构化相似性对比，选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。由于结构化相似性评判准则并没有利用丢失块当前帧的边界信息，能很好的克服丢失块处于边界或纹理复杂区域图像复原质量不佳的问题，无论丢失块处于图像的什么位置，都能利用结构化相似性判准则准确得到丢失块运动矢量补偿。

附图说明

图1为本发明视频码流错误隐藏中丢失块的运动矢量补偿方法第一个实施例的流程示意图；

图2为本发明视频码流错误隐藏中丢失块的运动矢量补偿方法第二个实施例的流程示意图；

图3为本发明视频码流错误隐藏中丢失块的运动矢量补偿系统第一个实施例的结构示意图；

图4为本发明视频码流错误隐藏中丢失块的运动矢量补偿系统第二个实施例的结构示意图。

具体实施方式

结构化相似性(SSIM)目前常用于衡量两幅图像相似度的新指标，其值越大越好，最大为1。结构相似性理论认为，自然图像信号是高度结构化的，即像素间有很强的相关性，特别是空域中最接近的像素，这种相关性蕴含着视觉场景中物体结构的重要信息。HVS(Human Visual System，人类视觉系统)的主要功能是从视野中提取结构信息，可以用对结构信息的度量作为图像感知质量的近似。结构相似性理论是一种不同于以往模拟HVS低阶的组成结构的全新思想，与基于HVS特性的方法相比，最大的区别是自顶向下与自底向上的区别。这一新思想的关键是从对感知误差度量到对感知结构失真度量的转变。它没有试图通过累加与心理物理学简单认知模式有关的误差来估计图像质量，而是直接估计两个复杂结构信号的结构改变，从而在某种程度上绕开了自然图像内容复杂性及多通道去相关的问题。作为结构相似性理论的实现，结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。

在本发明视频码流错误隐藏中丢失块的运动矢量补偿方法与系统中，基于结构化相似性(SSIM)的评判准则来选取丢失块的最佳候选运动矢量，结构化相似性(SSIM)能克服丢失块处于边界或纹理复杂区域时图像恢复质量不佳的问题，并且整个计算过程简单。

如图1所示，一种视频码流错误隐藏中丢失块的运动矢量补偿方法，包括步骤：

S100：搜索丢失块，并获取视频码流中的参考帧。

计算机开机上电，获取传输过程中视频码流数据，对视频码流进行帧间错误隐藏，搜索丢失块，并获取视频码流中的参考帧。参考帧一般为视频码流中第一帧数据，可以通过解析视频码流获取其相应的参考帧。

S200：查找丢失块周围可用块，其中，可用块包括正确接收块和已隐藏块。

查找丢失块周围可用块，在这里的周围是指四周，例如假设块大小为16*16，在单个丢失块的上、下、左、右以及上左、上右、下左和下右一共有8个块，则从这8个块中查找可用块。可用块包括正确接收块和已隐藏块两类，需要指出的是，查找到的可用块的数量可以是多个也可以是单个。

S300：查找参考帧中与可用块对应的补偿码。

解析步骤S100中获得的参考帧，在参考帧中查找与可用块对应的补偿码。每个可用块对应单独的补偿码，当可以用块数量为多个时，分别获得各个可用块的补偿码。非必要的，可以将可用块与其对应的补偿码关联存储。

S400：将可用块与其相应的补偿码进行结构化相似性对比，获得可用块的结构化相似性对比值。

对可用块与其相应的补偿码进行结构化相似性比对具体来说是对可用块与其相应的补偿码进行结构化相似性计算(SSIM)，获得可用块结构化相似性对比值。当可用块数量为多个时，获得的结构化相似性对比值有多个，当可用块数量为单个时，步骤S400仅计算获得单个结构化相似性对比值。例如当前有A、 B、C三个可用块，在步骤S300中分别查找到各自补偿码为a、b、c，即可用块 A补偿码a、可用块B补偿码b、可用块C补偿码c，在步骤S400中，计算可用块A与其补偿码a的结构化相似性对比值X，计算可用块B与其补偿码b的结构化相似性对比值Y，计算可用块C与其补偿码c的结构化相似性对比值Z。

S500：选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。

在步骤S400获得的可用块的结构化相似性对比值中，选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。继续以上述实例进行说明，步骤S400中计算获得可用块A与其补偿码a的结构化相似性对比值X、可用块B与其补偿码b的结构化相似性对比值Y、可用块C与其补偿码c的结构化相似性对比值Z，假定X>Y＞Z，则选取可用块A的运动矢量作为丢失块的运动矢量补偿。需要指出的是，当可用块数量为单个时，即步骤S400计算获得的结构化相似性对比值有且仅有一个，直接将该可用块的运动矢量作为丢失块的运动矢量补偿。

本发明视频码流错误隐藏中丢失块的运动矢量补偿方法，搜索丢失块，并获取视频码流中的参考帧，查找丢失块周围可用块，查找参考帧中与可用块对应的补偿码，将可用块与其相应的补偿码进行结构化相似性对比，选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。由于结构化相似性评判准则并没有利用丢失块当前帧的边界信息，能很好的克服丢失块处于边界或纹理复杂区域图像复原质量不佳的问题，无论丢失块处于图像的什么位置，都能利用结构化相似性判准则准确得到丢失块运动矢量补偿。

如图2，在其中一个实施例中，步骤S500之后还包括：

S600：对丢失块进行运动补偿，并记录丢失块的运动补偿效果。

视频码流进行帧间错误隐藏，对丢失块进行运动补偿，待视频码流帧间错误隐藏完成时，可以从视频码流实际播放效果，获得帧间错误隐藏效果，即可以表征丢失块的运动补偿效果，将这些数据记录下来，便于后期继续研究与了解。

在其中一个实施例中，查找丢失块周围可用块的步骤包括：

获取丢失块周围8个块。

从丢失块周围8个块中查找可用块。

如之前，在单个丢失块的上、下、左、右以及上左、上右、下左和下右一共有8个块，则从这8个块中查找可用块。

如图2所示，在其中一个实施例中，步骤S400包括：

S420：并行多次计算可用块与其相应的补偿码的结构化相似性对比值。

并行计算是指对同一参数、在同一时间采用同样的方式进行多次计算，这样针对同一参数有可能会计算出多个相同的结果，也有可能会计算出多个不同的结果，不同的结果是由于计算过程中细微的误差和差异性导致的，对于在合理区间的差异是可以被接受的。并行计算可以通过FPGA(Field-Programmable Gate Array，现场可编程门阵列)实现。

S440：将多次计算的结果取平均值，获得可用块的结构化相似性对比值。

对步骤S420并行计算的结果取平均值，获得用块的结构化相似性对比值。采用取平均值方式能够最大限度减小误差对最终结果的影响，以使在后续步骤中更准确获得丢失块的运动矢量补偿。

如图2所示，在其中一个实施例中，步骤S400之后还包括：

S460：将各个可用块与其相应的结构化相似性对比值关联存储。

将可用块与其相应的结构化相似性对比值关联存储，一方面便于对可用块与其相应的结构化相似性对比值进行进一步研究，例如可以查找两者之间存在的某些关系；另一方面便于后续查阅丢失块的运动矢量补偿过程中的相关数据。

如图3所示，一种视频码流错误隐藏中丢失块的运动矢量补偿系统，包括：

搜索模块100，用于搜索丢失块，并获取视频码流中的参考帧。

第一查找模块200，用于查找丢失块周围可用块，其中，可用块包括正确接收块和已隐藏块。

第二查找模块300，用于查找参考帧中与可用块对应的补偿码。

相似性比对模块400，用于将可用块与其相应的补偿码进行结构化相似性对比，获得可用块的结构化相似性对比值。

选取模块500，用于选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。

本发明视频码流错误隐藏中丢失块的运动矢量补偿系统，搜索模块100搜索丢失块，并获取视频码流中的参考帧，第一查找模块200查找丢失块周围可用块，第二查找模块300查找参考帧中与可用块对应的补偿码，相似性比对模块400将可用块与其相应的补偿码进行结构化相似性对比，选取模块500选取结构化相似性对比值最大的可用块的运动矢量作为丢失块的运动矢量补偿。由于结构化相似性评判准则并没有利用丢失块当前帧的边界信息，能很好的克服丢失块处于边界或纹理复杂区域图像复原质量不佳的问题，无论丢失块处于图像的什么位置，都能利用结构化相似性判准则准确得到丢失块运动矢量补偿。

如图4所示，在其中一个实施例中，视频码流错误隐藏中丢失块的运动矢量补偿系统还包括：

补偿模块600，用于对丢失块进行运动补偿，并记录丢失块的运动补偿效果。

视频码流进行帧间错误隐藏，对丢失块进行运动补偿，待视频码流帧间错误隐藏完成时，可以从视频码流实际播放效果，获得帧间错误隐藏效果，即可以表征丢失块的运动补偿效果。补偿模块600将这些数据记录下来，便于后期继续研究与了解。

在其中一个实施例中，第一查找模块200包括：

获取单元，用于获取丢失块周围8个块。

查找单元，用于从丢失块周围8个块中查找可用块。

如图4所示，在其中一个实施例中，相似性比对模块400包括：

并行比对单元420，用于并行多次计算可用块与其相应的补偿码的结构化相似性对比值。

并行计算是指对同一参数、在同一时间采用同样的方式进行多次计算，这样针对同一参数有可能会计算出多个相同的结果，也有可能会计算出多个不同的结果，不同的结果是由于计算过程中细微的误差和差异性导致的，对于在合理区间的差异是可以被接受的。

平均值计算单元440，用于将多次计算的结果取平均值，获得可用块的结构化相似性对比值。

并行比对单元420对并行计算的结果取平均值，获得用块的结构化相似性对比值。

采用取平均值方式能够最大限度减小误差对最终结果的影响，以使在后续步骤中更进一步获得准确的丢失块的运动矢量补偿。

如图4所示，在其中一个实施例中，视频码流错误隐藏中丢失块的运动矢量补偿系统还包括：

存储模块460，用于将各个可用块与其相应的结构化相似性对比值关联存储。

存储模块460将可用块与其相应的结构化相似性对比值关联存储，一方面便于对可用块与其相应的结构化相似性对比值进行进一步研究，例如可以查找两者之间存在的某些关系；另一方面便于后续查阅丢失块的运动矢量补偿过程中的相关数据。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。