专利名称：一种视频图像的时域错误隐藏方法及装置的制作方法
技术领域：
本发明涉及视频通讯领域，尤其涉及一种视频图像的时域错误隐藏方法及装置。
背景技术：
在视频通讯过程中，因为网络不稳定等原因总是会造成图像数据在传输过程中丢 失或发生错误，其直接表现就是解码图像出现马赛克。另外，在视频编码过程中，为了提高 压缩比，使用了多种预测手段来消除时间和空间上的冗余，因此造成解码图像在时间和空 间上具有很高的相关性，任何一帧解码图像的任何一个位置出错都可能造成其相邻区域和 时间上相邻的后续多帧图像出现花块，即通常所说的错误扩散现象，这个问题在无线视频 应用中尤其明显。鉴于以上问题，视频通讯中的错误隐藏历来都是视频编解码研究和应用领域非常 重要的一个方面。视频通讯中的错误隐藏技术主要是利用视频图像的时域或空域相关性来 对损坏或丢失的信息做尽力恢复，从而使视频图像在解码端得到良好的再现。目前，采用最 多的是后处理错误隐藏技术，即对于帧间编码宏块，首先通过解码图像的时间相关性和空 间相关性预测出错误宏块的运动矢量，然后利用该预测出的运动矢量从时间上相邻的前后 帧取得补偿宏块来替代受损的宏块；对于帧内编码宏块，则直接利用空间相邻的正确解码 的宏块通过不同的插值方法得到错误宏块的替代宏块。以上所述的错误隐藏方法利用错误宏块的周围宏块信息来估计错误宏块的运动 矢量，在离散的宏块发生受损时，其周围宏块是正确的，因此采用上述的错误隐藏方法比较 准确。但，对于连续成片图像区域出错的情况，错误宏块周围的正确宏块很少，甚至没有完 全正确的宏块，例如受损区域中间的宏块，此时，利用周围宏块信息估计出的错误宏块的运 动矢量就会不准确，且在估计错误宏块的运动矢量时，因为各个错误宏块位置不同，其周围 宏块的信息也不同，使得各个宏块间运动矢量估计结果存在差异。综上可知，在连续成片图像区域出错时，采用现有的错误隐藏方法会使得各个错 误宏块的运动矢量估计不准确，使各个宏块间运动矢量估计结果有差异，从而使得恢复后 的错误图像区域的各个宏块与周围宏块纹理不连续、边界明显，导致图像错位，并出现大面 积花块。
发明内容
有鉴于此，本发明的主要目的在于提供一种视频图像的时域错误隐藏方法及装 置，以解决现有技术中连续成片图像区域出错时所出现的各个错误宏块的运动矢量估计不 准确，以及各个宏块间运动矢量估计结果有差异的问题。为达到上述目的，本发明的技术方案是这样实现的本发明提供了一种视频图像的时域错误隐藏方法，所述方法包括确定当前帧图 像中连续分布的错误宏块所构成的错误区域及该错误区域的边界；根据所确定的所述错误 区域边界上的错误宏块，确定所述错误区域的预测运动矢量；根据所确定的所述错误区域的预测运动矢量，完成当前帧图像中所述错误区域的错误隐藏。在上述方案中，所述确定当前帧图像的错误区域及该错误区域的边界，具体为按 照光栅扫描顺序，查找到当前帧图像中所述错误区域的第一个错误宏块和最后一个错误宏 块，将所找到的第一个错误宏块和最后一个错误宏块之间的图像区域作为错误区域；根据 所确定的错误区域、以及所查找到的第一个错误宏块和最后一个错误宏块，确定所述错误 区域的边界。在上述方案中，确定所述错误区域的预测运动矢量，具体为如果所确定的错误 区域不为当前帧图像的全部区域，则在所述错误区域边界上的相邻有正确宏块的错误宏块 中，得到其中各错误宏块的最佳预测运动矢量，将所得到的各最佳预测运动矢量的平均值 确定为所述错误区域的预测运动矢量；如果所确定的错误区域为当前帧图像的全部区域， 则得到与当前帧图像相邻的前一帧正确图像中所有宏块的运动矢量的平均值，将所得到的 平均值确定为所述错误区域的预测运动矢量。在上述方案中，所述计算错误宏块的最佳预测运动矢量，具体包括建立所述错误 宏块的预测运动矢量集；依次采用所述预测运动矢量集中的各矢量值，从当前帧图像相邻 的前一帧图像中取得对应的补偿宏块，并计算各矢量值所对应的补偿宏块与所述错误宏块 的之间的相似度；相似度最大时所采用的矢量值即为所述错误宏块的最佳预测运动矢量。在上述方案中，所述根据所确定的所述错误区域的预测运动矢量，完成当前帧图 像中所述错误区域的错误隐藏，具体为根据所确定的所述错误区域的预测运动矢量，从参 考图像中取得补偿宏块，并由所确定的补偿宏块替换对应的错误宏块。在上述方案中，在完成当前帧图像中所述错误区域的错误隐藏之后，所述方法还 包括确定当前帧图像是否还有未隐藏的错误区域及或错误宏块，如果有，则完成未隐藏的 所有错误区域及或错误宏块的错误隐藏；否则，结束当前帧图像的错误隐藏。本发明还提供了一种实现视频图像的时域错误隐藏的装置，所述装置包括确定单 元、处理单元和隐藏单元，其中确定单元，用于确定当前帧图像中所有错误宏块所构成的 错误区域及该错误区域的边界；处理单元，用于根据所述确定单元所确定的所述错误区域 边界上的错误宏块，确定所述错误区域的预测运动矢量；隐藏单元，根据所确定的所述错误 区域的预测运动矢量，完成当前帧图像中所述错误区域的错误隐藏。在上述方案中，所述确定单元，具体包括查找模块，用于查找当前帧图像中的第 一个错误宏块和最后一个错误宏块；确定模块，用于根据查找模块的查找结果，确定当前帧 图像的错误区域及其边界。在上述方案中，所述处理单元包括检测模块、第一确定模块和第二确定模块，其 中检测模块，用于检测所述错误区域是否为当前帧图像的全部区域，如果所述错误区域不 是当前帧图像的全部区域，则启动第一确定模块，否则启动第二确定模块；第一确定模块， 用于得到所述错误区域边界上相邻有正确宏块的所有错误宏块的最佳预测运动矢量，并将 所得到的所有最佳预测运动矢量的平均值确定为所述错误区域的预测运动矢量；第二确定 模块，用于得到与当前帧图像相邻的前一帧正确图像中所有宏块的运动矢量的平均值，将 所得到的平均值确定为所述错误区域的预测运动矢量。在上述方案中，所述隐藏单元，具体用于根据所述处理单元所确定的所述错误区 域的预测运动矢量，从参考图像中取得补偿宏块，并由所确定的补偿宏块替换对应的错误宏块。在上述方案中，所述装置还包括检测单元，用于确定当前帧图像是否还有未隐藏 的错误区域及或错误宏块，如果有则启动所述确定单元、处理单元和隐藏单元，完成未隐藏 的所有错误区域及或错误宏块的错误隐藏，否则不启动所述确定单元、处理单元和隐藏单 元，结束当前帧图像的错误隐藏。本发明的视频图像时域错误隐藏方法及装置，先利用解码图像的时间和空间相关 性恢复出图像的错误区域的预测运动矢量，然后利用该预测运动矢量对整个错误区域的各 错误宏块进行统一补偿，无论错误宏块是离散分布还是连续成片分布，都可以较为准确地 估计出各错误宏块的运动矢量，且减少了各错误宏块之间运动矢量的差异，使得恢复后的 图像各个宏块之间纹理连续，避免出现图像错位和大面积花块，能够大大提升用户的主观 体验。
图1为本发明视频图像的时域错误隐藏方法的实现流程图；图2为图1中确定当前帧图像的错误区域及其边界的实现流程图；图3为本发明的时域错误隐藏方法的具体实现流程图；图4为视频图像中错误区域位于图像中部时的示意图；图5为计算最佳预测运动矢量的图像示意图；图6为视频图像中错误区域位于图像边界时的示意图；图7为本发明实现视频图像的时域错误隐藏的装置组成及结构示意图。
具体实施例方式下面结合附图对本发明的技术方案做详细说明。本发明视频图像的时域错误隐藏方法，参照图1所示，主要包括以下步骤步骤101 确定当前帧图像中由连续分布的错误宏块所构成的错误区域及该错误 区域的边界；步骤102 根据所确定的所述错误区域边界上的错误宏块，确定所述错误区域的 预测运动矢量；步骤103 根据所确定的所述错误区域的预测运动矢量，完成当前帧图像中所述 错误区域的错误隐藏。其中，步骤101中确定当前帧图像的错误区域及其边界，参照图2所示，具体可以 包括步骤201 按照光栅扫描顺序，查找到当前帧图像中所述错误区域的第一个错误 宏块和最后一个错误宏块，将所找到的第一个错误宏块和最后一个错误宏块之间的图像区 域作为错误区域；这里，可以采用常用的错误检测技术对当前帧图像的码流进行误码检测和标记， 来找到错误宏块。步骤202 根据所确定的错误区域、以及所查找到的第一个错误宏块和最后一个 错误宏块，确定所述错误区域的边界。
其中，步骤102中确定所述错误区域的预测运动矢量，具体可以为如果所确定的错误区域不为当前帧图像的全部区域，则在所述错误区域边界上的 相邻有正确宏块的所有错误宏块中，得到其中各错误宏块的最佳预测运动矢量，将所得到 的各最佳预测运动矢量的平均值确定为所述错误区域的预测运动矢量；如果所确定的错误区域为当前帧图像的全部区域，则得到与当前帧图像相邻的前 一帧正确图像中所有宏块的运动矢量的平均值，将所得到的平均值确定为所述错误区域的 预测运动矢量。其中，步骤103中根据所确定的所述错误区域的预测运动矢量，完成当前帧图像 中所述错误区域的错误隐藏，具体可以为根据所确定的所述错误区域的预测运动矢量，从 参考图像中取得补偿宏块，并将所确定的补偿宏块代替对应的错误宏块。其中，取得补偿宏块具体为由所确定的所述错误区域中的各个错误宏块的最佳 预测运动矢量，计算得到所述错误区域的预测运动矢量；并从当前帧图像所相邻的前一帧 正确图像中，由该预测运动矢量为所述错误区域中的各错误宏块取得所述补偿宏块。其中，参考图像可以为当前帧图像所相邻的前一帧正确图像。另外，在完成当前帧图像中所述错误区域的错误隐藏之后，所述方法还包括确定 当前帧图像是否还有未隐藏的错误区域及或错误宏块，如果有则完成未隐藏的所有错误区 域及或错误宏块的错误隐藏，否则继续对下一帧图像进行错误隐藏。下面结合图3对本发明的时域错误隐藏方法的具体实现流程做详细说明。参照图3、图4所示，本发明的时域错误隐藏方法的具体实现过程包括如下步骤步骤301 视频解码过程中，在当前帧图像解码结束后，如图4所示，按光栅扫描顺 序，查找当前帧图像中的第一个错误宏块，如果找到则转到步骤302;否则结束当前帧图像 的隐藏处理，继续解码下一帧图像；这里，现有所有视频编码中均先将图像划分为一个个宏块，然后按宏块逐个编码。 光栅扫描顺序就是宏块的编码顺序，该顺序是现有所有视频编码标准所遵从的顺序，与图 像的扫描顺序一致，即从左到右，从上到下。步骤302 将找到的错误宏块记为宏块A，并按光栅扫描顺序，如图4所示，找到宏 块A之后的第一个正确宏块之前的错误宏块，将该错误宏块记为宏块B，宏块A到宏块B的 图像区域即为当前帧图像的错误区域，至此，完成了当前帧图像错误区域的确定；其中，如果在宏块A之后没有找到正确宏块，则将当前帧图像的最后一个宏块记 为宏块B。步骤303 按照光栅扫描顺序，找到当前帧图像中宏块A正下方的宏块，将该宏块 之前的宏块记为宏块C，则如图4所示，宏块A到宏块C之间的错误宏块即为所确定的错误 区域中一条边界上的错误宏块；其中，如果按光栅扫描顺序，宏块C位于宏块B之后或与宏块B重合，则重新标记 宏块B之前的宏块为宏块C。步骤304 按照光栅扫描顺序，找到宏块B正上方的宏块，该宏块之后的宏块记为 宏块D，则如图4所示，宏块D到宏块B之间的错误宏块为所述错误区域另一边界上的错误 宏块，至此，确定了所述错误区域的边界；其中，如果按光栅扫描顺序，宏块D位于宏块C之前或与宏块C重合，则重新标记宏块C之后的宏块为宏块D ；步骤305 判断宏块A是否为当前帧图像的第一个宏块，如果是转到步骤307 ；否 则，转到步骤306 ；步骤306 依次计算宏块A到宏块C之间相邻有正确宏块的所有错误宏块的最佳 预测运动矢量，继续步骤308;具体地，如果宏块A相邻有正确宏块，则计算宏块A的最佳预测运动矢量的过程如 下a)建立宏块A的预测运动矢量集；其中，参照图5所示，宏块A的预测运动矢量集包括宏块A相邻的各个正确宏块 b e的运动矢量、宏块b e的运动矢量的平均值矢量、宏块b e的运动矢量的中值矢 量、参考图像中与宏块A相同位置的宏块f的运动矢量、宏块f的相邻宏块g η各自的运 动矢量、宏块f η的运动矢量的平均值矢量、宏块f η的运动矢量的中值矢量。b)依次采用预测运动矢量集中的各个矢量从参考图像中取得补偿宏块；c)计算所取得的各补偿宏块与宏块A之间的相似度，相似度最大时所采用的矢量 即为宏块A的最佳预测运动矢量。其中，相似度可以用补偿宏块内边界各像素与宏块A外边界各对应像素的差值的 绝对值之和T来表示，T越大则相似度越小，T越小则相似度越大。同理，依据上述计算过程，在宏块A到宏块C之间的相邻有正确宏块的所有错误宏 块中，得到其中各错误宏块的最佳预测运动矢量。步骤307 判断宏块B是否为当前帧图像的最后一个宏块，如果是转到步骤310，否 则转到步骤306 ；步骤308 在宏块D到宏块B之间的相邻有正确宏块的所有错误宏块中，依次计算 其中各错误宏块的最佳预测运动矢量；这里，计算过程与步骤305相同，在此不再赘述。步骤309 计算步骤306和步骤308中所得到的所有最佳预测运动矢量的平均值， 将计算得到的平均值作为错误区域的预测运动矢量，转到步骤311 ；步骤310 计算当前帧图像相邻的前一帧正确图像中所有宏块的运动矢量的平均 值，将计算得到的运动矢量的平均值作为错误区域的预测运动矢量；步骤311 对当前错误区域中的所有错误宏块，采用步骤309或步骤310中得到的 预测运动矢量，从当前帧图像相邻的前一帧正确图像中取得对应的补偿宏块，来代替各错 误宏块；步骤312 查找当前帧图像中是否还有未隐藏的错误宏块，如果有则返回步骤 302，否则结束当前帧图像错误隐藏的流程，继续解码下一帧图像。如图4所示的错误区域位于图像中部的情况，完成其时域错误隐藏的过程如下首先，在图像的视频解码过程中，通过采用现有可用的错误检测技术对码流进行 误码检测和标记之后，依照上文所述方法，确定当前帧图像的错误区域，如图4所示，所确 定的错误区域为按照光栅扫描顺序，错误宏块A到错误宏块C之间的边界与错误宏块D到 错误宏块B之间的边界所围成的区域ACDB。其次，确定错误区域A⑶B的预测运动矢量，具体地，通过以下流程来实现
步骤Sl 对错误宏块A到错误宏块C之间m个相邻有正确宏块的错误宏块，采用 上述方法依次计算各错误宏块的最佳预测运动矢量，并依据下述公式(ι)，得到这m个错 误宏块的最佳预测运动矢量的矢量之和MVl = {MVlx, MVly}；
权利要求
1.一种视频图像的时域错误隐藏方法，其特征在于，所述方法包括确定当前帧图像中连续分布的错误宏块所构成的错误区域及该错误区域的边界； 根据所确定的所述错误区域边界上的错误宏块，确定所述错误区域的预测运动矢量； 根据所确定的所述错误区域的预测运动矢量，完成当前帧图像中所述错误区域的错误隐藏。
2.根据权利要求1所述视频图像的时域错误隐藏方法，其特征在于，所述确定当前帧 图像的错误区域及该错误区域的边界，具体为按照光栅扫描顺序，查找到当前帧图像中所述错误区域的第一个错误宏块和最后一 个错误宏块，将所找到的第一个错误宏块和最后一个错误宏块之间的图像区域作为错误区 域；根据所确定的错误区域、以及所查找到的第一个错误宏块和最后一个错误宏块，确定 所述错误区域的边界。
3.根据权利要求1或2所述视频图像的时域错误隐藏方法，其特征在于，确定所述错误 区域的预测运动矢量，具体为如果所确定的错误区域不为当前帧图像的全部区域，则在所述错误区域边界上的相邻 有正确宏块的错误宏块中，得到其中各错误宏块的最佳预测运动矢量，将所得到的各最佳 预测运动矢量的平均值确定为所述错误区域的预测运动矢量；如果所确定的错误区域为当前帧图像的全部区域，则得到与当前帧图像相邻的前一帧 正确图像中所有宏块的运动矢量的平均值，将所得到的平均值确定为所述错误区域的预测 运动矢量。
4.根据权利要求3所述视频图像的时域错误隐藏方法，其特征在于，所述计算错误宏 块的最佳预测运动矢量，具体包括建立所述错误宏块的预测运动矢量集；依次采用所述预测运动矢量集中的各矢量值，从当前帧图像相邻的前一帧图像中取得 对应的补偿宏块，并计算各矢量值所对应的补偿宏块与所述错误宏块的之间的相似度； 相似度最大时所采用的矢量值即为所述错误宏块的最佳预测运动矢量。
5.根据权利要求3所述视频图像的时域错误隐藏方法，其特征在于，所述根据所确定 的所述错误区域的预测运动矢量，完成当前帧图像中所述错误区域的错误隐藏，具体为根据所确定的所述错误区域的预测运动矢量，从参考图像中取得补偿宏块，并由所确 定的补偿宏块替换对应的错误宏块。
6.根据权利要求1所述视频图像的时域错误隐藏方法，其特征在于，在完成当前帧图 像中所述错误区域的错误隐藏之后，所述方法还包括确定当前帧图像是否还有未隐藏的错误区域及或错误宏块，如果有，则完成未隐藏的 所有错误区域及或错误宏块的错误隐藏；否则，结束当前帧图像的错误隐藏。
7.一种实现视频图像的时域错误隐藏的装置，其特征在于，所述装置包括确定单元、处 理单元和隐藏单元，其中确定单元，用于确定当前帧图像中所有错误宏块所构成的错误区域及该错误区域的边界；处理单元，用于根据所述确定单元所确定的所述错误区域边界上的错误宏块，确定所述错误区域的预测运动矢量；隐藏单元，根据所确定的所述错误区域的预测运动矢量，完成当前帧图像中所述错误 区域的错误隐藏。
8.根据权利要求7所述实现视频图像的时域错误隐藏的装置，其特征在于，所述确定 单元，具体包括查找模块，用于查找当前帧图像中的第一个错误宏块和最后一个错误宏块；确定模块，用于根据查找模块的查找结果，确定当前帧图像的错误区域及其边界。
9.根据权利要求7或8所述实现视频图像的时域错误隐藏的装置，其特征在于，所述处 理单元包括检测模块、第一确定模块和第二确定模块，其中检测模块，用于检测所述错误区域是否为当前帧图像的全部区域，如果所述错误区域 不是当前帧图像的全部区域，则启动第一确定模块，否则启动第二确定模块；第一确定模块，用于得到所述错误区域边界上相邻有正确宏块的所有错误宏块的最佳 预测运动矢量，并将所得到的所有最佳预测运动矢量的平均值确定为所述错误区域的预测 运动矢量；第二确定模块，用于得到与当前帧图像相邻的前一帧正确图像中所有宏块的运动矢量 的平均值，将所得到的平均值确定为所述错误区域的预测运动矢量。
10.根据权利要求9所述实现视频图像的时域错误隐藏的装置，其特征在于，所述隐藏 单元，具体用于根据所述处理单元所确定的所述错误区域的预测运动矢量，从参考图像中取得补偿宏 块，并由所确定的补偿宏块替换对应的错误宏块。
11.根据权利要求7所述实现视频图像的时域错误隐藏的装置，其特征在于，所述装置 还包括检测单元，用于确定当前帧图像是否还有未隐藏的错误区域及或错误宏块，如果有则 启动所述确定单元、处理单元和隐藏单元，完成未隐藏的所有错误区域及或错误宏块的错 误隐藏，否则不启动所述确定单元、处理单元和隐藏单元，结束当前帧图像的错误隐藏。
全文摘要
本发明公开了一种视频图像的时域错误隐藏方法及装置，首先利用解码图像的时间和空间相关性恢复出图像的错误区域的预测运动矢量，然后利用该预测运动矢量对整个错误区域的各错误宏块进行统一补偿，无论错误宏块是离散分布还是连续成片分布，都可以较为准确的估计各错误宏块的运动矢量，且减少了各错误宏块之间运动矢量的差异，使得恢复后的图像各个宏块之间纹理连续，避免出现图像错位和大面积花块，能够大大提升用户的主观体验。
文档编号H04N7/68GK102111622SQ20091025252
公开日2011年6月29日 申请日期2009年12月23日 优先权日2009年12月23日
发明者左雯, 梁立伟, 王宁, 范文杰 申请人:中兴通讯股份有限公司