基于梯度特征统计与非迭代收缩填充的空域错误隐藏方法与流程

本发明涉及图像通信技术领域，特别是涉及一种基于梯度特征统计与非迭代收缩填充的空域错误隐藏方法。

背景技术：

大多数自然图像具有局部相关性，空域错误隐藏通常利用相邻块的信息来预测丢失块。sun等人利用凸集投影(pocs)来恢复受损图像区域，通过边缘连续性和平滑性等先验知识来预测受损块的信息。shirani等人利用马尔科夫随机场(mrf)来建模自然图像的局部相关性，这可能导致过度平滑的恢复效果。快速的空域错误隐藏方法大都依赖内插机制。作为分块编码标准默认的空域错误隐藏方法，双线性内插(bi)方法利用在两个方向上的四个邻域像素进行加权插值，垂直或水平插值难以恢复多方向的边缘信息，因而bi方法仅能较好地恢复平滑区域却难以恢复更为复杂的图像结构信息。由于边缘结构比单一纹理在视觉上更为重要，边缘导向的内插方式能够较好地利用丢失块的邻域信息。内容自适应内插(cad)方法将每个丢失块归为以下三种类型之一：边缘块、纹理块、一致块，然后分别采用不同的加权方式来恢复相应的丢失块。对于存在强边缘的丢失块，视觉清晰内插(vc)方式有助于进一步增强边缘信息，然而想要找到所有边缘的准确位置是非常困难的。当丢失块存在多个边缘或者出现连续块丢失的情形时，边缘导向的内插方法可能失去效果。

因此，一些自适应的预测器被提出来。在序贯恢复框架下，方向自适应预测(oai)方法按光栅扫描次序估计丢失块在不同方向上的像素相关性，然后对邻域像素值与相关性系数进行加权叠加，系数矢量长度在整个预测过程中是固定的。稀疏线性预测(slp)方法采用自适应的系数矢量长度，通过预测系数的稀疏约束来选择一个尽量小的邻域像素集合。类似地，阶数自适应的线性预测器(oalp)利用贝叶斯信息准则来自适应地确定预测器的阶数，更多的加权系数通常意味着更高阶的预测器，预测器阶数的增加会导致复杂度的指数级增长。这类自适应的预测器显著地增加了空域错误隐藏的计算复杂度。

在基于内核的空域错误隐藏方法中，一个图像块被建模为内核基函数的线性组合。基于块的双边滤波(bbf)方法利用一对高斯内核来增强丢失块的边缘信息，一个内核被用于测量在丢失块和可用邻域之间的相似度，另一个内核被用于测量它们的空域差异性。为了精细地重建一个丢失块，koloda等人建议了一种基于多变量内核密度估计(mkde)的最小均方误差估计器。作为另一种内核机制，信号延拓通过傅里叶基函数构成一个参数模型，对延拓区域进行连续的逼近。频率选择性延拓(xfse)方法利用大多自然图像具有低通特性的先验知识，获得了一定的质量增益。作为目标移除应用的一种典型技术，图像修复机制在松散的时间约束下也可以用于解决错误隐藏问题。chung等人建议了一种联合图像修复和空域内插(heisi)的方法，为图像修复或者内插的选择提供了一个判决门限。

经过对同类现有技术的检索后发现，专利“一种自适应阈值的视频流多纹理方向错误隐藏方法”(授权号：2014101002339；分类号：h04n19/65)采用阈值自适应的sobel边缘检测算子，通过检测相邻块可能的边缘方向，结合边缘像素差值成本函数自适应地确定丢失块中各个像素的插值方向，然后对各个像素进行方向插值来恢复丢失块，该方法仅适合于规则间隔丢失模式，难以应用于其它丢失模式，此外，鲁棒可靠的边缘检测在实际应用中仍然是个难题。

在空域错误隐藏应用中，每个丢失块是相对较小的，恢复目标是在复杂度约束下降低其重构误差。近几年，绝大多数代表性的错误隐藏方法都采用了耗时的迭代重构机制，虽然迭代重建过程可以通过穷举法搜索候选者，以获得更好的匹配结果，但是这一过程往往会导致一些无效的重复操作，极大地增加了计算复杂度，仅取得较少的质量增益。因此，当前错误隐藏的一个瓶颈问题是如何在计算复杂度与恢复质量之间取得一个更好的折衷。此外，许多空域错误隐藏方法只针对特定的块丢失模式进行优化，难以适应不同的丢失模式。

技术实现要素：

本发明所要解决的技术问题是提供一种基于梯度特征统计与非迭代收缩填充的空域错误隐藏方法，以便在计算复杂度与恢复质量之间取得更好的折衷，且能处理不同的块丢失模式。

本发明解决其技术问题所采用的技术方案是：提供一种基于梯度特征统计与非迭代收缩填充的空域错误隐藏方法，包括以下步骤：

(1)在延拓区域估计丢失块的局部特征信息，获得延拓区域的梯度分布统计；

(2)按照收缩填充顺序对丢失块的像素逐一进行恢复，每一像素均采用基于梯度分布加权的多方向预测器进行估计。

所述步骤(1)中的延拓区域是一个为了恢复当前丢失块而划分出的图像块集合；在序贯恢复框架下，每个当前丢失块对应着一个当前延拓区域。

所述步骤(1)具体为：在当前延拓区域的无错块和已隐藏块中，利用各向同性梯度检测器分别计算各个像素的梯度幅值和梯度角度，各像素的梯度角度归入八个等间隔方向之一，各像素的梯度幅值在所属方向上进行累计，由此得到当前延拓区域各个方向的梯度幅值累计。

所述各向同性梯度检测器采用各向同性的梯度掩模算子进行加权平均，用于估计延拓区域的多方向梯度分布。

所述步骤(2)中收缩填充顺序包括组级填充顺序和像素级填充顺序，两者共同决定在一个丢失块中逐一填充各个像素的先后次序。

所述组级填充顺序是指在当前丢失块里，有着相等邻域级可用度的所有像素形成一个像素组，不同的像素组按照一组接一组的顺序进行错误隐藏，有着更高邻域级可用度的像素组将优先进行恢复；所述像素级填充顺序是指在同一个像素组内的所有像素按照lurd先验填充准则进行错误隐藏。

所述邻域级可用度是指在一个丢失像素的十六邻域像素中所有像素级可用度之和，其中，某一像素的像素级可用度的计算方法为：如果某个像素已经被正确接收到，它的像素级可用度被设置为1；对于一个丢失像素，它的像素级可用度被初始化为0，在进行错误隐藏之后，它的像素级可用度也被设置为1；所述lurd先验填充准则是针对同一个像素组内的所有像素，按照先左后右、先上后下的填充顺序逐一进行。

所述步骤(2)具体为：多方向预测器基于当前丢失像素的错误隐藏基本单元，对基本单元可用像素进行联合加权预测；当前丢失像素与基本单元可用像素之间的角度属于梯度幅值累计的八个方向之一，多方向预测器的归一化加权系数正比于当前延拓区域在该方向上的梯度幅值累计，多方向预测器采用八个预测方向上的基本单元可用像素及其权重来估计每个丢失像素；其中，可用像素是指正确接收的像素或者已经隐藏过的像素。

所述错误隐藏基本单元是由当前丢失像素周围的十六个邻域像素组成，当前丢失像素与十六邻域像素之一的连接形成了等角度间隔的八个预测方向。

所述多方向预测器在预测当前丢失像素时，如果面临所有预测项都等于零的情况，则该像素的估计值是周围块中距离最近的可用像素值。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过各向同性梯度检测器统计每个丢失块周围的梯度特征，获得其延拓区域八个方向的梯度分布；随后，通过基于收缩填充次序的非迭代重构机制，逐一对丢失像素进行预测。在恢复每个像素时，多方向预测器基于一个具有十六邻域像素和八预测方向的错误隐藏基本单元，根据该像素的邻域像素可用情况调整预测器的加权系数。相比于其它空域错误隐藏方法，理论分析与实验结果表明，本发明在各种丢失模式下都能够取得较好的整体性能，在计算复杂度和重构质量之间达到了一种具有竞争力和通用的性能折衷。

附图说明

图1是四种典型的块丢失模式图，其中，图1a为规则间隔丢失，图1b为规则连续丢失，图1c为随机突发丢失，图1d为随机行丢失；

图2是一个延拓区域a的示意图；

图3是本发明中所用的各向同性梯度检测器示意图；

图4是一个像素组内所有像素的lurd先验填充准则的示意图；

图5是非迭代收缩填充的示意图；

图6是一个错误隐藏基本单元示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于梯度特征统计与非迭代收缩填充的空域错误隐藏方法，其中，每个丢失块的错误隐藏均采用梯度特征统计和非迭代收缩填充，可分为以下两个步骤：在延拓区域估计丢失块的局部特征信息，获得延拓区域的梯度分布统计；按照收缩填充顺序对丢失块的像素逐一进行恢复，每一像素均采用基于梯度分布加权的多方向预测器进行估计。

基于块的空域错误隐藏不同于图像去噪或目标移除等应用，图像通信的接收端能够获取丢失块在图像中的具体位置。本实施方式采用了序贯恢复框架。序贯恢复相比于并行恢复的主要优势是对于边缘等重要的结构信息具有较好的恢复性能。在序贯恢复框架下，一个丢失像素的重构不仅依赖于正确接收的像素，也依赖于已经隐藏处理过的像素。为了方便描述，“可用”像素表示正确接收的像素或者已经隐藏过的像素；如果某种块丢失情形在接收图像中重复出现，则称之为“规则”丢失。根据相邻块的可用情况，典型的块丢失模式可以分为四种类型：规则间隔丢失模式、规则连续丢失模式、随机突发丢失模式、随机行丢失模式。对于图像块的丢失，图1给出了四种典型的块丢失模式，图中每个方块代表一个8×8或16×16或其它像素大小的图像块，正确接收的块用白色标记，丢失块用黑色标记。如图1a所示，规则间隔丢失模式是一种广泛使用的丢失模式，其中，当前丢失块的8个相邻块都被正确接收。图1b给出了规则连续丢失模式的块分布情形，其中，当前丢失块的四个相邻块被正确接收。图1c给出了随机突发丢失模式的示意图。正如图1d所示，由于一行图像块全部丢失，随机行丢失模式是一种较难恢复的块丢失情形。

一个延拓区域的像素相关性通常被建模为一个条件随机过程，空域错误隐藏可以采用最大后验(map)准则来估计当前丢失块的像素。从统计学的观点来看，错误隐藏问题可以等价为在一个延拓区域内，通过一个可用像素子集{qm}(1≤m≤m)的信息来预测当前丢失像素子集{pk}(1≤k≤k)。k和m的大小关系取决于不同的隐藏策略。{pk}的map估计能够表示为最大化联合条件概率ρ(p1,…,pk|q1,…,qm)，但是k或m的取值范围通常是比较大的，难以进行准确的建模，在实际应用中获得这一联合条件概率几乎是不可能的。由于一个延拓区域通常是一幅图像的小块区域，往往能够近似为成一个准平稳过程，上述map估计的简化策略是基于线性加权的方式预测每个丢失像素。

对于公式(1)中的加权系数αn和βm，自适应系数相比于固定系数能更好地跟踪图像的局部相关性。作为错误隐藏问题的一个通用假设，隐藏方法大都假设合成的边缘在穿越丢失块时是准直线的，因此可以利用多方向插值来恢复受损边缘。在序贯恢复框架下，每个当前丢失块对应着一个延拓区域。正如图2所示，一个延拓区域a含有3×3个块：当前丢失块c位于中心，其它8个块分别属于以下三种类型之一：正确接收的无错块e、已经执行错误隐藏的已隐藏块r、还未进行错误隐藏的后续隐藏块s。

本实施方式通过在当前延拓区域的无错块e和已隐藏块r中执行梯度特征统计过程，累计当前延拓区域的梯度分布。基于无错块e和已隐藏块r，分别累计八个方向中各个方向上的梯度幅值。pi,j表示位为位于坐标(i,j)的像素，梯度检测可以表示如下：

上式中，gx(i,j)和gy(i,j)分别表示在x水平方向和y垂直方向的像素强度变化率。在本实施方式中，各向同性梯度检测器含有两个3×3像素的梯度掩模算子，中心像素pi,j的梯度分量gx(i,j)和gy(i,j)能够通过如下函数进行计算：

上述函数等价于对中心像素pi,j的邻域运用如下两个3×3像素的梯度掩模算子：

对于本实施方式，图3所示的例子说明了如何利用各向同性梯度检测器来计算像素pi,j的水平梯度gx(i,j)和垂直梯度gy(i,j)，其中，各向同性的梯度掩模算子用于计算各个延拓区域的水平或垂直梯度分布。各个邻域像素对中心像素的影响效应并不相同，所以不同的掩模位置有着不同的加权系数。一般来说，距离越远，影响越小。对于各向同性梯度检测器，掩模位置的加权系数与到中心像素的距离成反比，这种特性通常被称为各向同性。在获取中心像素pi,j的梯度分量gx(i,j)和gy(i,j)之后，坐标(i,j)处的梯度幅值可通过如下公式推导：

表示在像素坐标(i,j)处的梯度幅值，对应的梯度角度表示为：

θi,j＝tan^-1(gy(i,j)/gx(i,j))(6)

每个梯度角度被归入到八个方向中的某一个角度，每个方向的角度范围是成对的22.5°。在当前延拓区域的无错块e和已隐藏块r中，每个像素对应的梯度幅值和梯度角度分别通过公式(5)和公式(6)进行计算，由此为八个预测方向累计梯度幅值。在获得延拓区域的梯度分布信息之后，非迭代收缩填充过程将对当前丢失块的所有像素逐一进行多方向预测。

本实施方式中的梯度检测是为了获取延拓区域的梯度分布，丢失像素与邻域像素之间存在八个主要的预测方向。基于一个错误隐藏基本单元，每一丢失像素利用在八个方向的基本单元可用像素及其权重进行加权预测。表示在当前丢失像素xk和它的基本单元可用像素pl所在方向上的梯度幅值，本实施方式通过多方向邻域像素的加权叠加来恢复每个丢失像素：

lk代表在丢失像素xk的错误隐藏基本单元中可用像素集合，δl是一个正比于梯度幅值的加权系数，本实施方式通过基本单元可用像素来预测丢失像素。

对于当前丢失块中的不同像素，它们的填充先后次序会影响最终的恢复质量，因为已经隐藏过的像素可能导致错误扩散。许多错误隐藏方法采用了基于迭代的光栅填充次序，然而迭代重构是非常耗时的，迭代循环的次数通常超过10次。本实施方式预测每个丢失像素仅仅一次，这要求更为精细的填充次序。在大多数情况下，正确接收的像素和已经完成错误隐藏的像素有着相似的利用价值。对于任一像素pl，它的像素级可用度α(pl)被定义为：

如果某个像素已经被正确接收到，它的像素级可用度被设置为1。对于一个丢失像素，它的像素级可用度被初始化为0；在进行错误隐藏之后，它的像素级可用度被设置为1。一般而言，一个丢失像素的恢复质量会随着它的十六邻域像素中可用像素的数量增加而提高。对于一个丢失像素xk，它的邻域级可用度β(lk)被定义为在它的十六邻域像素lk中所有像素级可用度之和，

有着更高邻域级可用度的像素应该被赋予更高的优先权。在当前丢失块里，有着相等邻域级可用度β(lk)的所有像素形成一个像素组，不同的像素组按照一组接一组的顺序进行隐藏。根据当前丢失块内像素组的邻域级可用度，非迭代收缩填充首先恢复第一个像素组，它的像素有着最高的邻域级可用度。当第一个像素组内的所有像素按照lurd先验填充准则进行错误隐藏之后，非迭代收缩填充将恢复第二个像素组，它的像素在丢失块的所有像素中有着第二高的邻域级可用度，第二个像素组的所有像素同样按照lurd先验填充准则进行错误隐藏，以此类推。序贯恢复框架可能导致图像中的错误大致地从左上块向右下块进行扩散。针对同一个像素组内众多像素的填充顺序，图4给出了lurd先验填充准则的示意图，图中每个方框内的数字表示相应像素的填充次序。

在当前丢失块内，位于外层的像素组由于有着较高的邻域级可用度,通常具有更高的优先级，因此收缩填充次序呈现出从外层像素组到内层像素组的大致趋势。图5a给出了对尺寸为8×8像素的当前丢失块进行非迭代收缩填充的一个例子，当前丢失块的周围块都被正确接收，图中颜色越深的像素越晚进行错误隐藏，各像素上对应的数字表示该像素的填充次序。图5b给出了当前丢失块在重构过程中的次序幅度图，有着更高幅度的像素将越晚进行错误隐藏。一组接一组的像素组重构将大致从丢失块的外层向内层进行，同时，丢失像素按照lurd先验填充准则逐个进行恢复，这种像素级的恢复顺序称为“收缩”填充次序。

对于每个延拓区域，本实施方式利用无错块e和已隐藏块r的梯度特征统计，对多方向预测器的加权系数进行局部自适应的调整。在多方向预测当前丢失像素时，可用像素的加权系数正比于当前丢失像素与该可用像素所在方向上的梯度幅值，当存在多个预测方向时，多方向预测器按照各方向上的梯度比例进行联合加权，使恢复的图像块具有与延拓区域类似的结构特征。正如图6所示，本实施方式为每个丢失像素提供了一个错误隐藏基本单元，该单元由一个丢失像素周围的十六邻域像素组成，存在八个等间隔的预测方向，八个方向上的基本单元可用像素用于估计当前丢失像素。

在执行梯度特征统计之后，非迭代收缩填充偶尔会面临一种极端的情况：对于某一像素的多方向预测，公式(7)的所有δl·pl项都等于零。为了解决这一特殊问题，该像素将采用周围块中与之最近的可用像素直接进行估计。填充次序与丢失像素的估计值无关，收缩填充的次序能够在当前块恢复前确定下来。本实施方式可以避免严重的块效应，在受损边缘之间生成自然的过渡效果。

为了评估本实施方式，在标准测试图像上进行了大量的实验，涉及8×8和16×16像素的块尺寸。类似于其它错误隐藏的测试条件，实验采用图1所示的四种典型丢失模式：规则间隔丢失模式(丢失率≤25％)、规则连续丢失模式(丢失率≤50％)、随机突发丢失模式(丢失率≤10％)、随机行丢失模式(丢失率≤15％)。所用随机数生成器采用了同一个缺省种子，以便针对不同图像产生同样的随机突发或随机行丢失。所有测试图像均来自usc-sipi图像数据库(http://sipi.usc.edu/database)：aerial、boat、couple、elaine、house、lena、mandrill、peppers、barbara、lighthouse、crowd、bridge，它们的格式被统一为8位深度的512×512灰度图像。本实施方式与前文所述的其它空域错误隐藏方法进行了比较，这些方法包括pocs、mrf、bi、cad、bbf、oai、slp、oalp、vc、mkde、xfse和heisi。

下面分析本实施方式的计算复杂度。在当前延拓区域a中，错误块e和恢复块r的可用像素用于估计当前丢失块c的梯度分布。梯度特征统计的主要操作是对每个可用像素处进行梯度检测，各向同性梯度检测器的计算复杂度取决于其梯度掩模算子的像素数量a。假设块大小是s²个像素，错误块e和恢复块r的块数量是b，则一个延拓区域包含b×s²个可用像素。因此，梯度特征统计的计算复杂度为o(a×b×s²)。非迭代收缩填充的主要操作是为每一丢失像素进行多方向插值恢复。为了估计当前丢失块c中的一个像素，相应的计算复杂度取决于该像素的十六邻域像素中可用像素的数量d。对于一个丢失块，非迭代收缩填充的计算复杂度为o(d×s²)。因此，本实施方式的整体计算复杂度为o(g×s²)，其中g＝a×b+d。通常，a、b和d都是较小的整数值，因此在面对各种块丢失模式时，本实施方式能够有效地控制计算复杂度。

为了比较不同错误隐藏方法的计算复杂度，在同一实验平台上测试了各种方法的运行时间，该平台配备了inteli7-4600u@2.10ghzcpu、8gb内存、windows764位操作系统、matlabr2016b。由于这些错误隐藏方法采用了相似的基本指令集，它们的matlab程序能够为算法复杂度的评估提供一定的参考。对于每种给定的丢失模式，每种隐藏方法的运行时间都是测试了所有图像后的平均值。本实施方式简称为gsf。就计算复杂度而言，表1显示了不同错误隐藏方法的运行时间比较。bi、bbf、gsf、pocs、mrf和cad可以被归类为低复杂度的隐藏方法，而其它高复杂度隐藏方法的运行时间至少增长了一个数量级。bi和bbf方法具有最低的计算复杂度，但是这两种快速方法并没有引入局部自适应的梯度特征统计机制，导致性能不及本实施方式。除了bi和bbf，本实施方式相比于其它错误隐藏方法始终需要更少的运行时间，具有良好的复杂度性能。

峰值信噪比(psnr)和多尺度结构相似度(ms-ssim)是两种基本的质量评价测度。在本实施方式中，psnr和ms-ssim被用于评价受损图像的客观质量。psnr或ms-ssim的评分越高，则相应的图像质量越好。通过在各种丢失模式下和两种测度下统计所有标准图像的平均性能，表2和表3给出了不同错误隐藏方法的平均质量比较。从这些表中可以观察到，本实施方式与最好质量方法之间的平均差异分别为1.03db的psnr、0.0033的ms-ssim。在所有13种错误隐藏方法中，本实施方式分别取得了第六好的平均psnr、第三好的平均ms-ssim。相比于其它低复杂度的pocs、mrf、bi、cad和bbf方法，本实施方式分别取得了2.91db、0.56db、0.81db、3.33db和0.82db的平均psnr增益，同时取得了0.0378、0.0109、0.0115、0.0419和0.0141的平均ms-ssim增益。

表1在各种丢失模式下，各种错误隐藏方法的平均运行时间(秒)比较

表2在各种丢失模式下，各种错误隐藏方法的平均psnr(db)比较

表3在各种丢失模式下，各种错误隐藏方法的平均ms-ssim比较

不难发现，通过各向同性梯度检测器统计每个丢失块周围的梯度特征，获得其延拓区域八个方向的梯度分布；随后，通过基于收缩填充次序的非迭代重构机制，逐一对丢失像素进行预测。在恢复每个像素时，多方向预测器基于一个具有十六邻域像素和八预测方向的错误隐藏基本单元，根据该像素的邻域像素可用情况调整预测器的加权系数。相比于其它空域错误隐藏方法，理论分析与实验结果表明，本发明在各种丢失模式下都能够取得较好的整体性能，在计算复杂度和重构质量之间达到了一种具有竞争力和通用的性能折衷。