本发明涉及一种图像修复方法，具体涉及一种密文域图像修复方法。
背景技术：
图像修复技术在许多应用领域中皆有运用。如去除不需要的物体或区域，填充图像的缺失部分，也广泛应用于计算机视觉，包括图像恢复、压缩、编辑和合并。图像修复技术也被扩展到与图像相关的应用程序，例如，合成视频和动画。目前的图像修复技术主要分为三类：基于插值的方法(如：FMM算法)，基于偏微分方程的方法(如：TV算法)，和基于样本/块的方法(如：Criminisi算法)。
如今，随着互联网发展，云存储和计算变得普遍。由于有限的存储空间和计算能力，用户可以上传自己的多媒体数据(如图像、视频等)到云端，并将各种数据处理工作外包给云服务器实现。然而，虽然云计算带来了便利，但由于用户普遍希望数据隐私得到保护，故安全问题也同时被提出。因此，一个安全合理的解决方案是在数据上传到云端之前对其进行加密，而云服务器可以在密文域中处理数据。然后，用户再对来自云服务器的接收数据进行解密后，数据可以在明文域中获得理想效果。基于这种应用场景和需求，近几年来，密文域信号的处理得到了广泛的研究。但是，有关修复图像的研究还都集中在明文领域，在密文领域还没有涉及。
技术实现要素：
本发明是为了解决如何实现在密文域中对加密图像进行修复的问题而进行的，目的在于提供一种密文域图像修复方法。
本发明提供了一种密文域图像修复方法，用于在密文域中对遭受掩模图像的破坏而生成的受损图像进行修复，具有这样的特征，包括以下步骤：步骤一，获取待修复加密图像EP、辅助加密图像EJ以及掩模图像θ；步骤二，通过掩模图像θ对待修复加密图像EP进行标记得到受损区域Ω和完好区域Φ；步骤三，对受损区域Ω中的待修复像素c以块为单位计算优先级得到具有最高优先级的目标块步骤四，在辅助加密图像EJ的协助下将目标块与完好区域Φ的所有候选块BS进行块匹配从而在完好区域Φ中找到最佳匹配块步骤五，用最佳匹配块对目标块进行修复从而将待修复加密图像EP更新为初始修复加密图像EP1；步骤六，分别对辅助加密图像EJ、受损区域Ω以及完好区域Φ进行更新；步骤七，重复步骤二～步骤六，直到受损区域Ω全部被修复得到修复加密图像E'P，该修复加密图像E'P为待修复加密图像EP的修复结果。
在本发明提供的密文域图像修复方法中，还可以具有这样的特征：其中，步骤四中，将目标块与候选块BS进行块匹配得到最佳匹配块的过程为：根据辅助加密图像EJ，通过以下公式计算目标块与所每个候选块BS之间的距离，(x,y)表示候选块BS相对于目标块的坐标位移，BS∈Φ，和分别表示辅助加密图像EJ中两个像素m(i1,j1)和m(i2,j2)的加密值，选出距离目标块最近的候选块BS作为最佳匹配块
在本发明提供的密文域图像修复方法中，还可以具有这样的特征：其中，步骤三中，从受损区域Ω中得到目标块的过程为：以待修复像素c为中心的块优先级Oc为表示以待修复像素c为中心的大小为l×l的块Bc中完好像素的个数，表示待修复像素c位于受损区域Ω的边界上，选取块优先级Oc的值最大的块Bc作为目标块
在本发明提供的密文域图像修复方法中，还可以具有这样的特征，还包括：步骤八，对修复加密图像E'P进行局部加权均值滤波处理得到优化加密图像E″P。
在本发明提供的密文域图像修复方法中，还可以具有这样的特征：其中，待修复加密图像EP是由受损图像Id经过Paillier加密算法进行加密处理后得到的图像。
在本发明提供的密文域图像修复方法中，还可以具有这样的特征：其中，辅助加密图像EJ是由受损图像Id经过JohnsonLindenstrauss变换加密处理后得到的图像。
在本发明提供的密文域图像修复方法中，还可以具有这样的特征：其中，由受损图像Id得到辅助加密图像EJ的过程为：将受损图像Id的每个像素m(i,j)，以像素m(i,j)为中心与周围s-1个像素组成一个s-pixels块；对s-pixels块中的像素构建s维向量Ni,j；利用秘钥κJ、大小为k×s的随机矩阵和随机k维噪声矢量σ对向量Ni,j进行加密得到向量Li,j，该向量Li,j为一个像素m(i,j)的加密结果，将受损图像Id的所有像素m(i,j)对应的向量Li,j作为辅助加密图像EJ。
发明的作用与效果
根据本发明所涉及的密文域图像修复方法，因为获取待修复加密图像EP、辅助加密图像EJ以及掩模图像θ后，通过掩模图像θ对待修复加密图像EP进行标记得到受损区域Ω和完好区域Φ，确定受损区域Ω的目标块在辅助加密图像EJ的协助下经过块匹配找出完好区域Φ的最佳匹配块然后用最佳匹配块对目标块进行修复来更新待修复加密图像EP、辅助加密图像EJ、受损区域Ω以及完好区域Φ，重复修复过程直到得到修复加密图像E'P，上述过程完全在密文域中进行，图像的明文信息不会被泄露，私密性强，并且能够得到很好的图像修复效果，具有广阔的应用前景，尤其适用于云计算过程中的图像信息的传输与修复。
附图说明
图1是本发明的实施例中密文域图像修复方法的流程图；
图2是实验组1修复效果比对图；
图3是实验组2修复效果比对图；以及
图4是从图像库中选取的7幅图像。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明密文域图像修复方法作具体阐述。
图像修复者(如具有强大计算能力的云服务器)按照本实施例所涉及的密文域图像修复方法对待修复加密图像EP在密文域中进行修复之前需要先从图像所有者处获得将待修复加密图像EP、辅助加密图像EJ以及掩模图像θ。
图像所有者持有受损图像Id以及掩模图像θ。其中，掩模图像θ是根据受损图像Id得出的用来标记受损图像Id中受损区域和完好区域的图像。由于图像所有者希望图像修复者在密文域中对受损图像Id进行修复，所以，需要图像所有者对受损图像Id进行加密，加密的具体过程如下：
首先，将受损图像Id经过Paillier加密算法进行加密得到待修复加密图像EP，该待修复加密图像EP作为被修复的对象。在本实施例中，受损图像Id采用Paillier加密算法进行加密是为了在后续解密时也采用Paillier加密算法进行解密。在实际应用中，受损图像Id还可以采用其它的算法进行加密，后续解密过程也采用对应的算法进行解密。
其次，将受损图像Id经过JohnsonLindenstrauss图形变换算法(简称JL算法)进行加密得到辅助加密图像EJ。
其中，由受损图像Id得到辅助加密图像EJ的过程为：
(1)将受损图像Id的每个像素m(i,j)，以像素m(i,j)为中心与周围s-1个像素组成一个s-pixels块。
(2)对s-pixels块中的像素构建s维向量Ni,j。
(3)利用JL算法的秘钥κJ、大小为k×s的随机矩阵和随机k维噪声矢量σ对向量Ni,j进行加密得到向量Li,j，
向量Li,j是一个k维向量，表示一个像素m(i,j)的加密结果。
(4)将受损图像Id的所有像素m(i,j)对应的向量Li,j作为辅助加密图像EJ。
图1是本发明的实施例中密文域图像修复方法的流程图。
如图1所示，本实施例所涉及的密文域图像修复方法包括以下步骤：
步骤S1，图像修复者获取待修复加密图像EP、辅助加密图像EJ以及掩模图像θ。
步骤S2，通过掩模图像θ对待修复加密图像EP进行标记得到受损区域Ω和完好区域Φ。
步骤S3，对受损区域Ω中的待修复像素c以块为单位计算优先级得到具有最高优先级的目标块
块优先级计算考虑以下两个条件：
(1)具有较高优先级的块的中心像素应该位于目标区域Ω的边界。
(2)具有较高优先级的块应该有更多完好像素。
这两个条件可以保证修复过程中较完好的块首先被修复，并且偏向于那些连续、强边缘和高信任像素包围的块。
由此，以待修复像素c为中心的块Bc的块优先级Oc为
其中，表示以待修复像素c为中心的大小为l×l的块Bc中完好像素的个数，表示待修复像素c位于受损区域Ω的边界上。
将边界上所有的待修复像素c求块优先级Oc后选取块优先级Oc的值最大的块Bc作为目标块
步骤S4，在辅助加密图像EJ的协助下将目标块与完好区域Φ(或指定范围内)的所有候选块BS进行块匹配从而从完好区域Φ中挑选出最佳匹配块
其具体过程如下：
基于JL变换保持欧式距离的特性，根据辅助加密图像EJ，通过以下公式计算目标块与所每个候选块BS之间的距离，
其中，(x,y)表示候选块BS相对于目标块的坐标位移，BS∈Φ，
和分别表示辅助加密图像EJ中两个像素m(i1,j1)和m(i2,j2)的加密值，即k维向量EJ(i1,j1)和EJ(i2,j2)。D[EJ(i1,j1),EJ(i2,j2)]表示辅助加密图像EJ中两个像素的距离。
因为JL变换中两个密文向量之间的欧氏距离近似于相应明文间的欧氏距离，因此，选出距离目标块最近的候选块BS作为最佳匹配块
步骤S5，用最佳匹配块中对应的补丁Ψs对目标块中的损坏块Ψc进行填充来完成对目标块中受损像素的修复进而将待修复加密图像EP更新为初始修复加密图像EP1，
EP1(i,j)＝EP(i+x*,j+y*)，
(i,j)∈Ψc，
其中，(x*,y*)表示最佳匹配块相对于目标块的坐标位移，EP1(i,j)是加密的受损像素EP(i,j)的填充结果。
步骤S6，分别对辅助加密图像EJ、受损区域Ω以及完好区域Φ进行更新。
其中，辅助加密图像EJ更新为辅助加密图像EJ1，
EJ1(i,j)＝EJ(i+x*,j+y*)，
(i,j)∈Ψc。
受损区域Ω更新为受损区域Ω'，Ω'表示
完好区域Φ更新为完好区域Φ'，Φ'表示
步骤S7，重复步骤S2～步骤S6，直到受损区域Ω全部被修复得到修复加密图像E′P，该修复加密图像E′P为待修复加密图像EP的修复结果。
步骤S8，对修复加密图像E＇P进行局部加权均值滤波处理得到优化加密图像E″P。
对于明文域中的加权均值滤波，受损区域Ω中像c素m(i，j)应替换为m(i，j)本身及其邻近像素的加权平均值：
m′(i，j)＝wi-1，j·m(i-1，j)+wi+1，j·m(i+1，j)+wi，j·m(i，j)+wi，j-1·m(i，j-1)+wi，j+1·m(i，j+1)，
权重可以设置为：wi-1，j＝wi+1，j＝wi，j-1＝wi，j+1＝1/(4+ω)、wi，j＝ω/(4+ω)，其中ω可以是一较小的正整数。
但为了实现加密域的加权均值滤波，基于同态的性质，权重wi，j应修改为整数：
w′i，j＝(4+ω)·wi，j，
根据同态性质，图像修复者可以执行以下操作，实现密文域中受损区域Ω的加权均值滤波：
其中，ρ’(i，j)表示E′P中坐标(i，j)处像素的加密值，ρ”(i，j)是对位于加密域中的ρ’(i，j)的加权均值滤波结果，从而获得最终的优化加密图像E″P。
以上就是图像修复者按照本实施例所涉及的密文域图像修复方法对待修复加密图像EP在密文域中进行修复得到优化加密图像E″P的全部过程。
修复完成之后，图像修复者会把优化加密图像E″P发送给图像所有者或图像所有者授权的接收方。图像所有者或授权的接收方再通过paillier加密算法的私钥进行图像解密，用m’(i,j)表示ρ”(i,j)的解密结果。
由于加权均值滤波过程中权重的化整处理，故受损区域Ω中像素的解密结果m’(i,j)应进一步处理：
相应得到最终的修复图像。
本实施例所涉及的方法的修复效果借助比对待修复图像、受损图像以及修复图像来进行考察。
图2是实验组1修复效果比对图。
图3是实验组2修复效果比对图。
如图2所示，图2(a)表示大小为512×512的待修复图像；图2(b)表示随机生成的掩膜图像；图2(c)表示根据图2(b)对图2(a)进行破坏生成的受损图像图；图2(d)表示将图2(c)分别Paillier算法和JL变换进行加密，其中用JL变换加密后每个像素的密文为一个多维向量，故无法以图像形式显示，而用Paillier算法加密后密文可能超出灰度值的取值范围，为了方便理解将加密结果模256后得到的图；图2(e)表示通过本实施例的方法修复的到的优化加密图像模256后的图；图2(f)表示将图2(e)进行解密得到的修复图片。将图2(f)与待修复图像图2(a)比较，实验组1的峰值信噪比PSNR＝44.65dB，SSIM＝0.9826。SSIM是衡量两幅图片结构相似性的指标，其值越接近1表明，表明两幅图片的相似性越高。
如图3所示，图3中(a)～(f)所表示的含义与图2中(a)～(f)的含义相同，将图3(f)与待修复图像图3(a)比较，实验组2的峰值信噪比PSNR＝42.56dB，SSIM＝0.9615。
综上，实验1和实验2的结果均表明，本实施例所涉及的方法的修复效果。
图4是从图像库中选取的7幅图像。
此外，如图4所示，我们从图像库中选取7幅图像进行实验，分别随机进行损坏，再利用本实施例所涉及的方法在密文域中进行修复，并将得到的解密后的修复图片与三种经典明文域图像修复算法(TV算法、BSCB算法、Criminisi算法)的修复结果进行对比，得到PSNR和SSIM结果如表1所示，
表1算法修复结果比对表
表1的结果表明，本实施例所涉及的的密文域图像修复方法可以有效地应用于云计算的环境中，且在修复质量方面与明文图像的一些先进的修复方法达到相当的水平，且该方法可有效保护图像隐私，这是这些明文图像的修复方法所不具备的。
实施例的作用与效果
根据本实施例所涉及的密文域图像修复方法，因为获取待修复加密图像EP、辅助加密图像EJ以及掩模图像θ后，通过掩模图像θ对待修复加密图像EP进行标记得到受损区域Ω和完好区域Φ，确定受损区域Ω的目标块在辅助加密图像EJ的协助下经过块匹配找出完好区域Φ的最佳匹配块然后用最佳匹配块对目标块进行修复来更新待修复加密图像EP、辅助加密图像EJ、受损区域Ω以及完好区域Φ，重复修复过程直到得到修复加密图像E'P，上述过程完全在密文域中进行，图像的明文信息不会被泄露，私密性强，并且能够得到很好的图像修复效果，具有广阔的应用前景，尤其适用于云计算过程中的图像信息的传输与修复。
进一步地，对修复加密图像E'P进行局部加权均值滤波处理能够避免修复加密图像E'P出现马赛克效应，使得得到的优化加密图像E″P具有更优异的图像效果。
进一步地，通过将利用本实施例所涉及的方法得到的优化加密图像E″P进行解密后得到的修复图像与三种经典明文域图像的修复算法的修复结果进行比较发现，在修复质量方面，本实施例所涉及的方法能够与明文图像的一些先进修复方法达到相当的水平。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。