一种基于卷积神经网络的图像可逆信息隐藏方法及系统

1.本技术涉及可逆信息隐藏技术领域，尤其涉及一种基于卷积神经网络的图像可逆信息隐藏方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本技术相关的背景技术信息，不必然构成在先技术。
3.可逆信息隐藏能够将信息嵌入到原始图像中，并且在解密信息及信息提取后能够无损的恢复原始图像和信息。基于这两个优点，可逆信息隐藏被广泛的应用于军事、医学和超分辨率处理领域。
4.目前，可逆信息隐藏技术(rdh)已经有很多种方法。一类主要是在嵌入方法上进行改进，比如差值扩展、直方图平移和误差预测扩展的方法；另一类主要是在预测方式上进行改进，通过不断改进预测的性能提升预测的精度，比如差分预测器、中值边缘方向预测器、梯度自适应预测器、双线性插值预测器等。
5.发明人发现，在可逆信息隐藏过程中，传统的像素预测方法采用线性且只利用一个或者几个相邻像素来预测图像目标像素，其无法利用相邻更多像素相关性，导致预测的准确性不高，从而存在较多的可逆信息隐藏空间。


技术实现要素：

6.针对现有方法存在的目标像素预测准确性和嵌入容量不高的问题，本技术提供一种基于卷积神经网络的图像可逆信息隐藏方法及系统。
7.具体采用如下技术方案：
8.第一方面，本技术实施例提供一种基于卷积神经网络的图像可逆信息隐藏方法，包括：
9.将原始图像分成相互独立的叉集图像和点集图像；
10.利用点集图像预测器提取所述叉集图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的点集图像；确定点集图像与预测的点集图像之间的第一差值信息，将秘密信息嵌入到所述第一差值信息，并与预测的点集图像相加得到第一载秘图像；
11.利用叉集图像预测器提取所述第一载秘图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的叉集图像；确定叉集图像与预测的叉集图像之间的第二差值信息，将秘密信息嵌入到所述第二差值信息，并与预测的叉集图像相加得到第二载秘图像；
12.将所述第一载秘图像与第二载秘图像进行融合得到可逆信息隐藏图像。
13.在一种可能的实施方式中，所述点集图像预测器和叉集图像预测器的结构相同，均采用卷积神经网络；利用卷积神经网络的不同大小的卷积核分别提取目标图像的图像特征，根据图像特征的叠加组合扩大感受野，所述目标图像包括叉集图像和点集图像。
14.在一种可能的实施方式中，所述卷积神经网络包括主干预测网络与辅助预测网
络，在所述主干预测网络中，目标图像经过inception结构的卷积网络输出多种大小不同感受野的图像特征，对图像特征进行通道维度叠加，利用不同通道上的图像特征进行目标像素预测，得到主干预测图像；在辅助预测网络中，目标图像经过特定大小的卷积核进行目标像素的预测，并降维得到辅助预测图像；根据所述主干预测图像和辅助预测图像确定所预测的图像。
15.在一种可能的实施方式中，在所述主干预测网络对图像特征进行通道维度叠加后添加通道注意力机制，以对不同通道上的图像特征进行权重调整。
16.在一种可能的实施方式中，所述通道注意力机制包括eca-net；eca-net使用不降维的gap聚合卷积特征后，自适应选择一维卷积核大小，以学习通道注意力。
17.在一种可能的实施方式中，通过以下方式将秘密信息嵌入到差值信息，所述差值信息包括第一插值信息和第二差值信息：
18.用区域内像素v
i,j
来预测目标像素u
i,j
，预测像素可以表示为：u'
i,j
＝cnn(v
i,j
)；
19.通过预测像素u'
i,j
和u
i,j
两者作差得到d
i,j
：d
i,j
＝u'
i,j-u
i,j
；
20.信息嵌入过程：d
i,j
＝2d
i,j
+b；
21.其中，d
i,j
为扩展后的预测误差，b表示待嵌入的有效载荷，然后d
i,j
根据直方图平移法进行改变；在信息嵌入后，u
i,j
计算为u
i,j
:u
i,j
＝d
i,j
+u'
i,j
；
22.利用预测值u'
i,j
和修改后的像素值u
i,j
，修改后的预测误差值由下式计算：d
i,j
＝u
i,j-u'
i,j
；
23.秘密信息的值为：b＝d
i,j
mod2；
24.原始像素的值为：
25.在一种可能的实施方式中，通过以下方式对可逆信息隐藏图像进行信息提取：
26.将可逆信息隐藏图像分成相互独立的载秘点集图像和载秘叉集图像；根据载秘点集图像和叉集图像预测器，获取预测的载秘叉集图像；确定载秘叉集图像和预测的载秘叉集图像之间的第二载秘差值图像，从所述第二载秘差值图像中提取秘密信息和叉集图像；
27.根据叉集图像和点集图像预测器，获取预测的载秘点集图像；确定载秘点集图像和预测的载秘点集图像之间的第一载秘差值图像，从所述第一载秘差值图像中提取秘密信息和点集图像；
28.将叉集图像和点集图像进行融合得到原始图像。
29.第二方面，本技术实施例提供一种基于卷积神经网络的图像可逆信息隐藏系统，包括：
30.图像划分模块，用于将原始图像分成相互独立的叉集图像和点集图像；
31.第一载秘图像获取模块，用于利用点集图像预测器提取所述叉集图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的点集图像；确定点集图像与预测的点集图像之间的第一差值信息，将秘密信息嵌入到所述第一差值信息，并与预测的点集图像相加得到第一载秘图像；
32.第二载秘图像获取模块，利用叉集图像预测器提取所述第一载秘图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的叉集图像；确定叉集图像与预测的叉集图像之间的第二差值信息，将秘密信息嵌入到所述第二差值信息，并与预测的叉集图像相加
得到第二载秘图像；
33.融合模块，用于将所述第一载秘图像与第二载秘图像进行融合得到可逆信息隐藏图像。
34.第三方面，本技术实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的基于卷积神经网络的图像可逆信息隐藏方法的步骤。
35.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的基于卷积神经网络的图像可逆信息隐藏方法的步骤。
36.本技术的有益效果是：
37.1、本技术在进行可逆信息隐藏时，将原始图像分成相互独立的叉集图像和点集图像，分别对叉集图像和点集图像进行预测，基于原始的图像和预测的图像的差值信息生成可逆信息隐藏图像，并且在预测过程中，提取图像的不同大小感受野的图像特征，进行通道叠加，能够更加充分地利用像素之间相关性，提高目标像素的预测精度，从而能够大幅提升嵌入容量。
38.2、在相同图像下经过卷积深网络误差预测，相比传统的误差预测如med等预测器，不仅在空间上扩大了感受野的范围，更高的利用像素之间相关性，而且在基于卷积神经网络的通道上加入注意力机制，增强通道间像素之间相关性，提高了卷积神经网络预测性能，增加信息的嵌入容量。
附图说明
39.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
40.图1是本发明实施例所提供的基于卷积神经网络的图像可逆信息隐藏方法的流程示意图；
41.图2是本技术实施例所提供的信息嵌入流程示意图；
42.图3是本技术实施例所提供的卷积神经网络预测器的网络结构示意图；
43.图4是本技术实施例所提供的eca-net网络结构流程示意图；
44.图5是本技术实施例所提供的信息提取流程示意图；
45.图6是本技术实施例所提供的卷积神经网络第一次误差分布直方图；
46.图7是本技术实施例所提供的卷积神经网络第二次误差分布直方图；
47.图8是本技术实施例所提供的传统med误差分布直方图；
48.图9是本技术实施例所提供的基于卷积神经网络的图像可逆信息隐藏系统的结构示意图；
49.图10是本技术实施例所提供的一种计算机设备的结构示意图。
具体实施方式
50.下面结合附图与实施例对本技术作进一步说明。
51.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
52.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
53.实施例一
54.如图1中所示，基于传统预测器存在的目标像素预测准确性和嵌入容量不高的问题，本技术提供了一种基于卷积神经网络的图像可逆信息隐藏方法，具体包括以下步骤：
55.s101：将原始图像分成相互独立的叉集图像和点集图像。
56.在具体实施中，将原始图像分割成不重叠，大小相同的图像块，将图像块分为相互独立的叉集图像和点集图像，一组集合内的像素的变化不会影响另一组。
57.s102：利用点集图像预测器提取所述叉集图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的点集图像；确定点集图像与预测的点集图像之间的第一差值信息，将秘密信息嵌入到所述第一差值信息，并与预测的点集图像相加得到第一载秘图像；
58.s103：利用叉集图像预测器提取所述第一载秘图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的叉集图像；确定叉集图像与预测的叉集图像之间的第二差值信息，将秘密信息嵌入到所述第二差值信息，并与预测的叉集图像相加得到第二载秘图像；
59.s104：将所述第一载秘图像与第二载秘图像进行融合得到可逆信息隐藏图像。
60.在具体实施中，如图2中所示，信息嵌入过程概述如下：
61.(1)首先将图像i分割为棋盘型“点”集p1和“叉”集f1。
62.(2)利用卷积神经网络在第一阶“叉”集合f1预测“点”p1集合，预测出的“点”集与原始“点”集合进行作差得到差值信息m1，将秘密信息s1嵌入到差值信息m1，再将差值信息m1加到预测的“点”集图像得到载秘“点”集合p1'；第二阶段利用载秘的“点”集合p1’预测“叉”集合f1，预测出的“叉”集与原始“叉”集合进行作差得到差值信息m2，将秘密信息s2使用误差预测扩展技术嵌入到差值信息m2，再将差值信息m2加到预测的“叉”集图像f1’。
63.(3)经过两阶段分别嵌入秘密信息相加后得到最终的载秘图像im。
64.这样，在进行可逆信息隐藏时，将原始图像分成相互独立的叉集图像和点集图像，分别对叉集图像和点集图像进行预测，基于原始的图像和预测的图像的差值信息生成可逆信息隐藏图像，并且在预测过程中，提取图像的不同大小感受野的图像特征，进行通道叠加，利用更大范围的周围像素通过非线性变换提高目标像素的预测精度，从而大幅提升嵌入容量。
65.作为一可选实施方式，为了提高卷积神经网络对目标像素的预测精度，所述点集图像预测器和叉集图像预测器的结构相同，均采用卷积神经网络；利用卷积神经网络的不同大小的卷积核分别提取目标图像的图像特征，根据图像特征的叠加组合扩大感受野，所
述目标图像包括叉集图像和第一载秘图像。
66.可选的，所述卷积神经网络包括主干预测网络与辅助预测网络，在所述主干预测网络中，目标图像经过inception结构的卷积网络输出多种大小不同感受野的图像特征，对图像特征进行通道维度叠加，利用不同通道上的图像特征进行目标像素预测，得到主干预测图像；在辅助预测网络中，目标图像经过特定大小的卷积核进行目标像素的预测，并降维得到辅助预测图像；根据所述主干预测图像和辅助预测图像确定所预测的图像。
67.在具体实施中，本实施例使用主干预测与辅助预测两个预测器对目标像素进行预测，以利用点集图像来预测叉集图像为例，具体包括以下步骤：
68.(1)目标图像首先经过卷积核大小为5*5与3*3拼接起来得到7*7的感受野，初步提取图像特征。
69.(2)主干预测网络：提取的图像特征进入inception结构的卷积网络。分别经过4个卷积核大小1*1，通道数为32的卷积进行降维，降维后能够更加紧凑的网络结构。降维后的图像特征分别经过卷积核大小为3*3、5*5、7*7卷积核进行组合，能够分别得到感受野分别大小分别为5*5、7*7、9*9的感受野。
70.(3)对inception结构输出后的4种大小不同感受野图像特征，在第二个维度进行拼接叠加(32+32+32+32＝128)便在得到128维的图像特征，即图像通道数为128。
71.(4)作为一可选实施方式，为了充分利用经过不同感受野在通道维度叠加后的图像特征，添加通道注意力机制，以对不同通道上的图像特征进行权重调整。可选的，本实施例引入eca-net对重要通道上的特征图像加强权重，同理，削减图像特征表达弱的通道权重。
72.(5)对经过eca-net提取出的重要通道特征图像使用5*5与3*3的卷积核对目标像素预测，得到主干预测“叉”集图像，与目标“叉”集图像计算得主干mseloss1。
73.(6)辅助预测网络：对(1)输出的特征图像输入卷积大小为5*5卷积像素预测，在经过1*1卷积降维得到辅助预测“叉”集图像，与目标“叉”集图像计算的辅助mseloss2。
74.(7)最后，预测“叉”集图像与目标“叉”集图像的loss为：
75.mseloss＝mseloss1+λ
×
mseloss2；(λ为常数，λ＝0.2)
76.通过训练卷积神经网络预测器利用像素之间的强相关性，将一半像素预测另一半目标像素值。通过采用卷积核大小为3*3、5*5、7*7进行不同的叠加组合来获得卷积神经网络的5*5、7*7、9*9、11*11的感受野范围。卷积神经网络结构如图3中所示。
77.为了提高卷积神经网络的性能，本实施例使用的eca-net通道注意力网络结构如图4中所示，使用该通道注意力网络计算一个权重，将该权重与特征图进行运算，对这个特征图的通道特征进行校正改变。
78.这里，eca-net使用不降维的gap聚合卷积特征后，首先使用自适应的大小为k的卷积核，然后进行一维卷积，再进行sigmoid学习通道注意力。为保证效率和有效性，使用局部跨通道交互使用频带矩阵wk来学习通道注意力。wk的具体表示如下：
79.80.其中，k为卷积核大小，c为通道数。
81.output＝σ(c1dk(y))；
82.其中，y为未加入注意力之前的特征图像，c1d表示一维卷积，σ表示sigmoid激活函数，output为加入注意力后的输出图像。
83.下表列出了卷积神经网络的详细参数：
84.表1卷积神经网络详细参数
[0085][0086][0087]
传统的误差预测技术利用相邻的几个像素预测目标像素，不能很好的考虑相邻像素之间的相关性。本实施例利用像素区域内像素进行对目标像素进行预测，假设目标像素为u
i,j
，使用目标像素周围像素v
i,j
。
[0088]
原始图像的所有像素分为两组：“叉”集和“点”集。在第一阶段叉集用来预测，点集用来信息嵌入；在第二阶段，点集用来预测，叉集用来信息嵌入。因此，可以通过以下方式将秘密信息嵌入到差值信息，所述差值信息包括第一插值信息和第二差值信息：
[0089]
用区域内像素v
i,j
来预测目标像素u
i,j
，预测像素可以表示为：u'
i,j
＝cnn(v
i,j
)；
[0090]
通过预测像素u'
i,j
和u
i,j
两者作差得到d
i,j
：d
i,j
＝u'
i,j-u
i,j
；
[0091]
信息嵌入过程：d
i,j
＝2d
i,j
+b；
[0092]
其中，d
i,j
为扩展后的预测误差，b表示待嵌入的有效载荷，然后d
i,j
根据直方图平移法进行改变；在信息嵌入后，u
i,j
计算为u
i,j
:u
i,j
＝d
i,j
+u'
i,j
；
[0093]
利用预测值u'
i,j
和修改后的像素值u
i,j
，修改后的预测误差值由下式计算：d
i,j
＝u
i,j-u'
i,j
；
[0094]
秘密信息的值为：b＝d
i,j
mod2；
[0095]
原始像素的值为：
[0096]
作为一可选实施方式，通过以下方式对可逆信息隐藏图像进行信息提取：
[0097]
将可逆信息隐藏图像分成相互独立的载秘点集图像和载秘叉集图像；根据载秘点集图像和叉集图像预测器，获取预测的载秘叉集图像；确定载秘叉集图像和预测的载秘叉集图像之间的第二载秘差值图像，从所述第二载秘差值图像中提取秘密信息和叉集图像；
[0098]
根据叉集图像和点集图像预测器，获取预测的载秘点集图像；确定载秘点集图像和预测的载秘点集图像之间的第一载秘差值图像，从所述第一载秘差值图像中提取秘密信息和点集图像；
[0099]
将叉集图像和点集图像进行融合得到原始图像。
[0100]
在具体实施中，如图5所示，信息提取是嵌入流程的逆变换，信息提取流程如下：
[0101]
(1)在信息的提取端，分别将载秘图像分割为棋盘形状的“点”集和“叉”集。
[0102]
(2)第一步：通过利用载密“点”集和训练过程中的卷积神经网络模型进行预测嵌入第二阶段的“叉”集，将预测“叉”集与载秘“叉”集作差得到差值图像m2，同时利用差值图像m2中提取出秘密信息s2和原始差集图像；第二步将提取过程与第一步操作相同。
[0103]
(3)载秘图像im经过步骤(2)提取秘密信息后得到秘密信息和原始图像i。
[0104]
在相同图像下经过卷积深网络误差预测，相比传统的误差预测如med等预测器，不仅在空间上扩大了感受野的范围，更高的利用像素之间相关性，而且在基于卷积神经网络的通道上加入注意力机制，增强通道间像素之间相关性，提高了卷积神经网络预测性能，增加信息的嵌入容量。
[0105]
分别选取mse、均值、方差作为预测器预测性能的评价标准，可以得出，基于卷积神经网络远高于传统的预测性能。
[0106]
卷积神经网络误差预测和传统med预测器分别在lena图像上预测性能进行比较，其比较结果如下表所示：
[0107]
表2预测性能比较
[0108] 卷积神经网络预测器传统med预测器mse7.872150.7138均值-0.016-0.0384方差7.871850.7125
[0109]
并且，如图6-8所示，卷积神经网络的两次误差预测峰值点远高于med预测器在lena图像上的误差预测图像与目标像素的差值图像峰值点。
[0110]
实施例二
[0111]
请参阅图9，图9是本技术实施例所提供的人群疏散拥塞传播预测系统，如图9中所示，本技术实施例还提供一种基于卷积神经网络的图像可逆信息隐藏系统900，包括：
[0112]
图像划分模块910，用于将原始图像分成相互独立的叉集图像和点集图像；
[0113]
第一载秘图像获取模块920，用于利用点集图像预测器提取所述叉集图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的点集图像；确定点集图像与预测的点集图像之间的第一差值信息，将秘密信息嵌入到所述第一差值信息，并与预测的点集图像相加得到第一载秘图像；
[0114]
第二载秘图像获取模块930，利用叉集图像预测器提取所述第一载秘图像的不同大小感受野的图像特征，并进行通道叠加，得到预测的叉集图像；确定叉集图像与预测的叉集图像之间的第二差值信息，将秘密信息嵌入到所述第二差值信息，并与预测的叉集图像
相加得到第二载秘图像；
[0115]
融合模块940，用于将所述第一载秘图像与第二载秘图像进行融合得到可逆信息隐藏图像。
[0116]
实施例三
[0117]
请参阅图10，图10是本技术实施例的一种计算机设备的示意图。如图10中所示，所述计算机设备1000包括处理器1010、存储器1020和总线1030。
[0118]
所述存储器1020存储有所述处理器1010可执行的机器可读指令，当计算机设备1000运行时，所述处理器1010与所述存储器1020之间通过总线1030通信，所述机器可读指令被所述处理器1010执行时，可以执行如上述图1至图5所示方法实施例中的基于卷积神经网络的图像可逆信息隐藏方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
[0119]
实施例四
[0120]
基于同一发明构思，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中所述的基于卷积神经网络的图像可逆信息隐藏方法的步骤。
[0121]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0122]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。