基于四元数卷积神经网络的图像鲁棒性哈希认证方法

本发明主要涉及到技术领域，特指一种基于四元数卷积神经网络的图像鲁棒性哈希认证方法。

背景技术：

随着电子设备的不断发展和广泛普及，不但为人们的生活带来了便利，同时也诞生出了许多新问题。例如，海量数据给服务器存储带来巨大压力，尤其是存储空间不足的问题；即，由于多个用户在服务器上重复存储相同的图片，就容易引起存储空间不足。同时，网络上的大量超高清图片在传输过程中可能会遭到破坏，攻击者恶意篡改图片而没有改变图片的原始语义信息。因此，有必要研究和探索一种新的、有效的图像压缩和图像认证技术方法。

为了解决图像认证的问题，有从业者提出了许多解决方案，取得了一定的效果。例如，对于图像认证，数字水印是有效的解决方案之一。数字水印可以有效地嵌入图像中，但是图像本身在视觉上没有太大变化。使用者可以通过检测水印来确定图像是否已更改，从而对图像进行身份验证。但是，在一些具体应用环境下，某些应用程序不允许图像内容和质量有任何细微变换。

通过图像哈希的性质可以有效地减轻存储和检索的压力。同时，良好的图像哈希算法是鲁棒的和可区分的，并且可以处理图像认证的问题。“健壮性”是指视觉上相似图像的图像哈希应该相同或相似。所以，图像哈希可以抵抗不同的数字操作，这样就保证可以更快地检索相似的图像，从而减少了重复图片的存储和减轻了服务器的压力。而“区分性”意味着不同的图像应产生不同的哈希序列。

现有的图像手工哈希方法可以分为四大类：基于正交变换(dct，dwt，dft)的哈希方法、基于直方图的哈希方法、基于拉东变换的哈希方法、基于降维(svd，nmf)的哈希方法。这些已知的图像哈希认证方法主要存在以下缺点和不足：

(1)在执行之前通常会将彩色图像转换为灰度图然后再进一步处理，这样会损失掉彩色图像的通道之间的结构信息和色度信息。

(2)手工哈希无法捕获现实数据中出现的剧烈外观变化下的语义信息，从而限制了学习的哈希编码的认证效果。

技术实现要素：

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种特征描述更精确、具有有鲁棒性和区分性的基于四元数卷积神经网络的图像鲁棒性哈希认证方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于四元数卷积神经网络的图像鲁棒性哈希认证方法，其步骤包括：

步骤s1：彩色图像预处理；即将图像的大小进行处理，将图像的rgb数据输入四元数矩阵；对图像添加噪声，并将图像数据和噪声数据总的分为训练数据和测试数据；

步骤s2：建立彩色图像的四元数卷积神经网络；

步骤s3：对彩色图像进行图像认证。

作为本发明方法的进一步改进：所述步骤s1包括：

步骤s101：将彩色图像数据库中的每幅图像都通过双线性插值法将图像的大小统一固定到n×n；

步骤s102：将大小为n×n的彩色图像t的rgb三个通道的数据分别赋值给n×n的四元数矩阵qt的三个虚部，即纯四元数q＝0+r(t)i+g(t)j+b(t)k；其中，i，j，k是三个虚数单位，r(t)，g(t)和b(t)分别表示彩色图像t的r分量，g分量，b分量；

步骤s103：对图片添加噪声，将图像数据和噪声数据总的分为训练数据d1和测试数据d2。

作为本发明方法的进一步改进：所述步骤s103中添加的噪声包括高斯噪声、图片旋转、缩放中的一种或多种。

作为本发明方法的进一步改进：所述步骤s103中的训练数据d1和测试数据d2满足0＜d2＜d1。

作为本发明方法的进一步改进：所述步骤s2包括：

步骤s201：采用四元数卷积神经网络作为图像哈希的基本网络结构；

步骤s202：每次训练迭代将从图像数据库d1中选取64组图像，每组图像三张图片，并将图像上人工标注的标签信息同时作为模型的输入，用于判断图像之间的相似性；

步骤s203：在每次迭代中，64组图像中每组图像均包含原图、相似图片、不相似图片三张图片；通过同时输入的标签信息，计算连续性编码三元组损失函数；

步骤s204：根据每幅图像输入进四元数卷积神经网络后、再量化后得到的哈希编码，进行量化损失计算和量化后的三元组损失计算；

步骤s205：计算出每次迭代的图像的所有损失，即连续性编码三元组损失、量化损失、量化后的三元组损失的累加；然后，使用随机梯度下降算法和反向传播算法来对四元数卷积神经网络模型的参数进行更新，迭代进后，得到优化好的四元数卷积神经网络模型。

作为本发明方法的进一步改进：所述步骤s205中，所述连续性编码三元组损失通过如下损失函数计算：

其中，k为最后一层输入的维度，设输入的三张图片原图、相似图片、不同图片分别为i^o，i^s，i^d，其对应的连续性哈希编码为h^o，h^s，h^d；定义一个阈值α，当相似图片对的欧式距离大于不同图片对的欧式距离，或者相似图片对的欧式距离加上阈值α大于不同图片对的欧式距离时，才对该损失函数有贡献，否则函数值为零。

作为本发明方法的进一步改进：所述步骤s205中，所述量化损失通过如下损失函数计算：通过量化得到二进制编码，量化过程如下，设输入图片通过模型生成的连续性哈希编码为h，量化函数：

其中，hk与h1比较得出最后一位的二进制编码，用于计算最后一层输出与量化后的二进制编码的差值；具体的量化损失函数如下：

作为本发明方法的进一步改进：所述步骤s205中，量化后的三元组损失通过如下损失函数计算：

其中，k为最后一层输入的维度，设输入的三张图片原图、相似图片、不同图片分别为i^o，i^s，i^d，其对应的二进制哈希编码为hb^o，hb^s，hb^d；定义一个阈值ε，当相似图片对的欧式距离大于不同图片对的欧式距离，或者相似图片对的欧式距离加上阈值ε大于不同图片对的欧式距离时，才对该损失函数有贡献，否则函数值为零。

作为本发明方法的进一步改进：所述步骤s3中，四元数卷积神经网络所生成的图像哈希集合，分别建立近似图像集的哈希距离分布图和不同图像集的哈希距离分布图，其中哈希距离以汉明距离计算；通过观察分布图得出近似图像对与不同图像对的距离最佳的阈值λ，之后将通过图像对之间的距离与阈值的比较完成图像认证任务。

与现有技术相比，本发明的优点在于：

1、本发明的基于四元数卷积神经网络的图像鲁棒性哈希认证方法，通过利用四元数卷积神经网络，将图像的特征学习与哈希函数的学习整合到一个端到端的过程中，实现了图像特征与哈希函数的联合优化，克服了传统哈希方法学习到的哈希编码与图像特征不符的缺点。通过将rgb图像转换为四元数矩阵，能够更好地保留彩色图像通道间的结构信息和色度信息。

2、本发明的基于四元数卷积神经网络的图像鲁棒性哈希认证方法，同时考虑了图像间的相似性和不同性，在哈希编码过程中保留了图像的语意信息以及欧式空间到海明空间量化误差的最小化，从而得到高质量的图像哈希编码，

3、本发明的基于四元数卷积神经网络的图像鲁棒性哈希认证方法，在ucid和imagenet数据集上，当图像编码为64，128，256，512比特时，平均auc值分别达到96％，98％，99.3％，99.8％。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中的应用原理示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

首先对本发明所涉及的四元数及四元数卷积神经网络做一个简要说明：

(a)四元数作为一种超复数，是复数的扩展形式，被解释在三维空间，四元数可以表示一个实部和三个虚部：

其中三个虚部满足一下性质：

i²＝j²＝k²＝ijk＝-1，

j＝-ji＝k，jk＝-kj＝i，ki＝-ik＝j.

四元数的相关运算：

加法：

共轭：

模运算：

(b)四元数卷积神经网络：

rgb彩色图像被表示二维纯四元数矩阵：

其中r，g，b分别代表彩色图像的三个通道。大小l×l为四元数卷积核θll’∈[-π，π]和μ是单位纯四元数四元数神经网络的卷积如下：

如图1和图2所示，本发明的基于四元数卷积神经网络的图像鲁棒性哈希认证方法，其步骤包括：

步骤s1：彩色图像预处理；即将图像的大小进行处理，将图像的rgb数据输入四元数矩阵；对图像添加噪声，并将图像数据和噪声数据总的分为训练数据和测试数据；

步骤s2：建立彩色图像的四元数卷积神经网络；

步骤s3：对彩色图像进行图像认证。

在具体应用实例中，本发明的步骤s1可以包括：

步骤s101：将彩色图像数据库中的每幅图像都通过双线性插值法将图像的大小统一固定到n×n。

步骤s102：将大小为n×n的彩色图像t的rgb三个通道的数据分别赋值给n×n的四元数矩阵qt的三个虚部，即纯四元数q＝0+r(t)i+g(t)j+b(t)k；其中，i，j，k是三个虚数单位，r(t)，g(t)和b(t)分别表示彩色图像t的r分量，g分量，b分量；三者的取值范围均在0-255之间。

步骤s103：为了模拟内容篡改，对图片添加58种噪声，在具体应用时可以包括高斯噪声、图片旋转、缩放等。然后，将图像数据和噪声数据总的分为训练数据d1和测试数据d2，且0＜d2＜d1。

在具体应用实例中，本发明的步骤s2可以包括：

步骤s201：采用四元数卷积神经网络作为图像哈希的基本网络结构。

步骤s202：每次训练迭代将从图像数据库d1中选取64组图像，每组图像三张图片，并将图像上人工标注的标签信息同时作为模型的输入，用于判断图像之间的相似性；共迭m次，如所述m为10000。

步骤s203：在每次迭代中，64组图像中每组图像都是包含了原图、相似图片、不相似图片三张图片。通过同时输入的标签信息，计算连续性编码三元组损失函数。

步骤s204：根据每幅图像输入进四元数卷积神经网络再量化后得到的哈希编码，进行量化损失计算和量化后的三元组损失计算。

步骤s205：计算出每次迭代的图像的所有损失，即连续性编码三元组损失、量化损失、量化后的三元组损失的累加；然后，使用随机梯度下降算法和反向传播算法来对四元数卷积神经网络模型的参数进行更新，迭代进行m次后，得到优化好的四元数卷积神经网络模型。

在具体应用实例中，所述步骤s205中，所述连续性编码三元组损失通过如下损失函数计算：

其中，k为最后一层输入的维度，设输入的三张图片原图，相似图片，不同图片分别为i^o，i^s，i^d，其对应的连续性哈希编码为h^o，h^s，h^d；定义一个阈值α，当相似图片对的欧式距离大于不同图片对的欧式距离，或者相似图片对的欧式距离加上阈值α大于不同图片对的欧式距离时，才对该损失函数有贡献，否则函数值为零。

在具体应用实例中，本发明的步骤s3中，四元数卷积神经网络所生成的图像哈希集合，分别建立近似图像集的哈希距离分布图和不同图像集的哈希距离分布图，其中哈希距离以汉明距离计算。通过观察分布图得出近似图像对与不同图像对的距离最佳的阈值λ，之后将通过图像对之间的距离与阈值的比较完成图像认证任务.

在具体应用实例中，所述步骤s205中，所述量化损失通过如下损失函数计算：

由于四元数卷积神经网络模型的最终输出为浮点数，因此需要通过量化得到二进制编码，量化过程如下，设输入图片通过模型生成的连续性哈希编码为h，量化函数：

其中，hk与h1比较得出最后一位的二进制编码，为了减小从欧式空间到海明空间映射导致的量化误差，需要量化损失函数：用于计算最后一层输出与量化后的二进制编码的差值。具体的量化损失函数如下：

量化损失函数：

在具体应用实例中，所述量化后的三元组损失通过如下损失函数计算：

其中，k为最后一层输入的维度，设输入的三张图片原图，相似图片，不同图片分别为i^o，i^s，i^d，其对应的二进制哈希编码为hb^o，hb^s，hb^d；定义一个阈值ε，当相似图片对的欧式距离大于不同图片对的欧式距离，或者相似图片对的欧式距离加上阈值ε大于不同图片对的欧式距离时，才对该损失函数有贡献，否则函数值为零。

三个损失函数同时对最后一层输出及二值化的编码进行计算，每幅图像的损失累加后，进行反向传播，更新四元数卷积神经网络模型的参数。

综上所述，本发明利用一个四元数卷积神经网络作为基本框架来学习二值码，并且学习到的二值码满足一下要求：

(1)鲁棒性：原图和经过噪声污染后的图片应编码成相似的哈希码，从而对抗图像的内容篡改操作。

(2)区分性：不相似的图片对应的哈希码也不相似，从而保证不会发生重复存储。

(3)欧式空间到海明空间的量化误差尽可量最小化。在图像认证过程中，图像输入到已经优化好的四元数卷积神经网络来计算图像对应的哈希码，然后通过计算二值码之间的海明距离来认证图像。

本发明为了保留彩色图像三个通道数据的结构信息和彩色图像的色度信息，将彩色图像从rgb空间转换为四元数矩阵的表示形式，来解决传统手工哈希中割裂图像各个通道的相关性的问题，同时解决手工哈希不能很好地获取图像的语义信息的问题，提供一种基于四元数卷积神经网络的彩色图像鲁棒性哈希认证方法。本发明通过构造四元数神经网络，能够结合三个通道之间的相关性，使得彩色图像内容特征描述更为精确，最终的哈希编码具有鲁棒性和区分性，具有较高的彩色图像认证作用。

本发明以一个具体应用例进行详细说明，以ucid的图像数据集为例，进行进一步的说明。如图像数据集包含1338张图片。首先，随机选取1000张图片，给每张图片都经过不同的噪声数据生成新的数据，总训练集即1000+1000*58＝59000张图片，测试集338+338*59＝20280张图片。

接下来，建立好四元数卷积神经网络模型后，最后一层输出的单元数量为图像编码的哈希长度。

然后，对上述设置好的四元数卷积神经网络模型进行参数的优化。该过程进行10000次的迭代，每次迭代随机从训练集图像中选取三张图像(原图、加噪图、不相似图像)进入模型中，经过前向传播，在最后一层得到还未二值化的哈希编码。利用上述定义的三个损失函数计算损失，通过随机梯度下降和反向传播算法来更新四元数卷积神经网络的参数。

最后，利用上述优化后的四元数卷积神经网络对训练集中的所有图像进行哈希编码，对测试集中的带编码图像，输入到模型中，得到其哈希编码。

通过四元数卷积神经网络所生成的图像哈希集合，分别建立近似图像集的哈希距离分布图和不同图像集的哈希距离分布图，其中哈希距离以汉明距离计算。通过观察分布图得出近似图像对与不同图像对的距离最佳的阈值λ，之后将通过图像对之间的距离与阈值的比较完成图像认证任务。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。