一种深度神经网络模型的构建方法和装置与流程

文档序号:16136990发布日期:2018-12-01 01:07阅读:187来源:国知局

本发明涉及图像处理领域,尤其涉及一种深度神经网络模型的构建方法和装置。

背景技术

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据。被广泛应用于图像识别,大数据分类等。但是,在大数据的密码分析方面,缺少能破解随机相位加密的算法模型。



技术实现要素:

本发明的主要目的在于提供一种深度神经网络模型的构建方法和装置,可以解决在大数据的密码分析方面,缺少能破解随机相位加密的算法模型的技术问题。

为实现上述目的,本发明第一方面提供一种深度神经网络模型的构建方法,其特征在于,所述方法包括:

步骤a、对多组原始数据进行随机相位加密得到训练数据;

步骤b、利用所述训练数据训练第i-1深度神经网络模型,得到第i深度神经网络模型,及所述训练数据输入所述第i深度神经网络模型后的第i输出结果,并将所述第i输出结果与所述训练数据对应的原始数据进行比对,得到第i比对结果,所述i的初始值为1,且第0深度神经网络模型为初始模型;

步骤c、当所述第i比对结果满足预设收敛条件时,确定所述第i深度神经网络模型为构建的深度神经网络模型;

步骤d、当所述第i比对结果不满足所述预设收敛条件时,令i=i+1,返回执行所述步骤b。

为实现上述目的,本发明第二方面提供一种深度神经网络模型的构建装置,其特征在于,所述装置包括:

第一加密模块,用于对多组原始数据进行随机相位加密得到训练数据;

训练比对模块,用于利用所述训练数据训练第i-1深度神经网络模型,得到第i深度神经网络模型,及所述训练数据输入所述第i深度神经网络模型后的第i输出结果,并将所述第i输出结果与所述训练数据对应的原始数据进行比对,得到第i比对结果,所述i的初始值为1,且第0深度神经网络模型为初始模型;

第一确定模块,用于当所述第i比对结果满足预设收敛条件时,确定所述第i深度神经网络模型为构建的深度神经网络模型;

第一返回模块,用于当所述第i比对结果不满足所述预设收敛条件时,令i=i+1,返回所述训练比对模块。

本发明提供一种深度神经网络模型的构建方法和装置。由于对原始数据进行了随机相位加密,且加密后得到的训练数据输入到深度神经网络模型中,得到的输出结果是与原始数据进行比对的,因此该模型为能够破解随机相位加密的解密模型,解决了缺少能破解随机相位加密的算法模型的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明第一实施例中一种深度神经网络模型的构建方法的流程示意图;

图2为本发明第一实施例中步骤b的细化步骤的流程示意图;

图3为本发明第一实施例中深度神经网络模型的组成示意图;

图4为本发明第一实施例中步骤c之后的追加步骤的流程示意图;

图5为本发明第一实施例中步骤i的细化步骤的流程示意图;

图6为本发明第一实施例提供的双随机相位光学加密示意图;

图7为本发明第一实施例提供的三随机相位光学加密示意图;

图8为本发明第一实施例提供的多随机相位光学加密示意图;

图9为本发明第二实施例中一种深度神经网络模型的构建装置的结构示意图;

图10为本发明第二实施例中训练比对模块20的细化模块的结构示意图;

图11为本发明第三实施例中一种深度神经网络模型的构建装置的结构示意图;

图12为本发明第三实施例中输入计算模块60的细化模块的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

由于现有技术中存在在大数据的密码分析方面,缺少能破解随机相位加密的算法模型的技术问题。

为了解决上述技术问题,本发明提出一种深度神经网络模型的构建方法和装置。由于对原始数据进行了随机相位加密,且加密后得到的训练数据输入到深度神经网络模型中,得到的输出结果是与原始数据进行比对的,因此该模型为能够破解随机相位加密的解密模型,解决了缺少能破解随机相位加密的算法模型的技术问题。

请参阅图1,为本发明第一实施例中一种深度神经网络模型的构建方法的流程示意图。该方法具体包括:

步骤a、对多组原始数据进行随机相位加密得到训练数据;

步骤b、利用训练数据训练第i-1深度神经网络模型,得到第i深度神经网络模型,及训练数据输入第i深度神经网络模型后的第i输出结果,并将第i输出结果与训练数据对应的原始数据进行比对,得到第i比对结果,i的初始值为1,且第0深度神经网络模型为初始模型;

步骤c、当第i比对结果满足预设收敛条件时,确定第i深度神经网络模型为构建的深度神经网络模型;

步骤d、当第i比对结果不满足预设收敛条件时,令i=i+1,返回执行步骤b。

需要说明的是,在深度神经网络模型的构建方法中,优选的,选择对6万组原始数据进行随机相位加密得到6万组训练数据。利用6万组训练数据训练深度神经网络模型,迭代训练500次左右,得到的深度神经网络模型为构建的深度神经网络模型。即将6万组训练数据输入第i深度神经网络模型后得到的第i输出结果,该第i输出结果与训练数据对应的原始数据进行比对,得到的第i比对结果满足预设收敛条件,满足该预设收敛条件的第i深度神经网络模型确定为构建的深度神经网络模型,且i的值在500左右波动。

在本发明实施例中,由于对原始数据进行了随机相位加密,且加密后得到的训练数据输入到深度神经网络模型中,得到的输出结果是与原始数据进行比对的,因此该模型为能够破解随机相位加密的解密模型,解决了缺少能破解随机相位加密的算法模型的技术问题。

请参阅图2,为本发明第一实施例中步骤b的细化步骤的流程示意图。具体的:

步骤e、将训练数据输入第i-1深度神经网络模型中,使训练数据在第一重塑层进行数组重塑,输出第一重塑数据,第i-1深度神经网络模型包括第一重塑层、三层隐藏层、输出层和第二重塑层;

步骤f、第一重塑数据输入由若干神经元组成的三层隐藏层,并输入输出层输出处理数据,处理数据输入第二重塑层进行数组重塑,输出第二重塑数据,神经元的激活函数为线性整流函数,且隐藏层中的神经元个数与第一重塑数据的格式对应,第二重塑数据为训练数据输入第i-1深度神经网络模型后的第i-1输出结果,且第二重塑数据的格式与训练数据的格式相同;

步骤g、基于均方差函数与随机梯度下降函数,对第二重塑数据与训练数据对应的原始数据进行比对,得到比对结果,利用比对结果优化更新第i-1深度神经网络模型,得到第i深度神经网络模型。

需要说明的是,将训练数据输入到第i-1深度神经网络模型中,经过第一重塑层、三层隐藏层、输出层和第二重塑层后,得到的第二重塑数据即为将训练数据输入到第i-1深度神经网络模型后的第i-1输出结果。

具体的,请参阅图3,为本发明第一实施例中深度神经网络模型的组成示意图。优选的,6万组训练数据输入到第i-1深度神经网络模型中,第i-1深度神经网络模型包括第一重塑层、三层隐藏层(分别为隐藏层1、隐藏层2和隐藏层3)、输出层和第二重塑层,6万组训练数据的格式均为28*28像素的加密数据,经过第一重塑层重塑为1*784像素的加密数据,该1*784像素的加密数据即为第一重塑数据。第一重塑数据输入三层隐藏层和输出层输出处理数据,其中,每层隐藏层和输出层均包括784个神经元,784个神经元组成全连接神经网络,且每个神经元的激活函数均为线性整流函数,处理数据的格式为1*784像素的解密数据。处理数据经过第二重塑层重塑为28*28像素的解密数据。基于均方差函数与随机梯度下降函数,对第二重塑数据与训练数据对应的原始数据进行比对,得到比对结果,利用比对结果优化更新第i-1深度神经网络模型,得到第i深度神经网络模型,其中随机梯度下降函数是为了加快训练深度神经网络模型的速度。

需要强调的是,利用比对结果优化更新第i-1深度神经网络模型,主要优化更新三层隐藏层(分别为隐藏层1、隐藏层2和隐藏层3)和输出层,优化更新神经网络中的权重参数,即优化神经元中的参数,使得第i深度神经网络模型输出的第i输出结果,比第i-1深度神经网络模型输出的第i-1输出结果更接近训练数据对应的原始数据。即,对训练数据的解密处理主要在三层隐藏层和输出层中。

在本发明实施例中,通过将训练数据输入第一重塑层、三层隐藏层、输出层和第二重塑层,得到第二重塑数据(即为第i-1输出结果),该第二重塑数据与训练数据对应的原始数据进行比对,得到比对结果,利用比对结果优化更新第i-1深度神经网络模型,得到第i深度神经网络模型。使得深度神经网络模型越来越接近符合要求的解密模型标准,且采用随机梯度下降函数加快了训练深度神经网络模型的速度,提高了训练速率。

请参阅图4,为本发明第一实施例中步骤c之后的追加步骤的流程示意图。具体的:

步骤h、对多组原始数据进行随机相位加密得到测试数据;

步骤i、测试数据输入构建的深度神经网络模型,得到测试输出结果,并计算测试输出结果与测试数据对应的原始数据之间的相关度;

步骤j、当相关度大于等于预设相关系数时,确定深度神经网络模型为正确的解密模型;

步骤k、当相关度小于预设相关系数时,返回执行步骤a。

需要说明的是,请参阅图3。当深度神经网络模型训练500次左右时,训练数据输入第i深度神经网络模型后的第i输出结果,将第i输出结果与训练数据对应的原始数据进行比对,得到第i比对结果,该第i比对结果满足预设收敛条件时,确定第i深度神经网络模型为构建的深度神经网络模型。对另1万组原始数据进行随机相位加密,得到1万组测试数据,将1万组测试数据输入到深度神经网络模型中,得到测试输出结果,计算测试输出结果与测试数据对应的原始数据之间的相关度,当相关度大于等于预设相关系数时,确定深度神经网络模型为正确的解密模型,否则,当相关度小于预设相关系数时,说明深度神经网络模型的构建存在错误,需要重新开始构建深度神经网路模型,即返回执行步骤a,优选的,预设相关系数为0.8。

在本发明实施例中,采用测试数据对构建的深度神经网络模型进行了正确性估量,确保了构建的解密模型的正确性。

请参阅图5,为本发明第一实施例中步骤i的细化步骤的流程示意图。具体的:

步骤l、测试数据输入构建的深度神经网络模型中,使测试数据在第一重塑层进行数组重塑,输出第一重塑数据,深度神经网络模型包括第一重塑层、三层隐藏层、输出层和第二重塑层;

步骤m、第一重塑数据输入由若干神经元组成的三层隐藏层,并输入输出层输出处理数据,处理数据输入第二重塑层进行数组重塑,输出第二重塑数据,第二重塑数据为测试数据输入构建的深度神经网络模型后得到的测试输出结果;

步骤n、利用相关系数函数计算第二重塑数据与测试数据对应的原始数据之间的相关度。

需要说明的是,测试数据输入构建的深度神经网络模型中,经过第一重塑层、三层隐藏层(分别为隐藏层1、隐藏层2和隐藏层3)、输出层和第二重塑层,得到第二重塑数据。该第二重塑数据即为测试数据输入到构建的深度神经网络模型中的测试输出结果。

在本发明实施例中,采用相关系数函数计算第二重塑数据与测试数据对应的原始数据之间的相关度,便于判断构建的深度神经网络模型是否正确。

另外,在本发明第一实施例中,步骤a、对多组原始数据进行随机相位加密得到训练数据,及步骤h、对多组原始数据进行随机相位加密得到测试数据。步骤a与步骤h可以合为一步,即对多组原始数据进行随机相位加密,得到的加密数据分为训练数据与测试数据两部分。因此,训练数据与测试数据的加密方式是一样的,均为随机相位加密。随机相位加密的计算公式为:

e=lct(lct(lct(p×m1)×m2)×…×mn)

其中,e表示训练数据或者测试数据,lct表示线性正则变换,p表示原始数据,m1,m2,…,mn表示随机相位掩膜,n为正整数。

下面分别以双随机相位光学加密、三随机相位光学加密和多随机相位光学加密为例:

请参阅图6,为本发明第一实施例提供的双随机相位光学加密示意图。其加密公式表示为:

e=ift(ft(p×m1)×m2)

其中,p表示原始数据,ft表示傅里叶变换,ift表示逆傅里叶变换,e表示加密数据(包括训练数据和测试数据),m1与m2表示随机相位掩膜。该加密方法使用4f光学系统(即有两个焦距为f的透镜,相距2f,物距为f,相距也为f)实现,p为实值图像,即原始数据,e为加密图像,即加密数据。m1和m2的相角信息是二维正态分布随机数组,其值随机分布于[0,1]之间,两个数组卷积及均值都为0,即这是两个相互独立的随机白噪声。所以,m1和m2就是能够产生相位在[0,2π]之间的随机相位。加密过程中,m1随机相位掩膜紧贴实值图像位于第一个透镜的前焦面上,再在傅里叶变换面上放置m2随机相位掩膜,经过第二个透镜做一次逆傅里叶变换,最终得到加密图像e,该加密数据为广义平稳白噪声。

请参阅图7,为本发明第一实施例提供的三随机相位光学加密示意图。其加密公式表示为:

e=ift(ft(p×m1)×m2)×m3

其中,p表示原始数据,ft表示傅里叶变换,ift表示逆傅里叶变换,e表示加密数据(包括训练数据和测试数据),m1、m2与m3表示随机相位掩膜。该加密方法使用4f光学系统(即有两个焦距为f的透镜,相距2f,物距为f,相距也为f)实现,p为实值图像,即原始数据,e为加密图像,即加密数据。m1、m2与m3的相角信息是二维正态分布随机数组,其值随机分布于[0,1]之间。所以,m1、m2与m3就是能够产生相位在[0,2π]之间的随机相位。加密过程中,m1随机相位掩膜紧贴实值图像位于第一个透镜的前焦面上,再在傅里叶变换面上放置m2随机相位掩膜,经过第二个透镜做一次逆傅里叶变换,在其后焦面上放置m3随机相位掩膜,最终得到加密图像e,该加密数据为近似的广义平稳白噪声。

请参阅图8,为本发明第一实施例提供的多随机相位光学加密示意图。其加密公式表示为:

e=ift(ft(ift(ft(p×m1)×m2)×m3)×λ)×mn

其中,p表示原始数据,ft表示傅里叶变换,ift表示逆傅里叶变换,e表示加密数据(包括训练数据和测试数据),m1、m2、m3…mn表示随机相位掩膜,其中,n为正整数且大于3。该加密方法使用i-f光学系统(即有i/2个焦距为f的透镜,相距2f,物距为f,相距也为f)实现,p为实值图像,即原始数据,e为加密图像,即加密数据。m1、m2、m3…mn的相角信息是二维正态分布随机数组,其值随机分布于[0,1]之间。所以,m1、m2、m3…mn就是能够产生相位在[0,2π]之间的随机相位。加密过程中,m1随机相位掩膜紧贴实值图像位于第一个透镜的前焦面上,再在傅里叶变换面上放置m2随机相位掩膜,经过第二个透镜做一次逆傅里叶变换,在其后焦面上放置m3随机相位掩膜,同理,mn放置在最后透镜的焦平面上,最终得到加密图像e,该加密数据为近似的广义平稳白噪声。

在本发明实施例中,对原始数据进行随机相位加密,虽然随机相位加密的具体方式存在多样性,但是采用本发明中深度神经网络模型的构建方法,可构建破解各种类型的随机相位加密的解密模型,增加了本发明中深度神经网络模型的构建方法的实用性。

请参阅图9,为本发明第二实施例中一种深度神经网络模型的构建装置的结构示意图。具体的:

第一加密模块10,用于对多组原始数据进行随机相位加密得到训练数据;

训练比对模块20,用于利用训练数据训练第i-1深度神经网络模型,得到第i深度神经网络模型,及训练数据输入第i深度神经网络模型后的第i输出结果,并将第i输出结果与训练数据对应的原始数据进行比对,得到第i比对结果,i的初始值为1,且第0深度神经网络模型为初始模型;

第一确定模块30,用于当第i比对结果满足预设收敛条件时,确定第i深度神经网络模型为构建的深度神经网络模型;

第一返回模块40,用于当第i比对结果不满足预设收敛条件时,令i=i+1,返回训练比对模块20。

有关本发明实施例的相关说明,请参阅有关本发明第一实施例的相关说明,这里不再赘述。

在本发明实施例中,由于对原始数据进行了随机相位加密,且加密后得到的训练数据输入到深度神经网络模型中,得到的输出结果是与原始数据进行比对的,因此该模型为能够破解随机相位加密的解密模型,解决了缺少能破解随机相位加密的算法模型的技术问题。

请参阅图10,为本发明第二实施例中训练比对模块20的细化模块的结构示意图。具体的:

第一重塑模块201,用于将训练数据输入第i-1深度神经网络模型中,使训练数据在第一重塑层进行数组重塑,输出第一重塑数据,第i-1深度神经网络模型包括第一重塑层、三层隐藏层、输出层和第二重塑层;

第二重塑模块202,用于第一重塑数据输入由若干神经元组成的三层隐藏层,并输入输出层输出处理数据,处理数据输入第二重塑层进行数组重塑,输出第二重塑数据,神经元的激活函数为线性整流函数,且隐藏层中的神经元个数与第一重塑数据的格式对应,第二重塑数据为训练数据输入第i-1深度神经网络模型后的第i-1输出结果,且第二重塑数据的格式与训练数据的格式相同;

计算更新模块203,用于基于均方差函数与随机梯度下降函数,对第二重塑数据与训练数据对应的原始数据进行比对,得到比对结果,利用比对结果优化更新第i-1深度神经网络模型,得到第i深度神经网络模型。

有关本发明实施例的相关说明,请参阅有关本发明第一实施例的相关说明,这里不再赘述。

在本发明实施例中,通过将训练数据输入第一重塑层、三层隐藏层、输出层和第二重塑层,得到第二重塑数据(即为第i-1输出结果),该第二重塑数据与训练数据对应的原始数据进行比对,得到比对结果,利用比对结果优化更新第i-1深度神经网络模型,得到第i深度神经网络模型。使得深度神经网络模型越来越接近符合要求的解密模型标准,且采用随机梯度下降函数加快了训练深度神经网络模型的速度,提高了训练速率。

请参阅图11,为本发明第三实施例中一种深度神经网络模型的构建装置的结构示意图。除包括本发明第二实施例中第一加密模块10、训练比对模块20、第一确定模块30和第一返回模块40之外,还包括:

第二加密模块50,用于对多组原始数据进行随机相位加密得到测试数据;

输入计算模块60,用于测试数据输入构建的深度神经网络模型,得到测试输出结果,并计算测试输出结果与测试数据对应的原始数据之间的相关度;

第二确定模块70,用于当相关度大于等于预设相关系数时,确定深度神经网络模型为正确的解密模型;

第二返回模块80,用于当相关度小于预设相关系数时,返回第一加密模块50。

有关本发明实施例的相关说明,请参阅有关本发明第一实施例及本发明第二实施例的相关说明,这里不再赘述。

在本发明实施例中,由于对原始数据进行了随机相位加密,且加密后得到的训练数据输入到深度神经网络模型中,得到的输出结果是与原始数据进行比对的,因此该模型为能够破解随机相位加密的解密模型,解决了缺少能破解随机相位加密的算法模型的技术问题。此外,采用测试数据对构建的深度神经网络模型进行了正确性估量,确保了构建的解密模型的正确性。

请参阅图12,为本发明第三实施例中输入计算模块60的细化模块的结构示意图。具体的:

第三重塑模块601,用于测试数据输入构建的深度神经网络模型中,使测试数据在第一重塑层进行数组重塑,输出第一重塑数据,深度神经网络模型包括第一重塑层、三层隐藏层、输出层和第二重塑层;

第四重塑模块602,用于第一重塑数据输入由若干神经元组成的三层隐藏层,并输入输出层输出处理数据,处理数据输入第二重塑层进行数组重塑,输出第二重塑数据,第二重塑数据为测试数据输入构建的深度神经网络模型后得到的测试输出结果;

计算模块603,用于利用相关系数函数计算第二重塑数据与测试数据对应的原始数据之间的相关度。

有关本发明实施例的相关说明,请参阅有关本发明第一实施例及本发明第二实施例的相关说明,这里不再赘述。

在本发明实施例中,采用相关系数函数计算第二重塑数据与测试数据对应的原始数据之间的相关度,便于判断构建的深度神经网络模型是否正确。

另外,第一加密模块10与第二加密模块50中的随机相位加密的计算公式为:

e=lct(lct(lct(p×m1)×m2)×…×mn)

其中,e表示训练数据或者测试数据,lct表示线性正则变换,p表示原始数据,m1,m2,…,mn表示随机相位掩膜,n为正整数。

有关对随机相位加密的相关说明,请参阅有关本发明第一实施例相关说明,这里不再赘述。

在本发明实施例中,对原始数据进行随机相位加密,虽然随机相位加密的具体方式存在多样性,但是采用本发明中深度神经网络模型的构建方法,可构建破解各种类型的随机相位加密的解密模型,增加了本发明中深度神经网络模型的构建方法的实用性。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上为对本发明所提供的一种深度神经网络模型的构建方法和装置的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1