技术特征：
1.一种模拟树突棘变化的神经网络架构的构建方法，其特征在于，包括以下步骤：使用神经网络模拟高等动物出生时大脑中的树突棘，并使用邻接矩阵储存所述神经网络的权重，生成权重矩阵，其中，所述神经网络为有向无环神经网络且所述神经网络包括的节点之间两两互相连接，所述权重矩阵包括输入层权重矩阵、隐层所有神经元之间的连接矩阵、输出层权重矩阵；对所述权重矩阵进行初始化，模拟所述高等动物成长发育时大脑中的树突棘的剪枝过程，生成初始化后的权重矩阵；获取训练样本，并将所述训练样本分为若干组，每组包含相同数量的训练样本，其中，所述训练样本包括样本特征向量以及期望的预测向量；将所述若干组中的每一组输入所述初始化后的权重矩阵中进行训练，模拟所述高等动物的学习过程，生成训练好的权重矩阵；将所述训练好的权重矩阵转换为真实网络架构，所述真实网络架构表示所述高等动物经过学习后的大脑的树突棘。2.如权利要求1所述的方法，其特征在于，所述输入层权重矩阵、所述隐层所有神经元之间的连接矩阵、所述输出层权重矩阵，表示为：重矩阵，表示为：重矩阵，表示为：其中，n
hid
为神经网络中隐层所有神经元的总数，n
in
为输入层神经元的数目即输入数据的维度，可根据图像识别问题的输入图像大小确定，n
out
为输出层神经元的数目即输出数据的维度，可根据图像识别具体问题的图像类别数决定，w
hid
表示所述隐层所有神经元之间的连接矩阵，w
in
表示所述输入层权重矩阵，w
out
表示所述输出层权重矩阵，使用有向无环图表示所述神经网络，使用主对角线都为0的上三角矩阵w
hid
表示所述有向无环图，表示为：ⅲhid
(i，j)＝0where i＝0，1，2...，n
hid
‑
1 and 0≤j≤i其中，i，j为隐层神经元的编号，n
hid
为神经网络中隐层所有神经元的总数，w
hid
表示所述隐层所有神经元之间的连接矩阵。3.如权利要求1所述的方法，其特征在于，使用现有初始化方法对所述权重矩阵进行初始化，或使用训练完毕或训练一半的神经网络对所述输入层权重矩阵、隐层所有神经元之间的连接矩阵、输出层权重矩阵进行赋值。4.如权利要求1所述的方法，其特征在于，所述将所述若干组中的每一组输入所述权重矩阵中进行训练，包括前馈计算输出、修改一部分连接权重、部分连接的置零与固化，其中，所述修改一部分连接权重模拟所述高等动物学习新任务时，大脑中的树突棘增加、增强、减弱的过程，所述置零模拟所述高等动物遗忘的过程，所述固化模拟所述高等动物形成永久记忆的过程。5.如权利要求1所述的方法，其特征在于，所述前馈计算输出包括以下步骤：
计算所述输入层权重矩阵，得到隐层神经元的初始状态，表示为：i
hid
＝f(x
·
w
hid
)其中，f为第一层激活函数。i
hid
为只接受了输入层输入后的隐层神经元状态，x表示所述样本特征向量，w
hid
表示所述隐层所有神经元之间的连接矩阵；通过所述隐层所有神经元之间的连接矩阵计算隐层神经元的最终状态，表示为：通过所述隐层所有神经元之间的连接矩阵计算隐层神经元的最终状态，表示为：其中，所述隐层所有神经元之间的连接矩阵为主对角线为0的上三角矩阵，在隐层网络中任意存在的(i，j)连接必定满足i≤j，为第i个隐层神经元的初始状态，为第i个隐层神经元的最终状态，f
i
为第i个隐层神经元处的激活函数，为w
hid
中第i个隐层神经元到第j个隐层神经元的连接权重；使用所述输出层权重矩阵和所述隐层神经元的最终状态计算输出层的最终输出，表示为：o
nout
＝f(o
hid
·
w
out
)其中，f为激活函数，o
hid
表示所述隐层神经元的最终状态，w
out
表示所述输出层权重矩阵。6.如权利要求1、5所述的方法，其特征在于，所述修改一部分连接权重，具体为根据所述输出层的最终输出和所述期望的预测向量之间的差别，对所述输入层权重矩阵、所述隐层所有神经元之间的连接矩阵、所述输出层权重矩阵进行调整。7.如权利要求1所述的方法，其特征在于，所述部分连接的置零与固化包括置零、固化两个过程，其中，所述置零具体为，经过所述若干组样本的训练，若权重矩阵中的某个连接的权重值一直在预设的一个较小的范围内，将其值置为0，之后此处不再建立连接，也不参与权重的更迭计算，所述较小的范围表示为：其中，为该连接的权重值，threshold为将连接权重置零的阈值，满足上述情况时，令所述固化具体为，经过所述若干组样本的训练，若某一非0连接的值始终固定在某一个值设定的范围内，则固定该连接的权重，所述设定的范围表示为：其中，表示第p+1个迭代步骤该连接的权重值，ε为常数值。8.如权利要求1所述的方法，其特征在于，所述将所述训练好的权重矩阵转换为真实网
络架构，具体为将所述训练好的权重矩阵的输入层权重矩阵、输出层权重矩阵作为输入层、输出层，将所述训练好的权重矩阵的隐层所有神经元之间的连接矩阵作为隐层神经元之间的邻接矩阵，得到最终的神经网络架构和连接权重。9.一种模拟树突棘变化的神经网络架构的构建装置，其特征在于，包括生成模块、初始化模块、获取模块、训练模块、转换模块，其中，所述生成模块，用于使用神经网络模拟高等动物出生时大脑中的树突棘，并使用邻接矩阵储存所述神经网络的权重，生成权重矩阵，其中，所述神经网络为有向无环神经网络且所述神经网络包括的节点之间两两互相连接，所述权重矩阵包括输入层权重矩阵、隐层所有神经元之间的连接矩阵、输出层权重矩阵；所述初始化模块，用于对所述权重矩阵进行初始化，模拟所述高等动物成长发育时大脑中的树突棘的变化，生成初始化后的权重矩阵；所述获取模块，用于获取训练样本，并将所述训练样本分为若干组，每组包含相同数量的训练样本，其中，所述训练样本包括样本特征向量以及期望的预测向量；所述训练模块，用于将所述若干组中的每一组输入所述初始化后的权重矩阵中进行训练，模拟所述高等动物的学习过程，生成训练好的权重矩阵；所述转换模块，用于将所述训练好的权重矩阵转换为真实网络架构，所述真实网络架构表示所述高等动物经过学习后的大脑的树突棘。10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1
‑
8中任一所述的方法。
技术总结
本申请提出了一种模拟树突棘变化的神经网络架构的构建方法，包括：使用神经网络模拟高等动物出生时大脑中的树突棘，使用邻接矩阵储存神经网络的权重，生成权重矩阵；对权重矩阵进行初始化，模拟高等动物成长发育时大脑中的树突棘的剪枝过程，生成初始化后的权重矩阵；获取训练样本，并将训练样本分为若干组，每组包含相同数量的训练样本；将若干组中的每一组输入初始化后的权重矩阵中进行训练，模拟高等动物的学习过程，生成训练好的权重矩阵；将训练好的权重矩阵转换为真实网络架构，真实网络架构表示高等动物经过学习后的大脑的树突棘。本申请可以用于有监督的图像识别任务，并且针对不同问题可以训练出合适的神经网络架构，具备较强自适应性。具备较强自适应性。具备较强自适应性。
技术研发人员：郭雨晨 戴琼海 丁贵广
受保护的技术使用者：清华大学
技术研发日：2021.07.15
技术公布日：2021/10/26