一种人工神经网络构建方法与流程

本发明涉及人工智能，特别涉及一种人工神经网络构建方法。

背景技术：

1、随着智能算法理论研究的不断进步，以人工神经网络为代表的深度学习技术在机器视觉、自然语言处理、推荐系统等相关领域取得突破，成为实现人工智能的重要基础。

2、人工神经网络是人脑神经系统的抽象，通过模拟神经元的微观功能，神经网络对神经单元施加组合实现更加复杂的功能。神经网络结构，即神经元间的组织方式，是人工神经网络的重要研究内容。

3、目前，人工神经网络结构设计方法主要通过人工设计的方式，人工设计根据现有神经网络理论，在目前先进的神经网络结构的基础上根据应用目标进行调整，但是由于有关人工神经网络的结构理论尚不完善，神经网络性能会受到设计者的主观认知、设计者理论与实践水平的限制。同时，人工设计方式还存在着设计效率低下、设计周期长的客观缺陷。

4、为了提升设计效率并消除设计者的主观因素影响，神经网络结构搜索利用计算机自动优化神经网络的结构，通过优化算法搜索网络结构空间，获得在指定约束下的最优结构，神经网络的结构设计需要考虑确定性网络结构对性能的影响，但真实世界中的神经网络的结构却普遍存在的较强随机性。

5、现有的方法导致设计网络局限于某一具体的结构形式，不能贴合真实神经网络的结构特点，不能适应于不同结构的神经网络。

技术实现思路

1、本发明提供一种人工神经网络构建方法，用以解决现有技术中无法实现对真实神经网络结构特点进行刻画的缺陷，本发明将复杂网络生成模型与神经网络结构搜索结合，使用复杂网络生成模型模拟网络的随机形成过程，构建人工神经网络结构，采用神经网络结构搜索技术对网络结构的构建过程进行优化。

2、本发明提供一种人工神经网络构建方法，包括：

3、每个神经网络节点获取父节点的输出特征，并输出待变换的特征信息至下一子节点；

4、获取待构建神经网络的节点数量以及神经网络子网络的分段数量，其中待构建神经网络由各分段自网络串联构成；

5、预设分段子网络的复杂网络生成模型以及网格结构参数，基于复杂网络生成模型预生成分段子网络；

6、判断每个预分段自网络的连通性，直至所有输出的分段子网络均为连通网络；

7、对每个分段子网络进行有向化处理，确定每个分段子网络的输入节点和输出节点，拼接前后连接的分段子网络的输入节点和输出节点，构建神经网络的输出层；

8、输出构建的人工神经网络。

9、根据本发明提供的一种人工神经网络构建方法，每个神经网络节点获取父节点的输出特征，并输出待变换的特征信息至下一子节点，包括：

10、获取单个神经网络节点的父节点集合，获取每个父节点的输出特征，基于融合函数对每个父节点的输出特征进行融合，输出融合后的输出特征；

11、对融合后输出特征进行非线性变换，将非线性变换后的变换特征传递给所述单个神经网络节点的子节点。

12、根据本发明提供的一种人工神经网络构建方法，获取待构建神经网络的节点数量以及神经网络子网络的分段数量，包括：

13、根据待构建神经网络的参数数量和单个神经网络节点的参数数量的比值获取所述待构建神经网络的节点数量n；

14、神经网络子网络的分段数量k为神经网络结构的超参数，神经网络由各分段子网络串联构成,分段子神经网络s节点数量为ns，满足

15、根据本发明提供的一种人工神经网络构建方法，基于复杂网络生成模型预生成分段子网络，所述复杂网络生成模型包括erdos-renyi模型、watt-strogatz模型、barabasi-albert模型以及几何网络模型。

16、根据本发明提供的一种人工神经网络构建方法，判断每个预分段自网络的连通性，直至所有输出的分段子网络均为连通网络，包括：

17、若分段子网络为连通网络，则将对应的分段子网络输出；

18、若分段子网络为非连通网络，则采用该分段子网络相同的模型与参数生成若干个复杂网络实例，检查每个复杂网络实例的连通性，选择其中任一连通网络作为分段子网络输出；

19、若每个复杂网络实例均为非连通网络，则重新选择复杂网络模型以及对应的参数，直至输出的每个分段子网络均为连通网络。

20、根据本发明提供的一种人工神经网络构建方法，对每个分段子网络进行有向化处理，确定每个分段子网络的输入节点和输出节点，拼接前后连接的分段子网络的输入节点和输出节点，构建神经网络的输出层，包括：

21、对每个分段子网络的节点集合中的每个节点进行编号，在网络中指定编号小的节点的输出端向与该节点连接的编号小的节点的输入端连接，生成有向复杂网络；

22、基于所述有向复杂网络构建人工神经网络的各分段子网络，所述人工神经网络的分段子网络的输入节点为所述有向复杂网络的入度为0的节点，所述人工神经网络的分段子网络的输出节点为所述有向复杂网络的出度为0的节点；

23、按预设顺序依次连接人工神经网络的各分段子网络，根据神经网络应用任务类型，设置所述人工神经网络的输出层，构建对应的人工神经网络。

24、根据本发明提供的一种人工神经网络构建方法，在构建所述人工神经网络后，根据预设的训练集对所述人工神经网络进行训练，以预设的验证集性能作为训练终止条件，以预设的测试集性能作为神经网络的性能评估条件；

25、对所述人工神经网络进行训练直至满足所述性能评估条件。

26、根据本发明提供的一种人工神经网络构建方法，基于神经网络结构搜索算法选择所述复杂网络生成模型并设定所述复杂网络生成模型的结构参数。

27、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人工神经网络构建方法的步骤。

28、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人工神经网络构建方法的步骤。

29、本发明提供的一种人工神经网络构建方法，通过利用复杂网络生成模型构建神经网络结构，将设计的神经网络结构引入随机性，使设计网络不局限于具体地结构形式，刻画网络的本质特征。同时，复杂网络提供了有关网络结构的相关分析理论，提升了神经网络结构设计可解释性。

技术特征：

1.一种人工神经网络构建方法，其特征在于，包括：

2.根据权利要求1所述的一种人工神经网络构建方法，其特征在于，每个神经网络节点获取父节点的输出特征，并输出待变换的特征信息至下一子节点，包括：

3.根据权利要求1所述的一种人工神经网络构建方法，其特征在于，获取待构建神经网络的节点数量以及神经网络子网络的分段数量，包括：

4.根据权利要求1所述的一种人工神经网络构建方法，其特征在于，基于复杂网络生成模型预生成分段子网络，所述复杂网络生成模型包括erdos-renyi模型、watt-strogatz模型、barabasi-albert模型以及几何网络模型。

5.根据权利要求4所述的一种人工神经网络构建方法，其特征在于，判断每个预分段自网络的连通性，直至所有输出的分段子网络均为连通网络，包括：

6.根据权利要求4所述的一种人工神经网络构建方法，其特征在于，对每个分段子网络进行有向化处理，确定每个分段子网络的输入节点和输出节点，拼接前后连接的分段子网络的输入节点和输出节点，构建神经网络的输出层，包括：

7.根据权利要求6所述的一种人工神经网络构建方法，其特征在于，在构建所述人工神经网络后，根据预设的训练集对所述人工神经网络进行训练，以预设的验证集性能作为训练终止条件，以预设的测试集性能作为神经网络的性能评估条件；

8.根据权利要求6或7所述的一种人工神经网络构建方法，其特征在于，基于神经网络结构搜索算法选择所述复杂网络生成模型并设定所述复杂网络生成模型的结构参数。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述人工神经网络构建方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述人工神经网络构建方法的步骤。

技术总结
本发明涉及人工智能技术领域，特别涉及一种人工神经网络构建方法，包括步骤：每个神经网络节点获取父节点的输出特征，并输出待变换的特征信息至下一子节点；获取待构建神经网络的节点数量以及神经网络子网络的分段数量；基于复杂网络生成模型预生成分段子网络；输出为连通网络的分段子网络；对分段子网络进行有向化处理，确定每个分段子网络的输入节点和输出节点，拼接前后连接的分段子网络的输入节点和输出节点，构建神经网络的输出层；输出构建的人工神经网络。本发明将复杂网络生成模型与神经网络结构搜索结合，使用复杂网络生成模型模拟网络的随机形成过程，构建人工神经网络结构，采用神经网络结构搜索技术对网络结构的构建过程进行优化。

技术研发人员：羿舒文,王书诚,陈祖刚,雷霓,郑洁,方书雅,王浩,叶荣军,刘剑,沈欢,黄亮,李欢
受保护的技术使用者：武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所）
技术研发日：
技术公布日：2024/1/12