更新神经网络模型的方法和电子装置与流程

本发明涉及一种人工智能技术，且特别涉及一种更新神经网络模型的方法和电子装置。

背景技术：

1、目前，市面上已经出现能协助使用者自行开发客制化的神经网络模型的产品。然而，这些产品仅着重于利用启发式方法(heuristic method)产生具有较佳效能的神经网络模型，而忽略了如何有效降低神经网络模型的复杂度的问题。因此，产生的神经网络模型往往仅能在具有高运算力的装置上运作。在运算能力有限的情况下(例如：使用边缘运算装置运行人工智能模型)，神经网络模型可能无法顺利运算或神经网络模型的效能可能降低。

2、然而，若利用传统的量化方法来量化神经网络模型以降低模型复杂度，则经量化的神经网络模型的效能可能会因逐层(例如：神经网络模型的卷积层)累积的量化误差而降低。

技术实现思路

1、本发明提供一种更新神经网络模型的方法和电子装置，可通过对神经网络模型的神经元的权重进行量化以产生新神经元，可为神经网络模型进行模型降阶(model order-reduction)。

2、本发明的一种更新神经网络模型的电子装置，包含收发器以及处理器。收发器用以接收神经网络模型以及训练数据，其中神经网络模型包含第一神经元以及与第一神经元连接的第二神经元。处理器耦接收发器，其中处理器经配置以执行下列步骤：将训练数据输入至第一神经元以由第二神经元输出第一预测值。量化第一神经元的第一权重以产生第三神经元，并且量化第二神经元的第二权重以产生与第三神经元连接的第四神经元。将训练数据输入至第三神经元以由第四神经元输出第二预测值。根据第一预测值和第二预测值更新第一神经元的第一激励函数以及第二神经元的第二激励函数，以产生经更新的神经网络模型，其中收发器用以输出经更新的神经网络模型。

3、本发明的一种更新神经网络模型的方法，用于具有收发器及处理器的电子装置，包含：通过收发器接收神经网络模型以及训练数据，其中神经网络模型包含第一神经元以及与第一神经元连接的第二神经元；通过处理器将训练数据输入至第一神经元以由第二神经元输出第一预测值；量化第一神经元的第一权重以产生第三神经元，并且量化第二神经元的第二权重以产生与第三神经元连接的第四神经元；将训练数据输入至第三神经元以由第四神经元输出第二预测值；根据第一预测值和第二预测值更新第一神经元的第一激励函数以及第二神经元的第二激励函数，以产生经更新的神经网络模型；以及输出经更新的神经网络模型。

4、基于上述，本发明的电子装置可在维持神经网络模型的效能的情况下，达到模型降阶的目的。

技术特征：

1.一种更新神经网络模型的电子装置，包括：

2.如权利要求1所述的电子装置，其中该处理器还经配置以执行：

3.如权利要求2所述的电子装置，其中该位包括最高有效位和最低有效位的至少其中之一。

4.如权利要求1所述的电子装置，其中该处理器还经配置以执行：

5.如权利要求4所述的电子装置，其中该处理器还经配置以执行：

6.如权利要求1所述的电子装置，其中该第一权重对应于第一浮点数格式，其中经量化的该第一权重对应于下列的其中之一：

7.如权利要求1所述的电子装置，其中该第一激励函数为分段函数。

8.如权利要求1所述的电子装置，还包括：

9.如权利要求1所述的电子装置，还包括：

10.一种更新神经网络模型的方法，用于具有收发器及处理器的电子装置，包括：

11.如权利要求10所述的方法，其中根据该第一预测值和该第二预测值更新该第一神经元的该第一激励函数以及该第二神经元的该第二激励函数的步骤包括：

12.如权利要求11所述的方法，其中该位包括最高有效位和最低有效位的至少其中之一。

13.如权利要求10所述的方法，还包括：

14.如权利要求13所述的方法，还包括：

15.如权利要求10所述的方法，其中该第一权重对应于第一浮点数格式，其中经量化的该第一权重对应于下列的其中之一：

16.如权利要求10所述的方法，其中该第一激励函数为分段函数。

17.如权利要求10所述的方法，其中该电子装置还包括存储介质，其中该存储介质存储该神经网络模型。

18.如权利要求10所述的方法，其中该电子装置还包括存储介质，其中该存储介质存储叠代次数阈值，其中该处理器根据该叠代次数阈值决定是否停止更新该神经网络模型。

技术总结
本发明公开一种更新神经网络模型的方法和电子装置。方法包含以下步骤。接收神经网络模型，其中神经网络模型包括第一神经元以及第二神经元。将训练数据输入至第一神经元以由第二神经元输出第一预测值。量化第一神经元的第一权重以产生第三神经元，并且量化第二神经元的第二权重以产生与第三神经元连接的第四神经元。将训练数据输入至第三神经元以由第四神经元输出第二预测值。根据第一预测值和第二预测值更新第一神经元的第一激励函数以及第二神经元的第二激励函数，由此产生经更新的神经网络模型。输出经更新的神经网络模型。

技术研发人员：林盈祯,李坤翰
受保护的技术使用者：纬创资通股份有限公司
技术研发日：
技术公布日：2024/1/15