一种深度学习模型的优化处理方法、装置和存储介质与流程

文档序号:19572563发布日期:2019-12-31 19:05阅读:来源:国知局

技术特征:

1.一种深度学习模型的优化处理方法,包括:

调整深度学习模型的矩阵中的至少两个矩阵的大小,使得所述至少两个矩阵大小相同;

使所述至少两个矩阵进行权值共享。

2.根据权利要求1所述的方法,其中,所述至少两个矩阵包括如下矩阵中的至少两个矩阵:

所述深度学习模型编码端的词向量矩阵、所述深度学习模型解码端的词向量矩阵、所述深度学习模型输出全连接层的参数矩阵、所述深度学习模型转换输入输出后的编码端的词向量矩阵、所述深度学习模型转换输入输出后的解码端的词向量矩阵和所述深度学习模型转换输入输出后的输出全连接层的参数矩阵。

3.根据权利要求1或2所述的方法,其中,所述至少两个矩阵包括第一矩阵和第二矩阵,所述调整深度学习模型的矩阵中的至少两个矩阵的大小,包括:

从所述第一矩阵中删除词向量;和/或

向所述第二矩阵中填补词向量。

4.根据权利要求3所述的方法,其中,

从所述第一矩阵中删除词向量包括:

按照词频,分别对与所述第一矩阵和所述第二矩阵相对应的词表进行排序,所述第一矩阵的大小大于所述第二矩阵的大小,其中,所述第一矩阵对应的词表中的词从第一训练集数据中得到,所述第二矩阵对应的词表中的词从第二训练集数据中得到,所述第一矩阵对应的词表中的词的词频通过对第一训练集数据进行统计得到,所述第二矩阵对应的词表中的词的词频通过对第二训练集数据进行统计得到;

按照所述词频,删除排序后与所述第一矩阵相对应的词表中的词,使得删除后的所述第一矩阵的大小与所述第二矩阵的大小相同;

向所述第二矩阵中填补词向量包括:

按照词频,分别对与所述第一矩阵和所述第二矩阵相对应的词表进行排序,所述第一矩阵的大小大于所述第二矩阵的大小,其中,所述第一矩阵对应的词表中的词从第一训练集数据中得到,所述第二矩阵对应的词表中的词从第二训练集数据中得到,所述第一矩阵对应的词表中的词的词频通过对第一训练集数据进行统计得到,所述第二矩阵对应的词表中的词的词频通过对第二训练集数据进行统计得到;

按照所述词频,将标识符填补到与所述第二矩阵相对应的词表中,使得填补后的所述第二矩阵的大小与所述第一矩阵的大小相同。

5.根据权利要求1至4中任一项所述的方法,其中,使所述至少两个矩阵进行权值共享,包括:

按照设定的共享率,确定所述至少两个矩阵的共享特征维度;

使所述至少两个矩阵在所述共享特征维度处权值共享。

6.根据权利要求5所述的方法,其中,所述共享率为大于0且小于或等于1的实数。

7.根据权利要求6所述的方法,其中,使所述至少两个矩阵进行权值共享,包括:

按照设定的第一共享率1,使所述至少两个矩阵在全部特征维度处权值共享,以得到第一权值共享矩阵;

按照设定的第二共享率,使所述第一权值共享矩阵与至少一个其他矩阵,在由所述第二共享率所确定的共享特征维度处权值共享;

其中,所述至少一个其他矩阵包括所述深度学习模型中除得到所述第一权值共享矩阵的至少两个矩阵以外的其他矩阵和/或通过权值共享得到的其他权值共享矩阵。

8.根据权利要求7所述的方法,其中,使所述至少两个矩阵进行权值共享,包括:

按照设定的第一共享率1,使所述深度学习模型编码端的词向量矩阵、所述深度学习模型解码端的词向量矩阵与所述深度学习模型输出全连接层的参数矩阵的转置中的至少两个矩阵相等,以得到第二权值共享矩阵;

按照设定的第一共享率1,使所述深度学习模型转换输入输出后的编码端的词向量矩阵、所述深度学习模型转换输入输出后的解码端的词向量矩阵与所述深度学习模型转换输入输出后的输出全连接层的参数矩阵的转置中的至少两个矩阵相等,以得到第三权值共享矩阵;

按照设定的第二共享率,使所述第二权值共享矩阵与所述第三权值共享矩阵在由所述第二共享率确定的共享特征维度处相等。

9.根据权利要求1至8中任一项所述的方法,其中,在深度学习模型的生成过程中,还采用如下方法中的至少一种进行优化:

对通过预训练模型输出的数据集进行过滤,将过滤后的数据集加入训练集作为所述深度学习模型的训练集;

使所述深度学习模型的词向量表中相似词的词向量共享行向量和/或列向量;

使所述深度学习模型中具有相同结构的不同网络层共享相同的参数;

将所述深度学习模型的模型参数中趋近于零的权值置为零;

采用稀疏矩阵的存储方式存储所述模型参数;

将所述深度学习模型的模型参数量化为设定类型。

10.一种深度学习模型的优化处理装置,包括:

调整模块,被配置为调整深度学习模型的矩阵中的至少两个矩阵的大小,使得所述至少两个矩阵大小相同;

共享模块,被配置为使所述至少两个矩阵进行权值共享。

11.一种数据处理的方法,包括:

采用深度学习模型对用户输入的数据进行处理;

其中,所述深度学习模型的至少两个矩阵大小相同并且共享权值。

12.一种电子设备,包括:

处理器;以及

存储器,配置用于存储机器可读指令,所述指令在由所述处理器执行时,使得所述处理器执行根据权利要求1至9或11中任一项所述的方法。

13.一种计算机可读存储介质,其上存储有可执行指令,所述指令在被处理器执行时使所述处理器执行根据权利要求1至9或11中任一项所述的方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1