基于LSTM的数据分类方法、装置、设备及存储介质与流程

文档序号:29364030发布日期:2022-03-23 03:08阅读:284来源:国知局
基于LSTM的数据分类方法、装置、设备及存储介质与流程
基于lstm的数据分类方法、装置、设备及存储介质
技术领域
1.本技术涉及人工智能技术领域,尤其涉及一种基于lstm的数据分类方法、装置、设备及存储介质。


背景技术:

2.为了保证数据的安全性,对于不同保密等级的数据一般都需要采用不同的管理方式进行管理,以确保数据的安全性。
3.在现有技术中,一般通过对获取到的数据进行分类以确定对应数据的等级,具体地,通过人工构造数据分类标准,然后通过人工分析获取到的数据在数据分类标准中所属的类别确定该数据的等级。
4.但是,一般企业都有大量的数据需要进行分类,当需要对大量的数据进行分类时,通过人工进行分类效率非常低。


技术实现要素:

5.本技术实施例提供了一种基于lstm的数据分类方法、装置、设备及存储介质,可以提高数据分类的效率。
6.第一方面,本技术实施例提供了一种基于lstm的数据分类方法,其包括:
7.获取待分类数据;
8.通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量;
9.将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度;
10.将所述置信度中值最大的置信度确定为目标置信度;
11.将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。
12.第二方面,本技术实施例还提供了一种基于lstm的数据分类装置,其包括:
13.获取单元,用于获取待分类数据;
14.处理单元,用于通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量;将所述句子向量输入预设的训练后超参数lstm分类器,得到各预设类别分别对应的置信度;将所述置信度中值最大的置信度确定为目标置信度;将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。
15.第三方面,本技术实施例还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。
16.第四方面,本技术实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现上述方法。
17.本技术实施例提供了一种基于lstm的数据分类方法、装置、设备及存储介质。其中,所述方法包括:获取待分类数据;通过预设的训练后字段特征提取器确定所述待分类数
据对应的句子向量;将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度;将所述置信度中值最大的置信度确定为目标置信度;将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。本方案通过字段特征提取器以及超参数lstm分类器自动对数据进行分类,提高了数据的分类效率。
附图说明
18.为了更清楚地说明本技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
19.图1为本技术实施例提供的基于lstm的数据分类方法的应用场景示意图;
20.图2为本技术实施例提供的基于lstm的数据分类方法的流程示意图;
21.图3为本技术实施例提供的基于lstm的数据分类方法的子流程示意图;
22.图4为本技术实施例提供的字段特征提取器的一个流程框架示意图;
23.图5为本技术实施例提供的超参数lstm分类器的一个流程框架示意图;
24.图6为本技术实施例提供的一个总体流程框架示意图;
25.图7为本技术实施例提供的基于lstm的数据分类装置的示意性框图;
26.图8为本技术实施例提供的计算机设备的示意性框图。
具体实施方式
27.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
28.应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
29.还应当理解,在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
30.还应当进一步理解,在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
31.本技术实施例提供了一种基于lstm的数据分类方法、装置、设备及存储介质。
32.该基于lstm的数据分类方法的执行主体可以是本技术实施例提供的基于lstm的数据分类装置,或者集成了该基于lstm的数据分类装置的计算机设备,其中,该基于lstm的数据分类装置可以采用硬件或者软件的方式实现,该计算机设备可以为终端或服务器,该终端可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等。
33.请参阅图1,图1为本技术实施例提供的基于lstm的数据分类方法的应用场景示意图。该基于lstm的数据分类方法应用于图1中的计算机设备10中,该计算机设备10获取待分类数据;通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量;将所述
句子向量输入预设的训练后超参数长短期记忆网络(long short-term memory,lstm)分类器,得到多个预设类别分别对应的置信度;将所述置信度中值最大的置信度确定为目标置信度;将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。
34.图2是本技术实施例提供的基于lstm的数据分类方法的流程示意图。如图2所示,该方法包括以下步骤s110-150。
35.s110、获取待分类数据。
36.其中,该待分类数据可以为企业数据资产,或其他需要进行分类的数据,具体此处不做限定。
37.s120、通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量。
38.在一些实施例中,在数据库设计过程会对待分类数据的各字段的用途进行备注,因此对备注信息进行特征提取即可获得该字段特征,其中,该备注使用sql语句进行描述。
39.此时,需要通过训练后字段特征提取器截取其中的字段备注,然后计算该备注对应的句子向量。
40.请参阅图3,在一些实施例中,步骤s120包括:
41.s121、对所述待分类数据进行分词处理,得到多个分词。
42.例如,截取待分类数据的备注,然后对待分类数据的备注进行分词处理,得到多个分词。
43.需要说明的是,本实施例也可以直接对待分类数据进行分词处理。
44.s122、通过所述训练后字段特征提取器的嵌入层得到多个所述分词分别对应的分词向量。
45.例如,当得到待分类数据的备注对应的多个分词之后,将会将该分词输入嵌入层得到各分词分别对应的分词向量。
46.s123、根据所述分词向量生成所述句子向量。
47.在一些实施例中,具体地,当获取到各分词对应的分词向量之后,将会对所述待分类数据(或对应备注)的实际句子长度与预设的标准句子长度进行比较;若所述实际句子长度比所述标准句子长度长,则根据所述标准句子长度对所述分词向量进行截断处理,得到截断后的分词向量;根据所述截断后的分词向量生成所述句子向量;若所述标准句子长度比所述实际句子长度长,则根据所述标准句子长度对所述分词向量进行填充处理,得到填充后的分词向量;根据所述填充后的分词向量生成所述句子向量。
48.其中,本实施例中的实际长度为训练后字段特征提取器获取到对应的待分类数据(或对应备注)之后生成的mask向量,该mask向量用于标记每个输入文本的实际长度。
49.其中,所述根据所述标准句子长度对所述分词向量进行截断处理,得到截断后的分词向量,包括:根据预设的重要性确定规则分别确定所述分词向量的重要性程度;根据所述重要性程度以及所述标准句子长度对所述分词向量进行截断处理,得到所述截断后的分词向量。
50.即,对于不同长度的问题文本,补充和截断成一样长度的。太短的就补空格,太长的就截断。从而构建维数一致的句向量输入训练后超参数lstm分类器。
51.其中,在步骤s120之前,方法还包括:获取提取器训练样本集以及提取器验证样本集;根据所述提取器训练样本集以及所述提取器验证样本集对预设的字段特征提取器进行
训练,得到所述训练后字段特征提取器。
52.为了便于理解,请参阅图4,图4为本实施例中字段特征提取器的一个流程框架示意图,字段特征提取器获取到待分类数据的字段备注之后,将对该备注进行分词,得到分词句子,然后再生成各分词的词向量,最后根据各词向量生成句向量。
53.s130、将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度。
54.为了便于理解,请参阅图5,图5为本实施例中超参数lstm分类器的一个流程框架示意图,句子向量输入到该训练后超参数lstm分类器之后,经过一个时间序列得到的n个隐藏lstm神经单元的向量h,这些向量经过meanpooling(平均池化)层之后,可以得到一个向量,然后紧接着是一个softsign层,得到多个预设类别分别对应的置信度。
55.其中,该预设类别可以为等级类别,或者其他分类类别,具体此处不做限定。
56.s140、将所述置信度中值最大的置信度确定为目标置信度。
57.当通过softsign层得到多个预设类别分别对应的置信度之后,将值最大的置信度确定为目标置信度。
58.s150、将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。
59.由于每个置信度都对应一个预设别类,本实施例将目标置信度对应的预设类别确定为该待分类数据的目标类别。
60.其中,步骤s140-150也是通过训练后超参数lstm分类器实现。
61.在一些实施例中,在步骤s130之前,方法还包括:获取标准lstm分类器;将所述标准lstm分类器的双曲线正切函数替换为softsign函数,以及将数据标准化函数、mse(均方误差)损失函数及恒等激活函数用于所述标准lstm分类器中的回归以及xavier权重初始化的处理,得到超参数lstm分类器;获取分类器测试集;根据所述测试集训练所述超参数lstm分类器,得到所述训练后超参数lstm分类器。
62.具体地,本实施例设置了单独的测试集以训练网络;训练经过多个epoch(算法遍历训练数据集);每个epoch之后评估测试集表现,以敲定最优停止时间;使用更快、更不容易饱和的softsign代替双曲正切函数;将数据标准化、mse损失函数+恒等激活函数用于回归、xavier权重初始化。
63.在一些实施例中,步骤s130之后,所述方法还包括:将所述置信度输入预设的分类性能评估器,得到所述训练后超参数lstm分类器的性能参数;根据所述性能参数对所述训练后超参数lstm分类器进行校准处理。
64.其中,该性能参数包括但不限于准确率、精确率、召回率、f1_score(f1分数)、混淆矩阵、ks(kolmogorov-smirnov)、ks曲线、受试者工作特征曲线(receiver operating characteristic curve,roc曲线)和/或稳定度指标(population stability index,psi)。
65.可见,针对分类模型常用的性能曲线评估指标,本方案可以通过基于python的主流框架sklearn实现包括但不限于准确率、精确率、召回率、f1_score、混淆矩阵、ks、ks曲线、roc曲线、psi等性能参数生成方法。将评估器各指标参数,回馈作模型校准参数。本实施例可以通过分类性能评估器对超参数lstm分类器进行优化,提高超参数lstm分类器的分类性能。
66.为了便于理解,参阅图6,图6为本实施例的一个总体流程框架示意图。数据分类系统获取待分类数据之后,将该数据输入字段特征提取器,通过字段特征提取器获取对应句子向量之后,将该句子向量输入超参数lstm分类器,然后将超参数lstm分类器研判输出分类结果,并将输出的分类依据输入分类性能评估器,分类性能评估器对超参数lstm分类器进行反馈校准处理,
67.综上,本方案具有以下优势:
68.1、提高了分类模型通用性:基于训练后超参数lstm分类器,经过一个时间序列得到的n个隐藏lstm神经网络单元的深度学习,自动得到并取概率值最大的类别作为最终预测结果。
69.2、保证数据采集一致性:字段特征提取器对输入进行单词嵌入,将各词表示成数值型的词向量。此过程通过“截断”与“补充”构建维数一致的模型句向量输入。
70.3、提升分类模型的客观性:分类模型基于机器学习进行自我校准,得到比人工更高的分类研判准确度。
71.4、安全性保障:分类过程最大程度较少人工参与,保障企业数据保密性。
72.综上所述,本实施例获取待分类数据;通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量;将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度;将所述置信度中值最大的置信度确定为目标置信度;将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。本方案通过字段特征提取器以及超参数lstm分类器自动对数据进行分类,提高了数据的分类效率。
73.图7是本技术实施例提供的一种基于lstm的数据分类装置的示意性框图。如图7所示,对应于以上基于lstm的数据分类方法,本技术还提供一种基于lstm的数据分类装置。该基于lstm的数据分类装置包括用于执行上述基于lstm的数据分类方法的单元,该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地,请参阅图7,该基于lstm的数据分类装置包括获取单元701以及处理单元702。
74.获取单元701,用于获取待分类数据;
75.处理单元702,用于通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量;将所述句子向量输入预设的训练后超参数lstm分类器,得到各预设类别分别对应的置信度;将所述置信度中值最大的置信度确定为目标置信度;将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。
76.在一些实施例中,所述处理单元702在执行所述通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量步骤时,具体用于:
77.对所述待分类数据进行分词处理,得到多个分词;
78.通过所述训练后字段特征提取器的嵌入层得到多个所述分词分别对应的分词向量;
79.根据所述分词向量生成所述句子向量。
80.在一些实施例中,所述处理单元702在执行所述根据所述分词向量生成所述句子向量步骤时,具体用于:
81.对所述待分类数据的实际句子长度与预设的标准句子长度进行比较;
82.若所述实际句子长度比所述标准句子长度长,则根据所述标准句子长度对所述分
词向量进行截断处理,得到截断后的分词向量;
83.根据所述截断后的分词向量生成所述句子向量;
84.若所述标准句子长度比所述实际句子长度长,则根据所述标准句子长度对所述分词向量进行填充处理,得到填充后的分词向量;
85.根据所述填充后的分词向量生成所述句子向量。
86.在一些实施例中,所述处理单元702在执行所述根据所述标准句子长度对所述分词向量进行截断处理,得到截断后的分词向量步骤时,具体用于:
87.根据预设的重要性确定规则分别确定所述分词向量的重要性程度;
88.根据所述重要性程度以及所述标准句子长度对所述分词向量进行截断处理,得到所述截断后的分词向量。
89.在一些实施例中,所述处理单元702在执行所述将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度步骤之后,具体还用于:
90.将所述置信度输入预设的分类性能评估器,得到所述训练后超参数lstm分类器的性能参数;
91.根据所述性能参数对所述训练后超参数lstm分类器进行校准处理。
92.在一些实施例中,所述处理单元702在执行所述通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量步骤之前,具体还用于:
93.获取提取器训练样本集以及提取器验证样本集;
94.根据所述提取器训练样本集以及所述提取器验证样本集对预设的字段特征提取器进行训练,得到所述训练后字段特征提取器。
95.在一些实施例中,所述处理单元702在执行所述将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度步骤之前,具体还用于:
96.获取标准lstm分类器;
97.将所述标准lstm分类器的双曲线正切函数替换为softsign函数,以及将数据标准化函数、mse损失函数及恒等激活函数用于所述标准lstm分类器中的回归以及xavier权重初始化的处理,得到超参数lstm分类器;
98.获取分类器测试集;
99.根据所述测试集训练所述超参数lstm分类器,得到所述训练后超参数lstm分类器。
100.需要说明的是,所属领域的技术人员可以清楚地了解到,上述基于lstm的数据分类装置和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
101.上述基于lstm的数据分类装置可以实现为一种计算机程序的形式,该计算机程序可以在如图8所示的计算机设备上运行。
102.请参阅图8,图8是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备800可以是终端,也可以是服务器,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
103.参阅图8,该计算机设备800包括通过系统总线801连接的处理器802、存储器和网
络接口805,其中,存储器可以包括非易失性存储介质803和内存储器804。
104.该非易失性存储介质803可存储操作系统8031和计算机程序8032。该计算机程序8032包括程序指令,该程序指令被执行时,可使得处理器802执行一种基于lstm的数据分类方法。
105.该处理器802用于提供计算和控制能力,以支撑整个计算机设备800的运行。
106.该内存储器804为非易失性存储介质803中的计算机程序8032的运行提供环境,该计算机程序8032被处理器802执行时,可使得处理器802执行一种基于lstm的数据分类方法。
107.该网络接口805用于与其它设备进行网络通信。本领域技术人员可以理解,图8中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备800的限定,具体的计算机设备800可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
108.其中,所述处理器802用于运行存储在存储器中的计算机程序8032,以实现如下步骤:
109.获取待分类数据;
110.通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量;
111.将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度;
112.将所述置信度中值最大的置信度确定为目标置信度;
113.将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。
114.在一些实施例中,处理器802在实现所述通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量步骤时,具体实现如下步骤:
115.对所述待分类数据进行分词处理,得到多个分词;
116.通过所述训练后字段特征提取器的嵌入层得到多个所述分词分别对应的分词向量;
117.根据所述分词向量生成所述句子向量。
118.在一些实施例中,处理器802在实现所述根据所述分词向量生成所述句子向量步骤时,具体实现如下步骤:
119.对所述待分类数据的实际句子长度与预设的标准句子长度进行比较;
120.若所述实际句子长度比所述标准句子长度长,则根据所述标准句子长度对所述分词向量进行截断处理,得到截断后的分词向量;
121.根据所述截断后的分词向量生成所述句子向量;
122.若所述标准句子长度比所述实际句子长度长,则根据所述标准句子长度对所述分词向量进行填充处理,得到填充后的分词向量;
123.根据所述填充后的分词向量生成所述句子向量。
124.在一些实施例中,处理器802在实现所述根据所述标准句子长度对所述分词向量进行截断处理,得到截断后的分词向量步骤时,具体实现如下步骤:
125.根据预设的重要性确定规则分别确定所述分词向量的重要性程度;
126.根据所述重要性程度以及所述标准句子长度对所述分词向量进行截断处理,得到
所述截断后的分词向量。
127.在一些实施例中,处理器802在实现所述将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度步骤之后,还实现如下步骤:
128.将所述置信度输入预设的分类性能评估器,得到所述训练后超参数lstm分类器的性能参数;
129.根据所述性能参数对所述训练后超参数lstm分类器进行校准处理。
130.在一些实施例中,处理器802在实现所述通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量步骤之前,还实现如下步骤:
131.获取提取器训练样本集以及提取器验证样本集;
132.根据所述提取器训练样本集以及所述提取器验证样本集对预设的字段特征提取器进行训练,得到所述训练后字段特征提取器。
133.在一些实施例中,处理器802在实现所述将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度步骤之前,还实现如下步骤:
134.获取标准lstm分类器;
135.将所述标准lstm分类器的双曲线正切函数替换为softsign函数,以及将数据标准化函数、mse损失函数及恒等激活函数用于所述标准lstm分类器中的回归以及xavier权重初始化的处理,得到超参数lstm分类器;
136.获取分类器测试集;
137.根据所述测试集训练所述超参数lstm分类器,得到所述训练后超参数lstm分类器。
138.应当理解,在本技术实施例中,处理器802可以是中央处理单元(central processing unit,cpu),该处理器802还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field-programmable gatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
139.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
140.因此,本技术还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤:
141.获取待分类数据;
142.通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量;
143.将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度;
144.将所述置信度中值最大的置信度确定为目标置信度;
145.将所述目标置信度对应的所述预设类别确定为所述待分类数据的目标类别。
146.在一些实施例中,所述处理器在执行所述程序指令而实现所述通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量步骤时,具体实现如下步骤:
147.对所述待分类数据进行分词处理,得到多个分词;
148.通过所述训练后字段特征提取器的嵌入层得到多个所述分词分别对应的分词向量;
149.根据所述分词向量生成所述句子向量。
150.在一些实施例中,所述处理器在执行所述程序指令而实现所述根据所述分词向量生成所述句子向量步骤时,具体实现如下步骤:
151.对所述待分类数据的实际句子长度与预设的标准句子长度进行比较;
152.若所述实际句子长度比所述标准句子长度长,则根据所述标准句子长度对所述分词向量进行截断处理,得到截断后的分词向量;
153.根据所述截断后的分词向量生成所述句子向量;
154.若所述标准句子长度比所述实际句子长度长,则根据所述标准句子长度对所述分词向量进行填充处理,得到填充后的分词向量;
155.根据所述填充后的分词向量生成所述句子向量。
156.在一些实施例中,所述处理器在执行所述程序指令而实现所述根据所述标准句子长度对所述分词向量进行截断处理,得到截断后的分词向量步骤时,具体实现如下步骤:
157.根据预设的重要性确定规则分别确定所述分词向量的重要性程度;
158.根据所述重要性程度以及所述标准句子长度对所述分词向量进行截断处理,得到所述截断后的分词向量。
159.在一些实施例中,所述处理器在执行所述程序指令而实现所述将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度步骤之后,还实现如下步骤:
160.将所述置信度输入预设的分类性能评估器,得到所述训练后超参数lstm分类器的性能参数;
161.根据所述性能参数对所述训练后超参数lstm分类器进行校准处理。
162.在一些实施例中,所述处理器在执行所述程序指令而实现所述通过预设的训练后字段特征提取器确定所述待分类数据对应的句子向量步骤之前,还实现如下步骤:
163.获取提取器训练样本集以及提取器验证样本集;
164.根据所述提取器训练样本集以及所述提取器验证样本集对预设的字段特征提取器进行训练,得到所述训练后字段特征提取器。
165.在一些实施例中,所述处理器在执行所述程序指令而实现所述将所述句子向量输入预设的训练后超参数lstm分类器,得到多个预设类别分别对应的置信度步骤之前,还实现如下步骤:获取标准lstm分类器;
166.将所述标准lstm分类器的双曲线正切函数替换为softsign函数,以及将数据标准化函数、mse损失函数及恒等激活函数用于所述标准lstm分类器中的回归以及xavier权重初始化的处理,得到超参数lstm分类器;
167.获取分类器测试集;
168.根据所述测试集训练所述超参数lstm分类器,得到所述训练后超参数lstm分类
器。
169.所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory,rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
170.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
171.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
172.本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本技术实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
173.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
174.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1