一种基于复合神经网络建模的数据挖掘与标注方法与流程

文档序号:19156132发布日期:2019-11-16 00:48阅读:来源:国知局

技术特征:

1.一种基于复合神经网络建模的数据挖掘方法,其特征在于,包括以下步骤:

s1、对复合神经网络建模的数据进行清洗和选择;并根据目标和需要进行清洗和选择,剔除不需要的数据;

s2、将清洗和选择处理后的数据进行转换和预处理;将文本数据转换为数值数据进行处理,再对数值型数据采用归一化方法进行预处理;

s3、将预处理后的数值数据进行数据集管理;将预处理后的数值数据随机地分成三个数据集:训练数据集、测试数据集和确认数据集,训练数据集用于训练神经网络,测试数据集用与测试网络的精度,确认数据集用于独立地测试网络;

s4、确定s3中的数据集中的神经网络类型、算法并训练神经网络;神经网络类型采用三层前馈rbf神经网络;

s5、神经网络网络训练结束以后,从训练好的神经网络中提取规则,提取规则采用搜索算法提取规则;

s6、对提取的规则进行评估,对被提取规则用的测试数据集和确认数据集进行测试,验证神经网络数据挖掘的正确性。

2.根据权利要求1所述的基于复合神经网络建模的数据挖掘方法,其特征在于,算法采用粗糙集算法训练该神经网络,神经网络输入、输出节点的数目由系统的决策决定,神经网络的输出由模糊推理系统推出正则化输出,隐含层节点的数目由粗糙集算法决定。

3.根据权利要求1-2任一项所述的基于复合神经网络建模的数据挖掘方法,其特征在于,还包括数据标注;数据标注包括以下步骤:

s31、获取待标注的原始数据;

s32、使用整合的算法,对所述原始数据进行分类;

s33、获取数据标注结果,使用整合的算法,对数据标注结果进行自动化审核,筛选出问题标注结果,并对问题标注结果进行标记;具体地,根据历史标注数据库和对比规则,对数据标注结果进行分析,并获取低质量标注结果并标记;

s34、输出经过自动化审核的数据标注结果,数据标注结果中包括数据标注结果和问题标注结果。

4.根据权利要求3所述的基于复合神经网络建模的数据挖掘方法,其特征在于,整合算法至少包括聚类算法和标注规则模板。

5.根据权利要求3所述的基于复合神经网络建模的数据挖掘方法,其特征在于,对比规则包括相似度对比、聚类分析和有效性检验中的至少一种。

6.根据权利要求3所述的基于复合神经网络建模的数据挖掘方法,其特征在于,s32中,筛选问题标准结果的原则是通过判断数据标注结果是否符合人工标注意图所对应的匹配模板,若不匹配,则标记为错误标注结果。


技术总结
一种基于复合神经网络建模的数据挖掘方法,包括以下步骤:对复合神经网络建模的数据进行清洗和选择;将清洗和选择处理后的数据进行转换和预处理;将预处理后的数值数据进行数据集管理;确定S3中的数据集中的神经网络类型、算法并训练神经网络;从训练好的神经网络中提取规则,提取规则采用搜索算法提取规则;对提取的规则进行评估。本发明提出提高神经网络对数据库进行挖掘时的效率和提高了输出的结果的标注质量。

技术研发人员:肖清林
受保护的技术使用者:福建奇点时空数字科技有限公司
技术研发日:2019.07.23
技术公布日:2019.11.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1