一种基于改进BERT的自动文本纠错算法及系统

文档序号:34327950发布日期:2023-06-01 04:50阅读:来源:国知局

技术特征:

1.一种基于改进bert的自动文本纠错算法,其特征在于,包括:

2.如权利要求1所述的一种基于改进bert的自动文本纠错算法,其特征在于,还包括:

3.如权利要求2所述的一种基于改进bert的自动文本纠错算法,其特征在于,还包括:

4.如权利要求3所述的一种基于改进bert的自动文本纠错算法,其特征在于,还包括:

5.如权利要求1所述的一种基于改进bert的自动文本纠错算法,其特征在于,所述混合嵌入层包括:

6.如权利要求1所述的一种基于改进bert的自动文本纠错算法,其特征在于,所述混合掩码策略包括:

7.如权利要求1所述的一种基于改进bert的自动文本纠错算法,其特征在于,所述改进模型通过字符预测和字音预测进行叠加得到预测的结果包括:

8.一种基于改进bert的自动文本纠错系统,其特征在于,包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的算法。


技术总结
本申请提出了一种基于改进BERT的自动文本纠错算法及系统,涉及机器学习技术领域。该方法包括:选取PLOME模型作为基线模型,沿用PLOME模型的混合嵌入层和混合掩码策略建立改进模型;改进模型通过字符预测和字音预测进行叠加得到预测的结果,其中,预测结果通过将字符预测概率和字音预测概率进行加权求和并计算最终分布,取最高值对应字符作为最终预测结果。在PLOME模型里融入检错预测模块,其中,检错预测模块根据数据集构建错误位置标签,在嵌入层对训练集中的句子对逐字符进行查表,并转为向量时,增加判断该字符是否错误的逻辑。能够在文本纠错任务重能更好的融合字音特征和检错信息,进而能够更好的实现对字符的纠错。

技术研发人员:梁泽雨,白晓英,洪志国
受保护的技术使用者:中国传媒大学
技术研发日:
技术公布日:2024/1/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1