技术编号：23384046
提示：您尚未登录，请点 登 陆 后下载，如果您还没有账户请点 注 册 ，登陆完成后，请刷新本页查看技术详细信息。本发明具体涉及一种新型的优化语言生成模型输出未知字符的方法。背景技术在一般的自然语言生成模型中，由于通常无法在词表中做到训练语料中词汇的全覆盖，因此，需要加入一个特殊的字符(unk字符)来对其进行表示。但是，在实际的业务使用场景中，unk字符的出现往往会极大地影响用户的体验。优化词表是一种比较直观的处理方法。生成结果中unk词汇过多最核心的原因在于词表的覆盖率不高，如果换用覆盖率更高的分词方法(比如sentencepiece分词方法)或者扩大词表的方式都可以一定程度解决这一问题。这种方法的优点是...
注意：该技术已申请专利，请尊重研发人员的辛勤研发付出，在未取得专利权人授权前，仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权，增加技术思路，做技术知识储备，不适合论文引用。
请注意，此类技术没有源代码，用于学习研究技术思路。