中文提示词压缩方法及装置与流程

本发明涉及人工智能，具体涉及一种中文提示词压缩方法及装置。

背景技术：

1、提示词是一种提供给大语言模型的文本，用于引导大语言模型更好地完成推理任务，在一些任务中，大语言模型的提示词非常长，导致其推理成本过高，推理速度较慢，为了降低推理成本并提升推理效率，可以对超长的提示词进行压缩后使用。

2、然而，对提示词进行压缩时通常会选择性地丢弃部分冗余信息，冗余信息的选择不当则会导致大语言模型的推理准确度降低，因此，亟需一种方式在压缩提示词时兼顾压缩效果和推理的准确性。

技术实现思路

1、本发明实施例提供一种中文提示压缩方法及装置，可以在压缩提示词时兼顾压缩效果和推理准确性。

2、本发明实施例提供一种中文提示词压缩方法，该方法包括：

3、获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；

4、针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分；

5、根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，所述中间提示词包括多个中间示例；

6、针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，所述领域词典为所述待处理中文提示词所属领域中的词典；

7、结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词。

8、本发明实施例还提供一种中文提示词压缩装置，该装置包括：

9、获取模块，用于获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；

10、相关性计算模块，用于针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分；

11、示例删减模块，用于根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，所述中间提示词包括多个中间示例；

12、重要性计算模块，用于针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，所述领域词典为所述待处理中文提示词所属领域中的词典；

13、词语删减模块，用于结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词。

14、本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种中文提示词压缩方法中的步骤。

15、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种中文提示词压缩方法中的步骤。

16、本发明实施例还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本发明实施例所提供的任一种中文提示词压缩方法中的步骤。

17、本发明实施例可以获取到待处理中文提示词，针对待处理中文提示词中的每个待处理示例，基于待处理示例中各个文本片段与待处理问题之间的关联度，计算待处理示例的相关性得分，并利用相关性得分删减待处理示例，得到中间提示词，再结合待处理中文提示词对应的领域词典和待处理示例，计算中间示例中每个词语的重要性得分，结合重要性得分和相关性得分，以删减中间提示词中的词语得到压缩后提示词。

18、基于待处理示例和待处理问题之间的关联度在示例层次进行信息的删减，再结合领域词典和待处理问题在词语层次进行信息的删减，可准确删减与待处理问题无关的冗余信息的同时兼顾语义完整性，由此，最终得到的压缩后提示词中不包含冗余信息具有较好的压缩效果，且压缩后提示词的语义完整，也可确保后续推理的准确性。

技术特征：

1.一种中文提示词压缩方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述待处理问题和所述关键片段，计算所述待处理示例的第二参数，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述待处理问题包括问题描述文本，所述针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述问题描述文本，计算所述中间示例中每个字符的条件困惑度差异，包括：

8.根据权利要求6所述的方法，其特征在于，所述针对所述分词结果中的每个词语，基于所述领域词典以及所述词语中的每个字符的条件困惑度差异，计算所述词语的重要性得分，包括：

9.根据权利要求1所述的方法，其特征在于，所述结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词，包括：

10.一种中文提示词压缩装置，其特征在于，所述装置包括：

技术总结
本发明公开了一种中文提示词压缩方法及装置，应用于人工智能领域。所述方法包括：获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；基于待处理示例中的各个文本片段与待处理问题之间的关联度，计算待处理示例的相关性得分；根据相关性得分进行示例删减处理得到中间提示词；基于领域词典和待处理问题，计算中间示例中每个词语的重要性得分；结合重要性得分和相关性得分进行词语删减处理，得到压缩后提示词。基于相关性得分在示例层次进行信息的删减，再基于重要性得分在词语层次进行信息的删减，可在准确删减冗余信息的同时兼顾语义完整性，从而可确保压缩效果的同时兼顾推理的准确性。

技术研发人员：冯龙宇,屠静,王亚
受保护的技术使用者：卓世科技（海南）有限公司
技术研发日：
技术公布日：2024/3/21