一种基于LLM的政策分析报告自动化编制方法和系统与流程

本发明属于自然语言处理，具体涉及一种基于llm技术的政策分析报告自动化编制方法和系统。

背景技术：

1、全国各地的政策搜集以及其政策报告内容的分析与编制是大型企业的重点工作之一。相关政策信息作为各个企业开展生产经营活动的重要支点，其信息搜集工作是整个报告编制的基础，然后对搜集内容的概括和整理是报告编制的重要步骤。目前各个企业大多都是依赖人工搜集政策信息，然后进行汇总整理编制政策报告，人工整理的政策分析报告往往需要耗费大量的时间并且存在有归纳不全面，总结不位等问题。

2、现有的人工搜集政策信息和编制政策报告的方案，存在有以下几个缺点：1.政策信息搜集过程中人工所依赖的信息来源有限，无法搜索到互联网上所有关注的政策信息；2.人工主观判定的因素的较大，可能在关键信息上有所遗漏；3.政策概括和整理不够全面和及时，往往需要大量人工和时间去编制政策报告。

技术实现思路

1、为了解决上述问题，本发明提出一种基于llm(large language model，大规模语言模型)技术的政策分析报告自动化编制方法和系统，旨在提高报告编制的效率和减少人工成本。

2、实现本发明目的之一的一种基于llm的政策分析报告自动化编制方法，包括如下步骤：

3、s1、构建基于llm的分析模型；

4、s2、收集多份历史政策文件，对每份历史政策文件中的摘要进行标注，即从中挑选出关注的段落和语句，将进行了摘要标注的多份历史政策文件划分为训练集和测试集；

5、s3、利用所述训练集对所述分析模型进行训练，得到训练完成的政策分析报告编制模型，所述政策分析报告编制模型用于根据输入的政策文件输出所关注的政策分析报告。

6、所述步骤s3中，利用所述训练集对所述分析模型进行训练时，采用低秩适配法对所述分析模型进行训练，所述低秩适配法用于在训练所述分析模型时减少模型的预训练参数以节省训练开销。利用r-drop(regularized dropout)模块对低秩适配法中的低秩适配器的输出向量进行随机失活(dropout)操作。

7、更进一步地，采用低秩适配法对所述分析模型进行训练时，采用r-drop模块对所述低秩适配法的低秩适配器的第一输出向量a进行多次随机失活操作，得到第一随机向量h1，所述第一随机向量h1用于在后续模型训练过程中对第一输出向量a进行更新。

8、更进一步地，采用低秩适配法对所述分析模型进行训练时，还包括采用r-drop模块对所述低秩适配法的低秩适配器的第二输出向量b进行多次随机失活操作，得到第二随机向量h2，所述第二随机向量h2用于在后续模型训练过程中对第二输出向量b进行更新。

9、上述方法中，所述分析模型的最终输出向量的计算方法包括：

10、

11、式中：

12、表示所述分析模型最终输出的向量；对向量进行解码得到模型输出的候选摘要；

13、w表示设定的预训练权重；

14、x表示所述分析模型的输入向量；

15、h表示低秩适配法的输出向量。

16、进一步地，所述低秩适配法的输出向量h的计算方法包括：

17、

18、h1＝dropout1(bax)

19、h2＝dropout2(bax)

20、式中：

21、a和b分别表示所述低秩适配法的低秩适配器的第一输出向量a和第二输出向量b；

22、dropout1和dropout2分别表示对bax进行随机失活操作；

23、bax表示第一输出向量a、第二输出向量b和所述分析模型的输入向量x相乘。

24、上述方法中，所述步骤s3中，利用所述训练集对所述分析模型进行训练时，其损失函数l的计算方法包括：

25、l＝l1+l2

26、式中：

27、l1为基于分析模型输出的候选摘要与输入的政策文件的召回率；

28、l2为基于分析模型输出的候选摘要之间的差异性。

29、进一步地，基于分析模型输出的候选摘要与输入的政策文件的召回率l1的计算方法包括：

30、l1＝tatal_nums/match_nums

31、total_nums表示标准摘要的句子总数，所述标准摘要在模型训练时由人工标注；

32、match_nums表示所述分析模型输出的每个候选摘要中包含的所有句子中被包含在标准摘要中的句子总数。

33、进一步地，基于分析模型输出的候选摘要之间的差异性l2的计算方法包括：

34、

35、式中：

36、d表示输入分析模型的政策文件；

37、n表示所述分析模型输出的候选摘要的数量；每个候选摘要包含多个句子；

38、ci和cj分别表示所述分析模型输出的多个候选摘要中第i个和第j个候选摘要，i∈[1,n],j∈[i+1,n]；

39、r为人工经验补偿值；人工补偿值的加入是为了防止l2的值接近于0，导致模型梯度消失，无法迭代训练。

40、f(d,ci)和f(d,cj)分别表示分析模型输出的候选摘要中的第i个摘要和第j个摘要与输入的政策文件的文本相似度，所述相似度可以采用余弦相似度或者tf-idf，任何常规的相似度计算均可，即分别将整个政策文件和候选集中的第j个句子输入到分析模型中得到一个表征整个文档的向量和表征第j个句子的向量，然后计算两个向量的相似度。

41、实现本发明目的之二的一种基于llm的政策分析报告自动化编制系统，包括分析模型构建模块、数据收集模块和政策分析报告编制模型生成模块；

42、所述分析模型构建模块用于构建基于llm的分析模型；

43、所述数据收集模块用于收集多份历史政策文件，对每份历史政策文件中的摘要进行标注，将进行了摘要标注的多份历史政策文件划分为训练集和测试集；

44、所述政策分析报告编制模型生成模块用于利用所述训练集对所述分析模型进行训练，得到训练完成的政策分析报告编制模型，所述政策分析报告编制模型用于根据输入的政策文件输出所关注的政策分析报告。

45、有益效果：

46、本发明针对政策信息的文本信息进行采集并处理，利用llm技术对文本信息进行摘要抽取以及报告编制。在模型训练阶段，利用r-drop改进低秩适配法的方案，提升其数据多样性和模型效果，在下游任务处理时，设计依据原文抽取的两种损失函数，对模型进行调优。最后在推理阶段，依靠关键词或者简单分类器的中间结果，设计<cls>字段对模型推理进行prompt操作充分利用模型的预训练知识。本发明提升了政策信息汇总和编制的效率，节省了人力成本，包含的信息也更加全面，并且可以自动化生成。

技术特征：

1.一种基于llm的政策分析报告自动化编制方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于llm的政策分析报告自动化编制方法，其特征在于，所述步骤s3中，利用所述训练集对所述分析模型进行训练时，采用低秩适配法对所述分析模型进行训练，所述低秩适配法用于在训练所述分析模型时减少模型的预训练参数以节省训练开销。

3.如权利要求2所述的基于llm的政策分析报告自动化编制方法，其特征在于，采用低秩适配法对所述分析模型进行训练时，对所述低秩适配法的低秩适配器的第一输出向量a进行多次随机失活操作，得到第一随机向量h1，所述第一随机向量h1用于在后续模型训练过程中对第一输出向量a进行更新。

4.如权利要求3所述的基于llm的政策分析报告自动化编制方法，其特征在于，采用低秩适配法对所述分析模型进行训练时，还包括对所述低秩适配法的低秩适配器的第二输出向量b进行多次随机失活操作，得到第二随机向量h2，所述第二随机向量h2用于在后续模型训练过程中对第二输出向量b进行更新。

5.如权利要求4所述的基于llm的政策分析报告自动化编制方法，其特征在于，所述分析模型的最终输出向量的计算方法包括：

6.如权利要求5所述的基于llm的政策分析报告自动化编制方法，其特征在于，所述低秩适配法的输出向量h的计算方法包括：

7.如权利要求1所述的基于llm的政策分析报告自动化编制方法，其特征在于，所述步骤s3中，利用所述训练集对所述分析模型进行训练时，其损失函数l的计算方法包括：

8.如权利要求7所述的基于llm的政策分析报告自动化编制方法，其特征在于，基于所述分析模型输出的候选摘要与输入的政策文件的召回率l1的计算方法包括：

9.如权利要求7所述的基于llm的政策分析报告自动化编制方法，其特征在于，基于所述分析模型输出的候选摘要之间的差异性l2的计算方法包括：

10.一种采用权利要求1所述方法的基于llm的政策分析报告自动化编制，其特征在于，包括分析模型构建模块、数据收集模块和政策分析报告编制模型生成模块；

技术总结
本发明公开了一种基于LLM的政策分析报告自动化编制方法和系统。包括构建基于LLM的分析模型；收集多份历史政策文件，对每份历史政策文件中的摘要进行标注，将进行了摘要标注的多份历史政策文件划分为训练集和测试集；利用所述训练集对所述分析模型进行训练，得到训练完成的政策分析报告编制模型，所述政策分析报告编制模型用于根据输入的政策文件输出所关注的政策分析报告。本发明在模型训练阶段利用R‑drop改进低秩适配法的方案，提升其数据多样性和模型效果，提升了政策信息汇总和编制的效率，节省了人力成本，包含的信息也更加全面，并且可以自动化生成。

技术研发人员：赵璐,马飞,吴天栋,乐建建,石瑞宇,刘涛,肖萌,叶立渔,刘艳
受保护的技术使用者：中交武汉智行国际工程咨询有限公司
技术研发日：
技术公布日：2024/3/21