基于大语言模型的电力专业知识智能问答系统构建方法与流程

本发明属于电力技术及自然语言处理，具体为基于大语言模型的电力专业知识智能问答系统构建方法。

背景技术：

1、随着电力行业数字化、信息化和智能化的不断深入，电力应用领域在不断拓宽，由此产生的电力数据格式复杂多样。除了常规的结构化数据外，还伴随着大量的半结构化和非结构化数据；这些数据作为电力专业知识，以多模态的形式共同构成了庞大、零散、多源、异构、多维和多形式的电力数据资源，对这些资源中蕴含的姿势，均可采用智能问答系统加以利用。

2、目前，在面对这些具有较高的专业门槛、种类繁多、形式复杂的电力专业知识时，传统的智能问答系统采用基于知识图谱技术的管理方式。这一方式难以准确表达知识间的关联和协同关系，对异构知识的抽取、管理和应用也不够充分，因此极大地影响了电力专业知识的管理利用效率。

3、随着自然语言处理技术的发展，如何构建针对电力专业知识的新型智能问答系统，使电力数据资源得到更有价值的应用，就成为了本领域技术人员的研究热点。

技术实现思路

1、本发明的目的是构建出一种新型智能问答系统，该系统能使电力专业知识的搜索、问答和推荐过程更加高效，对电力数据资源的应用更加充分，从而保证系统在生成内容和输出答案时的专业性和准确性。本发明通过具体构建方法的公开，结合电力专业语料库的构建过程和大语言模型的应用改进过程，来完成智能问答系统的构建和应用。

2、本发明采用了以下技术方案来实现目的：

3、一种基于大语言模型的电力专业知识智能问答系统构建方法，所述方法包括如下步骤：

4、s1、收集电力专业知识的原始对话语料，构建电力专业语料库；通过电力专业语料库，对齐电力专业知识智能问答过程中的对话场景；

5、s2、构建电力专业知识智能问答系统的大语言模型；使用电力专业语料库对大语言模型的基座进行增量微调，同时进行大语言模型在电力领域任务中的迁移及适配训练，对训练完成的大语言模型进行评估；

6、s3、将电力知识库挂载于评估通过后的大语言模型中，完成智能问答系统的构建；随后在智能问答过程中，将输入问题与电力知识库转换至相同的向量空间，检索计算匹配结果；大语言模型对齐输入问题的对话场景，应用训练后的语言能力和理解整合能力，将匹配结果描述为输出答案。

7、进一步的，步骤s1中，对原始对话语料进行预处理后，先采用正则化约束分段方式，将原始对话语料中的文档集和数据集切分为粗粒度文段；采用基于bert的自适应滑动窗口序列模型，对粗粒度文段中具有强依赖长文本篇章信息的电力专业知识，应用上下文信息进行分割，完整保留具有强语意关联的电力专业描述、名词、术语概念，从而完成电力专业语料库的构建。

8、进一步的，步骤s2中，大语言模型的基座采用具备自然语言生成与理解能力的双向交互模型chatglm2-6b；在基座的增量微调过程中，将模型权重参数更新在低内在维度，采用低秩自适应方式使模型对电力领域任务进行适应；

9、在模型训练过程中，保持基座的预训练权重不变，逐步优化模型密集层中的秩分解矩阵，对电力专业知识进行增量，将增量后的参数更新至原有基座上；同时，在原有基座的大矩阵乘法结构上，新增一个小矩阵旁路结构，以实现特征映射；并在训练时将大矩阵与小矩阵合并，来实现大矩阵参数的更新，从而完成大语言模型在电力领域任务中的迁移及适配。

10、进一步的，步骤s3中，依据电力知识库的向量检索路径，采用词嵌入方式，将输入问题和电力知识库转换为高维空间中的向量，随后采用余弦相似度计算方式，计算出输入问题与电力知识库中对应内容的相关度，得出多个候选内容；依据候选内容，确定出匹配结果，大语言模型将匹配结果描述为输出答案。

11、综上所述，由于采用了本技术方案，本发明的有益效果如下：

12、依照本发明的方法，所构建出的电力专业知识智能问答系统，能对电力专业的知识概念具有更好的理解，并输出更理想的专业回答。

13、在系统构建过程中，通过明确电力专业语料库的高质量构建方式，使大语言模型避免了编造、错位或毫无帮助的内容输出，能更好理解用户意图，从而生成真实有用的内容。

14、本发明中，电力行业专家会参与电力专业语料库在模型训练过程中的测试及校准过程，使大语言模型生成的内容在经验上更为丰富，而不仅是知识的简单归纳总结。

15、在大语言模型的改进上，本发明间接帮助模型中的密集层完成电力行业知识的学习，使得模型在电力领域任务上完成迁移和适配，在任务过程中具有更好的准确性和有效性。大语言模型通过语言能力和理解能力整合出问答过程的最优答案，能从电力行业专家的角度将答案输出呈现。

技术特征：

1.一种基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：步骤s1中，对原始对话语料进行预处理后，先采用正则化约束分段方式，将原始对话语料中的文档集和数据集切分为粗粒度文段；采用基于bert的自适应滑动窗口序列模型，对粗粒度文段中具有强依赖长文本篇章信息的电力专业知识，应用上下文信息进行分割，完整保留具有强语意关联的电力专业描述、名词、术语概念，从而完成电力专业语料库的构建。

3.根据权利要求2所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：电力专业语料库构建完成后，将其中的每个文段作为一个整体，拆分为句子片段和细粒度字词片段；基于词频与词性，初始化细粒度字词片段的大词表，再通过unigram模型评估大词表，优化减少词数，直至减少为预设目标词数，得到电力tokenizer模型；将电力tokenizer模型与原生的通用tokenizer模型合并，扩展电力专业语料库的词汇表数据。

4.根据权利要求3所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：电力专业语料库扩展完成后，智能问答过程中的对话场景对齐方式包括隐式对齐和显式对齐；隐式对齐方式中，以电力专业语料库中的电力规范、标准、法规和制度作为对话场景的约束调节；显式对齐方式中，由电力行业专家针对电力专业语料库中的问答内容进行逐个校准，并针对同一问题涉及的不同参数与变量，完成不同的理解与解答过程。

5.根据权利要求1所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：步骤s2中，大语言模型的基座采用具备自然语言生成与理解能力的双向交互模型chatglm2-6b；在基座的增量微调过程中，将模型权重参数更新在低内在维度，采用低秩自适应方式使模型对电力领域任务进行适应；

6.根据权利要求5所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：基座在预训练后，其权重参数为w0∈rr×k，权重更新的表示方式如下：

7.根据权利要求6所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：在增量微调的训练过程中，首先冻结基座权重参数w0，使其不进行参数更新；随后在原有的模型推理路径上增加新分支，通过矩阵a的降维运算和矩阵b的生维运算来模拟特征映射过程，并在输出时将ba乘积与基座的权重参数进行拼接，以保证输入输出前后的维度不变；

8.根据权利要求1所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：步骤s3中，依据电力知识库的向量检索路径，采用词嵌入方式，将输入问题和电力知识库转换为高维空间中的向量，随后采用余弦相似度计算方式，计算出输入问题与电力知识库中对应内容的相关度，得出多个候选内容；依据候选内容，确定出匹配结果。

9.根据权利要求8所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：预设候选内容的筛选数量k，多个候选内容依据相关度进行排序，将排序队列中靠前的k个候选内容分别与输入问题进行拼接，并映射至相同的向量空间中，形成拼接答案，再从拼接答案中确定匹配结果。

10.根据权利要求9所述的基于大语言模型的电力专业知识智能问答系统构建方法，其特征在于：计算每条拼接答案的匹配度，匹配度最高的一条拼接答案作为匹配结果，被大语言模型描述为输出答案。

技术总结
本发明提供一种基于大语言模型的电力专业知识智能问答系统构建方法，属于电力技术及自然语言处理技术领域，解决了知识图谱技术构建系统的局限性问题；包括：S1、收集原始对话语料，构建电力专业语料库，对齐智能问答过程中的对话场景；S2、构建大语言模型，对大语言模型的基座进行增量微调，进行电力领域任务的迁移及适配训练；S3、将电力知识库挂载于大语言模型中；将输入问题与电力知识库转换至相同的向量空间，检索计算匹配结果，对齐对话场景，应用模型的语言能力和理解整合能力，输出最终答案；本发明方法构建的系统能使电力专业知识的搜索、问答和推荐过程更加高效，保证系统在生成内容和输出答案时的专业性和准确性。

技术研发人员：乔俏,舒虎,段升位,鄢秀庆,李会超,冯勇,李治,车达,陈浩,蒋艾町,田涛,骆俊林,姚枫,晁沁杭,蒋贵丰,杨妍,李安琪
受保护的技术使用者：中国电力工程顾问集团西南电力设计院有限公司
技术研发日：
技术公布日：2024/2/29