基于大模型的多模态政务问答方法及系统与流程

本技术涉及人工智能，具体涉及一种基于大模型的多模态政务问答方法及系统。

背景技术：

1、传统的政务领域问答依赖人工客服，而随着人工智能技术的发展，智能政务问答已广泛应用于政务服务的政务问答系统中。现如今的智能政务问答方法，通常是根据当前用户输入的内容从预先设定的政务问答数据库中匹配合适的回答语句。然而，这种智能政务问答方法不能准确地分析出用户的实际提问意图，从而导致生成的政务答案的与用户的实际需求匹配程度较低。

2、因此，如何提升生成的政务答案与用户实际需求的匹配程度，成为亟需解决的技术问题。

技术实现思路

1、本技术提供了一种基于大模型的多模态政务问答方法及系统，可以有效提升生成的政务答案与用户实际需求的匹配程度。

2、第一方面，本技术提供了一种基于大模型的多模态政务问答方法，所述方法包括：获取多个历史政务提问数据；基于多个所述历史政务提问数据，构建多个历史提问特征向量；响应于用户发起的政务问答请求，获取用户输入的当前政务提问数据；基于所述当前政务提问数据，构建当前提问特征向量；基于多个所述历史提问特征向量和所述当前提问特征向量，计算所述当前政务提问数据与各个所述历史政务提问数据的第一关联程度；从多个所述历史政务提问数据中确定目标历史政务提问数据；所述目标历史政务提问数据为所述第一关联程度大于预设第一关联阈值的历史政务提问数据；基于所述目标历史政务提问数据，生成当前政务回答数据。

3、通过采用上述技术方案，通过基于多个历史政务提问数据构建多个历史提问特征向量，从而提高了数据处理的准确性。通过响应于用户发起的政务问答请求并获取用户输入的当前政务提问数据，可以直接捕捉到用户的具体需求和问题，从而确保回答的相关性和针对性。通过基于当前政务提问数据构建当前提问特征向量，从而可以准确地提取用户提问的关键内容。通过基于多个历史提问特征向量和当前提问特征向量计算当前政务提问数据与各个历史政务提问数据的第一关联程度，方案可以识别出与当前提问最相关的历史案例，从而提高回答的准确性。通过从多个历史政务提问数据中确定第一关联程度大于预设第一关联阈值的目标历史政务提问数据，并基于目标历史政务提问数据，生成当前政务回答数据，从而使得生成的当前政务回答数据与用户的政务提问高度相关，进而有效提升了生成的政务答案与用户实际需求的匹配程度。

4、可选的，所述历史政务提问数据包括多种模态的历史政务提问子数据；所述基于多个所述历史政务提问数据，构建多个历史提问特征向量，具体包括：基于所述多种模态的历史政务提问子数据对应的数据类型，对所述多种模态的历史政务提问子数据进行预处理，得到多种模态的历史预处理子数据；对所述多种模态的历史预处理子数据进行特征提取操作，得到多个历史初始特征；对全部所述历史初始特征进行筛选，得到多个历史提问特征；对多个所述历史提问特征进行融合操作，得到多个历史提问特征向量。

5、通过采用上述技术方案，通过基于多种模态的历史政务提问子数据对应的数据类型对多种模态的历史政务提问子数据进行预处理，从而实现对原始数据的标准化和优化，提高后续特征提取的准确性。通过对多种模态的历史预处理子数据进行特征提取操作，从而有效地从不同类型的数据中提取出关键信息；通过对全部历史初始特征进行筛选，从而筛除不相关或重复的特征，确保特征集的精准性。通过对多个历史提问特征进行融合操作，得到多个历史提问特征向量，从而提高问答系统的准确性。

6、可选的，所述对全部所述历史初始特征进行筛选，得到多个历史提问特征，具体包括：从全部所述历史初始特征中筛除重复特征，得到多个相关历史特征；基于特征选择算法，计算各个所述相关历史特征对应的特征重要系数值；从多个所述相关历史特征中筛选得到多个历史提问特征；所述历史提问特征为所述特征重要系数值大于预设特征重要系数阈值的相关历史特征。

7、通过采用上述技术方案，通过从全部历史初始特征中筛除重复特征，可以减少冗余信息，使得剩余的历史提问特征更加精确；通过计算各个相关历史特征对应的特征重要系数值，并从多个相关历史特征中筛选特征重要系数值大于预设特征重要系数阈值的历史提问特征，从而使得历史提问特征对理解历史提问内容具有高度的相关性和代表性。

8、可选的，所述当前政务提问数据包括多种模态的当前政务提问子数据；所述基于所述当前政务提问数据，构建当前提问特征向量，具体包括：基于多个所述历史政务提问数据和所述当前政务提问数据，得到上下文环境；基于所述多种模态的当前政务提问子数据对应的数据类型，对所述多种模态的当前政务提问子数据进行预处理，得到多种模态的当前预处理子数据；基于所述上下文环境对所述多种模态的当前预处理子数据进行分析，得到多个当前初始特征；对各个所述当前初始特征进行加权处理和优先级调整操作，得到多个当前提问特征；对多个所述当前提问特征进行融合操作，得到当前提问特征向量。

9、通过采用上述技术方案，通过基于多个历史政务提问数据和当前政务提问数据得到上下文环境，从而能够在更广泛的背景下理解用户的当前提问，增强了对提问意图的准确把握，提高了回答的相关性和针对性。通过基于上下文环境对多种模态的当前预处理子数据进行分析得到多个当前初始特征，从而确保了提取的特征全面地反映了当前提问的各个方面，增强了特征的代表性；通过对各个当前初始特征进行加权处理和优先级调整操作，得到多个当前提问特征，从而确保了特征集中最关键的元素获得更高的重视，增加了回答生成的准确性，进而可以有效提升后续生成的政务答案与用户实际需求的匹配程度。

10、可选的，所述对各个所述当前初始特征进行加权处理和优先级调整操作，得到多个当前提问特征，具体包括：对各个所述当前初始特征进行重要性分析，得到各个所述当前初始特征对应的加权系数；确定各个所述当前初始特征对应的初始特征值；基于各个所述加权系数对各个所述当前初始特征进行加权处理，得到加权后的当前特征；并基于各个所述初始特征值，得到各个所述加权后的当前特征对应的加权特征值；基于各个所述加权特征值，对所述加权后的当前特征进行优先级调整，得到当前提问特征集；所述当前提问特征集中包括多个排序后的当前提问特征。

11、可选的，所述基于所述目标历史政务提问数据，生成当前政务回答数据，具体包括：获取与各个所述历史政务提问数据对应的历史政务回答数据；基于所述目标历史政务提问数据，从所述历史政务回答数据中确定与所述目标历史政务提问数据对应的目标历史政务回答数据；基于所述目标历史政务回答数据，生成当前政务回答数据。

12、可选的，所述基于所述目标历史政务回答数据，生成当前政务回答数据，具体包括：基于所述目标历史政务回答数据，构建目标历史回答特征向量；基于所述目标历史回答特征向量和所述当前提问特征向量，计算所述当前政务提问数据与所述目标历史政务回答数据的第二关联程度；从多个所述目标历史政务回答数据中确定参考历史政务回答数据；所述参考历史政务回答数据为所述第二关联程度大于预设第二关联阈值的目标历史政务回答数据；基于所述参考历史政务回答数据，生成所述当前政务回答数据。

13、通过采用上述技术方案，通过基于目标历史政务提问数据，从历史政务回答数据中确定与目标历史政务提问数据对应的目标历史政务回答数据，从而确保选取的历史回答与当前提问紧密相关，提高了生成的回答在内容和上下文上的适应性和准确性；通过基于目标历史回答特征向量和当前提问特征向量，计算当前政务提问数据与目标历史政务回答数据的第二关联程度，从而确保所选择的历史回答在内容和主题上与当前提问高度匹配。通过从多个目标历史政务回答数据中确定参考历史政务回答数据，从而能够从一系列高度相关的历史回答中筛选出最合适的参考，进一步提高回答的针对性和质量。通过从多个目标历史政务回答数据中确定第二关联程度大于预设第二关联阈值的参考历史政务回答数据，并基于参考历史政务回答数据，生成当前政务回答数据，从而确保所选择的历史回答与当前提问高度相关，进而提高最终生成回答的相关性和准确性，使得生成的政务答案与用户实际需求高度匹配。

14、在本技术的第二方面提供了一种基于大模型的多模态政务问答系统，所述系统包括获取模块和处理模块；所述获取模块，用于获取至少一个历史政务提问数据；所述处理模块，用于基于多个所述历史政务提问数据，构建多个历史提问特征向量；所述获取模块，还用于响应于用户发起的政务问答请求，获取用户输入的当前政务提问数据；所述处理模块，还用于基于所述当前政务提问数据，构建当前提问特征向量；所述处理模块，还用于基于多个所述历史提问特征向量和所述当前提问特征向量，计算所述当前政务提问数据与各个所述历史政务提问数据的第一关联程度；所述处理模块，还用于从多个所述历史政务提问数据中确定目标历史政务提问数据；所述目标历史政务提问数据为所述第一关联程度大于预设第一关联阈值的历史政务提问数据；所述处理模块，还用于基于所述目标历史政务提问数据，生成当前政务回答数据。

15、在本技术的第三方面提供了一种电子设备，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其它设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如本技术第一方面任意一项所述的方法。

16、在本技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有能够被处理器加载并执行如本技术第一方面任意一项所述的方法的计算机程序。

17、综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

18、1、通过基于多个历史政务提问数据构建多个历史提问特征向量，从而提高了数据处理的准确性。通过响应于用户发起的政务问答请求并获取用户输入的当前政务提问数据，可以直接捕捉到用户的具体需求和问题，从而确保回答的相关性和针对性。通过基于当前政务提问数据构建当前提问特征向量，从而可以准确地提取用户提问的关键内容。通过基于多个历史提问特征向量和当前提问特征向量计算当前政务提问数据与各个历史政务提问数据的第一关联程度，方案可以识别出与当前提问最相关的历史案例，从而提高回答的准确性。通过从多个历史政务提问数据中确定第一关联程度大于预设第一关联阈值的目标历史政务提问数据，并基于目标历史政务提问数据，生成当前政务回答数据，从而使得生成的当前政务回答数据与用户的政务提问高度相关，进而有效提升了生成的政务答案与用户实际需求的匹配程度。

19、2、通过基于多个历史政务提问数据和当前政务提问数据得到上下文环境，从而能够在更广泛的背景下理解用户的当前提问，增强了对提问意图的准确把握，提高了回答的相关性和针对性。通过基于上下文环境对多种模态的当前预处理子数据进行分析得到多个当前初始特征，从而确保了提取的特征全面地反映了当前提问的各个方面，增强了特征的代表性；通过对各个当前初始特征进行加权处理和优先级调整操作，得到多个当前提问特征，从而确保了特征集中最关键的元素获得更高的重视，增加了回答生成的准确性，进而可以有效提升后续生成的政务答案与用户实际需求的匹配程度。

20、3、通过基于目标历史政务提问数据，从历史政务回答数据中确定与目标历史政务提问数据对应的目标历史政务回答数据，从而确保选取的历史回答与当前提问紧密相关，提高了生成的回答在内容和上下文上的适应性和准确性；通过基于目标历史回答特征向量和当前提问特征向量，计算当前政务提问数据与目标历史政务回答数据的第二关联程度，从而确保所选择的历史回答在内容和主题上与当前提问高度匹配。通过从多个目标历史政务回答数据中确定参考历史政务回答数据，从而能够从一系列高度相关的历史回答中筛选出最合适的参考，进一步提高回答的针对性和质量。通过从多个目标历史政务回答数据中确定第二关联程度大于预设第二关联阈值的参考历史政务回答数据，并基于参考历史政务回答数据，生成当前政务回答数据，从而确保所选择的历史回答与当前提问高度相关，进而提高最终生成回答的相关性和准确性，使得生成的政务答案与用户实际需求高度匹配。