本发明涉及自然语言处理，具体为一种基于大模型的语音控制智慧大屏系统及方法。
背景技术：
1、语音控制提供了一种更加自然、直观的交互方式，用户无需学习特定的操作流程即可与系统互动，这可以显著提高用户的满意度和参与度。通过语音指令可以直接跳转到所需功能或信息，减少了寻找菜单选项和手动操作的时间，从而提高了演示过程的效率。
2、自动化流程可以减少由于操作人员不熟悉系统或误操作而导致的错误，确保每次演示都能准确无误地展示产品的最佳特性。自动化的演示系统可以在没有专人指导的情况下运行，节省了人力资源，尤其是在大规模展会或需要频繁演示的场景下。
3、为此，需要提供一种更高效、更具吸引力且能展现公司技术实力的解决方案。以帮助公司更好地吸引潜在客户，促进销售，并在市场上保持竞争力。
技术实现思路
1、本发明的目的在于提供一种基于大模型的语音控制智慧大屏系统及方法，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：一种基于大模型的语音控制智慧大屏系统，包括意图识别大模型模块、实体识别大模型模块、后端调度模块；
3、所述意图识别大模型模块，用于接收用户通过语音或文本形式输入的信息，将信息转化为计算机可识别格式后，利用自然语言处理技术进行词汇分析、句法分析和语义分析，对预定义意图集合进行匹配并聚类，识别出最符合用户意图的类别，再按照接口文档对输出进行整理；
4、所述实体识别大模型模块，用于接收用户输入的文本，利用自然语言处理技术进行词汇分析、句法分析和语义分析，在自然语言理解基础上识别出具有特定意义的实体，进行实体链接和归一化操作，最后按照接口文档对实体识别的输出进行整理；
5、所述后端调度模块，用于接收包含用户请求相关信息的字典类型参数req，从req中提取trace_id、question以及可选的id，调用意图识别接口查询屏幕意图screen_intend，根据screen_intend在配置中查找对应的screen_intend_key，若存在则按该板块展示信息，若不存在则尝试从数据库中查询最新的问答记录latest_query，根据查询结果数据进行相应处理，对于特定屏幕意图调用屏幕调度接口获取相关数据，对于其他意图进行命名实体识别，若无latest_query则默认使用屏幕初始板块对应屏幕意图并进行命名实体识别。
6、优选的，意图识别大模型模块的接口直接从agentstore中调用，在识别用户意图过程中，通过对用户输入文本进行解析和理解，包括词汇分析确定文本中的词汇构成、句法分析明确词汇间的语法关系、语义分析理解文本所表达的含义，进而匹配预定义意图集合并聚类，以准确识别用户意图类别。
7、优选的，实体识别大模型模块在识别实体时，通过训练学习到如板块名字、云中心名字、历史工单、告警级别实体的特征和模式，在识别出实体后，将识别出的实体与知识库中的实体进行关联以实现实体链接，将不同形式的实体表示转化为统一的形式进行归一化操作，确保实体识别的准确性和一致性。
8、优选的，后端调度模块在根据screen_intend进行处理时，若从数据库中查询到最新的问答记录latest_query，对于特定的屏幕意图，如切换大屏展示模块等意图，调用屏幕调度接口获取相关数据，以实现对大屏展示内容的切换和更新；对于其他意图，则进行命名实体识别，以进一步提取用户输入中的关键实体信息。
9、优选的，系统整体工作流程为：首先将语音转换为文字并进行拼音纠错和转写，然后将文字输入意图识别大模型模块，若用户有实体抽取需求则进一步调用实体识别大模型模块提取实体信息，最后后端调度模块根据处理结果将信息显示在当前屏幕上供用户查看，以提高相关人员展示不同产品以及不同成果的效率。
10、一种基于大模型的语音控制智慧大屏系统用的方法，包括以下步骤：
11、语音转换为文字并进行拼音纠错和转写；
12、将转写后的文字输入意图识别大模型，该模型接口直接从agentstore中调用，利用自然语言处理技术对用户输入的文本进行词汇分析、句法分析和语义分析，对预定义意图集合进行匹配并聚类，识别出最符合用户意图的类别，按照接口文档对输出进行整理；
13、若用户有实体抽取需求，进一步调用实体识别大模型，该模型利用自然语言处理技术对文本进行词汇分析、句法分析和语义分析，在自然语言理解基础上识别出具有特定意义的实体，进行实体链接和归一化操作，按照接口文档对实体识别的输出进行整理；
14、后端调度模块接收包含用户请求相关信息的字典类型参数req，从req中提取trace_id、question以及可选的id，调用意图识别接口根据question查询屏幕意图screen_intend，根据screen_intend在配置中查找是否对应screen_intend_key，若存在则按该板块展示信息，若不存在则尝试从数据库中查询最新的问答记录latest_query，根据查询结果数据进行相应处理，对于特定屏幕意图调用屏幕调度接口获取相关数据，对于其他意图进行命名实体识别，若无latest_query则默认使用屏幕初始板块对应屏幕意图并进行命名实体识别；
15、将最终处理结果显示在当前屏幕上供用户查看。
16、优选的，意图识别大模型在识别用户意图时，通过对用户输入文本进行词汇分析确定文本中的词汇构成、句法分析明确词汇间的语法关系、语义分析理解文本所表达的含义，进而对预定义意图集合进行匹配和聚类，以准确识别出最符合用户意图的类别，并按照接口文档规范对输出进行整理，确保输出结果的准确性和可用性。
17、优选的，实体识别大模型在识别实体时，通过训练学习到如板块名字、云中心名字、历史工单、告警级别实体的特征和模式，在自然语言理解基础上准确识别出文本中的实体，然后进行实体链接，将识别出的实体与知识库中的实体进行关联以确定其真实身份，接着进行归一化操作，将不同形式的实体表示转化为统一的形式，最后按照接口文档对实体识别的输出进行整理，保证实体识别的准确性和一致性。
18、优选的，后端调度模块在处理用户请求时，若从数据库中查询到最新的问答记录latest_query，对于特定的屏幕意图，如切换大屏展示模块意图，调用屏幕调度接口获取相关数据，以实现对大屏展示内容的切换和更新；对于其他意图，进行命名实体识别，以进一步提取用户输入中的关键实体信息；若没有历史记录latest_query，则默认使用屏幕初始板块对应屏幕意图，并进行命名实体识别，确保系统能够根据不同情况准确响应用户请求。
19、优选的，方法整体流程中，语音转换、意图识别、实体识别和后端调度各模块相互配合，语音转换模块为后续文本处理提供基础数据，意图识别模块确定用户意图方向，实体识别模块提取关键实体信息，后端调度模块根据识别结果和配置信息进行相应的数据处理和展示控制，各模块协同工作以提高相关人员展示不同产品以及不同成果的效率。
20、与现有技术相比，本发明的有益效果是：
21、本发明提出的基于大模型的语音控制智慧大屏系统及方法，通过话筒传入的语音经过agentstore中的语音转写大模型获取指令内容，经过拼音纠错之后形成系统的文字输入。之后，由意图识别大模型识别是否为切换指令，是切换指令的话就会控制大屏切换到相应展示模块，如果不是切换指令则通过实体抽取大模型抽取出关键词定位至相应操作如查看某地云中心值班情况、查看某地有误告警工单，继而通过实体控制屏幕展示相应信息。该方法通过多个大模型的协作配合设计，实现了通过说出指令，即可控制大屏幕实现相应功能以及信息的展示，极大的减少了操控过程，省去了专人点击的过程，也减少了由于操作人员认知差异导致的错误操作出现。并且由于agentstore的引入使得系统灵活性和可扩展性得到了极大提高。