一种基于边缘AIGC架构和AR眼镜的交互系统

本发明涉及ai智能交互系统，更具体地说涉及一种基于边缘aigc架构和ar眼镜的交互系统。

背景技术：

1、目前，我国的工业经济正在飞速发展，设备的大型化、综合化、自动化、连续化程度越来越高，设备巡视作为设备管理人员获取设备运行第一手资料的主要手段，在公安、保安、油田、水力、电力、博物馆等设备管理中得到广泛的应用，通过电子运维系统，我们可以及时发现设备存在的异常和缺陷，并为消除缺陷赢得宝贵的时间，最大限度地保证生产的正常进行。

2、如公开号为cn111612177a，公开日为2020年9月1日，名称为“基于交互语义的增强现实智能运维系统”的发明专利申请，该发明专利申请包括边缘云服务器和ar眼镜，ar眼镜包括：摄像头、运维环境生成器、以及显示模块，边缘云服务器与ar眼镜相耦接，包括知识库，知识库包括与运维环境对应的标准图像；摄像头获取当前运维环境生成器与摄像头点连接，接收第一图像，将第一图像与标准图像进行上下文语义比对，第一图像与标准图像进行合成生成增强显示的运维环境图像；显示模块与运维环境生成器相耦接，用于向佩戴ar眼镜的人员投射增强显示的运维图像的虚像。

3、上述现有技术中主要通过图像比对和虚像显示的方式实现交互，缺乏对ar眼镜采集到的用户语音指令的识别、读取及反馈。虽然现有的交互系统也存在语音交互模块，但是该语音交互模块主要用于ar眼镜的佩戴者与运维管理者的实时语音交互，无法根据ar眼镜佩戴者发出的语音指令进行智能处理反馈相关结果。同时，上述现有技术中，ar眼镜与边缘云服务器的交互属于数据调用交互，是根据边缘云服务器中预设好的数据规则生成的数据，无法根据ar眼镜所处的场景概况进行智能交互。

技术实现思路

1、为了克服上述现有技术中存在的缺陷和不足，本发明提供了一种基于边缘aigc架构和ar眼镜的交互系统，本发明的发明目的在于解决现有ar眼镜与边缘云服务器无法结合使用场景实现智能生成式交互的问题。本发明的交互系统包括边缘设备层、数据预处理层、数据分类存储层和边缘服务层，其中边缘设备层包括ar眼镜、若干环境传感器和用户体质传感器，边缘服务层包括prompt提示词生成模块和aigc处理模块；用户通过ar眼镜发出用户指令，用户指令被输入到prompt提示词生成模块中，prompt提示词生成模块对用户指令进行解析并生成提示词，根据用户指令的解析结果从数据分类存储层调用与该用户指令相关的参数数据，将其生成的提示词以及调用到的参数数据汇总形成临时数据集；生成的临时数据集被输入到aigc处理模块中，aigc处理模块根据接收到的临时数据集，生成对该用户指令的处理结果，并以文本和语音的方式输出，其中文本处理结果反馈到ar眼镜的显示模块上显示，语音处理结果通过ar眼镜的扬声器播放。本发明的交互系统基于智能生成式aigc架构，结合用户指令和应用场景环境参数数据一起作为aigc模块的输入，实现了用户通过ar眼镜与aigc的智能式交互，交互方式便捷，输出结果具有较强的针对性。

2、为了解决上述现有技术中存在的问题，本发明是通过下述技术方案实现的。

3、本发明公开了一种基于边缘aigc架构和ar眼镜的交互系统，该交互系统包括边缘设备层、数据预处理层、数据分类存储层和边缘服务层；

4、其中，所述边缘设备层包括若干ar眼镜设备和数据采集设备，所述数据采集设备包括若干环境传感器和若干用户体质传感器；其中，ar眼镜设备供用户佩戴，用于采集用于语音数据生成用户指令，将用户指令发送至数据分类存储层和边缘服务层，接收边缘服务层生成的答复；环境传感器根据不同的应用场景进行部署，用于采集环境传感器所在应用场景的环境参数数据；用户体质传感器供不同用户佩戴，采集佩戴用户的体质参数数据；

5、所述数据预处理层与边缘设备层的环境传感器和用户体质传感器耦接，用于对边缘设备层中环境传感器和用户体质传感器采集到的参数数据进行数据清洗，对清洗后的数据进行格式转化，并在格式转化后的数据中增加该数据来源的id和数据采集时间戳；

6、所述数据分类存储层与边缘设备层中的ar眼镜设备、数据预处理层和边缘服务层耦接；所述数据分类存储层用于对数据预处理层格式转化后的数据进行分类存储；用于接收ar眼镜设备生成的用户指令，依据发出用户指令的ar眼镜的id调用与该ar眼镜用户相关的用户数据集，并将用户数据集发送至边缘服务层；

7、所述边缘服务层包括prompt提示词生成模块和aigc处理模块；所述prompt提示词生成模块用于接收ar眼镜设备生成的用户指令和数据分类存储层传输的与该用户指令相关的用户数据集；prompt提示词生成模块对接收到的用户指令进行解析，提取用户指令中的关键词和指令目的，根据分析出的关键词和指令目的，与数据分类存储层中满足该关键词和指令目的的参数数据建立参数映射关系，将提取的关键词、指令目的、参数映射关系、用户数据集和用户指令汇总形成用户指令数据集，并将该用户指令数据集传输至aigc处理模块；

8、aigc处理模块根据接收到的用户指令数据集利用aigc模块中集成的生成式aigc模型，生成对该用户指令数据集中用户指令的答复结果，并将答复结果以文本格式和语音格式反馈至发出该用户指令的ar眼镜设备上。

9、进一步优选的，所述数据预处理层中设置有用户自定义安全阈值库，数据预处理层将清洗后的参数数据与用户自定义安全阈值库中的存储的该参数数据的安全阈值进行对比，判断该参数数据是否在安全阈值范围内，若不在安全阈值范围内，则发出报警提醒。

10、更进一步优选的，所述数据预处理层与边缘设备层中的ar眼镜设备耦接，当数据预处理层中判断出某参数数据不在安全阈值范围内，则发出报警提醒，并将该报警提醒反馈到ar眼镜设备上。

11、进一步优选的，所述prompt提示词生成模块包括自然语言处理子模块、参数映射子模块、数据提取子模块和构建输出子模块；

12、自然语言处理子模块使用nltk对接收到的用户指令进行分词和词性标注，识别用户指令中的命名实体，基于自然语言处理子模块中已有的短语，确定指令目的和关键词；

13、所述参数映射子模块，根据自然语言处理子模块确定得到的指令目的，提取用户指令内容，确定需要查询的参数项；若用户指令中未明确指定具体参数，则根据用户指令上下文、指令目的或默认设置选择参数项；

14、所述数据提取子模块，根据参数映射子模块中确定得到的参数项，与数据分类存储层中存储的该参数项相关的参数数据进行参数映射，得到参数映射关系；

15、所述构建输出子模块，汇总关键词、指令目的、参数映射关系、用户数据集和用户指令，形成用户指令数据集，以特定格式输出。

16、更进一步优选的，所述参数映射子模块中可设置单次最大发送量，或指定过去某一时间段收集的数据量，设置的单次最大发送量或指定过去某一时间段收集的数据量不超过生成式aigc模型的最大短期记忆；aigc处理模块根据prompt提示词生成模块输出的参数映射关系，利用长期记忆从数据分类存储层中调用相关参数数据。

17、进一步优选的，所述aigc处理模块中设置有语音转换子模块，aigc处理模块中的生成式aigc模型以文本格式输出答复结果，文本格式的答复结果被发送至发出该用户指令的ar眼镜设备进行显示；语音转换子模块接收文本格式的答复结果，将其转换为语音并发送至发出该用户指令的ar眼镜设备进行播放。

18、更进一步优选的，所述语音转换子模块接收生成式aigc模型生成的文本格式的答复结果后，利用预先训练好的transformer模型提取文本格式的答复结果中的关键词词向量，处理出该语句的情感特征，根据处理完毕的情感特征将语句分类并输入tts中，处理出不同语音情感的语句，将不同语音情感的语句整合后形成语音输出。

19、进一步优选的，所述数据分类存储层包括根据不同应用场景进行数据分类存储的若干应用场景数据存储模块和根据不同用户进行数据分类存储的若干用户数据存储模块，根据用户与应用场景的实际关系，构建该用户与该应用场景的数据映射关系。

20、进一步优选的，所述环境传感器包括温度传感器、湿度传感器、二氧化碳浓度传感器和二氧化硫浓度传感器中任意一种或多种的组合；所述用户体质传感器包括血压监测传感器、血氧监测传感器、血脂监测传感器、心率监测传感器和血糖监测传感器中任意一种或多种的组合。

21、进一步优选的，所述ar眼镜上集成有麦克风、扬声器和显示模块；还集成有手势识别模块和/或眼动识别模块。

22、进一步优选的，所述边缘设备层中还包括若干控制模块，控制模块与被控设备相连，控制被控设备运行；ar眼镜设备发出控制某被控设备的用户指令，aigc处理模块根据该用户指令生成控制该被控设备的控制指令，并将生成的控制指令发送到与该被控设备相连的控制模块中，由控制模块控制该被控设备执行所述控制指令。

23、与现有技术相比，本发明所带来的有益的技术效果表现在：

24、1、本发明利用prompt提示词生成模块对用户指令进行解析并调用相关数据，形成临时数据集，提高了用户指令输入的准确性，能够被aigc准确识别，使得aigc模型生成的结果更具针对性。

25、2、本发明利用边缘aigc架构结合ar眼镜形成基于用户语音指令的交互系统，相较于现有技术中的图像交互方式而言，其交互方式更加便捷。本发明通过prompt提示词生成模块解析用户指令，对用户指令中的关键词进行提示，以提高aigc处理模块的识别精度，确保aigc处理模块输出结果更具针对性。

26、3、本发明用户指令数据集以短期记忆的形式输入到aigc处理模块中，aigc处理模块根据用户指令数据集中的参数映射关系，以长期记忆的方式调用数据分类存储层中的相关参数数据，提高了数据处理效率。

27、4、相较于现有ai交互而言，本发明利用生成式aigc模型与ar眼镜设备进行交互，并在向生成式aigc模型输入用户指令时，将用户当前环境参数以及用户指令的相关背景数据一起输入到生成式aigc模型中，使得生成式aigc模型获得可参考项更多，最终输出的答复结果也更具针对性，对于用户而言，本发明交互系统生成的答复结果，更具参考性。