基于虚实融合的人机协同状态反馈方法、装置及电子设备与流程

本发明涉及人机协同，尤其涉及一种基于虚实融合的人机协同状态反馈方法、装置及电子设备。

背景技术：

1、随着工业化、自动化、智能化的发展，人工智能、虚拟现实技术、增强现实技术被广泛应用于人机协同系统中，以促进人与机器之间的交互协同。因此，需要提出一种基于虚实融合的人机协同状态反馈方法。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种基于虚实融合的人机协同状态反馈方法、装置及电子设备。

2、本发明提供一种基于虚实融合的人机协同状态反馈方法，所述方法包括：获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈。

3、本发明中，首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，以提高人机协同过程中的效率和安全性。人机协同系统根据不同的反馈状态做出相应的调整，实现更灵活和适应性的协同过程。此外，基于对人机协同过程进行状态反馈，还可以为后续任务执行做出决策。通过优化人机协同过程中的流程，改善操作对象的工作条件与状态，实现可持续的人机协同。

4、在其中一个实施方式，所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；所述基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据，包括：基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况；其中，所述注视位置变化情况用于描述所述操作对象的注视位置随着所述当前作业任务的执行时间变化的情况；基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据。

5、本实施方式中，基于眼动信号数据进行注视位置的识别，得到操作对象的注视位置变化情况，基于注视位置变化情况判断操作对象是否对当前作业任务的下一作业任务进行预判，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而更好地协助操作对象完成任务。

6、在其中一个实施方式，所述基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况，包括：基于所述眼动信号数据确定所述操作对象的注视点扫描路径；基于所述注视点扫描路径确定所述操作对象的注视位置变化情况。

7、本实施方式中，基于眼动信号数据确定操作对象的注视点扫描路径，基于注视点扫描路径确定操作对象的注视位置变化情况，可以推测操作对象的意图和预期行为。

8、在其中一个实施方式，所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；所述基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据，包括：基于所述注视位置变化情况判断所述操作对象的至少部分注视资源是否从所述当前任务区域范围转移至所述下一任务区域范围，得到所述任务预判状态数据。

9、本实施方式中，基于注视位置变化情况判断操作对象的至少部分注视资源是否从当前任务区域范围转移至下一任务区域范围，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而确定操作对象的状态，以更好地引导操作对象完成任务。

10、在其中一个实施方式，所述人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个；所述方法还包括：基于所述脑电信号数据进行负荷状态识别，得到所述操作对象的负荷状态数据；基于所述皮电信号数据和所述心率信号数据进行情绪状态识别，得到所述操作对象的情绪状态数据；根据所述负荷状态数据和/或所述情绪状态数据对所述操作对象的工作状态进行预警。

11、本实施方式中，基于脑电信号数据进行负荷状态识别，得到操作对象的负荷状态数据，基于皮电信号数据和心率信号数据进行情绪状态识别，得到操作对象的情绪状态数据，根据负荷状态数据和/或情绪状态数据对操作对象的工作状态进行预警，可以及时发现并应对操作对象的疲劳、压力和负面情绪，提高工作效率、安全性和满意度，预防工作事故和错误的发生。

12、在其中一个实施方式，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，作为所述目标协同状态数据；或者根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，根据所述当前协同状态数据确定所述当前作业任务的相邻作业任务的所述目标协同状态数据。

13、本实施方式中，根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，作为目标协同状态数据，或者根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，根据当前协同状态数据确定当前作业任务的相邻作业任务的目标协同状态数据，为人机协同过程提供重要的信息。

14、在其中一个实施方式，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：将所述作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到所述目标协同状态数据。

15、本实施方式中，将作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到目标协同状态数据，为人机协同过程提供重要的信息。

16、在其中一个实施方式，通过以下方式训练得到所述目标状态识别模型：获取对历史作业过程进行拍摄得到的样本画面图像；其中，所述样本画面图像的标签包括标注任务标识、标注动作数据、所述标注动作数据对应的标注工具类别；将所述样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、所述预测动作数据对应的预测工具类别；基于所述标注任务标识、所述标注动作数据、所述标注工具类别、所述预测任务标识、所述预测动作数据以及所述预测工具类别对所述初始状态识别模型进行更新，得到所述目标状态识别模型。

17、本实施方式中，获取对历史作业过程进行拍摄得到的样本画面图像，将样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、预测动作数据对应的预测工具类别，基于标注任务标识、标注动作数据、标注工具类别、预测任务标识、预测动作数据以及预测工具类别对初始状态识别模型进行更新，得到目标状态识别模型，以便于基于作业画面图像进行人机协同状态识别，从而能够及时知悉当前作业任务对应的目标协同状态数据。

18、在其中一个实施方式，通过以下方式确定所述样本画面图像的标签：对所述历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务；基于所述作业任务的任务标识确定所述标注任务标识；基于所述样本作业任务所涉及的动作进行编码，得到所述标注动作数据；基于执行所述样本作业任务所涉及的动作时所使用的工具进行编码，得到所述标注工具类别。

19、本实施方式中，对历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务，基于作业任务的任务标识确定标注任务标识，基于样本作业任务所涉及的动作进行编码，得到标注动作数据，基于执行样本作业任务所涉及的动作时所使用的工具进行编码，得到标注工具类别，从而能够在计算机设备中有效地表示动作、工具等任务信息，为后续目标状态识别模型的训练过程提供数据支持。

20、在其中一个实施方式，所述根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈，包括：根据所述目标协同状态数据确定所述当前作业任务的下一作业任务的预备状态数据；其中，所述预备状态数据用于表征所述操作对象需要为所述下一作业任务进行预先准备的情况；基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈。

21、本实施方式中，根据目标协同状态数据确定当前作业任务的下一作业任务的预备状态数据，基于预备状态数据和人员状态数据对人机协同过程进行状态反馈，可以使人机协同更加高效和可靠。

22、在其中一个实施方式，所述基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈，包括：确定与所述人员状态数据对应的目标提醒方式；以所述目标提醒方式展示所述预备状态数据，以提醒所述操作对象为所述下一作业任务进行预先准备。

23、本实施方式中，确定与人员状态数据对应的目标提醒方式，以目标提醒方式展示预备状态数据，以提醒操作对象为下一作业任务进行预先准备，帮助操作对象避免遗漏关键步骤或所需资源，减少因为缺乏准备而导致的错误和失误。

24、在其中一个实施方式，所述方法还包括：基于针对所述人机协同过程反馈的状态数据进行决策控制，以按照与所述当前作业任务的下一作业任务的匹配的执行方式执行所述下一作业任务，其中，所述执行方式为人机协同方式、人主导方式、机器主导方式中任一个。

25、本实施方式中，基于针对人机协同过程反馈的状态数据进行决策控制，以按照与当前作业任务的下一作业任务的匹配的执行方式执行下一作业任务可以有效平衡人的决策和机的决策问题，以提高协同过程的效率和安全性。

26、本发明提供一种基于虚实融合的人机协同状态反馈装置，所述装置包括：

27、任务数据获取模块，用于获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；

28、人机协同状态识别模块，用于基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；

29、人员状态识别模块，用于基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；

30、状态反馈模块，用于根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈。

31、本发明提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。

32、本发明提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

33、本发明提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

34、本发明中，首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，以提高人机协同过程中的效率和安全性。人机协同系统根据不同的反馈状态做出相应的调整，实现更灵活和适应性的协同过程。此外，基于对人机协同过程进行状态反馈，还可以为后续任务执行做出决策。通过优化人机协同过程中的流程，改善操作对象的工作条件与状态，实现可持续的人机协同。