人机交互方法、装置、计算机可读存储介质及电子设备与流程

本公开涉及计算机，尤其是一种人机交互方法、装置、计算机可读存储介质及电子设备。

背景技术：

1、随着人工智能技术的发展，人机交互的应用场景越来越多。用户可以通过语音、手势、眼神等多种方式与设备进行交互。例如，如用户在车辆内，可以通过语音来控制车窗、空调等设备，从而可以解放双手，避免交通隐患；在车辆停止的时候，可以通过手势、眼神等各种方式体验座舱内的智能设备的很多功能。

2、多模态交互方案，是指将语音、手势等多种人机交互方式相结合来控制设备执行相应的操作。目前的多模态交互方案，通常是一次性地采集语音、手势等多种类型的交互信息，对这些交互信息进行融合，利用融合后获得的信息进行识别，从而提高识别准确性。但实际的应用场景中，用户发出的交互信息往往不完整，若在多模态交互中使用了不完整的交互信息，会造成设备对用户的意图识别错误。

技术实现思路

1、为了解决上述技术问题，本公开的实施例提供了一种人机交互方法、装置、计算机可读存储介质及电子设备。

2、本公开的实施例提供了一种人机交互方法，该方法包括：响应于接收到目标用户按照第一交互方式与目标设备交互时采集的目标交互信息，对目标交互信息进行语义识别，得到目标语义信息；确定目标语义信息的完整性；响应于目标语义信息不完整，确定预设的语义状态记录库中是否存在缓存的待组合语义信息，其中，待组合语义信息是在目标交互阶段内，目标用户按照至少一种第二交互方式与目标设备交互得到的语义信息；响应于语义状态记录库中存在待组合语义信息，基于目标语义信息和待组合语义信息，生成完整语义信息；基于目标语义信息，在语义状态记录库中更新待组合语义信息；基于完整语义信息，确定目标被控对象和对目标被控对象进行控制的控制方式，并生成控制方式对应的控制指令。

3、根据本公开实施例的另一个方面，提供了一种人机交互装置，该装置包括：识别模块，用于响应于接收到目标用户按照第一交互方式与目标设备交互时采集的目标交互信息，对目标交互信息进行语义识别，得到目标语义信息；第一确定模块，用于确定目标语义信息的完整性；第二确定模块，用于响应于目标语义信息不完整，确定预设的语义状态记录库中是否存在缓存的待组合语义信息，其中，待组合语义信息是在目标交互阶段内，目标用户按照至少一种第二交互方式与目标设备交互得到的语义信息；第一生成模块，用于响应于语义状态记录库中存在待组合语义信息，基于目标语义信息和待组合语义信息，生成完整语义信息；第一更新模块，用于基于目标语义信息，在语义状态记录库中更新待组合语义信息；第二生成模块，用于基于完整语义信息，确定目标被控对象和对目标被控对象进行控制的控制方式，并生成控制方式对应的控制指令。

4、根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于被处理器执行以实现执行上述人机交互方法。

5、根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述人机交互方法。

6、基于本公开上述实施例提供的人机交互方法、装置、计算机可读存储介质及电子设备，首先对通过第一交互方式交互时采集的目标交互信息进行语义识别，得到目标语义信息，并确定目标语义信息的完整性，若目标语义信息不完整，从语义状态记录库中获取目标交互阶段内缓存的按照第二交互方式交互时得到的待组合语义信息，然后基于目标语义信息和待组合语义信息，生成完整语义信息，并在语义状态记录库中更新待组合语义信息，最后基于完整语义信息生成对目标被控对象进行控制的目标指令信息。本公开实施例实现了在利用一种交互方式识别到的目标语义信息不完整时，获取通过其他交互方式预先缓存的待组合语义信息，进而生成完整语义信息，相比于一次性地对多模态交互信息融合并识别的方法，本公开实施例可以在多轮交互的过程中，有效利用当前时刻之前通过其他交互方式已经获得的语义信息来对当前识别的不完整的语义信息进行补充，得到表示用户真实意图的完整语义信息，从而更准确地判断用户真实的控制意图。此外，通过缓存预先通过各种识别方式获得的语义信息，可以使用户在多轮交互过程中，使用各种交互方式相结合与目标设备进行交互，极大提高了交互的便利性。

7、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

技术特征：

1.一种人机交互方法，包括：

2.根据权利要求1所述的方法，在所述确定所述目标语义信息的完整性之后，还包括：

3.根据权利要求1所述的方法，其中，在所述确定预设的语义状态记录库中是否存在缓存的待组合语义信息之后，所述方法还包括：

4.根据权利要求1所述的方法，其中，所述响应于接收到目标用户按照第一交互方式与目标设备交互时采集的目标交互信息，包括：

5.根据权利要求1所述的方法，其中，所述响应于接收到目标用户按照第一交互方式与目标设备交互时采集的目标交互信息，包括：

6.根据权利要求5所述的方法，其中，所述按照所述目标交互信息对应的语义识别方式对所述目标交互信息进行语义识别，得到所述目标语义信息，包括：

7.根据权利要求1所述的方法，其中，所述方法还包括：

8.根据权利要求1-7任一项所述的方法，其中，所述基于所述目标语义信息，在所述语义状态记录库中更新所述待组合语义信息，包括：

9.一种人机交互装置，包括：

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于被处理器执行以实现上述权利要求1-8任一所述的方法。

11.一种电子设备，所述电子设备包括：

技术总结
本公开实施例公开了一种人机交互方法、装置、计算机可读存储介质及电子设备，其中，该方法包括：响应于接收到目标交互信息，对目标交互信息进行语义识别，得到目标语义信息；响应于目标语义信息不完整，确定语义状态记录库中是否存在缓存的待组合语义信息；若存在待组合语义信息，基于目标语义信息和待组合语义信息，生成完整语义信息；基于目标语义信息，在语义状态记录库中更新待组合语义信息；基于完整语义信息，确定目标被控对象和对目标被控对象进行控制的控制方式，并生成控制方式对应的控制指令。本公开实施例可以有效利用不同交互方式获得的语义信息生成完整的语义信息，从而更准确地判断用户真实的控制意图，还可以提高交互的便利性。

技术研发人员：宫一尘,王子扬
受保护的技术使用者：北京地平线信息技术有限公司
技术研发日：
技术公布日：2024/1/13