一种用户自定义的多模态交互设计方法、系统及设备

本发明涉及多模态交互，尤其是涉及一种用户自定义的多模态交互设计方法、系统及设备。

背景技术：

1、在未来智能化战场上，战场救治工作的危险性将进一步提升，尤其是需要进入居民楼中进行搜索时，确保搜救人员的安全是非常重要的。目前的做法是专业操作员通过佩戴ar头显，并遥控(键鼠)控制无人机，以无人机的第一视角去居民楼逐个房间进行搜寻，确保安全后才派出搜救人员前去营救。在进行侦察的过程中，除了专业操作员，其它人员都处于待命状态，如果其他人员也能够同时进行搜查，将极大提高搜索效率(搜索效率是至关重要的)。对于非专业操作员来说，手上拿着医疗物资，亦或是担架，就无法使用遥控进行输入了，其佩戴的ar头显里面的菜单切换、应用的切换就只能靠手势、脑机等其它的交互手段进行交互。如何将这些模态都充分的利用起来，而且各种功能互不干扰，是未来人机交互系统需要研究的问题。

2、由于现有的硬件交互输入具有全局共享效应，会导致交互的准确率降低，从而引发不可预知的问题。譬如，对于上述专业操作员，如果也将脑电信号作为一种输入(识别准确率并不是100％)，将会在一定程度上为输入增加不确定性，这就有可能导致控制错误，影响了纯按键进行交互的准确性。此外，对于菜单的切换，如果使用了按键和眼动进行控制，可能由于人的发呆，眼睛注视某个错误菜单，导致了菜单被异常选择，降低输入效率。而现有的软件系统为了应对类似的需求，基本上都是通过软件的硬编码进行区分，在特定的场景编写相应的代码，不具备任何扩展性，研发人员的开发成本和实际使用人员的使用成本都比较大，不利于通用化的设计。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种用户自定义的多模态交互设计方法、系统及设备，能够提高控制的准确率并且可扩展性强，能够高效率、极简的完成人机交互。

2、第一方面，本发明实施例提供了一种用户自定义的多模态交互设计方法，所述用户自定义的多模态交互设计方法包括：

3、获取交互窗口的服务注册信息；

4、捕获所述交互窗口的事件源设置点击事件，并向多模态交互服务程序发送打开事件源配置页面的消息请求；

5、通过所述事件源配置页面的消息请求使所述多模态交互服务程序返回配置界面的描述信息，同时监听事件源的选择与参数输入，并通过监听到的所述事件源的选择和所述参数输入与所述多模态交互服务程序进行交互，得到页面配置文件；

6、解析所述页面配置文件，根据所述事件源和所述参数输入为对应的事件源识别算法提供算法参数；

7、根据所述算法参数在所述多模态交互服务程序中开启相应算法识别，得到算法识别结果；

8、对包括所述服务注册信息、所述算法识别结果、所述事件源、时间戳的事件源消息进行消息封装，并将封装的消息发送至所述交互窗口，以便根据所述封装的消息响应事件源输入所对应的行为。

9、与现有技术相比，本发明第一方面具有以下有益效果：

10、本方法通过获取交互窗口的服务注册信息，然后捕获交互窗口的事件源设置点击事件，并向多模态交互服务程序发送打开事件源配置页面的消息请求，通过事件源配置页面的消息请求使多模态交互服务程序返回配置界面的描述信息，同时监听事件源的选择与参数输入，并通过监听到的事件源的选择和参数输入与多模态交互服务程序进行交互，得到页面配置文件，使用户能够根据自身操作习惯和具体的场景差异，自行选择最合适的交互手段；根据事件源和参数输入为对应的事件源识别算法提供算法参数，根据算法参数在多模态交互服务程序中开启相应算法识别，得到算法识别结果，能够在选择了最合适的交互手段后采用对应的算法进行识别，能够充分发挥各类算法的优势，极大提升了复杂场景下人机交互的效率和准确率；由于能够根据用户自身操作习惯和具体的场景差异进行页面配置，无需开发人员固定设计程序，使得设计灵活性高、可扩展性强，能够降低研发人员的开发成本和使用人员的学习成本。

11、根据本发明的一些实施例，所述获取交互窗口的服务注册信息，包括：

12、采用sdk提供的注册接口为所述交互窗口向所述多模态交互服务程序发送申请注册消息；

13、当所述多模态交互服务程序监听到有申请注册消息时，通过所述多模态交互服务程序获取所述交互窗口携带的服务注册信息。

14、根据本发明的一些实施例，所述服务注册信息包括任务的唯一标识、交互窗口的唯一标识、交互窗口的位置坐标和交互方式。

15、根据本发明的一些实施例，所述捕获所述交互窗口的事件源设置点击事件，并向多模态交互服务程序发送打开事件源配置页面的消息请求，包括：

16、捕获所述交互窗口的事件源设置点击事件，并通过mqtt传输协议向多模态交互服务程序发送打开事件源配置页面的消息请求。

17、根据本发明的一些实施例，在通过所述事件源配置页面的消息请求使所述多模态交互服务程序返回配置界面的描述信息之后，所述用户自定义的多模态交互设计方法还包括：

18、根据所述多模态交互服务程序返回的配置界面的描述信息，采用图像渲染方法渲染出事件源设置窗口。

19、根据本发明的一些实施例，所述解析所述页面配置文件，根据所述事件源和所述参数输入为对应的事件源输入识别算法提供算法参数，包括：

20、解析所述页面配置文件，得到所述页面配置文件中的时间戳、所述事件源和所述参数输入；

21、检测所述页面配置文件最后的时间戳，若所述页面配置文件有更新，则根据所述事件源和所述参数输入为对应的事件源输入识别算法提供算法参数。

22、根据本发明的一些实施例，在采用图像渲染方法渲染出事件源设置窗口之前，所述用户自定义的多模态交互设计方法还包括：

23、采用有向图的方式将所述事件源设置窗口中的页面跳转进行逻辑关联。

24、第二方面，本发明实施例还提供了一种用户自定义的多模态交互设计系统，所述用户自定义的多模态交互设计系统包括：

25、服务注册单元，用于获取交互窗口的服务注册信息；

26、事件捕获单元，用于捕获所述交互窗口的事件源设置点击事件，并向多模态交互服务程序发送打开事件源配置页面的消息请求；

27、页面配置单元，用于通过所述事件源配置页面的消息请求使所述多模态交互服务程序返回配置界面的描述信息，同时监听事件源的选择与参数输入，并通过监听到的所述事件源的选择和所述参数输入与所述多模态交互服务程序进行交互，得到页面配置文件；

28、文件解析单元，用于解析所述页面配置文件，根据所述事件源和所述参数输入为对应的事件源识别算法提供算法参数；

29、算法识别单元，用于根据所述算法参数在所述多模态交互服务程序中开启相应算法识别，得到算法识别结果；

30、消息封装单元，用于对包括所述服务注册信息、所述算法识别结果、所述事件源、时间戳的事件源消息进行消息封装，并将封装的消息发送至所述交互窗口，以便根据所述封装的消息响应事件源输入所对应的行为。

31、第三方面，本发明实施例还提供了一种用户自定义的多模态交互设计设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种用户自定义的多模态交互设计方法。

32、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种用户自定义的多模态交互设计方法。

33、可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。