一种用于联网设备的操纵方法与流程

本发明涉及人机交互，具体的说是涉及一种用于联网设备的操纵方法。

背景技术：

1、人对手机、电脑、平板等设备的操纵，最早是按键形式，后来发展出了触控交互技术。触控方式大大丰富了人对手机、电脑、平板等设备操纵的多样性和灵活性，引发了大量的关联衍生应用，是一场革命性的变化。

2、当前操纵设备的主要流程是，找到设备上相应的app(安装在设备上的应用程序)，通过一系列的触控，必要时调用设备键盘(包含软键盘)进行一定的文本输入，从而准确的调用相应功能。例如对于“订机票”一般包含“身份确认”、“航班查询”、“订票”、“取消订票”等几个功能，这些功能是紧密围绕机票的多个功能。类似的，“订酒店”、“订车”等app也具有类似的功能。

3、对于一个用户而言，他要完成一次出差，需要分别在这三个不同的app上完成订机票、订酒店、打车等一系列的触控和文本输入操作，并且在操纵过程中要进行信息筛选和确认工作。

4、在上述过程中，人类主要工作分为如下内容：

5、1.规划app的调用顺序，一般遵循“先订机票、再订酒店，然后订车”的顺序

6、2.找到app在设备中的位置，并触控打开

7、3.定位相应的图形化按钮，并触控打开

8、4.然后进行信息的浏览和筛选，涉及文本图片识别和触控滚动操作

9、5.最后进行触控确定，执行相应的功能

10、上述工作内容中，2、3、5都属于设备本身的调用接口，而1和4属于人类智能的一些功能即规划和选择。如果新的人工智能技术能够帮助人类进行规划和选择，或者有效的辅助人类规划和选择，那么上述所有工作可以由设备本身来执行，给与人更大的便利性。

11、以gpt为代表的自然语言大模型已经展现了，可以进行较为复杂规划，以及根据人的要求进行选择的能力，也就是可以很大程度上替代工作内容1和4。因此结合设备操纵接口、app调用接口、以及大模型的智能能力，可实现更智能化的基于日常任务的服务。相比传统的只能提供离散化的功能服务，并由人来组合搭配多个功能完成任务的方式，基于日常任务的服务可大幅提高人的工作效率。

12、现有的用人与设备的交互方式有：

13、1：物理按键方式：通过按钮、键盘、鼠标等进行设备操纵；设备上的屏幕或其他视觉显示器件展示操纵过程和效果，并通过屏幕或其他视觉显示器件向用户提供信息的展示。

14、2：触控方式：这种方式，将屏幕信息展示与操纵结合在一起，大幅减少了物理按键，简化了设备；并能在一个触控屏幕通过软件实现各类丰富多彩的操纵方式。这种方式相比第一种人机交互是一种革命性的进展。

15、现有的交互方案都是提供不太智能、程序化的功能服务，要完成一项日常任务，需要调用一个或多个app的功能才能实现。这些功能调用的顺序，以及最终确定的过程都是由人来完成的，也就是由人来进行规划、信息汇总、最终决策等较为智能的工作。

16、某种意义上，上述人机交互方法，在针对简单、标准、程序化的功能上已经做的非常便利，但是针对日常任务，需要一些常识性的智能化决策时，一定要依赖人的执行，这使得日常任务的执行切分为多个环节，将相关的智能化工作交由人来处理。

技术实现思路

1、针对现有技术中的不足，本发明要解决的技术问题在于提供了一种用于联网设备的操纵方法，该方法基于当前已经初见端倪的人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。

2、为解决上述技术问题，本发明通过以下方案来实现：本发明的一种用于联网设备的操纵方法，该操纵方法系统架构，该系统架构包括：

3、智能大模型，具有操作脚本库及人工智能模块；

4、能够与网络建立信号连接的联网设备，所述联网设备下载并安装有多款应用程序app和一智能代理，所述多款应用程序app中，已授权app一对一的配置有操作脚本且已授权app与该已授权app对应配置的操作脚本成对的安装于所述联网设备上，所述智能大模型和所述联网设备通过网络进行双向数据交互，所述联网设备与用户通过文本、语音、图像、物理按键中的一种或组合进行交互；

5、所述操纵方法还包括由所述系统架构所配置的使用训练方法、代理授权方法、实际使用方法；

6、所述使用训练方法：是训练智能代理在联网设备中找到其中的一个或多个app，以及训练智能代理使用找到的app完成一项或多项功能的能力，训练成功能够形成操作脚本存放到操作脚本库，供用户选择下载；

7、所述代理授权方法：用户设置智能代理并调用一个或多个app的授权设置，相应被调用的app对应的操作脚本下载到本地，同时要求用户提供app对应的账户和密码信息，账户和密码信息是加密保存，仅当前用户的智能代理能够解密和读取；

8、所述实际使用方法：用户首先身份认证启动智能代理，由智能代理和人工智能模块协同处理，形成决策建议和操作，实现对用户指令的有效执行；

9、所述操纵方法还包括以下步骤：

10、s1，用户通过人机交互向联网设备上的智能代理下达用户指令，用户指令经网络传输给人工智能模块；

11、s2，人工智能模块判断用户指令需要规划后再执行，则产生搜集脚本，并发送智能代理直接调用相应app执行

12、s3，智能代理根据搜集脚本找到app，并确认操作脚本是否与app201匹配，匹配执行后序操作；

13、s4，智能代理按照搜集脚本，打开被选中的app，并通过app的身份认证操作，进入app；

14、s5，智能代理按照app对应的操作脚本，对app进行调用，完成相应的信息抓取操作；

15、s6，智能代理将抓取的app信息传递给人工智能模块，由人工智能模块根据这些信息进行智能规划，并产生决策建议，生成的决策建议构成一组执行脚本；

16、s7，智能代理接收人工智能模块提供的一组执行脚本，提示用户由用户选择后执行该组执行脚本中的一个脚本；

17、s8，智能代理根据用户选择的执行脚本中的一个脚本调用相应的app的功能；

18、s9，在方案提供和方案执行阶段出现异常智能代理要提醒用户，并允许用户进行干预。

19、进一步的，所述操作脚本，其是联网设备状态读取和联网设备操纵动作组成的系列脚本；

20、其中，联网设备状态读取动作包含：基于联网设备屏幕截屏图片的app图标的定位、虚拟按键定位、虚拟选择框定位、虚拟输入框定位，及联网设备的声音、震动、指示灯闪烁的状态读取的一种或组合；

21、联网设备操纵动作包括：物理按键操作、虚拟按键触控、虚拟选择框触控、文本输入的一种或组合。

22、进一步的，所述操作脚本，其能够保存在智能大模型中的操作脚本库，每个操作脚本建立查询描述符，所述操作脚本的描述符至少包括app名称、app开发者/所有者、功能名称、适用app版本集合。

23、进一步的，所述智能代理，其在用户设置智能代理能够调用app后，向用户提供输入界面以输入此app对应的身份认证信息，这些身份认证信息在联网设备本地加密保存，不向外传递；

24、所述身份认证信息至少包括帐号和密码。

25、进一步的，所述智能代理，对于已配置好账号信息完成的app，从操作脚本库查询描述符查找合适的操作脚本，并下载到本地；每个app都有多种功能，用户勾选的功能才能由智能代理执行。

26、进一步的，所述人工智能模块，其能够接收由所述智能代理所接收的用户指令和从app抓取的信息，并判断用户指令是须规划并向用户提供建议，还是无须用户选择可直接执行。

27、进一步的，所述人工智能模块，当无须用户选择可直接执行的用户指令时，人工智能模块根据操作脚本生成执行脚本，以完成一个或多个app的功能；

28、当须规划并向用户提供建议的用户指令时，人工智能模块根据操作脚本生成搜集脚本，所述人工智能模块是对一个或多个app调用脚本，以抓取至少一个app中所查询出的信息；

29、当规划后向客户提供建议时，产生一组建议，每个建议对应一个根据操作脚本生成的执行脚本。

30、更进一步的，所述智能代理能够接收人工智能模块生成的搜集脚本和执行脚本，根据搜集脚本和执行脚本调用app对应的功能并执行相关操作。

31、进一步的，所述智能代理接收用户指令，并通过声纹识别手段、指纹识别手段中的一种或组合，来判断是否是授权用户。

32、进一步的，所述智能代理对app调用能够采用app开发者提供的通用接口进行交互，实现对app功能的调用和信息抓取。

33、相对于现有技术，本发明的有益效果是：本发明基于当前人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。智能大模型展示出可帮助人进行日常任务规划、信息筛选和组合等功能，将其嵌套到整个任务服务系统，将原来由人来完成的一部分工作交由智能大模型来实现，提高人机交互效率。