一种用户界面的数据收集方法、装置、设备及存储介质与流程

本发明涉及计算机，尤其涉及一种用户界面的数据收集方法、装置、设备及存储介质。

背景技术：

1、在与第三方应用进行消息通信时，往往通过调用第三方所提供的web service、restful api等接口的方式来实现，但是在现实情况下这类接口的使用往往存在各种限制及壁垒的问题，例如接口的开放与否，权限的限制，传递的消息是否能满足需求，接口的调用频率，消息内容的时效性能等问题。此外，第三方应用提供的接口或服务往往五花八门，需要针对不同的服务或接口进行不同的系统改造加以适配，往往是重复且冗余的开发工作。

2、因此，现有的基于接口与第三方进行通信的方法存在的问题主要为：1、第三方应用的接口往往会设置使用限制；2、需要与第三方的接口提供方协调接口使用事宜；3、无法灵活获取想要得到的数据，并且需要对不同的接口进行应用改造。

技术实现思路

1、本发明提供了一种用户界面的数据收集方法、装置、设备及存储介质，以实现在不利用接口的情况下对第三方进行信息获取。

2、根据本发明的一方面，提供了一种用户界面的数据收集方法，包括：

3、获取预设的自动化操作信息，根据所述自动化操作信息对目标用户界面执行目标操作；

4、提取所述目标用户界面执行所述目标操作之后的目标界面图像；

5、确定所述目标界面图像的待识别对象信息，根据所述待识别对象信息对所述目标界面图像进行图像识别，根据图像识别结果提取目标数据。

6、进一步地，获取预设的自动化操作信息之前，还包括：

7、设置所述自动化操作信息；其中，所述自动化操作信息包括点击操作、信息输入操作、操作间隔时间和操作循环次数。

8、进一步地，提取所述目标用户界面执行所述目标操作之后的目标界面图像，包括：

9、在对所述目标用户界面执行所述目标操作后，对所述目标用户界面进行截屏操作；

10、将截屏得到的图像作为所述目标界面图像。

11、进一步地，所述待识别对象信息包括待识别对象位置与待识别对象标签。

12、进一步地，根据所述待识别对象信息对所述目标界面图像进行图像识别，包括：

13、根据所述待识别对象位置确定所述目标界面图像中的目标识别对象；

14、根据所述待识别对象标签对所述目标识别对象进行图像识别。

15、进一步地，获取预设的自动化操作信息之前，还包括：

16、将所述目标用户界面的分辨率设置为目标分辨率。

17、根据本发明的另一方面，提供了一种用户界面的数据收集装置，包括：

18、目标操作执行模块，用于获取预设的自动化操作信息，根据所述自动化操作信息对目标用户界面执行目标操作；

19、目标界面图像提取模块，用于提取所述目标用户界面执行所述目标操作之后的目标界面图像；

20、目标数据提取模块，用于确定所述目标界面图像的待识别对象信息，根据所述待识别对象信息对所述目标界面图像进行图像识别，根据图像识别结果提取目标数据。

21、可选的，装置还包括自动化操作信息设置模块，用于设置所述自动化操作信息；其中，所述自动化操作信息包括点击操作、信息输入操作、操作间隔时间和操作循环次数。

22、可选的，目标界面图像提取模块还用于：

23、在对所述目标用户界面执行所述目标操作后，对所述目标用户界面进行截屏操作；

24、将截屏得到的图像作为所述目标界面图像。

25、可选的，所述待识别对象信息包括待识别对象位置与待识别对象标签。

26、可选的，目标数据提取模块还用于：

27、根据所述待识别对象位置确定所述目标界面图像中的目标识别对象；

28、根据所述待识别对象标签对所述目标识别对象进行图像识别。

29、可选的，装置还包括分辨率设置模块，用于将所述目标用户界面的分辨率设置为目标分辨率。

30、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

31、至少一个处理器；以及

32、与所述至少一个处理器通信连接的存储器；其中，

33、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的用户界面的数据收集方法。

34、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的用户界面的数据收集方法。

35、本发明公开的用户界面的数据收集方法，首先获取预设的自动化操作信息，根据自动化操作信息对目标用户界面执行目标操作；然后提取目标用户界面执行目标操作之后的目标界面图像；最后确定目标界面图像的待识别对象信息，根据待识别对象信息对目标界面图像进行图像识别，根据图像识别结果提取目标数据。本发明公开的用户界面的数据收集方法，利用图像识别的方式进行第三方用户界面数据的收集，可以实现信息的自动化收集，统一第三方的信息获取流程，避免针对不同接口的重复开发工作，还可以避免第三方接口的限制。

36、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种用户界面的数据收集方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取预设的自动化操作信息之前，还包括：

3.根据权利要求1所述的方法，其特征在于，提取所述目标用户界面执行所述目标操作之后的目标界面图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述待识别对象信息包括待识别对象位置与待识别对象标签。

5.根据权利要求4所述的方法，其特征在于，根据所述待识别对象信息对所述目标界面图像进行图像识别，包括：

6.根据权要求1所述的方法，其特征在于，获取预设的自动化操作信息之前，还包括：

7.一种用户界面的数据收集装置，其特征在于，包括：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的用户界面的数据收集方法。

技术总结
本发明公开了一种用户界面的数据收集方法、装置、设备及存储介质，所述方法包括：获取预设的自动化操作信息，根据自动化操作信息对目标用户界面执行目标操作；提取目标用户界面执行目标操作之后的目标界面图像；确定目标界面图像的待识别对象信息，根据待识别对象信息对目标界面图像进行图像识别，根据图像识别结果提取目标数据。本发明公开的用户界面的数据收集方法，利用图像识别的方式进行第三方用户界面数据的收集，可以实现信息的自动化收集，统一第三方的信息获取流程，避免针对不同接口的重复开发工作，还可以避免第三方接口的限制。

技术研发人员：张尧,耿鹏
受保护的技术使用者：中国农业银行股份有限公司
技术研发日：
技术公布日：2024/4/7