一种RPA流程处理分析方法及计算机设备与流程

本技术涉及但不限于rpa、数据处理、机器学习等，尤其涉及一种rpa流程处理分析方法及计算机设备。

背景技术：

1、rpa (robotic process automation) 是指利用软件机器人或自动化工具来执行日常重复性任务的技术。它可以模拟人类的行为，自动化执行一系列规定的任务，从而提高工作效率、减少错误和减轻人员负担。rpa 可以应用于各种行业和部门，例如金融、保险、人力资源、客户服务等。它能够处理结构化数据和重复性任务，通过自动化处理来解放人力并提高工作效率。rpa 可以与现有的应用程序和系统集成，通过界面操作或api进行交互，实现自动化流程和任务的执行。这样可以节省时间和成本，并提供更高的准确性和一致性。但是，在特定场景中，如远程桌面、虚拟机、自定义软件等场景，无法进行api操作目标确定。在现有技术中，通过各类目标检测技术对上述场景中的rpa元素进行拾取，例如现有技术中有采用图像搜索、光学字符检测和模板匹配等联合识别的方式对rpa元素进行拾取，这样的方式复杂度较高，需要一种能保证拾取准确度、高效且简单的rpa流程中元素拾取的方式。

技术实现思路

1、有鉴于此，本技术实施例至少提供一种rpa流程处理分析方法及计算机设备，改善以上技术问题。

2、本技术实施例的技术方案是这样实现的：

3、一方面，本技术实施例提供一种rpa流程处理分析方法，应用于计算机设备，所述方法包括：

4、获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，所述多个关联图像元素用以表征所述第一目标图像元素包含的各种元素可能性；

5、通过所述第一目标图像元素和所述待拾取rpa元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征；

6、通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征；

7、通过所述整合知识表征获取所述待拾取rpa元素页面图像对应的目标元素拾取结果。

8、在一些实施例中，所述通过所述第一目标图像元素和所述待拾取rpa元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征包括：

9、将所述第一目标图像元素和所述上下文图像元素输入知识表征挖掘网络；

10、通过所述知识表征挖掘网络对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征。

11、在一些实施例中，所述对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征包括：

12、获取所述第一目标图像元素的第一搜索数组、第一锚定数组和第一结果数组；

13、获取所述上下文图像元素的第二锚定数组和第二结果数组；

14、对所述第一搜索数组与所述第一锚定数组的相乘结果和所述第一搜索数组与所述第二锚定数组的相乘结果进行标准化操作，得到所述第一目标图像元素的第一显著性偏心因子和所述上下文图像元素对所述第一目标图像元素的第二显著性偏心因子；

15、将所述第一显著性偏心因子与所述第一结果数组的相乘结果与所述第二显著性偏心因子与所述第二结果数组的相乘结果进行求和，得到所述第一目标图像元素的知识表征；

16、所述通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：

17、通过知识表征挖掘网络进行以下操作：

18、通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，确定所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的多个第一相关性偏心因子，所述第一相关性偏心因子用以表征对应关联图像元素与所述第一目标图像元素的关联度；

19、通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征。

20、在一些实施例中，所述通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：

21、通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行融合，得到所述第一目标图像元素的融合知识表征；

22、对所述融合知识表征进行多头显著性特征嵌入映射，得到所述第一目标图像元素的多个显著性特征嵌入映射数组；

23、将所述多个显著性特征嵌入映射数组进行组合，得到显著性特征嵌入映射张量；

24、对所述显著性特征嵌入映射张量进行下采样操作，得到所述第一目标图像元素的整合知识表征。

25、在一些实施例中，所述知识表征挖掘网络的调试过程包括：

26、获取调试学习样例，所述调试学习样例包括rpa元素页面图像学习样例、目标元素拾取结果样例和所述rpa元素页面图像学习样例与所述目标元素拾取结果样例之间的共性度量结果样例；

27、将所述rpa元素页面图像学习样例和所述目标元素拾取结果样例输入到所述知识表征挖掘网络；

28、通过所述知识表征挖掘网络提取所述rpa元素页面图像学习样例中的目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征；

29、通过所述目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征之间的共性度量结果与所述共性度量结果样例之间的损失，优化所述知识表征挖掘网络的网络内部配置变量。

30、在一些实施例中，所述获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素包括：

31、在关联图像元素集合中遍历和所述第一目标图像元素产生关联的目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素；

32、将所述目标图像元素对应的多个关联图像元素确定为所述第一目标图像元素的多个关联图像元素；

33、所述第一目标图像元素的获取过程包括：

34、对所述待拾取rpa元素页面图像进行图像分割处理，得到所述待拾取rpa元素页面图像的多个对比图像元素；

35、当所述多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致时，将所述任一对比图像元素确定为所述第一目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素。

36、在一些实施例中，所述对所述待拾取rpa元素页面图像进行图像分割处理，得到所述待拾取rpa元素页面图像的多个对比图像元素包括：

37、通过不同策略对所述待拾取rpa元素页面图像进行图像分割处理，得到所述不同策略分别对应的多个对比图像元素集合，每个对比图像元素集合包括所述待拾取rpa元素页面图像中的多个对比图像元素，同一对比图像元素集合中不同对比图像元素的图像块数目相同，同时不同对比图像元素集合中的对比图像元素的图像块数目不同；

38、所述当所述多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致，将所述任一对比图像元素确定为所述第一目标图像元素包括：

39、当属于不同对比图像元素集合的多个对比图像元素分别与所述关联图像元素集合中的多个图像元素一致，将所述属于不同对比图像元素集合的多个对比图像元素中图像块数目最多的对比图像元素确定为所述第一目标图像元素。

40、在一些实施例中，所述多个关联图像元素的知识表征的获取方法包括：

41、对于任一关联图像元素，将所述任一关联图像元素输入知识表征挖掘网络；

42、通过所述知识表征挖掘网络，对所述任一关联图像元素中的多个图像元素进行显著性特征嵌入映射，得到所述任一关联图像元素的知识表征。

43、在一些实施例中，所述对所述任一关联图像元素中的多个图像元素进行显著性特征嵌入映射，得到所述任一关联图像元素的知识表征包括：

44、对于所述任一关联图像元素中的多个图像元素中的任意一图像元素，获取所述任意一图像元素的第三搜索数组、第三锚定数组和第三结果数组；

45、获取所述任一关联图像元素中的多个图像元素中的所述任意一图像元素之外的其余图像元素的第四锚定数组和第四结果数组；

46、对所述第三搜索数组与所述第三锚定数组的相乘结果和所述第三搜索数组与所述第四锚定数组的相乘结果进行标准化操作，得到所述任意一图像元素的第三显著性偏心因子和所述其余图像元素对所述任意一图像元素的第四显著性偏心因子；

47、将所述第三显著性偏心因子与所述第三结果数组的相乘结果与所述第四显著性偏心因子与所述第四结果数组的相乘结果进行求和，得到所述任意一图像元素的知识表征；

48、将所述任一关联图像元素中的多个图像元素的知识表征进行整合，得到所述任一关联图像元素的知识表征。

49、在另一实施例中，本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述方法中的步骤。

50、本技术至少具有以下有益效果：本技术提供的rpa流程处理分析方法以及计算机设备，通过获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，该多个关联图像元素用以表征第一目标图像元素包含的各种元素可能性，之后通过第一目标图像元素和待拾取rpa元素页面图像中的第一目标图像元素的上下文图像元素，获取第一目标图像元素的知识表征，然后通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，将第一目标图像元素的知识表征与多个关联图像元素的知识表征进行整合，得到第一目标图像元素的整合知识表征，最后通过整合知识表征获取待拾取rpa元素页面图像对应的目标元素拾取结果。在对第一目标图像元素进行知识表征挖掘时，将关联图像元素加入分析过程，依据关联图像元素对第一目标图像元素的知识表征中包含的语义信息进行完善，得到的整合知识表征可以更加准确地表征第一目标图像元素在待拾取rpa元素页面图像中的语义信息，这样能增加通过整合知识表征获取的目标元素拾取结果的精确度。

51、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术的技术方案。