一种基于Tranformer的生成式RPA流程推荐方法及系统与流程

本发明涉及rpa自动化，尤其涉及一种基于tranformer的生成式rpa流程推荐方法及系统。

背景技术：

1、rpa（robotic process automation）是一种自动化技术，它使用软件机器人来模拟和执行人工处理的重复性、规则性的任务，从而减少人工干预和减轻员工的工作负担。rpa可以在任何应用程序和系统上自动执行任务，如复制和粘贴数据、填写表单、发送电子邮件、处理数据等。rpa技术可以提高软件运行效率和精度，降低错误率，减少人工操作，降低成本，同时允许员工专注于更高价值的任务，如客户服务和业务分析。

2、rpa流程推荐是指通过数据分析技术，将企业的业务流程自动化和智能化，从而自动化地推荐流程优化方案。基于历史流程数据的分析，rpa流程推荐可以识别并推荐针对特定业务流程的最佳实践、最佳流程、最佳流程步骤等。这些最佳实践和流程可以帮助企业优化其业务流程，从而提高效率、降低成本、缩短周期时间。

3、为了根据用户的需求给出一系列rpa流程推荐，首先需要理解用户需求，从用户提供的文本中理解用户的具体需求。筛选可自动化的流程，对用户提供的需求进行筛选，以便于评估现有系统和流程。之后需要推荐自动化流程，在理解用户需求、筛选可自动化流程和评估现有系统和流程的基础上，对自动化流程的步骤和规则进行推荐，给用户推荐最符合需求描述的rpa流程。在整个过程中，需要与用户进行紧密的沟通和协作，以确保最终的自动化流程能够满足用户的需求和期望。

4、目前，rpa流程推荐方法的现有技术主要包括基于规则的rpa流程推荐方法、基于传统机器学习的rpa流程推荐方法等方法。

5、基于规则的方法是最早的rpa流程推荐方法之一，它通过编写一系列的规则来实现rpa流程的推荐，基于一些事先定义好的规则和条件来自动化执行特定任务和流程。其中包括规则定义、数据收集、规则匹配、执行流程和结果分析等过程。基于规则的rpa流程推荐方法。这类方法基于预定义的规则和条件，受到规则复杂度的限制、缺乏灵活性，适用于一些简单、重复的任务和流程。

6、基于传统机器学习的方法通过训练模型来实现rpa流程的推荐，其基本思想是使用机器学习算法对已知的数据进行训练，以便机器学习算法能够自动地推断出任务和流程的模式和规律，从而在未知的数据中进行自动化流程推荐。这类方法通过数据清洗和特征工程，结合机器学习算法（如决策树、随机森林、神经网络等）对模型进行训练。训练完成后，使用训练好的模型对新的任务进行分类或预测，从而推荐最合适的rpa流程。但是传统的机器学习方法具有一定的局限性：例如难以捕捉长期依赖关系，需要手工构建特征从而增加了开发人员的工作量，对数据量和质量的要求高和对超参数调整的要求高等，且现有的机器学习方法在训练过程中无法插入新需求改进训练。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于tranformer的生成式rpa流程推荐方法，包括步骤：

2、s1：接收用户输入的需求文本，对需求文本进行预处理，获得预处理后的文本数据；

3、s2：构建基于transformer的预训练模型，通过预处理后的文本数据对基于transformer的预训练模型进行循环训练，获得训练好的rpa流程推荐模型；

4、s3：通过训练好的rpa流程推荐模型生成最终推荐方案。

5、优选的，步骤s1具体为：

6、s11：获得需求文本，对需求文本进行分词操作，将一句话划分为多个词语，获得分词后的需求文本；

7、s12：去除分词后的需求文本中的停用词，将剩下的词语进行词形还原，并去除无意义信息，获得预处理后的文本数据。

8、优选的，基于transformer的预训练模型包括编码器和解码器；

9、编码器用于将预处理后的文本数据编码成一个固定维度的文本向量；

10、解码器用于将文本向量解码为rpa流程。

11、优选的，步骤s2具体为：

12、s21：通过编码器将预处理后的文本数据编码为文本向量；

13、s22：通过解码器将文本向量解码为rpa流程；

14、s23：构建基于transformer的预训练模型的交叉熵损失函数，调整基于transformer的预训练模型的参数，计算获得交叉熵损失函数的总损失；

15、s24：重复步骤s21-s23直至交叉熵损失函数的总损失小于预设值，获得训练好的rpa流程推荐模型。

16、优选的，步骤s22具体为：

17、解码器通过自注意力机制和多头注意力机制从文本向量中提取特征信息，通过特征信息和基于transformer的预训练模型的自回归性循环生成rpa流程中的每一步。

18、优选的，步骤s23具体为：

19、s231：构建交叉熵损失函数h(p,q)，表达式为：

20、

21、其中，p表示真实概率分布，q表示预测概率分布，x表示rpa流程；

22、s232：在每个时间步t，基于transformer的预训练模型都会生成一个预测推荐方案yt，计算获得预测推荐方案yt与真实推荐方案yt*之间的交叉熵损失lt，计算公式为：

23、

24、其中，yt(x)表示在时间步t生成的预测推荐方案中rpa流程x的概率值，yt*(x)表示在时间步t生成的真实推荐方案中rpa流程x的概率值；

25、s233：将各时间步的交叉熵损失相加获得总损失l，计算公式为：

26、

27、其中，n表示时间步的最大步数。

28、一种基于tranformer的生成式rpa流程推荐系统，包括：

29、预处理模块，用于接收用户输入的需求文本，对需求文本进行预处理，获得预处理后的文本数据；

30、模型训练模块，用于构建基于transformer的预训练模型，通过预处理后的文本数据对基于transformer的预训练模型进行循环训练，获得训练好的rpa流程推荐模型；

31、推荐方案输出模块，用于通过训练好的rpa流程推荐模型生成最终推荐方案。

32、本发明具有以下有益效果：

33、1、通过基于transformer的预训练模型的自回归性循环可以处理多轮对话，根据历史对话内容和系统反馈循环训练，生成相应的rpa流程推荐，提高最终推荐方案的准确性；并且可在循环训练过程中添加历史推荐过程中未出现的新需求，具有更强的泛化能力；

34、2、通过基于transformer的预训练模型中的自注意力机制和多头注意力机制可以自动学习输入文本的特征和关系，循环生成rpa流程中的每一步，无需进行特征工程和规则编写，减少了开发人员的工作量。

技术特征：

1.一种基于tranformer的生成式rpa流程推荐方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于tranformer的生成式rpa流程推荐方法，其特征在于，步骤s1具体为：

3.根据权利要求1所述的基于tranformer的生成式rpa流程推荐方法，其特征在于，基于transformer的预训练模型包括编码器和解码器；

4.根据权利要求3所述的基于tranformer的生成式rpa流程推荐方法，其特征在于，步骤s2具体为：

5.根据权利要求4所述的基于tranformer的生成式rpa流程推荐方法，其特征在于，步骤s22具体为：

6.根据权利要求4所述的基于tranformer的生成式rpa流程推荐方法，其特征在于，步骤s23具体为：

7.一种基于tranformer的生成式rpa流程推荐系统，其特征在于，包括：

技术总结
本发明提供一种基于Tranformer的生成式RPA流程推荐方法及系统，包括步骤：S1：接收用户输入的需求文本，对需求文本进行预处理，获得预处理后的文本数据；S2：构建基于Transformer的预训练模型，通过预处理后的文本数据对基于Transformer的预训练模型进行循环训练，获得训练好的RPA流程推荐模型；S3：通过训练好的RPA流程推荐模型生成最终推荐方案。本发明通过基于Transformer的预训练模型的自回归性循环可以处理多轮对话，根据历史对话内容和系统反馈循环训练，生成相应的RPA流程推荐；并且可在循环训练过程中添加历史推荐过程中未出现的新需求，具有更强的泛化能力。

技术研发人员：储成浩,张雷,李段腾川,张志高,高元鑫
受保护的技术使用者：安徽思高智能科技有限公司
技术研发日：
技术公布日：2024/1/13