一种基于RPA的订单数据获取方法及系统与流程

本发明属于数据处理，特别是涉及一种基于rpa的订单数据获取方法及系统。

背景技术：

1、rpa（robotic process automation，机器人流程自动化）技术用于帮助企业各部门有效地实现业务流程自动化，取代人力执行重复性高但有逻辑性的任务。如公开号为cn112256770a（公开日2021-01-22）提出的一种基于智能化数据采集与分析的智慧数据分析平台，提出通过rpa数据采集与分析模块模拟人工作业处理流程，进行标准化工作，采集系统内营销、用采和pms2.0业务数据，再进行分析。

2、然而，由于目前大部分网站制定有严格的css反爬机制，当采用rpa技术进行订单数据采集时，甚至存在订单数据无法复制、出现乱码等情况，导致订单数据采集的准确率低，显然目前rpa技术无法直接应用于订单数据分析。对于搭载有css反爬机制的网站，目前主要通过人工对订单数据进行收集，但存在收集效率低的问题。

技术实现思路

1、本发明的目的在于提供一种基于rpa的订单数据获取方法及系统，通过订单数据源内添加触发器采集原始订单数据，rpa执行目标页面的搜索及跳转，从目标页面中截取含订单数据的图片后，进一步结合ocr技术进行文字识别，对原始订单数据进行预处理生成数据抽取队列，实现从搭载有css反爬机制的网站上获取订单数据，解决了现有的订单收集效率低的问题。

2、为解决上述技术问题，本发明是通过以下技术方案实现的：

3、本发明为一种基于rpa的订单数据获取方法，包括如下步骤：

4、步骤s1：获取目标地址数据列表，遍历所述目标地址数据列表中的每一条数据，通过rpa进行网页访问，跳转至目标页面；

5、步骤s2：向目标地址数据源添加数据库触发器，数据库触发器中复制更新数据，生成原始订单数据；

6、步骤s3：据预设的订单数据子元素在目标页面内截取订单数据图片；

7、步骤s4：对订单数据图片基于ocr技术进行文字识别，将识别得到的订单数据进行预处理；

8、步骤s5：订单数据的类别分别缓存在相应的表格中；当目标地址数据列表中的每一条数据完成遍历后，将表格写入数据库中进行保存；

9、步骤s6：对数据库中存储的可视化报表中的元素设置相应的属性标签，并对所有可视化报表中各元素相应的属性标签建立联动关系。

10、作为一种优选的技术方案，所述步骤s1中，当rpa检测有弹窗事件发生时，rpa通过api消息发送接口向工作人员发送弹窗通知信息。

11、作为一种优选的技术方案，所述步骤s2中，数据库触发器部署在订单管理数据库中；所述数据库触发器用于在订单管理数据库的数据发生变更时，记录数据变更信息发送至内部大数据平台，或者依据设定的时间间隔从订单管理数据库中抽取更新数据，发送至大数据平台。

12、作为一种优选的技术方案，所述步骤s3中，订单数据子元素包括用户名称、用户地址、订单编号、店铺id、订单名称、商品总价、运费、店铺优惠、实付款、订单编号、交易快照、订单交易号、创建时间、支付时间、发货时间和div标签的id。

13、作为一种优选的技术方案，根据预设的所述div标签的id在当前目标页面进行定位，控制鼠标精准定位到指定位置，并在当前目标页面内执行订单数据图片截取。

14、作为一种优选的技术方案，所述步骤s4中，预处理包括数据抽取、数据转换和数据加载；

15、所述数据抽取，用于将原始企业数据对应的各个数据源抽取到预设的临时存储区域，获取数据抽取数据，所述数据抽取数据包括全量抽取和增量抽取数据；

16、所述数据转换，用于将数据抽取数据进行数据合并汇总、格式统一、文件过滤、关键数据的重构及定位，获取数据转换数据；

17、所述数据加载，用于按预设物理和逻辑模型定义从预设临时存储区域加载到预设目标数据库，获取数据加载数据。

18、作为一种优选的技术方案，所述步骤s5中，根据订单数据的类别分别缓存的用户名称、用户地址、订单编号、店铺id、订单名称、商品总价、运费、店铺优惠、实付款、订单编号、交易快照、订单交易号、创建时间、支付时间、发货时间和div标签的id，具体流程如下：

19、步骤s51：根据日期和店铺id关联表格，通过键值关联建立订单数据模型；其中，根据日期对时间表和用户评论及评分表进行关联，根据店铺id对店铺id表和用户评论及评分表进行关联，根据店铺类别对店铺id表和用户评论及评分表进行关联，分别建立基于日期的订单数据模型、基于店铺id的订单数据模型和基于店铺类别的订单数据模型；

20、步骤s51：通过dax函数新建度量值，得到每个店铺id对应最新日期的总评分指标；其中，对于每个店铺id：

21、采用变量jd获取大于0的评分数据中的最新日期；

22、采用变量hs获取最新日期的数量；返回最新日期的平均总评分作为当前店铺id最新日期的总评分指标；

23、步骤s53：根据每个店铺id的总评分指标结合订单数据模型，生成相应的可视化报表进行展示，并将可视化报表存储在数据库中。

24、作为一种优选的技术方案，所述步骤s6中，当输入查询指令时，对查询指令进行解析，从数据库中调取相应的可视化报表进行展示；判断所述查询指令中是否包含属性标签的选择指令，若是，则根据对应属性标签的联动关系构建联动展示报表并进行显示对数据库中存储的可视化报表中的元素设置相应的属性标签，并对所有可视化报表中各元素相应的属性标签建立联动关系。

25、本发明为一种基于rpa的订单数据获取系统，包括：

26、触发器部署模块，用于在订单管理数据库中部署触发器，用于在企业管理数据库的数据发生变更时，记录数据变更信息发送至内部大数据平台，或者依据设定的时间间隔从企业管理数据库中抽取更新数据，发送至大数据平台；

27、rpa模块，用于遍历输入的目标地址数据列表执行网页访问，跳转至目标页面；

28、图片截取模块，用于根据预设的订单数据子元素在目标页面内截取订单数据图片，并发送至ocr数据识别模块中；

29、ocr数据识别模块，用于对输入的订单数据图片基于ocr技术进行文字识别，得到相应的订单数据并发送至数据缓存模块中；

30、预处理模块，用于对ocr数据识别模块识别图片文字进行处理；

31、数据缓存模块，用于对接收的订单数据按照其类别缓存在相应的表格中；当rpa模块对目标地址数据列表中的每一条数据完成遍历后，所述数据缓存模块将其缓存的表格写入所述数据库中；

32、订单数据库，用于存储完成目标地址数据列表遍历操作后生成的订单数据表。

33、本发明具有以下有益效果：

34、本发明通过订单数据源内添加触发器采集原始订单数据，rpa执行目标页面的搜索及跳转，从目标页面中截取含订单数据的图片后，进一步结合ocr技术进行文字识别，对原始订单数据进行预处理生成数据抽取队列，实现从搭载有css反爬机制的网站上获取订单数据，提高订单数据采集效率。

35、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。