结合RPA和AI的电商数据的获取方法、装置及电子设备与流程

文档序号:30963053发布日期:2022-07-30 14:51阅读:106来源:国知局
结合RPA和AI的电商数据的获取方法、装置及电子设备与流程
结合rpa和ai的电商数据的获取方法、装置及电子设备
技术领域
1.本技术涉及机器人流程自动化和人工智能技术领域,特别涉及一种结合rpa和ai的电商数据的获取方法、装置及电子设备。


背景技术:

2.机器人流程自动化(robotic process automation,简称rpa),是通过特定的“机器人软件”,模拟人在计算机上的操作,按规则自动执行流程任务。
3.人工智能(artificial intelligence,简称ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。
4.目前,很多繁琐、重复的业务需要人工来进行处理。比如,为了打造更优质的产品,通常需要对电商数据进行数据分析,其中电商数据例如包括某件产品在一段时间内的销售量、在一段时间内的各产品的销售量排名、同类产品在各电商网站的价格等。相关技术,通常是采用人工的方式登录提供电商数据的平台进行数据下载,这种方式,在需要下载海量的数据时,会浪费大量的人力成本和时间成本。如何以更低的成本来获取电商数据,已经成为亟待解决的问题。


技术实现要素:

5.本技术提供一种结合rpa和ai的电商数据的获取方法、装置及电子设备,以解决相关技术中的电商数据获取方法存在的人力成本和时间成本高的技术问题。
6.本技术第一方面实施例提供一种结合rpa和ai的电商数据的获取方法,由rpa机器人执行,该方法包括:登录电商数据平台;按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面;对目标数据页面中的目标电商数据进行下载;将下载后的目标电商数据写入数据库。
7.在一些实施例中,电商数据平台包括登录页面;登录电商数据平台,包括:根据电商数据平台的网址信息,访问电商数据平台;按照登录页面的访问路径,访问登录页面;调用密码管理器,通过虚拟键盘的方式,在登录页面上输入账户信息和对应的密码信息,以登录电商数据平台;其中,密码管理器中存储有账户信息和加密后的密码信息。
8.在一些实施例中,按照登录页面的访问路径,访问登录页面之后,还包括:在需要进行短信验证码验证的情况下,向人机协同平台下发验证码协同任务;响应于获取到人机协同平台对验证码协同任务进行处理后发送的目标短信验证码,在登录页面上输入目标短信验证码。
9.在一些实施例中,按照登录页面的访问路径,访问登录页面之后,还包括:在需要进行滑块验证码验证的情况下,通过模拟鼠标拖动操作,对滑块进行拖动。
10.在一些实施例中,按照登录页面的访问路径,访问登录页面之后,还包括:在需要进行图片验证码验证的情况下,采用光学字符识别ocr技术,识别验证码图片上的验证码;在登录页面上输入验证码。
11.在一些实施例中,目标数据页面的数量为多个;按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面,包括:针对每个目标数据页面,按照对应的访问路径,通过模拟鼠标点击操作,访问对应的目标数据页面。
12.在一些实施例中,对目标数据页面中的目标电商数据进行下载之前,还包括:将查询条件输入目标数据页面,以查询满足查询条件的目标电商数据。
13.本技术第二方面实施例提供一种结合rpa和ai的电商数据的获取装置,应用于rpa机器人,该装置,包括:登录模块,用于登录电商数据平台;访问模块,用于按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面;下载模块,用于对目标数据页面中的目标电商数据进行下载;写入模块,用于将下载后的目标电商数据写入数据库。
14.在一些实施例中,电商数据平台包括登录页面;登录模块,包括:第一访问单元,用于根据电商数据平台的网址信息,访问电商数据平台;第二访问单元,用于按照登录页面的访问路径,访问电商数据平台的登录页面;第一处理单元,用于调用密码管理器,通过虚拟键盘的方式,在登录页面上输入账户信息和对应的密码信息,以登录电商数据平台;其中,密码管理器中存储有账户信息和加密后的密码信息。
15.在一些实施例中,登录模块,还包括:发送单元,用于在需要进行短信验证码验证的情况下,向人机协同平台下发验证码协同任务;第二处理单元,用于响应于获取到人机协同平台对验证码协同任务进行处理后发送的目标短信验证码,在登录页面上输入目标短信验证码。
16.在一些实施例中,登录模块,还包括:第三处理单元,用于在需要进行滑块验证码验证的情况下,通过模拟鼠标拖动操作,对滑块进行拖动。
17.在一些实施例中,登录模块,还包括:识别单元,用于在需要进行图片验证码验证的情况下,采用光学字符识别ocr技术,识别验证码图片上的验证码;第四处理单元,用于在登录页面上输入验证码。
18.在一些实施例中,目标数据页面的数量为多个;访问模块,包括:第三访问单元,用于针对每个目标数据页面,按照对应的访问路径,通过模拟鼠标点击操作,访问对应的目标数据页面。
19.在一些实施例中,电商数据的获取装置,还包括:查询模块,用于将查询条件输入目标数据页面,以查询满足查询条件的目标电商数据。
20.本技术第三方面实施例提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时,实现如本技术上述第一方面实施例所述的方法。
21.本技术第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如本技术上述第一方面实施例所述的方法。
22.本技术第五方面实施例提出了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本技术上述第一方面实施例所述的方法。
23.本技术实施例提供的技术方案可以包括以下有益效果:
24.通过rpa机器人结合ai代替人工自动登录电商数据平台并进行目标电商数据的下载以及数据库写入,实现了电商数据的自动获取及存储,大大降低了获取电商数据所需的
人力成本及时间成本。
25.本技术的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
附图说明
26.在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本技术公开的一些实施方式,而不应将其视为是对本技术范围的限制。
27.图1是根据本技术第一实施例的结合rpa和ai的电商数据的获取方法的流程示意图;
28.图2是根据本技术第二实施例的结合rpa和ai的电商数据的获取方法的流程示意图;
29.图3是根据本技术第二实施例的电商数据平台的登录页面的部分示例图;
30.图4是根据本技术第二实施例的电商数据平台的一个目标数据页面的示例图;
31.图5是根据本技术第二实施例的电商数据平台的另一个目标数据页面的示例图;
32.图6是根据本技术第二实施例的电商数据平台的另一个目标数据页面的示例图;
33.图7是根据本技术第三实施例的结合rpa和ai的电商数据的获取装置的结构示意图;
34.图8是用来实现本技术实施例的结合rpa和ai的电商数据的获取方法的电子设备的框图。
具体实施方式
35.下面详细描述本技术/公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本技术/公开,而不能理解为对本技术/公开的限制。
36.参照下面的描述和附图,将清楚本技术/公开的实施例的这些和其他方面。在这些描述和附图中,具体公开了本技术/公开的实施例中的一些特定实施方式,来表示实施本技术/公开的实施例的原理的一些方式,但是应当理解,本技术/公开的实施例的范围不受此限制。相反,本技术/公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
37.需要说明的是,本公开申请的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
38.在本技术/公开的描述中,术语“多个”指两个或两个以上。
39.本技术提供一种通过rpa机器人和ai结合的方式,代替人工自动获取电商数据的思路。其中,rpa机器人可以登录电商数据平台,按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面,对目标数据页面中的目标电商数据进行下载,进而将下载后的目标电商数据写入数据库。由此,通过rpa机器人结合ai代替人工自动登录电商数据平台并进行目标电商数据的下载以及数据库写入,实现了电商数据的自动
获取及存储,大大降低了获取电商数据所需的人力成本及时间成本。
40.为了清楚说明本发明的各实施例,首先对本发明实施例中涉及到的技术名词进行解释说明。
41.在本技术的描述中,“rpa机器人”是指可结合ai技术和rpa技术,自动获取电商数据的软件机器人。rpa机器人拥有“连接器”和“无侵入”两个特性,通过模拟人类的操作方法,在不更改信息系统的前提下,使用非侵入的方式,将不同系统的数据进行提取、整合和连通。
42.在本技术的描述中,“电商数据平台”指提供电商数据的平台,比如某些面向商家的运营数据开放平台,这些平台可以提供品牌类目实时数据、实时销售数据、流量数据、行业趋势以及关注、加购、异常商品等电商数据。本技术实施例中的电商数据平台可以为任意的提供电商数据的平台,本技术对此不作限制。其中,电商数据平台包括但不限于“登录页面”、“目标数据页面”。其中,“目标数据页面”指包含电商数据的网页,在该网页中,可以进行电商数据的查询和/或下载;“登录页面”指用于使用户登录用户账户的网页,通过在该网页中输入账户、密码等信息,可以实现用户账户的登录。
43.在本技术的描述中,“滑块验证码”,为一种常见的行为验证码,用户只需要轻轻滑动滑块填充拼图,即可完成安全验证。
44.在本技术的描述中,“查询条件”指预先设定的需要下载的目标电商数据所需满足的条件,比如可以包括日期、品类等维度。
45.在本技术的描述中,“密码管理器”为用于解决密码存储和输入问题的硬件产品,其可以通过比如usb(universal serial bus,通用串行总线)接口与电子设备连接,从而可以被电子设备的操作系统识别为usb键盘,且还能存储多组加密后的密码,并在需要输入的时候,依靠虚拟键盘的方式,直接把密码输入操作系统。
46.在本技术的描述中,“人机协同平台”指衔接人工与机器人的协同工作的平台,通过利用人机协同平台,可以在一个自动化流程中,将需要人工判断、决策的任务分配至人工,人工通过表单信息输入、信息二次核查确认等操作,为机器人提供精准的输入,从而创造更多、更安全的自动化机会。
47.在本技术的描述中,“验证码协同任务”指需要利用人机协同平台,与rpa机器人协同完成的验证码输入任务。
48.在本技术的描述中,“ocr(optical character recognition,光学字符识别)”,具体是指电子设备检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程;即,针对印刷体字符,采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件,并通过识别软件将图像中的文字转换成文本格式,供文字处理软件进一步编辑加工的技术。
49.在本技术的描述中,“数据清洗”,指发现并纠正目标电商数据中可识别的错误或者进行存储格式修改等的过程,是将下载的目标电商数据写入数据库之前对目标电商数据进行的预处理,比如包括将重复下载的目标电商数据删除、检测目标电商数据的完整性、对目标电商数据的存储格式进行修改等。
50.以下结合附图描述根据本技术/公开实施例的结合rpa和ai的电商数据的获取方法、装置、电子设备及存储介质。
51.首先结合附图,对本技术实施例中的应用于rpa机器人的结合rpa和ai的电商数据的获取方法进行说明。
52.图1是本技术第一实施例的结合rpa和ai的电商数据的获取方法的流程图。如图1所示,该方法可包括以下步骤:
53.步骤101,登录电商数据平台。
54.需要说明的是,本技术实施例的结合rpa和ai的电商数据的获取方法,可以由结合rpa和ai的电商数据的获取装置执行,以下将结合rpa和ai的电商数据的获取装置简称为电商数据的获取装置。其中,该电商数据的获取装置可以由rpa机器人实现,例如,电商数据的获取装置可以为rpa机器人,或者电商数据的获取装置可以配置在rpa机器人中,本技术对此不作限制。
55.其中,rpa机器人可以配置在电子设备中,该电子设备可以包括但不限于终端设备、服务器等,该实施例对电子设备不作具体限定。本技术实施例以电商数据的获取装置为终端设备中安装的rpa机器人为例进行说明。
56.其中,本实施例中的rpa机器人可以在特定的时间段,或者全天实时执行该方法,本技术对此不作限制。其中,特定的时间段可以根据需要设置。
57.或者,上述rpa机器人还可以是定时启动或者基于接收到启动指令而启动的。例如,工作人员可通过对话的方式,触发针对rpa机器人的上述启动指令。其中,触发针对rpa机器人的启动指令可通过多种方式实现,例如,可通过语音和/或文字的方式触发rpa机器人的启动指令,又例如,还可以通过触发人机交互界面上的指定控件的方式,来触发rpa机器人的启动指令,本技术的实施例对此不作具体限定。
58.本技术实施例中,电商数据平台可以为一个,也可以为多个,本技术对此不作限制。
59.步骤102,按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面。
60.可以理解的是,对于不同的电商数据平台,访问电商数据平台的目标数据页面的访问路径可能不同。在本技术的实施例中,rpa机器人可以按照电商数据平台的目标数据页面对应的访问路径,通过模拟鼠标点击操作,访问目标数据页面。
61.步骤103,对目标数据页面中的目标电商数据进行下载。
62.其中,目标电商数据,为需要下载的电商数据。
63.在本技术实施例中,目标数据页面可以提供目标电商数据的下载按钮,从而rpa机器人可以通过模拟鼠标点击操作,点击该下载按钮,以对目标电商数据进行下载。
64.步骤104,将下载后的目标电商数据写入数据库。
65.其中,数据库,可以为sql(structured query language,结构化查询语言)数据库,也可以为其它类型的数据库,本技术对此不作限制。
66.在本技术的实施例中,以sql数据库为例,rpa机器人可以连接sql数据库,通过sql语句将目标电商数据写入sql数据库。
67.进一步的,rpa机器人可以通过模拟鼠标点击操作,点击电商数据平台的退出按钮,退出电商数据平台。
68.可以理解的是,对于任意的电商数据平台,均可以通过利用rpa机器人执行上述方
法,来实现对该电商数据平台中的目标电商数据的下载以及写入数据库,由此,在数据库中即可存储丰富的电商数据,以便基于电商数据分析产品定位、运营模式等,为打造优质产品奠定基础。
69.需要注意的是,通过rpa机器人执行上述方法,实现自动获取电商数据的过程,相比通过其它自动化方式实现上述过程的本质是完全不同的。比如对于从页面上读数据的过程,rpa机器人与网络爬虫这种将页面上所有数据抓取下来的方式不同,rpa机器人采用的是类似人工的处理逻辑,在页面上未找到所需的数据时,rpa机器人会反馈未获取到的结果,不从该页面上获取任何数据。并且,rpa机器人对于网页的技术实现是需要把网页打开进行用户界面呈现的,对于网站后台来说,rpa机器人执行上述方法的过程与人工执行上述方法的过程基本相同。另外,无需通过设计代码,即可使rpa机器人实现上述方法,相比其它自动化方式,通过rpa机器人实现上述方法所需的人工成本更低。
70.综上,本技术实施例提供的结合rpa和ai的电商数据的获取方法,rpa机器人登录电商数据平台,按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面,对目标数据页面中的目标电商数据进行下载,进而将下载后的目标电商数据写入数据库。由此,通过rpa机器人结合ai代替人工自动登录电商数据平台并进行目标电商数据的下载以及数据库写入,实现了电商数据的自动获取及存储,大大降低了获取电商数据所需的人力成本及时间成本。
71.下面结合图2,对本技术实施例提供的结合rpa和ai的电商数据的获取方法进行进一步说明。图2是根据本技术第二实施例的结合rpa和ai的电商数据的获取方法的流程图,如图2所示,该方法包括:
72.步骤201,根据电商数据平台的网址信息,访问电商数据平台。
73.在本技术的实施例中,rpa机器人可以获取电商数据平台的网址信息,并根据电商数据平台的网址信息,访问电商数据平台。
74.步骤202,按照登录页面的访问路径,访问电商数据平台的登录页面。
75.可以理解的是,对于不同的电商数据平台,访问电商数据平台的登录页面的访问路径可能不同。在本技术的实施例中,rpa机器人可以按照所登录的电商数据平台的登录页面对应的访问路径,访问电商数据平台的登录页面。
76.步骤203,调用密码管理器,通过虚拟键盘的方式,在登录页面上输入账户信息和对应的密码信息,以登录电商数据平台。
77.其中,密码管理器中存储有账户信息和加密后的密码信息。
78.在本技术的实施例中,在登录电商数据平台时,可能需要在登录页面上输入账户信息和对应的密码信息。本技术实施例中,可以利用密码管理器在登录页面上输入账户信息和对应的密码信息,以登录电商数据平台。具体的,密码管理器中存储有账户信息和加密后的密码信息,可以将密码管理器与终端设备连接,进而rpa机器人可以在访问电商数据平台的登录页面后,调用密码管理器,通过虚拟键盘的方式,在登录页面上输入账户信息和对应的密码信息,以登录电商数据平台。由此,实现了利用rpa机器人结合密码管理器自动输入账户信息和对应的密码信息,以登录电商数据平台。
79.在一种可能的实现形式中,在登录电商数据平台时,除了需要输入账户信息和对应的密码信息,可能还需要进行短信验证码验证。
80.本技术实施例中,rpa机器人可以检测是否需要进行短信验证码验证,在需要进行短信验证码验证的情况下,可以向人机协同平台下发验证码协同任务。
81.人机协同平台在接收到验证码协同任务后,可以对验证码协同任务进行处理,得到目标短信验证码,并将目标短信验证码返回rpa机器人。具体的,人机协同平台在接收到验证码协同任务后,可以向工作人员发送任务通知,从而工作人员可以登录人机协同平台进行任务处理,在工作人员登录人机协同平台进行任务处理时,人机协同平台可以展示验证码协同任务对应的任务界面,在任务界面中展示验证码输入框,输入框用于输入目标短信验证码。在人工将手机等终端设备接收到的目标短信验证码在输入框中进行输入后,人机协同平台可以响应于探测到的任务界面的输入框中的输入信息,获取目标短信验证码,并将目标短信验证码发送至rpa机器人。
82.相应的,rpa机器人响应于获取到人机协同平台对验证码协同任务进行处理后发送的目标短信验证码,可以在登录页面上输入目标短信验证码。进而rpa机器人即可登录电商数据平台。
83.即,步骤202之后,还可以包括:在需要进行短信验证码验证的情况下,向人机协同平台下发验证码协同任务;响应于获取到人机协同平台对验证码协同任务进行处理后发送的目标短信验证码,在登录页面上输入目标短信验证码。
84.由此,实现了利用rpa机器人结合人机协同平台自动输入目标短信验证码进行验证,以登录电商数据平台。
85.在另一种可能的实现形式中,在登录电商数据平台时,除了需要输入账户信息和对应的密码信息,可能还需要进行滑块验证码验证。
86.本技术实施例中,rpa机器人可以检测登录页面上是否存在滑块,以判断是否需要进行滑块验证码验证。在登录页面上存在滑块,即需要进行滑块验证码验证的情况下,rpa机器人可以通过模拟鼠标拖动操作,对滑块进行拖动,以进行安全验证。其中,可以预设拖动方向和拖动距离,从而rpa机器人可以通过模拟鼠标拖动操作,按照预设的拖动方向,将滑块拖动预设的拖动距离,来进行安全验证。
87.即,步骤202之后,还可以包括:在需要进行滑块验证码验证的情况下,通过模拟鼠标拖动操作,对滑块进行拖动。
88.由此,实现了利用rpa机器人自动拖动滑块进行滑块验证码验证,以登录电商数据平台。
89.在另一种可能的实现形式中,在登录电商数据平台时,除了需要输入账户信息和对应的密码信息,可能还需要进行图片验证码验证。
90.本技术实施例中,rpa机器人可以检测登录页面上是否存在验证码图片,以判断是否需要进行图片验证码验证。在登录页面上存在验证码图片,即需要进行图片验证码验证的情况下,rpa机器人可以采用ocr技术,识别验证码图片上的验证码,进而在登录页面上输入验证码,以进行安全验证。
91.即,步骤202之后,还可以包括:在需要进行图片验证码验证的情况下,采用光学字符识别ocr技术,识别验证码图片上的验证码;在登录页面上输入验证码。
92.由此,实现了利用rpa机器人结合ai自动识别图片验证码进行图片验证码验证,以登录电商数据平台。
93.步骤204,按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面。
94.在本技术的实施例中,目标数据页面的数量可以为一个或多个。
95.在目标数据页面的数量为一个时,rpa机器人可以按照该目标数据页面对应的访问路径,通过模拟鼠标点击操作,访问该目标数据页面,进而执行后续的目标电商数据查询、下载及写入数据库过程。
96.在目标数据页面的数量为多个时,rpa机器人可以按照各个目标数据页面对应的访问路径,通过模拟鼠标点击操作,访问对应的目标数据页面,进而对每个目标数据页面执行后续的目标电商数据查询、下载及写入数据库过程。由此,可以实现利用rpa机器人从多个目标数据页面中获取目标电商数据,从而大大降低获取电商数据所需的人力成本及时间成本。
97.即,步骤204可以包括:针对每个目标数据页面,按照对应的访问路径,通过模拟鼠标点击操作,访问对应的目标数据页面。
98.步骤205,将查询条件输入目标数据页面,以查询满足查询条件的目标电商数据。
99.在本技术的实施例中,对于某些目标数据页面,可以将查询条件输入目标数据页面,以查询满足查询条件的目标电商数据。由此,可以rpa机器人可以快速查询到满足查询条件的目标电商数据。
100.比如,可以在目标数据页面中查询日期对应的输入框中输入“按月查询(2021-08-01至2021-08-31)”,以查询在该时间范围内的目标电商数据。
101.步骤206,对目标数据页面中的目标电商数据进行下载。
102.在本技术的实施例中,目标数据页面可以提供目标电商数据的下载按钮,从而rpa机器人可以通过模拟鼠标点击操作,点击该下载按钮,以对目标电商数据进行下载。
103.需要说明的是,对于某些目标数据页面,可能预先配置了默认存储位置,比如云盘,在下载目标电商数据时,点击下载按钮,可能会直接将目标电商数据下载至该默认存储位置,在本技术实施例中,rpa机器人还可以将目标电商数据从该默认存储位置转存至用户指定的存储位置。
104.步骤207,将下载后的目标电商数据写入数据库。
105.在本技术的实施例中,将下载后的目标电商数据写入数据库之前,还可以对目标电商数据进行数据清洗。
106.其中,对目标电商数据进行数据清洗,可以包括但不限于以下清理方式:
107.将重复下载的目标电商数据删除。比如,对于同一目标电商数据,可能会同时满足多个查询条件,从而在通过不同的查询条件,查询满足查询条件的目标电商数据并下载目标电商数据时,会出现将同一目标电商数据下载多次的情况,本技术实施例中,rpa机器人可以检测各目标电商数据是否存在重复下载的情况,从而可以将重复下载的目标电商数据删除。由此,可以避免数据库中存储冗余的电商数据,节省数据库的存储空间。
108.检测目标电商数据的完整性。比如,因网络不稳定,可能出现执行下载操作后,实际下载的目标电商数据少于需要下载的目标电商数据的情况,本技术实施例中,rpa机器人可以检测满足查询条件的各目标电商数据是否已全部下载,并在没有全部下载时,将未下载的目标电商数据再次下载。由此,可以避免遗漏需要下载的目标电商数据。
109.对目标电商数据的存储格式进行修改。比如,从目标数据页面中下载的目标电商数据可能为压缩包,本技术实施例中,rpa机器人可以对下载的目标电商数据的压缩包进行解压处理。由此,可以避免后续对数据库中存储的电商数据进行数据分析时,再次对压缩包格式的数据进行解压,从而减少数据分析所需的时间。
110.另外,电商数据平台上可能出现广告弹窗的情况,从而可能会导致rpa机器人的点击操作失灵,本技术实施例中,rpa机器人可以在模拟鼠标点击操作后,判断电商数据平台是否响应,若未响应,则可以检测电商数据平台上是否出现弹窗,在电商数据平台上出现弹窗的情况下,可以关闭弹窗,并重新进行鼠标点击操作。由此,可以实现rpa机器人自动处理异常情况。
111.需要说明的是,在目标数据页面的数量为多个时,rpa机器人可以在每一次从一个目标数据页面中下载目标电商数据后,对目标电商数据进行清理,将处理后的目标电商数据写入数据库,再从下一个目标数据页面中下载目标电商数据,也可以在从所有的目标数据页面中下载目标电商数据后,再对目标电商数据进行清理,最后将所有处理后的目标电商数据写入数据库,本技术对此不作限制。
112.下面结合图3-6,以实际场景为例,对本技术实施例的电商数据的获取方法进行进一步说明。
113.rpa机器人可以先从预设存储位置获取电商数据平台的网址信息,根据该网址信息,访问电商数据平台。电商数据平台上可以提供用于进入登录页面的登录按钮,从而rpa机器人可以通过模拟鼠标点击操作,点击该登录按钮,访问电商数据平台的登录页面。
114.参考图3,在登录页面上可以出现图3所示的弹窗,从而rpa机器人可以调用密码管理器,通过虚拟键盘的方式,在登录页面上输入账户信息和对应的密码信息。另外,需要进行短信验证码验证的情况下,rpa机器人可以向人机协同平台下发验证码协同任务,并响应于获取到人机协同平台对验证码协同任务进行处理后发送的目标短信验证码,在登录页面上输入目标短信验证码,以登录电商数据平台。或者,在需要进行滑块验证码验证的情况下,rpa机器人可以通过模拟鼠标拖动操作,对滑块进行拖动,以登录电商数据平台。或者,在需要进行图片验证码验证的情况下,rpa机器人可以采用光学字符识别ocr技术,识别验证码图片上的验证码,进而在登录页面上输入验证码,以登录电商数据平台。登录电商数据平台后,rpa机器人即可访问电商数据平台的默认首页。
115.进一步的,参考图4所示的目标数据页面,电商数据平台的默认首页上也可以包括图4所示的标题“报表”401、“推荐报表”402,rpa机器人可以通过模拟鼠标点击操作,依次点击电商数据平台的默认首页上的标题“报表”401、“推荐报表”402,访问图4所示的目标数据页面。在该目标数据页面上,可以提供查询条件的输入框403,其中,查询条件可以包括分析维度、报表类型、统计日期三个维度。rpa机器人可以将查询条件“分析维度:店铺”“报表类型:月报”“统计日期:2021-08-01至2021-08-31”输入该输入框403中,以查询满足查询条件的目标电商数据。根据查询条件查询到图4所示的目标电商数据后,rpa机器人即可通过模拟鼠标点击操作,点击图4中的箭头所指的“下载数据”404,将目标电商数据下载至用户指定的存储位置,进而对下载的目标电商数据进行数据清洗,再将处理后的目标电商数据写入数据库。
116.进一步的,参考图5所示的目标数据页面,电商数据平台的默认首页上也可以包括
图5所示的标题“行业”501、“行业大盘”502,rpa机器人可以通过模拟鼠标点击操作,依次点击电商数据平台的默认首页上的标题“行业”501、“行业大盘”502,访问图5所示的目标数据页面。在该目标数据页面上,可以提供查询条件的输入框503,其中,查询条件可以包括品类、渠道、查询日期三个维度。rpa机器人可以将查询条件“品类:生活电器》电风扇”“渠道:全部渠道”“查询日期:按月查询(2021-08-01至2021-08-31)”输入该输入框503中,以查询满足查询条件的目标电商数据。根据查询条件查询到图5所示的目标电商数据后,rpa机器人即可通过模拟鼠标点击操作,点击图5中的“下载数据”按钮504,将目标电商数据下载至用户指定的存储位置,进而对下载的目标电商数据进行数据清洗,再将处理后的目标电商数据写入数据库。
117.进一步的,参考图6所示的目标数据页面,电商数据平台的默认首页上也可以包括图6所示的标题“服务”601、“接待响应”602,rpa机器人可以通过模拟鼠标点击操作,依次点击电商数据平台的默认首页上的标题“服务”601、“接待响应”602,访问图6所示的目标数据页面。在该目标数据页面上,可以提供查询条件的输入框603以及“同比(年)”“环比(月)”选项,其中,查询条件可以包括查询日期、比较维度二个维度。rpa机器人可以将查询条件“查询日期:按月查询(2021-08-01至2021-08-31)”输入该输入框603中,并选择比较维度为“同比(年)”604,以查询满足查询条件的目标电商数据。根据查询条件查询到图6所示的目标电商数据后,rpa机器人即可通过模拟鼠标点击操作,点击图6中的“下载数据”按钮605,将目标电商数据下载至用户指定的存储位置,进而对下载的目标电商数据进行数据清洗,再将处理后的目标电商数据写入数据库。
118.综上,通过上述过程,即可实现通过rpa机器人结合ai代替人工自动登录电商数据平台,并将电商数据平台上的多个目标数据页面中的目标电商数据下载至用户指定的存储位置,进而写入数据库,实现电商数据的自动获取及存储,大大降低获取电商数据所需的人力成本及时间成本。
119.为了实现上述实施例,本技术还提出了一种结合rpa和ai的电商数据的获取装置。图7是根据本技术第三实施例的结合rpa和ai的电商数据的获取装置的结构示意图。
120.如图7所示,该结合rpa和ai的电商数据的获取装置700,应用于rpa机器人,包括:登录模块701、访问模块702、下载模块703和写入模块704。
121.其中,登录模块701,用于登录电商数据平台;
122.访问模块702,用于按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面;
123.下载模块703,用于对目标数据页面中的目标电商数据进行下载;
124.写入模块704,用于将下载后的目标电商数据写入数据库。
125.需要说明的是,本技术实施例的结合rpa和ai的电商数据的获取装置700,可以执行上述实施例提供的结合rpa和ai的电商数据的获取方法。其中,结合rpa和ai的电商数据的获取装置700可以由rpa机器人实现,例如,结合rpa和ai的电商数据的获取装置700可以为rpa机器人,或者电商数据的获取装置可以配置在rpa机器人中,本技术对此不作限制。
126.其中,rpa机器人可以配置在电子设备中,该电子设备可以包括但不限于终端设备、服务器等,该实施例对电子设备不作具体限定。
127.在本技术的一个实施例中,电商数据平台包括登录页面;登录模块701,包括:
128.第一访问单元,用于根据电商数据平台的网址信息,访问电商数据平台;
129.第二访问单元,用于按照登录页面的访问路径,访问电商数据平台的登录页面;
130.第一处理单元,用于调用密码管理器,通过虚拟键盘的方式,在登录页面上输入账户信息和对应的密码信息,以登录电商数据平台;
131.其中,密码管理器中存储有账户信息和加密后的密码信息。
132.在本技术的一个实施例中,登录模块701,还包括:
133.发送单元,用于在需要进行短信验证码验证的情况下,向人机协同平台下发验证码协同任务;
134.第二处理单元,用于响应于获取到人机协同平台对验证码协同任务进行处理后发送的目标短信验证码,在登录页面上输入目标短信验证码。
135.在本技术的一个实施例中,登录模块701,还包括:
136.第三处理单元,用于在需要进行滑块验证码验证的情况下,通过模拟鼠标拖动操作,对滑块进行拖动。
137.在本技术的一个实施例中,登录模块701,还包括:
138.识别单元,用于在需要进行图片验证码验证的情况下,采用光学字符识别ocr技术,识别验证码图片上的验证码;
139.第四处理单元,用于在登录页面上输入验证码。
140.在本技术的一个实施例中,目标数据页面的数量为多个;
141.访问模块702,包括:
142.第三访问单元,用于针对每个目标数据页面,按照对应的访问路径,通过模拟鼠标点击操作,访问对应的目标数据页面。
143.在本技术的一个实施例中,电商数据的获取装置700,还包括:
144.查询模块,用于将查询条件输入目标数据页面,以查询满足查询条件的目标电商数据。
145.需要说明的是,前述对结合rpa和ai的电商数据的获取方法实施例的解释说明也适用于该实施例的结合rpa和ai的电商数据的获取装置,本技术结合rpa和ai的电商数据的获取装置实施例中未公布的细节,此处不再赘述。
146.综上,本技术实施例的结合rpa和ai的电商数据的获取装置,登录电商数据平台,按照电商数据平台的目标数据页面的访问路径,通过模拟鼠标点击操作,访问目标数据页面,对目标数据页面中的目标电商数据进行下载,进而将下载后的目标电商数据写入数据库。由此,通过rpa机器人结合ai代替人工自动登录电商数据平台并进行目标电商数据的下载以及数据库写入,实现了电商数据的自动获取及存储,大大降低了获取电商数据所需的人力成本及时间成本。
147.为了实现上述实施例,本技术实施例还提出一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如前述任一方法实施例所述的结合rpa和ai的电商数据的获取方法。
148.为了实现上述实施例,本技术实施例还提出一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述任一方法实施例所述的结合rpa和ai的电商数据的获取方法。
149.为了实现上述实施例,本技术实施例还提出一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如前述任一方法实施例所述的结合rpa和ai的电商数据的获取方法。
150.图8示出了适于用来实现本技术实施方式的示例性电子设备的框图。图8显示的电子设备12仅仅是一个示例,不应对本技术实施例的功能和使用范围带来任何限制。
151.如图8所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括存储器28和处理单元16)的总线18。
152.总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(industry standard architecture;以下简称:isa)总线,微通道体系结构(micro channel architecture;以下简称:mac)总线,增强型isa总线、视频电子标准协会(video electronics standards association;以下简称:vesa)局域总线以及外围组件互连(peripheral component interconnection;以下简称:pci)总线。
153.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
154.存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(random access memory;以下简称:ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(compact disc read only memory;以下简称:cd-rom)、数字多功能只读光盘(digital video disc read only memory;以下简称:dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本技术各实施例的功能。
155.具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本技术所描述的实施例中的功能和/或方法。
156.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(local area network;以下简称:lan),广域网(wide area network;以下简称:wan)和/或公共网络,例如因特网)通信。如图8所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图8中未示出,可以结
合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
157.处理单元16通过运行存储在存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
158.在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
159.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
160.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本技术的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本技术的实施例所属技术领域的技术人员所理解。
161.在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
162.应当理解,本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
163.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步
骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
164.此外,在本技术各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
165.上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本技术的限制,本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1