数据爬取方法、装置、设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种数据爬取方法、装置、电子设备及可读存储介质。


背景技术：

2.随着互联网技术的发展，大量互联网项目分析、开发需要一些公开数据的抓取，需要爬虫快速支持和数据抓取、解析等工作。
3.然而，现有技术中，数据抓取需要专门的技术人员进行抓取任务配置、开发等，门槛较高，由于数据抓取任务的繁琐性，难以灵活进行调整配置。同时，非专业人员难以直观的进行数据抓取，使得数据抓取的效率较低。


技术实现要素：

4.本发明提供一种数据爬取方法、装置、电子设备及可读存储介质，其主要目的在于提高数据爬取的效率。
5.为实现上述目的，本发明提供的一种数据爬取方法，包括：
6.接收爬取任务对应的数据抓取配置指令，基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图；
7.接收配置调整指令，利用所述配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图；
8.基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储。
9.可选地，所述基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图，包括：
10.利用所述数据抓取配置指令中的爬虫配置指令对所述抓取组件集合中的爬虫配置组件进行爬虫全局配置，得到爬虫配置图；
11.利用所述数据抓取配置指令中的网址处理配置指令对所述抓取组件集合中的网址处理组件进行网址处理配置，得到网址配置图；
12.利用所述数据抓取配置指令中的页面抓取配置指令对所述抓取组件集合中的页面抓取组件进行页面抓取配置，得到页面配置图；
13.利用所述数据抓取配置指令中的数据抽取配置指令对所述抓取组件集合中的数据抽取组件进行数据抽取配置，得到数据配置图；
14.利用所述数据抓取配置指令中的数据落地配置指令对所述抓取组件集合中的数据落地组件进行数据落地配置，得到落地配置图。
15.可选地，所述利用所述数据抓取配置指令中的爬虫配置指令对所述抓取组件集合中的爬虫配置组件进行爬虫全局配置，得到爬虫配置图，包括：
16.解析所述爬虫配置指令，得到爬虫种子信息及爬虫配置信息；
17.将所述爬虫种子信息及所述爬虫配置信息填充至所述爬虫配置组件对应的配置页面，得到所述爬虫配置图。
18.可选地，所述利用所述数据抓取配置指令中的网址处理配置指令对所述抓取组件集合中的网址处理组件进行网址处理配置，得到网址配置图，包括：
19.解析所述网址处理配置指令，得到网址过滤算法；
20.将所述网址过滤算法填充至所述网址处理组件对应的配置页面，得到所述网址配置图。
21.可选地，所述利用所述数据抓取配置指令中的页面抓取配置指令对所述抓取组件集合中的页面抓取组件进行页面抓取配置，得到页面配置图，包括：
22.解析所述页面抓取配置指令，得到页面抓取方式；
23.将所述页面抓取方式填充至所述页面抓取组件对应的配置页面，得到所述页面配置图。
24.可选地，所述利用所述数据抓取配置指令中的数据抽取配置指令对所述抓取组件集合中的数据抽取组件进行数据抽取配置，得到数据配置图，包括：
25.解析所述数据抽取配置指令，得到数据抽取方式；
26.将所述数据抽取方式填充至所述数据抽取组件对应的配置页面，得到所述数据配置图。
27.可选地，所述基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储，包括：
28.按照所述数据抓取配置流程图中各配置图的顺序解析出爬虫种子信息、爬虫配置信息、网址过滤算法、页面抓取方式、数据抽取方式及数据存储方式组成所述数据抓取逻辑；
29.执行所述数据抓取逻辑，对所述爬虫种子信息中的种子url进行数据爬取，并按照所述数据抓取逻辑中的数据存储方式对爬取到的数据进行存储。
30.为了解决上述问题，本发明还提供一种数据爬取装置，所述装置包括：
31.数据抓取配置模块，用于接收爬取任务对应的数据抓取配置指令，基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图；
32.数据抓取调整模块，用于接收配置调整指令，利用所述配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图；
33.数据抓取模块，用于基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储。
34.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
35.存储器，存储至少一个计算机程序；及
36.处理器，执行所述存储器中存储的计算机程序以实现上述所述的数据爬取方法。
37.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据爬取方法。
38.本发明根据数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到抓
取组件集合中不同组件对应的配置图，并且利用配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图，可以直观展示数据抓取的整体流程，方便调整且降低了数据抓取的门槛。同时，基于数据抓取配置流程图构建数据抓取逻辑，通过执行数据抓取逻辑可以直接进行数据抓取及数据存储，大大提高了数据爬取的效率。因此本发明提出的数据爬取方法、装置、电子设备及计算机可读存储介质，可以提高数据爬取的效率。
附图说明
39.图1为本发明一实施例提供的数据爬取方法的流程示意图；
40.图2为图1中其中一个步骤的详细实施流程示意图；
41.图3为图2中其中一个步骤的详细实施流程示意图；
42.图4为图1中另一个步骤的详细实施流程示意图；
43.图5为本发明一实施例提供的数据爬取装置的功能模块图；
44.图6为本发明一实施例提供的实现所述数据爬取方法的电子设备的结构示意图。
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
47.本发明实施例提供一种数据爬取方法。所述数据爬取方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述数据爬取方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
48.参照图1所示，为本发明一实施例提供的数据爬取方法的流程示意图。
49.在本实施例中，所述数据爬取方法包括以下步骤s1-s3：
50.s1、接收爬取任务对应的数据抓取配置指令，基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图。
51.本发明实施例中，所述爬取任务是指对不同领域数据进行爬取的任务，例如某一爬取任务的目标对象为爬取金融领域的数据。所述预构建的抓取组件集合是指基于爬取任务对整个数据抓取任务流程构建的抓取组件集合，包括：爬虫配置组件(initprocessor)、网址过滤组件(schedulerprocessor)、页面抓取组件(downloaderprocessor)、数据抽取组件(pageextractorprocessor)及数据落地组件(saveprocessor)等。所述数据抓取配置指令是对爬取任务中的每一步组件的使用逻辑进行配置的指令集合，包括：爬虫配置指令、网址处理配置指令、页面抓取配置指令、数据抽取配置指令及数据落地配置指令等。
52.其中，爬虫配置组件(initprocessor)用于定义爬虫的种子信息以及一些全局的配置信息，例如，爬虫开启的线程数，爬虫使用的代理信息等一些常用的全局信息，种子信息主要是爬虫抓取的起点的种子url、抓取的深度、抓取的数量等；网址处理组件
(schedulerprocessor)通过配置url正则、布隆过滤器及过滤算法等来实现对url的过滤，例如对爬虫抓取过程中的url去重，特定抓取深度的url的过滤等；页面抓取组件(downloaderprocessor)用于对url的具体抓取，主要包括：1、利用apache httpclient下载简单的静态网页，2、利用phantomjs对一些有js需要渲染才能获取数据的界面进行无界面抓取，3、利用chrome对有界面渲染，甚至需要模拟点击的页面进行抓取，例如通过点击和瀑布流下拉等模拟动作进行拉取，4、通过代理配置进行拉取，例如使用程序中user-agent的替换策略等，实现一定程度屏蔽目标网站的反扒策略，提高页面抓取的效率；数据抽取组件(pageextractorprocessor)用于爬虫抓取过程中对页面数据的抽取，可以是url或者最终需要的目标文本等数据，例如基于正则，xpath等比较机械的针对性的页面的信息抽取的配置，或者基于dom-tree(document object model-tree，文档对象化模型树)的正文提取算法，基于网页文本密度的正文提取算法以及基于深度学习的正文提取算法等；所述数据落地组件(saveprocessor)用于对抓取得到的数据进行存储，例如，通过pg、mysql、hdfs、hbase等进行存储。
53.详细地，参照图2所示，所述基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图，包括以下步骤s10-s14：
54.s10、利用所述数据抓取配置指令中的爬虫配置指令对所述抓取组件集合中的爬虫配置组件进行爬虫全局配置，得到爬虫配置图；
55.s11、利用所述数据抓取配置指令中的网址处理配置指令对所述抓取组件集合中的网址处理组件进行网址处理配置，得到网址配置图；
56.s12、利用所述数据抓取配置指令中的页面抓取配置指令对所述抓取组件集合中的页面抓取组件进行页面抓取配置，得到页面配置图；
57.s13、利用所述数据抓取配置指令中的数据抽取配置指令对所述抓取组件集合中的数据抽取组件进行数据抽取配置，得到数据配置图；
58.s14、利用所述数据抓取配置指令中的数据落地配置指令对所述抓取组件集合中的数据落地组件进行数据落地配置，得到落地配置图。
59.本发明一可选实施例中，所述抓取组件集合中不同组件会提供配置页面进行组件配置，并且配置完成的页面可作为配置图进行拖拽等调整。
60.详细地，参照图3所示，所述利用所述数据抓取配置指令中的爬虫配置指令对所述抓取组件集合中的爬虫配置组件进行爬虫全局配置，得到爬虫配置图，包括以下步骤s101-s102：
61.s101、解析所述爬虫配置指令，得到爬虫种子信息及爬虫配置信息；
62.s102、将所述爬虫种子信息及所述爬虫配置信息填充至所述爬虫配置组件对应的配置页面，得到所述爬虫配置图。
63.本发明一可选实施例中，例如，通过解析爬虫配置指令，得到抓取起点的url、抓取的深度及抓取停止的数量等爬虫种子信息，得到爬虫开启的线程数、爬虫使用的代理信息等爬虫配置信息。
64.详细地，所述利用所述数据抓取配置指令中的网址处理配置指令对所述抓取组件集合中的网址处理组件进行网址处理配置，得到网址配置图，包括：
65.解析所述网址处理配置指令，得到网址过滤算法；
66.将所述网址过滤算法填充至所述网址处理组件对应的配置页面，得到所述网址配置图。
67.本发明一可选实施例中，例如，通过解析所述网址处理配置指令，得到用户选择的特定抓取深度的url的正则指令进行网址过滤。
68.详细地，所述利用所述数据抓取配置指令中的页面抓取配置指令对所述抓取组件集合中的页面抓取组件进行页面抓取配置，得到页面配置图，包括：
69.解析所述页面抓取配置指令，得到页面抓取方式；
70.将所述页面抓取方式填充至所述页面抓取组件对应的配置页面，得到所述页面配置图。
71.本发明一可选实施例中，例如，通过解析页面抓取配置指令，确定用户选择通过apache httpclient方式进行页面下载，apache httpclient通过解析url网址中的http协议，可以快速获取大量的静态页面。
72.详细地，所述利用所述数据抓取配置指令中的数据抽取配置指令对所述抓取组件集合中的数据抽取组件进行数据抽取配置，得到数据配置图，包括：
73.解析所述数据抽取配置指令，得到数据抽取方式；
74.将所述数据抽取方式填充至所述数据抽取组件对应的配置页面，得到所述数据配置图。
75.本发明一可选实施例中，例如，解析所述数据抽取配置指令，确定用户选择网页正文信息提取算法(包括基于dom-tree的正文提取算法，基于网页文本密度的正文提取算法以及基于深度学习的正文提取算法)进行数据提取。
76.详细地，所述利用所述数据抓取配置指令中的数据落地配置指令对所述抓取组件集合中的数据落地组件进行数据落地配置，得到落地配置图，包括：
77.解析所述数据落地配置指令，得到数据存储方式；
78.将所述数据存储方式填充至所述数据落地组件对应的配置页面，得到所述落地配置图。
79.本发明一可选实施例中，例如，通过解析所述数据落地配置指令，确定用户选择mysql进行数据存储。
80.本发明通过将数据爬取过程抽象为不同的功能组件，只需对每个组件进行简单配置，便可以通过流程配置图的方式对每一步进行数据抓取配置，大大提高了数据抓取效率，降低了数据抓取的门槛。
81.s2、接收配置调整指令，利用所述配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图。
82.本发明实施例中，通过所述配置调整指令，用户可以对不同组件对应的配置图进行拖拽，从而调整配置图的顺序，并按照调整后的顺序组合各组件对应的配置图，得到整个数据爬取任务的数据抓取配置流程图。
83.其中，所述数据抓取配置流程图是通过各组件对应的配置图组装而成的抓取流程图，该图中包括对于某一抓取任务的整体抓取逻辑，即某一抓取任务的抓取剧本。
84.s3、基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对
所述爬取任务中的目标对象进行数据抓取及数据存储。
85.本发明实施例中，所述目标对象是指爬取任务所爬取领域的数据，例如，某一爬取任务a需要爬取的目标对象为金融领域的数据，并且爬取任务a的数据抓取配置指令中包含基于该目标对象的配置指令，通过流程图配置来构建数据抓取逻辑，并通过执行数据抓取逻辑对目标对象进行数据抓取及存储。
86.详细地，参照图4所示，所述基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储，包括以下步骤s30-s31：
87.s30、按照所述数据抓取配置流程图中各配置图的顺序解析出爬虫种子信息、爬虫配置信息、网址过滤算法、页面抓取方式、数据抽取方式及数据存储方式组成所述数据抓取逻辑；
88.s31、执行所述数据抓取逻辑，对所述爬虫种子信息中的种子url进行数据爬取，并按照所述数据抓取逻辑中的数据存储方式对爬取到的数据进行存储。
89.本发明实施例中，通过数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑进行数据抓取及数据存储，烦杂的抓取任务变得使用门槛较低，甚至不会编程的人员也能通过流程图配置抓取任务，同时还可以继续封装和开发一些常用的逻辑到组件中，比如支持更多的文本提取算法，提供更多的开箱急用的抓取剧本模板等，降低了数据抓取的门槛，提高了数据抓取的效率。
90.本发明根据数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到抓取组件集合中不同组件对应的配置图，并且利用配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图，可以直观展示数据抓取的整体流程，方便调整且降低了数据抓取的门槛。同时，基于数据抓取配置流程图构建数据抓取逻辑，通过执行数据抓取逻辑可以直接进行数据抓取及数据存储，大大提高了数据爬取的效率。因此本发明提出的数据爬取方法，可以提高数据爬取的效率。
91.如图5所示，是本发明一实施例提供的数据爬取装置的功能模块图。
92.本发明所述数据爬取装置100可以安装于电子设备中。根据实现的功能，所述数据爬取装置100可以包括数据抓取配置模块101、数据抓取调整模块102及数据抓取模块103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
93.在本实施例中，关于各模块/单元的功能如下：
94.所述数据抓取配置模块101，用于接收爬取任务对应的数据抓取配置指令，基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图；
95.所述数据抓取调整模块102，用于接收配置调整指令，利用所述配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图；
96.所述数据抓取模块103，用于基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储。
97.详细地，所述数据爬取装置100各模块的具体实施方式如下：
98.步骤一、接收爬取任务对应的数据抓取配置指令，基于所述数据抓取配置指令对
预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图。
99.本发明实施例中，所述爬取任务是指对不同领域数据进行爬取的任务，例如某一爬取任务的目标对象为爬取金融领域的数据。所述预构建的抓取组件集合是指基于爬取任务对整个数据抓取任务流程构建的抓取组件集合，包括：爬虫配置组件(initprocessor)、网址过滤组件(schedulerprocessor)、页面抓取组件(downloaderprocessor)、数据抽取组件(pageextractorprocessor)及数据落地组件(saveprocessor)等。所述数据抓取配置指令是对爬取任务中的每一步组件的使用逻辑进行配置的指令集合，包括：爬虫配置指令、网址处理配置指令、页面抓取配置指令、数据抽取配置指令及数据落地配置指令等。
100.其中，爬虫配置组件(initprocessor)用于定义爬虫的种子信息以及一些全局的配置信息，例如，爬虫开启的线程数，爬虫使用的代理信息等一些常用的全局信息，种子信息主要是爬虫抓取的起点的种子url、抓取的深度、抓取的数量等；网址处理组件(schedulerprocessor)通过配置url正则、布隆过滤器及过滤算法等来实现对url的过滤，例如对爬虫抓取过程中的url去重，特定抓取深度的url的过滤等；页面抓取组件(downloaderprocessor)用于对url的具体抓取，主要包括：1、利用apache httpclient下载简单的静态网页，2、利用phantomjs对一些有js需要渲染才能获取数据的界面进行无界面抓取，3、利用chrome对有界面渲染，甚至需要模拟点击的页面进行抓取，例如通过点击和瀑布流下拉等模拟动作进行拉取，4、通过代理配置进行拉取，例如使用程序中user-agent的替换策略等，实现一定程度屏蔽目标网站的反扒策略，提高页面抓取的效率；数据抽取组件(pageextractorprocessor)用于爬虫抓取过程中对页面数据的抽取，可以是url或者最终需要的目标文本等数据，例如基于正则，xpath等比较机械的针对性的页面的信息抽取的配置，或者基于dom-tree(document object model-tree，文档对象化模型树)的正文提取算法，基于网页文本密度的正文提取算法以及基于深度学习的正文提取算法等；所述数据落地组件(saveprocessor)用于对抓取得到的数据进行存储，例如，通过pg、mysql、hdfs、hbase等进行存储。
101.详细地，所述基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图，包括：
102.利用所述数据抓取配置指令中的爬虫配置指令对所述抓取组件集合中的爬虫配置组件进行爬虫全局配置，得到爬虫配置图；
103.利用所述数据抓取配置指令中的网址处理配置指令对所述抓取组件集合中的网址处理组件进行网址处理配置，得到网址配置图；
104.利用所述数据抓取配置指令中的页面抓取配置指令对所述抓取组件集合中的页面抓取组件进行页面抓取配置，得到页面配置图；
105.利用所述数据抓取配置指令中的数据抽取配置指令对所述抓取组件集合中的数据抽取组件进行数据抽取配置，得到数据配置图；
106.利用所述数据抓取配置指令中的数据落地配置指令对所述抓取组件集合中的数据落地组件进行数据落地配置，得到落地配置图。
107.本发明一可选实施例中，所述抓取组件集合中不同组件会提供配置页面进行组件配置，并且配置完成的页面可作为配置图进行拖拽等调整。
108.详细地，所述利用所述数据抓取配置指令中的爬虫配置指令对所述抓取组件集合中的爬虫配置组件进行爬虫全局配置，得到爬虫配置图，包括：
109.解析所述爬虫配置指令，得到爬虫种子信息及爬虫配置信息；
110.将所述爬虫种子信息及所述爬虫配置信息填充至所述爬虫配置组件对应的配置页面，得到所述爬虫配置图。
111.本发明一可选实施例中，例如，通过解析爬虫配置指令，得到抓取起点的url、抓取的深度及抓取停止的数量等爬虫种子信息，得到爬虫开启的线程数、爬虫使用的代理信息等爬虫配置信息。
112.详细地，所述利用所述数据抓取配置指令中的网址处理配置指令对所述抓取组件集合中的网址处理组件进行网址处理配置，得到网址配置图，包括：
113.解析所述网址处理配置指令，得到网址过滤算法；
114.将所述网址过滤算法填充至所述网址处理组件对应的配置页面，得到所述网址配置图。
115.本发明一可选实施例中，例如，通过解析所述网址处理配置指令，得到用户选择的特定抓取深度的url的正则指令进行网址过滤。
116.详细地，所述利用所述数据抓取配置指令中的页面抓取配置指令对所述抓取组件集合中的页面抓取组件进行页面抓取配置，得到页面配置图，包括：
117.解析所述页面抓取配置指令，得到页面抓取方式；
118.将所述页面抓取方式填充至所述页面抓取组件对应的配置页面，得到所述页面配置图。
119.本发明一可选实施例中，例如，通过解析页面抓取配置指令，确定用户选择通过apache httpclient方式进行页面下载，apache httpclient通过解析url网址中的http协议，可以快速获取大量的静态页面。
120.详细地，所述利用所述数据抓取配置指令中的数据抽取配置指令对所述抓取组件集合中的数据抽取组件进行数据抽取配置，得到数据配置图，包括：
121.解析所述数据抽取配置指令，得到数据抽取方式；
122.将所述数据抽取方式填充至所述数据抽取组件对应的配置页面，得到所述数据配置图。
123.本发明一可选实施例中，例如，解析所述数据抽取配置指令，确定用户选择网页正文信息提取算法(包括基于dom-tree的正文提取算法，基于网页文本密度的正文提取算法以及基于深度学习的正文提取算法)进行数据提取。
124.详细地，所述利用所述数据抓取配置指令中的数据落地配置指令对所述抓取组件集合中的数据落地组件进行数据落地配置，得到落地配置图，包括：
125.解析所述数据落地配置指令，得到数据存储方式；
126.将所述数据存储方式填充至所述数据落地组件对应的配置页面，得到所述落地配置图。
127.本发明一可选实施例中，例如，通过解析所述数据落地配置指令，确定用户选择mysql进行数据存储。
128.本发明通过将数据爬取过程抽象为不同的功能组件，只需对每个组件进行简单配
置，便可以通过流程配置图的方式对每一步进行数据抓取配置，大大提高了数据抓取效率，降低了数据抓取的门槛。
129.步骤二、接收配置调整指令，利用所述配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图。
130.本发明实施例中，通过所述配置调整指令，用户可以对不同组件对应的配置图进行拖拽，从而调整配置图的顺序，并按照调整后的顺序组合各组件对应的配置图，得到整个数据爬取任务的数据抓取配置流程图。
131.其中，所述数据抓取配置流程图是通过各组件对应的配置图组装而成的抓取流程图，该图中包括对于某一抓取任务的整体抓取逻辑，即某一抓取任务的抓取剧本。
132.步骤三、基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储。
133.本发明实施例中，所述目标对象是指爬取任务所爬取领域的数据，例如，某一爬取任务a需要爬取的目标对象为金融领域的数据，并且爬取任务a的数据抓取配置指令中包含基于该目标对象的配置指令，通过流程图配置来构建数据抓取逻辑，并通过执行数据抓取逻辑对目标对象进行数据抓取及存储。
134.详细地，所述基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储，包括：
135.按照所述数据抓取配置流程图中各配置图的顺序解析出爬虫种子信息、爬虫配置信息、网址过滤算法、页面抓取方式、数据抽取方式及数据存储方式组成所述数据抓取逻辑；
136.执行所述数据抓取逻辑，对所述爬虫种子信息中的种子url进行数据爬取，并按照所述数据抓取逻辑中的数据存储方式对爬取到的数据进行存储。
137.本发明实施例中，通过数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑进行数据抓取及数据存储，烦杂的抓取任务变得使用门槛较低，甚至不会编程的人员也能通过流程图配置抓取任务，同时还可以继续封装和开发一些常用的逻辑到组件中，比如支持更多的文本提取算法，提供更多的开箱急用的抓取剧本模板等，降低了数据抓取的门槛，提高了数据抓取的效率。
138.本发明根据数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到抓取组件集合中不同组件对应的配置图，并且利用配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图，可以直观展示数据抓取的整体流程，方便调整且降低了数据抓取的门槛。同时，基于数据抓取配置流程图构建数据抓取逻辑，通过执行数据抓取逻辑可以直接进行数据抓取及数据存储，大大提高了数据爬取的效率。因此本发明提出的数据爬取方法，可以提高数据爬取的效率。
139.如图6所示，是本发明一实施例提供的实现所述数据爬取方法的电子设备的结构示意图。
140.所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如数据爬取程序。
141.其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘
等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如数据爬取程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
142.所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如数据爬取程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
143.所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
144.所述总线13可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
145.图6仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图6示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
146.例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
147.进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。
148.可选地，该电子设备还可以包括用户接口，用户接口可以是显示器(display)、输
入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
149.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
150.所述电子设备中的所述存储器11存储的数据爬取程序是多个指令的组合，在所述处理器10中运行时，可以实现：
151.接收爬取任务对应的数据抓取配置指令，基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图；
152.接收配置调整指令，利用所述配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图；
153.基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储。
154.具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
155.进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
156.本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
157.接收爬取任务对应的数据抓取配置指令，基于所述数据抓取配置指令对预构建的抓取组件集合进行流程图配置，得到所述抓取组件集合中不同组件对应的配置图；
158.接收配置调整指令，利用所述配置调整指令对不同组件对应的配置图进行顺序调整，得到数据抓取配置流程图；
159.基于所述数据抓取配置流程图构建数据抓取逻辑，执行所述数据抓取逻辑对所述爬取任务中的目标对象进行数据抓取及数据存储。
160.在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
161.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
162.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
163.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
164.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
165.本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
166.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
167.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
168.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
169.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。