资源的抓取方法及装置的制造方法
【专利说明】
【技术领域】
[0001]本发明涉及抓取技术，尤其涉及一种资源的抓取方法及装置。
【【背景技术】】
[0002]目前，对资源进行抓取操作的主要方式是，由研发人员根据抓取资源的类型，配置不同的抓取模板，进而，根据所配置的抓取模板，编写完整的抓取脚本，然后，运行所编写的抓取脚本，将所抓取的抓取数据存储至指定的数据库中。这种方式，操作复杂，且容易出错，从而导致了资源抓取的效率和可靠性的降低。
【
【发明内容】
】
[0003]本发明的多个方面提供一种资源的抓取方法及装置，用以提高资源抓取的效率和可靠性。
[0004]本发明的一方面，提供一种资源的抓取方法，包括:
[0005]获取资源的抓取配置数据；
[0006]根据所述抓取配置数据，执行数据抓取操作。
[0007]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取资源的抓取配置数据，包括:
[0008]通过可视化操作界面，获取所述抓取配置数据。
[0009]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述通过可视化操作界面，获取所述抓取配置数据，包括:
[0010]获取用户在可视化操作界面中输入的抓取配置参数；
[0011 ] 根据所述抓取配置参数，获得所述抓取配置数据。
[0012]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述抓取配置数据包括资源标识和数据结构信息。
[0013]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述抓取配置数据，执行数据抓取操作，包括:
[0014]根据所述资源标识，获得抓取数据；
[0015]利用所述数据结构信息，对所述抓取数据进行格式化处理，以获得处理数据；
[0016]对所述处理数据进行存储处理。
[0017]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述抓取配置数据还包括存储数据；所述对所述处理数据进行存储处理，包括:
[0018]根据所述存储数据，对所述处理数据进行存储处理。
[0019]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用所述数据结构信息，对所述抓取数据进行格式化处理，以获得处理数据，包括:
[0020]若所述抓取数据满足预先设置的基本数据结构，利用所述数据结构信息，对所述抓取数据进行格式化处理，以获得处理数据。
[0021]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用所述数据结构信息，对所述抓取数据进行格式化处理，以获得处理数据，包括:
[0022]根据所述抓取数据和所述数据结构信息，获取映射配置数据；
[0023]根据映射配置数据，获得所述处理数据。
[0024]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述抓取数据和所述数据结构信息，获取映射配置数据，包括:
[0025]通过可视化操作界面，根据所述抓取数据和所述数据结构信息，获取所述映射配置数据。
[0026]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述通过可视化操作界面，根据所述抓取数据和所述数据结构信息，获取所述映射配置数据，包括:
[0027]根据抓取数据的数据结构关系，生成抓取数据的树状结构图，所述抓取数据的树状结构图包括至少一个数据节点，所述至少一个数据节点中每个数据节点的节点名为抓取数据标识，所述每个数据节点的节点值为所述抓取数据；
[0028]在可视化操作界面中，输出所述抓取数据的树状结构图；
[0029]获取用户根据所述数据结构信息，对所述至少一个数据节点中部分数据节点或全部数据节点的操作指令；
[0030]根据所述操作指令，获取所述映射配置数据。
[0031]本发明的另一方面，提供一种资源的抓取装置，包括:
[0032]获取单元，用于获取资源的抓取配置数据；
[0033]执行单元，用于根据所述抓取配置数据，执行数据抓取操作。
[0034]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取单元，具体用于
[0035]通过可视化操作界面，获取所述抓取配置数据。
[0036]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取单元，具体用于
[0037]获取用户在可视化操作界面中输入的抓取配置参数；以及
[0038]根据所述抓取配置参数，获得所述抓取配置数据。
[0039]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取单元所获取的所述抓取配置数据包括资源标识和数据结构信息。
[0040]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述执行单元，具体用于
[0041]根据所述资源标识，获得抓取数据；
[0042]利用所述数据结构信息，对所述抓取数据进行格式化处理，以获得处理数据；以及
[0043]对所述处理数据进行存储处理。
[0044]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述抓取配置数据还包括存储数据；所述执行单元，具体用于
[0045]根据所述存储数据，对所述处理数据进行存储处理。
[0046]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述执行单元，具体用于
[0047]若所述抓取数据满足预先设置的基本数据结构，利用所述数据结构信息，对所述抓取数据进行格式化处理，以获得处理数据。
[0048]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，其特征在于，所述执行单元，具体用于
[0049]根据所述抓取数据和所述数据结构信息，获取映射配置数据；以及
[0050]根据映射配置数据，获得所述处理数据。
[0051]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述执行单元，具体用于
[0052]通过可视化操作界面，根据所述抓取数据和所述数据结构信息，获取所述映射配置数据。
[0053]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述执行单元，具体用于
[0054]根据抓取数据的数据结构关系，生成抓取数据的树状结构图，所述抓取数据的树状结构图包括至少一个数据节点，所述至少一个数据节点中每个数据节点的节点名为抓取数据标识，所述每个数据节点的节点值为所述抓取数据；
[0055]在可视化操作界面中，输出抓取数据的树状结构图；
[0056]获取用户根据所述数据结构信息，对所述至少一个数据节点中部分数据节点或全部数据节点的操作指令；以及
[0057]根据所述操作指令，获取所述映射配置数据。
[0058]由上述技术方案可知，本发明实施例通过获取资源的抓取配置数据，进而则可以根据所述抓取配置数据，执行数据抓取操作，由于无需编写完整的抓取脚本，使得操作非常简单，而且正确率高，从而提高了资源抓取的效率和可靠性。
[0059]另外，采用本发明提供的技术方案，通过可视化操作界面，获取所述抓取配置数据，这样，方便用户进行配置操作，能够有效提高资源抓取的效率。
[0060]另外，采用本发明提供的技术方案，通过根据所获取的存储数据，对处理数据进行存储处理，这样，使得用户可以对存储处理进行灵活控制，能够有效提高资源抓取的灵活性。
【【附图说明】】
[0061]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0062]图1为本发明一实施例提供的资源的抓取方法的流程示意图；
[0063]图2为图1对应的实施例中可视化操作界面的一展现示意图；
[0064]图3A?图3F为图1对应的实施例中几个基本数据结构的结构示意图；
[0065]图4为图1对应的实施例中可视化操作界面的另一展现示意图；
[0066]图5为图1对应的实施例中可视化操作界面的另一展现示意图；
[0067]图6为图1对应的实施例中可视化操作界面的另一展现示意图；
[0068]图7为本发明另一实施例提供的资源的抓取装置的结构示意图。
【【具体实施方式】】
[0069]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
[0070]需要说明的是，本发明实施例中所涉及的终端可以包括但