一种数据提取方法、装置、设备和存储介质与流程

1.本发明实施例涉及数据处理领域，尤其涉及一种数据提取方法、装置、设备和存储介质。


背景技术：

2.随着社会信息化的高速发展，传统行业信息化建设迫在眉睫，以及各个行业电商的建设。而在这些系统建设中有一个至关重要的模块那就是搜索模块，传统的搜索是使用传统的关系型数据库提供常规的服务，然而随着数据量的增加，及用户搜索行为的多样化及系统对搜索的统计监控管理等，传统数据库对于这些功能已经应接不暇了。随之产生了elasticsearch对搜索服务的非关系型数据库，然而elasticsearch不能提供持久化数据库的所有功能，所以里面的数据也需要从持久化数据库导入，在此过程中，数据的处理，自动化，安全性以及对系统造成的压力也越来越受到重视。
3.常规的搜索引擎elasticsearch数据导入实现：一般的数据同步需要人工触发，具体为先从其它系统请求数据，在得到要更新的数据之后导入得到的数据，具体为删除之前搜索引擎库里面的所有数据，再一次性导入其它系统里面传入搜索引擎的全部数据，在处理过程中没有杜绝数据丢失，也没有按需要处理需要改动的数据，而是全部处理，导致数据处理重复，同一时间数据量巨大可能导致服务器宕机，系统没有做相应的日志记录，不能实现自动化的数据提取。


技术实现要素：

4.有鉴于此，本发明提供一种数据提取方法、装置、设备和存储介质，实现了分批提取数据的效果，避免一次性提取数据过多，导致服务器压力过大。
5.第一方面，本发明实施例提供了一种数据提取方法，包括：
6.定时获取预先创建的数据汇总表中目标数据状态的目标数据；
7.根据所述目标数据的操作类型进行分组组装，得到对应的待提取数据；
8.将所述待提取数据提取至对应的目标搜索引擎中。
9.第二方面，本发明实施例还提供了一种数据提取装置，包括：
10.获取模块，用于定时获取预先创建的数据汇总表中目标数据状态的目标数据；
11.组装模块，用于根据所述目标数据的操作类型进行分组组装，得到对应的待提取数据；
12.提取模块，用于将所述待提取数据提取至对应的目标搜索引擎中。
13.第三方面，本发明实施例还提供了一种电子设备，该设备包括：存储器，以及一个或多个处理器；
14.存储器，用于存储一个或多个程序；
15.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的数据提取方法。
16.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例所述的数据提取方法。
17.本发明实施例，通过定时获取预先创建的数据汇总表中目标数据状态的目标数据；根据目标数据的操作类型进行分组组装，得到对应的待提取数据；将待提取数据存储至对应的目标搜索引擎中。本实施例通过定时获取数据汇总表中目标数据状态的目标数据，并按照目标数据的操作类型进行分组组装，即分批地将目标数据提取出来，并导入至对应的目标搜索引擎中，避免一次性提取的数据过多，导致服务器压力过大的现象，从而保证了服务器提取数据的稳定性。
附图说明
18.图1是本发明实施例提供的一种数据提取方法的流程图；
19.图2是本发明实施例提供的另一种数据提取方法的流程图；
20.图3是本发明实施例提供的又一种数据提取方法的流程图；
21.图4是本发明实施例提供的一种业务系统的架构示意图；
22.图5是本发明实施例提供的一种数据提取的分布结构图；
23.图6是本发明实施例提供的一种数据提取装置的结构框图；
24.图7是本发明实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
25.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
26.本发明的技术方案，为解决数据在多个系统之间传输的时候，某一业务系统在需要一个分布式、高扩展、高实时的搜索与数据分析引擎的时候进行海量数据的自动化提取问题。目标搜索引擎(elasticsearch)在提供数据搜索服务的前提是有具体的数据源经过一系列的分词处理之后向其导入数据。但传统的项目在进行数据导入的时候，存在触发麻烦，数据传输处理过程中丢失，重复更新数据，数据采集分析不到位，数据有效率低等问题，也有因为数据量巨大导致耗费巨大系统资源甚至使系统宕机等问题。本发明主要通过web service传输，rabbitmq中间件进行数据限流，并配合事务管理操作，数据库的数据处理触发器处理数据，数据库建立总表及总的联合表关联各个部分业务表，数据库表记录各个环节的步骤日志，定时任务自动触发数据导入elasticsearch，分批次导入数据等。使系统数据更加安全，数据传输过程中不丢失数据，做到各个环节的步骤有迹可查，减少服务器同一时间的执行压力。
27.在一实施例中，图1是本发明实施例提供的一种数据提取方法的流程图，本实施例可适用于对数据进行分批次提取的情况。本实施例可以由电子设备执行。其中，电子设备可以为计算机、笔记本电脑、ipad等具备数据提取功能的终端设备。示例性地，电子设备可以为用于消费数据的客户端。如图1所示，本实施例包括如下步骤：
28.s110、定时获取预先创建的数据汇总表中目标数据状态的目标数据。
29.其中，数据汇总表指的是用于对目标数据、目标数据对应的原始数据，以及原始数
据所在的数据表中之间的关联关系进行汇总的数据表。其中，目标数据状态指的是需要进行操作的状态。示例性地，目标数据状态可以为待操作状态，比如，待操作状态包括：更新状态、增加状态和删除状态等。相应的，目标数据指的是数据汇总表中数据状态为目标数据状态的相关数据。
30.在实施例中，定时检测数据汇总表中是否存在目标数据状态的数据，若存在，获取目标数据状态的目标数据。在实际操作过程中，可以通过设置定时任务定时获取数据汇总表中处于目标数据状态的目标数据。示例性地，目标数据的获取周期可以为一小时，也可以为几个小时，对此并不进行限定，可根据实际情况进行配置。
31.s120、根据目标数据的操作类型进行分组组装，得到对应的待提取数据。
32.在一实施例中，操作类型包括下述之一：增加操作、更新操作和删除操作。在实施例中，增加操作指的是对目标数据执行增加数据的操作；更新操作指的是对目标数据执行数据修改的操作；删除操作指的是对目标数据执行删除数据的操作。在实施例中，按照目标数据的不同操作类型对目标数据进行分组，然后将分组之后的目标数据进行重新组装，作为对应的待提取数据。
33.s130、将待提取数据提取至对应的目标搜索引擎中。
34.其中，目标搜索引擎指的是预先配置的搜索引擎。示例性地，目标搜索引擎可以为elasticsearch。其中，elasticsearch是一个基于lucene的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎。
35.在实施例中，将待提取数据提取至对应的目标搜索引擎的过程，即将待提取数据同步至对应的目标搜索引擎中的过程。
36.本实施例的技术方案，通过定时获取数据汇总表中目标数据状态的目标数据，并按照目标数据的操作类型进行分组组装，即分批地将目标数据提取出来，并导入至对应的目标搜索引擎中，避免一次性提取的数据过多，导致服务器压力过大的现象，从而保证了服务器提取数据的稳定性。
37.在一实施例中，图2是本发明实施例提供的另一种数据提取方法的流程图。本实施例是在上述实施例的基础上，对数据提取的过程作进一步的说明。如图2所示，本实施例中的数据提取方法包括如下步骤：
38.s210、通过本系统接口接收mq中间件发送的原始数据。
39.其中，本系统接口指的是本系统的数据接口。需要说明的是，本系统与其它系统之间的数据传输均通过本系统接口进行通信。可以理解为，mq中间件通过本系统接口将原始数据发送至系统中。其中，mq中间件指的是rabbitmq中间件。其中，队列是rabbitmq中间件的内部对象，用于存储消息，即用于存储原始数据。
40.s220、对原始数据进行数据处理和汇总，得到对应的数据汇总表。
41.其中，s220包括s2201-s2203。
42.s2201、按照原始数据的业务类型将原始数据存储至对应的数据临时表中。
43.其中，业务类型以原始数据的业务进行划分的类型；数据临时表指的是用于临时存储数据的表。在实施例中，数据临时表可包括：用户临时表和系统临时表。其中，不同的数据临时表采用不同的名称进行命名。当然，数据临时表可以包括：全局临时表和局部临时表，其中，全局临时表可以对整个系统可见，而局部临时表只能部分可见。在实施例中，不同
业务类型的原始数据对应的数据临时表是不同的，即用于存储原始数据的数据临时表的数量与业务类型的种类有关，即两者是一一对应的。
44.在实施例中，在得到mq中间件发送的原始数据之后，确定原始数据的业务类型，并根据业务类型查找到对应的数据临时表，然后将原始数据存储至对应的数据临时表中。
45.s2202、根据每个数据临时表对应的数据处理触发器，将数据临时表中处理之后的原始数据存储至对应的数据正式表中。
46.其中，数据处理触发器用于触发对原始数据进行处理的操作。在实际操作过程中，数据处理触发器与操作类型有关。可以理解为，在原始数据的操作类型不同的，相应的数据处理触发器也是不同的。示例性地，在原始数据的操作类型为增加操作时，对应的数据处理触发器也是用于触发数据增加；又如，在原始数据的操作类型为删除操作时，对应的数据处理触发器也是用于触发数据删除。需要说明的是，每个数据临时表所添加的数据处理触发器也是不同的。
47.其中，处理之后的原始数据，指的是对原始数据进行处理，得到的数据信息。在实施例中，采用每个数据临时表对应的数据处理触发器，对原始数据进行数据处理，并将对应的处理之后的数据存储至对应的数据正式表中。
48.s2203、将数据临时表、数据临时表对应的数据正式表和原始数据的操作类型进行关联，生成对应的数据汇总表。
49.在实施例中，采用一张表统一记录数据临时表、数据正式表以及本次操作的操作类型，比如，操作类型为增加操作、更新操作或删除操作。可以理解为，数据汇总表用于对数据临时表、数据正式表和操作类型进行关联汇总的表。
50.s230、定时获取预先创建的数据汇总表中目标数据状态的目标数据。
51.s240、按照目标数据的操作类型对目标数据进行分组，得到至少两个数据组。
52.其中，按照目标数据的操作类型对目标数据进行分组，即不同的操作类型，其对应的数据组也是不同的。可以理解为，每个数据组之间的目标数据的操作类型是不同的，并且，每个数据组中的目标数据的操作类型是相同的。
53.s250、根据每个数据组中的目标数据查找对应的数据临时表和数据正式表中的原始数据。
54.s260、对目标数据和原始数据进行组装，得到对应的待提取数据。
55.在实施例中，在获取到数据汇总表中的目标数据之后，按照数据汇总表中目标数据的字段，查找目标数据所对应原始数据的数据临时表，以及数据正式表，并将数据临时表和数据正式表中的数据，与目标数据进行组装，得到对应的待提取数据。
56.s270、将待提取数据提取至对应的目标搜索引擎中。
57.本实施例的技术方案，在上述实施例的基础上，通过将数据临时表和数据正式表中原始数据，与数据汇总表中对应的目标数据之间进行关联，并通过操作类型对数据进行标记，在提取数据时，可以直接地有针对性的提取需要的待提取数据至目标搜索引擎中，从而提高了数据提取的效率和有效性。
58.在一实施例中，图3是本发明实施例提供的又一种数据提取方法的流程图。本实施例是在上述实施例的基础上，对数据提取的过程作进一步的说明。如图3所示，本实施例中的数据提取方法包括如下步骤：
59.s310、确定预先创建的数据汇总表中与原始数据同一业务编号的目标数据的消费失败重试次数。
60.在实施例中，每个原始数据所承载的业务是不同的，即相应的，业务编号也是不同的。可以理解为，每个原始数据均对应一个唯一的业务编号，相应的，每个目标数据也均对应一个唯一的业务编号。并且，原始数据和对应的目标数据的业务编号是相同的。其中，消费失败重试次数指的是在消息消费失败时，对目标数据进行重新推送的次数。在实施例中，在将原始数据汇总至数据汇总表之后，判断数据汇总表中的目标数据是否消费成功，若未消费成功，则确定目标数据当前的消费失败重试次数。
61.s320、在消费失败重试次数达到预设重试次数阈值时，将目标数据存储至预先配置的消费失败数据表中。
62.其中，预设重试次数阈值用于表征是否对目标数据进行再次推送的阈值。可以理解为，在目标数据的消费失败重试次数达到预设重试次数阈值时，则无需将目标数据作为原始数据，再次推送至mq中间件中，即直接存储至预先配置的消费失败数据表中。
63.s330、在消费失败重试次数未达到预设重试次数阈值时，将目标数据存储至预先配置的消息发送表中。
64.在实施例中，在目标数据的消费失败重试次数未达到预设重试次数阈值时，则将目标数据作为原始数据，存储至预先配置的消息发送表中。
65.s340、将原始数据的业务编号存储至预先配置的数据库中。
66.在实施例中，在将原始数据发送至mq中间件之前，将原始数据唯一的业务编号存储至预先配置的数据库中，再发送原始数据。
67.s350、将原始数据发送至mq中间件。
68.在实施例中，将消息发送表中预先存储的原始数据发送至mq中间件之前，确定该原始数据的发送次数是否达到预先配置的发送次数阈值。其中发送次数阈值与预设重试次数阈值是相同的。可以理解为，在原始数据达到发送次数阈值时，将不再发送至mq中间件，即不再通过mq中间件推送至消费端。当然，可以通过定时任务确定原始数据发送至mq中间件的发送时间，即周期性地向mq中间件发送原始数据，以保证mq中间件与消费端之间的有序通信。需要说明的是，向mq中间件发送原始数据的周期，可以与消费端的数据处理时长有关，即消费端的数据处理时长越大，相对应的向mq中间件发送原始数据的周期就越长。
69.s360、定时获取预先创建的数据汇总表中目标数据状态的目标数据。
70.s370、根据目标数据的操作类型进行分组组装，得到对应的待提取数据。
71.s380、将待提取数据提取至对应的目标搜索引擎中。
72.本实施例的技术方案，在上述实施例的基础上，在将原始数据发送至mq中间件之前，将原始数据唯一的业务编号存储至数据库中，再进行原始数据的发送，并查看消息回执，在得到成功回执之后删除该数据的消息记录，在此期间对数据进行管理，保证数据不丢失，以及达到了削峰的目的。
73.在一实施例中，图4是本发明实施例提供的一种业务系统的架构示意图。本实施例中的业务系统的架构如图4所示。
74.在实施例中，业务系统分为三大类：产品信息、基础信息和业务支撑信息。基础信息向产品信息提供信息内容；业务支撑信息中部分与基础信息关联，将两者综合分析可为
产品营销提供依据，在各个系统中有很多的信息数据，业务人员会对里面的数据进行有效的整理，在各个系统运行过程中客户及系统也会产生很多有价值的数据，为以后的数据分析及使用做准备，由此需要有一个系统将这些系统产生的可供查询的业务数据有效的整合起来以供使用，在各个系统中产生的数据各不相同，但各部分之间有一定的联系，在一定的条件下，这些系统的数据变动的时候，请求数据整理系统的接口，将数据同步进去，保持各个系统之间的数据一致性。
75.由此提出了搜索引擎elasticsearch自动化数据提取结构，将数据整合到elasticsearch中，便于后续的搜索业务，该搜索引擎本身的结构使其对数据分析极其方便，对此使用elasticsearch的相关组件进行数据分析，数据处理等更加得心应手。
76.在一实施例中，图5是本发明实施例提供的一种数据提取的分布结构图。本实施例作为优选实施例，对数据提取的过程进行说明。如图5所示，本实施例中的数据提取过程具体如下：
77.在实施例中，通过第三方数据接口与消费端的本系统接口层连接，即通过web service接收其它系统的数据，提高了数据的规范性与不同操作系统之间解耦。
78.在实施例中，将提取的原始数据通过中间件rabbitmq进行限流，削峰等操作，防止对系统压力过大。在此期间通过事务管理，并新建记录rabbitmq消息发送表和消费失败数据表，记录同一业务编号的数据消费失败的重试次数，重试次数大于三次的将其加入消费失败数据表中，在发送原始数据至rabbitmq中间件之前，将原始数据的唯一业务编号存入数据库，再开始发送原始消息，查看消息回执，得到成功回执之后再删除对于的消息记录，在次期间，采用事务做管理，保证数据不丢失，也达到了削峰的数据。
79.消费端在得到rabbitmq中间件里面的消息之后，将原始数据存入不同的数据临时表之后，在数据库端的每个数据临时表上添加对应的数据处理触发器，将对应的处理后的数据存入数据正式表中，最后再用一张数据汇总表统一记录这些表的关联及本次操作的类型，比如，操作类型为增加操作，更新操作还是删除操作。将这些需要操作的数据状态改为待操作状态(即目标数据状态)，以备后面查询数据汇总表的目标数据状态做有针对的更新，上面存入数据库等一系列步骤通过日志表依次记录，可后期直接通过查询数据库日志表查询各个步骤的日志记录及操作情况。在数据同步的时候通过定时任务每小时去检测数据库的主表(即数据汇总表)，搜索字段为待更新的数据(即目标数据状态的目标数据)，将这些分批次提取出来一定的数据，避免一次性提取的数据过多，导致服务器压力过大，通过其操作类型为删除，更新，新增，依次做分组处理，取出数据汇总表的数据之后，按照数据汇表里面字段的数据，将分表(即数据临时表或数据正式表)里面的数据有序有针对性地组装在一起，将其导入目标搜索引擎中。在将目标数据导入目标搜索引擎之后，改变数据汇总表中目标数据的更新状态为已更新，在此过程中每步加入日志记录处理，并记录处理数据的数量，错误数据数量等。
80.在实施例中，数据提取的具体分布结构如下：
81.采用rabbitmq中间件结合事务处理的步骤包括：将从第三方系统通过web service接受到的一批原始数据不处理直接存入数据库，将这些原始数据发送到rabbitmq中间件里面，改变原始数据的发送状态。将这些操作结合事务，使数据统一，使用rabbitmq对数据进行削峰，也减少了服务器的压力。
82.采用日志表记录的步骤包括：在读取数据汇总表中目标数据进行搜索引擎数据提取的过程中，将每一步的操作类型和数据数量，操作结果存入数据库日志表中。
83.采用数据库分表处理数据的步骤包括：将得到的第三方接口的原始数据，存入对应的数据临时表中，每个数据临时表都有对应的数据处理触发器触发对应的原始数据到各自的数据正式表中，在这些表的操作处理完之后，将这些数据存入数据汇总表中，数据汇总表也有一个触发器，功能为将这些表的数据关联起来，存入一个单独的总表关联表。
84.对数据进行关联整合的步骤包括：每次在数据汇总表中的数据触发更改了之后都将其总的关联表数据状态更改为待更新，并标识具体操作为新增、修改还是删除，标记之后方面后面搜索引擎提取的时候，直接有针对性的提取需要的数据。
85.采用定时任务分批次同步数据的步骤包括：通过定时任务每个小时触发，定时筛选总的关联表，查询标识为待更新的数据，将其分批次的提取出来，判断其操作类型，再通过总表联合其它分表的数据，将搜索引擎需要的数据组装出来，提取到搜索引擎elasticsearch中。
86.本实施例的技术方案，采用定时任务自动触发数据导入目标搜索引擎中，并分批次将目标数据导入至目标搜索引擎中，从而使得系统数据更加安全，并且在数据传输过程中不丢失数据，并实现了在各个步骤可以记录，从而便于后续查看，以及减少了服务器同一时间的执行压力。
87.在一实施例中，图6是本发明实施例提供的一种数据提取装置的结构框图，该装置适用于对数据进行分批次提取的情况，该装置可以由硬件/软件实现，可配置于服务器中来实现本发明实施例中的一种数据提取方法。如图6所示，该装置包括：获取模块610、组装模块620和提取模块630。
88.其中，获取模块610，用于定时获取预先创建的数据汇总表中目标数据状态的目标数据；
89.组装模块620，用于根据目标数据的操作类型进行分组组装，得到对应的待提取数据；
90.提取模块630，用于将待提取数据提取至对应的目标搜索引擎中。
91.本实施例的技术方案，通过定时获取数据汇总表中目标数据状态的目标数据，并按照目标数据的操作类型进行分组组装，即分批地将目标数据提取出来，并导入至对应的目标搜索引擎中，避免一次性提取的数据过多，导致服务器压力过大的现象，从而保证了服务器提取数据的稳定性。
92.在一实施例中，数据提取装置，还包括：
93.接收模块，用于在定时获取预先创建的数据汇总表中目标数据状态的目标数据之前，通过本系统接口接收mq中间件发送的原始数据；
94.处理模块，用于对原始数据进行数据处理和汇总，得到对应的数据汇总表。
95.在一实施例中，处理模块，包括：
96.第一存储单元，用于按照原始数据的业务类型将原始数据存储至对应的数据临时表中；
97.第二存储单元，用于根据每个数据临时表对应的数据处理触发器，将数据临时表中的原始数据存储至对应的数据正式表中；
98.处理单元，用于将数据临时表、数据临时表对应的数据正式表和原始数据的操作类型进行关联，生成对应的数据汇总表。
99.在一实施例中，数据提取装置，还包括：
100.确定模块，用于确定预先创建的数据汇总表中与原始数据同一业务编号的目标数据的消费失败重试次数；
101.第一存储模块，用于在消费失败重试次数达到预设重试次数阈值时，将目标数据存储至预先配置的消费失败数据表中；
102.第二存储模块，用于在消费失败重试次数未达到预设重试次数阈值时，将目标数据存储至预先配置的消息发送表中，作为原始数据再次发送至mq中间件以进行消费。
103.在一实施例中，数据提取装置，还包括：
104.第三存储模块，用于在将消息发送表中的原始数据发送至mq中间件之前，将原始数据的业务编号存储至预先配置的数据库中。
105.在一实施例中，组装模块620，包括：
106.分组单元，用于按照目标数据的操作类型对目标数据进行分组，得到至少两个数据组；
107.查找单元，用于根据每个数据组中的目标数据查找对应的数据临时表和数据正式表中的原始数据；
108.组装单元，用于对目标数据和原始数据进行组装，得到对应的待提取数据。
109.在一实施例中，操作类型包括下述之一：增加操作、更新操作和删除操作。
110.上述数据提取装置可执行本发明任意实施例所提供的数据提取方法，具备执行数据提取方法相应的功能模块和有益效果。
111.在一实施例中，图7是本发明实施例提供的一种电子设备的硬件结构示意图。本发明实施例中的设备以计算机为例进行说明。如图7所示，本发明实施例提供的计算机，包括：处理器710、存储器720、输入装置730和输出装置740。该计算机中的处理器710可以是一个或多个，图7中以一个处理器710为例，计算机中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线连接为例。
112.该计算机中的存储器720作为一种计算机可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例或所提供的数据提取方法对应的程序指令/模块(例如，数据提取装置中的模块，包括：获取模块610、组装模块620和提取模块630)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块，从而执行计算机的各种功能应用以及数据处理，即实现上述方法实施例中数据提取方法。
113.存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
114.输入装置730可用于接收用户输入的数字或字符信息，以产生与终端设备的用户
设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
115.并且，当上述云端服务器所包括一个或者多个程序被一个或者多个处理器710执行时，程序进行如下操作：定时获取预先创建的数据汇总表中目标数据状态的目标数据；根据目标数据的操作类型进行分组组装，得到对应的待提取数据；将待提取数据提取至对应的目标搜索引擎中。
116.在一实施例中，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的数据提取方法，该方法包括：定时获取预先创建的数据汇总表中目标数据状态的目标数据；根据目标数据的操作类型进行分组组装，得到对应的待提取数据；将待提取数据提取至对应的目标搜索引擎中。
117.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、可擦式可编程只读存储器(erasable programmable rom，eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
118.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
119.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
120.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
121.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。