1.本发明涉及计算机
技术领域：
：，尤其涉及一种数据处理的方法和装置。
背景技术：
：：2.随着大数据产业的快速发展，对于数据流上有状态的数据计算，被广泛用于大数据实时计算场景中。以flink框架为例，flink框架作为一种面向分布式数据流处理和批量数据处理的开源计算框架，可部署在各种集群环境中，实现对各种数据规模的快速计算，flink通过启动快照(checkpoint)机制，实现状态数据的持久化，以防止数据丢失。3.在实现本发明过程中，发明人发现现有技术中存在如下问题：4.实时计算时，以现有的技术进行状态数据存储，在海量数据实时计算中，由于处理的数据量大，状态多，导致状态数据存储量骤增，数据流处理平台的快照时间变长，甚至出现任务卡顿，影响了实时计算程序的性能。技术实现要素：5.有鉴于此，本发明实施例提供一种数据处理的方法，通过将状态数据从数据流中剥离以及状态数据持久化的外部存储管理，实现了数据流处理平台仅需对状态数据的元数据进行快照处理，减少了数据流处理平台快照的数据量，缩短了快照的时间，解决了海量数据实时计算时由于进行快照处理导致的卡顿问题，从而有效增强了数据实时计算的鲁棒性、稳定性和容错性。6.为实现所述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：7.获取待存储的数据流，所述数据流包括状态数据和所述状态数据的元数据；8.将所述状态数据保存到预先建立的存储表中，所述存储表位于数据流处理平台外部；9.响应于对数据流处理平台进行数据快照的指令，基于快照机制对所述状态数据的元数据进行快照处理。10.可选地，将所述状态数据保存到预先建立的存储表中之前，还包括：创建存储表，并对所述存储表进行配置，所述配置包括配置存储表与状态数据的对应关系，配置所述状态数据的结构化处理规则；并且，将所述状态数据保存到预先建立的存储表中包括：根据所述存储表与状态数据的对应关系，确定所述状态数据对应的存储表；根据所述结构化处理规则对所述状态数据进行结构化处理，并将结构化处理后的状态数据保存到所述对应的存储表中。11.可选地，所述配置还包括配置存储表的数据结构；将结构化处理后的状态数据保存到所述对应的存储表中包括：将结构化处理后的状态数据保存到缓存中；将缓存中的状态数据按照所述存储表的数据结构保存到所述对应的存储表中。12.可选地，所述配置还包括配置所述状态数据的逆结构化处理规则；并且，所述方法还包括：在需要读取状态数据的情况下，从所述存储表中读取结构化的状态数据；根据所述逆结构化处理规则对所述结构化的状态数据进行逆结构化处理，得到状态数据。13.可选地，所述结构化处理规则和所述逆结构化处理规则是基于存储表的数据结构实现的。14.可选地，所述配置还包括：配置状态数据存储的副本个数。15.根据本发明实施例的第二方面，提供一种数据处理的装置，包括：16.数据流获取模块，用于获取待存储的数据流，所述数据流包括状态数据和所述状态数据的元数据；17.数据存储模块，用于将所述状态数据保存到预先建立的存储表中，所述存储表位于数据流处理平台外部；18.快照模块，用于响应于对数据流处理平台进行数据快照的指令，基于快照机制对所述状态数据的元数据进行快照处理。19.可选地，还包括存储表配置模块，用于：在将所述状态数据保存到预先建立的存储表中之前，创建存储表，并对所述存储表进行配置，所述配置包括配置存储表与状态数据的对应关系，配置所述状态数据的结构化处理规则；并且，所述数据存储模块还用于：根据所述存储表与状态数据的对应关系，确定所述状态数据对应的存储表；根据所述结构化处理规则对所述状态数据进行结构化处理，并将结构化处理后的状态数据保存到所述对应的存储表中。20.根据本发明实施例的第三方面，提供一种数据处理的电子设备，其特征在于，包括：21.一个或多个处理器；22.存储装置，用于存储一个或多个程序，23.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。24.根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。25.所述发明中的一个实施例具有如下优点或有益效果：通过获取待存储的数据流，数据流包括状态数据和状态数据的元数据；将状态数据保存到预先建立的存储表中，存储表位于数据流处理平台外部；响应于对数据流处理平台进行数据快照的指令，基于快照机制对状态数据的元数据进行快照处理的技术方案，实现了将状态数据从数据流中剥离以及状态数据持久化的外部存储管理，仅需对状态数据的元数据进行快照处理，从而减少了数据流处理平台快照的数据量，缩短了快照的时间，解决了海量数据实时计算时由于进行快照处理导致的卡顿问题，从而有效增强了数据实时计算的鲁棒性、稳定性和容错性。附图说明26.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：27.图1是根据本发明实施例的数据处理方法的主要流程的示意图；28.图2是本发明实施例的状态数据写入存储表的主要流程示意图；29.图3是本发明实施例读取存储表的状态数据的主要流程示意图；30.图4是本发明实施例的主要配置模块示意图；31.图5是本发明实施例基于flink的状态数据存取原理示意图；32.图6是根据本发明实施例的数据处理装置的主要模块示意图；33.图7是本发明实施例可以应用于其中的示例性系统架构图；34.图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式35.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。36.目前对于海量数据实时计算的场景，以现有的技术进行状态数据存储，由于处理的数据量大，状态多，导致状态数据存储量骤增，数据流处理平台的快照时间变长，甚至出现任务卡顿，影响了实时计算程序的性能，不能很好的满足实际应用。37.为了解决现有技术中存在的上述问题，本发明提出一种数据处理方法，通过将状态数据从数据流中剥离以及状态数据持久化的外部存储管理，实现了数据流处理平台仅需对状态数据的元数据进行快照处理，减少了数据流处理平台快照的数据量，缩短了快照的时间，解决了海量数据实时计算时进行快照处理导致的卡顿问题，从而有效增强了数据实时计算的鲁棒性、稳定性和容错性。38.在本发明的实施例介绍中，所涉及的名词及其含义如下：39.flink：一种开源流处理框架，其核心是用java和scala编写的分布式流处理引擎。flink以数据并行和流水线方式执行任意数据流处理程序，flink的流水线运行时系统可以执行批处理和流处理程序。此外，flink运行时本身也支持迭代算法的执行；40.hbase：一个分布式的、面向列的开源数据库；41.jobmanage：作业管理器，负责整个flink集群任务的调度以及资源的管理；42.taskmanage：任务管理器，负责具体的任务执行和对应任务在每个节点上的资源申请和管理；43.checkpoint机制：快照机制，一种轻量级的容错机制。44.图1是根据本发明实施例的数据处理方法的主要流程的示意图，如图1所示，本发明实施例的数据处理方法包括如下的步骤s101至步骤s103。45.步骤s101、获取待存储的数据流，所述数据流包括状态数据和所述状态数据的元数据。46.具体地，在flink实时计算场景中，jobmanage根据前端的任务协调资源分配，并将任务提交给taskmanage，taskmanage接收到任务后，数据流进入taskmanage的线程进行数据处理，数据元数据作为描述数据的数据与数据共存，对于数据流处理平台进行的有状态计算，数据流包括状态数据和所述状态数据对应的元数据信息。47.步骤s102、将所述状态数据保存到预先建立的存储表中，所述存储表位于数据流处理平台外部。48.根据本发明的一个实施例，将所述状态数据保存到预先建立的存储表中之前，还包括：创建存储表，并对所述存储表进行配置，所述配置包括配置存储表与状态数据的对应关系，配置所述状态数据的结构化处理规则；并且，将所述状态数据保存到预先建立的存储表中包括：根据所述存储表与状态数据的对应关系，确定所述状态数据对应的存储表；根据所述结构化处理规则对所述状态数据进行结构化处理，并将结构化处理后的状态数据保存到所述对应的存储表中。49.具体地，将所述状态数据保存到预先建立的存储表中之前，还包括：创建存储表，并对所述存储表进行配置。根据业务需要，在数据流处理平台外部创建用于持久化存储状态数据的数据库存储表，此存储表可以是一个表也可以是多个表，并定义所建存储表的名字。示例性地，在数据流处理平台外部创建hbase，用于持久化存储所述状态数据，定义表名为table_name_1。50.基于创建的存储表配置存储表与状态数据的对应关系，根据上述创建的存储表，设置所述状态数据与其所在存储表的对应关系，若创建多个存储表，则需要设置每个存储表的状态数据与所在的存储表的对应关系。示例性地，若将所有状态数据存入一个hbase中，则配置文件可以设置存储表与状态数据的对应关系为alltable_name_1；若将状态数据存入多个hbase中，如：订单数据order存入到表名为table_order的hbase1，金额数据amount存入到表名为table_amount的hbase2，明细数据detail存入到表名为table_detail的hbase3，则配置文件可以设置存储表与状态数据的对应关系为：ordertable_order，amounttable_amount和detailtable_detail。51.根据本发明的另一个实施例，所述配置还包括配置存储表的数据结构；将结构化处理后的状态数据保存到所述对应的存储表中包括：将结构化处理后的状态数据保存到缓存中；将缓存中的状态数据按照所述存储表的数据结构保存到所述对应的存储表中。52.根据本发明的再一个实施例，所述结构化处理规则基于存储表的数据结构实现的。53.具体地，基于创建的存储表配置所述状态数据的数据结构，如字符串类型的key-value键值对存储的数据结构。根据配置的存储表中的数据结构，配置所述状态数据的结构化处理规则，以使所述状态数据以满足存储表的数据结构进行存储。示例性地，以存储订单状态数据为例，一条订单记录包括：订单号、商品id、订单金额、下单用户id、下单时间，根据存储表与状态数据的对应关系，确定存入的存储表，定义存储表的数据结构为订单号的值是key，商品id值、订单金额值、下单用户id值、下单时间值是上述key对应的value，同时对字段进行序列化处理，将这些字段值用逗号拼接为一个字符串并转换成字节数组类型，即完成了根据结构化处理规则对所述状态数据进行结构化处理。54.根据上述对状态数据进行的结构化处理，将结构化处理后的状态数据保存到缓存中，再将缓存中的状态数据按照所述存储表的数据结构保存到所述对应的存储表中实现了状态数据在存储表的保存。通过将结构化处理后的状态数据保存到数据流处理平台的缓存中，待满足一定的数据量之后再将缓存中的状态数据保存到存储表中，可以减少数据流处理平台与存储表的数据导出次数，从而避免了由于数据频繁导出而导致的卡顿问题。55.图2是本发明实施例的状态数据写入存储表的主要流程示意图，在接收到状态数据的写请求后，根据存储表与状态数据的对应关系，确定状态数据所要存放的存储表，然后进行状态数据的结构化处理，再把结构化处理后的符合存储表数据结构的数据写入所述存储表，以实现状态数据的写入。56.根据本发明的另一个实施例，所述配置还包括配置所述状态数据的逆结构化处理规则；并且，所述方法还包括：在需要读取状态数据的情况下，从所述存储表中读取结构化的状态数据；根据所述逆结构化处理规则对所述结构化的状态数据进行逆结构化处理，得到状态数据。57.根据本发明的再一个实施例，所述逆结构化处理规则基于存储表的数据结构实现的。58.具体地，基于创建的存储表配置所述状态数据的数据结构，如字符串类型的key-value键值对数据结构。根据配置的存储表中的数据结构，配置所述状态数据的逆结构化处理规则，以使保存在存储表中符合存储表数据结构的数据还原为所述数据流的状态数据，为数据流处理平台所用。示例性地，以存储订单状态数据为例，一条订单记录包括：订单号、商品id、订单金额、下单用户id、下单时间，根据存储表与状态数据的对应关系，确定所述状态数据对应的存储表，根据订单号值key，读取对应的字节数组，对字节数组进行反序列化处理，将字节数组类型转换为字符串类型，并用逗号进行字符串数组的拆分，恢复为状态数据，即完成了根据所述逆结构化处理规则对所述结构化的状态数据进行逆结构化处理，得到状态数据。59.图3是本发明实施例读取存储表的状态数据的主要流程示意图，在接收到状态数据的读请求后，先确定所在的存储表进行读表操作，再把符合存储表的数据结构的数据进行逆结构化处理，以实现状态数据的读取。60.根据本发明的再一个实施例，所述配置还包括：配置状态数据存储的副本个数。61.为了提供可靠的数据管理，支持对数据流处理平台外部的存储表进行多副本存储。62.图4是本发明实施例的主要配置模块示意图，基于数据和存储表对应关系的配置和副本策略的配置，结合存储表的数据结构的配置，实现了结构化处理规则和逆结构化处理规则的配置，为状态数据的外部存储管理提供基础支持。63.图5是本发明实施例基于flink的状态数据存取原理示意图。如图5所示，在本发明的实施例中，任务管理器taskmanage内部构建自运维状态机来将状态数据导出并保存到数据流处理平台外部的存储表中，以及将外部存储表中的状态数据导入数据流处理平台。任务管理器taskmanage接收到输入的数据流(包括状态数据和状态数据的元数据)后，通过计算算子对数据流进行运算处理；然后，调用自运维状态机将运算处理完成的数据流中的状态数据进行结构化处理并保存到外部的数据表中；或者调用自运维状态机将外部的数据表中的状态数据读取并进行逆结构化处理以用于进行计算算子的运算处理。最后，对于数据流中的状态数据的元数据，即可作为任务管理器的输出流进行保存，并且在需要进行数据快照时，仅需要进行输出数据流的快照，无需对外部存储表中的数据进行快照，从而大幅减少了需要进行快照的数据量。在具体实施过程中，可以根据业务处理的需要设置将部分状态数据保存到外部存储表中，将不太关注的系统状态数据等仍保存到数据流处理平台中。64.步骤s103、响应于对数据流处理平台进行数据快照的指令，基于快照机制对所述状态数据的元数据进行快照处理。65.在数据流处理平台接收到数据流快照的指令时，数据流处理平台仅需对状态数据对应的元数据进行快照处理即可，在海量数据的有状态的实时计算中，减少了数据流处理平台快照的数据量，缩短了快照的时间。66.图6是根据本发明实施例的数据处理装置的主要模块示意图。如图6所示，数据处理装置600主要包括数据流获取模块601、数据存储模块602和快照模块603。67.数据流获取模块601，用于获取待存储的数据流，所述数据流包括状态数据和所述状态数据的元数据；68.数据存储模块602，用于将所述状态数据保存到预先建立的存储表中，所述存储表位于数据流处理平台外部；69.快照模块603，用于响应于对数据流处理平台进行数据快照的指令，基于快照机制对所述状态数据的元数据进行快照处理。70.根据本发明的一个实施例，本发明实施例的数据处理装置600还可以包括存储表配置模块(图中未示出)，用于：71.在将所述状态数据保存到预先建立的存储表中之前，创建存储表，并对所述存储表进行配置，所述配置包括配置存储表与状态数据的对应关系，配置所述状态数据的结构化处理规则；72.并且，数据存储模块602还可以用于：73.根据所述存储表与状态数据的对应关系，确定所述状态数据对应的存储表；根据所述结构化处理规则对所述状态数据进行结构化处理，并将结构化处理后的状态数据保存到所述对应的存储表中。74.根据本发明的另一个实施例，所述配置还包括配置存储表的数据结构；数据存储模块602还可以用于：将结构化处理后的状态数据保存到缓存中；将缓存中的状态数据按照所述存储表的数据结构保存到所述对应的存储表中。75.根据本发明的又一个实施例，所述配置还包括配置所述状态数据的逆结构化处理规则；并且，本发明实施例的数据处理装置600还可以包括数据读取模块(图中未示出)，用于：76.在需要读取状态数据的情况下，从所述存储表中读取结构化的状态数据；根据所述逆结构化处理规则对所述结构化的状态数据进行逆结构化处理，得到状态数据。77.根据本发明的又一个实施例，所述结构化处理规则和逆结构化处理规则是基于存储表的数据结构实现的。78.根据本发明的再一个实施例，所述配置还包括：配置状态数据存储的副本个数。79.图7示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性系统架构700。80.如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。81.用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如数据处理应用、数据计算应用等(仅为示例)。82.终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。83.服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所进行的数据处理提供支持的后台管理服务器(仅为示例)。后台管理服务器可以获取待存储的数据流，所述数据流包括状态数据和所述状态数据的元数据；将状态数据保存到预先建立的存储表中，存储表位于数据流处理平台外部；响应于对数据流处理平台进行数据快照的指令，基于快照机制对状态数据的元数据进行快照处理等处理，并将处理结果(例如快照数据等‑‑仅为示例)反馈给终端设备。84.需要说明的是，本发明实施例所提供的数据处理的方法一般由服务器705执行，相应地，数据处理的装置一般设置于服务器705中。85.应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。86.下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。87.如图8所示，计算机系统800包括中央处理单元(cpu)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中，还存储有系统800操作所需的各种程序和数据。cpu801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。88.以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分808；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。89.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本发明的系统中限定的所述功能。90.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是所述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者所述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或所述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者所述的任意合适的组合。91.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。92.描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括：数据流获取模块、数据存储模块和快照模块。93.其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据流获取模块还可以被描述为“用于获取待存储的数据流的模块”。94.另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是所述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。所述计算机可读介质承载有一个或者多个程序，当所述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待存储的数据流，所述数据流包括状态数据和所述状态数据的元数据；将所述状态数据保存到预先建立的存储表中，所述存储表位于数据流处理平台外部；响应于对数据流处理平台进行数据快照的指令，基于快照机制对所述状态数据的元数据进行快照处理。95.根据本发明实施例的技术方案，具有如下优点或有益效果：通过获取待存储的数据流，数据流包括状态数据和所述状态数据的元数据；将状态数据保存到预先建立的存储表中，存储表位于数据流处理平台外部；响应于对数据流处理平台进行数据快照的指令，基于快照机制对状态数据的元数据进行快照处理的技术方案，实现了将状态数据从数据流中剥离以及状态数据持久化的外部存储管理，减少了数据流处理平台需要快照的数据量，缩短了快照的时间，解决了海量数据实时计算时进行快照处理导致的卡顿问题，从而有效增强了数据实时计算的鲁棒性、稳定性和容错性。96.所述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。当前第1页12当前第1页12