数据实时处理方法及系统的制作方法
【专利摘要】本发明公开了一种数据实时处理方法及系统，所述方法应用于数据实时处理系统中，所述方法包括：获取源系统数据变化信息；按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后第一数据；将所述第一数据装载到内存数据库；基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据进行第二数据处理，获得数据处理结果。
【专利说明】
数据实时处理方法及系统
技术领域
[0001]本发明涉及信息处理领域的信息处理技术，尤其涉及一种数据实时处理方法及系统。【背景技术】
[0002]随着社会信息化的发展，数据(具体如对业务经营数据)价值与日倶增，对运营信息分析的及时性要求也不断提升，要求能通过实时监控业务受理的数据，达到实时分析和实时决策的目的。
[0003]现有的数据分析一般包括两种:
[0004]第一种:原有业务系统上直接进行统计分析，可能会占用业务系统大量的资源，进而导致对业务系统正常运营造成极大影响，分析及时性也难以保证。
[0005]第二种:建设数据仓库系统用于分析；往往在业务系统闲时从数据库表中按日、 按月抽取数据，存放在数据库中，能进行复杂的分析，但是这种基于独立运行的数据库进行的数据处理，实时性不足，导致问题发现有不同程度的滞后性。
[0006]目前业界已有一些适用于数据同步方法，但现有业界的数据同步方法基本只能满足将业务系统上的数据同步到另一个系统，无法支持复杂的数据运算，导致无法做到对业务受理数据实时分析，发现问题进行相应决策时同样出现时延性。
[0007]故综合上述，提供一种响应速度快且时延小的数据处理方法，是现有技术亟待解决的问题。
【发明内容】
[0008]有鉴于此，本发明实施例期望提供一种数据实时处理方法及系统，以至少部分解决现有技术中数据处理时延大的问题。
[0009]为达到上述目的，本发明的技术方案是这样实现的:
[0010]本发明实施例第一方面提供一种数据实时处理方法，所述方法应用于数据实时处理系统中，所述方法包括:
[0011]获取源系统数据变化信息；
[0012]按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后第一数据；
[0013]将所述第一数据装载到内存数据库；
[0014]基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据进行第二数据处理，获得数据处理结果。[〇〇15]优选地，
[0016]所述获取源系统数据变化信息，包括:
[0017]在所述源系统的数据库日志发生变化时，获取发生变化的所述数据库日志信息；
[0018]实时解析发生变化的所述数据库日志信息且转换所述发生变化的所述数据库日志信息的数据格式，形成适宜于数据流处理的数据。
[0019]优选地，
[0020]所述按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后第一数据，包括:
[0021]实时对所述数据变化信息进行数据清洗和数据汇总处理，以规范化和轻量化装载到所述内存数据库中的第一数据。[0〇22]优选地，
[0023]所述实时对所述数据变化信息进行数据汇总处理，包括:
[0024]对所述数据清洗的数据，进行轻度汇总处理和/或高度汇总处理；
[0025]其中，所述轻度汇总处理包括以第一时间间隔进行数据汇总处理；
[0026]所述高度汇总处理包以第二时间间隔进行数据汇总处理；
[0027]所述第一时间间隔不大于所述第二时间间隔。[0〇28]优选地，
[0029]所述基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据进行第二数据处理，获得数据处理结果，包括:
[0030]基于数据的业务需求，对所述内存数据库中的第一数据进行实时统计、实时分析、 实时监控以及实时决策，形成处理结果。
[0031]优选地，
[0032]所述方法还包括以下至少其中之一:
[0033]对所述数据实时处理系统的数据实时处理进行异常监控；
[0034]对所述数据实时处理系统的数据实时处理进行负载均衡处理；
[0035]对所述数据实时处理系统的数据实时处理进行路由适配处理。
[0036]优选地，
[0037]所述对所述数据实时处理系统的数据实时处理进行负载均衡处理，包括以下至少其中之一:
[0038]在进行所述第一数据处理的各服务主机之间进行负载均衡；
[0039]在进行所述第二数据处理的各服务主机之间进行负载均衡。
[0040]优选地，
[0041]所述对所述数据实时处理系统的数据实时处理进行路由适配处理，包括:
[0042]建立进行所述第二数据处理的服务主机与指定的服务请求的路由适配关系。
[0043]本发明实施例第二方面提供一种数据实时处理系统，所述系统包括:
[0044]数据获取模块，用于获取源系统数据变化信息；
[0045]第一数据处理模块，用于按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后第一数据；
[0046]数据存储模块，用于将所述第一数据装载到所述内存数据库；
[0047]第二数据处理模块，用于基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据进行第二数据处理，获得数据处理结果。
[0048]优选地，
[0049]所述数据获取模块，包括:
[0050]复制子模块，用于在所述源系统的数据库日志发生变化时，获取发生变化的所述数据库日志信息；
[0051]解析子模块，用于实时解析发生变化的所述数据库日志信息且转换所述发生变化的所述数据库日志信息的数据格式，形成适宜于数据流处理的数据。
[0052]优选地，
[0053]所述第一数据处理模块，用于实时对所述数据变化信息进行数据清洗和数据汇总处理，以规范化和轻量化装载到所述内存数据库中的第一数据。[〇〇54]优选地，
[0055]所述第二数据处理模块，用于基于数据的业务需求，对所述内存数据库中的第一数据进行实时统计、实时分析、实时监控以及实时决策，形成处理结果。
[0056]优选地，
[0057]所述系统还包括系统管理模块；
[0058]所述系统管理模块，用于对所述数据实时处理系统的数据实时处理进行异常监控；和/或，对所述数据实时处理系统的数据实时处理进行负载均衡处理；和/或对所述数据实时处理系统的数据实时处理进行路由适配处理。本发明实施例所述的数据实时处理方法，应用于独立于源系统的数据实时处理系统，且基于所述数据实时处理方法提供了所述数据实时处理系统。首先，该数据实时处理系统独立于源系统，从而不会占用源系统的资源，从而对源系统的正常运行影响小。其次，本发明实施例所述的数据实时处理方法及系统，采用内存数据库来进行数据的存储，相对于现有技术中采用磁盘方式存储数据，减少了数据写入磁盘和从磁盘中读取所占用的时间，且本实施例所述的方法可采用实时处理的流处理技术来进行上述数据处理，显然数据处理周期小，具有延时小及响应速度快的优点。【附图说明】
[0059]图1为本发明实施例的数据实时处理方法的流程示意图；
[0060]图2为本发明实施例所述的数据实时处理系统的结构示意图；
[0061]图3为本发明实施例所述的源系统数据变化信息的流程示意图；
[0062]图4为本发明实施例所述的第一数据处理的流程示意图；
[0063]图5为本发明实施例所述的系统管理流程示意图。【具体实施方式】
[0064]以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
[0065]方法实施例:
[0066]如图1所示，本实施例提供一种数据实时处理方法，所述方法应用于数据实时处理系统中，所述方法包括:
[0067]步骤S110:获取源系统数据变化信息；
[0068]步骤S120:按照第一预设处理策略实时对所述数据变化信息进行第一数据处理， 形成处理后第一数据；
[0069]步骤S130:将所述第一数据装载到内存数据库；
[0070]步骤S140:基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据进行第二数据处理，获得数据处理结果。
[0071] 所述源系统可以为各种类型的业务系统，具体如用于业务受理系统、计费系统等。
[0072] 本实施例的数据实时处理方法，是应用于独立于所述源系统的专用进行数据处理的系统中，这样在进行数据处理过程中，显然不会占用源系统的资源，从而能够避免对源系统的运行造成干扰，从而导致源系统执行业务请求的响应速度慢等问题。
[0073]在步骤S110中获取的数据变化信息具体可为源系统的业务受理变化日志数据等数据。
[0074]在步骤S130中，经过第一数据处理之后的第一数据直接装载到内存数据库中。所述内存数据库为由内存构成的数据库，后续在进行第二数据处理时，直接从内存数据库获取数据，相对于从磁盘上获取数据、读取数据的速度快很多。若通常数据处理也是在服务主机的内存中进行的，将数据从内存的一个部分迀移到另一个部分的速度是十分快的，或者在进行第一数据处理时，直接在内存数据库对应的内存中进行，这样连内存间的数据迀移都省略了，显然提高了减少系统处理步骤和响应速度。
[0075] 在具体实现时，当所述第一数据装载到所述内存数据库中之后，立马无时间间隔的进行所述第二数据处理，显然这样可以相对于现有技术中将数据存储在磁盘中，在进行第二数据处理时，还需不仅节省了将数据写到磁盘的过程、同时还包括将磁盘读取数据的过程；显然有利于提高数据处理实时性，减少延时性。
[0076]此外，在步骤S130中采用内存数据来存储所述第一数据，利用一些数据处理机制，在服务器宕机时，相对于回复磁盘数据，回复内存内的数据更为简单，显然相对于将第一数据写在磁盘上，能够提高数据可安全性和系统的可靠性。
[0077] 进一步的，所述步骤S110可包括:在所述源系统的数据库日志发生变化时，获取发生变化的所述数据库日志信息；及实时解析发生变化的所述数据库日志信息且转换所述发生变化的所述数据库日志信息的数据格式，形成适宜于数据流处理的数据。
[0078]具体如，在步骤S111中主要是实时捕获源系统的数据变化并转化成第一数据处理中可识别的数据格式如csv数据格式。所述步骤S110可包括:从源系统中复制数据，以及对复制的数据进行数据解析的步骤。
[0079]实时数据复制可通过数据复制产品GoldenGate读取外部数据库业务受理的日志变化数据，如资料数据、工单数据、历史数据等。所述GoldenGate为复制数据的一个信息处理产品的名称。
[0080] 数据解析可包括:通过采用Java实现的Stream Applicat1n应用程序，接收数据复制产品如GoldenGate输出的数据后，对消息数据进行相应的转换和处理，输出流处理中能识别的文件格式如csv文件。所述Java为一种程序语言；所述Stream Applicat1n为一种应用程序的名称。所述csv文件为数据格式为csv的文件。
[0081] 所述步骤S120可包括:实时对所述数据变化信息进行数据清洗和数据汇总处理， 以规范化和轻量化装载到所述内存数据库中的第一数据。
[0082] 所述数据清洗包括数据过滤；所述数据过滤包括删除无关的数据，具体如删除数据中与业务请求无关的数据。具体如，删除日志信息中的文本说明等信息。
[0083] 所述数据清晰还包括将数据转换成统一编码和同一度量衡的数据，减少后续进行第二次数据过程中数据转换和度量衡的转换，以提高后续处理速度。
[0084]所述实时对所述数据变化信息进行数据汇总处理，包括:
[0085]对所述数据清洗的数据，进行轻度汇总处理和/或高度汇总处理；
[0086]其中，所述轻度汇总处理包括以第一时间间隔进行数据汇总处理；
[0087]所述高度汇总处理包以第二时间间隔进行数据汇总处理；
[0088]所述第一时间间隔不大于所述第二时间间隔。
[0089]数据汇总为主要负责在数据清洗的基础上，将数据进行相应的汇总工作，从而降低装载到内存数据库的数据量，提升系统性能，该模块提供轻度汇总和高度汇总两种功能， 轻度汇总指汇总的时间粒度可为秒级，高度汇总指汇总的时间粒度可为分钟级；数据装载主要提供将高度汇总数据装载到内存数据库的功能，实现方式主要是通过调用内存数据库的数据装载应用程序编程接口 API实现。通常高度汇总的处理逻辑相对于轻度汇总的处理逻辑更为复杂。
[0090]所述步骤S140可包括:
[0091]基于数据的业务需求，对所述内存数据库中的第一数据进行实时统计、实时分析、 实时监控以及实时决策，形成处理结果。
[0092]所述业务需求可包括业务受理需求，是上述数据处理需求的一种。
[0093]以下结合具体应用场景对实时统计、实时分析、实时监控以及实时决策进行解释。
[0094]实时统计包括对作为业务系统的源系统进行营业结账，缴费等实时的业务统计， 且可根据全体营业员，营业厅等维度，进行全量的大批量实时计算，最大限度的满足运维的统计需要。
[0095]实时分析可包括同一营销时间内各渠道、营业点的横向比较分析通报；实时监控可有效的管控风险，如收入风险监控，电子渠道交易监控，营业员交易监控，促销监控；通过监控波动率，敏感信息访问监控等。
[0096]实时决策可包括可以根据实时分析的分析结果和分析指导决策和行动，如基于销售流黄金期有效分析的基础上，指导为营业厅资源如人员排班、其他支撑工作，如物流配送时间点合理安排提供依据，提升厅店效率，实现减员增效。
[0097]本实施例所述方法在上述步骤的基础上，为了提高系统的可靠性和进一步提高数据实时处理系统的响应速率，所述方法还包括以下至少其中之一:
[0098]对所述数据实时处理系统的数据实时处理进行异常监控；
[0099]对所述数据实时处理系统的数据实时处理进行负载均衡处理；
[0100]对所述数据实时处理系统的数据实时处理进行路由适配处理。
[0101]所述异常监控可包括对步骤S110至步骤S140中的数据处理进行监控，一出现异常立即进行异常排除处理，以保证数据实时处理系统的及时性，以免哪一个数据处理环节中的异常导致数据处理及时性下降的现象。
[0102]所述对所述数据实时处理系统的数据实时处理进行负载均衡处理，包括以下至少其中之一:
[0103]在进行所述第一数据处理的各服务主机之间进行负载均衡；
[0104]在进行所述第二数据处理的各服务主机之间进行负载均衡。
[0105]在本实施例中所述数据实时处理系统可分为内存数据库以及对数据进行处理的处理主机。所述处理主机可用于获取数据、进行第一数据处理和第二数据处理。在该系统中用于进行数据处理的服务主机可能形成有主机集群。每一个主机集群中可能包括一个或多个服务主机。每一个服务主机的负荷可能有轻有重。通过负载均衡，可以将符合重的主机上的数据处理转移到负荷轻的主机上进行处理，这样从整体上能够提高数据处理的及时性。
[0106]所述对所述数据实时处理系统的数据实时处理进行路由适配处理，包括:
[0107]建立进行所述第二数据处理的服务主机与指定的服务请求的路由适配关系。
[0108]路由适配处理通常是针对第二数据处理而言的，是一种预先设定路由查找的过程，能够简化后续第二数据处理过程中从内存数据库中数据的查询操作，通过简化数据查询，能够再次提高数据实时处理系统的数据处理速率，降低数据处理的延时性。
[0109]设备实施例:
[0110]如图2所示，本实施例提供一种数据实时处理系统，所述系统包括:
[0111]数据获取模块110,用于获取源系统数据变化信息；
[0112]第一数据处理模块120,用于按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后第一数据；
[0113]数据存储模块130,用于将所述第一数据装载到所述内存数据库；
[0114]第二数据处理模块140,用于基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据进行第二数据处理，获得数据处理结果。
[0115]本实施例所述的获取模块，具体可为各种类型的通信接口，该通信接口与所述源系统之间建立有连接，能够从源系统接收数据。所述通信接口可包括有线或无线的通信接口，所述有线的通信接口可包括电缆接口或光缆接口；所述无线接口可包括接收天线等结构。
[0116]第一数据处理模块120、数据存储模块130和第二数据处理模块140的具体结构可包括处理器和存储介质；所述存储介质上存储有可执行代码。所述存储介质与所述处理器通过总线等用户设备内部的通信接口连接。所述处理器通过执行所述可执行代码可以实现处理单元120和生成单元130的功能。所述处理器可以中央处理器CPU、微处理器MCU、数字信号处理器DSP或可编程阵列PLC等具有信息处理功能的处理器或处理芯片。
[0117]在本实施例中可以对应于系统中的服务主机。所述内存数据库可包括系统中各服务主机上集成的内存。
[0118]本实施例所述的数据实时处理系统，是与所述源系统相对立的系统，这样在进行数据处理时，显然不会占用源系统的系统资源，从而能够避免对源系统的业务造成不良影响。在本实施例中第一数据装载在内存数据库中，可以减少对磁盘的读写次数，从而提高数据处理效率并减少延时性。
[0119]进一步地所述数据获取模块110,包括:
[0120]复制子模块，用于在所述源系统的数据库日志发生变化时，获取发生变化的所述数据库日志信息；
[0121]解析子模块，用于实时解析发生变化的所述数据库日志信息且转换所述发生变化的所述数据库日志信息的数据格式，形成适宜于数据流处理的数据。
[0122]复制子模块主要用于采用GoldenGate、DataGuard、SharePlex或PAC等复制技术从源数据库中复制所述数据变化信息，具体如从源系统的数据库的业务受理请求的变化数据，如资料数据、工单数据、历史数据等，并将获取的信息传输给解析子模块。在本实施例中，所述数据变化信息通常可为指定的变化信息，可以非任意的变化信息。
[0123]所述解析子模块主要用于采用由Java语言编写的Stream Applicat1n等应用程序来接收父子模块的传输的信息，并对这些信息进行相应的转换和处理，输出流处理中能识别的文件，具体如CSV文件格式的文件。
[0124] 可选地所述第一数据处理模块120,用于实时对所述数据变化信息进行数据清洗和数据汇总处理，以规范化和轻量化装载到所述内存数据库中的第一数据。
[0125]本实施例所述的第一数据处理模块120,又可称为实时数据处理模块，主要能实现的功能包括数据清洗、数据汇总以及数据装载等功能。
[0126]所述数据清洗和数据汇总的相关描述可以参见方法实施例，具体如，所述第一数据处理模块120,用于对所述数据清洗的数据，进行轻度汇总处理和/或高度汇总处理；其中，所述轻度汇总处理包括以第一时间间隔进行数据汇总处理；所述高度汇总处理包以第二时间间隔进行数据汇总处理；所述第一时间间隔不大于所述第二时间间隔。
[0127]在具体实现时，所述数据存储模块，主要用于采用内存数据库作为存储介质，一方面能够避免数据在处理过程中的大数据量交易数据落地(写磁盘)对分析性能的影响，保障了处理过程的及时性；另一方面内存数据库存储技术的高可用机制又确保了在服务器宕机的时候迅速恢复并且数据不丢失，保障了系统的可靠性。
[0128] 可选地，所述第二数据处理模块140,用于基于数据的业务需求，对所述内存数据库中的第一数据进行实时统计、实时分析、实时监控以及实时决策，形成处理结果。
[0129]本实施例所述的第二数据处理模块140又可称为实时数据应用模块，主要用于内存数据库的基础上，基于业务需求构建业务场景，包括实时统计、实时分析、实时监控和实时决策等处理。所述实时统计、实时分析、实时监控和实时决策的相关定义可以参见方法实施例，在此就不重复了。
[0130]此外，如图2所示，本实施例所述的系统还包括系统管理模块；
[0131]所述系统管理模块150,用于对所述数据实时处理系统的数据实时处理进行异常监控；和/或，对所述数据实时处理系统的数据实时处理进行负载均衡处理；和/或对所述数据实时处理系统的数据实时处理进行路由适配处理。
[0132]此处的系统管理模块150的具体结构也可以对应于服务主机或服务主机内的处理器或处理芯片等。所述处理器或处理芯片的结构可以参见前述部分，在此就不重复了。
[0133]所述系统管理模块150,具体可用于在进行所述第一数据处理的各服务主机之间进行负载均衡；和/或，在进行所述第二数据处理的各服务主机之间进行负载均衡。
[0134]所述系统管理模块150,还可用于建立进行所述第二数据处理的服务主机与指定的服务请求的路由适配关系。
[0135] 综合上述，本实施例提供了一种数据实时处理系统，为上述数据实时处理方法提供了硬件支撑，显然用于对源系统的数据分析和决策，不占用源系统的资源、对源系统的正常运行影响小且数据分析决策延时小等优点。
[0136]以下结合上述实施例提供几个具体应用示例:
[0137]示例一:
[0138]如图3所示，本示例为提供一种获取所述数据变化信息的具体方法，具体如下:
[0139]步骤101:外部业务受理的数据库日志发生变化。这里即指上述源系统的数据库日志发生变化。
[0140]步骤102:数据复制模块捕获。此处的数据复制模块即为上述复制子模块。此处的所述捕获为获取数据变化信息，具体如使用数据复制产品GoldenGate捕获数据库的Redo Log，获取变化的业务受理数据，通过捕获源库变化数据、跟踪队列、数据栗分发、路由压缩加密和交付目标的过程，实现利用极少的系统开支，实时捕获业务受理数据库的变化的日志信息。
[0141]步骤103:栗出队列文件(trail file)，该步骤由数据复制产品自动实现。
[0142]步骤104:日志解析模块，通过Java实现的Stream Applicat1n应用程序，读取数据复制产品如GoldenGate栗出的队列文件(trail file)，对队列文件进行相应的解析和处理。
[0143]步骤105:生成csv格式的数据文件，为实时处理模块提供数据输入。所述csv格式即为上述适宜于数据流处理的数据格式。所述数据流处理为对数据处理的一种技术，具体的如何实现数据流处理可以参见现有技术，在此就不再展开了，总之数据流处理具有数据处理延时性小及数据处理效率高的优点。
[0144]步骤106:实时数据获取流程结束，交付实时处理模块。此处的实时处理模块相当于设备实施例中所述的第一数据处理模块。
[0145]示例二:
[0146]如图4所示，本示例为提供一种第一数据处理的具体方法，可包括:
[0147]步骤1:实时数据获取模块中的日志解析模块，通过解析和源系统的处理数据库的变化日志，增量生成csv格式的数据文件。此处的日志解析模块即详单于上述解析子模块。
[0148]步骤2:数据清洗模块查询数据清洗、汇总、装载规则库，以获取数据清洗规则。
[0149]步骤3:数据清洗、汇总、装载规则库，返回数据清洗模块中所需查询的清洗规则。 此处的清洗规则为所述第一预设处理策略的一部分。
[0150]步骤4:根据数据清洗规则，对日志解析模块增量生成csv的业务受理数据进行一致性检查，处理无效值和缺失值，对数据进行清洗，可使用流处理技术如StreamBase来进行数据清洗。
[0151]步骤5:数据汇总模块查询数据清洗、汇总、装载规则库，以获取数据汇总规则，所述数据汇总规则也为所述第一预设处理策略的组成部分之一。
[0152]步骤6:数据清洗、汇总、装载规则库，返回数据汇总模块中所需查询的汇总规则。
[0153]步骤7:对已清洗后的数据，按数据汇总规则，生成汇总级数据，可分为轻度汇总级数据和高度汇总级数据。
[0154]步骤8:数据装载模块查询数据清洗、汇总、装载规则库，获取数据装载规则。所述数据装载规则也为所述第一预设处理策略的组成部分之一，用于向内存数据库装载数据。
[0155]步骤9:数据清洗、汇总、装载规则库，返回数据装载模块中所需查询的装载规则。
[0156]步骤10:根据数据装载规则，将数据实时到装载内存数据库中
[0157]示例三:
[0158]如图5所示，本示例为提供一种系统管理方法，可包括:
[0159]步骤s1:从数据服务请求方接收数据服务请求。具体如通过实时监控界面，监控发起数据服务请求，可由多个数据服务请求方同时并发多个数据请求服务。
[0160]步骤s2:采用负载均衡器集群，接收高并发的数据服务请求，对高并发的数据请求服务进行服务均衡，并且集群内主机均相互备份，实现高并发的数据服务请求处理，加快服务请求响应速度。集群内的主机的相互备份方式可以采用两两互备，也可以是1备多的方式。
[0161]步骤s3:路由适配求mod(所述求mod为求模)后分发服务请求。具体如，通过负载均衡器集群对高并发请求的服务进行均衡后，将均衡后的请求服务通过求mod方式。主负载均衡器以主数据路由Mod(如路由值0-3,通知规则配置实现，下同)，备数据路由Mod(如路由值4-7,下同)。备负载均衡器以主数据路由Mod(4-7)，备数据路由Mod(0-3)，分发给服务与内存数据库集群模块中的对应服务主机，进行相应的服务请求与服务主机的适配。
[0162]步骤s4:对每台服务主机均配置内存数据库，同时以集群方式将所有的服务主机进行集群，对路由适配模块分发的服务请求，经请求认证通过后，动态绑定相应的服务主机进行专门的服务请求处理，因每台主机均使用了内存数据库，大大提高了数据请求服务的访问效率，同时由于了多台集群方式，极大提高了数据访问请求服务的数量，实现了真正的高并发的数据实时监控。
[0163]步骤s5:向服务请求方返回请求处理结果。这里的请求代指上述服务请求。具体可包括:对数据服务请求的处理结果，返回到实时监控页面进行展现，将处理结果提供给各个对应的数据服务请求方。
[0164]在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如:多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0165]上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0166]另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0167]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括:移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0168]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种数据实时处理方法，其特征在于，所述方法应用于数据实时处理系统中，所述方 法包括:获取源系统数据变化信息；按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后第一 数据；将所述第一数据装载到内存数据库；基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据进行 第二数据处理，获得数据处理结果。2.根据权利要求1所述方法，其特征在于，所述获取源系统数据变化信息，包括:在所述源系统的数据库日志发生变化时，获取发生变化的所述数据库日志信息；所述按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后 第一数据，包括:实时解析发生变化的所述数据库日志信息且转换所述发生变化的所述数据库日志信 息的数据格式，形成适宜于数据流处理的数据。3.根据权利要求1所述的方法，其特征在于，所述按照第一预设处理策略实时对所述数据变化信息进行第一数据处理，形成处理后 第一数据，包括:实时对所述数据变化信息进行数据清洗和数据汇总处理，以规范化和轻量化装载到所 述内存数据库中的第一数据。4.根据权利要求3所述的方法，其特征在于，所述实时对所述数据变化信息进行数据汇总处理，包括:对所述数据清洗的数据，进行轻度汇总处理和/或高度汇总处理；其中，所述轻度汇总处理包括以第一时间间隔进行数据汇总处理；所述高度汇总处理包以第二时间间隔进行数据汇总处理；所述第一时间间隔不大于所述第二时间间隔。5.根据权利要求1所述的方法，其特征在于，所述基于数据处理需求，按照第二预设处理策略实时对所述内存数据库中的第一数据 进行第二数据处理，获得数据处理结果，包括:基于数据的业务需求，对所述内存数据库中的第一数据进行实时统计、实时分析、实时 监控以及实时决策，形成处理结果。6.根据权利要求1所述的方法，其特征在于，所述方法还包括以下至少其中之一:对所述数据实时处理系统的数据实时处理进行异常监控；对所述数据实时处理系统的数据实时处理进行负载均衡处理；对所述数据实时处理系统的数据实时处理进行路由适配处理。7.根据权利要求6所述的方法，其特征在于，所述对所述数据实时处理系统的数据实时处理进行负载均衡处理，包括以下至少其中 之一:在进行所述第一数据处理的各服务主机之间进行负载均衡；在进行所述第二数据处理的各服务主机之间进行负载均衡。8.根据权利要求6所述的方法，其特征在于，所述对所述数据实时处理系统的数据实时处理进行路由适配处理，包括:建立进行所述第二数据处理的服务主机与指定的服务请求的路由适配关系。9.一种数据实时处理系统，其特征在于，所述系统包括:数据获取模块，用于获取源系统数据变化信息；第一数据处理模块，用于按照第一预设处理策略实时对所述数据变化信息进行第一数 据处理，形成处理后第一数据；数据存储模块，用于将所述第一数据装载到所述内存数据库；第二数据处理模块，用于基于数据处理需求，按照第二预设处理策略实时对所述内存 数据库中的第一数据进行第二数据处理，获得数据处理结果。10.根据权利要求9所述系统，其特征在于，所述数据获取模块，包括:复制子模块，用于在所述源系统的数据库日志发生变化时，获取发生变化的所述数据 库日志信息；解析子模块，用于实时解析发生变化的所述数据库日志信息且转换所述发生变化的所 述数据库日志信息的数据格式，形成适宜于数据流处理的数据。11.根据权利要求9所述的系统，其特征在于，所述第一数据处理模块，用于实时对所述数据变化信息进行数据清洗和数据汇总处 理，以规范化和轻量化装载到所述内存数据库中的第一数据。12.根据权利要求9所述的系统，其特征在于，所述第二数据处理模块，用于基于数据的业务需求，对所述内存数据库中的第一数据 进行实时统计、实时分析、实时监控以及实时决策，形成处理结果。13.根据权利要求9所述的系统，其特征在于，所述系统还包括系统管理模块；所述系统管理模块，用于对所述数据实时处理系统的数据实时处理进行异常监控；和 /或，对所述数据实时处理系统的数据实时处理进行负载均衡处理；和/或对所述数据实时 处理系统的数据实时处理进行路由适配处理。
【文档编号】G06F17/30GK105989163SQ201510095976
【公开日】2016年10月5日
【申请日】2015年3月4日
【发明人】阮前, 黄启雄, 陈欻, 李建明
【申请人】中国移动通信集团福建有限公司