数据实时分析方法及系统的制作方法
【技术领域】
[0001]本发明涉及计算机技术领域，具体而言，涉及一种数据实时分析方法和一种数据实时分析系统。
【背景技术】
[0002]目前在历史数据审计领域，分析工具主要采用的是SQL (Structured QueryLanguage，结构化查询语言)数据库，或者 NOSQL (Not Only Structured Query Language，不仅仅是结构化查询语言)数据库两种技术。
[0003]SQL数据库在数据量较大(比如，TB级别，万亿字节级别)时，读写和计算存在性能瓶颈；N0SQL虽然可以处理较大数据量，但分析粒度较大，在处理时间窗口较小时(比如，毫秒级)，易造成结果不精确的现象。
[0004]在实时分析领域，实时分析技术比较有代表性的是Storm(内存级计算，数据直接通过网络导入内存)，一个针对在线业务而存在的计算平台，但是在处理历史数据方面不擅长。
[0005]因此，需要一种新的技术方案，可以实现对历史大数据的实时且精准地分析，并及时地反映数据的价值和意义。
【发明内容】
[0006]本发明正是基于上述问题，提出了一种新的技术方案，可以实现对历史大数据的实时且精准地分析，并及时地反映数据的价值和意义。
[0007]有鉴于此，本发明提出了一种数据实时分析方法，包括:通过搜索引擎获取搜索结果，并将所述搜索结果按第一预设规则排序后发送至实时分析引擎；通过所述实时分析引擎判断所述搜索结果中是否存在与第二预设规则匹配的目标搜索结果。
[0008]在该技术方案中，通过搜索引擎获取搜索结果，并将搜索结果按第一规则排序后发送至实时分析引擎进行实时分析，在实时分析的过程中模拟重现搜索结果，即判断是否存在与第二预设规则匹配的目标搜索结果，以根据判断结果确定是否对目标搜索结果进行存储和/或展示，如此，通过搜索引擎和实时分析引擎配合，可以完成对历史大数据的快速提取和模拟实时重现，进而有效地实现对历史大数据的实时且精准地分析，并及时地反映数据的价值和意义。
[0009]同时，通过与搜索引擎配合，可以对第二预设规则进行动态配置，具体地，根据应用行业的不同进行具体配置，而且第二预设规则是预先注册在该实时分析引擎中的。
[0010]在上述技术方案中，优选地，将所述搜索结果按所述第一预设规则排序后发送至所述实时分析引擎，具体包括:将所述搜索结果按时间字段排序后发送至所述实时分析引擎。
[0011 ] 在上述技术方案中，优选地，还包括:将所述时间字段设置为所述实时分析引擎的外部时钟，以使所述实时分析引擎根据所述外部时钟进行判断。
[0012]在该技术方案中，通过按时间字段(第一预设规则)将搜索结果排序后发送至实时分析引擎，并将该搜索结果的时间字段设置为实时分析引擎的外部时钟，一方面可以按照时间字段准确地模拟和重现历史数据，另一方面可以有效地避免实时分析引擎的时钟被干扰，进而提高实时分析的效率以及结果的精准性，例如，可以将时间粒度从只能粒化到分钟提升为粒化至100ms。
[0013]在上述技术方案中，优选地，还包括:根据所述第二预设规则配置EQL语句，以及根据所述EQL语句分析所述搜索结果，以判断是否存在所述目标搜索结果。
[0014]在该技术方案中，通过根据预设规则配置可固定的EQL查询语句，对搜索结果进行遍历重现，从而判断是否存在与第二预设规则匹配的目标搜索结果，如此，可以完成对历史大数据的快速提取和模拟实时重现，进而有效地实现对历史大数据的实时且精准地分析。
[0015]在上述技术方案中，优选地，当判定存在所述目标搜索结果时，对所述目标搜索结果进行存储和/或展示，否则，对所述搜索结果进行下一步的分析。
[0016]在该技术方案中，当判定存在目标搜索结果时，对该目标搜索结果进行存储和/或展示，以完成对历史大数据的快速提取和模拟实时重现；当判定不存在与预设规则匹配的目标搜索结果时，可以对来自搜索引擎的搜索结果进行下一步地分析，可以有效地避免获取搜索结果，进而提高实时分析的效率，并有效地节省实时分析时间。
[0017]在上述技术方案中，优选地，在通过所述搜索引擎获取所述搜索结果前，将数据进行处理后注入所述搜索引擎中。
[0018]在该技术方案中，在通过搜索引擎获取搜索结果前，可对数据进行格式化或半格式化处理，以提高搜索的效率。
[0019]根据本发明的另一方面，还提出了一种数据实时分析系统，包括:搜索引擎，用于获取搜索结果，并将所述搜索结果按第一预设规则排序后发送至实时分析引擎；所述实时分析引擎，用于判断所述搜索结果中是否存在与第二预设规则匹配的目标搜索结果。
[0020]在该技术方案中，通过搜索引擎获取搜索结果，并将搜索结果按第一规则排序后发送至实时分析引擎进行实时分析，在实时分析的过程中模拟重现搜索结果，即判断是否存在与第二预设规则匹配的目标搜索结果，以根据判断结果确定是否对目标搜索结果进行存储和/或展示，如此，通过搜索引擎和实时分析引擎配合，可以完成对历史大数据的快速提取和模拟实时重现，进而有效地实现对历史大数据的实时且精准地分析，并及时地反映数据的价值和意义。
[0021]同时，通过与搜索引擎配合，可以对第二预设规则进行动态配置，具体地，根据应用行业的不同进行具体配置，而且第二预设规则是预先注册在该实时分析引擎中的。
[0022]在上述技术方案中，优选地，所述实时分析引擎具体用于:将所述搜索结果按时间字段排序后发送至所述实时分析引擎。
[0023]在上述技术方案中，优选地，还包括:设置单元，用于将所述时间字段设置为所述实时分析引擎的外部时钟，以使所述实时分析引擎根据所述外部时钟进行判断。
[0024]在该技术方案中，通过按时间字段(第一预设规则)将搜索结果排序后发送至实时分析引擎，并将该搜索结果的时间字段设置为实时分析引擎的外部时钟，一方面可以按照时间字段准确地模拟和重现历史数据，另一方面可以有效地避免实时分析引擎的时钟被干扰，进而提高实时分析的效率以及结果的精准性，例如，可以将时间粒度从只能粒化到分钟提升为粒化至100ms。
[0025]在上述技术方案中，优选地，所述实时分析引擎还用于:根据所述第二预设规则配置EQL语句，以及根据所述EQL语句分析所述搜索结果，以判断是否存在所述目标搜索结果O
[0026]在该技术方案中，通过根据预设规则配置可固定的EQL查询语句，对搜索结果进行遍历重现，从而判断是否存在与第二预设规则匹配的目标搜索结果，如此，可以完成对历史大数据的快速提取和模拟实时重现，进而有效地实现对历史大数据的实时且精准地分析。
[0027]在上述技术方案中，优选地，所述实时分析引擎还用于:当判定存在所述目标搜索结果时，对所述目标搜索结果进行存储和/或展示，否则，对所述搜索结果进行下一步的分析。
[0028]在该技术方案中，当判定存在目标搜索结果时，对该目标搜索结果进行存储和/或展示，以完成对历史大数据的快速提取和模拟实时重现；当判定不存在与预设规则匹配的目标搜索结果时，可以对来自搜索引擎的搜索结果进行下一步地分析，可以有效地避免获取搜索结果，进而提高实时分析的效率，并有效地节省实时分析时间。
[0029]在上述技术方案中，优选地，还包括:处理单元，用于在通过所述搜索引擎获取所述搜索结果前，将数据进行处理后注入所述搜索引擎中。
[0030]在该技术方案中，在通过搜索引擎获取搜索结果前，可对数据进行格式化或半格式化处理，以提高搜索的效率。
[0031]通过以上技术方案，可以实现对历史数据的实时且精准地分析，并及时地反映数据的价值和意义。
【附图说明】
[0032]图1示出了根据本发明的一个实施例的数据实时分析方法的流程示意图；
[0033]图2示出了根据本发明的一个实施例的数据实时分析系统的框图；
[0034]图3示出了根据本发明的另一个实施例的数据实时分析方法的流程示意图；
[0035]图4示出了根据本发明的一个实施例的实时分析引擎对数据进行实时分析的流程不意图。
【具体实施方式】
[0036]为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和【具体实施方式】对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0037]在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0038]图1示出了根据本发明的一个实施例的数据实时分析方法的流程示意图。
[0039]如图1所示，根据本发明的一个实施例的数据实时分析方法，包括:步骤102，通过搜索引擎获取搜索结果，并将所述搜索结果按第一预设规则排序后发送至实时分析引擎；步骤104，通过所述实时分析引擎判断所述搜索结果中是否存在与第二预设规则匹配的目标搜索结果。
[0040]在该技术方案中，通过搜索引擎获取搜索结果，并将搜索结果按第一规则排序后发送至实时分析引擎进行实时分析，在实时分析的过程中模拟重现搜索结果，即判断是否存在与第二预设规则匹配的目标搜索结果，以根据判断结果确定是否对目标搜索结果进行存储和/或展示，如此，通过搜索引擎和实时分析引擎配合，可以完成对历史大数据的快速提取和模拟实时重现，进而有效地实现对历史大数据的实时且精准地分析，并及时地反映数据的价值和意义。
[0041]同时，通过与搜索引擎配合，可以对第二预设规则进行动态配置，具体地，根据应用行业的不同进行具体配置，而且第二预设规则是预先注册在该实时分析引擎中的。