一种事件分析系统及事件分析方法与流程

本申请实施例涉及计算机技术领域，尤其涉及一种事件分析系统及事件分析方法。

背景技术：

随着科学技术的迅速发展，全球智能化进程加速，各种科学研究会产生海量数据。完全靠人工处理这些数据已经不现实。很多情况下，ai工具在科学研究中已经不可或缺，智能化输出数据汇聚结果。庞大而复杂的数据需要专门设计的硬件和软件工具进行处理，大数据软件分析工具、系统变得众多而复杂，无论是开发，还是使用都会产生大量的重复工作，不利于提高数据处理效率。

技术实现要素：

本申请实施例提供一种事件分析系统及事件分析方法，可以通过事件分析系统，对数据进行识别与处理，从而达到提高数据处理效率的目的。

第一方面，本申请实施例提供了一种事件分析系统，该系统包括：

数据采集子系统，用于进行目标数据采集；

大数据分析子系统，用于对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；

算法训练子系统，用于通过预先训练得到对目标数据进行运算的算法模型；

智能分析子系统，用于根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。

进一步的，所述系统还包括：

自动学习子系统，用于对所述算法训练子系统的算法模型进行模型管理、自动学习以及部署上线的操作。

进一步的，所述数据采集子系统，还用于：

对所述目标数据进行数据预处理、数据清洗、数据筛选以及数据标注中的至少一种处理方式，得到目标数据的处理结果。

进一步的，所述系统还包括：

应用管理子系统，用于对所述事件分析系统进行管理和应用控制。

进一步的，所述大数据分析子系统用于进行数据质量分析，具体用于：对数据进行实时分析、预测分析、聚合分析以及关联分析。

进一步的，所述智能分析子系统具体用于：

采用事件分析引擎，确定目标数据的分析结果；其中，所述事件分析引擎包括：特定事件、不特定事件、新事件以及未知事件中的至少一种。

进一步的，所述大数据分析子系统，具体用于：

对所述目标数据进行数据类型分析，确定是否存在与所述目标数据匹配的算法模型；

所述算法训练子系统具体用于：

若是，则通过与所述目标数据匹配的算法模型对目标数据进行运算；

若否，则根据所述目标数据进行数据类型分析结果，针对所述目标数据构建目标算法模型，并采用所述目标算法模型对目标数据进行运算。

第二方面，本申请实施例提供了一种事件分析方法，该方法包括：

采集目标数据；

对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；

通过预先训练得到对目标数据进行运算的算法模型；

根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。

进一步的，所述方法还包括：

若根据对目标数据的数据类型分析得到的分析结果，确定不存在与所述目标数据匹配的算法模型，则针对所述目标数据构建目标算法模型，并采用所述目标算法模型对目标数据进行运算。

进一步的，在采集目标数据之后，所述方法还包括：

对所述目标数据进行数据预处理、数据清洗、数据筛选以及数据标注中的至少一种处理方式，得到目标数据的处理结果；

相应的，对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种，包括：

对目标数据的处理结果进行数据质量分析以及数据类型分析中的至少一种。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的事件分析方法。

第四方面，本申请实施例提供了一种设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的事件分析方法。

本申请实施例所提供的技术方案，数据采集子系统，用于进行目标数据采集；大数据分析子系统，用于对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；算法训练子系统，用于通过预先训练得到对目标数据进行运算的算法模型；智能分析子系统，用于根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。通过采用本申请所提供的技术方案，可以通过事件分析系统，对数据进行识别与处理，从而达到提高数据处理效率的目的。

附图说明

图1是本申请实施例提供的事件分析系统的框架示意图；

图2是本申请实施例提供的事件分析方法的流程示意图；

图3是本申请实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1是本申请实施例提供的事件分析系统的框架示意图，本实施例可适用于事件分析的情况，该系统可以执行本申请实施例所提供的事件分析方法，该系统可以由软件和/或硬件的方式来实现，并可集成于用于事件分析的智能终端等设备中。

如图1所示，所述事件分析系统110包括：

数据采集子系统111，用于进行目标数据采集；

大数据分析子系统112，用于对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；

算法训练子系统113，用于通过预先训练得到对目标数据进行运算的算法模型；

智能分析子系统114，用于根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。

其中，数据采集子系统111，可以是根据用户的使用需求，或者用户的设定的数据采集方式，实现对目标数据的采集。其中目标数据可以是一个数据，也可以是一组数据，例如目标数据为一张图片，或者是一个集群中各个机器的执行任务情况，等等。

在本实施例中，可选的，所述数据采集子系统，还用于：对所述目标数据进行数据预处理、数据清洗、数据筛选以及数据标注中的至少一种处理方式，得到目标数据的处理结果。其中，数据预处理可以是去除掉数据中一些误差值。数据清洗可以是用于对数据中有价值的数据清洗出来。数据筛选可以是对清洗得到的数据按照特定需求进行筛选，例如筛选平均亮度值小于50的低照度图像等。通过这样的设置，可以提高后续对目标数据的处理过程的准确性，从而达到对目标数据能够进行精准的时间分析的目的。

大数据分析子系统112，用于对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种。其中，数据质量分析可以确定数据质量的高低，数据是否可用以及确定后续处理过程中数据的权重参数等等，例如数据质量越高，可以对其权重调高，从而使其对当前这一组目标数据的影响越大，数据质量越低，则设置权重越低，从而减少其对当前这一组目标数据的影响。这样设置可以提高目标数据在时间分析过程中考虑，从而得到更好的分析效果。

在本实施例中，可选的，所述大数据分析子系统用于进行数据质量分析，具体用于：对数据进行实时分析、预测分析、聚合分析以及关联分析。其中，可以通过实时分析、预测分析、聚合分析以及关联分析，确定数据的质量，从而保证数据在后续计算过程中的有效性。

数据类型分析可以根据数据的特征确定数据的类型结构，例如确定数据为粮、棉、油三种类型的哪一种，进而在根据其类型对数据进行进一步的细分，从而确保所采用的数据特征是当前目标数据的数据类型所需要的特征，进而最大程度的体现数据的特征价值。

算法训练子系统113，用于通过预先训练得到对目标数据进行运算的算法模型。例如，可以预先针对一些与目标类型相关联的数据，进行模型训练，从而得到对目标数据进行运算的算法模型，可以根据算法模型确定目标数据的有价值的数据信息，得到对目标数据的事件分析结果。

可以理解的，在得到目标数据之后，可以确定是否存在对目标数据运算的算法模型，如果不存在，可以通过模型参数调整，模型架构调整以及模型的重新训练的方式来形成算法模型，以对目标数据进行处理。这样可以提高对目标数据的运算能力，从而提高整个系统的事件分析能力。

在本实施例中，可选的，所述大数据分析子系统，具体用于：

对所述目标数据进行数据类型分析，确定是否存在与所述目标数据匹配的算法模型；

所述算法训练子系统具体用于：

若是，则通过与所述目标数据匹配的算法模型对目标数据进行运算；

若否，则根据所述目标数据进行数据类型分析结果，针对所述目标数据构建目标算法模型，并采用所述目标算法模型对目标数据进行运算。

其中，如果存在与之匹配的算法模型，则可以直接进行目标数据的运算，如果不存在，则需要针对目标数据，构建目标算法模型，具体的构建方式包括但不限于对已有算法模型进行模型参数调整，模型架构调整以及模型的重新训练的方式来形成目标算法模型。

智能分析子系统114，用于根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。

其中，算法模型的输出结果可以是算法模型得到的根据目标数据的特征得到的目标数据的一个或者多个数据信息，例如得到的是适宜播种的时间、环境等。根据算法模型输出结果，确定目标数据的分析结果，例如确定当前品种的玉米是否适宜在本地进行播种。通过这样的设置，可得到针对目标数据的分析结果，从而在实际生活中确定目标数据的意义和价值，完成对事件的分析。

在本实施例中，可选的，所述智能分析子系统具体用于：

采用事件分析引擎，确定目标数据的分析结果；其中，所述事件分析引擎包括：特定事件、不特定事件、新事件以及未知事件中的至少一种。

其中，事件分析引擎可以是用来支撑事件分析的设备。特定事件可以是针对当前的应用领域所特别确定的事件分析结果。不特定事件即为泛化事件，新事件即为当前领域内之前没有发生过的事件，未知事件可以是无法得到准确的分析结果的事件。对于事件分析可以得到以上几种不同的结果，不同的分析结果可以对应不同的处理方式，从而可以知道指导或者辅助人员采用不同的方式来处理。

本申请实施例所提供的技术方案，数据采集子系统，用于进行目标数据采集；大数据分析子系统，用于对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；算法训练子系统，用于通过预先训练得到对目标数据进行运算的算法模型；智能分析子系统，用于根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。通过采用本申请所提供的技术方案，可以通过事件分析系统，对数据进行识别与处理，从而达到提高数据处理效率的目的。

在上述各技术方案的基础上，可选的，所述系统还包括：自动学习子系统，用于对所述算法训练子系统的算法模型进行模型管理、自动学习以及部署上线的操作。

其中，自动学习子系统，可以用来对算法那训练子系统中的算法模型进行模型管理，例如模型的结构管理，模型的参数管理等，还可以对其中的模型进行自动学习训练，自动参数更新等，在得到算法模型之后，可以对算法模型进行部署上线的处理，从而可以能够支撑平台对目标数据的处理，对事件的分析。通过这样的设置，可以提高对系统中算法模型的管控能力，随时管理和更新，并且可以部署上线供用户使用，从而扩大事件分析系统的适用范围。

在上述各技术方案的基础上，可选的，所述系统还包括：应用管理子系统，用于对所述事件分析系统进行管理和应用控制。应用管理子系统，可以用于对事件分析系统进行管理和应用控制，例如管理事件分析系统更新、维护以及停止运行和恢复运行等，从而可以提高事件分析系统能够在运行和使用过程中的稳定性。

图2是本申请实施例提供的事件分析方法的流程示意图。如图2所示，所述事件分析方法包括：

s210、采集目标数据；

s220、对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；

s230、通过预先训练得到对目标数据进行运算的算法模型；

s240、根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。

在上述技术方案的基础上，可选的，所述方法还包括：

若根据对目标数据的数据类型分析得到的分析结果，确定不存在与所述目标数据匹配的算法模型，则针对所述目标数据构建目标算法模型，并采用所述目标算法模型对目标数据进行运算。

在上述技术方案的基础上，可选的，在采集目标数据之后，所述方法还包括：

对所述目标数据进行数据预处理、数据清洗、数据筛选以及数据标注中的至少一种处理方式，得到目标数据的处理结果；

相应的，对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种，包括：

对目标数据的处理结果进行数据质量分析以及数据类型分析中的至少一种。

上述方法可由本申请实施例所提供的系统执行，具备与系统相应的有益效果。

本申请所提供的事件分析系统，整体按5层结构进行设计，通过5层逻辑结构进行规划，平台、算法使能及数据层进行大数据采集、标注及提炼汇总，应用层进行二次开发、训练、智能分析及深度学习等，最终通过统一平台出口使能企业事业单位、科研及行业应用。

事件分析系统功能主要包括：统一管理平台、多维数据采集、大数据分析、算法训练、智能分析、自动学习及应用管理等功能。针对科研开发需求，开发相应功能模块。

事件分析系统采用微服务、组件化技术、适配器技术进行整体研发，建立基于算法的服务，如mr计算服务，rest，api服务等；技术平台支持移动、云计算等新技术功能的应用。

系统分为：开发、运行、管控、ai能力中心四部分。具体如下：

1.开发部分包括：主要是各种开发可调用的插件，模型构建工具，文档管理工具。

2.运行部分包括：展现产端、微服务中心。

3.管控部分包括：应用管理、数据管理、服务管理。

4.ai能力中心部分包括：应用使能、平台算法使能、芯片管理工具。

事件分析系统工作流程如下：

1.支持多团队/多用户共享资源；

2.基于容器的资源调度，支持资源隔离与秒级启动；

3.支持任务排队多种调度算法：先进先出，优先级；

4.支持硬件topo感知的调度算法，发挥系统最佳性能与效率。

事件分析系统具体包括：

1.应用场景包括：多维数据处理、事件分类分析、知识图谱、数据共享交换、数据api接口、应用接口发布等。

2.大数据分析包括：实时分析、预测分析、聚合分析、关联分析、数据标注、模型调优、模型训练。

3.知库构建，主要依据具体业务，进行分类，权重，特征等分析。

4.集成分析包括：多维采集、数据集成、api集成、消息集成、统一用户、应用整合。

5.事件分析引擎包括：特定事件、不特定事件、新事件、未知事件等分析的结果。

事件分析系统分析步骤包括：

1.文件数据收集，如是数据库数据可直接分析；

2.文件数据的结构化分析；

3.根据上一步，建立分的模型；

4.根据上一步模型，对收集文本进行自动化分析；

5.得出分析结果，人工分析后可再次进地分析。

本申请所提供的事件分析系统，具有数据分析快。算计充足，场景可部署，算法效率高，算法安全等效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种事件分析方法，该方法包括：

采集目标数据；

对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；

通过预先训练得到对目标数据进行运算的算法模型；

根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的事件分析操作，还可以执行本申请任意实施例所提供的事件分析方法中的相关操作。

本申请实施例提供了一种设备，该设备中可集成本申请实施例提供的事件分析装置。图3是本申请实施例提供的一种设备的结构示意图。如图3所示，本实施例提供了一种设备300，其包括：一个或多个处理器320；存储装置310，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器320执行，使得所述一个或多个处理器320实现本申请实施例所提供的事件分析方法，该方法包括：

采集目标数据；

对采集到的目标数据进行数据质量分析以及数据类型分析中的至少一种；

通过预先训练得到对目标数据进行运算的算法模型；

根据所述算法模型对目标数据进行运算得到的输出结果，确定目标数据的分析结果。

当然，本领域技术人员可以理解，处理器320还实现本申请任意实施例所提供的事件分析方法的技术方案。

图3显示的设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图3所示，该设备300包括处理器320、存储装置310、输入装置330和输出装置340；设备中处理器320的数量可以是一个或多个，图3中以一个处理器320为例；设备中的处理器320、存储装置310、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线350连接为例。

存储装置310作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的事件分析方法对应的程序指令。

存储装置310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置310可进一步包括相对于处理器320远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收输入的数字、字符信息或语音信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏、扬声器等设备。

本申请实施例提供的设备，可以通过事件分析系统，对数据进行识别与处理，从而达到提高数据处理效率的目的。

上述实施例中提供的事件分析装置、存储介质及设备可执行本申请任意实施例所提供的事件分析方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的事件分析方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。