元数据驱动的实时分析框架的制作方法
【专利说明】元数据驱动的实时分析框架
[0001] 背景
[0002] "数据分析"指的是用于分析数据以得出有关数据的结论的技术。数据分析由许多 实体使用，包括由企业用来作出更好的商业决策，以及由科学家用来证明或反驳现有的模 型或理论。数据分析不同于数据挖掘。在数据挖掘中，数据挖掘者对巨量的数据集进行整 理以标识未被发现的模式并建立隐藏的关系。相反，数据分析旨在基于数据以及对数据分 析进行配置的研究者的知识来推导结论。数据分析可包括对数据的检测、清理、转换、以及 建模以突出有用信息、给出结论建议、支持作出决策、和/或提供其它有益结果。
[0003] 在一些情况下，可对"实时"数据执行数据分析，"实时"数据是一旦被收集或生成 就立即递送以供分析的数据。分析实时数据的数据分析应用可被称为实时数据分析应用。 端对端实时数据分析应用的部署是复杂且劳动密集的。这样的实时数据分析应用的开发者 不得不耗费大量的时间来为应用的各个组件编程，包括不得不编写数据获取组件、分析组 件、以及结果分发组件。
【发明内容】
[0004] 提供本
【发明内容】
是为了以精简的形式介绍将在以下详细描述中进一步描述的一 些概念。本
【发明内容】
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于 限制所要求保护主题的范围。
[0005] 提供了用于开发包含用来构建数据分析应用的应用定义包的方法、系统以及计算 机程序产品。可通过将应用定义应用解包成提供数据获取、数据分析以及结构分发组件的 通用框架来在基于网络的服务（例如，云服务）处部署数据分析应用的实例。所部署的数 据分析应用可接收数据（包括实时数据）并且可处理所接收的数据以生成输出数据。输出 数据可被接收并显示给访问用户控制面板的用户。
[0006] 在一个实施方式中，配置了一可部署的实时数据分析应用。用户被允许提供实时 数据分析应用的名称、提供至少一个定义将由实时数据分析应用接收的实时数据的有效载 荷定义、提供至少一个定义将由实时数据分析应用访问的引用数据的引用数据定义、以及 提供至少一个定义被配置成针对实时数据和引用数据执行的查询以生成实时分析应用的 输出数据的查询定义。用户可被允许配置实时数据分析应用的更多组件，包括安全性、控制 流、用户界面控制面板组件、以及更多组件。生成指示应用名称并包括有效载荷定义、引用 数据定义、以及查询定义的应用定义包。应用定义包被配置成可被应用于服务框架以允许 实时数据分析应用的实例能够被部署并且可被网络访问。
[0007] 在进一步的实施方式中，接收对定义实时数据分析应用的应用定义包的选择。应 用定义包指示应用名称并包括至少一个有效载荷定义、至少一个引用数据定义、至少一个 查询定义、以及可选的其它组件。提供实时数据分析应用的域名，并且生成与该域名相关联 的基于网络的服务。应用定义包被应用于应用模板以生成最终的实时数据分析包。最终的 实时数据分析包被解包以创建被部署到基于网络的服务的实时数据分析应用的实例。
[0008] 在一个实施方式中，实时数据分析服务包括数据分析应用框架和基于网络的服 务。数据分析应用框架可被配置以生成实时数据分析应用。数据分析应用框架包括事件 收集模块、引用数据服务、以及数据分析处理引擎。基于网络的服务执行在至少一个服务器 中，并且可被配置成为实时数据分析应用提供网络访问。事件收集模块被配置成接收定义 将由事件收集模块接收的实时数据的至少一个有效载荷定义。引用数据服务被配置成接收 定义由引用数据服务提供的引用数据的至少一个引用数据定义。数据分析处理引擎被配置 成接收定义至少一个查询的至少一个查询定义。数据分析处理引擎被配置成根据一个或多 个查询处理实时数据和引用数据以生成实时分析应用的输出数据。
[0009] 此处还描述了包含计算机可读存储介质的计算机程序产品，计算机程序产品存储 了计算机代码/指令，用于开发具有包形式的可部署实时数据分析应用、用于部署这样的 包以生成实时数据分析应用、以及用于运行所部署的实时数据分析应用的实例，计算机代 码/指令还实现了此处所描述的附加实施例。
[0010] 下面将参考各个附图，详细描述本发明的进一步特点和优点，以及本发明的各实 施例的结构和操作。值得注意的是，本发明不仅限于此处所描述的特定实施例。本文呈现 这些实施例仅用于说明性的用途。基于本文所包含的描述，其它实施例对于相关领域的技 术人员将是显而易见的。
【附图说明】
[0011] 结合到本说明书并构成本说明书的一部分的附图示出了本发明，且与描述一起， 进一步用于说明本发明的原理，并允许那些相关领域技术人员实施和使用本发明。
[0012] 图1示出了根据示例实施例的数据分析系统的框图。
[0013] 图2示出了根据示例实施例的、提供用于使用户能够开发可部署的数据分析应用 包的过程的流程图。
[0014] 图3示出了根据示例实施例的数据分析应用开发系统的框图。
[0015] 图4示出了根据示例实施例的、提供用于基于可部署的数据分析应用包部署数据 分析应用的过程的流程图。
[0016] 图5示出了根据示例实施例的数据分析应用管理系统的框图。
[0017] 图6示出了根据示例实施例的、提供用于运行作为数据分析应用包中的一项服务 而部署的数据分析应用的过程的流程图。
[0018] 图7示出了根据示例实施例的、可由数据分析应用包配置以作为数据分析服务运 行的应用模板的框图。
[0019] 图8示出了根据示例实施例的、根据数据分析应用包配置以实现完整数据分析服 务的图7的应用模板的框图。
[0020] 图9示出了根据示例实施例的、向基于云的数据分析服务的事件收集器提供数据 的数据获取网络的框图。
[0021] 图10示出了可用于实现本发明的各实施例的示例计算机的框图。
[0022] 当结合其中相同的附图标记标识对应的元素的附图时，本发明的特征和优点将从 以下阐述的详细描述中变得更加显而易见。在附图中，相同的参考标号一般指相同的、功能 上相似的和/或结构上相似的元素。其中元素第一次出现的附图由对应的参考标号中最左 侧的数字指示。
【具体实施方式】
[0023] I?介绍
[0024] 本说明书公开了包括本发明的各特征的一个或多个实施例。所公开的实施例只例 示了本发明。本发明的范围不仅限于所公开的实施例。本发明由所附的权利要求进行限定。
[0025] 说明书中对"一个实施例"、"实施例"、"示例实施例"等等的引用表示所描述的实 施例可包括特定特征、结构或特性，但是，每一个实施例可不必包括该特定特征、结构，或特 征。此外，这些短语不一定指相同的实施例。此外，当关于某一实施例描述特定特征、结构 或特性时，不管是否被明确描述，关于其他实施例来实现该特征、结构或特性被认为是在本 领域技术人员的知识范围内。
[0026] 本发明的多个示例性实施例在以下描述。应当理解，在此提供的任何章节/子章 节标题不旨在限制。本文档中描述了各实施例，并且任何类型的实施例可被包括在任何章 节/子章节下。此外，在任何章节/子章节中公开的各实施例可与在相同章节/子章节和 /或不同章节/子章节中描述的任何其它实施例以任何方式组合。
[0027] II?示例实施例
[0028] "数据分析"指的是用于分析数据以得出关于数据的结论的技术，"数据分析"由 许多实体使用以做出改进的商业决策、校验或反驳现有的模型或理论等等。数据分析可包 括对数据的检测、清理、转换、以及建模以突出有用信息、给出结论建议、支持作出决策、和/ 或提供其它有益结果。在一些情况下，可对"实时"数据执行数据分析，"实时"数据是一旦 被收集或生成就立即递送以供分析的数据。这样的实时数据可被持续接收，并且可在任何 时间被分析以做出关于收集时的可适用环境的结论。
[0029] 分析实时数据的数据分析应用可被称为实时分析应用。被部署到基于网络的服务 (例如，云服务）的实时数据分析应用可被称为实时数据分析服务。端对端实时数据分析服 务的部署是复杂且劳动密集的。这样的实时数据分析服务的开发者不得不耗费大量的时间 来为服务的各个组件编程，包括不得不编写服务的数据获取组件、分析组件、以及结果分发 组件。
[0030] 根据各实施例，提供了使得数据分析应用能够以更有效率的方式来开发的数据分 析框架或系统。例如，在一个实施例中，数据分析开发门户可被用来开发具有诸如包之类的 可部署形式的数据分析应用。管理门户可接收包，并可基于该包将数据分析应用的实例作 为服务部署在数据分析框架中。数据分析框架提供了用于数据收集的接口、用于执行数据 分析的分析引擎、以及用于输出信息给一个或多个客户机的接口。根据包对框架进行配置 以作为数据分析应用的数据分析服务运行。
[0031 ] 例如，在一个实施例中，提供了元数据驱动的实时分析框架。框架采用了用于端对 端实时分析方案的部署容器、以及实时分析服务主机。开发者可利用用来对端对端分析方 案建模的设计工具。分析模型包括开发者所配置的各个组件，诸如进入事件获取端点、进入 事件有效载荷定义、结果有效载荷定义、引用数据、控制流、以及配置。分析模型可被封装到 部署容器中，部署容器是可被提供到网络位置（例如，提供到"云"）的单个部署文件（例 如，adpac"文件）。
[0032] 实时分析服务主机可接收部署文件中的分析模型，并且可通过物理地实例化包括 在部署文件中的不同组件来部署分析模型。主机可自动将不同组件连接在一起，并且用户 可配置并启动所得到的数据分析方案作为实时数据分析方案。实时分析服务主机可被配置 成监视实时数据分析服务的健康。
[0033] 由此，根据各实施例，开发者可定义数据分析服务的核心组件，诸如输入数据的结 构、任何引用数据的结构、以及针对输入数据和引用数据执行的分析逻辑（例如，具有查询 的形式）以生成输出数据，而无需额外生成数据获取组件、分析组件、以及结果分发组件。 取而代之的，可为开发者提供数据获取组件、分析组件、以及结果分发组件的基础架构或框 架。在所提供的框架中实例化为开发者提供的组件以创建端对端数据分析服务。
[0034] 图1示出了根据示例实施例的数据分析系统100的框图。如图1中所示，数据分析 系统100包括部署门户102、管理门户104、以及作为数据分析应用110的服务的服务106。 部署门户102被配置成为开发者提供配置和打包数据分析应用的组件的接口（例如，工具 等）。组件的示例包括输入数据定义（或模型）、应用数据定义（或模型）、以及数据分析逻 辑定义（例如，一个或多个查询）。部署门户102对可传输的数据分析应用包108 (例如，文 件或其它容器）中的组件打包，并且可被部署以创建数据分析应用的实例。
[0035] 如图1中所示，管理门户104可接收数据分析应用包108,并且可通过解包其中所 包含的组件来创建由数据分析应用包108定义的数据分析应用的实例。例如，如图1中所 示，管理门户104可在服务106处部署数据分析应用包108以创建由服务106主控的数据 分析应用110。服务106包括数据分析应用110的框