基于云的串流数据接收机和保存程序的制作方法
【专利说明】
【背景技术】
[0001 ] 企业必须处理大量的数据从而作出决策和取得成功。数据通常以诸如报告的形式提供。为了建立有意义的报告，企业依赖于多租户SAAS分析公司。建立和提供有意义的分析通常需要大量的资源，以及具有很高的成本。
[0002]建立报告通常需要获得数据、将数据转换成有意义的格式，并对有意义的数据进行分析来生成报告。数据存储、转换和处理需要数据模式以存储数据、转换数据和处理数据。这些任务通常通过管理员手动执行。目前，没有任何基于云的解决方案连接数据源并连续地为数据接收机供给原始数据以外的数据。
【发明内容】
[0003]本系统接收串流原始数据并将上下文插入原始数据中。上下文原始数据可以被分成小批并被传输到数据接收机和保存程序。原始数据可以包括上下文信息以及父子信息以帮助保存数据。上下文可以用来在不分析数据的情况下将数据放置在存储区中，由此在存储数据批的同时节省时间和资源。
[0004]在一个实施例中，用于串流数据的方法可以是通过从多个应用程序接收原始串流数据。上下文数据可以与一批原始数据关联。该一批原始数据和对应的上下文数据其后可以被传输到远程服务器。
[0005]在一个实施例中，用于通信导航数据的方法可以包括存储器、处理器、和一个或多个存储在存储器中I可以被处理器执行的模块。模块可以被执行以从多个应用程序接收原始串流数据、将上下文数据关联到一批原始数据、且将一批原始数据和对应的上下文数据传输到远程服务器。
【附图说明】
[0006]图1是示例性数据串流系统的框图。
[0007]图2是接收和保存数据的示例性方法。
[0008]图3是用于将上下文与原始数据关联的示例性方法。
[0009]图4是用于保存数据的示例性方法。
[0010]图5是用于执行本技术的装置的框图。
【具体实施方式】
[0011]本系统接收串流原始数据并将上下文插入到原始数据中。上下文数据可以被分成小批并被传输到数据接收机和保存程序。原始数据可以包括上下文信息以及父子信息，以帮助保存数据。上下文可以用于在不分析数据的情况下将数据放置在存储区中，由此节省存储数据批的时间和资源。
[0012]批可以是租户特定的、应用程序特定的，并分组为上下文感知的子组，以用于并行处理。上下文存储在记录中，并用批来处理，从而处理数据的应用程序不需要任何有关批数据的智能。上下文允许对多个应用程序和多个租户进行快速的、无状态的处理以及进行完全的数据隔绝。
[0013]上下文还提供对记录组的并行保存。本系统不需要处理数据来确定如何存储数据(例如，如何在存储区中存数据)。而是，上下文以记录格式存储，例如用表格来存储，并且包括具有上下文数据和批数据的父子数据的模式元数据。没有记录到模式的动态映射。目标模式可以基于租户信息和应用程序信息而被决定，并且可以高速动态地被决定。因此，如果记录A和记录B同时从租户A和租户B达到，则系统会基于租户和应用程序信息动态地决定记录的数据源。记录A可以保存在Hadoop/HBase数据存储单元中，而记录B可以存储在MySQL中。因此，本系统不仅是无模式的(schema-agnostic)，而且通过动态数据资源解决方案支持多边(polygot)保存。
[0014]一个或多个实施例可以使用全部或部分如下步骤。可以从数据提供程序/连接器(诸如，基于云的数据集成器)接收数据流初始消息。在接收到初始消息时，系统可以建立上下文(Tenantlnfo、Applnfo、Timinglnfo、Batchlnfo等)并将上下文信息发送回数据提供程序，然后将上下文插入原始数据中，从而让数据变得智能。上下文感知的原始数据可以被分成小批及并行传输到数据接收机和保存程序。原始数据可以包括附加的上下文信息以及父子信息以协助保存数据。在一些实施例中，本系统可以基于串流数据自动发现并创建模式。可以使用上下文来将数据放置在存储区中而不分析数据，由此在存储数据批的同时节省时间和资源。凭借上下文信息，数据可以自动地被诸如租户信息、应用程序信息、批信息和定时信息的参数共享，由此节省保存开销。在一些实施例中，本系统可以完全无状态的，并且可以不知道什么资源在发送什么数据以及什么时候和如何关联数据组，以及数据存储在哪里。
[0015]在实施例中，数据可以包括用于指示租户、应用程序、位置和与数据的关系的信息。在该上下文中，数据可以是租户感知的、应用程序感知的、位置感知的、和关系感知的。在一些实施例中，在数据流的一些阶段或在失败事件中(1>流起始，2>发送数据，3>流终止)集成服务器可以发送流终止信号(成功/失败)，从而本系统可以对特定批、应用程序和租户更新上下文状态。事实上，上下文信息的历史可以被存储到分开的元数据存储单元中，可以在任何失败的集成过程在重新启动后将会再次使用最后的成功批的上下文信息和将会从正确的时间窗获取数据。上下文信息还包括滑动时间窗，从而时间窗内任何过去的批将来可以被重演，以用于从源或目标保存存储单元进行数据恢复。独立探测上下文元数据可以在不影响主串流数据收集和保存流的情况下实现主动的错误发现、数据使用发现、弹性存储增加、自动升高处理带宽。基于上下文信息的自动存储提供和模式发现可以将进来的数据串流自动路由或重新路由到数据存储单元中。
[0016]可扩展的、非侵入的基于协议的技术可以被实现为打理多种类型的业务场景。这些场景包括将不同的业务应用程序、即时的业务分析和可视化、混搭来自不同资源的数据、实时业务提醒、业务决策制定和预测分析、基于云的业务数据备份和恢复集成起来，并通过利用本技术的特征来为不同的业务数据管理数据仓库。利用的特征可以包括(插入数据中的)上下文智能、完整的数据隔离、数据分享、数据扩展、上下文回滚、上下文备份、排序、自动重启、数据重演(时间机器)、主动的错误恢复、上下文查看(应用程序特定/租户特定/批特征/时间范围特定的)、上下文分析(租户/应用程序/对象的数据消耗模式)、和自动模式生成。
[0017]图1是示例性数据串流系统的框图。图1的系统包括租户服务器110和115、租户地区(clime) 120、集成服务器125、数据收集服务器(DCS) 130、分级数据库135、提取-变换-加载(ETL)服务器140、数据仓库数据库145、分析服务器150和客户端装置150。每个装置110-155可以通过网络(未示出)彼此通信。网络可以实施为个人网络、公共网络、WiFi网络、WAN、LAN、内联网、因特网、蜂窝网络或这些网络的组合。
[0018]服务器110和115及客户端装置120的每一者可以在多租户中与租户(客户组织)关联。多租户中的每个租户可以包括一个或多个服务器和客户端装置。每个服务器和客户端可以包括要由数据收集服务器130经由集成服务器125收集的数据。客户120可以实施为台式、膝上、笔记本、平板电脑、智能手机或一些其他的计算装置。
[0019]在一些实施例中，可以从单个接入点(诸如多租户SaaS云网站)从“云”(例如，从通过网络提供的资源)无缝提供本技术，以及可以从任何类型的客户端装置体验整个流。该独特的方法为用于实现数据集成、数据收集和保存、数据分析和可视化的不同类型的软件和硬件节省了多种类型的基建成本。
[0020]在实施例中，集成服务器125可以与不同的SAAS供应商通信，不管该SAAS供应商是从云还是从特定的机器提供，以及集成服务器125可以与数据收集服务器130通信。集成服务器可以包括一个或多个用于实施本技术的各方面的模块。插入模块126可以将与数据批相关的上下文数据和父子数据插入表格中。上下文数据可以包括诸如应用程序ID、批ID、租户ID的信息，并且可以包括用于获取数据的时间滑动窗(诸如时间范围)。包括上下文的批数据可以变成应用程序感知、租户感知、和上下文感知的。注入模块也可以插入父子信息，诸如当前的批、批子组或记录是否是另一个批、子组或记录的下一代或上一代