数据模型的自动采集方法及系统的制作方法
【技术领域】
[0001]本发明涉及互联网数据应用领域，尤其涉及一种数据模型的自动采集方法及系统。
【背景技术】
[0002]目前数据流处理都是针对每个公司自己的业务。开发基于业务对数据进行处理，这样针对性强，扩展难。在进入大数据时代，一份数据会有很多种功能。给自己公司使用的同时，可以粗加工一下，特供给其他公司使用。这样就需要一个数据处理工具，来对外提供特殊格式，特殊需求的数据。目前对于模型数据的采集处理，一般由运维人员手工配置，查询定制开发，这样容易造成上线麻烦，代码实现冗余，目前解决上述问题一般采用如下手段，1、归并解析思路，使数据模块化；2、在多种情况下，实现可配置化。但是那样需要积累各种工具的功能才能实现。
【发明内容】
[0003]为解决上述技术问题，本发明公开了一种数据模型的自动采集方法，其包含如下步骤:
[0004]根据采集数据的类型和需求定义并建立数据模型；
[0005]根据采集数据的样式及规则进行数据解析；
[0006]对解析后的数据进行数据过滤处理；
[0007]对过滤后的数据重新映射到数据模型进行匹配；
[0008]对匹配成功的数据配置展示模型并启动采集工作。
[0009]优选地，数据的解析方式为流式解析。
[0010]优选地，所述流式解析包括将无规则的数据解析为单数据、行数据、表格数据三种类型。
[0011]优选地，数据的过滤包括列过滤、行过滤以及匹配过滤。
[0012]优选地，对数据的解析通过数据解析器实现，所述数据解析器设有多个。
[0013]优选地，对数据的过滤通过数据过滤器实现，所述数据过滤器设有多个。
[0014]优选地，对数据的配置接入规则依据网络协议、连接地址以及端口信息。
[0015]另一方面，本发明还同时提供了一种数据模型的自动采集系统，所述系统包括:
[0016]建模模块，用于根据采集数据的类型定义并建立数据模型；
[0017]解析模块，用于根据采集数据的样式及规则进行数据解析；
[0018]过滤模块，用于对解析后的数据进行数据过滤处理；
[0019]映射匹配模块，用于对过滤后的数据重新映射到数据模型进行匹配；
[0020]采集模块，用于对匹配成功的数据配置展示模型并启动采集工作。
[0021 ]优选地，所述系统中，所述解析模块通过数据解析器实现，所述数据解析器设有多个。
[0022]优选地，所述系统中，所述过滤模块通过数据过滤器实现，所述数据过滤器设有多个。
[0023]与现有技术相比，本发明所提供的数据模型的自动采集方案，基于实时大数据流技术，充分利用报文大数据的优势，尽量挖掘有效的信息为目标提供支持，采用的数据维度增加，补全结果的准确度也会随之增提高。
【附图说明】
[0024]图1为本发明实施例中的数据模型的自动采集方法的原理示意图。
[0025]图2为本发明实施例中的数据模型的自动采集方法的工作流程图。
【具体实施方式】
[0026]如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，产品制造商可能会用不同名词来称呼同一个部件。本说明书及权利要求并不以名称的差异来作为区分部件的方式，而是以部件在功能上的差异来作为区分的准则。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
[0027]以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。
[0028]参照附图1，本发明所提供的数据模型的自动采集方法，包括如下步骤:
[0029]步骤一，配置数据接入规则；接入规则采用例如通讯协议、连接地址、端口信息等来进行配置。
[0030]步骤二，根据采集数据的类型和需求定义并建立数据模型；例如根据采集车数据、采集服务器数据等不同的模式建立对应的数据模型。
[0031]步骤三，根据采集数据的样式进行数据解析；根据采集数据的样式及采集数据的规则来指定解析方式，解析遵从流式解析规则，即把无规则的数据解析为单数据，行数据，表格数据三种类型。
[0032]步骤四，对解析后的数据进行数据过滤处理；对上述解析完成的三种类型的数据再进行过滤，过滤提供多种过滤规则，包括列过滤、行过滤、匹配过滤等方式。
[0033]步骤五，对过滤后的数据重新映射到数据模型进行匹配。
[0034]步骤六，对匹配成功的数据配置展示模型并启动采集工作。展示模型也依托于建立的数据模型，例如服务器模型，包括cpu、内存等。展示模型同样也会根据这些模型架构来配置展示模型。当配置成功后，即可启动采集工作，打开分析页面。其中，在本发明更优选的实施例中，数据模型的自动采集系统支持动态的横向扩展，也可同时部署多个以并行或冗余的方式工作；对于数据展示，除依赖于预定义或自动建立的展示模型外，系统还可提供初步的展示配置工具，由使用者(用户或管理者)来指定配置展示模型。
[0035]本发明所提供的数据模型的自动采集方法立足于对实时数据流，特供各种可配置的挖掘。并依据不断完善的数据模型、连接器、解析器、过滤器、匹配器、展示器为一种数据提供多种业务提供方便实现途径，为多种数据提供一种业务提供方便的集合。
[0036]具体来说，用户首先开始业务建模，通过连接器设置连接参数，也就是接入规则，连接成功后，通过数据解析器1、数据解析器2…数据解析器η等多个数据解析器分别对数据解析。解析后再对数据分别过滤处理，通过数据过滤器1、数据过滤器2…数据过滤器η依次对解析完毕的数据进行过滤处理。其中，多个解析器和过滤器可采用并行方式对大数据进行处理，以提高处理效率。解析器和过滤器根据系统需求和预定规则进行设置，每个解析器/过滤器处理数据的类型和方式可以相同也可不同，以方便针对不同类型的数据和不同的数据量采用适当的并行处理方式。过滤后的数据进行模型匹配，匹配完毕后生成标准数据，然后根据不同的要求，通过数据散发器将标准数据分成两类，一部分提供给第三方平台应用，另一部分作为平台展示，显示各种模型数据。
[0037]本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是:ROM/RAM、磁碟、光盘、存储卡等。因此，本领域相关技术人员应能理解，与本发明的方法相对应的，本发明还同时包括一种数据模型的自动采集系统，该系统各功能模块与上述方法步骤一一对应，在此不再赘述。
[0038]本发明所提供的数据模型的自动采集方案，基于实时大数据流技术，充分利用报文大数据的优势，尽量挖掘有效的信息为目标提供支持，采用的数据维度增加，补全结果的准确度也会随之增提高。
[0039]上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
【主权项】
1.一种数据模型的自动采集方法，其特征在于，该方法包括步骤: 根据采集数据的类型和需求定义并建立数据模型； 根据采集数据的样式及规则进行数据解析； 对解析后的数据进行数据过滤处理； 对过滤后的数据重新映射到数据模型进行匹配； 对匹配成功的数据配置展示模型并启动采集工作。
2.如权利要求1所述的采集方法，其特征在于，数据的解析方式为流式解析。
3.如权利要求2所述的采集方法，其特征在于，所述流式解析包括将无规则的数据解析为单数据、行数据、表格数据三种类型。
4.如权利要求1所述的采集方法，其特征在于，数据的过滤包括列过滤、行过滤以及匹配过滤。
5.如权利要求1所述的采集方法，其特征在于，对数据的解析通过数据解析器实现，所述数据解析器设有多个。
6.如权利要求1所述的采集方法，其特征在于，对数据的过滤通过数据过滤器实现，所述数据过滤器设有多个。
7.如权利要求1所述的采集方法，其特征在于，对数据的配置接入规则依据网络协议、连接地址以及端口信息。
8.一种数据模型的自动采集系统，其特征在于，所述系统包括: 建模模块，用于根据采集数据的类型和需求定义并建立数据模型； 解析模块，用于根据采集数据的样式及规则进行数据解析； 过滤模块，用于对解析后的数据进行数据过滤处理； 映射匹配模块，用于对过滤后的数据重新映射到数据模型进行匹配； 采集模块，用于对匹配成功的数据配置展示模型并启动采集工作。
9.如权利要求8所述的系统，其特征在于，所述系统中，所述解析模块通过数据解析器实现，所述数据解析器设有多个。
10.如权利要求8所述的系统，其特征在于，所述系统中，所述过滤模块通过数据过滤器实现，所述数据过滤器设有多个。
【专利摘要】本发明涉及互联网技术领域，公开了一种数据模型的自动采集方法及系统。该方法包括步骤：配置数据接入规则；根据采集数据的类型和需求定义并建立数据模型；根据采集数据的样式及规则进行数据解析；对解析后的数据进行数据过滤处理；对过滤后的数据重新映射到数据模型进行匹配；对匹配成功的数据配置展示模型并启动采集工作。与现有技术相比，本发明所提供的数据模型的自动采集方法，基于实时大数据流技术，充分利用报文大数据的优势，尽量挖掘有效的信息为目标提供支持，采用的数据维度增加，补全结果的准确度也会随之增提高。
【IPC分类】H04L29-08
【公开号】CN104618459
【申请号】CN201510016361
【发明人】王登峰
【申请人】北京中交兴路车联网科技有限公司
【公开日】2015年5月13日
【申请日】2015年1月13日