本发明涉及数据处理,具体地说是基于数据模型的模型动态解析及数据分析方法及系统。
背景技术:
1、在数据应用过程中,通常需要从多个源端采集数据并对采集的数据进行分析处理。但是不同源端的数据格式不同,从而影响了大量数据的分析和处理效率、
2、如何高效的处理多维数据,是需要解决的技术问题。
技术实现思路
1、本发明的技术任务是针对以上不足,提供基于数据模型的模型动态解析及数据分析方法及系统,来解决如何高效的处理多维数据的技术问题。
2、第一方面,本发明一种基于数据模型的模型动态解析及数据分析方法,用于将采集的数据上传业务系统,包括如下步骤:
3、配置并管理数据模型:根据数据管理需求设置相应的数据模型,所述数据模型能够支持多种数据格式;
4、配置并管理数据字段模板:根据数据模型、设置并导入相应的数据字段模板,生成对应的数据库表;
5、上传数据:对于需要上传的数据,管理需要上传的数据并按照对应的数据字段模板对数据进行格式化,得到格式化的数据;
6、数据存储:对于格式化的数据,将数据存储至对应数据库表中;
7、数据分析:基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
8、作为优选,数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
9、作为优选,管理数据模型包括对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
10、作为优选,管理数据字段模板包括维护模版信息、字段列、字段类型及长度。
11、作为优选,管理需要上传的数据包括上传对应模型文件、维护数据周期参数、以及解析数据。
12、第二方面,本发明一种基于数据模型的模型动态解析及数据分析系统,用于通过如第一方面任一项所述的基于数据模型的模型动态解析及数据分析方法实现数据分析,所述系统包括数据模型配置管理模块、数据字段模板配置管理模块、数据上传模块、数据存储模块以及数据分析模块;
13、数据模型配置管理模块用于执行如下:根据数据管理需求设置相应的数据模型,所述数据模型能够支持多种数据格式;
14、数据字段模板配置管理模块用于执行如下:根据数据模型、设置并导入相应的数据字段模板,生成对应的数据库表;
15、数据上传模块用于执行如下:对于需要上传的数据,管理需要上传的数据并按照对应的数据字段模板对数据进行格式化,得到格式化的数据;
16、数据存储模块用于执行如下:对于格式化的数据,将数据存储至对应数据库表中;
17、数据分析模块用于执行如下:基于预配置的数据分析工具对存储于数据库表中的数据进行多维分析和查询。
18、作为优选,数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
19、作为优选,数据模型配置管理模块用于对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
20、作为优选,对于数据字段模板,数据字段模板配置管理模块用于维护模版信息、字段列、字段类型及长度。
21、作为优选,对于需要上传的数据,数据上传模块用于上传对应模型文件、维护数据周期参数、以及解析数据。
22、本发明的基于数据模型的模型动态解析及数据分析方法及系统具有以下优点:大大提高了数据上传的速度和效率,可以快速地处理多维数据,提高了数据处理和分析的速度和效率,可广泛应用于各种数据分析领域,从而为实时的数据分析和决策提供更加准确和有用的信息。
1.一种基于数据模型的模型动态解析及数据分析方法,其特征在于,用于将采集的数据上传业务系统,包括如下步骤:
2.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法,其特征在于,数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
3.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法,其特征在于,管理数据模型包括对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
4.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法,其特征在于,管理数据字段模板包括维护模版信息、字段列、字段类型及长度。
5.根据权利要求1所述的基于数据模型的模型动态解析及数据分析方法,其特征在于,管理需要上传的数据包括上传对应模型文件、维护数据周期参数、以及解析数据。
6.一种基于数据模型的模型动态解析及数据分析系统,其特征在于,用于通过如权利要求1-5任一项所述的基于数据模型的模型动态解析及数据分析方法实现数据分析,所述系统包括数据模型配置管理模块、数据字段模板配置管理模块、数据上传模块、数据存储模块以及数据分析模块;
7.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统,其特征在于,数据模型支持的数据格式包括数字、文本、浮点以及时间序列。
8.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统,其特征在于,数据模型配置管理模块用于对数据模型进行新增操作、启用操作、停用操作、生成操作以及建表操作。
9.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统,其特征在于,对于数据字段模板,数据字段模板配置管理模块用于维护模版信息、字段列、字段类型及长度。
10.根据权利要求6所述的基于数据模型的模型动态解析及数据分析系统,其特征在于,对于需要上传的数据,数据上传模块用于上传对应模型文件、维护数据周期参数、以及解析数据。