一种适用于大数据环境的数据流存储管理方法及系统的制作方法
【专利摘要】本发明公开了一种适用于大数据环境的数据流存储管理方法和系统，首先建立数据服务器；然后获取存储数据；最后判断存储数据的数据量，数据量大时采用事件触发机制控制存储方式将存储数据存入数据服务器；数据量小时采用时钟频率控制存储方式将存储数据存入数据服务器。本发明提供一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储，提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔，利用窗口大小可变的批量存储模块，采用由多个单个动态大小的缓冲器组成的缓冲器组。对数据进行简单的处理和索引更新。提高数据流存储效率，提高信息服务响应速度，兼顾检索过程，提高检索效率；从而提高企业的运作效率。
【专利说明】一种适用于大数据环境的数据流存储管理方法及系统
【技术领域】
[0001]本发明涉及计算机信息数据存储，特别涉及一种适用于大数据环境的数据流存储管理方法及系统。
【背景技术】
[0002]大数据环境下现有的数据记录体系大多采用固定窗口大小批量存储的方式来存储数据。随着数据规模的扩大，存储的效率不高。
[0003]现有数据记录体系在对数据记录高并发性和数据的海量性的存储能力不足，并且数据记录对数据进行任何处理，后续查询就需要耗费更多的时间和资源来对数据进行检索。
[0004]因此需要一种适用于大数据环境的数据流存储管理方法及系统。
【发明内容】
[0005]有鉴于此，本发明所要解决的技术问题是提供一种适用于大数据环境的数据流存储管理方法及系统。
[0006]本发明是通过以下技术方案来实现的:
[0007]本发明的目的之一是提出一种适用于大数据环境的数据流存储管理方法；本发明的目的之二是提出一种适用于大数据环境的数据流存储管理系统。
[0008]本发明的目的之一是通过以下技术方案来实现的:
[0009]本发明提供的一种适用于大数据环境的数据流存储管理方法，包括以下步骤:
[0010]S1:建立数据服务器；
[0011]S2:获取存储数据；
[0012]S3:判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
[0013]S4:如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。
[0014]进一步，所述时钟频率控制存储过程采用以下步骤:
[0015]S31:获取数据量和数据类型；
[0016]S32:根据数据量和数据类型设置批量存储的动态窗口 ；
[0017]S33:设置存储时钟频率；
[0018]S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器；
[0019]S35:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0020]S36:如果否，则返回步骤S34。
[0021]进一步，所述事件触发机制控制存储过程采用以下步骤:
[0022]S41:获取数据量和数据类型；
[0023]S42:按照数据量和数据类型设置存储缓冲器；
[0024]S43:将数据存入存储缓冲器；
[0025]S44:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0026]S45:如果否，则返回步骤S43。
[0027]进一步，所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:
[0028]S5:获取存储数据的数据量；
[0029]S6:判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
[0030]S7:如果否，则将缓冲器的大小按预设倍率减小。
[0031]进一步，所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。
[0032]进一步，所述动态窗口采用以下步骤来调整:
[0033]首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
[0034]本发明的目的之二是通过以下技术方案来实现的:
[0035]本发明提供的一种适用于大数据环境的数据流存储管理系统，包括数据服务器单元、数据采集单元、存储模式单元；
[0036]所述数据服务器单元，用于建立数据服务器；
[0037]所述数据采集单元，用于获取存储数据；
[0038]所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式，所述存储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式；
[0039]所述事件触发机制控制存储模式，用于当存储数据的数据量超过预设阈值，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
[0040]所述时钟频率控制存储模式，用于当存储数据的数据量低于预设阈值，则采用时钟频率控制存储方式将存储数据存入数据服务器。
[0041]所述时钟频率控制存储模式采用以下步骤:
[0042]S31:获取数据量和数据类型；
[0043]S32:根据数据量和数据类型设置批量存储的动态窗口 ；
[0044]S33:设置存储时钟频率；
[0045]S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器；
[0046]S35:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0047]S36:如果否，则返回步骤S34 ；
[0048]所述事件触发机制控制存储模式采用以下步骤:
[0049]S41:获取数据量和数据类型；
[0050]S42:按照数据量和数据类型设置存储缓冲器；
[0051]S43:将数据存入存储缓冲器；
[0052]S44:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0053]S45:如果否，则返回步骤S43。
[0054]进一步，所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:
[0055]S5:获取存储数据的数据量；
[0056]S6:判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
[0057]S7:如果否，则将缓冲器的大小按预设倍率减小。
[0058]进一步，所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。
[0059]进一步，所述动态窗口采用以下步骤来调整:
[0060]首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
[0061]本发明的有益效果在于:本发明提供了一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储，提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔，利用窗口大小可变的批量存储模块，采用由多个单个动态大小的缓冲器组成的缓冲器组。并对数据进行简单的处理，进行索引更新。提高了数据流存储效率，提高了信息服务响应速度，并且兼顾后续的检索过程，为数据添加索引，提高检索效率；从而提闻企业的运作效率。
【专利附图】
【附图说明】
[0062]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中:
[0063]图1为本发明实施例提供的适用于大数据环境的数据流存储管理方法流程图；
[0064]图2为本发明实施例提供的适用于大数据环境的数据流存储管理系统图。
【具体实施方式】
[0065]以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
[0066]图1为本发明实施例提供的适用于大数据环境的数据流存储管理方法流程图；图2为本发明实施例提供的适用于大数据环境的数据流存储管理系统图，如图所示:本发明提供的一种适用于大数据环境的数据流存储管理方法，包括以下步骤:
[0067]S1:建立数据服务器；
[0068]S2:获取存储数据；
[0069]S3:判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
[0070]S4:如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。
[0071]所述时钟频率控制存储过程采用以下步骤:
[0072]S31:获取数据量和数据类型；
[0073]S32:根据数据量和数据类型设置批量存储的动态窗口 ；
[0074]S33:设置存储时钟频率；
[0075]S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器；
[0076]S35:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0077]S36:如果否，则返回步骤S34。
[0078]所述事件触发机制控制存储过程采用以下步骤:
[0079]S41:获取数据量和数据类型；
[0080]S42:按照数据量和数据类型设置存储缓冲器；
[0081]S43:将数据存入存储缓冲器；
[0082]S44:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0083]S45:如果否，则返回步骤S43。
[0084]所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:
[0085]S5:获取存储数据的数据量；
[0086]S6:判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
[0087]S7:如果否，则将缓冲器的大小按预设倍率减小。
[0088]所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。
[0089]所述动态窗口采用以下步骤来调整:
[0090]首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
[0091]本实施例还提供了一种适用于大数据环境的数据流存储管理系统，包括数据服务器单元、数据采集单元、存储模式单元；
[0092]所述数据服务器单元，用于建立数据服务器；
[0093]所述数据采集单元，用于获取存储数据；
[0094]所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式，所述存储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式；
[0095]所述事件触发机制控制存储模式，用于当存储数据的数据量超过预设阈值，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
[0096]所述时钟频率控制存储模式，用于当存储数据的数据量低于预设阈值，则采用时钟频率控制存储方式将存储数据存入数据服务器。
[0097]所述时钟频率控制存储模式采用以下步骤:
[0098]S31:获取数据量和数据类型；
[0099]S32:根据数据量和数据类型设置批量存储的动态窗口 ；
[0100]S33:设置存储时钟频率；
[0101]S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器；
[0102]S35:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0103]S36:如果否，则返回步骤S34 ；
[0104]所述事件触发机制控制存储模式采用以下步骤:
[0105]S41:获取数据量和数据类型；
[0106]S42:按照数据量和数据类型设置存储缓冲器；
[0107]S43:将数据存入存储缓冲器；
[0108]S44:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
[0109]S45:如果否，则返回步骤S43。
[0110]所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:
[0111]S5:获取存储数据的数据量；
[0112]S6:判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
[0113]S7:如果否，则将缓冲器的大小按预设倍率减小。
[0114]所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。
[0115]所述动态窗口采用以下步骤来调整:
[0116]首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
[0117]用户或者管理者还可以根据自己系统的配置和运行的标准来进行设置。如当一个数据块大于5G时，则将缓冲器的大小增大一倍或者是增大到一个具体的空间。
[0118]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
【权利要求】
1.一种适用于大数据环境的数据流存储管理方法，其特征在于:包括以下步骤: S1:建立数据服务器； 52:获取存储数据； 53:判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器； S4:如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。
2.根据权利要求1所述的适用于大数据环境的数据流存储管理方法，其特征在于:所述时钟频率控制存储过程采用以下步骤: S31:获取数据量和数据类型； S32:根据数据量和数据类型设置批量存储的动态窗口 ； 533:设置存储时钟频率； 534:按照动态窗口和存储时钟频率将数据存入存储缓冲器； 535:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； 536:如果否，则返回步骤S34。
3.根据权利要求1所述的适用于大数据环境的数据流存储管理方法，其特征在于:所述事件触发机制控制存储过程采用以下步骤: 541:获取数据量和数据类型； 542:按照数据量和数据类型设置存储缓冲器； 543:将数据存入存储缓冲器； 544:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； 545:如果否，则返回步骤S43。
4.根据权利要求2所述的适用于大数据环境的数据流存储管理方法，其特征在于:所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整: 55:获取存储数据的数据量； 56:判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大； 57:如果否，则将缓冲器的大小按预设倍率减小。
5.根据权利要求4所述的适用于大数据环境的数据流存储管理方法，其特征在于:所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。
6.根据权利要求2所述的适用于大数据环境的数据流存储管理方法，其特征在于:所述动态窗口采用以下步骤来调整: 首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
7.一种适用于大数据环境的数据流存储管理系统，其特征在于:包括数据服务器单元、数据采集单元和存储模式单元； 所述数据服务器单元，用于建立数据服务器； 所述数据采集单元，用于获取存储数据； 所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式，所述存储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式；所述事件触发机制控制存储模式，用于当存储数据的数据量超过预设阈值，则采用事件触发机制控制存储方式将存储数据存入数据服务器； 所述时钟频率控制存储模式，用于当存储数据的数据量低于预设阈值，则采用时钟频率控制存储方式将存储数据存入数据服务器。 所述时钟频率控制存储模式采用以下步骤: S31:获取数据量和数据类型； S32:根据数据量和数据类型设置批量存储的动态窗口 ； 533:设置存储时钟频率； 534:按照动态窗口和存储时钟频率将数据存入存储缓冲器； 535:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； 536:如果否，则返回步骤S34 ； 所述事件触发机制控制存储模式采用以下步骤: 541:获取数据量和数据类型； 542:按照数据量和数据类型设置存储缓冲器； 543:将数据存入存储缓冲器； 544:检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储； 545:如果否，则返回步骤S43。
8.根据权利要求7所述的适用于大数据环境的数据流存储管理系统，其特征在于:所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整: 55:获取存储数据的数据量； 56:判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大； 57:如果否，则将缓冲器的大小按预设倍率减小。
9.根据权利要求7所述的适用于大数据环境的数据流存储管理系统，其特征在于:所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。
10.根据权利要求7所述的适用于大数据环境的数据流存储管理系统，其特征在于:所述动态窗口采用以下步骤来调整: 首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
【文档编号】G06F12/08GK104050100SQ201410228006
【公开日】2014年9月17日 申请日期:2014年5月27日 优先权日:2014年5月27日
【发明者】张可, 柴毅, 周国庆, 汪嘉文 申请人:重庆大学