一种针对大量数据的优化储存方法
【专利摘要】本发明公开了一种针对大量数据的优化存储方法，按如下步骤进行：S1.将经过合法性校验的数据按照一定的规则分割成小块，将每个小块的数据存入对应的表中；S2.对步骤S1中存储数据的表进行判断，如果表中的数据达到百万量级，则将此表按照设定的时间段做为时间间隔进行数据切割，再次分割成小表存储，每个小表中只存储对应时间段内的数据。本发明解决了大量数据的累积导致数据库急速膨胀，无限扩大，查询速度慢，降低了数据利用效率等弊端，达到降低数据库负载，提高数据利用效率的效果。
【专利说明】一种针对大量数据的优化储存方法
【技术领域】
[0001]本发明涉及一种数据的优化存储方法，具体涉及一种大量数据的优化存储方法，属于计算机数据处理【技术领域】。
【背景技术】
[0002]目前，由于数据的飞速发展，数据量越来越大，大数据的存储与查询成为很大的难题。现今云技术做为大数据和快数据的处理技术，被越来越多的应用在很多信息领域，如何根据需要来处理庞大的云数据成了自然而然的问题。处理大量数据最直接的方法是直接存入相应的数据库，这种方法对服务器性能要求高，而且如果每次使用都要到庞大的数据库中去查询所需的数据，查询速度慢，效率低，而如果只做简单的分表也无法达到理想的效果，数据库的负载仍然很大，不能快速的对数据进行定位，无法提高数据查询速度。
【发明内容】
[0003]发明目的:本发明的目的在于针对现有技术的不足，提供一种降低数据库负载、提高数据查询速度及利用效率的针对大量数据的优化存储方法。
[0004]技术方案:本发明提供一种针对大量数据的优化存储方法，按如下步骤进行:
51、将经过合法性校验的数据按照一定的规则分割成小块，将每个小块的数据存入对应的表中；
52、对步骤SI中存储数据的表进行判断，如果表中的数据达到百万量级，则将此表按照设定的时间段做为时间间隔进行数据切割，再次分割成小表存储，每个小表中只存储对应时间段内的数据。
[0005]本发明技术方案的进一步限定为，步骤S2中，所述设定的时间段为时间间隔由短到长的i个时间段，按照设定的时间段进行数据切割时，先选择第i个时间段做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果还存在数据达到百万量级的表，则选择第i_l个时间段做为时间间隔再次对数据达到百万量级的表进行数据切割，循环如上操作，直至无数据达到百万量级的表存在或者设定的时间段全部使用。
[0006]进一步地，步骤S2中，所述设定的时间段为一天、一周和一个月，按照设定的时间段进行数据切割时，先选择一个月做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一周时间段再次对数据达到百万量级的表进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一天时间段再次对数据达到百万量级的表进行数据切割，完成此次数据存储。
[0007]进一步地，如果再次分割成的小表中的数据超出设定的时间段的范围，则进行自动的删除。
[0008]进一步地，步骤S2中，将数据达到百万量级的表进行数据切割后，对分割的数据进行判断，如果两个及两个以上的数据单位合并后的表仍小于百万量级，则先将表进行合并，然后再存入小表。
[0009]有益效果:本发明提供的一种针对大量数据的优化存储方法，通个分时段对数据达到百万量级的表进行数据切割，对各个时间段的数据进行单独维护，解决了大量数据的累积导致数据库急速膨胀，无限扩大，查询速度慢，降低了数据利用效率等弊端，达到降低数据库负载，提高数据利用效率的效果。
【专利附图】
【附图说明】
[0010]图1为本发明提供的一种针对大量数据的优化存储方法的流程图。
【具体实施方式】
[0011]下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0012]实施例:本实施例提供一种针对大量数据的优化存储方法，本发明应用于云技术对大数据的接收处理中，当云服务器接收大量数据对数据进行解析后，将对数据进行优化存储，具体优化存储的方法流程图如图1所示，按如下步骤进行:
S1、将经过合法性校验的数据按照一定的规则分割成小块，将每个小块的数据存入对应的表中。
[0013]合法性校验包括对收到数据包的校验和对包中数据的校验，数据包主要是通过md5值来校验包的来源是否正确，是否为网络攻击注入包，如果数据包是合法的，将数据包进行解析，对里面的数据进行分析，是否为所需要的正确的数据。
[0014]数据分割的规则，根据数据对应的表而定，所有的数据不可能存放在一张表中，解析后的数据会有固定的标识来显示各部分数据该存在哪些表中，比如用户信息存在用户表中，网络流量信息存在网络流量所对应的表中，固定的规则即为约定好的标识。
[0015]存储数据的表是在建库时就建好的，并不需要动态建表。不同的表数据结构是不同的，表是表与表之间是相互依存又各自独立的，一张表中的数据是另一张表中数据通过计算合并后存入的，使用时各自独立被使用。表中的数据如果不处理的话表中的数据会一直增加，该方法的目的就是处理一直增加的数据，使之不会无限增大。
[0016]对网络数据合法性的校验、对数据的分割及数据库建表为目前成熟的技术，本领域的技术人员可以采用常规的知识实现，此处不做论述。
[0017]S2、对步骤SI中存储数据的表进行判断，如果表中的数据达到百万量级，则将此表按照设定的时间段做为时间间隔进行数据切割对分割的数据进行判断，如果两个及两个以上的数据单位合并后的表仍小于百万量级，则先将表进行合并，然后再存入小表。每个小表中只存储对应时间段内的数据。比如每15分钟收到一笔数据，将该笔数据存入最近一天的表中，然后每四笔数据合成一笔数据存入最近一周的数据表中，以此类推，将各表中超出时间范围的数据自动删掉，如此数据库的大小以及数据量都不会无效增大。
[0018]具体分时段进行数据分隔的方法为:设定的时间段为时间间隔由短到长的i个时间段，按照设定的时间段进行数据切割时，先选择第i个时间段做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果还存在数据达到百万量级的表，则选择第1-1个时间段做为时间间隔再次对数据达到百万量级的表进行数据切割，循环如上操作，直至无数据达到百万量级的表存在或者设定的时间段全部使用。如果再次分割成的小表中的数据超出设定的时间段的范围，则进行自动的删除。
[0019]本实施例中，设定的时间段为一天、一周和一个月，按照设定的时间段进行数据切割时，先选择一个月做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一周时间段再次对数据达到百万量级的表进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一天时间段再次对数据达到百万量级的表进行数据切割，完成此次数据存储。如果再次分割成的小表中的数据超出设定的时间段的范围，则进行自动的删除。
[0020]本发明通个分时段对数据庞大的表进行数据切割，对各个时间段的数据进行单独维护，解决了大量数据的累积导致数据库急速膨胀，无限扩大，查询速度慢。
[0021]如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。
【权利要求】
1.一种针对大量数据的优化存储方法，其特征在于，按如下步骤进行: 51、将经过合法性校验的数据按照一定的规则分割成小块，将每个小块的数据存入对应的表中； 52、对步骤SI中存储数据的表进行判断，如果表中的数据达到百万量级，则将此表按照设定的时间段做为时间间隔进行数据切割，再次分割成小表存储，每个小表中只存储对应时间段内的数据。
2.根据权利要求1所述的一种针对大量数据的优化存储方法，其特征在于，步骤S2中，所述设定的时间段为时间间隔由短到长的i个时间段，按照设定的时间段进行数据切割时，先选择第i个时间段做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果还存在数据达到百万量级的表，则选择第i_l个时间段做为时间间隔再次对数据达到百万量级的表进行数据切割，循环如上操作，直至无数据达到百万量级的表存在或者设定的时间段全部使用。
3.根据权利要求2所述的一种针对大量数据的优化存储方法，其特征在于，步骤S2中，所述设定的时间段为一天、一周和一个月，按照设定的时间段进行数据切割时，先选择一个月做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一周时间段再次对数据达到百万量级的表进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一天时间段再次对数据达到百万量级的表进行数据切割，完成此次数据存储。
4.根据权利要求1所述的一种针对大量数据的优化存储方法，其特征在于，如果再次分割成的小表中的数据超出设定的时间段的范围，则进行自动的删除。
5.根据权利要求1所述的一种针对大量数据的优化存储方法，其特征在于，步骤S2中，将数据达到百万量级的表进行数据切割后，对分割的数据进行判断，如果两个及两个以上的数据单位合并后的表仍小于百万量级，则先将表进行合并，然后再存入小表。
【文档编号】G06F17/30GK103473271SQ201310363130
【公开日】2013年12月25日 申请日期:2013年8月20日 优先权日:2013年8月20日
【发明者】董营, 孟诗寂 申请人:苏州迈科网络安全技术股份有限公司