数据动态压缩方法、装置及网络数据存储系统与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据动态压缩方法、装置及网络数据存储系统。


背景技术：

2.互联网的快速发展，不仅方便了生活，而且也带来了越来越多的信息安全问题。现在的网络安全产品已很难可以做到实时检测攻击的行为，事后分析越来越成为了主流，而事后分析有一个重要的手段是全包留存，便于后续调查取证以及分析攻击行为。
3.在全包捕获产品中，为了提高硬盘利用率，通常会对数据进行压缩，但是在对压缩率(描述压缩的效果，是文件压缩后的大小与压缩前的大小之比，例如：把100mb的数据压缩后是90mb，压缩率为90/100*100％＝90％，压缩率一般是越小越好)大的数据进行压缩时，不仅压缩效果、节省硬盘空间不理想，而且还消耗大量的计算资源，从而压缩性价比较低。


技术实现要素：

4.本发明提供一种数据动态压缩方法、装置及网络数据存储系统，用以克服上述现有技术中存在的技术问题，可以提高网络安全产品的压缩性价比。
5.本发明提供的一种数据动态压缩方法，包括：
6.获取当前检测周期内同类应用数据的压缩率和压缩数据比例；
7.当压缩率大于预设的该类型应用数据的压缩率阈值时，降低下一检测周期的该类型应用数据的压缩数据比例；
8.当压缩率小于预设的该类型应用数据的压缩率阈值时，提高下一检测周期的该类型应用数据的压缩数据比例。
9.本发明还提供一种数据动态压缩装置，包括：
10.获取模块，用于获取当前检测周期内同类应用数据的压缩率和压缩数据比例；
11.处理模块，用于当压缩率大于预设的该类型应用数据的压缩率阈值时，降低下一检测周期的该类型应用数据的压缩数据比例；当压缩率小于预设的该类型应用数据的压缩率阈值时，提高下一检测周期的该类型应用数据的压缩数据比例。
12.本发明还提供一种网络数据存储系统，包括：用于捕获网络应用数据的数据采集存储装置和数据动态压缩装置，数据采集存储装置从网络中获取各种类型的应用数据并进行存储，数据动态压缩装置将数据采集存储装置采集的应用数据采用如上述的方法进行动态压缩后存储于数据采集存储装置。
13.本发明实施例通过比较当前检测周期的压缩率与阈值的关系对下一周期的压缩比例进行调整，使得压缩性能不理想的应用逐步减少压缩数据的比例，而压缩性能较好的应用逐步增加压缩数据的比例，避免压缩资源浪费在压缩率大的网络数据上，实现了将有限的计算资源尽量只对压缩率小的数据进行压缩的较好效果，从而有效利用了系统的数据压缩计算资源和存储空间，保证了整个存储系统的数据压缩性能，有利于cpu资源和硬盘资
源的均衡。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明实施例提供的一种数据动态压缩方法的流程图；
16.图2为本发明实施例提供的数据动态压缩的原理示意图；
17.图3为本发明实施例提供的数据动态压缩示意流程图；
18.图4为本发明实施例提供的一种数据动态压缩方法的完整流程图；
19.图5为本发明实施例提供的一种数据动态压缩装置的结构示意图；
20.图6为本发明实施例提供的另一种数据动态压缩装置的结构示意图；
21.图7为本发明实施例提供的一种网络数据存储系统的结构示意图。
具体实施方式
22.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.为使本发明的技术方案更加清楚，以下结合附图对本发明的实施例进行详细说明。
24.图1为本发明实施例提供的一种数据动态压缩方法的流程图，本实施例的执行主体可以为数据动态压缩装置，具体可以为网络安全产品中网络数据捕获存储装置，如图1所示，本实施例的数据动态压缩方法包括：
25.步骤101、获取当前检测周期内同类应用数据的压缩率和压缩数据比例。
26.压缩数据比例，指的是在同类数据中，需要进行压缩的数据占比(0-100％之间)。例如：0％代表所有数据不压缩；20％代表此类数据中，有20％的数据进行压缩，其它数据不进行压缩；100％代表此类数据全部都压缩。
27.压缩率是文件压缩后的大小与压缩前的大小之比，在本发明中，压缩率用于决定下一个周期在处理数据时，将压缩数据比例调低还是调高，本次(当前)检测周期结束后，压缩率清零，而且每一检测周期单独统计。
28.本步骤中，首先通过获取当前检测周期的应用数据的压缩率和压缩数据比例，以便于确定下一周期同类型应用数据的压缩数据比例的调整方向。
29.步骤102、当压缩率大于预设的该类型应用数据的压缩率阈值时，降低下一检测周期的该类型应用数据的压缩数据比例；当压缩率小于预设的该类型应用数据的压缩率阈值时，提高下一检测周期的该类型应用数据的压缩数据比例。
30.压缩率大于预设的该类型应用数据的压缩率阈值，说明对该类型应用数据的压缩效果不明显，因此，下一周期可以减少对该类型应用数据的压缩比例。而压缩率小于预设的
该类型应用数据的压缩率阈值，说明相应的应用数据的压缩效果比较理想，下一周期可以对更多的数据进行压缩，即提高对该类型应用数据的压缩比例。如果压缩率等于阈值，可以不对该应用的下一周期的压缩比例进行调整。本实施例通过比较压缩率与压缩率阈值的大小可以将有限的压缩计算资源倾向于压缩效果较好的应用数据，从而可整体上提升网络数据资源的压缩效果。
31.本实施例中，提高或降低下一检测周期的该类型应用数据的压缩数据比例，具体可以为：对下一检测周期的该类型应用数据的压缩比例每次调整一个比例调整单位。比例调整单位指的是压缩数据比例调整时的比例单位，例如：比例调整单位为10％，将压缩数据比例80％提高一个比例调整单位后为90％。比例调整单位的值可以根据实际应用场景而设置。
32.实际应用中，在获取当前检测周期内应用数据的压缩率和压缩数据比例之后，首先还要判断压缩数据比例是否为0，若压缩数据比例为0，说明此应用数据的压缩率比较大，对此数据决定不压缩。对压缩数据比例为0的应用数据可直接提高下一检测周期的该类型应用数据的压缩数据比例，如提高一个比例调整单位(具体的调整大小可以根据应用场景而定)，用于在下一个检测周期内对此应用数据的一小部分数据进行压缩，测试压缩率。若压缩数据比例不为0，且当前检测周期有数据压缩，则根据步骤102的调整方法进行处理，即根据压缩率与压缩率阈值的关系确定提高或降低下一检测周期的该类型应用数据的压缩数据比例。
33.本发明的数据动态压缩装置开始工作时，即首个检测周期开始时，压缩率清零初始化，压缩数据比例初始化为预设值，该预设值可根据应用数据不同而设置不同数值，即压缩数据比例可以根据应用数据的压缩率初始化为0-100％之间的任意值，如应用按经验分析压缩率大的则将压缩数据比例初始小一些(例如：初始化为20％)，如应用按经验分析压缩率小的则将压缩数据比例初始大一些(例如：初始化为80％)，不了解的应用可以初始化为50％，表示初始状体时一半数据压缩，一半数据不压缩。
34.每个检测周期结束，将压缩率清零，将压缩数据比例存储为该检测周期调整后的压缩数据比例，以用于下一检测周期对应用数据进行压缩时的比例控制。
35.考虑到相同应用压缩率相近，不同应用压缩率会有差别，本发明实施例中，根据应用类型来分类压缩数据，并且将每类应用的数据汇聚在一起。具体来说，每类应用的数据按照时间间隔(例如：30秒，可根据需要自行调整)划分为相邻的检测周期，每个检测周期根据本检测周期的压缩率来调整下一检测周期的压缩数据比例。即本实施例的方法中，在获取当前检测周期内同类应用数据的压缩率和压缩数据比例之前，还包括：根据应用类型对接收的网络应用数据进行分类并汇聚；将每一类应用数据按照等时间间隔进行检测周期划分；以及对每一类应用数据分别依照检测周期顺序进行压缩。图2为本发明实施例提供的数据动态压缩的原理示意图，图3为本发明实施例提供的数据动态压缩示意流程图，如图2和图3所示，有三种类型的应用数据，以检测周期5为例进行说明，在周期5中，应用a没有压缩数据，无需调整压缩比例，进入下个周期；应用b有压缩数据，且压缩率未达到理想状态(压缩率较高)，调小压缩数据比例，使得下一周期让更少的数据进行压缩；应用c有压缩数据，且压缩率达到理想状态(压缩率较低)，可以调大压缩数据比例，使得下一周期让更多的数据进行压缩。在图3中，首先是检测周期收集数据，即收集当前检测周期的压缩率和压缩数
据比例，接下来判断该周期内的数据压缩比例是否为0，如为0，则说明该应用的压缩率较大，对数据进行压缩并不能节省多少存储空间，但为了监测测试该应用的压缩率，可以将该应用的压缩比例提升一个单位，以保证下一周期能对该应用进行一定的数据压缩。如压缩比例不为0，则再判断该检测周期是否有数据压缩，如没有数据压缩，则不对压缩比例进行调整，并返回到下一检测周期，如有数据压缩，则进一步判断压缩率与阈值的关系，如压缩率大于阈值，则压缩比例调小一个调整比例，否则调大一个调整比例，之后进入下一个检测周期重复前面的过程，通过上述过程，可以使得压缩率较高的应用逐步降低压缩比例，而压缩率较低的应用逐步提高压缩比例，对于整个网络数据存储系统来说，整体上提升了数据压缩性能，节省了系统的存储计算资源和存储空间。
36.图4为本发明实施例提供的一种数据动态压缩方法的完整流程图，如图4所示，本实施例的方法包括如下步骤：
37.步骤201、根据应用类型对接收的网络应用数据进行分类并汇聚；
38.步骤202、将每一类应用数据按照等时间间隔进行检测周期划分；
39.步骤203、依照前一检测周期结束后存储记录的压缩数据比例对当前检测周期的同类型应用数据进行压缩；
40.步骤204、获取当前检测周期内同类应用数据的压缩率和压缩数据比例；
41.步骤205、压缩率与压缩率阈值进行比较，如压缩率较大，则降低下一检测周期的压缩比例，如压缩率较小，则提高下一检测周期的压缩比例，如相等则对下一检测周期的压缩比例不做调整。之后进入下一检测周期进行压缩检测处理。
42.本发明实施例通过比较当前检测周期的压缩率与阈值的关系对下一周期的压缩比例进行调整，使得压缩性能不理想的应用逐步减少压缩数据的比例，而压缩性能较好的应用逐步增加压缩数据的比例，避免压缩资源浪费在压缩率大的网络数据上，实现了将有限的计算资源尽量只对压缩率小的数据进行压缩的较好效果，从而有效利用了系统的数据压缩计算资源和存储空间，保证了整个存储系统的数据压缩性能，有利于cpu资源和硬盘资源的均衡。
43.图5为本发明实施例提供的一种数据动态压缩装置的结构示意图，如图5所示，本实施例的数据动态压缩装置，包括：获取模块10和处理模块20，获取模块10，用于获取当前检测周期内同类应用数据的压缩率和压缩数据比例；处理模块20，用于当压缩率大于预设的该类型应用数据的压缩率阈值时，降低下一检测周期的该类型应用数据的压缩数据比例；当压缩率小于预设的该类型应用数据的压缩率阈值时，提高下一检测周期的该类型应用数据的压缩数据比例。本实施例中，获取模块采集本周期的应用数据的压缩率和压缩数据比例，处理模块基于获取模块采集的压缩率确定对该应用数据在下一检测周期的压缩数据比例是否进行调整，以达到整个系统压缩性能的逐步提升。
44.本实施例的工作原理及达到的技术效果与上述方法实施例的技术效果类似，在此不再赘述。
45.图6为本发明实施例提供的另一种数据动态压缩装置的结构示意图，在实际应用中，如图6所示，本发明的数据动态压缩装置还包括：初始化模块30，用于首个检测周期开始，压缩率清零初始化，压缩数据比例初始化为预设值；记录模块40，用于每个检测周期结束，将压缩率清零，将压缩数据比例存储为该检测周期调整后的压缩数据比例。初始化模块
用于系统初始化时对存储的参数进行清零或预设配置，以保证的系统正常启动工作；记录模块用于暂存系统循环工作中需要保存的中间数据，如数据压缩比例。
46.在某个检测周期内，如应用数据的压缩数据比例为0，则为了该应用数据仍能够得到压缩率监测，处理模块还用于直接提高下一检测周期的该类型应用数据的压缩数据比例。鉴于同一类型应用数据的压缩率相近，对应用数据进行分类汇聚并划分检测周期有利于存储系统提升数据连续处理效率，因此，在压缩比例进行动态调整过程中，还需要持续将从网络中接收的数据预先进行分类及周期划分，从而数据动态压缩装置还包括分类模块50，用于根据应用类型对接收的网络应用数据进行分类并汇聚；周期划分模块60，用于将每一类应用数据按照等时间间隔进行检测周期划分，这样当压缩数据比例进行调整中可直接依照提前划分好的检测周期进行即可；压缩模块70，用于对每一类应用数据分别依照检测周期顺序进行压缩。压缩模块首次压缩时，依照初始化的压缩比例进行压缩，后续依照前一次检测周期结束时存储记录的压缩比例进行压缩相应的应用数据。
47.图7为本发明实施例提供的一种网络数据存储系统的结构示意图，如图7所示，本发明实施例提供的网络数据存储系统，包括：用于捕获网络应用数据的数据采集存储装置100和数据动态压缩装置200，数据采集存储装置100从网络中获取各种类型的应用数据并进行存储，数据动态压缩装置200将数据采集存储装置采集的应用数据采用如上述实施例的方法进行动态压缩后存储于数据采集存储装置。
48.本发明实施例通过数据动态压缩装置实时调整应用数据的压缩比例，使得压缩率高的应用数据获得更少的压缩，而压缩率低的应用数据获得更多的压缩，避免压缩资源浪费在压缩率大的网络数据上，实现了将有限的计算资源尽量只对压缩率小的数据进行压缩的较好效果。
49.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。