一种高校科研数据采集管理系统

本发明涉及电数字数据处理，具体涉及一种高校科研数据采集管理系统。

背景技术：

1、科研数据对高校发展科学研究的重要性毋庸置疑，需要被及时地采集与留档存储管理。不过，由于科研数据不但包括大量的实验数据，还包括与实验数据对应的或相关联的论文、期刊等数据，这便导致科研数据一方面数据量巨大，另一方面会因为数据类型多样而导致数据繁杂且规律性较低。

2、由于现有的数据压缩算法一般都是借助数据的重复性或者说规律性而实现的数据压缩，那么现有的数据压缩算法在面对规律性较低的高校科研数据时，便无法做到高效压缩，使得数据量巨大的科研数据因无法被高效压缩而将占用较大的存储空间，导致对应的存储成本较高，不利于对高校科研数据的采集管理。

技术实现思路

1、为提高对高校科研数据采集管理过程中的压缩效率，本发明提供了一种高校科研数据采集管理系统，所采用的技术方案具体如下：

2、本发明的一种高校科研数据采集管理系统，包括：

3、数据采集与编码模块，用于采集高校科研数据并将高校科研数据按照编码规则编码为编码值，将编码值按照高校科研数据的采集顺序进行排列，得到原始数据串；

4、数据分割与放大模块，用于将原始数据串分割为多个分割部分，计算所述编码规则中最大编码值与分割部分内各个编码值的差异程度，根据所述差异程度确定对分割部分内编码值的放大倍数，以所述放大倍数对分割部分内编码值进行放大得到初步放大值，将不大于所述编码规则中最大编码值的初步放大值作为放大编码值，将大于所述编码规则中最大编码值的初步放大值所对应的放大前的编码值作为放大编码值，得到由放大编码值组成的放大后分割部分；

5、数据压缩存储模块，用于将放大后分割部分按照所述多个分割部分的分割顺序拼接为优化数据串，对优化数据串进行压缩并存储。

6、本发明的有益效果为：

7、本发明首先采用编码规则将高校科研数据中的不同种类数据进行编码得到原始数据串而完成统一表达，然后将原始数据串分割为多个分割部分并将每个分割部分内的编码值以自适应放大倍数进行放大而使各个分割部分中的放大后编码值都向编码规则中的最大编码值靠近，从而以提高数据重复性的方式提高数据规律性，将规律性提高后的优化数据串进行压缩时便可提高压缩效率，然后通过对压缩数据进行存储便可完成对高校科研数据的采集管理。本发明该方法通过对高校科研数据划分为多个分割部分并使各个分割部分按照不同放大倍数靠近编码规则中的最大编码值的方式，提高了待压缩数据的规律性从而提高了对高校科研数据采集管理过程中的压缩效率。

8、进一步的，所述将原始数据串分割为多个分割部分的方法为：

9、将原始数据串映射为二维矩阵，将所述二维矩阵分割为多个分割块，将每个分割块分别作为一个所述分割部分。

10、进一步的，所述计算所述编码规则中最大编码值与分割部分内各个编码值的差异程度的方法为：

11、计算所述编码规则中最大编码值与所述分割块中出现频率最高的编码值的第一差值，计算所述编码规则中最大编码值与所述分割块中各个编码值的第二差值之和，以所述第一差值、所述第二差值之和以及所述分割块中数值大于出现频率最高的编码值的编码值个数确定分割块的待变换系数，以待变换系数作为所述差异程度；

12、所述待变换系数与所述第一差值以及所述第二差值之和成正比，与所述分割块中数值大于出现频率最高的编码值的编码值个数成反比。

13、进一步的，所述待变换系数为：

14、

15、其中，ct为分割块的待变换系数，表示分割块内编码值的个数，表示编码规则中的最大编码值，表示分割块内出现频率最高的编码值，表示分割块内第j个编码值，表示分割块内数值大于的编码值的个数，表示将当前分割块对应所得值进行归一化处理，表示将当前分割块对应所得值进行归一化处理。

16、进一步的，所述根据所述差异程度确定对分割部分内编码值的放大倍数的方法为：

17、利用所有分割块的待变换系数中的最大值以及最小值对分割块的待变换系数进行归一化处理，根据归一化后的分割块的待变换系数确定分割块内编码值的放大倍数；

18、所述分割块内编码值的放大倍数与所述归一化后的分割块的待变换系数成正比。

19、进一步的，所述分割块内编码值的放大倍数为：

20、

21、其中，表示分割块内编码值的放大倍数，表示放大调整系数，与分别表示所有分割块的待变换系数中的最大值与最小值，表示对向下取整。

22、进一步的，所述数据分割与放大模块还执行对所述放大倍数进行修正的步骤：

23、统计分割块内放大后大于所述编码规则中最大编码值的编码值个数在分割块内所有编码值中的占比，以所述占比确定修正后的分割块内编码值的放大倍数；

24、所述修正后的分割块内编码值的放大倍数与所述占比成反比。

25、进一步的，所述修正后的分割块内编码值的放大倍数为：

26、

27、其中，表示修正后的分割块内编码值的放大倍数，表示分割块内编码值的放大倍数，表示分割块中放大后大于编码规则中最大编码值的编码值个数，表示分割块中编码值的总数，表示放大修正系数，表示对向下取整。

28、进一步的，所述数据压缩存储模块对所述优化数据串进行压缩后，按照所述高校科研数据的类型对所得压缩数据打标签。

29、进一步的，还包括：

30、数据查找模块，用于在查找高校科研数据时，以所述标签查找压缩数据并解压得到优化数据串，根据优化数据串获取过程中多个分割部分的分割方式、各分割部分对应的放大倍数以及未经放大便作为放大编码值的编码值，将优化数据串还原为原始数据串，对原始数据串译码得到所要查找的高校科研数据。

技术特征：

1.一种高校科研数据采集管理系统，其特征在于，包括：

2.根据权利要求1所述的高校科研数据采集管理系统，其特征在于，所述将原始数据串分割为多个分割部分的方法为：

3.根据权利要求2所述的高校科研数据采集管理系统，其特征在于，所述计算所述编码规则中最大编码值与分割部分内各个编码值的差异程度的方法为：

4.根据权利要求3所述的高校科研数据采集管理系统，其特征在于，所述待变换系数为：

5.根据权利要求3或4所述的高校科研数据采集管理系统，其特征在于，所述根据所述差异程度确定对分割部分内编码值的放大倍数的方法为：

6.根据权利要求5所述的高校科研数据采集管理系统，其特征在于，所述分割块内编码值的放大倍数为：

7.根据权利要求2或6所述的高校科研数据采集管理系统，其特征在于，所述数据分割与放大模块还执行对所述放大倍数进行修正的步骤：

8.根据权利要求7所述的高校科研数据采集管理系统，其特征在于，所述修正后的分割块内编码值的放大倍数为：

9.根据权利要求1所述的高校科研数据采集管理系统，其特征在于，所述数据压缩存储模块对所述优化数据串进行压缩后，按照所述高校科研数据的类型对所得压缩数据打标签。

10.根据权利要求9所述的高校科研数据采集管理系统，其特征在于，还包括：

技术总结
本发明涉及电数字数据处理技术领域，具体涉及一种高校科研数据采集管理系统。本发明首先将高校科研数据按照编码规则进行编码，然后对高校科研数据进行分割，并对每个分割部分的数据值按照其与编码规则中的最大编码值的差异程度确定对其的放大倍数，使得各个分割部分的放大后数据值均尽可能靠近编码规则中的最大值，以提高高校科研数据中各个数据值的重复程度，增大相同数据值、相同数据值段落连续重复出现的可能性，从而提高高校科研数据的规律性，实现对高校科研数据的更高效的压缩，最终提高对高校科研数据采集管理过程中的压缩效率。

技术研发人员：侯明玉
受保护的技术使用者：燕山大学
技术研发日：
技术公布日：2024/1/13