一种基于控制流与数据流协同的高通量数据压缩传输方法与流程

本发明涉及数据传输和数据压缩，具体涉及一种基于控制流与数据流协同的高通量数据压缩传输方法。

背景技术：

1、现有的高通量数据传输方法存在着数据量大、传输时间长、传输带宽占用高等问题。目前的数据压缩技术主要集中在对数据流进行压缩，而对控制流的处理较少。因此，有需要提供一种基于控制流与数据流协同的高通量数据压缩传输方法，以提高数据传输效率和减少传输成本。

技术实现思路

1、本发明解决的问题是：目前的数据压缩技术主要集中在对数据流进行压缩，而对控制流的处理较少的问题，提供一种基于控制流与数据流协同的高通量数据压缩传输方法，以提高数据传输效率和减少传输成本。

2、本发明通过如下技术方案予以实现，包括控制流分析、数据压缩、控制流优化、数据传送、数据流解压步骤，具体的：

3、步骤一、控制流分析：分析传输数据的需求和特征；

4、步骤二、数据压缩：发送端将原始数据进行分块处理，并利用压缩算法对数据流进行压缩处理；

5、步骤三、控制流优化：发送端将压缩后的数据流与控制流协同打包，形成数据包；

6、步骤四、数据传送：发送端通过网络将数据包传输到接收端；

7、步骤五、数据流解压：接收端接收到数据包后，将数据包进行解包，分离出控制流和数据流；接收端根据控制流指令对数据流进行解压缩，并将解压后的数据流进行处理。

8、进一步地，所述压缩算法包括下列中的一种或多种：delta、lz系列(lz77，lzw，lzma，lzo，deflate)、ppm系列(ppmd，ppmz)、cm(上下文建模，神经网络驱动的paq系列etc)系列、bwt算法。

9、进一步地，还包括步骤六、数据验证：对解压后的数据流进行验证，用于保证传输数据的完整性和准确性。

10、进一步地，该方法应用于云计算、大数据处理方面。

11、本发明的有益效果是：

12、本发明提供的基于控制流与数据流协同的高通量数据压缩传输方法具有以下优势：

13、1.通过协同处理控制流和数据流，提高了数据传输效率和压缩比。

14、2.利用先进的压缩算法对数据流进行压缩，减少数据量和传输带宽。

15、3.通过控制流指令对数据流进行解压缩，保证数据的完整性和正确性。

16、4.支持高通量数据传输场景，如云计算、大数据处理等。

技术特征：

1.一种基于控制流与数据流协同的高通量数据压缩传输方法，其特征在于：包括控制流分析、数据压缩、控制流优化、数据传送、数据流解压步骤，具体的：

2.根据权利要求1所述的一种基于控制流与数据流协同的高通量数据压缩传输方法，其特征在于：所述压缩算法包括下列中的一种或多种：delta、lz系列(lz77，lzw，lzma，lzo，deflate)、ppm系列(ppmd，ppmz)、cm(上下文建模，神经网络驱动的paq系列etc)系列、bwt算法。

3.根据权利要求1所述的一种基于控制流与数据流协同的高通量数据压缩传输方法，其特征在于：还包括步骤六、数据验证：对解压后的数据流进行验证，用于保证传输数据的完整性和准确性。

4.根据权利要求1所述的一种基于控制流与数据流协同的高通量数据压缩传输方法，其特征在于：该方法应用于云计算、大数据处理方面。

技术总结
本发明涉及数据传输和数据压缩技术领域，具体涉及一种基于控制流与数据流协同的高通量数据压缩传输方法。包括：步骤一、控制流分析：分析传输数据的需求和特征；步骤二、数据压缩：发送端将原始数据进行分块处理，并利用压缩算法对数据流进行压缩处理；步骤三、控制流优化：发送端将压缩后的数据流与控制流协同打包，形成数据包；步骤四、数据传送：发送端通过网络将数据包传输到接收端；步骤五、数据流解压：接收端接收到数据包后，将数据包进行解包，分离出控制流和数据流；接收端根据控制流指令对数据流进行解压缩，并将解压后的数据流进行处理。该方法通过将控制流和数据流在传输过程中协同处理，实现高效的数据传输和压缩。

技术研发人员：夏勇,陈传飞,薛巨峰,范东睿,王晓虹,唐宏伟,吴浩
受保护的技术使用者：盐城中科高通量计算研究院有限公司
技术研发日：
技术公布日：2024/3/24