一种基于关系数值的数据压缩方法、装置、设备和介质与流程

文档序号:31464108发布日期:2022-09-09 19:52阅读:82来源:国知局
一种基于关系数值的数据压缩方法、装置、设备和介质与流程

1.本技术涉及数据处理技术领域,特别是涉及一种基于关系数值的数据压缩方法、装置、设备和介质。


背景技术:

2.随着网络技术以及媒体技术的快速发展,人们能接触到的媒体形式越来越丰富,同时,随着媒体形式的日益增多以及互联网的高度普及,信息量呈现出了前所未有的高速增长,从而,数据传输量也进入了空前增长时代。
3.在将数据传输给接收方之前,通常是采用传统的压缩方法对数据进行压缩,然而,目前各种媒体形式的数据所包含的信息量越来越大、内容也越来越丰富,这将会导致以后对数据进行压缩所花费的压缩时间变得越来越久,显然,这种变化趋势并不符合当前市面上对于数据通讯效率的要求。可见,若继续传统地采用传统的压缩方法对数据进行压缩,将难以提高数据压缩的效率。


技术实现要素:

4.本技术实施例提供了一种基于关系数值的数据压缩方法、装置、设备和介质,实施本技术实施例,提高数据压缩效率。
5.第一方面,本技术实施例提供了一种基于关系数值的数据压缩方法,上述方法包括:
6.获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;
7.获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
8.根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
9.第二方面,本技术实施例提供了一种基于关系数值的数据压缩装置,上述装置包括:
10.拆分单元,用于获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;
11.获取单元,用于获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
12.确定单元,用于根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
13.第三方面,本技术实施例提供了一种电子设备,包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令,当计算机执行指令被运行时,使得电子设备执行如本技术实施例第一方面任一方法中所描述的部分或全部步骤。
14.第四方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机指令,当计算机指令在通信装置上运行时,使得通信装置执行如本技术实施例第一方面任一方法中所描述的部分或全部步骤。
15.第五方面,本技术实施例提供了一种计算机程序产品,其中,计算机程序产品包括计算机程序,计算机程序可操作来使计算机执行如本技术实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
16.可以看出,本技术实施例中,获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。采用本技术实施例的方法,通过数据块的数值在数据字典中对应的关系数值即可确定压缩数值,从而根据压缩数值确定数据块对应的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩,同时,该过程不需要读取数据块的具体内容、也不需要进行冗余确定,极大程度地提高了数据压缩效率。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
18.图1是一种数据压缩系统的结构部署图;
19.图2是本技术实施例提供的一种基于关系数值的数据压缩方法的流程示意图;
20.图3是本技术实施例提供的一种基于关系数值的数据压缩方法的举例示意图;
21.图4是本技术实施例提供的一种基于关系数值的数据压缩方法的举例示意图;
22.图5是本技术实施例提供的一种基于关系数值的数据压缩方法的举例示意图;
23.图6是本技术实施例提供的一种基于关系数值的数据压缩装置的结构示意图;
24.图7是本技术实施例提供的一种图6中所描述装置的获取单元的结构示意图;
25.图8是本技术的实施例提供的一种电子设备的硬件运行环境的服务器结构示意图。
具体实施方式
26.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
27.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和
隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
28.下面结合附图对本技术实施例涉及的应用场景进行介绍。
29.图1是一种数据压缩系统的结构部署图。如图1所示,该系统的第一端与用户终端连接。
30.其中,用户终端,指欲对数据块进行压缩从而将数据块发送给数据压缩系统的角色;
31.其中,数据压缩系统,用于接收来自用户终端的数据块,通过传统的压缩方法对数据块进行压缩从而得到压缩数据块;
32.在上述系统进行数据压缩的过程中,由于只是通过传统的压缩方法对数据块进行压缩,显然,对数据块进行压缩是要花费时间的,并且,花费的时间长短通常跟数据块的大小呈现正相关关系,可以看出,上述过程对于数据压缩难以起到提高效率的作用,不符合当下市场对于数据压缩效率的要求。
33.基于此,本技术实施例提供了一种基于关系数值的数据压缩方法,请参阅图2,图2是本技术实施例提供的一种基于关系数值的数据压缩方法的流程示意图,如图2所示,该方法包括以下步骤:
34.101:获取待发送数据,并将待发送数据拆分为预设大小的多个数据块。
35.其中,待发送数据,可以是二进制数据,在具体实现中,可以是将原始数据对应的十进制或其他进制的数据通过进制转换成二进制数据,从而获得待发送数据。原始数据的数据形式包括数字、文字、图像、语音、视频等形式。
36.其中,预设大小,可以是100mb、50mb、10mb等大小;将待发送数据拆分为预设大小的多个数据块,是为了使得多个数据块中每个数据块的数值在后续步骤中能够被直接运用。
37.示例性地,假设预设大小有100mb、50mb、10mb,若待发送数据的大小为770mb,则可以将待发送数据拆分为7个100mb的数据块、1个50mb的数据块和2个10mb的数据块。
38.102:获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定。
39.其中,数据块的数值,即数据块对应的十进制数值,例如,若二进制的数据块内容为0000则其数值为0,若二进制的数据块内容为1111则其数值为15。在具体实现中,获取多个数据块中每个数据块的数值,可以通过对每个数据块进行进制转换得到每个数据块对应的十进制数值。
40.示例性地,在生成数据字典时,多个训练数据块的数值为1024,而该多个数值为1024的训练数据块对应的训练压缩数据块的数值为256,从而前后数值之间存在关系数值1024/256,该关系数值记录于数据字典中,因此,若有数据块的数值为1024,则该数据块的数值1024在数据字典中对应的关系数值为1024/256。
41.其中,由于通常情况下,同一个预设大小的数据块所对应的数值是存在不同情况的,因此,数据字典中可以记录有同一个预设大小的不同数值情况所对应的关系数值,从而能够覆盖住更多种数据情况,从而对于不同情况的预设大小的数据块都能够顺利进行后续方法步骤。
42.103:根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
43.其中,根据目标压缩数值确定目标数据块对应的目标压缩数据块,在具体实现中,可以是根据目标压缩数值生成目标压缩数据块,从而不需要再使用其他压缩软件或压缩算法对目标数据块进行压缩、不需要再读取数据块的具体内容(例如文本、视频、图像内容等),然后根据具体内容确定冗余,再针对冗余进行压缩。该过程由于不需要读取数据块的具体内容,以及不需要进行冗余确定和压缩,进而极大程度地提高了数据压缩效率。
44.示例性地,请参阅图3,图3是本技术实施例提供的一种基于关系数值的数据压缩方法的举例示意图,如图3所示,服务器获取待发送数据x、并将待发送数据x拆分为10个相同大小的数据块1-10,服务器获取10个相同大小的数据块中每个数据块的数值,其中,数据块1-5的数值为1024、且数据块6-10的数值为512,而数据字典中包括关系数值1024/256、关系数值512/128,因此,服务器获取到数据块1-5的数值1024在数据字典中对应的关系数值为1024/256、而数据块6-10的数值512在数据字典中对应的关系数值为512/128,因此,根据关系数值1024/256确定数据块1-5的数值1024对应的压缩数值为256,并且生成与数据块1-5对应的数值为256的压缩数据块1-5,同理可得到与数据块6-10对应的数值为128的压缩数据块6-10,至此,在没有实际对数据块进行压缩的情况下,也能够得到在采用传统的压缩方法对目标数据块进行压缩的情况下所对应得到的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩。
45.可以看出,本技术实施例中,获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。采用本技术实施例的方法,通过数据块的数值在数据字典中对应的关系数值即可确定压缩数值,从而根据压缩数值确定数据块对应的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩,同时,该过程不需要读取数据块的具体内容、也不需要进行冗余确定,极大程度地提高了数据压缩效率。
46.在一个可能的示例中,上述获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,包括:
47.将每个数据块的数值与数据字典中的数值进行匹配;
48.根据每个数据块的数值与数据字典中的数值的匹配关系确定每个数据块对应的关系数值。
49.其中,将每个数据块的数值与数据字典中的数值进行匹配,在具体实现中,指确定每个数据块的数值是否在数据字典中存在相同的数值;若有数据块的数值在数据字典中不存在相同的数值,可以是根据数据块的数值与数据字典中与其最接近的数值的匹配关系确定该数据块对应的关系数值。
50.示例性地,目标数据块的目标数值为1024,数据字典中存在数值1024且数值1024在数据字典中对应的目标关系数值为1024/256,因此,根据目标关系数值1024/256确定目标数据块的目标数值1024对应的目标压缩数值为256,进一步地,根据目标压缩数值256确
定出目标数据块对应的目标压缩数据块,至此即可得到数值为256的目标压缩数据块,从而在没有实际对目标数据块进行压缩的情况下,也能够得到目标数据块使用传统的压缩方法进行压缩后所对应的目标压缩数据块。
51.可以看出,本技术实施例中,通过每个数据块的数值与数据字典中的数值的匹配关系确定每个数据块对应的关系数值,从而能够高效率地根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值、并根据目标压缩数值确定目标数据块对应的目标压缩数据块,提高数据压缩效率。
52.在一个可能的示例中,上述方法包括:
53.获取多个预设大小的训练数据块,采用预设压缩方法对多个训练数据块中每个训练数据块进行压缩,获得多个压缩后训练数据块;
54.获取每个训练数据块的数值,以及多个压缩后训练数据块中每个压缩后训练数据块的压缩后数值;
55.确定每个训练数据块的数值与对应的每个压缩后训练数据块压缩后数值的关系数值;
56.将目标训练数据块的数值与对应的关系数值存储在数据字典中。
57.其中,预设压缩方法,可以是根据训练数据块对应的原始数据的数据形式确定。示例性地,若训练数据块对应的原始数据为视频文件,则预设压缩方法可以是使用视频压缩软件ffmpeg(fast forward mpeg)或其他的专门针对视频的压缩软件,同理地,若训练数据块对应的原始数据为其他数据形式,则预设压缩方法可以是根据对应的具体数据形式所采用的专门适用于该具体数据形式的压缩方法。
58.其中,训练数据块的数值,即训练数据块对应的十进制数值,同理地,压缩后训练数据块的压缩后数值,即经过压缩后的压缩后训练数据块对应的十进制数值。
59.其中,确定训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值,在具体实现中,可以是根据训练数据块的数值与压缩后训练数据块的压缩后数值之间满足的数学关系来确定,在具体实现中,可以将训练数据块的数值作为被除数、并且将压缩后训练数据块的压缩后数值作为除数所得的商作为关系数值。
60.示例性地,请参阅图4,图4是本技术实施例提供的一种基于关系数值的数据压缩方法的举例示意图,如图4所示,获取10000个100mb大小的训练数据块(训练数据块1、训练数据块2、训练数据块3
……
训练数据块10000),其中,10000个训练数据块对应的数值相同、均为n,采用预设压缩方法对该10000个训练数据块进行压缩,获得10000个压缩后训练数据块(压缩后训练数据块1、压缩后训练数据块2、压缩后训练数据块3
……
压缩后训练数据块10000),获取10000个训练数据块中每个训练数据块的数值,以及10000个压缩后训练数据块中每个压缩训练数据块的数值(n1、n2、n3
……
n10000),然后,确定每对训练数据块的数值以及压缩训练数据块的数值之间所存在的数学关系共同点,例如,若将每个训练数据块的数值作为被除数、并且将每个压缩后训练数据块的压缩后数值作为除数,则上述数值对可以得到n/n1=4.01、n/n2=3.99、n/n3=4.00
……
n/n10000=4.00,观察发现,在将每个训练数据块的数值作为被除数、并且将每个压缩后训练数据块的压缩后数值作为除数的情况下,数值之间所得的商大体收敛于4,因此,确定在采用预设压缩方法时,100mb的训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值为:训练数据块的数值/压缩后
训练数据块的压缩后数值=4,即是说,压缩前的数据块的数值为压缩后的数据块的数值的4倍,例如,压缩前的数据块的数值为100,则压缩后的数据块的数值为25,从而将100mb的训练数据块的数值n与关系数值n/n=4对应存储在数据字典中。同理地,100mb大小、其他训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值也是通过上述过程确定得到,在此不再赘述;同理地,其他大小、不同数值的训练数据块与压缩后训练数据块的压缩后数值的关系数值也是通过上述过程确定得到,在此不再赘述。
61.基于上述示例性实施例,对于100mb的训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值的确定,还可以在将每个训练数据块的数值作为被除数、并且将每个压缩后训练数据块的压缩后数值作为除数的情况下,将上述10000对数值对的商的平均值作为关系数值;同理地,关系数值还可以是上述10000对数值对的商的众数。
62.可以看出,本技术实施例中提供的关系数值训练过程,只有通过大量训练确定了同一大小的训练数据块的数值与对应的压缩后训练数据块压缩后数值之间所存在的数学关系共同点,才将训练数据块的数值与对应的关系数值存储在数据字典中,从而在根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块时,不仅能够快速确定目标压缩数据块从而提高数据压缩效率,还能够在没有实际对目标数据块进行压缩的情况下,最大程度地确保目标压缩数据块符合对应目标数据块使用传统的压缩方法进行压缩后所对应的数据质量。
63.在一个可能的示例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,上述方法还包括:
64.发送目标压缩数据块、目标数值关系在数据字典中对应的目标索引号、以及数据字典。
65.其中,目标数值关系在数据字典中对应的目标索引号,可以是目标索引号与目标数值关系之间是一一对应的,目标索引号用于指明目标数值关系;也可以是,目标索引号用于指引目标数值关系在数据字典中的位置,方便服务器在数据字典中快速定位到目标数值关系。
66.示例性地,目标索引号用于指明目标数值关系,在具体实现中,可以是对数据字典中的多个数值关系一一进行编号,例如,将数值关系512/128编号为0000,将数值关系1024/256编号为二进制数值0001,将数值关系2048/1024编号为0010
……
,从而,若目标数值关系为1024/256,则其在数据字典中对应的目标索引号为0001。
67.基于上述示例性实施例,目标索引号用于指明目标数值关系,若发送给接收端的目标压缩数据块的数值为256、目标索引号为0001,则接收端在接收到目标压缩数据块、目标索引号以及数据字典后,根据目标索引号0001在数据字典中确定到目标数值关系为1024/256,进而接收端只要根据目标数值关系1024/256和目标压缩数据块数值256,即可对目标压缩数据块进行还原得到数值为1024的目标数据块,从而完成数据在两端之间的传输。
68.又一示例性地,目标索引号用于指引目标数值关系在数据字典中的位置,在具体实现中,可以是将多个数值关系按照一定排列顺序记录在数据字典中,例如,目标数值关系1024/256被记录在数据字典中的第1页第2行第3列,则其在数据字典中对应的目标索引号的二进制形式为(0000,0001,0010),其中,0000代表第1页、0001代表第2行、且0010代表第3
列。
69.可以看出,本技术实施例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,只需要发送目标压缩数据块、目标数值关系在数据字典中对应的目标索引号、以及数据字典,接收端便能够根据目标索引号和数据字典得知目标数值关系,进而可以根据目标压缩数据块和目标数值关系还原出目标数据块,通过发送最少量的信息便实现了数据在两端之间的传输。
70.在一个可能的示例中,若接收端本地存储有对应的数据字典,则可以通过数据字典标识替代数据字典,从而只将数据字典标识发送给接收端,数据字典标识表征目标索引号对应的数据字典,进而接收端只需要根据数据字典标识就能够读取对应的数据字典,最终通过目标索引号在数据字典中的目标数值关系对目标压缩数据块进行还原。
71.在一些应用场景中,可能存在有多个目标数据块对应的目标关系数值在数据字典中的目标索引号相同的情况,在这种情况下,若依然每发送一个目标压缩数据块就连同其目标索引号一并发送,那么将要发送大量的相同内容的目标索引号,为了进一步提高数据压缩之后的数据传输效率,显然地,针对上述情况,可以通过减少目标索引号的发送次数来提高数据传输效率。
72.因此,针对上述应用场景,本技术实施例提供了另一种基于关系数值的数据压缩方法,具体如下:
73.在一个可能的示例中,若存在多个目标数据块对应的目标关系数值在数据字典中的目标索引号相同,则上述方法还包括:
74.将多个目标压缩数据块划分到目标数据集合;
75.上述发送目标压缩数据块、目标数值关系在数据字典中对应的目标索引号、以及数据字典,包括:
76.发送目标数据集合、目标数值关系在数据字典中对应的目标索引号、以及数据字典。
77.其中,发送目标数据集合,在具体实现中,可以是在多个目标压缩数据块的首部和尾部进行标识处理,标识处理用于表明该多个目标压缩数据块位于同一个目标数据集合中、且只对应一个目标索引号。
78.示例性地,请参阅图5,图5是本技术实施例提供的一种基于关系数值的数据压缩方法的举例示意图,如图5所示,有目标压缩数据块1-5的目标数值关系在数据字典中对应有相同的目标索引号,若每次发送单个目标压缩数据块同时发送对应的目标索引号,可见,需要发送5次相同的目标索引号,而若采用本技术实施例提供的方法,将目标压缩数据块1-5划分到目标数据集合中,再发送目标数据集合同时发送对应的目标索引号,则此时只需要发送1次目标索引号,显著地减少了数据传输量。
79.可以看出,本技术实施例中,在存在多个目标数据块对应的目标关系数值在数据字典中的目标索引号相同的情况下,将多个目标压缩数据块划分到目标数据集合,再将目标数据集合、目标数值关系在数据字典中对应的目标索引号、以及数据字典发送给接收端,从而对于目标索引号相同的多个目标数据块只需要发送一次目标索引号即可,不再需要每发送一个目标数据块就要同时发送一个目标索引号,通过减少目标索引号的发送次数,大大地提高了数据传输效率。
80.在一些应用场景中,可能存在有数据字典占用空间较大、而欲发送的压缩数据块的个数较少的情况,在这种情况下,若依然发送数据字典,将会导致发送数据字典以及索引号的数据开销远远大于其对应的数值关系所花费的数据开销,显然地,针对上述情况,可以直接用发送数值关系替代发送数据字典以及对应索引号。
81.因此,针对上述应用场景,本技术实施例提供了另一种基于关系数值的数据压缩方法,具体如下:
82.在一个可能的示例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,上述方法还包括:
83.发送目标压缩数据块、以及目标数值关系。
84.示例性地,若发送给接收端的目标压缩数据块的数值为256、目标数值关系为1024/256,则接收端在接收到目标压缩数据块以及目标数值关系后,根据目标数值关系1024/256即可得知目标压缩数据块还原后的数据块数值为1024,从而将目标数值关系作为还原依据对目标压缩数据块进行还原得到数值为1024的目标数据块。
85.可以看出,本技术实施例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,直接将目标压缩数据块以及目标数值关系发送给接收端,从而在不需要发送数据字典和目标索引号的情况下接收端也能够将目标压缩数据块还原成目标数据块,使得接收端不再需要根据目标索引号在数据字典中对应定位出目标数值关系,在数据字典占用空间较大、且欲发送的压缩数据块的个数较少的情况下能够大幅度减少数据传输量。
86.与上述图2所示的实施例一致的,请参阅图6,图6是本技术实施例提供的一种基于关系数值的数据压缩装置的结构示意图,如图6所示:
87.一种基于关系数值的数据压缩装置,上述装置包括:
88.201:拆分单元,用于获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;
89.202:获取单元,用于获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
90.203:确定单元,用于根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
91.可以看出,本技术实施例提供的装置中,获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。采用本技术实施例的装置,通过数据块的数值在数据字典中对应的关系数值即可确定压缩数值,从而根据压缩数值确定数据块对应的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩,同时,该过程不需要读取数据块的具体内容、也不需要进行冗余确定,极大程度地提高了数据压缩效率。
92.具体地,本技术实施例可以根据上述方法示例对基于关系数值的数据压缩装置进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上
的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本技术实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
93.请参阅图7,图7是本技术实施例提供的一种图6中所描述装置的获取单元的结构示意图,如图7所示,在一个可能的示例中,上述获取单元,还包括:
94.2021:匹配模块,用于将每个数据块的数值与数据字典中的数值进行匹配;
95.2022:数值模块,用于根据每个数据块的数值与数值的匹配关系确定每个数据块对应的关系数值。
96.在本技术所提供的几个实施方式中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
97.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
98.另外,在本技术各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
99.上述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
100.与上述图2所示的实施例一致的,本技术实施例提供了一种电子设备,请参阅图8,图8是本技术的实施例提供的一种电子设备的硬件运行环境的服务器结构示意图,如图8所示,电子设备包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令,当计算机执行指令被运行时,使得电子设备执行包括任一项基于关系数值的数据压缩方法的步骤的指令。
101.其中,处理器为cpu(central processing unit)。
102.其中,存储器,可选的,存储器可以为高速ram存储器,也可以是稳定的存储器,例如磁盘存储器。
103.本领域技术人员可以理解,图8中示出的服务器的结构并不构成对其的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
104.如图8所示,存储器中可以包括操作系统、网络通信模块以及基于关系数值的数据
压缩方法的计算机执行指令。操作系统用于管理和控制服务器硬件和软件资源,支持计算机执行指令的运行。网络通信模块用于实现存储器内部各组件之间的通信,以及与服务器内部其他硬件和软件之间通信,通信可以使用任一通信标准或协议,包括但不限于gsm(global system of mobile communication,全球移动通讯系统)、gprs(general packet radio service,通用分组无线服务)、cdma2000(codedivision multiple access 2000,码分多址2000)、wcdma(wideband code divisionmultiple access,宽带码分多址)、td-scdma(time division-synchronous codedivision multiple access,时分同步码分多址)等。
105.在图8所示的服务器中,处理器用于执行存储器中存储的人员管理的计算机执行指令,实现以下步骤:获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
106.本技术涉及的服务器的具体实施可参见上述基于关系数值的数据压缩方法的各实施例,在此不做赘述。
107.本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机指令,当计算机指令在通信装置上运行时,使得通信装置执行以下步骤:获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。上述计算机包括电子设备。
108.其中,电子终端设备包括手机、平板电脑、个人数字助理、穿戴式设备等。
109.其中,计算机可读存储介质可以是上述实施例所述的电子设备的内部存储单元,例如电子设备的硬盘或内存。计算机可读存储介质也可以是上述电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。进一步地,计算机可读存储介质还可以既包括电子设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机执行指令以及电子设备所需的其他计算机执行指令和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
110.本技术涉及的计算机可读存储介质的具体实施可参见上述基于关系数值的数据压缩方法的各实施例,在此不做赘述。
111.本技术实施例提供了一种计算机程序产品,其中,计算机程序产品包括计算机程序,计算机程序可操作来使计算机如上述方法实施例中记载的任何一种基于关系数值的数据压缩方法的部分或全部步骤,该计算机程序产品可以是一个软件安装包。
112.需要说明的是,对于前述的任一种基于关系数值的数据压缩方法的实施例,为了
简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本技术所必须的。
113.以上对本技术实施例进行了详细介绍,本文中应用了具体个例对本技术一种基于关系数值的数据压缩方法的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术一种基于关系数值的数据压缩方法的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
114.尽管在此结合各实施例对本技术进行了描述,然而,在实施所要求保护的本技术过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现所公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
115.本领域普通技术人员可以理解上述任一种基于关系数值的数据压缩方法的方法实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-only memory,简称:rom)、随机存取器(英文:random access memory,简称:ram)、磁盘或光盘等。
116.显然,本领域的技术人员可以对本技术提供的一种基于关系数值的数据压缩方法进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1