数据存储方法和装置的制造方法
【专利摘要】本发明实施例公开了一种数据存储方法和装置。所述数据存储方法包括：将至少两条键值对形式的待存储数据的键转换为定长标准键，其中，所述待存储数据的各值中包括用于区分不同值的字段信息；将第一数值空间的标准键变换为第二数值空间的变换键，其中，第二数值空间的数值范围小于第一数值空间的数值范围；将变换键中相同的目标键合并为一个新的变换键，并将与目标键分别对应的值归并入一个值集合中，作为与新的变换键对应的值；将变换键存储于设定存储系统的内存空间中，将与变换键对应的值存储于存储系统的磁盘空间中。本发明的技术方案优化了现有的键值对形式的数据存储技术，减少了存储于内存中的Key对内存的占用量。
【专利说明】
数据存储方法和装置
技术领域
[0001 ]本发明实施例涉及信息处理技术，尤其涉及一种数据存储方法和装置。
【背景技术】
[0002]目前，功能强大的互联网综合服务提供商可以为广大网民提供信息检索、社区服务、云存储以及开发者平台等多种综合性服务，一般来说，用户基于不同类型的互联网服务会申请相同或者不同的服务账号(例如百度账号等)，服务器针对不同的服务账号会存储不同的用户信息(例如，姓名、年龄以及职业等)，因此，如何将服务账号以及与服务账号对应的用户信息(后文将上述两者简称用户账号关联信息)进行存储，并提供高可用、高并发的查询服务变得非常重要。
[0003]目前，基于用户账号关联信息的比较普遍的信息存储方式是键值对(也称为Key-Value)形式的信息存储方式，S卩:将用户账号关联信息中的服务账号作为Key(也称为键)，将用户信息作为Value(也称为值)，进行对应存储。同时，为了减少Key-Value形式的用户账号关联信息对内存的占用，现有技术提出一种将Key-Value中的Key存储于内存中，将Key-Value中的Value存储于磁盘中的数据存储方法(例如，百度的Mola存储系统)以减少对内存资源的占用。
[0004]上述方法虽然可以缓解用户账号关联信息对内存的占用，但是，随着用户数据规模的不断扩大，内存使用必将成为瓶颈。
【发明内容】
[0005]有鉴于此，本发明实施例提供一种数据存储方法和装置，以优选现有的Key-Value形式的数据存储技术，减少存储于内存中的Key对内存的占用量。
[0006]在第一方面，本发明实施例提供了一种数据存储方法，包括:
[0007]将至少两条键值对形式的待存储数据的键转换为定长标准键其中，所述待存储数据的值中包括用于区分不同值的字段信息；
[0008]将第一数值空间的所述标准键变换为第二数值空间的变换键，其中，所述第二数值空间的数值范围小于所述第一数值空间的数值范围；
[0009]将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值；
[0010]将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0011]在第二方面，本发明实施例提供了一种数据存储装置，包括:
[0012]标准键转换模块，用于将至少两条键值对形式的待存储数据的键转换为定长标准键，其中，所述待存储数据的值中包括用于区分不同值的字段信息；
[0013]变换键生成模块，用于将第一数值空间的所述标准键变换为第二数值空间的变换键，其中，所述第二数值空间的数值范围小于所述第一数值空间的数值范围；
[0014]变换键合并模块，用于将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值；
[0015]存储模块，用于将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0016]本发明实施例将Key-Value形式的待存储数据中各Key的取值进行设定的压缩处理，使得压缩处理后的待存储数据中包括多个相同Key，将与相同Key对应的Value的归并，以及将多个相同Key合并为一个新的Key，并将经过上述处理后的Key-Value中的Key存储于内存中，将Key-Value中的Value存储于磁盘中，可以解决现有的基于Key-Value的数据存储方法在数据规模不断扩大过程中，内存使用中的瓶颈问题，优化了现有的Key-Value形式的数据存储技术，减少了存储于内存中的Key对内存的占用量。
【附图说明】
[0017]图1是本发明第一实施例的一种数据存储方法的流程图；
[0018]图2是本发明第二实施例的一种数据存储方法的流程图；
[0019]图3是本发明第三实施例的一种数据存储方法的流程图；
[0020]图4是本发明第四实施例的一种数据存储方法的流程图；
[0021 ]图5a是使用本发明实施例的方法前的一种基于MapReduce的数据存储过程的示意图；
?0022] 图5b是使用本发明实施例的方法后的一种基于MapReduce的数据存储过程的示意图；
[0023]图6是本发明第五实施例的一种数据存储装置的结构图。
【具体实施方式】
[0024]为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
[0025]另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0026]第一实施例
[0027]图1为本发明第一实施例提供的一种数据存储方法的流程图，本实施例的方法可以由数据存储装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可集成于完成将待存储数据存储于设定存储系统的存储服务器中，与存放待存储数据的数据服务器配合使用，其中，存储服务器和数据服务器可以是同一服务器或者属于同一服务器集群，可以为不同的服务器，本实施例对此并不进行限制。本实施例的方法具体包括:
[0028]110、将至少两条键值对形式的待存储数据的键转换为定长标准键。
[0029]如【背景技术】所述，本发明实施例所适用的应用场景为:基于Key-Value形式的数据的存储，其中，Key存放于存储系统的内存中,Value存放于存储系统的磁盘中。
[0030]Key-Value是一个常用的数据结构概念，通常又称为字典(Dict1nary)或映射(Map)。每个存放到该数据结构中的Value都对应一个全局唯一的Key。该数据结构的特征是以空间换时间，通过Key查询Value通常是比较快速的过程。简言之，Key为存放数据的编号值，Value为存放的数据。
[0031]其中，Key可以为任何类型的数据格式，例如，文本型或者数值型等。
[0032]在本实施例的一个优选的实施方式中，所述待存储数据的Key可以包括用户账号标识，所述待存储数据的Value可以包括与所述用户账号标识对应的用户基本信息。
[0033]其中，用户账号标识可以为文本形式的账号名，例如:“AAA@baidu.com”，也可以为用户在网站注册时，该网站基于注册时间分配给用户的唯一编号，例如“0X12423”等。与用户账号信息对应的用户基本信息可以包括用户在网站注册时输入的基本信息，例如，用户名、姓名、年龄以及职业等。
[0034]相应的，一条具体的待存储数据的数据形式可以包括:“0X12423-〉用户名:zhansanibaudu.con ；姓名:张三;年龄:23”。
[0035]理论上说，为了能够唯一识别一个Value，Key应该彼此互不相同，考虑到这样一种特殊情况，Value中的某一个字段可以用来唯一区分该Value与其他Value，例如，用户基本信息中的用户名，也即:待存储数据的Value中包括用于区分不同Value的字段信息。
[0036]此时，如果将多个Value对应于相同的Key，则通过遍历这多个Value中的字段信息的方式，同样可以将各个不同的Value进行区分，也即:可以用较短的时间损耗，换来内存空间的大大节约，这就是本发明技术方案的核心发明点。
[0037]在本实施例中，考虑到需要对不同的Key进行合并，以生成相同Key。因此，在进行生成相同Key的处理之前，需要将不同的Key转换为具有设定取值范围的数值型数据，也即:定长标准键。
[0038]其中，所述设定取值范围优选可以为二进制的取值范围，例如，2°?28。
[0039]在本实施例的一个优选的实施方式中，如果待存储数据的Key为数值形式的数据，则可以直接通过基于哈希(也称为散列或者Hash)函数的运算，将待存储数据的Key转换为定长标准键。
[0040]哈希函数，就是把任意长度的输入，通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间。
[0041]在本实施例的另一个优选的实施方式中，如果待存储数据的Key为文本形式的数据，则可以通过与文本中各个字母对应的ASCII (Amer i can Standard Code forInformat1n Interchange，美国信息互换标准代码)码，首先将文本形式的Key转换为二进制的数值，之后可以通过基于哈希函数的运算，将待存储数据的Key转换为定长标准键;或者
[0042]也可以通过预设词典将该文本形式的Key中的各字母映射为一个one-hot(独热)表征向量。例如:(…，0，...，1，…，0，...)，该向量长度为词典的大小，有一个兀素为I，其余兀素全部为0，元素I所在的位置序号对应于该字母在词典中的序号。由于词典大小固定，因此与各字母对应的表征向量的长度均相同，因此，可以根据该表征向量，将Key转换为定长标准键。
[0043 ] 例如，Key为“abc”，与该Key对应的表征向量为(I，O，I，O，I，O)，则可将111作为与该Key对应的定长标准键。
[0044]120、将第一数值空间的所述标准键变换为第二数值空间的变换键，其中，所述第二数值空间的数值范围小于所述第一数值空间的数值范围。
[0045]如前所述，为了实现对不同的Key进行合并，以生成相同Key，一个简单有效的方式就是压缩定长标准键的取值范围，例如，将定长标准键的取值范围从2°?28压缩至2^-26,那么可以理解的是，压缩后的各变换键中存在了具有相同Key的可能性。
[0046]其中，可以通过将存储单元存储的定长标准键向右移位的方式，实现取值范围的压缩，也可以通过取模运算的方式实现取值范围的压缩，还可以通过取整运算(向下或者向上)方式实现取值范围的压缩，本实施例对此并不进行限制。
[0047]例如，下述四个定长标准键:3.7、2.4、4.5以及2.8，通过向下取整运算，可以将上述标准键变换为3、2、4以及2这四个变换键，出现两个相同Key，2。
[0048]130、将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值。
[0049]在本实施例中，可以直接将该目标键作为所述新的变换键，也可以通过其他的变换方式(例如，通过设定函数变换，或者累加一个足够大的数值等)，生成与目标键对应的新的变换键。
[0050]续前例，如果与定长标准键2.4对应的Value为“姓名:张三”，与定长标准键2.8对应的Value为“姓名:李四”。则通过向下取整运算后，可以将2作为变换键，将“{姓名:张三，姓名:李四}”这一值集合，作为与2对应的Value。
[0051 ] 140、将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0052]如前所述，基于Key-Value形式的数据，为了提高数据查找速度，可以将变换键存储于设定存储系统的内存空间中，而将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0053]在存储系统进行数据查找时，首先在内存空间中快速查找到Key，之后根据设定的对应关系在磁盘空间中获取与Key对应的Value。其中，如果查找到的Key对应一个Value集合，则可以通过遍历Value中包括用于区分不同Value的字段信息的方式，找到实际所需的Value0
[0054]典型的，所述存储系统具体可以为百度公司的Mola存储系统，Mola存储系统的特点是低延迟与高并发，该存储系统中存储有海量的Key-Value形式的数据，其中，Key被存储于内存空间中，Value被存储于磁盘空间中。
[0055]本发明实施例将Key-Value形式的待存储数据中各Key的取值进行设定的压缩处理，使得压缩处理后的待存储数据中包括多个相同Key，将与相同Key对应的Value的归并，以及将多个相同Key合并为一个新的Key，并将经过上述处理后的Key-Value中的Key存储于内存中，将Key-Value中的Value存储于磁盘中，可以解决现有的基于Key-Value的数据存储方法在数据规模不断扩大过程中，内存使用中的瓶颈问题，优化了现有的Key-Value形式的数据存储技术，减少了存储于内存中的Key对内存的占用量。
[0056]第二实施例
[0057]图2是本发明第二实施例的一种数据存储方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将至少两条键值对形式的待存储数据的键转换为定长标准键具体优化为:选取具有设定数据输出长度的哈希函数;将所述待存储数据中的各键输入至所述哈希函数中，生成所述定长标准键。
[0058]相应的，本实施例的方法具体包括:
[0059]210、选取具有设定数据输出长度的哈希函数。
[0060]如前所述，哈希函数可以实现把任意长度的输入，通过散列算法，变换成固定长度的输出。根据所需的数据输出长度，可以选择不同类型的哈希函数。例如，MD4(MeSSage-Digest algorithm 4，信息摘要算法4)函数，可输出128位的二进制数据。
[0061]220、将所述待存储数据的各键输入至所述哈希函数中，生成定长标准键。
[0062]在本实施例中，所述待存储数据的各Key可以为数值型的用户账号标识，也可以为将文本形式的用户账号标识经过数值转换后生成的数据。
[0063]通过将待存储数据的各Key输入至所述哈希函数中，可以输出设定数据长度的定长标准键，例如，128位的定长标准键。
[0064]230、将第一数值空间的所述标准键变换为第二数值空间的变换键，其中，所述第二数值空间的数值范围小于所述第一数值空间的数值范围。
[0065]240、将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值。
[0066]250、将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0067]本实施例的技术方案通过使用哈希函数，可以简单、高效的将待存储数据中不同数据长度的Key，转换为定长标准键，实现了将待存储数据的各Key均限定在一个固定的数值区间范围内(例如，128位)，通过对该固定的数据区间中的数据进行压缩，可以使得在该数据区间内各不相同的Key，在压缩后的数据区间内出现相同Key，进而可以通过将相同Key进行合并的方式，减少存储于内存中的Key的数量，进而减少了存储于内存中的Key对内存的占用量。
[0068]第三实施例
[0069]图3是本发明第三实施例的一种数据存储方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将第一数值空间的所述标准键变换为第二数值空间的变换键具体优化为:根据所述标准键的长度，选取设定移位次数;根据所述移位次数，将与各所述标准键分别对应的数值进行右移运算;其中，与所述标准键对应的数值存储于设定大小的存储单元中；将所述存储单元中存储的各右移运算结果作为所述变换键。
[0070]相应的，本实施例的方法具体包括:
[0071]310、将至少两条键值对形式的待存储数据的键转换为定长标准键。
[0072 ] 320、根据所述标准键的长度，选取设定移位次数。
[0073]在本实施例中，主要通过右移运算(除法)的方式，压缩定长标准键的数值范围。例如，定长标准键的数值范围为2°?28，通过右移两位的方式，可以将数值范围压缩至
[0074]为了实现上述压缩效果，所选取的移位次数应该小于定长标准键的长度，可以理解的是，移位次数的取值越小，压缩结果中包括的相同Key的数量也就越少，但是在相同Key对应的值集合中遍历所需Value的时间也越短;移位次数的取值越大，压缩结果中包括的相同Key的数量也就越大，但是在相同Key对应的值集合中遍历所需Value的时间也越长。
[0075]优选的，可以根据定长标准键的长度，以及实际应用中所需的压缩幅度，选取所述移位次数。
[0076]例如，如果定长标准键的数据范围为2°?28，所述的压缩幅度为50%，可以选取移位次数为4。
[0077]330、根据所述移位次数，将与各所述标准键分别对应的数值进行右移运算。其中，与所述标准键对应的数值存储于设定大小的存储单元中；
[0078]可以理解的是，在计算机系统中，数据主要是以二进制的形式存储在存储单元中的，位(也称为Bit)是计算机中最小的信息存储单位。一位只能存储O或I中的一个二进制位数据;字节(也称为Byte)是由相连8个位组成的信息存储单位等。
[0079]在一个具体例子中，如果定长标准键的数据范围为2°?28，则该定长标准键被存储于一个8位的存储单元中，在该大小的存储单元中存储的一个具体的定长标准键为10111000，通过右移两位的操作后，该定长标准键被变换为00101110这一变换键。如果对全部定长标准键进行上述右移处理后，相当于将定长标准键的数据范围压缩至2°?26。
[0080]340、将所述存储单元中存储的各右移运算结果作为所述变换键。
[0081]350、将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值。
[0082]360、将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0083]本实施例的技术方案通过执行机器语言中简单的右移运算，即可实现将第一数值空间的所述标准键变换为第二数值空间的变换键的目的，进而可以在各不相同的Key中变换出相同Key，进而可以通过将相同Key进行合并的方式，减少存储于内存中的Key的数量，进而减少了存储于内存中的Key对内存的占用量。
[0084]第四实施例
[0085]图4是本发明第四实施例的一种数据存储方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将第一数值空间的所述标准键变换为第二数值空间的变换键具体优化为:根据所述标准键的长度，选取设定取模基数;将与各所述标准键分别对应的数值基于所述取模基数进行取模运算;将各所述取模运算的结果作为所述变换键。
[0086]相应的，本实施例的方法具体包括:
[0087]410、将至少两条键值对形式的待存储数据的键转换为定长标准键。
[0088]420、根据所述标准键的长度，选取设定取模基数。
[0089]在本实施例中，主要通过取模运算(求余数)的方式，压缩定长标准键的数值范围。例如，定长标准键的数值范围为2°?28，通过模64运算，可以将数值范围压缩至O?26_1。
[0090]其中，所述64即为取模基数，也就是说，所述取模运算中的除数，本领域技术人员可以理解的是，通过选取合适的取模基数，可以调整最终生成的变换键的取值范围。例如，取模基数为6，变换键的取值范围为O?5。
[0091]如前所述，可以根据定长标准键的长度，以及实际应用中所需的压缩幅度，选取所述取模基数。
[0092]430、将与各所述标准键分别对应的数值基于所述取模基数进行取模运算。
[0093]440、将各所述取模运算的结果作为所述变换键。
[0094]450、将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值。
[0095]460、将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0096]本实施例的技术方案通过执行机器语言中简单的取模运算，即可实现将第一数值空间的所述标准键变换为第二数值空间的变换键的目的，进而可以在各不相同的Key中变换出相同Key，进而可以通过将相同Key进行合并的方式，减少存储于内存中的Key的数量，进而减少了存储于内存中的Key对内存的占用量。
[0097]发明人通过实验发现，本实施例的技术方案在应用于基于内存和磁盘的Key-Value存储系统中后，通过哈希合并策略，可以减少65%的内存的使用，应用本发明实施例的技术方案的产品比同类产品在非常小的代价下获得更为完备的数据基础，从而使得产品在数据的迭代和内存资源的消耗上具有竞争力。
[0098]在上述各实施例的基础上，可以通过MapReduce模型框架执行所述数据存储方法，其中:
[0099]在Map阶段执行所述定长标准键的转换、所述变换键的生成、所述相同目标键的合并以及将与所述目标键分别对应的值的归并；
[0100]在Reduce阶段执行将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0101]其中，MapReduce是一种编程模型，主要用于大规模数据集(大于1TB)的并行运算。通过应用该编程模型，可以快速、高效的实现本发明各实施例所述的数据存储方法。
[0102]为了便于理解，在图5a中示出了使用本发明实施例的方法前的一种基于MapReduce的数据存储过程的示意图；在图5b中示出了使用本发明实施例的方法后的一种基于MapReduce的数据存储过程的示意图。
[0103]如图5a所不，在Map阶段计算KeyI和Valuel，Key2和Value2，Key3和Value3以及Key4^PValue4，并计算Key 1、Key 2、Key 3 以及Key 4 的 Hash签名:Key I ’、Key2 ’、Key3 ’ 以及Key4，。
[0104]在Reduce阶段将Keyl’、Key2’、Key3 ’以及Key4 ’，以及对应的Value值存储于Mola存储系统中。
[0105]其中，将数据存储于Mola存储系统时，Key为Value具有一一对应关系，在数据量不断扩张的时候，会对Mola存储系统的内存带来巨大压力；
[0106]如图5b所示，通过使用本发明各实施例的方案，MapReduce的实现流程主要包括:
[0107]在Map阶段计算Keyl和Valuel，Key2和Value2，Key3和Value3以及Key4和Value4，并计算Keyl、Key2、Key3以及Key4的Hash签名，并通过移位的方式对该Hash签名的结果进行压缩，最终生成KeyI”、Key2”、Key3”以及Key4” ；
[0?08]在Map发送数据之前，如果确定Keyl” =Key2” =Key3”，则将Keyl”、Key2”以及Key3”进行合并，生成一个NewKey ’，并将Valuel、Value2以及Value3归并入一个值集合[Value1、Value2、Value3]中，作为与NewKey ’ 对应的值发送给Reduce ；
[0109]Reduce端接收到数据后，将NewKey ’ 和NewKey ’ 对应的[Valuel、Value2、Value3]，以及Key4”和Key4”对应的Value4存储到Mola存储系统中，以供在线查询系统使用。
[0110]第五实施例
[0111]图6是本发明第五实施例的一种数据存储装置的结构图。如图6所示，所述装置包括:标准键转换模块61、变换键生成模块62、变换键合并模块63以及存储模块64。其中:
[0112]标准键转换模块61，用于将至少两条键值对形式的待存储数据的键转换为定长标准键。
[0113]变换键生成模块62，用于将第一数值空间的所述标准键变换为第二数值空间的变换键，其中，所述第二数值空间的数值范围小于所述第一数值空间的数值范围。
[0114]变换键合并模块63，用于将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值。
[0115]存储模块64，用于将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。
[0116]本发明实施例将Key-Value形式的待存储数据中各Key的取值进行设定的压缩处理，使得压缩处理后的待存储数据中包括多个相同Key，将与相同Key对应的Value的归并，以及将多个相同Key合并为一个新的Key，并将经过上述处理后的Key-Value中的Key存储于内存中，将Key-Value中的Value存储于磁盘中，可以解决现有的基于Key-Value的数据存储方法在数据规模不断扩大过程中，内存使用中的瓶颈问题，优化了现有的Key-Value形式的数据存储技术，减少了存储于内存中的Key对内存的占用量。
[0117]在上述各实施例的基础上，所述标准键转换模块，可以用于:
[0118]选取具有设定数据输出长度的哈希函数;将所述待存储数据的各键输入至所述哈希函数中，生成所述定长标准键。
[0119]在上述各实施例的基础上，所述变换键生成模块，可以用于:
[0120]根据所述标准键的长度，选取设定移位次数;根据所述移位次数，将与各所述标准键分别对应的数值进行右移运算;其中，与所述标准键对应的数值存储于设定大小的存储单元中；将所述存储单元中存储的各右移运算结果作为所述变换键。
[0121]在上述各实施例的基础上，所述变换键生成模块，可以用于:
[0122]根据所述标准键的长度，选取设定取模基数;将与各所述标准键分别对应的数值基于所述取模基数进行取模运算;将各所述取模运算的结果作为所述变换键。
[0123]在上述各实施例的基础上，所述待存储数据的键可以包括用户账号标识，所述待存储数据中的值可以包括与所述用户账号标识对应的用户基本信息。
[0124]在上述各实施例的基础上，可以通过MapReduce模型框架执行所述数据存储装置，其中:
[0125]在Map阶段执行所述标准键转换模块、所述变换键生成模块以及所述变换键合并模块;在Reduce阶段执行所述存储模块。
[0126]本发明实施例所提供的数据存储装置可用于执行本发明任意实施例提供的数据存储方法，具备相应的功能模块，实现相同的有益效果。
[0127]显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以通过如上所述的服务器实施。可选地，本发明实施例可以用计算机装置可执行的程序来实现，从而可以将它们存储在存储装置中由处理器来执行，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等;或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
[0128]以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种数据存储方法，其特征在于，包括: 将至少两条键值对形式的待存储数据的键转换为定长标准键，其中，所述待存储数据的值中包括用于区分不同值的字段信息； 将第一数值空间的所述标准键变换为第二数值空间的变换键，其中，所述第二数值空间的数值范围小于所述第一数值空间的数值范围； 将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值； 将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。2.根据权利要求1所述的方法，其特征在于，将至少两条键值对形式的待存储数据的键转换为定长标准键包括: 选取具有设定数据输出长度的哈希函数； 将所述待存储数据的各键输入至所述哈希函数中，生成所述定长标准键。3.根据权利要求1所述的方法，其特征在于，将第一数值空间的所述标准键变换为第二数值空间的变换键包括: 根据所述标准键的长度，选取设定移位次数； 根据所述移位次数，将与各所述标准键分别对应的数值进行右移运算;其中，与所述标准键对应的数值存储于设定大小的存储单元中； 将所述存储单元中存储的各右移运算结果作为所述变换键。4.根据权利要求1所述的方法，其特征在于，将第一数值空间的所述标准键变换为第二数值空间的变换键包括: 根据所述标准键的长度，选取设定取模基数； 将与各所述标准键分别对应的数值基于所述取模基数进行取模运算； 将各所述取模运算的结果作为所述变换键。5.根据权利要求1-4任一项所述的方法，其特征在于: 所述待存储数据的键包括用户账号标识，所述待存储数据的值包括与所述用户账号标识对应的用户基本信息。6.根据权利要求1-4任一项所述的方法，其特征在于，通过MapReduce模型框架执行所述数据存储方法，其中: 在Map阶段执行所述定长标准键的转换、所述变换键的生成、所述相同目标键的合并以及将与所述目标键分别对应的值的归并； 在Reduce阶段执行将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。7.一种数据存储装置，其特征在于，包括: 标准键转换模块，用于将至少两条键值对形式的待存储数据的键转换为定长标准键，其中，所述待存储数据的值中包括用于区分不同值的字段信息； 变换键生成模块，用于将第一数值空间的所述标准键变换为第二数值空间的变换键，其中，所述第二数值空间的数值范围小于所述第一数值空间的数值范围； 变换键合并模块，用于将所述变换键中相同的目标键合并为一个新的变换键，并将与所述目标键分别对应的值归并入一个值集合中，作为与所述新的变换键对应的值； 存储模块，用于将所述变换键存储于设定存储系统的内存空间中，将与所述变换键对应的值存储于所述存储系统的磁盘空间中。8.根据权利要求7所述的装置，其特征在于，所述标准键转换模块，用于: 选取具有设定数据输出长度的哈希函数； 将所述待存储数据的各键输入至所述哈希函数中，生成所述定长标准键。9.根据权利要求7所述的装置，其特征在于，所述变换键生成模块，用于: 根据所述标准键的长度，选取设定移位次数； 根据所述移位次数，将与各所述标准键分别对应的数值进行右移运算;其中，与所述标准键对应的数值存储于设定大小的存储单元中； 将所述存储单元中存储的各右移运算结果作为所述变换键。10.根据权利要求7所述的装置，其特征在于，所述变换键生成模块，用于: 根据所述标准键的长度，选取设定取模基数； 将与各所述标准键分别对应的数值基于所述取模基数进行取模运算； 将各所述取模运算的结果作为所述变换键。11.根据权利要求7-10任一项所述的装置，其特征在于: 所述待存储数据的键包括用户账号标识，所述待存储数据的值包括与所述用户账号标识对应的用户基本信息。12.根据权利要求7-10任一项所述的装置，其特征在于，通过MapReduce模型框架执行所述数据存储装置，其中: 在Map阶段执行所述标准键转换模块、所述变换键生成模块以及所述变换键合并模块； 在Reduce阶段执行所述存储模块。
【文档编号】G06F3/06GK105930104SQ201610326720
【公开日】2016年9月7日
【申请日】2016年5月17日
【发明人】张钊, 熊云
【申请人】百度在线网络技术（北京）有限公司