一种云存储环境数据处理方法、系统及设备的制作方法

文档序号:7552108阅读:339来源:国知局
专利名称:一种云存储环境数据处理方法、系统及设备的制作方法
技术领域
本发明涉及数据存储技术,尤其涉及一种云存储环境数据处理方法、系统及设备。
背景技术
当前,遵循数字影院倡导者联盟(DCI,Digital Cinema Initiatives)技术规范的数字影院在作业时,各自独立的服务器向中央存储服务器请求多媒体数据并播放,由于所有的多媒体数据都存储在中央存储服务器中,且中央服务器要响应所有独立服务器读取请求,需要中央服务器具有高速数据处理性能,如此在实施时硬件成本较高;同时,所有的多媒体数据都存储在中央存储服务器中,一旦中央服务器宕机,可能造成所有数据丢失,如何保障数据存储的可靠性成为亟待解决的问题。发明内容
有鉴于此,本发明的主要目的在于提供一种云存储环境数据处理方法、系统及设备,在降低实施硬件成本的同时,能够提高数据存储的可靠性。
为达到上述目的,本发明的技术方案是这样实现的:
本发明公开了一种云存储环境数据处理方法,所述方法包括:
元数据服务器接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器;
所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。
优选地,所述元数据服务器接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器,包括:
所述元数据服务器接收到所述客户端的数据读请求时,根据本地元数据检索所述数据读请求读取数据所在的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据读请求的存储服务器;
所述元数据服务器接收到所述客户端的数据写请求时,根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据写请求的存储服务器。
优选地,所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,包括:
所述元数据服务器更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息;或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
优选地,所述元数据服务器接收到客户端的数据写请求时,所述方法还包括:
所述元数据服务器根据本地元数据和所述数据写请求检索负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器,更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息,并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地,所述方法还包括:
所述元数据服务器同步本地元数据至从属元数据服务器,所述从属元数据服务器在预设时间内没有接收到所述元数据服务器的周期性心跳信息时确定所述元数据服务器不可用,替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
优选地,所述方法还包括:
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时,根据本地元数据检索满足所述数据存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器,向所述数据所在的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息;
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取的同一数据频率小于预设最小值时,确定所述数据所在的存储服务器中的一个或多个删除所述数据,向所述一个或多个存储服务器发送删除所述数据的备份删除指令,并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
优选地,所述方法还包括:
所述元数据服务器检测到所述云存储环境新加入存储服务器时,根据本地元数据,对所述客户端通过数据读请求读取同一数据的频率进行排序,并向读取频率最高的预设数量的数据所在的存储服务器,发送将所述数据发送至所述新加入的存储服务器的备份指令,并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息;
所述元数据服务器检测到所述云存储环境存储服务器数量减少时,根据本地元数据检索没有备份的数据,将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器,确定为备份所述数据的存储服务器,向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
本发明还公开了一种元数据服务器,所述元数据服务器包括:第一接收单元、第一存储单元、第一检索确定单元、第一更新单元和第一发送单元;其中,
所述第一接收单元,用于接收客户端的数据读请求或数据写请求;
所述第一存储单元,用于存储元数据;
所述第一检索确定单元,用于在所述第一接收单元接收到数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过设定阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器;
所述第一更新单元,用于更新所述第一存储单元的所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据;
所述第一发送单元,用于向所述客户端发送通知所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
优选地,所述第一检索确定单元,还用于在所述第一接收单元接收到所述客户端的数据读请求时,根据所述第一存储单元的元数据,检索所述数据读请求读取数据所在的存储服务器,将检索到的存储服务器中负载不超过设定阈值的存储服务器,确定为响应所述数据读请求的存储服务器;在所述第一接收单元接收到所述客户端的数据写请求时,根据所述第一存储单元的元数据,检索满足所述数据写请求的存储空间需求的存储服务器,将检索的到的存储服务器中负载不超过设定阈值的存储服务器,确定为响应所述数据写请求的存储服务器。
优选地,所述第一更新单元,还用于更新所述第一存储单元的所述响应数据读请求的存储服务器的元数据中的负载信息;或更新所述第一存储单元的所述响应数据写请求的存储服务器的元数据中的负载信息和剩余存储空间信息。
优选地,所述第一检索确定单元,还用于在所述第一接收单元接收到所述客户端的数据写请求时,根据所述第一存储单元的元数据,检索负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器;
所述第一更新单元,用于在所述第一检索确定单元确定所述备份存储服务器时,更新所述第一存储单元中元数据的数据标识信息、负载信息和剩余存储空间信息,所述元数据为所述第一检索确定单元确定的备份存储服务器的元数据;
所述第一发送单元,还用于在所述第一检索确定单元确定所述备份存储服务器时,向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地,所述第一存储单元,还用于生成元数据同步信息;
所述第一发送单元,还用于将所述第一存储单元生成的元数据同步信息发送至从属元数据服务器;向从属元数据服务器发送周期性心跳信息。
优选地,所述元数据服务器还包括:
第一分析单元,用于根据所述第一存储单元的元数据,分析出所述客户端通过数据读请求读取同一数据的频率;
所述第一检索确定单元,还用于在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时,根据所述第一存储单元的元数据检索满足所述数据存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器;在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据频率小于预设最小值时,确定所述数据所在的存储服务器中的一个或多个删除所述数据;
所述第一发送单元,还用于向所述数据所在的存储服务器发送将所述数据发送至所述第一检索确定单元确定的备份存储服务器的备份指令;向所述第一检索确定单元确定的删除所述数据的一个或多个存储服务器,发送删除所述数据的备份删除指令;
所述第一更新单元,还用于更新所述第一存储单元中所述第一检索确定单元确定的备份存储服务器的元数据中的数据标识信息和剩余存储空间信息;更新所述第一存储单元中所述第一检索单元确定的删除数据的一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
优选地,所述元数据服务器还包括:
第一检测单元,用于检测云存储环境中存储服务器的数量;
所述第一检索确定单元,还用于在所述第一检测单元检测到所述云存储环境新加入存储服务器时,根据所述第一存储单元的元数据,对所述客户端通过数据读请求读取同一数据的频率进行排序;在所述第一检测单元检测到云存储环境存储服务器数量减少时,根据所述第一存储单元的元数据检索没有备份的数据,将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器,确定为备份所述数据的存储服务器;
所述第一发送单元,还用于根据所述第一检索确定单元的排序结果,向读取频率最高的预设数量的数据所在的存储服务器,发送将所述数据发送至所述新加入的存储服务器的备份指令;向所述第一检索确定单元确定的备份存储服务器发送将所述没有备份的数据发送至所述备份存储服务器的备份指令;
所述第一更新单元,还用于在所述第一发送单元向所述新加入存储服务器发送备份指令时,更新所述第一存储单元的元数据的数据标识信息和剩余存储空间信息,所述元数据为所述新加入的存储服务器的元数据;在所述第一发送单元向所述备份存储服务器发送备份指令时,更新所述第一存储单元的元数据的数据标识信息和剩余存储空间信息,所述元数据为所述备份存储服务器的元数据。
本发明还公开了一种存储服务器,所述存储服务器包括:第二接收单元和第二发送单元;其中,
所述第二接收单元,用于接收元数据服务器发送的将所述客户端写入的数据发送至备份存储服务器的备份指令。
所述第二发送单元,用于根据所述第二接收单元接收的备份指令,向所述备份指令指定的备份存储服务器发送所述客户端写入的数据。
优选地,所述第二接收单元,还用于接收元数据服务器发送的将所述客户端通过数据读请求读取频率超过预设最大值的数据发送至备份存储服务器的备份指令;接收元数据服务器发送的删除所述客户端通过数据读请求读取频率小于预设最小值的数据的备份删除指令。
优选地,所述第二接收单元,还用于接收元数据服务器发送的将客户端通过数据读请求读取频率最高的预设数量的数据发送至备份存储服务器的备份指令;接收元数据服务器发送的将没有备份的数据发送至备份存储服务器的备份指令。
本发明还公开了一种从属元数据服务器,所述从属元数据服务器包括:第三接收单元、第三存储单元、第三检索确定单元、第三更新单元和第三发送单元;其中,
所述第三接收单元,用于接收元数据服务器发送的周期性心跳信息;接收客户端的数据读请求或数据写请求;
所述第三存储单元,用于存储元数据;
所述第三检索确定单元,用于在所述第三接收单元在预设时间内没有接收到心跳信息时确定元数据服务器不可用,根据所述第三接收单元接收到的数据读请求或数据写请求检索到负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器;
所述第三更新单元,用于更新所述第三存储单元的所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据;
所述第三发送单元,用于向所述客户端发送通知所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
本发明还公开了一种云存储环境数据处理系统,所述系统包括:客户端、至少两台存储服务器和元数据服务器;其中,
所述元数据服务器,用于接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器;更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,并通知所述客户端所述响应数据读请求或数据写请求的存储服务器的信息。
优选地,所述元数据服务器,还用于接收到所述客户端的数据读请求时,根据本地元数据检索所述数据读请求读取数据所在的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据读请求的存储服务器;接收到所述客户端的数据写请求时,根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据写请求的存储服务器。
优选地,所述元数据服务器,还用于更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息;或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
优选地,所述元数据服务器,还用于在接收到所述客户端的数据写请求时,根据本地元数据检索负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为备份所述客户端写入响应数据写请求的存储服务器的数据的存储服务器,更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息,并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地,所述系统还包括:从属元数据服务器,用于接收所述元数据服务器同步至本地的元数据;在预设时间内没有接收到所述元数据服务器的心跳信息时确定所述元数据服务器不可用,替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
优选地,所述元数据服务器,还用于根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时,根据本地元数据检索满足所述数据存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器,向所述数据所在的存储服务器发送将所述数据发送所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息;根据本地元数据分析出客户端通过数据读请求读取同一数据频率小于预设最小值时,确定所述数据所在的存储服务器中的一个或多个删除所述数据,向所述一个或多个存储服务器发送删除所述数据的备份删除指令,并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
优选地,所述元数据服务器,还用于检测到所述云存储环境新加入存储服务器时,根据本地元数据,对所述客户端通过数据读请求读取同一数据的频率进行排序,并向读取频率最高的预设数量的数据所在的存储服务器,发送将所述数据发送至所述新加入的存储服务器的备份指令,并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息;检测到所述云存储环境存储服务器数量减少时,根据本地元数据检索没有备份的数据,并将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器,确定为备份所述数据的存储服务器,向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
本发明所提供的技术方案中,由所述存储服务器组成云存储环境以存储数据,所述存储服务器硬件成本低,且所述存储服务器部署的数量可以根据不同应用场景需要存储数据容量的不同而调整,从而有效控制硬件成本,并且,客户端写入云存储环境中存储服务器的数据,会在云存储环境中其他的存储服务器进行备份,提高了数据存储的可靠性;
进一步地,所述元数据服务器将元数据在从属元数据服务器备份,从而在所述元数据服务器不可用时,从属元数据服务器能够替代元数据服务器响应客户端的数据读请求或数据写请求,提高了数据处理的可靠性;
进一步地,所述元数据服务器根据所述客户端通过数据读请求读取同一数据的频率,调整存储所述数据的存储服务器的数量,提高了对客户端数据读请求的响应速度;
进一步地,所述元数据服务器在所述云存储环境新加入存储服务器时,根据数据读取频率确定新加入存储服务器存储的数据,使存储服务器的负载均衡化;在所述云存储环境存储服务器数量减少时,检索没有备份的数据并进行备份,提高了数据存储的可靠性。


图1为本发明云存储环境数据处理方法的实现流程示意图2为本发明云存储环境数据处理系统的组成结构示意图3为本发明一实施例中云存储环境数据处理方法实现流程示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明云存储环境数据处理方法的实现流程示意图,如图1所示,包括:
步骤101:元数据服务器接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器;
其中,所述负载具体为所述存储服务器响应的数据读请求或数据写请求以及响应时间,当所述存储服务器的负载达到预设阈值时,即表示所述存储服务器的输入/输出达到所述存储服务器的吞吐性能上限。
其中,所述存储服务器负载信息的获取为现有技术的范畴。
其中,所述客户端的数据读请求中携带数据的标识到元数据服务器读取数据,所述客户端的数据写请求携带需写入数据的标识信息和需写入数据的存储空间需求。
其中,所述存储服务器的元数据包括存储服务器存储的数据的标识信息、存储服务器的负载信息和剩余存储空间信息。相应地,所述元数据服务器将检索到的存储服务器确定为响应数据读请求的存储服务器时,需要更新所述存储服务器的元数据中的负载信息;所述元数据服务器将检索到的存储服务器确定为响应数据写请求的存储服务器时,需要在所述存储服务器的元数据中添加客户端写入数据的标识信息,并更新所述存储服务器的负载信息和剩余存储空间信息。如此,所述元数据服务器后续接收到数据读请求或数据写请求时,可以根据所述存储服务器当前存储元数据中的数据标识信息、负载信息和剩余存储空间信息,检索并确定响应所述后续数据读请求或数据写请求的存储服务器,以保证所述后续的数据读请求或数据写请求的响应不会被延迟。
优选地,所述元数据服务器接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索负载不超过预设阈值的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器,包括:
所述元数据服务器接收到所述客户端的数据读请求时,根据本地元数据检索所述数据读请求读取数据所在的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据读请求的存储服务器;
所述元数据服务器接收到所述客户端的数据写请求时,根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据写请求的存储服务器。
其中,所述元数据服务器检索到符合检索条件的存储服务器时,优先选择符合检索条件的存储服务器中负载最小的存储服务器确定为响应所述数据写请求或数据写请求的存储服务器,以均衡所述存储服务器的负载。
其中,所述确定响应数据读请求的存储服务器的数量可以为一个或多个,所述确定响应数据读请求的存储服务器的数量可以预设最大值与最小值。具体地,预设响应数据读请求的存储服务器数量的最小值,可以避免所述客户端接收数据的速率较小而无法及时接收到完整数据;预设响应数据读请求的存储服务器数量的最大值,可以避免过多的存储服务器响应所述数据读请求,致使客户端后续的数据读请求或数据写请求无法得到及时响应。
优选地,所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,包括:
所述元数据服务器更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息;或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
为将客户端发送到存储服务器的需写入的数据在另一个存储服务器备份,优选地,所述元数据服务器接收到客户端的数据写请求时,所述方法还包括:
所述元数据服务器根据本地元数据和所述数据写请求检索负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器,更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息,并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地,所述方法还包括:
所述元数据服务器同步本地元数据至从属元数据服务器,所述从属元数据服务器在预设时间内没有接收到所述元数据服务器的周期性心跳信息时确定所述元数据服务器不可用,替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
其中,所述元数据服务器周期性向所述从属元数据服务器发送心跳信息,以标识所述元数据服务器处于正常工作状态,当所述从属元数据服务器在预设时间内没有接收到心跳信息时,表示所述元数据服务器处于不可用状态。
步骤102:所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器对应的元数据,并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。
其中,所述存储服务器的信息为标识所述存储服务器的信息,在由存储服务器组成的云存储环境中,所述存储服务器的信息包括所述存储服务器的互联网协议(IP,Internet Protocol)地址。
优选地,所述方法还包括:
所述客户端向响应所述数据读请求或数据写请求的存储服务器发送数据读请求或需写入的数据,并接收所述存储服务器返回的所述数据读请求读取的数据或数据写入成功信息。
优选地,所述方法还包括:
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时,根据本地元数据检索满足所述数据存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器,向所述数据所在的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息;
所述元数据服务器根据本地元数据分析出客户端通过数据读请求读取的同一数据频率小于预设最小值时,确定所述数据所在的存储服务器中的一个或多个删除所述数据,向所述一个或多个存储服务器发送删除所述数据的备份删除指令,并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
其中,由于元数据中的负载信息具体为所述存储服务器响应的数据读请求或数据写请求以及响应时间,因此根据所述云存储环境中所有存储服务器的负载信息,可分析出客户端发送同一数据读请求读取同一数据的频率。
其中,所述客户端在通过数据读请求读取同一数据频率超过预设最大值时,表示存储所述数据的现有数量的存储服务器的吞吐性能无法保证客户端针对所述数据的数据读请求能够及时响应,通过上述增加存储所述数据的存储服务器的数量的处理,可以提高针对所述数据的数据读请求的响应速度;所述客户端通过数据读请求读取同一数据频率小于预设最小值时,表示存储所述数据的现有数量的存储服务器较多,通过上述在存储服务器中删除所述数据的操作,可以节省所述存储服务器的存储空间。
优选地,所述方法还包括:
所述元数据服务器检测到所述云存储环境新加入存储服务器时,根据本地元数据,对所述客户端通过数据读请求读取同一数据的频率进行排序,并向读取频率最高的预设数量的数据所在的存储服务器,发送将所述数据发送至所述新加入的存储服务器的备份指令,并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息;
所述元数据服务器检测到所述云存储环境存储服务器数量减少时,根据本地元数据检索没有备份的数据,将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器,确定为备份所述数据的存储服务器,向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
其中,通过检索没有备份的数据并进行备份的处理,避免了存储服务器因故障不可用时,导致数据没有备份而存在丢失的可能性;并且,所述元数据服务器将检索到的没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器时,优选选择符合检索条件的存储服务器中负载最小的存储服务器,确定为备份所述数据的存储服务器,可以均衡所述存储服务器的负载。
图2为本发明云存储环境数据处理系统的组成结构示意图,如图2所示,所述系统包括:元数据服务器21、至少两台存储服务器22和客户端23 ;其中,
所述元数据服务器21,用于接收到客户端23的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器22确定为响应所述数据读请求或数据写请求的存储服务器22 ;更新本地的所述响应数据读请求或数据写请求的存储服务器22的元数据,并通知所述客户端23所述响应数据读请求或数据写请求的存储服务器22的信息。
优选地,所述元数据服务器21,还用于接收到所述客户端23的数据读请求时,根据本地元数据检索所述数据读请求读取数据所在的存储服务器22,将检索到的存储服务器22中负载不超过预设阈值的存储服务器22,确定为响应所述数据读请求的存储服务器22 ;接收到所述客户端23的数据写请求时,根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器22,将检索到的存储服务器22中负载不超过预设阈值的存储服务器22,确定为响应所述数据写请求的存储服务器22。
优选地,所述元数据服务器21,还用于更新本地的所述响应数据读请求的存储服务器22的元数据中的负载信息;或更新本地的所述响应数据写请求的存储服务器22的元数据中的数据标识信息、负载信息和剩余存储空间信息。
优选地,所述元数据服务器21,还用于在接收到所述客户端23的数据写请求时,根据本地元数据检索负载不超过设定阈值的存储服务器22,将检索到的存储服务器22确定为备份所述客户端23写入响应数据写请求的存储服务器22的数据的存储服务器22,更新所述备份存储服务器22的元数据中的数据标识信息、负载信息和剩余存储空间信息,并向响应所述数据写请求的存储服务器22发送将所述客户端23写入的数据发送至所述备份存储服务器22的备份指令。
优选地,所述系统还包括:
从属元数据服务器24,用于接收所述元数据服务器21同步至本地的元数据;在预设时间内没有接收到所述元数据服务器21的心跳信息时确定所述元数据服务器21不可用,替代所述元数据服务器21处理所述客户端23的数据读请求或数据写请求。
优选地,所述元数据服务器21,还用于根据本地元数据分析出所述客户端23通过数据读请求读取同一数据的频率超过预设最大值时,根据本地元数据检索满足所述数据存储空间需求的存储服务器22,将检索到的存储服务器22中负载不超过预设阈值的存储服务器22确定为备份所述数据的存储服务器22,向所述数据所在的存储服务器22发送将所述数据发送所述备份存储服务器22的备份指令,并更新所述备份存储服务器22的元数据中的数据标识信息和剩余存储空间信息;根据本地元数据分析出客户端23通过数据读请求读取同一数据频率小于预设最小值时,确定所述数据所在的存储服务器22中的一个或多个删除所述数据,向所述一个或多个存储服务器22发送删除所述数据的备份删除指令,并更新所述一个或多个存储服务器22的元数据中的数据标识信息和剩余存储空间信息。
优选地,所述元数据服务器21,还用于检测到所述云存储环境新加入存储服务器22时,根据本地元数据,对所述客户端23通过数据读请求读取同一数据的频率进行排序,并向读取频率最高的预设数量的数据所在的存储服务器22,发送将所述数据发送至所述新加入的存储服务器22的备份指令,并更新所述新加入的存储服务器22的元数据中的数据标识信息和剩余存储空间信息;检测到所述云存储环境存储服务器22数量减少时,根据本地元数据检索没有备份的数据,并将没有备份所述数据的存储服务器22中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器22,确定为备份所述数据的存储服务器22,向存储所述数据的存储服务器22发送将所述数据发送至所述备份存储服务器22的备份指令,并更新所述备份存储服务器22的元数据的数据标识信息和剩余存储空间信息。
优选地,所述元数据服务器21包括:第一接收单元211、第一存储单元212、第一检索确定单元213、第一更新单元214和第一发送单元215 ;其中,
所述第一接收单元211,用于接收客户端23的数据读请求或数据写请求;
所述第一存储单元212,用于存储元数据;
所述第一检索确定单元213,用于在所述第一接收单元211接收到数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过设定阈值的存储服务器22,确定为响应所述数据读请求或数据写请求的存储服务器22 ;
所述第一更新单元214,用于更新所述第一存储单元212的所述第一检索确定单元213确定的响应所述数据读请求或数据写请求的存储服务器22的元数据;
所述第一发送单元215,用于向所述客户端23发送通知所述第一检索确定单元213确定的响应所述数据读请求或数据写请求的存储服务器22的信息。
优选地,所述第一检索确定单元213,还用于在所述第一接收单元211接收到所述客户端23的数据读请求时,根据所述第一存储单元212的元数据,检索所述数据读请求读取数据所在的存储服务器22,将检索到的存储服务器22中负载不超过设定阈值的存储服务器22,确定为响应所述数据读请求的存储服务器22 ;在所述第一接收单元211接收到所述客户端23的数据写请求时,根据所述第一存储单元212的元数据,检索满足所述数据写请求的存储空间需求的存储服务器22,将检索的到的存储服务器22中负载不超过设定阈值的存储服务器22,确定为响应所述数据写请求的存储服务器22。
优选地,所述第一更新单元214,还用于更新所述第一存储单元212的所述响应数据读请求的存储服务器22的元数据中的负载信息;或更新所述第一存储单元212的所述响应数据写请求的存储服务器22的元数据中的负载信息和剩余存储空间信息。
优选地,所述第一检索确定单元213,还用于在所述第一接收单元211接收到所述客户端23的数据写请求时,根据所述第一存储单元212的元数据,检索负载不超过设定阈值的存储服务器22,将检索到的存储服务器22确定为备份所述客户端23写入响应所述数据写请求的存储服务器22的数据的存储服务器22 ;
所述第一更新单元214,用于在所述第一检索确定单元213确定所述备份存储服务器22时,更新所述第一存储单元212中元数据的数据标识信息、负载信息和剩余存储空间信息,所述元数据为所述第一检索确定单元213确定的备份存储服务器22的元数据;
所述第一发送单元215,还用于在所述第一检索确定单元213确定所述备份存储服务器22时,向响应所述数据写请求的存储服务器22发送将所述客户端23写入的数据发送至所述备份存储服务器22的备份指令。
优选地,所述第一存储单元212,还用于生成元数据同步信息;
所述第一发送单元215,还用于将所述第一存储单元212生成的元数据同步信息发送至元数据服务器21 ;向元数据服务器21发送周期性心跳信息。
优选地,所述元数据服务器21还包括:
第一分析单元216,用于根据所述第一存储单元212的元数据,分析出所述客户端23通过数据读请求读取同一数据的频率;
所述第一检索确定单元213,还用于在所述第一分析单元216分析出所述客户端23通过数据读请求读取同一数据的频率超过预设最大值时,根据所述第一存储单元212的元数据检索满足所述数据存储空间需求的存储服务器22,将检索到的存储服务器22中负载不超过预设阈值的存储服务器22确定为备份所述数据的存储服务器22 ;在所述第一分析单元216分析出所述客户端23通过数据读请求读取同一数据频率小于预设最小值时,确定所述数据所在的存储服务器22中的一个或多个删除所述数据;
所述第一发送单元215,还用于向所述数据所在的存储服务器22发送将所述数据发送至所述第一检索确定单元213确定的备份存储服务器22的备份指令;向所述第一检索确定单元213确定的删除所述数据的一个或多个存储服务器22,发送删除所述数据的备份删除指令;
所述第一更新单元214,还用于更新所述第一存储单元212中所述第一检索确定单元213确定的备份存储服务器22的元数据中的数据标识信息和剩余存储空间信息;更新所述第一存储单元212中所述第一检索单元确定的删除数据的一个或多个存储服务器22的元数据中的数据标识信息和剩余存储空间信息。
优选地,所述元数据服务器21还包括:
第一检测单元217,用于检测云存储环境中存储服务器22的数量;
所述第一检索确定单元213,还用于在所述第一检测单元217检测到所述云存储环境新加入存储服务器22时,根据所述第一存储单元212的元数据,对所述客户端23通过数据读请求读取同一数据的频率进行排序;在所述第一检测单元217检测到云存储环境存储服务器22数量减少时,根据所述第一存储单元212的元数据检索没有备份的数据,将没有备份所述数据的存储服务器22中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器22,确定为备份所述数据的存储服务器22 ;
所述第一发送单元215,还用于根据所述第一检索确定单元213的排序结果,向读取频率最高的预设数量的数据所在的存储服务器22,发送将所述数据发送至所述新加入的存储服务器22的备份指令;向所述第一检索确定单元213确定的备份存储服务器22发送将所述没有备份的数据发送至所述备份存储服务器22的备份指令;
所述第一更新单元214,还用于在所述第一发送单元215向所述新加入存储服务器22发送备份指令时,更新所述第一存储单元212的元数据的数据标识信息和剩余存储空间信息,所述元数据为所述新加入的存储服务器22的元数据;在所述第一发送单元215向所述备份存储服务器22发送备份指令时,更新所述第一存储单元212的元数据的数据标识信息和剩余存储空间信息,所述元数据为所述备份存储服务器22的元数据。
优选地,所述存储服务器22包括:第二接收单元221和第二发送单元222 ;其中,
所述第二接收单元221,用于接收元数据服务器21发送的将所述客户端23写入的数据发送至备份存储服务器22的备份指令。
所述第二发送单元222,用于根据所述第二接收单元221接收的备份指令,向所述备份指令指定的备份存储服务器22发送所述客户端23写入的数据。
优选地,所述第二接收单元221,还用于接收元数据服务器21发送的将所述客户端23通过数据读请求读取频率超过预设最大值的数据发送至备份存储服务器22的备份指令;接收元数据服务器21发送的删除所述客户端23通过数据读请求读取频率小于预设最小值的数据的备份删除指令。
优选地,所述第二接收单元221,还用于接收元数据服务器21发送的将客户端23通过数据读请求读取频率最高的预设数量的数据发送至备份存储服务器22的备份指令;接收元数据服务器21发送的将没有备份的数据发送至备份存储服务器22的备份指令。
优选地,所述从属元数据服务器24包括:第三接收单元241、第三存储单元242、第三检索确定单元243、第三更新单元244和第三发送单元245 ;其中,
所述第三接收单元241,用于接收元数据服务器21发送的周期性心跳信息;接收客户端23的数据读请求或数据写请求;
所述第三存储单元242,用于存储元数据;
所述第三检索确定单元243,用于在所述第三接收单元241在预设时间内没有接收到心跳信息时确定元数据服务器21不可用,根据所述第三接收单元241接收到的数据读请求或数据写请求检索到负载不超过设定阈值的存储服务器22,将检索到的存储服务器22确定为响应所述数据读请求或数据写请求的存储服务器22 ;
所述第三更新单元244,用于更新所述第三存储单元242的元数据,所述元数据为所述第三检索确定单元243确定的响应所述数据读请求或数据写请求的存储服务器22的元数据;
所述第三发送单元245,用于向所述客户端23发送通知所述第三检索确定单元243确定的响应所述数据读请求或数据写请求的存储服务器22的信息。
图3为本发明一实施例中云存储环境数据处理方法实现流程示意图,如图3所示,包括:
步骤301:客户端向元数据服务器发送数据写请求;
步骤302:元数据服务器根据本地的元数据,检索并确定存储服务器I响应所述数据写请求,存储服务器2备份客户端写入存储服务器I的数据,更新存储服务器I和存储服务器2的元数据;
其中,元数据服务器根据所述数据写请求,根据本地元数据检索到满足所述数据写请求的存储空间需求且负载不超过预设阈值的存储服务器I和存储服务器2,确定存储服务器I为响应所述数据写请求的存储服务器,更新存储服务器I的元数据中的数据标识信息、负载信息和剩余存储空间信息;确定存储服务器2为备份客户端写入存储服务器I的数据的存储服务器,并更新存储服务器2的元数据中的数据标识信息和剩余存储空间信肩、O
步骤303:元数据服务器向从属元数据服务器发送元数据同步信息;
其中,所述元数据同步信息携带步骤302中更新的存储服务器I和存储服务器2的元数据。
步骤304:元数据服务器向客户端返回存储服务器I响应所述数据写请求的通知信息;
步骤305:元数据服务器向存储服务器I发送备份指令;
其中,所述备份指令为将客户端写入存储服务器I的数据发送至存储服务器2的指令。
需要说明的是,步骤303、304和305的执行顺序可以任意调换。
步骤306:客户端向存储服务器I发送需写入的数据;
其中,客户端向存储服务器I发送需写入的数据之前,还可以向存储服务器I发送数据写请求,在收到存储服务器I返回的确认信息后,向存储服务器I发送需写入的数据。
步骤307:存储服务器I向存储服务器2发送客户端写入的数据;
其中,存储服务器I在步骤306中将客户端发送的数据写入本地之后,根据步骤305接收到的备份指令,将步骤306中客户端写入的数据发送至存储服务器2,由存储服务器2备份所述数据。
步骤308:存储服务器2向客户端返回数据写入成功信息;
步骤309:客户端向元数据服务器发送数据读请求;
步骤310:元数据服务器根据本地的元数据,检索并确定存储服务器I和存储服务器2响应所述数据读请求;
其中,元数据服务器根据所述数据写请求和本地元数据,检索到所述数据写请求读取的数据所在的存储服务器为存储服务器I和存储服务器2,存储服务器I和存储服务器2的负载均不超过预设阈值,且预设的响应数据读请求的存储服务器的数量的最小值为2,则确定存储服务器I和存储服务器2响应所述数据读请求。
步骤311:元数据服务器向客户端发送存储服务器I和存储服务器2响应所述数据读请求的通知信息;
步骤312:客户端向存储服务器I和存储服务器2发送数据读请求;
步骤313:存储服务器I和存储服务器2向客户端发送数据读请求读取的数据。
其中,上述处理步骤中,从属元数据服务器还接收元数据服务器周期性发送的心跳信息,当从属元数据发起在预设时间内没有接收到元数据服务器的心跳信息时,则替代元数据服务器,与客户端、存储服务器I和存储服务器2进行交互,以响应客户端的数据读请求或数据写请求,具体交互处理与步骤301 步骤313中元数据服务器与存储服务器以及客户端的交互相同,不再赘述。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
权利要求
1.一种云存储环境数据处理方法,其特征在于,所述方法包括: 元数据服务器接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器; 所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。
2.根据权利要求1所述的方法,其特征在于,所述元数据服务器接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器,包括: 所述元数据服务器接收到所述客户端的数据读请求时,根据本地元数据检索所述数据读请求读取数据所在的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据读请求的存储服务器; 所述元数据服务器接收到所述客户端的数据写请求时,根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据写请求的存储服务器。
3.根据权利要求1所述的方法,其特征在于,所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,包括: 所述元数据服务器更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息;或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
4.根据权利要求1或2所述的方法,其特征在于,所述元数据服务器接收到客户端的数据写请求时,所述方法还包括: 所述元数据服务器根据本地元数据和所述数据写请求检索负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器,更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息,并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储 服务器的备份指令。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括: 所述元数据服务器同步本地元数据至从属元数据服务器,所述从属元数据服务器在预设时间内没有接收到所述元数据服务器的周期性心跳信息时确定所述元数据服务器不可用,替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括: 所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时,根据本地元数据检索满足所述数据存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器,向所述数据所在的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息; 所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取的同一数据频率小于预设最小值时,确定所述数据所在的存储服务器中的一个或多个删除所述数据,向所述一个或多个存储服务器发送删除所述数据的备份删除指令,并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
7.根据权利要求1、2、3、4、5或6所述的方法,其特征在于,所述方法还包括: 所述元数据服务器检测到所述云存储环境新加入存储服务器时,根据本地元数据,对所述客户端通过数据读请求读取同一数据的频率进行排序,并向读取频率最高的预设数量的数据所在的存储服务器,发送将所述数据发送至所述新加入的存储服务器的备份指令,并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息; 所述元数据服务器检测到所述云存储环境存储服务器数量减少时,根据本地元数据检索没有备份的数据,将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器,确定为备份所述数据的存储服务器,向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令,并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
8.—种元数据服务器,其特征在于,所述元数据服务器包括:第一接收单元、第一存储单元、第一检索确定单元、第一更新单元和第一发送单元;其中, 所述第一接收单元,用于接收客户端的数据读请求或数据写请求; 所述第一存储单元,用于存储元数据; 所述第一检索确定单元,用于在所述第一接收单元接收到数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过设定阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器; 所述第一更新单元,用于更新所述第一存储单元的所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据; 所述第一发送单元,用于向所述客户端发送通知所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
9.根据权利要求8所述的元数据服务器,其特征在于, 所述第一检索确定单元,还用于在所述第一接收单元接收到所述客户端的数据读请求时,根据所述第一存储单元的元数据,检索所述数据读请求读取数据所在的存储服务器,将检索到的存储服务器中负载不超过设定阈值的存储服务器,确定为响应所述数据读请求的存储服务器;在所述第一接收单元接收到所述客户端的数据写请求时,根据所述第一存储单元的元数据,检索满足 所述数据写请求的存储空间需求的存储服务器,将检索的到的存储服务器中负载不超过设定阈值的存储服务器,确定为响应所述数据写请求的存储服务器。
10.根据权利要求8所述的元数据服务器,其特征在于, 所述第一更新单元,还用于更新所述第一存储单元的所述响应数据读请求的存储服务器的元数据中的负载信息;或更新所述第一存储单元的所述响应数据写请求的存储服务器的元数据中的负载信息和剩余存储空间信息。
11.根据权利要求8或9所述的元数据服务器,其特征在于, 所述第一检索确定单元,还用于在所述第一接收单元接收到所述客户端的数据写请求时,根据所述第一存储单元的元数据,检索负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器; 所述第一更新单元,用于在所述第一检索确定单元确定所述备份存储服务器时,更新所述第一存储单元中元数据的数据标识信息、负载信息和剩余存储空间信息,所述元数据为所述第一检索确定单元确定的备份存储服务器的元数据; 所述第一发送单元,还用于在所述第一检索确定单元确定所述备份存储服务器时,向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
12.根据权利要求8所述的元数据服务器,其特征在于, 所述第一存储单元,还用于生成元数据同步信息; 所述第一发送单元,还用于将所述第一存储单元生成的元数据同步信息发送至从属元数据服务器;向从属元数据服务器发送周期性心跳信息。
13.根据权利要求8所述的元数据服务器,其特征在于,所述元数据服务器还包括: 第一分析单元,用于根据所述第一存储单元的元数据,分析出所述客户端通过数据读请求读取同一数据的频率; 所述第一检索确定单元,还用于在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时,根据所述第一存储单元的元数据检索满足所述数据存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器;在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据频率小于预设最小值时,确定所述数据所在的存储服务器中的一个或多个删除所述数据; 所述第一发送单元,还用于向所述数据所在的存储服务器发送将所述数据发送至所述第一检索确定单元确定的备份存储服务器的备份指令;向所述第一检索确定单元确定的删除所述数据的一个或多个存储服务器,发送删除所述数据的备份删除指令; 所述第一更新单元,还用于更新所述第一存储单元中所述第一检索确定单元确定的备份存储服务器的元数据中的数据标识信息和剩余存储空间信息;更新所述第一存储单元中所述第一检索单元确定的删除数据的一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
14.根据权利要求8、9、10、11、12或13所述的元数据服务器,其特征在于,所述元数据服务器还包括: 第一检测单元,用于检测云存储环境中存储服务器的数量; 所述第一检索确定单元,还用于在所述第一检测单元检测到所述云存储环境新加入存储服务器时,根据所述第一存储单元的元数据,对所述客户端通过数据读请求读取同一数据的频率进行排序;在所述第一检测单元检测到云存储环境存储服务器数量减少时,根据所述第一存储单元的元数据检索没有备份的数据,将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器,确定为备份所述数据的存储服务器; 所述第一发送单元,还用于根据所述第一检索确定单元的排序结果,向读取频率最高的预设数量的数据所在的存储服务器,发送将所述数据发送至所述新加入的存储服务器的备份指令;向所述第一检索确定单元确定的备份存储服务器发送将所述没有备份的数据发送至所述备份存储服务器的备份指令; 所述第一更新单元,还用于在所述第一发送单元向所述新加入存储服务器发送备份指令时,更新所述第一存储单元的元数据的数据标识信息和剩余存储空间信息,所述元数据为所述新加入的存储服务器的元数据;在所述第一发送单元向所述备份存储服务器发送备份指令时,更新所述第一存储单元的元数据的数据标识信息和剩余存储空间信息,所述元数据为所述备份存储服务器的元数据。
15.一种存储服务器,其特征在于,所述存储服务器包括:第二接收单元和第二发送单元;其中, 所述第二接收单元,用于接收元数据服务器发送的将所述客户端写入的数据发送至备份存储服务器的备份指令。
所述第二发送单元,用于根据所述第二接收单元接收的备份指令,向所述备份指令指定的备份存储服务器发送所述客户端写入的数据。
16.根据权利要求15所述的存储服务器,其特征在于, 所述第二接收单元,还用于接收元数据服务器发送的将所述客户端通过数据读请求读取频率超过预设最大值的数据发送至备份存储服务器的备份指令;接收元数据服务器发送的删除所述客户端通过数据读请求读取频率小于预设最小值的数据的备份删除指令。
17.根据权利要求15或16所述的存储服务器,其特征在于, 所述第二接收单元,还用于接收元数据服务器发送的将客户端通过数据读请求读取频率最高的预设数量的数据发送至备份存储服务器的备份指令;接收元数据服务器发送的将没有备份的数据发送至备份存储服务器的备份指令。
18.一种从属元数据服务器,其特征在于,所述从属元数据服务器包括:第三接收单元、第三存储单元、第三检索确定单元、第三更新单元和第三发送单元;其中, 所述第三接收单元,用于接收元数据服务器发送的周期性心跳信息;接收客户端的数据读请求或数据写请求; 所述第三存储单元,用于存储元数据; 所述第三检索确定单元,用于在所述第三接收单元在预设时间内没有接收到心跳信息时确定元数据服务器不可用,根据所述第三接收单元接收到的数据读请求或数据写请求检索到负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器; 所述第三更新单元,用于更新 所述第三存储单元的所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据; 所述第三发送单元,用于向所述客户端发送通知所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
19.一种云存储环境数据处理系统,其特征在于,所述系统包括:客户端、至少两台存储服务器和元数据服务器;其中, 所述元数据服务器,用于接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器;更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,并通知所述客户端所述响应数据读请求或数据写请求的存储服务器的信肩、O
20.根据权利要求19所述的系统,其特征在于, 所述元数据服务器,还用于接收到所述客户端的数据读请求时,根据本地元数据检索所述数据读请求读取数据所在的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据读请求的存储服务器;接收到所述客户端的数据写请求时,根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器,确定为响应所述数据写请求的存储服务器。
21.根据权利要求19所述的系统,其特征在于, 所述元数据服务器,还用于更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息;或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
22.根据权利要求19所述的系统,其特征在于, 所述元数据服务器,还用于在接收到所述客户端的数据写请求时,根据本地元数据检索负载不超过设定阈值的存储服务器,将检索到的存储服务器确定为备份所述客户端写入响应数据写请求的存储服务器的数据的存储服务器,更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息,并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
23.根据权利要求20所述的系统,其特征在于,所述系统还包括: 从属元数据服务器,用于接收所述元数据服务器同步至本地的元数据;在预设时间内没有接收到所述元数据服务器的心跳信息时确定所述元数据服务器不可用,替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
24.根据权利要求20所述的系统,其特征在于, 所述元数据服务器,还用于根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时,根据本地元数据检索满足所述数据存储空间需求的存储服务器,将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器,向所述数据所在的存储服务器发送将所述数据发送所述备份存储服务器的备份指令,并更新所 述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息;根据本地元数据分析出客户端通过数据读请求读取同一数据频率小于预设最小值时,确定所述数据所在的存储服务器中的一个或多个删除所述数据,向所述一个或多个存储服务器发送删除所述数据的备份删除指令,并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
25.根据权利要求20、21、22、23或24所述的系统,其特征在于, 所述元数据服务器,还用于检测到所述云存储环境新加入存储服务器时,根据本地元数据,对所述客户端通过数据读请求读取同一数据的频率进行排序,并向读取频率最高的预设数量的数据所在的存储服务器,发送将所述数据发送至所述新加入的存储服务器的备份指令,并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息;检测到所述云存储环境存储服务器数量减少时,根据本地元数据检索没有备份的数据,并将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器,确定为备份所述数据的存储服务器,向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份 指令,并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
全文摘要
本发明公开了一种云存储环境数据处理方法,元数据服务器接收到客户端的数据读请求或数据写请求时,将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器,确定为响应所述数据读请求或数据写请求的存储服务器,更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据,并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。本发明同时还公开了一种云存储环境数据处理系统及设备,使用本发明的技术方案,降低了实施硬件成本,提高了数据存储的可靠性。
文档编号H04L29/08GK103167026SQ20131004878
公开日2013年6月19日 申请日期2013年2月6日 优先权日2013年2月6日
发明者肖立群, 孙晓斌, 李琳, 张迎华, 李焕 申请人:数码辰星科技发展(北京)有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1