一种分布式文件系统的主备机制数据传输方法及装置的制造方法
【技术领域】
[0001]本发明涉及主备机制数据传输领域，尤其涉及一种分布式文件系统的主备机制数据传输方法及装置。
【背景技术】
[0002]在分布式存储系统中，对数据以及信息资源的描述性信息称为元数据，对元数据的管理通采用集中式元数据服务模型。
[0003]为了提高元数据的可靠性，以避免当元数据服务器因为某些原因无法正常工作的时候，导致整个分布式存储系统无法工作。因此，需要对元数据服务器提供一个备份元数据服务器，接管出现问题的主元数据机服务器的工作，保证整个系统可以正常运行。为了保证主备元数据服务器之间的强一致性，数据在主备元数据服务器之间传输需要做同步操作，目前，主备元数据服务器之间采用同步复制数据的方式和异步复制数据的方式进行数据备份。
[0004]参阅图1所示，主备元数据服务器采用同步复制数据的方式备份数据的流程为:流程1，客户端将数据发送至主元数据服务器；流程2，主元数据服务器处理完成并保存本地后，将数据再发送到备元数据服务器；流程3，备元数据服务器将数据保存本地进行备份，并确定备份完成后返回主元数据服务器备份完成通知消息；流程4，主元数据服务器通过路由器将处理完成消息返回至客户端，本次输入输出(Input/Output，I/O)操作完成。
[0005]参阅图2所示，主备元数据服务器采用异步复制数据的方式备份数据的流程为:流程1，客户端将数据发送至主元数据服务器；流程2，主元数据服务器收到数据后，在指定内存区域进行保存，并将需要持久化的数据保存到本地，处理数据完成后通过路由器将处理完成消息返回至客户端；流程3，待备元数据服务器在某一特定时间段主动发起连接时，主元数据服务器确定备元数据服务器机连接成功后，将内存中保存的数据通过内部的心跳线，根据传输控制协议及网络互连协议(Transmiss1n Control Protocol/InternetProtocol, TCP/IP)发送到备元数据服务器；流程4，备元数据服务器确定备份完成后返回主元数据服务器备份完成通知消息，并断开连接，从而本次1/0操作完成。
[0006]然而，采用同步复制数据的方式备份数据，主元数据服务器需要等待备元数据服务器复制完成后，才可以返回客户端处理完成消息，虽然保证了一致性，但是主备元数据服务器进行备份流程耗费时间和信令，导致系统的工作效率降低；采用异步复制数据的方式备份数据，备元数据服务器需要根据预设的周期，主动请求与主元数据服务器建立连接，才可以进行数据备份，在主元数据服务器负载较大时进行数据备份，导致影响了主元数据服务器的业务处理效率，且由备元数据服务器发起备份任务时，需要进行多次握手协议操作，增加了网络的负担。
[0007]总之，目前的主备之间采用同步复制数据的方式时，会耗费时间和信令，导致系统的工作效率降低，采用异步复制数据的方式时，需要进行多次握手协议操作，增加了网络的负担，且影响主元数据服务器的业务处理效率。
【发明内容】
[0008]本发明实施例提供一种分布式文件系统的主备机制数据传输方法及装置，用以解决现有技术中存在的主备之间采用同步复制数据的方式时，会耗费时间和信令，导致系统的工作效率降低，采用异步复制数据的方式时，需要进行多次握手协议操作，增加了网络的负担，且影响主元数据服务器的业务处理效率的问题。
[0009]本发明实施例提供的具体技术方案如下:
[0010]—种分布式文件系统的主备机制数据传输方法，包括:
[0011]主元数据服务器确定备元数据服务器开机启动后，与所述备元数据服务器建立连接;
[0012]所述主元数据服务器接收到客户端发送的数据请求后，根据所述数据请求确定对应的备份类型，并对所述数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；
[0013]所述主元数据服务器根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器。
[0014]采用这种方法，采用异步复制数据，在保证了传输可靠性的基础上提高了主元数据服务器数据操作的效率，主元数据服务器根据操作的备份类型，主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略，保证了重要的数据可以及时备份至备元数据数据服务器保存，且主元数据服务器可以根据自身的业务情况，如负载信息等，制定备份时间点，从而提高了主元数据服务器的业务处理效率。
[0015]较佳地，所述主元数据服务器根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括:
[0016]所述主元数据服务器根据所述备份类型，确定对应的备份条件，确定所述备份条件满足后，将所述指定内存中的数据发送至所述备元数据服务器。
[0017]通过这种方法，根据不同的备份类型，在不同的时机将数据发送至备元数据服务器，主元数据服务器根据操作的备份类型主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略。
[0018]较佳地，所述主元数据服务器根据所述备份类型，确定对应的备份条件，包括:
[0019]所述主元数据服务器判定所述备份类型为重要时，确定对应的备份条件为在所述指定内存中的数据不为空；
[0020]所述主元数据服务器判定所述备份类型为非重要时，确定对应的备份条件为所述主元数据服务器的负载信息未超过设定阈值。
[0021]采用这种方法，备份类型为重要时，处理后的数据保持在指定内存时，对该处理后的数据备份至备元数据服务器；备份类型为非重要时，主元数据服务器根据自身的负载信息，确定在负载较低时进行备份，从而提高了主元数据服务器的业务处理效率。
[0022]较佳地，所述主元数据服务器的负载信息为中央处理器CPU剩余使用率、内存剩余使用率、磁盘剩余容量、网络剩余带宽以及磁盘读写速度中的一种或任意组合。
[0023]通过这种方法，可以准确的获取主元数据服务器的负载信息。
[0024]较佳地，将所述指定内存中的数据发送至所述备元数据服务器，包括:
[0025]所述主元数据服务器判定所述备份类型为重要时，将所述指定内存中的数据发送至所述备元数据服务器，同时，将所述指定内存中的数据持久化保存至所述主元数据服务器；
[0026]所述主元数据服务器判定所述备份类型为非重要时，将所述指定内存中的数据持久化保存至所述主元数据服务器后，将所述指定内存中的数据发送至所述备元数据服务器。
[0027]采用这种方法，主元数据服务器判定备份类型为重要时，在将指定内存中的数据发送至备元数据服务器的同时，将指定内存中的数据持久化保存至主元数据服务器，可以保证以最快的速度将数据备份至备元数据服务器；对于非总要的数据，主元数据服务器在持久化后，在指定时机进行备份，从而提高了主元数据服务器的业务处理效率。
[0028]一种分布式文件系统的主备机制数据传输装置，包括:
[0029]连接单元，用于确定备元数据服务器开机启动后，与所述备元数据服务器建立连接;
[0030]处理单元，用于接收到客户端发送的数据请求后，根据所述数据请求确定对应的备份类型，并对所述数据请求携带的数据进行数据处理，以及将处理后的数据保存在指定内存中；
[0031]发送单元，用于根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器。
[0032]这样，采用异步复制数据，在保证了传输可靠性的基础上提高了主元数据服务器数据操作的效率，主元数据服务器根据操作的备份类型，主动进行推送，可以区分重要数据与非重要数据，从而制定对应的备份策略，保证了重要的数据可以及时备份至备元数据数据服务器保存，且主元数据服务器可以根据自身的业务情况，如负载信息等，制定备份时间点，从而提高了主元数据服务器的业务处理效率。
[0033]较佳地，所述发送单元根据所述备份类型将所述指定内存中的数据发送至所述备元数据服务器，包括:
[0034]所述发送单元根据所述备份类型，确定对应的备份条件，确定所述备份条件满足后，将所述指定内存中的数据发送至所述备元数据服务器。
[0035]这样，发送单元根据不同的备份类型，在不同的时机将数据发送至备元数据服务器，主元数据服务