文件同步方法、装置、计算机设备及存储介质与流程

1.本发明涉及数据存储技术领域，更具体地说是文件同步方法、装置、计算机设备及存储介质。


背景技术：

2.在网络技术飞速发展的今天，伴随着大量信息、文件、资源等数据的产生，资源、文件之间不断更新，传统的数据存储方式已经不能满足高效率的生产方式。大多数公司会在不同地方设置多台服务器来存储大量文件、资源等生产资料，主从服务器之间的文件需要保持一致，以应对出现的网络灾难问题，如主服务器宕机，需要马上切换到备份服务器继续运行现有业务。而诸如硬盘、u盘等存储方式不利于数据的读取，需要用户手动进行数据的拷贝，尤其是涉及大批量数据的读取操作时，需要花费长时间的传输数据。如何能够快速使主从服务器上的文件保持一致是目前需要解决的问题。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供文件同步方法、装置、计算机设备及存储介质，旨在解决手动处理大量文件，导致处理效率低下的问题。
4.为实现上述目的，本发明采用以下技术方案：
5.第一方面，文件同步方法，包括：
6.触发同步机制；
7.将待同步文件的同步信息存储至数据库；
8.根据同步信息将待同步文件从源地址同步至目标地址；
9.验证同步结果。
10.其进一步技术方案为：所述触发同步机制的操作包括：更改数据库的文件状态和发送文件同步请求。
11.其进一步技术方案为：所述将待同步文件的同步信息存储至数据库中，同步信息包括文件的同步路径、同步文件的大小、文件同步的开始时间、文件同步的目标地址、文件同步的方向、文件同步的结束时间以及文件同步的状态。
12.其进一步技术方案为：所述根据同步信息将待同步文件从源地址同步至目标地址，包括：
13.生成待同步文件的唯一标识符；
14.将待同步文件在源地址打包成压缩包；
15.根据文件的同步路径的将压缩包从源地址发送至目标地址；
16.在目标地址对接收到的压缩包进行解压，以得到解压后的同步文件。
17.其进一步技术方案为：所述在目标地址对接收到的压缩包进行解压，以得到解压后的同步文件之后，还包括：
18.删除源地址下的压缩包。
19.其进一步技术方案为：所述验证同步结果，包括：
20.计算解压后的同步文件的唯一标识符；
21.对比解压后的同步文件的唯一标识符与生成时的待同步文件的唯一标识符是否一致；
22.若一致，则判定文件同步成功；
23.若不一致，则判定文件同步不成功。
24.其进一步技术方案为：所述唯一标识符为md5码。
25.第二方面，文件同步装置，包括触发单元、存储单元、同步单元以及验证单元；
26.所述触发单元，用于触发同步机制；
27.所述存储单元，用于将待同步文件的同步信息存储至数据库；
28.所述同步单元，用于根据同步信息将待同步文件从源地址同步至目标地址；
29.所述验证单元，用于验证同步结果。
30.第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的文件同步方法。
31.第四方面，一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如上述的文件同步方法。
32.本发明与现有技术相比的有益效果是：本发明通过触发同步机制；将待同步文件的同步信息存储至数据库；根据同步信息将待同步文件从源地址同步至目标地址；验证同步结果。能够快速、准确地同步文件，解决了手动处理大量文件，导致处理效率低下的问题。
33.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
34.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本发明具体实施例提供的文件同步方法的应用场景示意图；
36.图2为本发明具体实施例提供的文件同步方法的流程图；
37.图3为本发明具体实施例提供的文件同步装置的示意性框图；
38.图4为本发明具体实施例提供的一种计算机设备的示意性框图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
41.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
42.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
43.图1为本发明具体实施例提供的文件同步方法的应用场景示意图；图2为本发明具体实施例提供的文件同步方法的流程图。该方法应用于同步服务器中，该同步服务器与主服务器以及备份服务器建立有通信关系，同步机制被触发时，同步服务器协调主服务器和备份服务器之间进行文件同步。
44.图2为本发明具体实施例提供的文件同步方法的流程图。如图2所示，文件同步方法包括以下步骤：s10-s40。
45.s10、触发同步机制。
46.触发同步机制的操作包括：更改数据库的文件状态和发送文件同步请求，其中，改变数据库的文件状态包括文件大小、md5码、同步结果、文件同步状态等信息。
47.s20、将待同步文件的同步信息存储至数据库。
48.数据库可以是单独独立于主服务器和备份服务器的存储设备或者存储服务器，当必须与主服务器和备份服务器建立有通信连接关系。数据库中存储的同步信息包括文件的同步路径、同步文件的大小、文件同步的开始时间、文件同步的目标地址、文件同步的方向、文件同步的结束时间以及文件同步的状态。
49.存储的同步信息是进行同步的基础，例如，根据文件同步的方向，可明确文件是从主服务器同步至备份服务器，还是从备份服务器同步至主服务器。
50.s30、根据同步信息将待同步文件从源地址同步至目标地址。
51.在一实施例中，步骤s30具体包括以下步骤：s301-s304。
52.s301、生成待同步文件的唯一标识符。
53.为了确保文件同步前后是一致的，需要对文件标记上唯一标识符。
54.在本实施例中，唯一标识符为md5码。md5码是由md5信息摘要算法产生的128位散列值组成，是一种被广泛使用的密码散列函数，用于确保信息传输完整一致，每个文件对应的md5码是固定的，文件内容发生变化时，md5码也会发生变化，所以，md5码可以作为文件的唯一标识符。当然，在其它实施例中，也可以采用其它类型的唯一标识符，例如，序列号、随机编号等等。
55.s302、将待同步文件在源地址打包成压缩包。
56.为了方便数据的同步，减少同步时数据的占用空间，以及提高同步效率，需要将待同步文件在源地址打包成压缩包后再进行同步。
57.s303、根据文件的同步路径将压缩包从源地址发送至目标地址。
58.将文件从主服务器同步至备份服务器的场景下时，源地址指的是主服务器所对应的地址，目标地址指的是备份服务器所对应的地址。相反，若是将文件从备份服务器同步至
主服务器的场景时，源地址指的是备份服务器所对应的地址，目标地址指的是主服务器所对应的地址。
59.s304、在目标地址对接收到的压缩包进行解压，以得到解压后的同步文件。
60.在一实施例中，步骤s304还包括以下步骤：s305。
61.s305、删除源地址下的压缩包。
62.压缩包是为了减少文件大小、方便传输而在源地址生成的。当发送目标地址之后，则需要将源地址的压缩包删除，以保持两边文件的一致性，以避免额外占用内存。
63.s40、验证同步结果。
64.验证的目的是判断同步是否成功。
65.在一实施例中，步骤s40具体包括以下步骤：s401-s404。
66.s401、计算解压后的同步文件的唯一标识符。
67.s402、对比解压后的同步文件的唯一标识符与生成时的待同步文件的唯一标识符是否一致。
68.s403、若一致，则判定文件同步成功。
69.s404、若不一致，则判定文件同步不成功。
70.在本实施例中，通过验证解压后的同步文件的md5码是否一致(是否改变)，如果md5码变化，说明即使传输成功，但是传输的内容有丢失，所以本次同步是不成功的，反之，则是成功的。
71.在一实施例中，验证解压后的同步文件与解压之前的待同步文件的个数或者文件大小是否一致，如果不一致，则判定本次同步失败，反之，则判定本次同步成功。
72.在一实施例中，验证解压后的同步文件与解压之前的待同步文件的目录树是否一致，如果不一致，则判定本次同步失败，反之，则判定本次同步成功。
73.通过多重校验的方式能保证文件同步的正确性，提高了文件同步的成功率。
74.在一实施例中，当验证完成后，如果验证结果是失败，则将会删除目标地址的接收到的同步文件，重新进行同步。
75.本发明能够快速、准确地同步文件，解决了手动处理大量文件，导致处理效率低下的问题。
76.图3是本发明实施例提供的文件同步装置100的示意性框图。对应于上述的文件同步方法，本发明具体实施例还提供了文件同步装置100。该文件同步装置100包括用于执行上述文件同步方法的单元，该装置可以被配置于服务器中。
77.如图3所示，文件同步装置100，包括触发单元110、存储单元120、同步单元130以及验证单元140。
78.触发单元110，用于触发同步机制。
79.触发同步机制的操作包括：更改数据库的文件状态和发送文件同步请求，其中，改变数据库的文件状态包括文件大小、md5码、同步结果、文件同步状态等信息。
80.存储单元120，用于将待同步文件的同步信息存储至数据库。
81.数据库可以是单独独立于主服务器和备份服务器的存储设备或者存储服务器，当必须与主服务器和备份服务器建立有通信连接关系。数据库中存储的同步信息包括文件的同步路径、同步文件的大小、文件同步的开始时间、文件同步的目标地址、文件同步的方向、
文件同步的结束时间以及文件同步的状态。
82.存储的同步信息是进行同步的基础，例如，根据文件同步的方向，可明确文件是从主服务器同步至备份服务器，还是从备份服务器同步至主服务器。
83.同步单元130，用于根据同步信息将待同步文件从源地址同步至目标地址。
84.在一实施例中，同步单元130包括生成模块、压缩模块、发送模块以及解压模块。
85.生成模块，用于生成待同步文件的唯一标识符。
86.为了确保文件同步前后是一致的，需要对文件标记上唯一标识符。
87.在本实施例中，唯一标识符为md5码。md5码是由md5信息摘要算法产生的128位散列值组成，是一种被广泛使用的密码散列函数，用于确保信息传输完整一致，每个文件对应的md5码是固定的，文件内容发生变化时，md5码也会发生变化，所以，md5码可以作为文件的唯一标识符。当然，在其它实施例中，也可以采用其它类型的唯一标识符，例如，序列号、随机编号等等。
88.压缩模块，用于将待同步文件在源地址打包成压缩包。
89.为了方便数据的同步，减少同步时数据的占用空间，以及提高同步效率，需要将待同步文件在源地址打包成压缩包后再进行同步。
90.发送模块，用于根据文件的同步路径将压缩包从源地址发送至目标地址。
91.将文件从主服务器同步至备份服务器的场景下时，源地址指的是主服务器所对应的地址，目标地址指的是备份服务器所对应的地址。相反，若是将文件从备份服务器同步至主服务器的场景时，源地址指的是备份服务器所对应的地址，目标地址指的是主服务器所对应的地址。
92.解压模块，用于在目标地址对接收到的压缩包进行解压，以得到解压后的同步文件。
93.在一实施例中，同步单元130还包括删除模块。
94.删除模块，用于删除源地址下的压缩包。
95.压缩包是为了减少文件大小、方便传输而在源地址生成的。当发送目标地址之后，则需要将源地址的压缩包删除，以保持两边文件的一致性，以避免额外占用内存。
96.验证单元140，用于验证同步结果。
97.验证的目的是判断同步是否成功。
98.在一实施例中，验证单元140包括计算模块、对比模块、第一判定模块以及第二判定模块。
99.计算模块，用于计算解压后的同步文件的唯一标识符。
100.对比模块，用于对比解压后的同步文件的唯一标识符与生成时的待同步文件的唯一标识符是否一致。
101.第一判定模块，用于若一致，则判定文件同步成功。
102.第二判定模块，用于若不一致，则判定文件同步不成功。
103.在本实施例中，通过验证解压后的同步文件的md5码是否一致(是否改变)，如果md5码变化，说明即使传输成功，但是传输的内容有丢失，所以本次同步是不成功的，反之，则是成功的。
104.在一实施例中，验证解压后的同步文件与解压之前的待同步文件的个数或者文件
大小是否一致，如果不一致，则判定本次同步失败，反之，则判定本次同步成功。
105.在一实施例中，验证解压后的同步文件与解压之前的待同步文件的目录树是否一致，如果不一致，则判定本次同步失败，反之，则判定本次同步成功。
106.通过多重校验的方式能保证文件同步的正确性，提高了文件同步的成功率。
107.在一实施例中，当验证完成后，如果验证结果是失败，则将会删除目标地址的接收到的同步文件，重新进行同步。
108.上述文件同步装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
109.请参阅图4，图4是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
110.如图4所示，该计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的文件同步方法步骤。
111.该计算机设备700可以是终端或服务器。该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
112.该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种文件同步方法。
113.该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
114.该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种文件同步方法。
115.该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：
116.文件同步方法，包括：
117.触发同步机制；
118.将待同步文件的同步信息存储至数据库；
119.根据同步信息将待同步文件从源地址同步至目标地址；
120.验证同步结果。
121.在一实施例中：所述触发同步机制的操作包括：更改数据库的文件状态和发送文件同步请求。
122.在一实施例中：所述将待同步文件的同步信息存储至数据库中，同步信息包括文件的同步路径、同步文件的大小、文件同步的开始时间、文件同步的目标地址、文件同步的方向、文件同步的结束时间以及文件同步的状态。
123.在一实施例中：所述根据同步信息将待同步文件从源地址同步至目标地址，包括：
124.生成待同步文件的唯一标识符；
125.将待同步文件在源地址打包成压缩包；
126.根据文件的同步路径的将压缩包从源地址发送至目标地址；
127.在目标地址对接收到的压缩包进行解压，以得到解压后的同步文件。
128.在一实施例中：所述在目标地址对接收到的压缩包进行解压，以得到解压后的同步文件之后，还包括：
129.删除源地址下的压缩包。
130.在一实施例中：所述验证同步结果，包括：
131.计算解压后的同步文件的唯一标识符；
132.对比解压后的同步文件的唯一标识符与生成时的待同步文件的唯一标识符是否一致；
133.若一致，则判定文件同步成功；
134.若不一致，则判定文件同步不成功。
135.在一实施例中：所述唯一标识符为md5码。
136.应当理解，在本技术实施例中，处理器720可以是中央处理单元(central processing unit，cpu)，该处理器720还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
137.本领域技术人员可以理解，图4中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
138.在本发明的另一实施例中提供了一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的文件同步方法。
139.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
140.在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
141.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
142.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
143.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
144.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。