一种文件同步方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种文件同步方法、装置、电子设备及存储介质。


背景技术：

2.在日常业务中会遇到需要不同应用系统进行文件同步的情况
3.但是若进行文件同步的其中一方为基于分布式版本控制系统的文件系统，本文后续简称为git文件系统，由于git文件系统的文件存储路径、存储格式和基本管理单元都与假设存在较大出入，需要专门设计才能对git文件系统管理的文件进行操作，导致在时效性或性能方面难以满足实时性和高并发的要求。
4.为了解决上述问题，需要对文件同步的方法进行改进。


技术实现要素：

5.本发明提供了一种文件同步方法、装置、电子设备及存储介质，以解决基于git文件系统进行文件同步时，无法直接根据具体文件变化信息进行文件同步，以及在高并发文件同步的情况下，文件同步效率低的问题。
6.第一方面，本发明实施例提供了一种文件同步方法，包括：
7.当检测到第一文件存储库的当前文件修改记录标识更新时，确定所述第一文件存储库中的至少一个已更新文件；其中，所述第一文件存储库为分布式系统所对应的文件存储库；
8.根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件；其中，所述更新类型包括新增类型、修改类型或删除类型，所述待传输文件中包括相应的已更新文件的文件修改内容信息，以及所述修改内容信息所在的位置信息；
9.将各待传输文件通过相应的待传输接口发送至所述第二文件存储库，以使所述第二文件存储库基于各所述待传输文件进行文件同步。
10.第二方面，本发明实施例还提供了一种文件同步装置，包括：
11.已更新文件确定模块，用于当检测到第一文件存储库的当前文件修改记录标识更新时，确定所述第一文件存储库中的至少一个已更新文件；其中，所述第一文件存储库为分布式系统所对应的文件存储库；
12.待传输文件确定模块，用于根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件；其中，所述更新类型包括新增类型、修改类型或删除类型，所述待传输文件中包括相应的已更新文件的文件修改内容信息，以及所述修改内容信息所在的位置信息；
13.文件同步模块，用于将各待传输文件通过相应的待传输接口发送至所述第二文件存储库，以使所述第二文件存储库基于各所述待传输文件进行文件同步。
14.第三方面，本发明实施例还提供了一种电子设备，包括：
15.至少一个处理器；以及
16.与所述至少一个处理器通信连接的存储器；其中，
17.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的文件同步方法。
18.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的文件同步方法。
19.本发明实施例的技术方案，通过当检测到第一文件存储库的当前文件修改记录标识更新时，确定所述第一文件存储库中的至少一个已更新文件，通过对当前文件修改记录标识进行检测，可以从多个第一文件存储库中筛选出存在已更新文件的第一文件存储库，以降低进行文件同步的工作量，提高文件同步效率。根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件，其中，更新类型包括新增、修改或删除，根据更新类型的不同，在进行文件同步时所对应的待传输文件也不同，将各待传输文件通过相应的待传输接口发送至第二文件存储库，以根据各待传输文件进行相应的文件同步。将各待传输文件通过相应的待传输接口发送至所述第二文件存储库，以使所述第二文件存储库基于各所述待传输文件进行文件同步，具体的，若更新类型为新增类型或修改类型，则第二文件存储库可以基于接收到的待传输文件直接对第二文件存储库中的文件进行相应的替换，若更新类型为删除类型，则第二文件存储库可以直接根据相应的删除信息对第二文件存储库中的待删除文件进行删除。解决了基于git文件系统进行文件同步时，无法直接根据具体文件变化信息进行文件同步，以及在高并发文件同步的情况下，文件同步效率低的问题，达到了在高并发文件同步场景下，提高对基于git文件系统中的文件进行文件同步的同步效率的效果。
20.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是根据本发明实施例一提供的一种文件同步方法的流程图；
23.图2是根据本发明实施例二提供的一种文件同步的示意图；
24.图3是根据本发明实施例二提供的一种基于文件变化感知组件进行仓库变化感知的示意图；
25.图4是根据本发明实施例二提供的文件变化感知组件的感知方法流程图；
26.图5是根据本发明实施例二提供的文件同步组件的文件同步方法的流程图；
27.图6是根据本发明实施例三提供的一种文件同步装置的结构示意图；
28.图7是实现本发明实施例的文件同步方法的电子设备的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
31.在对本技术方案进行详细阐述之前，先对本技术方案的应用场景进行简单介绍，以便更加清楚地理解本技术方案。在日常生活中会涉及到多个应用系统间的文件同步的情况，若进行文件同步的两个文件系统中的一方为git文件系统时，由于git文件系统的文件存储路径、存储格式和基本管理单元通常与假设有较大出入，也就是说，git文件系统在对文件存储时，用户无法直接确定各文件在git文件系统的存储情况，如，存储路径、存储格式以及基本管理单元等。因此，在基于git文件系统与其他文件系统进行文件同步时，需要通过专门设计才能实现对git文件系统的管理，如通过git指令。但是这样的操作方式由于技术上的限制，需要有专门技术人员才可以实现对文件的同步，且在高并发场景下，难以满足实时性的要求。换句话说，在同时存在多个文件需要进行同步时，基于git文件系统的文件同步的实时性较低。
32.需要说明的是，在本技术方案中，git文件系统可以理解为基于开源的分布式版本控制软件的git的文件管理机制，其中，分布式版本控制软件(即，git管理系统)用于敏捷高效地处理任何或小或大的项目，最初由linus torvalds为了帮助管理linux内核开发而开发。为了方便对方案的阐述，后文中对基于开源的分布版本控制软件的git的管理文件机制，简称为git文件系统。git管理系统与常用的版本控制工具cvs、subversion等不同，它采用了分布式版本库的方式，不必服务器端软件支持。git不仅仅是一个版本控制系统，也是一个内容管理系统。git为用户提供了一系列操作命令对git仓库中保存的文件进行管理，这些管理可以通过(安装了git)的命令行界面或图形化操作界面进行。基于此，git文件系统可以理解为一系列的git仓库，在每个git仓库中包含若干目录和源码文件。在本技术方案中“git文件系统”特指git的底层文件管理体系，包括文件存储方式、操作方式以及管理层级等。在git文件系统中，文件一般以压缩后非明文的数据格式存储在磁盘上。
33.实施例一
34.图1为本发明实施例一提供了一种文件同步方法的流程图，本实施例可适用于在高并发文件同步场景下，对git文件系统中的文件进行文件同步的情况，该方法可以由文件同步装置来执行，该文件同步装置可以采用硬件和/或软件的形式实现，该文件同步装置可配置于可执行文件同步方法的计算设备中。
35.如图1所示，该方法包括：
36.s110、当检测到第一文件存储库的当前文件修改记录标识更新时，确定第一文件存储库中的至少一个已更新文件。
37.其中，第一文件存储库为分布式系统所对应的文件存储库，也就是本技术方案中的git文件系统。可以理解的是，为了确定第一文件存储库中的文件是否存在更新信息，通常会在对文件系统中的文件进行更新后进行相应的标识，所所谓当前文件修改记录标识可以理解为根据第一文件存储库中的文件修改记录，确定的标识性信息，根据当前文件修改记录标识可以确定第一文件存储库中的文件是否进行过修改。已更新文件可以理解为第一文件存储库中进行过文件修改或更新的文件，具体的，可以包括新增、删除或修改等修改内容。
38.具体的，在每次对第一文件存储库中的文件进行修改后，会对第一文件存储库的当前文件修改记录标识进行更新，如，更新前的第一文件存储库的文件修改记录标识为v1.0，当检测到第一文件存储库的当前文件标识为v2.0时，可以确定第一文件存储库中的文件发生修改或更新。若当前文件修改记录标识更新时，其表明，在第一文件存储库中包括至少一个已更新文件，如，存在修改文件、删除文件或者新增文件等。
39.可选的，在当检测到第一文件存储库的当前文件修改记录标识更新时，确定第一文件存储库中的至少一个已更新文件之前，还包括：获取与第一文件存储库相对应的历史文件修改记录标识，以及当前文件修改记录标识；若当前文件修改记录标识与历史文件修改记录标识不一致，则确定第一文件存储库的当前文件修改记录标识已更新。
40.其中，历史文件修改记录标识为距离当前时刻最近的历史文件修改记录标识，更具体来说，在本技术方案中，历史文件修改记录标识是与当前文件修改记录标识最接近的历史文件修改记录标识。
41.在本技术方案中，每次对第一文件存储库进行更新后，会根据更新记录对第一文件存储库的文件修改记录标识进行更新，以便根据文件记录标识确定第一文件库中的文件是否发生更新。具体的，第一文件存储中的文件可以根据实际情况进行更新，也就是说，更新的次数可以为多次，每次更新后都会对文件修改记录标识进行更新，得到相应的历史修改记录标识。进一步的，在确定第一文件存储库中的文件是否发生更新时，只需要将该历史文件修改记录标识与当前文件记录标识进行比对即可。若当前文件修改记录标识与该历史文件修改记录标识一致，则表示当前文件记录标识更新，表明第一文件存储库中不存在已更新文件；反之，则表明第一文件存储库中存在已更新文件，需要进行文件同步。
42.这样设置的好处在于，在一个git文件管理系统中，可以存在多个第一文件存储库，各第一文件存储库中的文件更新时间并不完全相同。若每次文件同步时，遍历各第一文件存储库中的文件，以对更新的文件进行文件同步，工作量非常大，耗时长且文件同步效率低。基于此，为了提高文件同步的效率，可以对每个第一文件存储库设置相应的文件修改记录标识，在进行文件同步之前，先对各第一文件存储库所对应的当前文件修改记录标识进行遍历。只有在发现当前文件修改记录标识发生变化时，才会对相应的第一文件存储库进行相应的文件同步。其优势在于，大大的降低了文件同步的工作量，提高了文件同步效率。示例性地，若存在1000个第一文件存储库，根据各第一文件存储库的当前文件修改记录标识，发现其中的100个第一文件存储库的当前文件修改记录标识发生变化，则只需要对这100个第一文件存储库中的文件进行文件同步即可。
43.可选的，确定第一文件存储库中的至少一个已更新文件，包括：获取与当前文件修改记录标识相对应的当前文件修改记录；根据当前文件修改记录中的文件标识，确定至少一个已更新文件。
44.具体的，在第一文件存储库中的文件发生更新时，不仅相对应的当前文件修改记录标识会发生变化，同时，还会对发生变化的文件的变化信息进行相应的记录，得到当前修改文件记录。如，在当前修改文件记录中包括500个文件修改信息，以及相应文件修改信息所对应的文件标识，且在当前文件修改记录中会详细记录与各文件修改信息相对应的修改关联信息。如，文件1发生更新，对应的文件标识为文件标识1，则与文件标识1相关联的文件修改信息即会生成相应的文件修改记录，如，文件名称、存储路径、修改类型、修改内容、状态标识、版本号以及更新时间等。基于各文件所对应的文件修改记录，则可以生成与第一文件存储库相对应的当前文件修改记录。换句话说，在于第一文件存储库相对应的当前文件修改记录中，包括与各已更新文件相对应的文件标识，以及相应的文件修改记录。因此，基于当前文件修改记录中的文件标识，可以确定相应的已更新文件。
45.s120、根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件。
46.在本技术方案中，更新类型包括新增类型、修改类型、删除类型或查询类型翁。待传输接口可以理解为第一文件存储库与第二文件存储库之间的数据传输接口，所谓第二文件存储库即为与第一文件存储库相连接的进行文件同步的文件存储库，可以为常规的文件存储库，也可以同样为git文件存储库。待传输文件中包括相应的已更新文件的文件修改内容信息，以及修改内容信息所在的位置信息。
47.在实际应用中，文件同步的两个文件系统中，第一文件存储库中可以进行文件的修改和更新，与第一文件存储库相连接的第二文件存储库通常是根据第一文件存储库中的文件变化，进行相应的文件同步。在现有技术中，进行文件更新的第一文件存储库可将相应的文件修改记录发送至用于文件同步的第二文件存储库，而在本技术方案中，由于第一文件存储库为git文件存储库，无法直接获取相应的文件更新信息，因此，需要在第一文件存储库中生成相应的待传输文件，并将待传输文件发送至第二文件存储库中，以使第二文件存储库基于接收到的待传输文件进行文件同步。
48.需要说明的是，在第一文件存储库库和第二文件存储库之间可以预先建立待传输接口，待传输接口的数量可以为一个，此时，所有的待传输文件均基于该待传输接口进行传输。待传输接口的数量也可以为多个，并针对各待传输接口设置不同的功能，且待传输接口的接口类型与已更新文件的更新类型相对应。
49.示例性地，更新类型为新增类型或修改类型，根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件，包括：调用与新增类型或修改类型相对应的第一传输接口；确定各已更新文件为待传输文件。
50.其中，第一传输接口包括新增类型所对应数据传输接口和/或修改类型所对应的数据传输接口中的至少一种。
51.具体的，在第一文件存储库中，以文件a为例，若已更新文件的更新类型为新增类型，则表示，原本在第一文件存储库中不存在文件a，文件a为更新后新增的已更新文件，因此，在进行文件同步时，需要将文件a添加至第二文件存储库中。此时，在进行文件同步时，
可以基于第一文件存储库和第二文件存储库之间的第一传输接口，将文件a作为待传输文件传输至第二文件存储库，以在第二文件存储库中添加该文件a。
52.相类似地，以文件b为例，文件b所对应的更新类型为修改类型，文件b为第一文件存储库中的已更新文件，只需要将文件b通过第一传输接口传输至第二文件存储库中，并对第二文件存储库中的与文件b相对应的文件进行替换更新即可。
53.需要说明的是，本技术方案中的第一传输接口，可以用于传输新增类型的已更新文件或修改型的已更新文件，第一传输接口可以为统一的接口，也可以根据更新类型设置相应功能的第一传输接口。可以理解的是，在本技术方案中，第一和第二仅用于区分不同的文件存储库或传输接口，不具备实际含义。
54.可选的，更新类型为删除类型，根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件，包括：调用与删除类型相对应的第二传输接口；确定删除类型所对应的至少一个删除文件，并根据各删除文件生成删除参考文件，并确定删除参考文件为待传输文件。
55.其中，其中，第二传输接口与删除类型相对应的数据传输接口。删除参考文件用以查询第二文件存储库中的待删除文件。待删除文件为第二文件存储库中与第一文件存储库中已删除文件相对应的文件。如，第一文件存储库中删除文件1，则第二文件存储库库中的待删除文件为与删除文件1相对应的文件。
56.在实际应用中，以文件c为例，若在第一文件存储库中原本存在文件c，对文件c进行了删除，则更新类型为删除类型。此时，由于第一文件存储库中已不存在文件c，也就无法将文件c传输至第二文件存储库，以使第二文件存储库根据文件c进行文件同步。基于此，为了能使第二文件存储库在进行文件同步时，删除文件c，可以将文件c作为删除文件，并生生成与文件c相对应的删除参考文件，并将该删除参考文件作为待传输文件，以发送至第二文件存储库。需要说明的是，在删除参考文件包括与文件c相对应的文件按标识、文件存储路径以及文件关联信息等。因此，第二文件存储库在接收到删除参考文件后，可以基于删除参考文件查询到相应的待删除文件，并对待删除文件进行删除。
57.s130、将各待传输文件通过相应的待传输接口发送至第二文件存储库，以使第二文件存储库基于各待传输文件进行文件同步。
58.具体的，将各待传输文件通过相应的待传输接口发送至第二文件存储库后，第二文件存储库根据待传输接口的接口类型，可以确定对第二文件库中的文件的相应操作。
59.示例性地，第一传输接口为与更新类型为新增类型或修改类型的已更新文件相对应的接口，则第二文件存储库在接收到基于第一传输接口发送的待传输文件后，直接根据待传输文件将第二文件存储库中相应的待更新文件进行替换即可。需要说明的是，第二文件存储库中的待更新文件为与第一文件存储库中的新增类型或修改类型相对应的已更新文件。
60.示例性地，第二传输接口为与删除类型相对应的已更新文件，当第二年文件存储库接收到基于第二传输接口发送的待传输文件后，需要根据待传输文件查询到相应的待删除文件，并对待删除文件进行删除。
61.基于操作，第二文件存储库即可实现根据第一文件存储库中的文件更新，进行相应的文件同步。
62.这样设置的好处在于，由于第一文件存储库为git文件系统，在对文件进行同步时，很难直接从第一文件存储库中确定具体的变化信息，在本技术方案中直接基于第一文件存储库根据文件更新信息生成已更新文件，进一步的，根据已更新文件的更新类型，确定相应的待传输文件，并基于待传输接口直接将待传输文件传输至第二文件存储库，以使第二文件存储库直接基于待传输文件对相应的待更新文件进行替换，或者对待删除文件进行删除。也就是说，在进行文件同步的过程中，无需关注第一文件存储库中的具体文件变化信息，直接可以基于最新的更新文件对第二文件存储库中的文件进行文件同步。
63.在实际应用中，第二文件存储库为第一文件存储库的备份存储库，或用于进行信息查询的检索平台；其中，检索平台中可存储相应的文件索引码。
64.可选的，若第二文件存储库为检索平台，则对已更新文件的文件索引码进行更新，得到已更新索引码；将已更新索引码发送至第二文件存储库，以基于已更新索引码对第二文件存储库中的待更新索引码进行同步。
65.其中，文件索引码可以理解为用于对文件进行索引的索引信息，具体的，文件索引码可以为文件的编号信息，也可以是文件的主题、摘要以及关键词信息等，在此不做具体限定。如，文件索引码为“文件001”，则根据在第二文件存储库，也就是检索平台上输入“文件001”，即可对文件001相对应的文件进行查看。
66.也就是说，在实际应用中，第二文件存储库若为检索平台时，通常无法直接存储与第一文件存储库相对应的文件，而是存储与第一文件存储库中的各文件相对应的文件索引码，以在检索平台上检测到相应的文件检索码时，从第一文件存储库中调取相应的文件进行查看。基于此，要求第一文件存储库中的文件进行更新后，需要对相应的文件检索码进行更新，并将更新后的文件检索码发送至第二文件存储库，以使第二文件存储库中的文件检索码与第一文件存储库中的文件检索码保持同步。
67.本发明实施例的技术方案，通过当检测到第一文件存储库的当前文件修改记录标识更新时，确定所述第一文件存储库中的至少一个已更新文件，通过对当前文件修改记录标识进行检测，可以从多个第一文件存储库中筛选出存在已更新文件的第一文件存储库，以降低进行文件同步的工作量，提高文件同步效率。根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件，其中，更新类型包括新增、修改或删除，根据更新类型的不同，在进行文件同步时所对应的待传输文件也不同，将各待传输文件通过相应的待传输接口发送至第二文件存储库，以根据各待传输文件进行相应的文件同步。将各待传输文件通过相应的待传输接口发送至所述第二文件存储库，以使所述第二文件存储库基于各所述待传输文件进行文件同步，具体的，若更新类型为新增类型或修改类型，则第二文件存储库可以基于接收到的待传输文件直接对第二文件存储库中的文件进行相应的替换，若更新类型为删除类型，则第二文件存储库可以直接根据相应的删除信息对第二文件存储库中的待删除文件进行删除。解决了基于git文件系统进行文件同步时，无法直接根据具体文件变化信息进行文件同步，以及在高并发文件同步的情况下，文件同步效率低的问题，达到了在高并发文件同步场景下，提高对基于git文件系统中的文件进行文件同步的同步效率的效果。
68.实施例二
69.在一个具体的例子中，文件同步具体包括两大部分，一部分为文件变化感知，另一
部分为文件同步。在本技术方案中，进行文件同步的两个文件应用系统分别为第一文件存储库和第二文件存储库。其中，第一文件存储库为git文件系统，可以用于感知文件的变化信息；第二文件存储库可以根据第一文件存储库中的文件变化进行相应的文件同步。也就是说，第一文件存储库中的文件可以变化，如，文件更新、文件修改以及文件删除等。第二文件存储库可以视为第一文件存储库的备份文件存储库，当第一文件存储库中的文件发生变化时，相应的，第二文件存储库中的文件需要与第一文件存储库中的文件保持一致，也就是说，也需要进行相应的文件更新。
70.具体的，如图2所示，应用b(即，第一文件存储库)的用户可以基于应用b提供的git客户端，输入相应的git指令，以基于git指令对应用b中的文件进行修改、删除或更新，并得到相应的已更新文件，并将各已更新文件通过相应的文件索引(即，待传输接口)传输至应用a(即，第二文件存储库。)其中，应用a和应用b之间的文件索引包括新建文件索引、删除文件索引、更新文件索引以及文件内容查询，也就是说，根据已更新文件的更新类型，可以建立相应功能的待传输接口，包括接口1、接口2、接口3和接口4(即，第一传输接口和/或第二传输接口)。
71.在实际应用中，本技术方案的文件同步方法的整体方案架构包括：第一文件存储库包括变化感知组件，用于感知git文件系统中的文件变化信息；第二年文件存储库中包括文件同步组件，用于根据第一文件存储库中的变化文件进行相应的文件同步处理。
72.针对变化感知组件的工作内容包括：(1)定时对第一文件存储库中存储的文件进行遍历，以及时确定第一文件存储库中是否存在已更新文件。(2)当第一文件存储库中的文件发生变化时，生成相应的变化记录，并通知第一文件存储库中的变化感知组件，以及时获取第一文件存储库中的文件变化信息。
73.需要说明的是，第一种方法的优势在于，通过定时获取相应的文件变化信息，可以只对文件更新结果进行关注，而不着眼于文件更新的细节，大大减少了文件变化感知过程中的工作量。如，第一文件存储库中新增文件1和文件2，又对新增的文件1进行删除，基于定时的方法，最终检测到的结果为，第一文件存储库中新增文件2。第二种方法的优势在于，可以详细关注每个文件的变化信息，如，第一文件存储库中新增文件1和文件2，又对新增的文件1进行删除，则基于第二种方法的检测结果为：第一文件存储库中第一文件存储库中新增文件1、新增文件2和删除文件1。这两种方法的优势不同，可以根据实际情况进行具体设定。
74.针对文件同步组件的工作内容包括：在第一文件存储库中的文件发生更新时，可以根据接收到的待传输文件，以及传输文件所对应的传输接口，对第二文件存储库中的文件进行文件同步。例如，当传输接口为新增传输接口，则，将接收到的待传输文件对第二文件存储库中相应的待更新文件进行替换。若传输接口为删除文件，则根据删除文件所对应的删除信息，将第二文件存储库中的待删除文件进行删除。
75.如图3所示，在第一文件存储库中可以设置仓库变化记录表(即，文件修改记录)，在仓库变化记录表一般应包括仓库唯一标识、仓库路径、更新状态标识、更新类型标识以及最近更新时间等信息，一种可行的设计方案如下表所示：
76.仓库变化记录表
[0077][0078][0079]
每个仓库(即，第一文件存储库)在仓库记录表中有且只有一条记录，该记录在仓库创建后首次被变化感知任务发现时插入表中，在仓库被删除后的下一次变化感知任务中被标记为待删除，并在下次状态同步任务处理该仓库后被从表中删除。
[0080]
具体的，在实际的文件同步过程中，文件变化感知组件可以获取git管理的全部的仓库(路径)的列表，如，利用git仓库文件存储规范，即每个仓库的本地存储路径都遵循“git文件系统根目录/仓库所有者名称/仓库名称”的规范，因此只要掌握“git文件系统根目录”，即可通过递归遍历本地磁盘目录实现对获取所有仓库的唯一标识(“即：仓库所有者名称/仓库名称”，git要求用户名称是全局唯一的，每个用户所有的仓库不能重名，因此该字符串定义的仓库标识是全局唯一的)。如果应用系统(例如：gitlab、gitea等开源软件)在应用层(基于git仓库或位于其上层)为每个仓库定义了唯一的仓库id，并和仓库名称等的其他信息一起存储在数据库表中。进一步的，遍历每个仓库，检查每个仓库(中的文件)是否
发生了变化。首先从仓库变化记录表中读取仓库的“最近检查版本号”(即，当前文件修改记录标识)，之后将该版本号与仓库当前版本号进行比对，若两个版本号不一致则说明仓库已经发生了变化。
[0081]
进一步的，若发现仓库中的文件信息发生了变化则修改仓库变化记录表中该仓库的记录。如图4所示，具体的，修改记录之前需要先检查当前记录的“更新状态标识”，如果该字段值不为“1”，则按照以下情况一～情况三修改记录内容；如果“更新状态标识”字段值为“1”，则按照下面的情况四修改记录内容:
[0082]
(1)情况一：库记录存在于仓库变化记录表中且该仓库可以在git文件系统中找到，则应判定该仓库是被修改(与后面的新建、删除两种情况区别)的仓库。这种情况下应将仓库记录中的“更新类型标识”设置为“u”，并将仓库的“更新状态标识”设置为“0”，最近更新时间设置为当前时刻，其他字段值保持不变；
[0083]
(2)情况二：如果某个仓库在仓库变化记录表中存在记录，但无法在git文件系统中发现，则应判定该仓库该仓库已被删除(且删除之后尚未被消费者处理过)。这种情况下应将仓库变化记录表中该仓库记录中的“更新类型标识”设置为“d”(告知消费者在下次同步该仓库中文件状态时将该仓库的全部文件按照“已删除”的情况进行状态同步)，其他字段的赋值规则同情况一；
[0084]
(3)情况三：如果某个仓库在本地可以找到仓库路径但在仓库记录表中并不存在对应的记录，则应判定该仓库为新建仓库(且新建之后尚未被消费者处理过)。这种情况下应在仓库变化记录表中插入该仓库的一条记录，“仓库id”、“仓库路径”和“最近检查版本号”字段如实填写，”最近同步版本号”字段留空，并将“更新类型标识”设置为“c”(告知消费者在下次同步该仓库中文件状态时将该仓库的全部文件按照“新建”的情况进行状态同步)，其他字段的赋值规则同情况一；
[0085]
(4)情况四：将“更新状态标识”设置为“3”，其他字段按照当前仓库的记录在仓库变化记录表中的存在情况和仓库目录是否能够存在于git文件系统中，按照情况一～情况三的要求进行设置。
[0086]
进一步的，第一文件存储库根据各文件的变化信息生成相应的待传输文件，以通过预先建立的各传输接口，将待传输文件传输至第二文件存储库，以使第二文件存储库根据接收到的各待传输文件进行相应的文件同步。
[0087]
具体的，在基于文件同步组件进行文件同步时，如图5所示，遍历仓库变化记录表的每一条记录(一个仓库在该表中的唯一记录)，检查其中的“更新状态标识”字段：若字段值为“0”则将该字段的值改为“1”，则根据仓库记录中确定相应的文件变化；若字段的值为“1”、“2”或“3”则跳过当前记录继续对下一条记录进行检查，直至所有的仓库都被检测完毕。进一步的，从仓库记录表中读取“仓库路径”、“最近检查版本号”以及“最近同步版本号”字段，使用git命令“git diff最近同步版本号最近检查版本号
‑‑
name-status
‑‑
stat”对比检查两个版本号之间发生变化的文件的唯一标识和变化类型(即，确定已更新文件的文件标识，以及更新类型)。具体的，根据传输接口的不同，可以确定与已更新文件相对应的文件同步类型，如，新增或修改类型，可以根据已更新文件对相应的待更新文件进行替换，若是删除类型的更新文件，则可以根据相应的删除信息，对第二文件存储库中的待删除文件进行删除处理。具体的，在基于文件同步组件进行文件同步时，可以发送文件状态同步请求报
文进行文件同步。然后，修改文件状态变化表中的记录。将当前记录的“最近同步版本号”字段值设置为读取并缓存的“最近检查版本号”，将“最近更新时间”字段值设置为当前时刻，并先读取当前记录的“更新状态标识”字段的值，再按照如下方法设置：情况一：若“更新状态标识”当前值为“1”，则将该字段值重新设置为“2”；情况二：若“更新状态标识”当前值为“3”，则将该字段值重新设置为“0”(该仓库立即处于等待下一次被消费者执行同步的状态)。
[0088]
需要说明的是，发送文件状态同步请求和检测仓库变化记录表的顺序关系可以有多种：如，将仓库所有文件全部处理完成后对全部变化数据通过网络发送；或者，每处理一个文件进行一次网络发送；又或者，每处理k个文件进行一次发送。
[0089]
本发明实施例的技术方案，通过当检测到第一文件存储库的当前文件修改记录标识更新时，确定所述第一文件存储库中的至少一个已更新文件，通过对当前文件修改记录标识进行检测，可以从多个第一文件存储库中筛选出存在已更新文件的第一文件存储库，以降低进行文件同步的工作量，提高文件同步效率。根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件，其中，更新类型包括新增、修改或删除，根据更新类型的不同，在进行文件同步时所对应的待传输文件也不同，将各待传输文件通过相应的待传输接口发送至第二文件存储库，以根据各待传输文件进行相应的文件同步。将各待传输文件通过相应的待传输接口发送至所述第二文件存储库，以使所述第二文件存储库基于各所述待传输文件进行文件同步，具体的，若更新类型为新增类型或修改类型，则第二文件存储库可以基于接收到的待传输文件直接对第二文件存储库中的文件进行相应的替换，若更新类型为删除类型，则第二文件存储库可以直接根据相应的删除信息对第二文件存储库中的待删除文件进行删除。解决了基于git文件系统进行文件同步时，无法直接根据具体文件变化信息进行文件同步，以及在高并发文件同步的情况下，文件同步效率低的问题，达到了在高并发文件同步场景下，提高对基于git文件系统中的文件进行文件同步的同步效率的效果。
[0090]
实施例三
[0091]
图6为本发明实施例三提供的一种文件同步装置的结构示意图。如图6所示，该装置包括：已更新文件确定模块210、待传输文件确定模块220和文件同步模块230。
[0092]
其中，已更新文件确定模块210，用于当检测到第一文件存储库的当前文件修改记录标识更新时，确定第一文件存储库中的至少一个已更新文件；其中，第一文件存储库为分布式系统所对应的文件存储库；
[0093]
待传输文件确定模块220，用于根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件；其中，更新类型包括新增类型、修改类型或删除类型，待传输文件中包括相应的已更新文件的文件修改内容信息，以及修改内容信息所在的位置信息；
[0094]
文件同步模块230，用于将各待传输文件通过相应的待传输接口发送至第二文件存储库，以使第二文件存储库基于各待传输文件进行文件同步。
[0095]
本发明实施例的技术方案，通过当检测到第一文件存储库的当前文件修改记录标识更新时，确定所述第一文件存储库中的至少一个已更新文件，通过对当前文件修改记录标识进行检测，可以从多个第一文件存储库中筛选出存在已更新文件的第一文件存储库，
以降低进行文件同步的工作量，提高文件同步效率。根据各已更新文件的更新类型确定相应的待传输接口，并确定与各待传输接口相对应的待传输文件，其中，更新类型包括新增、修改或删除，根据更新类型的不同，在进行文件同步时所对应的待传输文件也不同，将各待传输文件通过相应的待传输接口发送至第二文件存储库，以根据各待传输文件进行相应的文件同步。将各待传输文件通过相应的待传输接口发送至所述第二文件存储库，以使所述第二文件存储库基于各所述待传输文件进行文件同步，具体的，若更新类型为新增类型或修改类型，则第二文件存储库可以基于接收到的待传输文件直接对第二文件存储库中的文件进行相应的替换，若更新类型为删除类型，则第二文件存储库可以直接根据相应的删除信息对第二文件存储库中的待删除文件进行删除。解决了基于git文件系统进行文件同步时，无法直接根据具体文件变化信息进行文件同步，以及在高并发文件同步的情况下，文件同步效率低的问题，达到了在高并发文件同步场景下，提高对基于git文件系统中的文件进行文件同步的同步效率的效果。
[0096]
可选的，文件同步装置，还包括：记录标识获取模块，用于在当检测到第一文件存储库的当前文件修改记录标识更新时，确定第一文件存储库中的至少一个已更新文件之前，获取与第一文件存储库相对应的历史文件修改记录标识，以及当前文件修改记录标识；其中，历史文件修改记录标识为距离当前时刻最近的历史文件修改记录标识；
[0097]
标识更新判断模块，用于若当前文件修改记录标识与历史文件修改记录标识不一致，则确定第一文件存储库的当前文件修改记录标识已更新。
[0098]
可选的，已更新文件确定模块包括：修改记录确定单元，用于获取与当前文件修改记录标识相对应的当前文件修改记录；其中，当前文件修改记录中包括至少一个已更新文件，以及与各已更新文件相对应的文件标识；
[0099]
已更新文件确定单元，用于根据当前文件修改记录中的文件标识，确定至少一个已更新文件。
[0100]
可选的，待传输文件确定模块包括：第一传输接口确定单元，用于调用与新增类型或修改类型相对应的第一传输接口；其中，第一传输接口包括新增类型所对应数据传输接口和/或修改类型所对应的数据传输接口中的至少一种；
[0101]
第一传输文件确定单元，用于确定各已更新文件为待传输文件。
[0102]
可选的，待传输文件确定模块包括：第二传输接口确定单元，用于调用与删除类型相对应的第二传输接口；其中，第二传输接口与删除类型相对应的数据传输接口；
[0103]
第二传输文件确定单元，用于确定删除类型所对应的至少一个删除文件，并根据各删除文件生成删除参考文件，并确定删除参考文件为待传输文件；其中，删除参考文件用以查询第二文件存储库中的待删除文件。
[0104]
可选的，第二文件存储库为第一文件存储库的备份存储库，或用于进行信息查询的检索平台；其中，检索平台中可存储相应的文件索引码。
[0105]
可选的，文件同步装置，还包括：索引码确定模块，用于若第二文件存储库为检索平台，则对已更新文件的文件索引码进行更新，得到已更新索引码；
[0106]
索引码同步模块，用于将已更新索引码发送至第二文件存储库，以基于已更新索引码对第二文件存储库中的待更新索引码进行同步。
[0107]
本发明实施例所提供的文件同步装置可执行本发明任意实施例所提供的文件同
步方法，具备执行方法相应的功能模块和有益效果。
[0108]
实施例四
[0109]
图7示出了本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0110]
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0111]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0112]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如文件同步方法。
[0113]
在一些实施例中，文件同步方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的文件同步方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文件同步方法。
[0114]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0115]
用于实施本发明的文件同步方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据
处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0116]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0117]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0118]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0119]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0120]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0121]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。