Ugc主备数据同步方法及其系统的制作方法
【专利摘要】本发明提供一种UGC主备数据同步方法及其系统，所述方法包括以下步骤：保存主储存点中每一用户标识对应的UGC数据更新的版本标识；当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件；如果是，则从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点；否则，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。本发明提供的UGC主备数据同步方法及其系统能够实现UGC主备数据同步一致，并且同步数据不会占用过多通信资源，同步效率受UGC数据膨胀的影响较小。
【专利说明】UGC主备数据同步方法及其系统
【技术领域】
[0001]本发明涉及互联网络的【技术领域】，特别是涉及一种UGC主备数据同步方法，以及一种UGC主备数据同步系统。
【背景技术】
[0002]UGC (User Generated Content,用户生成内容)是一种使用互联网络的新方式，由原来以用户下载数据为主的应用方式，变成用户下载和上传并重。社区网络、视频分享和微博等都是UGC的主要应用形式。随着全球互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。
[0003]UGC类应用中对用户产生的数据的存储是其核心技术之一，为提升用户体验、保持稳定性和提高抵抗灾难的能力(如IDC掉电，地震等意外)，UGC数据存储一般都采用冗余热备的方式，即数据保存多份，如分别储存在多个IDCXInternet Data Center,互联网数据中心)甚至是不同城市的IDC。其中一份为主储存点保存的主点数据，所述主储存点是UGC数据写入的唯一入口 ；其它的为备份点保存的备份数据，接收所述主点数据的同步，通过同步系统使多份数据之间保持实时的一致性。
[0004]由于UGC类应用中数据具有膨胀的特点，即用户产生的数据随时间推移会越来越多，如用户发表微博产生的数据，随着用户发表的微博量增大而增大，主储存点和备份点之间需要同步越来越大的数据量，占用越来越多的通信带宽资源。因此，UGC数据的膨胀性特点，使主点数据和备份数据之间的高实时一致性要求成为一个难题。
[0005]通常的UGC主备数据同步方法采用定时全量同步的方式保持一致，其原理如图1所示。当用户的UGC数据有修改时，主储存点Master上对应的用户集unit (由多个用户标识uin组成的集合)的更新标识local seq加I,同步进程syncd定时检查local seq和备份点的更新标识peer seq的差异，如果local seq>peer seq,则根据peer seq从所述主储存点的数据更新日志binlog中取出发生数据更新的uin，并且取出对应的uin的全量UGC数据，发送给备份点Slave。所述备份点Slave接收所述全量UGC数据,保存至对应的uin,并更新本地的用户集unit的更新标识local seq，从而达到保持数据的一致的目的。
[0006]当主备点之间同步的数据量基本稳定且不大的情况，上述同步方法可以较好的保证数据一致性。然而，由于UGC类应用中数据膨胀的特性比较突出，用户的UGC数据会随时间越来越大，例如在微博应用，用户发表的微博量可以达到数十万，用户索引数据总量可以达到数十兆，如果采用上述同步方法，则用户每发表一条微博或删除一条微博，都会将该用户的用户标识所对应的全量UGC数据同步到备份点。而随着同步的数据量变大，同步效率及实时性会大幅降低，通常解决的方法大多依赖于建立同步所用的专线带宽，而同步专线的资源有限，特别是建设跨城同步专线更是昂贵。
【发明内容】
[0007]针对上述【背景技术】中存在的问题，本发明的目的在于提供一种能够实现UGC主备数据同步一致，并且同步数据不会占用过多通信资源的UGC主备数据同步方法，以及一种UGC主备数据同步系统。
[0008]一种UGC主备数据同步方法，包括:
[0009]保存主储存点中每一用户标识对应的UGC数据更新的版本标识；
[0010]当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件；
[0011]如果是，则从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点；
[0012]否则，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。
[0013]一种UGC主备数据同步系统，包括:
[0014]更新版本标识模块，用于保存主储存点中每一用户标识对应的UGC数据更新的版本标识；
[0015]判断模块，用于当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件；
[0016]数据同步模块，用于在所述版本标识满足预定的全量同步条件时，从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点；在所述版本标识不满足预定的全量同步条件时，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。
[0017]本发明的UGC主备数据同步方法及其系统，通过保存主储存点中每一用户标识对应的UGC数据更新的版本标识以及预先设定全量同步条件，只有在所述版本标识满足所述全量同步条件时，才进行全量同步，保证UGC主备数据的一致性；否则，进行增量同步，使同步数据不会占用过多的通信带宽资源。因此，能够使UGC类应用的膨胀性数据在窄带情况下也能够保持较高的实时一致性。
【专利附图】
【附图说明】
[0018]图1是通常的UGC主备数据同步方法的原理示意图；
[0019]图2是本发明UGC主备数据同步方法第一实施方式的流程示意图；
[0020]图3是本发明UGC主备数据同步方法第二实施方式的流程示意图；
[0021]图4时本发明UGC主备数据同步方法在一个实施例中应用的原理示意图；
[0022]图5是本发明UGC主备数据同步系统的结构示意图。
【具体实施方式】
[0023]请参阅图2，图2是本发明UGC主备数据同步方法第一实施方式的流程示意图。
[0024]所述UGC主备数据同步方法包括以下步骤:
[0025]S101，保存主储存点中每一用户标识对应的UGC数据更新的版本标识；
[0026]S102，当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件；
[0027]如果是，则执行步骤S103，从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点；
[0028]否则，执行步骤S104，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。
[0029]其中，对于步骤S101，所述主储存点中每一用户标识对应的UGC数据更新的版本标识包括版本号，或者各个所述用户标识对应的UGC数据发生更新的累计次数等，用于记录同一用户标识对应的UGC数据发生更新的数据版本或者更新的累计次数。在各个所述用户标识对应的UGC数据发生更新时，所述版本标识对应修改，例如UGC数据发生更新一次，所述版本标识的取值加1，以便在步骤S102中根据所述版本标识决定是否进行全量同步。
[0030]对于步骤S102，所述UGC主备数据的同步操作可以按照预定的时间间隔执行，也可以按照其他自定义的触发方式执行。优选地，所述主储存点和所述备份点都保存有相同的若干个用户集，对每个所述用户集设定UGC数据更新的用户集版本标识；其中，每一所述用户集包括多个所述用户标识；
[0031]在执行步骤S102之前，先按照以下方式判断是否执行主储存点和UGC数据的备份点的数据同步:
[0032]按照预定的检测周期，比较所述主储存点的所述用户集版本标识，是否大于所述备份点的所述用户集版本标识；
[0033]如果是，则判断执行所述主储存点和UGC数据的备份点的数据同步；
[0034]否则，判断不执行所述主储存点和UGC数据的备份点的数据同步。
[0035]通过将所述主储存点和所述备份点的多个用户标识划分为若干个用户集，设定所述用户集版本标识，标记每个用户集的UGC数据更新的版本，在所述主储存点的用户集版本标识大于所述备份点的用户集版本标识时，表明对于该用户集，主储存点的UGC数据比备份点的UGC数据更新，因此执行所述主储存点和UGC数据的备份点的数据同步。
[0036]当执行UGC主备数据同步时，判断所述版本标识是否满足预定的全量同步条件，所述预定条件包括累计更新次数为预设的全量同步间隔的整数倍，或者距离上一次UGC数据全量同步的时间间隔超过预设值等，本领域的技术人员可以根据实际情况具体设定。
[0037]作为一个实施例，所述判断所述版本标识是否满足预定的全量同步条件的步骤可以通过以下方式实现:
[0038]根据所述版本标识，判断在上一次全量同步之后，所述用户标识对应的UGC数据发生更新的次数是否大于或等于预设的全量同步间隔；
[0039]如果是，则判断满足预定的全量同步条件；
[0040]否则，判断不满足预定的全量同步条件；
[0041]其中，所述全量同步为将所述用户标识对应的全量UGC数据同步至所述备份点。
[0042]在本实施例中，以所述UGC数据发生更新的次数是否大于或等于预设的全量同步间隔作为UGC数据全量同步的条件。例如可以设定全量同步间隔为10，则在一次全量同步之后，同一用户标识对应的UGC数据只有再次经过10次更新(包括增加、删除和修改等)后，才会满足预定的全量同步条件，再次执行全量同步，否则，在不满足全量同步条件时，只执行增量同步，从而减少同步数据对通信带宽资源的占用。
[0043]上述实施例中，设置所述版本标识为各个所述用户标识对应的UGC数据发生更新的累计次数，则只有在本次同步时的版本标识减去上一次全量同步时的版本标识的差值大于或等于预设的全量同步间隔次数时，才执行全量同步。
[0044]对于步骤S103，所述用户标识所对应的全量UGC数据包括所述用户标识对应的UGC更新数据以及UGC历史数据。
[0045]而对于S104，则只同步所述用户标识对应的UGC更新数据。
[0046]本发明的UGC主备数据同步方法，通过保存主储存点中每一用户标识对应的UGC数据更新的版本标识以及预先设定全量同步条件，只有在所述版本标识满足所述全量同步条件时，才进行全量同步，保证UGC主备数据的一致性；否则，进行增量同步，使同步数据不会占用过多的通信带宽资源。因此，能够使UGC类应用的膨胀性数据在窄带情况下也能够保持较高的实时一致性。
[0047]请进一步参阅图3，图3是本发明UGC主备数据同步方法第二实施方式的流程示意图。
[0048]与第一实施方式的所述UGC主备数据同步方法相比较，在本实施方式的所述UGC主备数据同步方法的主要区别在于:
[0049]在执行步骤S102后，如果判断所述版本标识不满足预定的全量同步条件，从所述主储存点获取所述用户标识对应的UGC更新数据时，进一步执行以下步骤:
[0050]S105，获取所述用户标识对应的用户基本属性数据；
[0051 ] 然后在步骤S106中，将所述用户基本属性数据以及所述UGC更新数据同步至所述备份点。
[0052]其中，每个所述用户标识对应的UGC数据可分为用户基本属性数据，以及由用户一次操作产生的追加数据。
[0053]所述追加数据是由用户的一次应用生成的数据，包括由于用户的上传操作，或者编辑操作引起的各种一次性新增数据，例如微博系统中用户发表的消息的内容、发表消息的id，消息的时间，消息来源等，是UGC数据膨胀的主要来源。
[0054]而所述用户基本属性数据亦即是所述追加数据之外的其他UGC数据，通常是UGC的应用系统带有的基本统计数据，或者是所有不是由用户的一次应用而产生的UGC数据。例如用户原创的微博数量、用户转发的微博数量、发表的评论数量或者用户的积分等统计数据，其特点是数据量不大，并且不会随时间的推移而有较大的增长。通常追加数据远大于用户基本属性数据。
[0055]在本实施方式中，在判断所述版本标识不满足预定的全量同步条件时，不仅同步所述用户标识对应的UGC更新数据，而且同步所述用户标识对应的用户基本属性数据，因此，能够确保备份点与主储存点的用户基本属性数据保持一致，提高UGC主备数据的一致性。而由于所述由用户操作产生的追加数据才是UGC数据膨胀的主要来源，而所述基本属性数据的数据量不大，并且不会随时间膨胀，因此，同步数据同样不会占用过多的通讯带宽资源，并且更好地解决了 UGC主备数据的一致性的问题。
[0056]优选地，在本发明的UGC主备数据同步方法中，判断所述版本标识是否满足预定的全量同步条件之前，可进一步执行以下步骤:
[0057]读取所述主储存点的UGC更新日志，获取所述UGC更新日志中记载的UGC数据更新对应的用户标识；
[0058]获取所述用户标识对应的UGC数据更新的版本标识来进行判断。[0059]贝U，在需要执行UGC的主备数据同步时，首先根据UGC更新日志筛选出哪一个用户标识所对应的UGC数据发生更新，从而对发生更新的UGC数据，根据对应的用户标识获取UGC数据更新的版本标识，进行是否满足预定的全量同步条件的判断。因为首先根据UGC更新日志筛选出发生过UGC数据更新的用户标识，提高了同步效率。
[0060]进一步地，在每次将所述全量UGC数据或者UGC更新数据同步至所述备份点时，进一步将所述用户标识对应的UGC数据更新的版本标识保存为历史版本标识；
[0061]则从所述主储存点获取所述用户标识对应的UGC更新数据的步骤包括:
[0062]根据所述用户标识对应的UGC数据更新的当前版本标识，以及对应的历史版本标识，从所述主储存点的UGC更新日志中获取所述用户标识对应的UGC更新数据。
[0063]通过比较所述UGC数据的当前版本标识，以及对应的历史版本标识，可以准确地确定在上一次同步之后，UGC数据发生了那些更新，从而可以从所述UGC更新日志中获取对应的UGC更新数据，非常方便。
[0064]请参阅图4，图4时本发明UGC主备数据同步方法在一个实施例中应用的原理示意图。
[0065]以微博系统的UGC主备数据同步为例，将微博系统的UGC数据划分成用户基本属性数据base_data以及由用户一次操作产生的追加数据gen_data两部分；保存主储存点Master中每一用户标识uin对应的UGC数据更新的版本标识，在本实施例中为UGC数据更新的序列号uin seq,在UGC数据发生更新时,无论是base_data还是gen_data的部分发生变化都会进行uin seq加I的操作。
[0066]将所述主储存点和所述备份点的用户标识Uin划分为若干个用户集unit，其中，每一个用户集unit包括多个用户标识Uin的集合,如10万个连续的Uin为一个Unit。对所述主储存点的每个所述用户集设定UGC数据更新的用户集版本标识local seq，在所述主储存点记录对所述备份点的每个所述用户集设定的UGC数据更新的用户集版本标识peerseq。
[0067]同步进程syncd定时检查每一个用户集unit的local seq和peer seq,当localseq>peer seq的时候发起同步动作。
[0068]数据同步分成增量同步和全量同步两种模式，设定全量同步条件为Uin_Seq%N=0，其中％为模运算符号，N为预设的全量同步频率因子，取值范围是[1，+吣]的正整数。则Uin_Seq%N取值范围是[0，N-1]，如果Uin_Seq%N=0，则同步对应的uin的全量UGC数据，即base_data加gen_data ;如果Uin_Seq%N>0,则同步对应的uin的用户基本属性数据base_data,以及UGC更新数据binlog。例如设定N的取值为10，则每十次更新数据中进行九次增量数据同步，一次全量数据同步。在保持UGC主备数据一致的同时，降低同步数据对通信带宽资源的占用。
[0069]本实施例的UGC主备数据同步方法具有以下优点:对于不断膨胀的UGC数据的同步，在保证实时一致性的前提下，能够保证同步效率基本相同；解决不断膨胀的UGC数据对带宽的高消耗，使得数据同步窄带化，节约成本；同步设置灵活，通过配置全量同步频率因子N，可以方便配置全量同步和增量同步的比例，系统运营灵活。
[0070]请参阅图5，图5是本发明UGC主备数据同步系统的结构示意图。
[0071]所述UGC主备数据同步系统包括:更新版本标识模块11、判断模块12和数据同步模块13。所述更新版本标识模块11用于保存主储存点中每一用户标识对应的UGC数据更新的版本标识；所述判断模块12用于当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件；所述数据同步模块13用于在所述版本标识满足预定的全量同步条件时，从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点；在所述版本标识不满足预定的全量同步条件时，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。
[0072]其中，所述主储存点中每一用户标识对应的UGC数据更新的版本标识包括版本号，或者各个所述用户标识对应的UGC数据发生更新的累计次数等，用于记录同一用户标识对应的UGC数据发生更新的数据版本或者更新的累计次数。在各个所述用户标识对应的UGC数据发生更新时，所述版本标识对应修改，例如UGC数据发生更新一次，所述版本标识的取值加1，所述判断模块12根据所述版本标识决定是否进行全量同步。
[0073]所述UGC主备数据的同步操作可以按照预定的时间间隔执行，也可以按照其他自定义的触发方式执行。
[0074]优选地，所述UGC主备数据同步系统进一步包括:用户集设置模块和更新判断模块(图未示)，所述用户集设置模块用于在所述主储存点和所述备份点保存相同的若干个用户集，对每个所述用户集设定UGC数据更新的用户集版本标识；其中，每一所述用户集包括多个所述用户标识；
[0075]所述更新判断模块用于在所述判断模块12判断所述版本标识是否满足预定的全量同步条件之前，先按以下方式判断是否执行所述主储存点和所述备份点的数据同步:
[0076]按照预定的检测周期，比较所述主储存点的用户集版本标识，是否大于所述备份点的用户集版本标识；如果是，则判断执行所述主储存点和UGC数据的备份点的数据同步；否则，判断不执行所述主储存点和UGC数据的备份点的数据同步。
[0077]通过将所述主储存点和所述备份点的多个用户标识划分为若干个用户集，设定所述用户集版本标识，标记每个用户集的UGC数据更新的版本，提高UGC数据主备同步的效率。在所述主储存点的用户集版本标识大于所述备份点的用户集版本标识时，表明对于该用户集，主储存点的UGC数据比备份点的UGC数据更新，因此执行所述主储存点和UGC数据的备份点的数据同步。
[0078]当执行UGC主备数据同步时，所述判断模块12判断所述版本标识是否满足预定的全量同步条件，所述预定条件包括累计更新次数为预设的全量同步间隔的整数倍，或者距离上一次UGC数据全量同步的时间间隔超过预设值等，本领域的技术人员可以根据实际情况具体设定。
[0079]作为一个实施例，所述判断模块12判断所述版本标识是否满足预定的全量同步条件的步骤可以通过以下方式实现:
[0080]根据所述版本标识，判断在上一次全量同步之后，所述用户标识对应的UGC数据发生更新的次数是否大于或等于预设的全量同步间隔；
[0081]如果是，则判断满足预定的全量同步条件；
[0082]否则，判断不满足预定的全量同步条件；
[0083]其中，所述全量同步为将所述用户标识对应的全量UGC数据同步至所述备份点。
[0084]在本实施例中，所述判断模块12以所述UGC数据发生更新的次数是否大于或等于预设的全量同步间隔作为UGC数据全量同步的条件。例如可以设定全量同步间隔为10，则在一次全量同步之后，同一用户标识对应的UGC数据只有再次经过10次更新(包括增加、删除和修改等)后，才会满足预定的全量同步条件，再次进行全量同步，否则，在不满足全量同步条件时，只进行增量同步，从而减少同步数据对通信带宽资源的占用。
[0085]上述实施例中，所述版本标识设置为各个所述用户标识对应的UGC数据发生更新的累计次数，则所述判断模块12判断只有在本次同步时的版本标识减去上一次全量同步时的版本标识的差值大于或等于预设的全量同步间隔次数时，才执行全量同步。
[0086]所述用户标识所对应的全量UGC数据包括所述用户标识对应的UGC更新数据以及UGC历史数据。所述数据同步模块13根据所述判断模块12的判断，分别进行全量同步和增量同步。进行全量同步时，将所述用户标识所对应的全量UGC数据(包括UGC更新数据以及UGC历史数据)同步至所述备份点；在进行增量同步时，将所述用户标识对应的UGC更新数据同步至所述备份点。
[0087]本发明的UGC主备数据同步系统通过保存主储存点中每一用户标识对应的UGC数据更新的版本标识以及预先设定全量同步条件，只有在所述版本标识满足所述全量同步条件时，才进行全量同步，保证UGC主备数据的一致性；否则，进行增量同步，使同步数据不会占用过多的通信带宽资源。因此，能够使UGC类应用的膨胀性数据在窄带情况下也能够保持较高的实时一致性。
[0088]在本发明所述UGC主备数据同步系统的一种优选实施方式中，所述数据同步模块13在所述版本标识不满足预定的全量同步条件时，进一步获取所述用户标识对应的用户基本属性数据；将所述用户基本属性数据以及所述UGC更新数据同步至所述备份点。
[0089]其中，每个所述用户标识对应的UGC数据可分为用户基本属性数据，以及由用户一次操作产生的追加数据。
[0090]所述追加数据是由用户的一次应用生成的数据，包括由于用户的上传操作，或者编辑操作引起的各种一次性新增数据，例如微博系统中用户发表的消息的内容、发表消息的id，消息的时间，消息来源等，是UGC数据膨胀的主要来源。
[0091]而所述用户基本属性数据亦即是所述追加数据之外的其他UGC数据，通常是UGC的应用系统带有的基本统计数据，或者是所有不是由用户的一次应用而产生的UGC数据。例如用户原创的微博数量、用户转发的微博数量、发表的评论数量或者用户的积分等统计数据，其特点是数据量不大，并且不会随时间的推移而有较大的增长。通常追加数据远大于用户基本属性数据。
[0092]在本实施方式中，所述数据同步模块13在所述判断模块12判断所述版本标识不满足预定的全量同步条件时，不仅同步所述用户标识对应的UGC更新数据，而且同步所述用户标识对应的用户基本属性数据，因此，能够确保备份点与主储存点的用户基本属性数据保持一致，提高UGC主备数据的一致性。而由于所述由用户操作产生的追加数据才是UGC数据膨胀的主要来源，所述基本属性数据的数据量不大，并且不会随时间膨胀，因此，同步数据同样不会占用过多的通讯带宽资源，并且更好地解决了 UGC主备数据的一致性的问题。
[0093]优选地，所述判断模块12进一步用于读取所述主储存点的UGC更新日志，获取所述UGC更新日志中记载的UGC数据更新对应的用户标识；获取所述用户标识对应的UGC数据更新的版本标识来进行判断。
[0094]贝U，在需要执行UGC的主备数据同步时，所述判断模块12首先根据UGC更新日志筛选出哪一个用户标识所对应的UGC数据发生更新，从而对发生更新的UGC数据，根据对应的用户标识获取UGC数据更新的版本标识，进行是否满足预定的全量同步条件的判断。因为首先根据UGC更新日志筛选出发生过UGC数据更新的用户标识，提高了同步效率。
[0095]进一步地，所述数据同步模块13在每次将所述全量UGC数据或者UGC更新数据同步至所述备份点时，进一步将所述用户标识对应的UGC数据更新的版本标识保存为历史版本标识；并且根据所述用户标识对应的UGC数据更新的当前版本标识，以及对应的历史版本标识，从所述主储存点的UGC更新日志中获取所述用户标识对应的UGC更新数据。
[0096]通过比较所述UGC数据的当前版本标识，以及对应的历史版本标识，可以准确地确定在上一次同步之后，UGC数据发生了那些更新，从而可以从所述UGC更新日志中获取对应的UGC更新数据，非常方便。
[0097]本领域普通技术人员可以理解实现上述实施方式中的全部或部分流程以及对应的系统，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施方式的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory, RAM)等。
[0098]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【权利要求】
1.一种UGC主备数据同步方法，其特征在于，包括以下步骤: 保存主储存点中每一用户标识对应的UGC数据更新的版本标识； 当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件； 如果是，则从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点； 否则，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。
2.如权利要求1所述的UGC主备数据同步方法，其特征在于，如果判断所述版本标识不满足预定的全量同步条件，则进一步执行以下步骤: 获取所述用户标识对应的用户基本属性数据； 将所述用户基本属性数据以及所述UGC更新数据同步至所述备份点。
3.如权利要求1所述的UGC主备数据同步方法，其特征在于，在判断所述版本标识是否满足预定的全量同步条件之前进一步包括以下步骤: 读取所述主储存点的UGC更新日志，获取所述UGC更新日志中记载的UGC数据更新对应的用户标识； 获取所述用户标识对应的UGC数据更新的版本标识来进行判断。
4.如权利要求3所·述的UGC主备数据同步方法，其特征在于，在每次将所述全量UGC数据或者UGC更新数据同步至所述备份点时，进一步将所述用户标识对应的UGC数据更新的版本标识保存为历史版本标识； 则从所述主储存点获取所述用户标识对应的UGC更新数据的步骤包括: 根据所述用户标识对应的UGC数据更新的当前版本标识，以及对应的历史版本标识，从所述主储存点的UGC更新日志中获取所述用户标识对应的UGC更新数据。
5.如权利要求1所述的UGC主备数据同步方法，其特征在于，判断所述版本标识是否满足预定的全量同步条件的步骤包括: 根据所述版本标识，判断在上一次全量同步之后，所述用户标识对应的UGC数据发生更新的次数是否大于或等于预设的全量同步间隔； 如果是，则判断满足预定的全量同步条件； 否则，判断不满足预定的全量同步条件； 其中，所述全量同步为将所述用户标识对应的全量UGC数据同步至所述备份点。
6.如权利要求5所述的UGC主备数据同步方法，其特征在于，所述版本标识为各个所述用户标识对应的UGC数据发生更新的累计次数。
7.如权利要求1所述的UGC主备数据同步方法，其特征在于，所述主储存点和所述备份点都保存有相同的若干个用户集，对每个所述用户集设定UGC数据更新的用户集版本标识；其中，每一所述用户集包括多个所述用户标识； 在执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件的步骤之前，先按照以下方式判断是否执行所述主储存点和所述备份点的数据同步: 按照预定的检测周期，比较所述主储存点的所述用户集版本标识，是否大于所述备份点的所述用户集版本标识； 如果是，则判断执行所述主储存点和UGC数据的备份点的数据同步； 否则，判断不执行所述主储存点和UGC数据的备份点的数据同步。
8.—种UGC王备数据冋步系统,其特征在于,包括: 更新版本标识模块，用于保存主储存点中每一用户标识对应的UGC数据更新的版本标识； 判断模块，用于当执行所述主储存点和UGC数据的备份点的数据同步时，判断所述版本标识是否满足预定的全量同步条件； 数据同步模块，用于在所述版本标识满足预定的全量同步条件时，从所述主储存点获取所述用户标识所对应的全量UGC数据，并同步至所述备份点；在所述版本标识不满足预定的全量同步条件时，从所述主储存点获取所述用户标识对应的UGC更新数据，并将所述UGC更新数据同步至所述备份点。
9.如权利要求8所述的UGC主备数据同步系统，其特征在于，所述数据同步模块在所述版本标识不满足预定的全量 同步条件时，进一步获取所述用户标识对应的用户基本属性数据；将所述用户基本属性数据以及所述UGC更新数据同步至所述备份点。
10.如权利要求8所述的UGC主备数据同步系统，其特征在于，所述判断模块进一步用于读取所述主储存点的UGC更新日志，获取所述UGC更新日志中记载的UGC数据更新对应的用户标识；获取所述用户标识对应的UGC数据更新的版本标识来进行判断。
11.如权利要求10所述的UGC主备数据同步系统，其特征在于，所述数据同步模块在每次将所述全量UGC数据或者UGC更新数据同步至所述备份点时，进一步将所述用户标识对应的UGC数据更新的版本标识保存为历史版本标识；并根据所述用户标识对应的UGC数据更新的当前版本标识，以及对应的历史版本标识，从所述主储存点的UGC更新日志中获取所述用户标识对应的UGC更新数据。
12.如权利要求8所述的UGC主备数据同步系统，其特征在于，所述判断模块用于根据所述版本标识，判断在上一次全量同步之后，所述用户标识对应的UGC数据发生更新的次数是否大于或等于预设的全量同步间隔；如果是，则判断满足预定的全量同步条件；否则，判断不满足预定的全量同步条件；其中，所述全量同步为将所述用户标识对应的全量UGC数据同步至所述备份点。
13.如权利要求12所述的UGC主备数据同步系统，其特征在于，所述版本标识为各个所述用户标识对应的UGC数据发生更新的累计次数。
14.如权利要求8所述的UGC主备数据同步系统，其特征在于，进一步包括: 用户集设置模块，用于在所述主储存点和所述备份点保存相同的若干个用户集，对每个所述用户集设定UGC数据更新的用户集版本标识；其中，每一所述用户集包括多个所述用户标识； 更新判断模块，用于在所述判断模块判断所述版本标识是否满足预定的全量同步条件之前，先按以下方式判断是否执行所述主储存点和所述备份点的数据同步: 按照预定的检测周期，比较所述主储存点的所述用户集版本标识，是否大于所述备份点的所述用户集版本标识；如果是，则判断执行所述主储存点和UGC数据的备份点的数据同步；否则，判断不执行所述主储存点和UGC数据的备份点的数据同步。
【文档编号】H04L29/08GK103581231SQ201210261533
【公开日】2014年2月12日 申请日期:2012年7月25日 优先权日:2012年7月25日
【发明者】田明, 刘里 申请人:腾讯科技（北京）有限公司