本发明的另一优选例中，数据库的更新和统计操作的时效性为准实时，接收到的数据是电子商务交易数据。可以理解，在本发明中，是实时接收来自分布式系统的实时数据库或其它实时数据源的数据(例如，交易数据)，然后产生其批次号，而由于分布式系统的性能问题，最后将带批次号的数据进行准实时统计并更新数据库中的相应记录。
[0047]此外，可以理解，在本发明中，批次号所包括的信息可根据具体情况决定，例如，可包括该批次号产生的日期，如果数据会被存储于多个数据库中，也可包括对应不同数据库的标识，例如，如果要将数据存入两个统计频率不一样的数据库A和B，数据的批次号可以为201408301a5b，表示同一数据在存入两个数据库的批次分别为I和5。数据可来自同一系统，也可以来自多个系统，传输过程中部分数据会出现传输延迟。
[0048]根据数据的产生时刻给数据打上批次号，可确保后续数据统计的及时性，而对于延迟接收到的数据根据其产生时刻打批次号，可有效防止因延迟而未被及时统计的数据的漏统计，确保对来自如大型分布式架构系统的信息的准确准时统计。并且，按批次统计，可降低数据库系统的更新操作负担，尤其对于热点数据以每秒甚至每毫秒都需要进行海量的并发更新的数据库系统。
[0049]本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称 “PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPR0M”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
[0050]本发明第二实施方式涉及一种分布式系统中数据更新和统计的装置。图2是该分布式系统中数据更新和统计的装置的结构示意图。
[0051]如图2所示，该分布式系统中数据更新和统计的装置包括:
[0052]判断单元，用于判断接收到的数据的接收时刻与该数据的产生时刻之间的时间差是否超过预定阈值。
[0053]第一生成单元，用于当判断单元的判断结果为是时，根据接收时刻生成数据的批次号。
[0054]第二生成单元，用于当判断单元的判断结果为否时，根据产生时刻生成数据的批次号。
[0055]存储单元，用于将带有批次号的数据存入数据库中。
[0056]统计单元，用于根据批次号对数据库中储存的带有批次号的数据进行统计。
[0057]在本发明的一优选例中，一天被预先分为多个时间区间，每个时间区间对应一个批次号，该批次号包括当天日期。且上述第一生成单元包括以下子单元:
[0058]第一批次号生成子单元，用于将数据的接收时刻所在的时间区间对应的批次号作为该数据的批次号。且上述第二生成单元包括以下子单元:
[0059]第二批次号生成子单元，用于将数据的产生时刻所在的时间区间对应的批次号作为该数据的批次号。
[0060]在本发明的另一优选例中，上述统计单元包括以下子单元:
[0061]产生时刻统计子单元，用于根据数据的产生时刻确定统计与该数据属于同一批次的所有数据的统计时间。
[0062]此外，在本发明的另一优选例中，上述数据库的更新和统计操作的时效性为准实时。接收到的数据是电子商务交易数据。
[0063]第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
[0064]需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。
[0065]需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0066]虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
【主权项】
1.一种分布式系统中数据更新和统计的方法，其特征在于，包括以下步骤: 判断接收到的数据的接收时刻与该数据的产生时刻之间的时间差是否超过预定阈值； 如果判断结果为是，则根据所述接收时刻生成所述数据的批次号； 如果判断结果为否，则根据所述产生时刻生成所述数据的批次号； 将带有批次号的所述数据存入数据库中； 根据批次号对数据库中储存的所述带有批次号的数据进行统计。2.根据权利要求1所述的分布式系统中数据更新和统计的方法，其特征在于，一天被预先分为多个时间区间，每个时间区间对应一个批次号，该批次号包括当天日期；且 所述根据所述接收时刻生成所述数据的批次号的步骤包括以下子步骤: 将所述数据的接收时刻所在的时间区间对应的批次号作为该数据的批次号；且 所述根据所述产生时刻生成所述数据的批次号的步骤包括以下子步骤: 将所述数据的产生时刻所在的时间区间对应的批次号作为该数据的批次号。3.根据权利要求1所述的分布式系统中数据更新和统计的方法，其特征在于，所述根据批次号对数据库中储存的所述带有批次号的数据进行统计的步骤包括以下子步骤: 根据所述数据的产生时刻确定统计与该数据属于同一批次的所有数据的统计时间。4.根据权利要求1所述的分布式系统中数据更新和统计的方法，其特征在于，所述数据库的更新和统计操作的时效性为准实时。5.根据权利要求1至4中任一项所述的分布式系统中数据更新和统计的方法，其特征在于，所述接收到的数据是电子商务交易数据。6.一种分布式系统中数据更新和统计的装置，其特征在于，包括: 判断单元，用于判断接收到的数据的接收时刻与该数据的产生时刻之间的时间差是否超过预定阈值； 第一生成单元，用于当所述判断单元的判断结果为是时，根据所述接收时刻生成所述数据的批次号； 第二生成单元，用于当所述判断单元的判断结果为否时，根据所述产生时刻生成所述数据的批次号； 存储单元，用于将带有批次号的所述数据存入数据库中； 统计单元，用于根据批次号对数据库中储存的所述带有批次号的数据进行统计。7.根据权利要求6所述的分布式系统中数据更新和统计的装置，其特征在于，一天被预先分为多个时间区间，每个时间区间对应一个批次号，该批次号包括当天日期；且 所述第一生成单元包括以下子单元: 第一批次号生成子单元，用于将所述数据的接收时刻所在的时间区间对应的批次号作为该数据的批次号；且 所述第二生成单元包括以下子单元: 第二批次号生成子单元，用于将所述数据的产生时刻所在的时间区间对应的批次号作为该数据的批次号。8.根据权利要求6所述的分布式系统中数据更新和统计的装置，其特征在于，所述统计单元包括以下子单元: 产生时刻统计子单元，用于根据所述数据的产生时刻确定统计与该数据属于同一批次的所有数据的统计时间。9.根据权利要求6所述的分布式系统中数据更新和统计的装置，其特征在于，所述数据库的更新和统计操作的时效性为准实时。10.根据权利要求6至9中任一项所述的分布式系统中数据更新和统计的装置，其特征在于，所述接收到的数据是电子商务交易数据。
【专利摘要】本发明涉及数据处理领域，公开了一种分布式系统中数据更新和统计的方法及其装置。本发明中的方法包括以下步骤：判断接收到的数据的接收时刻与该数据的产生时刻之间的时间差是否超过预定阈值；如果判断结果为是，则根据接收时刻生成数据的批次号；如果判断结果为否，则根据产生时刻生成数据的批次号；将带有批次号的数据存入数据库中；根据批次号对数据库中储存的带有批次号的数据进行统计。本发明可确保数据统计的及时性，并有效防止因延迟而未被及时统计的数据的漏统计，确保对来自如大型分布式架构系统的信息的准确准时统计。
【IPC分类】G06F17/30
【公开号】CN105653551
【申请号】
【发明人】李奕
【申请人】阿里巴巴集团控股有限公司
【公开日】2016年6月8日
【申请日】2014年11月14日