分区数据的处理方法和装置制造方法
【专利摘要】本发明公开了一种分区数据的处理方法和装置。其中，分区数据的处理方法包括：获取标志值，其中标志值的初始值为空值；在目标分区中，从标志值处开始处理目标分区中的数据，其中，目标分区为新增数据对应的分区；以及将标志值更新为新增数据的最大键值。通过本发明，解决了分区数据处理效率较低的问题，进而达到了提高分区数据处理效率的效果。
【专利说明】分区数据的处理方法和装置
【技术领域】
[0001]本发明涉及数据库领域，具体而言，涉及一种分区数据的处理方法和装置。
【背景技术】
[0002]微软Analysis Services中对于分区对象的处理,经常需要查询最近的一个或多个活动分区，如果度量值组按月分区，那么只要处理本月的数据即可，而不是对所有分区做出处理，而本月所处的活动分区中包括历史数据和新增数据，其中，只有新增数据需要处理，但是Analysis Services在进行数据处理过程中，会处理整个活动分区。每当数据有变化时,Analysis Services会对数据对应分区的所有数据进行重新载入,而对于已经处理过的部分数据，再次处理会导致不必要的开销，处理效率低。
[0003]针对相关技术中分区数据处理效率低的问题，目前尚未提出有效的解决方案。
【发明内容】
[0004]本发明的主要目的在于提供一种分区数据的处理方法和装置，以解决现有技术中分区数据处理效率低的问题。
[0005]为了实现上述目的，根据本发明的一个方面，提供了一种分区数据的处理方法，包括：获取标志值，其中，标志值的初始值为空值；在目标分区中，从标志值处开始处理目标分区中的数据，其中，目标分区为新增数据对应的分区；以及将标志值更新为新增数据的最大键值。
[0006]进一步地，在将标志值更新为新增数据的最大键值之后，处理方法还包括：存储标志值至目标分区的目标位置，其中，获取标志值包括：从目标位置处获取标志值。
[0007]进一步地，目标分区为多个，获取标志值包括：从每个目标分区的目标位置处均获取标志值，在目标分区中，从标志值处开始处理目标分区中的数据包括：在每一个目标分区中，均从相应的标志值处开始进行数据处理。
[0008]进一步地，通过增加目标分区的属性来确定出目标位置。
[0009]为了实现上述目的，根据本发明的另一方面，提供了一种分区数据的处理装置，该处理装置主要用于执行本发明上述内容所提供的任一种分区数据的处理方法。
[0010]为了实现上述目的，根据本发明的另一方面，提供了一种分区数据的处理装置，包括：获取单元，用于获取标志值，其中，标志值的初始值为空值；处理单元，用于在目标分区中，从标志值处开始处理目标分区中的数据，其中，目标分区为新增数据对应的分区；以及更新单元，用于将标志值更新为新增数据的最大键值。
[0011 ] 进一步地，处理装置还包括：存储单元，用于存储标志值至目标分区的目标位置。
[0012]进一步地，目标分区为多个，获取单元包括多个获取子单元，其中，每个获取子单元均用于从相应的目标分区的目标位置处获取标志值，处理单元包括多个处理子单元，每个处理子单元均用于在相应的目标分区中，从相应的标志值处开始进行数据处理。
[0013]进一步地，处理装置还包括：增加单元，用于增加目标分区的属性来确定出目标位置。
[0014]本发明采用获取标志值，其中标志值的初始值为空值；在目标分区中，从标志值处开始处理目标分区中的数据，其中，目标分区为新增数据对应的分区；以及将标志值更新为新增数据的最大键值，避免了数据库中有新增数据时，对整个分区的所有数据进行处理，而只是从上次数据处理结束的位置开始进行数据处理，解决了分区数据处理效率较低的问题，进而达到了提高分区数据处理效率的效果。
【专利附图】
【附图说明】
[0015]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0016]图I是根据本发明实施例的分区数据的处理方法的流程图；以及
[0017]图2是根据本发明实施例的分区数据的处理装置的结构示意图。
【具体实施方式】
[0018]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0019]本发明实施例提供一种分区数据的处理方法，下面对本发明实施例的分区数据的处理方法进行具体介绍：
[0020]图I是本发明的分区数据处理方法的流程图，如图I所示，该分区数据的处理方法包括如下的步骤S102至步骤S106 ：
[0021]步骤S102，获取标志值，其中标志值的初始值为空值。标识值是存储在一个自定义属性中的，在第一次进行数据处理的时候，这个自定义属性应该是不存在，也就没有标志值的记录，所以要从第一个键值处开始进行数据处理，那么标志值的初值为空值。
[0022]步骤S104，在目标分区中，从标志值处开始处理目标分区中的数据，其中，目标分区为新增数据对应的分区。如果不是第一次进行数据处理，当数据库中有新增数据时，则从该分区中上一次数据处理结束的位置处开始进行数据处理。所谓处理目标分区中的数据即是将新增数据存储至目标分区。
[0023]步骤S106，将标志值更新为新增数据的最大键值（key值)。每一批新增数据处理完成后，记录新增数据的最大键值，并将标志值的具体值更新为新增数据的最大键值。标志值是上一次处理的新增数据中的最大键值，用标志值代表上一次数据处理结束的位置。
[0024]通过获取标志值，在目标分区中，从标志值处开始处理目标分区中的数据，将标志值更新为新增数据的最大键值，避免了数据库中有新增数据时，对整个分区的所有数据进行处理，而只是从上次数据处理结束的位置开始进行数据处理，解决了分区数据处理效率较低的问题，进而达到了提高分区数据处理效率的效果。
[0025]其中，在获取标志值之前，本发明实施例的分区数据的处理方法还需先确定目标分区，具体确定方式可以为：判断数据库中是否有数据变化的分区，其中，在判断处数据中有数据变化的分区的情况下，确定数据变化的分区为目标分区。
[0026]进一步地，本发明实施例的分区数据的处理方法还包括：在将标志值更新为新增数据的最大键值之后，存储标志值至目标分区的目标位置，下一次再进行标识值的获取时，则是从目标位置处获取标志值。
[0027]更进一步地，可以在目标分区的属性表中增加一个自定义属性，S卩，通过增加目标分区的属性来确定出目标位置，其中，自定义属性有属性名和属性值，属性名可以任意定义，标志值即为属性值。获取标志值的时候通过该获取该自定义属性的属性值来得到标志值。
[0028]进一步地，多个分区都有新增数据，即目标分区为多个的情况下，获取标志值包括从每一个目标分区的目标位置获取标志值。相应地，对于任意一个目标分区，均是在这个目标分区中，从其标志值处开始处理这个目标分区中的数据，即，在每一个目标分区中均从该分区的标志值处开始进行数据处理。
[0029]本发明实施例还提供一种分区数据的处理装置，该处理装置主要用于执行本发明实施例上述内容所提供的任一种分区数据的处理方法，下面对本方法实施例的分区数据的处理装置进行具体介绍：
[0030]图2是本发明的分区数据处理装置的结构示意图，如图2所示，该分区数据的处理装置包括：获取单元10、处理单元20和更新单元30。
[0031]获取单元10用于获取标志值，其中标志值的初始值为空值。标识值是存储在一个自定义属性中的，在第一次进行数据处理的时候，这个自定义属性应该是不存在，也就没有标志值的记录，所以要从第一个键值处开始进行数据处理，那么标志值的初值为空值。
[0032]处理单元20用于在目标分区中，从标志值处开始处理目标分区中的数据，其中，目标分区为新增数据对应的分区。如果不是第一次进行数据处理，当数据库中有新增数据时，则从该分区中上一次数据处理结束的位置处开始进行数据处理。所谓处理目标分区中的数据即是将新增数据存储至目标分区。
[0033]更新单元30用于将标志值更新为新增数据的最大键值（key值)。每一批新增数据处理完成后，记录新增数据的最大键值，并将标志值的具体值更新为新增数据的最大键值。标志值是上一次处理的新增数据中的最大键值，用标志值代表上一次数据处理结束的位置。
[0034]通过获取标志值，在目标分区中，从标志值处开始处理目标分区中的数据，将标志值更新为新增数据的最大键值，避免了数据库中有新增数据时，对整个分区的所有数据进行处理，而只是从上次数据处理结束的位置开始进行数据处理，解决了分区数据处理效率较低的问题，进而达到了提高分区数据处理效率的效果。
[0035]其中，本发明实施例的分区数据的处理装置还包括确定目标分区的确定单元，具体地，确定单元主要包括判断子单元和确定子单元，其中，判断子单元用于判断数据库中是否有数据变化的分区，在判断处数据中有数据变化的分区的情况下，确定子单元确定数据变化的分区为目标分区。
[0036]进一步地，本发明实施例的分区数据的处理装置还包括：存储单元，用于存储标志值至目标位置。在更新单元30将标志值更新为新增数据的最大键值之后，通过存储单元的作用将标志值存储至目标位置，下一次再进行标识值的获取时，则是从目标位置处获取标志值。
[0037]进一步地，本发明实施例的分区数据的处理装置还包括：增加单元，用于增加目标分区的属性来确定出目标位置。具体地，增加单元在目标分区的属性表中增加一个自定义属性，即，通过增加目标分区的属性来确定出目标位置，其中，自定义属性有属性名和属性值，属性名可以任意定义，标志值即为属性值。获取单元10在获取标志值的时候通过获取该自定义属性的属性值来得到标志值。
[0038]进一步地,在本发明实施例中，目标分区的数量为多个,获取单元10包括多个获取子单元，一个获取子单元对应地从一个目标分区的目标位置处获取这个目标分区的标志值，g卩，每一个获取子单元均用于从相应的目标分区的目标位置处获取标志值。处理单元20包括多个处理子单元，一个处理子单元对应地作用于一个目标分区，即，每一个处理子单元用于在一个目标分区中，从这个目标分区的标志值处开始进行数据处理，也即，每一个处理子单元均用于在相应的目标分区中，从该分区的标志值处开始进行数据处理。
[0039]具体地，多个分区都有新增数据，即目标分区为多个的情况下，需要从每一个目标分区的目标位置获取该分区的标志值，并从该分区的标志值处开始进行数据处理。在这种情况下，可以由一个获取子单元和一个处理子单元协同处理一个目标分区，即，对于每一个目标分区来说，都有一个与之相应的获取子单元和处理子单元，且获取子单元获取标志值的方法和数据处理子单元处理目标分区数据的方法均与只有一个目标分区时的方法相同。
[0040]从以上的描述中，可以看出，本发明解决的分区数据处理效率较低的问题，达到了提高分区数据处理效率的效果。
[0041]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0042]显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0043]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种分区数据的处理方法，其特征在于，包括： 获取标志值，其中，所述标志值的初始值为空值； 在目标分区中，从所述标志值处开始处理所述目标分区中的数据，其中，所述目标分区为新增数据对应的分区；以及 将所述标志值更新为所述新增数据的最大键值。
2.根据权利要求I所述的分区数据的处理方法，其特征在于，在将所述标志值更新为所述新增数据的最大键值之后，所述处理方法还包括： 存储所述标志值至所述目标分区的目标位置， 其中，获取标志值包括：从所述目标位置处获取所述标志值。
3.根据权利要求2所述的分区数据的处理方法，其特征在于，所述目标分区为多个， 获取标志值包括：从每个所述目标分区的目标位置处均获取所述标志值， 在目标分区中，从所述标志值处开始处理所述目标分区中的数据包括：在每一个所述目标分区中，均从相应的所述标志值处开始进行数据处理。
4.根据权利要求2所述的分区数据的处理方法，其特征在于，通过增加所述目标分区的属性来确定出所述目标位置。
5.一种分区数据的处理装置，其特征在于，包括： 获取单元，用于获取标志值，其中，所述标志值的初始值为空值； 处理单元，用于在目标分区中，从所述标志值处开始处理所述目标分区中的数据，其中，所述目标分区为新增数据对应的分区；以及 更新单元，用于将所述标志值更新为所述新增数据的最大键值。
6.根据权利要求5所述的分区数据的处理装置，其特征在于，所述处理装置还包括： 存储单元，用于存储所述标志值至所述目标分区的目标位置。
7.根据权利要求6所述的分区数据的处理装置，其特征在于，所述目标分区为多个， 所述获取单元包括多个获取子单元，其中，每个所述获取子单元均用于从相应的所述目标分区的目标位置处获取所述标志值， 所述处理单元包括多个处理子单元，每个所述处理子单元均用于在相应的所述目标分区中，从相应的所述标志值处开始进行数据处理。
8.根据权利要求6所述的分区数据的处理装置，其特征在于，所述处理装置还包括： 增加单元，用于增加所述目标分区的属性来确定出所述目标位置。
【文档编号】G06F17/30GK103559281SQ201310551737
【公开日】2014年2月5日 申请日期:2013年11月7日 优先权日:2013年11月7日
【发明者】洪超, 胡信 申请人:北京国双科技有限公司