聚合中介系统中的数据的制作方法
【专利说明】聚合中介系统中的数据
[0001]相关申请的交叉引用
[0002]本申请要求享有2012年8月2日提交的美国申请号13/565,321的优先权，该申请通过引用合并与此。
技术领域
[0003]本申请涉及聚合中介(mediat1n)系统中的数据。
【背景技术】
[0004]在一些系统中执行各种数据的聚合(aggregat1n)，以确保来自网络中的各个源的所有相关信息可以被用于决策和执行某些功能。例如，在电信网络中，在网络中的节点上运行的计费中介平台收集来自其他节点(例如，路由节点或网关节点)的记录(例如，呼叫详细记录(CDR))，以确定下游计费系统的计费信息。收集到的记录的处理可包括与相同呼叫有关的不同记录的聚合。一些待聚合的记录可能已经通过不同时间(例如，对应于电话呼叫的启动和停止的启动CDR和停止CDR)处的相同节点被生成。一些待聚合的记录可能已经通过不同节点(例如，提供启动和停止CDR的节点以及提供呼叫质量度量记录)被生成。
【发明内容】
[0005]在一个方案中，通常，用于处理在网络中的节点处接收到的数据的方法包括:接收来自所述网络中的一个或多个源的记录。所述记录中的至少一些记录每个与一标识符相关联。所述方法还包括:对于多个时间间隔中的每个，对一个或多个记录的集合尝试匹配过程。所述匹配过程包括比较与不同的记录相关联的标识符以生成所述集合以及针对一个或多个所述集合确定是否满足完整性标准。所述方法还包括:对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间满足所述完整性标准的至少一个完整的记录集合，所述至少一个完整的记录集合由在该时间间隔期间首次尝试匹配过程的所述接收到的记录中的一个或多个以及在该时间间隔之前在数据存储部中存储的一个或多个记录构成；以及对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间不满足所述完整性标准的至少一个不完整的记录集合，所述至少一个不完整的记录集合由在所述时间间隔之前在所述数据存储部中存储的一个或多个记录构成。
[0006]这些方案可包括一个或多个以下特征。
[0007]所述方法还包括:在所述匹配过程的至少一些尝试之后，在所述数据存储部中存储在所述尝试期间不满足所述完整性标准的至少一些不完整的记录集合，以及在与所述数据存储部分开的数据结构中存储对应于所述不完整的记录集合的键；以及从所述数据结构中检索存储的键以在后续的时间间隔期间对相应的记录尝试所述匹配过程。
[0008]从与所述时间间隔异步的所述数据结构中检索存储的键。
[0009]所述方法还包括:对于所述时间间隔中的至少一些时间间隔，处理至少一个完整的记录集合，并在所述数据存储部中存储将所述处理的完整的记录集合识别为已处理的信息。
[0010]所述方法还包括:对于所述时间间隔中的至少一些时间间隔，处理至少一个不完整的记录集合，并在所述数据存储部中存储将所述处理的不完整的记录集合识别为已处理的信息。
[0011]响应于将与不完整的记录集合中的至少一个记录相关联的时间与过期标准进行的比较，所述不完整的记录集合在至少两次尝试所述匹配过程之后被处理。
[0012]所述过期标准取决于所述不完整的记录集合的不完整程度。
[0013]比较与不同的记录相关联的标识符以生成所述集合以及针对一个或多个所述记录集合确定是否满足完整性标准包括:确定与所述接收到的记录相关联的独特标识符，对于每个独特标识符，检索在所述数据存储部中存储的、与所述独特标识符相关联的任何记录，以及聚合与该标识符相关联的记录集合，该记录集合包括一个或多个所述接收到的记录以及任何检索到的记录，以及针对每个聚合的记录的集合确定是否满足所述完整性标准。
[0014]检索在所述数据存储部中存储的、与所述独特标识符相关联的任何记录包括:在与所述数据存储部相关联的索引中查找所述独特标识符。
[0015]检索在所述数据存储部中存储的、与所述独特标识符相关联的任何记录包括:解压缩包括与所述独特标识符相关联的任何记录的所述数据存储部的一部分。
[0016]检索在所述数据存储部中存储的、与所述独特标识符相关联的任何记录包括:扫描所述数据存储部的所述解压缩的部分以定位与所述独特标识符相关联的任何记录。
[0017]检索在所述数据存储部中存储的、与所述独特标识符相关联的任何记录包括:确定与所述独特标识符相关联的存储的记录集合是否已经被识别为已处理。
[0018]检索在所述数据存储部中存储的、与所述独特标识符相关联的任何记录包括:基于所述独特标识符来确定哈希值。
[0019]接收来自所述网络中的一个或多个源的记录包括在输入缓冲器中存储所述接收到的记录。
[0020]从所述数据结构中检索存储的键以在后续的时间间隔期间对相应的记录尝试所述匹配过程包括:从所述数据结构中移除键，以及将所述移除的键或对应于所述移除的键的记录添加到所述输入缓冲器。
[0021]与记录的集合相关联的所述键包括与所述记录的集合相关联的所述标识符。
[0022]所述时间间隔基于在所述节点处的计时器被确定。
[0023]所述时间间隔基于接收到的记录的数量被确定。
[0024]一个或多个所述时间间隔被包括在检查点间隔内，在该检查点间隔中自前一检查点间隔以来已经被接收或生成的与所述匹配过程相关联的数据被永久地存储。
[0025]所述数据存储部使得能够随机访问在所述数据存储部中存储的记录。
[0026]处理记录集合包括:将该集合的所述记录中的信息发送到所述网络中的另一个节点。
[0027]在另一个方案中，通常，一种计算机可读存储介质，存储用于处理在网络中的节点处接收到的数据的计算机程序。所述计算机程序包括用于使计算机系统执行以下操作的指令:接收来自所述网络中的一个或多个源的记录，所述记录中的至少一些记录每个与一标识符相关联；对于多个时间间隔中的每个，对一个或多个记录的集合尝试匹配过程，所述匹配过程包括比较与不同的记录相关联的标识符以生成所述集合以及针对一个或多个所述集合确定是否满足完整性标准；对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间满足所述完整性标准的至少一个完整的记录集合，所述至少一个完整的记录集合由在该时间间隔期间首次尝试匹配过程的所述接收到的记录中的一个或多个以及在该时间间隔之前在数据存储部中存储的一个或多个记录构成；以及对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间不满足所述完整性标准的至少一个不完整的记录集合，所述至少一个不完整的记录集合由在该时间间隔之前在所述数据存储部中存储的一个或多个记录构成。
[0028]在另一个方案中，通常，网络节点包括:网络接口，配置为接收来自所述网络中的一个或多个源的记录，所述记录中的至少一些记录每个与一标识符相关联；以及至少一个处理器，配置为处理记录的集合。所述处理包括:对于多个时间间隔中的每个，对一个或多个记录的集合尝试匹配过程，所述匹配过程包括比较与不同的记录相关联的标识符以生成所述集合以及针对一个或多个所述集合确定是否满足完整性标准；对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间满足所述完整性标准的至少一个完整的记录集合，所述至少一个完整的记录集合由在该时间间隔期间首次尝试匹配过程的所述接收到的记录中的一个或多个以及在该时间间隔之前在数据存储部中存储的一个或多个记录构成；以及对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间不满足所述完整性标准的至少一个不完整的记录集合，所述至少一个不完整的记录集合由在该时间间隔之前在所述数据存储部中存储的一个或多个记录构成。
[0029]在另一个方案中，通常，网络节点包括:用于接收来自所述网络中的一个或多个源的记录的装置，所述记录中的至少一些记录每个与一标识符相关联；以及用于处理记录的集合的装置。所述处理包括:对于多个时间间隔中的每个，对一个或多个记录的集合尝试匹配过程，所述匹配过程包括比较与不同的记录相关联的标识符以生成所述集合以及针对一个或多个所述集合确定是否满足完整性标准；对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间满足所述完整性标准的至少一个完整的记录集合，所述至少一个完整的记录集合由在该时间间隔期间首次尝试匹配过程的所述接收到的记录中的一个或多个以及在该时间间隔之前在数据存储部中存储的一个或多个记录构成；以及对于所述时间间隔中的至少一些时间间隔，处理在所述尝试期间不满足所述完整性标准的至少一个不完整的记录集合，所述至少一个不完整的记录集合由在该时间间隔之前在所述数据存储部中存储的一个或多个记录构成。
[0030]这些方案可包括一个或多个以下优点。
[0031]本文所描述的技术能够高效地聚合从网络中的一个或多个上游节点到达网络中的节点的数据。例如，所述数据可包括记录的多个流，所述记录的多个流包含待传递到下游系统的信息。匹配过程能够将一个流的记录与其他流的记录聚合，或者聚合不同时间到达的相同流的多个记录。根据一些完整性标准而言是完整的记录集合可以被处理(例如，用所述记录