一种数据处理方法、装置及系统与流程

本发明涉及通信领域，尤其涉及一种数据处理方法、装置及系统。

背景技术：

在lte(longtermevolution，长期演进)系统中，由数据采集层中包含的采集解析服务器实现对uu、x2、s1等接口及防火墙数据的接入和采集，生成单接口xdr(call/transactiondetailrecord，业务呼叫/事务详细记录)。数据采集层将单接口xdr及原始码流数据上报给数据解码层，由数据解码层中包含的合成服务器完成对数据采集层上报的单接口xdr进行分析、关联、回填及合成，从而补全单接口xdr中的空缺字段，生成完整单接口xdr；或者将多个单接口xdr进行关联生成合成xdr。然后输出所需的xdr、文件及原始码流到应用层。

目前一般采用集群处理方式，由多块单板服务器分别承担一部分任务，共同完成分析、关联、回填及合成的任务。关于各单板服务器的任务分配，现有实现方案主要是基于人工分配的方式，将全网的基站最终分配到各个单板上，即由人工分配哪一块单板服务器负责处理哪些基站的xdr。

然而，目前的分配方式存在一些问题，例如：若用户从基站a的小区切换到基站b的小区，且基站a和基站b分配在不同的单板服务器上，则对于这种跨基站的切换数据将不能很好的关联在一起分析，增加了后续回填的复杂度，导致回填率不高，同时也加重了系统负担。

技术实现要素：

本发明实施例提供了一种数据处理方法、装置及系统，用以实现根据用户 信息自动完成为xdr或xdr对应的信令分配业务板，提高数据回填率。

本发明实施例提供的数据处理方法，包括：

获取采集到的数据中的用户信息；

根据所述用户信息以及用户信息与业务板之间的对应关系，确定处理所述采集到的数据的业务板；

将所述采集到的数据发送给所述业务板进行处理。

具体地，根据所述用户信息以及用户信息与业务板之间的对应关系，确定处理所述采集到的数据的业务板，包括：

根据所述用户信息查询用户信息与业务板之间的对应关系，若查询到对应的业务板，则将查询到的业务板确定为处理所述采集到的数据的业务板。

优选地，该方法还包括：若未查询到对应的业务板，则根据各业务板的负载情况确定处理所述采集到的数据的业务板，并创建所述用户信息与所确定的业务板之间的对应关系。

进一步地，该方法还包括：获取各业务板按照设定周期或者设定时间或者设定事件发生时发送的负载情况。

具体地，所述根据各业务板的负载情况确定处理所述采集到的数据的业务板，包括：

根据各业务板的待处理数据的数量和/或各业务板的性能确定处理所述采集到的数据的业务板。

具体地，所述业务板的性能包括：业务板的cpu使用率和/或内存占用率。

优选地，该方法在获取到采集到的数据之后，还包括：

根据预设的优先处理原则，为采集到的数据设置优先级；

将所述优先级的信息发送给处理所述采集到的数据的业务板，以使该业务板根据所述优先级将所述采集到的数据存储到相应的缓存队列中等待处理。

具体地，所述采集到的数据包括：信令，和/或，业务呼叫/事务详细记录xdr。

本发明实施例提供的数据处理装置，包括：

获取模块，用于获取采集到的数据中的用户信息；

确定模块，用于根据所述用户信息以及用户信息与业务板之间的对应关系，确定处理所述采集到的数据的业务板；

发送模块，用于将所述采集到的数据发送给所述业务板进行处理。

具体地，所述确定模块，具体用于：

根据所述用户信息查询用户信息与业务板之间的对应关系，若查询到对应的业务板，则将查询到的业务板确定为处理所述采集到的数据的业务板。

优选地，所述确定模块，还用于：

若未查询到对应的业务板，则根据各业务板的负载情况确定处理所述采集到的数据的业务板，并创建所述用户信息与所确定的业务板之间的对应关系。

进一步地，该装置还包括第二获取模块，用于获取各业务板按照设定周期或者设定时间或者设定事件发生时发送的负载情况。

具体地，所述确定模块，具体用于若未查询到对应的业务板，则根据各业务板的待处理数据的数量和/或各业务板的性能确定处理所述采集到的数据的业务板。

具体地，所述业务板的性能包括：业务板的cpu使用率和/或内存占用率。

优选地，该模块还包括设置模块，用于根据预设的优先处理原则，为采集到的数据设置优先级；

所述发送模块，还用于将所述优先级的信息发送给处理所述采集到的数据的业务板，以使该业务板根据所述优先级将所述采集到的数据存储到相应的缓存队列中等待处理。

具体地，所述采集到的数据包括：信令和/或业务呼叫/事务详细记录xdr。

本发明实施例提供的数据处理系统，包括：

分发板和n个业务板，其中n为大于等于1的整数；

所述分发板，用于获取采集到的数据中的用户信息，根据所述用户信息以及用户信息与业务板之间的对应关系，确定处理所述采集到的数据的业务板，将所述采集到的数据发送给所述业务板进行处理；

所述业务板，用于对分发板发送的数据进行处理。

具体地，所述分发板，具体用于：根据所述用户信息查询用户信息与业务板之间的对应关系，若查询到对应的业务板，则将查询到的业务板确定为处理所述采集到的数据的业务板。

优选地，所述分发板，还用于：若未查询到对应的业务板，则根据各业务板的负载情况确定处理所述采集到的数据的业务板，并创建所述用户信息与所确定的业务板之间的对应关系。

进一步地，所述分发板还用于获取各业务板按照设定周期或者设定时间或者设定事件发生时发送的负载情况。

具体地，所述分发板，具有用于：若未查询到对应的业务板，则根据各业务板的待处理数据的数量和/或各业务板的性能确定处理所述采集到的数据的业务板。

具体地，所述业务板的性能，包括：业务板的cpu使用率和/或内存占用率。

优选地，所述分发板，还用于：根据预设的优先处理原则，为采集到的数据设置优先级；将所述优先级的信息发送给处理所述采集到的数据的业务板，以使该业务板根据所述优先级将所述采集到的数据存储到相应的缓存队列中等待处理。

具体地，所述采集到的数据包括：信令，和/或，业务呼叫/事务详细记录 xdr。

优选地，该系统还包括：主控板，用于获取经过业务板处理后的数据，并对所述处理后的数据进行上报。

本发明实施例提供的数据处理方法，根据采集到的数据中的用户信息及用户信息与业务板之间的对应关系确定处理该数据的业务板，即把相同用户的数据分配到相同的业务板上进行分析、关联、回填及合成等操作，实现了自动、高效地为采集到的数据分配业务板，不再需要人工分配；根据用户信息分配业务板，能够避免在根据基站分配业务板的情况下，当用户进行了小区切换且源小区的基站与目标小区的基站没有分配到相同业务板时，而造成的信息回填率降低的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种典型架构示意图；

图2为本发明实施例提供的一种数据处理方法的流程示意图；

图3为本发明实施例提供的一种数据处理装置的结构示意图；

图4为本发明实施例提供的一种数据处理系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性地示出了一种可应用于本发明实施例提供的数据处理方案的典型架构。

如图1所示，该网络架构中包括分发板、多个业务板和主控板。分发板根据用户信息与业务板之间的对应关系，确定为待处理数据进行处理的业务板，并将该待处理数据发送到确定出的业务板中。分发板还可以为待处理数据设置优先级，并将该优先级信息发送给处理该待处理数据的业务板，以使该待处理数据按照优先级被分配到相应的缓存队列中。业务板根据优先等级对数据进行处理，然后将经过处理后的数据发送至主控板。主控板对经过处理后的数据进行上报。其中，用户信息与业务板之间的对应关系，可根据各业务板的负载情况建立，比如，分发板在获取到采集到的数据后，获取该数据中的用户信息，如果该用户信息还未与业务板建立对应关系，则根据当前各业务板的发送给分发板的负载情况选取一个业务板与该用户信息建立对应关系，并进一步将采集到的该数据发送给该业务板进行处理，其中负载情况可以包括待处理数据、cpu使用率等性能参数。这样，用户信息与业务板之间的对应关系，可以根据各业务板的负载情况而确定，以实现各业务板的负载情况均衡，提高系统整体性能。

参见图2，为本发明实施例提供的数据处理方法的流程示意图，该流程可由分发板执行，分发板是指为采集到的数据分配业务板的设备，例如一台服务器。

该分发板中预先保存有用户信息与业务板之间的对应关系，例如分发板中预先存储有用户信息与业务板的对应关系表，对应关系表中包含有用户信息，以及为该用户的数据进行处理的业务板，一个用户信息对应一个业务板；其中，用户信息可以是imsi(internationalmobilesubscriberidentificationnumber，国际移动用户识别码)信息，也可以是其他用户标识。

如图2所示，该方法包括：

步骤201：分发板获取采集到的数据中的用户信息。

具体地，上述采集到的数据可以是从各接口获得的xdr，也可以是xdr所对应的原始信令，或者既包括xdr也包括信令。

上述采集到的数据既可以是通过软采方式采集到的数据，也可以是通过硬采方式采集到的数据，本发明对此不做限制。其中，软采数据相当于在数据传输过程中主动上报至数据解码层的数据，硬采数据相当于数据解码层主动从各获取的数据。

步骤202：分发板根据用户信息以及用户信息与业务板之间的对应关系，确定处理所述采集到的数据的业务板。

具体地，在上述步骤中，分发板对采集到的数据首先进行解析，获取数据中所包含的用户信息。

然后，根据用户信息查询用户信息与业务版之间的对应关系，若查询到对应的业务板，则将查询到的业务板确定为处理上述采集到的数据的业务板。

若根据用户信息与业务板之间的对应关系，未查询到对应的业务板，则根据各业务板的负载情况确定处理该采集到的数据的业务板，并创建该用户信息与确定的业务板之间的对应关系，以便在接收到该用户的数据时，能根据已创建的该用户信息与业务板之间的对应关系，将数据分配到相同的业务板中进行处理。

目前的人工根据基站分配的方式，主要是根据工程师的经验完成，存在以下问题：分配一旦生效后则不能在运行中调整，对于系统运行过程中，可能有些基站业务较多、数据量偏大，其对应的业务板就会负载较大而导致处理不及时，而有些基站数据量又较小，其对应的业务板运行效率不高，从而降低了系统的整体性能。而本发明实施例提供的数据处理方法，可以根据各业务板动态负载情况为用户信息与业务板对应关系表中未包含的用户确定业务板，能够均衡各业务板的负载情况，进而提高系统的整体性能。

进一步地，在根据各业务板的负载情况确定处理所述采集到的数据的业务板之前，还可以获取各业务板发送的负载情况。各业务板可以按照设定周期或 设定时间或者在设定事件发生时(比如cpu利用率高于设定阈值时)向分发板上报自己的负载情况。上述负载情况可以包括各业务板待处理数据的数量、各业务板的性能参数，其中，业务板的性能可以包括业务板的cpu使用率、内存占用率中的一种多种，或者其他性能指标。故当用户信息与业务板对应关系表中不包含采集到的数据的用户信息时，可以根据各业务板的待处理数据的数量、或者各业务板的性能、或者待处理数据的数量和各业务板的性能确定处理该采集到的数据的业务板；在确定业务板之后，并将该用户信息与确定的业务板之间的对应关系保存在用户信息与业务板对应关系表中。

例如，若各业务板的数据处理能力相同，则可以仅根据待处理数据的数量确定负载最小的业务板为该数据进行处理；若各业务板的数据处理能力不同，则可以仅根据各业务板的性能确定为该数据进行处理，或者为待处理数据和业务板的性能设置权重，根据待处理数据的数量和各业务板的性能共同确定为该数据进行处理的业务板。

优选地，分发板在获取采集到的数据之后，还可以根据预设的优先处理原则，为采集到的数据设置优先级；并将该优先级的信息发送给处理该采集到的数据的业务板，以使该业务板根据优先级将采集到的数据存储到相应的缓存队列中等待处理。

例如，业务板根据优先级的级数设置相应数量的缓存队列，如最高优先级缓存队列、较高优先级缓存队列、低优先级缓存队列等。业务板可以优先对高优先级的缓存队列中待处理数据进行，将高优先级的缓存队列中待处理数据处理完毕后，再对低优先级的缓存队列中待处理数据进行处理，若高优先级缓存队列中出现新的待处理数据时，暂时停止对低优先级的缓存队列中待处理数据进行处理，优先处理高优先级的缓存队列中待处理数据。或者业务板可以同时对高优先级的缓存队列中待处理数据和低优先级的缓存队列中待处理数据同时进行处理，因为通常情况下高优先级的待处理数据数量要小于低优先级的待处理数据数量，故也能达到优先处理的效果，本发明对此不做限制。

上述优先处理原则，可以根据具体的应用需求而设定。例如，需要对当前的4g(第四代移动通信技术)网络服务质量进行监控，则可以将所有4g网络的数据设置为高优先级；则分发板可以通过数据中的小区标识确定该数据是否为4g网络下的数据。再例如，若需要对某些非常重要的用户的网络服务质量进行监控，也可以仅对这些部分用户的数据设置高优先级，则分发板可以获取数据中的imsi，然后通过查询预先设置的高级用户列表确定该数据是否为高级用户的数据，是否需要对该数据设置高优先级。再例如，若需要对某些特定业务类型的网络服务质量进行监控，分发板可以根据数据中所携带的业务类型确定是否需要对其设置高优先级。

步骤203：分发板将采集到的数据发送给确定的业务板进行处理。

若分发板为采集到的数据设置了优先级，则根据该优先级将采集到的数据发送至确定的业务板中对应优先级的缓存队列中。

优选地，上述用户信息与业务板之间的对应关系，允许创建新的用户信息与业务板之间的对应关系，还可以对一些用户信息与业务板之间的对应关系进行删除，例如，若长期未获得某一用户的数据，则可以将该用户信息与业务板之间的对应关系删除。具体地，可以为用户信息与业务板之间的对应关系进行时间设置，在建立该对应关系时，将建立该对应关系的时间保存到该用户信息与业务板之间的对应关系中，获取到该用户的数据时，将获取时间更新到该用户信息与业务板之间的对应关系中；人为控制或周期地对用户信息与业务板之间的对应关系进行查询，若某一用户信息与业务板之间的对应关系中保存的时间与当前时间的时间差值大于预设阈值时，可以将该用户信息与业务板之间的对应关系删除。这样可以减少用户信息与业务板之间的对应关系所占用的存储空间，提高利用率，并可以在一定程度上保证用户信息与业务板之间的对应关系的有效性。

本发明实施例提供的数据处理方法，根据采集到的数据中的用户信息及用户信息与业务板之间的对应关系确定处理该数据的业务板，即把相同用户的数 据分配到相同的业务板上进行分析、关联、回填及合成等操作，实现了自动、高效地为采集到的数据分配业务板，不再需要人工分配；根据用户信息分配业务板，能够避免在根据基站分配业务板的情况下，当用户进行了小区切换且源小区的基站与目标小区的基站没有分配到相同业务板时，而造成的信息回填率降低的问题；此外还可以根据各业务板的负载情况为用户信息与业务板之间的对应关系中未包含的用户确定业务板，均衡各业务板的负载情况，进而提高系统的整体性能。

基于相同的技术原理，本发明实施例还提供了一种数据处理装置，该装置可以是分发板，即为采集到的数据分配业务板的设备，也可以是集成在其他设备中的装置。

参加图3，为本发明实施例提供的一种数据处理装置，如图所示，该装置包括：

获取模块301：用于获取采集到的数据中的用户信息。

确定模块302：用于根据用户信息以及用户信息与业务板之间的对应关系，确定处理该采集到的数据的业务板。

发送模块303：用于将采集到的数据发送给确定的业务板进行处理。

具体地，上述确定模块302，具体用于根据用户信息查询用户信息与业务板之间的对应关系，若查询到对应的业务板，则将查询到的业务板确定为处理所述采集到的数据的业务板。

具体地，上述确定模块302，还用于若未查询到对应的业务板，则根据各业务板的负载情况确定处理采集到的数据的业务板，并创建该用户信息与所确定的业务板之间的对应关系。

进一步地，该装置还可以包括第二获取模块(该模块未在图中示)，用于获取各业务板按照设定周期或者设定时间或者设定事件发生时发送的负载情况。

具体地，上述确定模块302，当根据用户信息未查询到对应的业务板时， 则可以根据各业务板的待处理数据的数量、或者各业务板的性能、或者各业务板的待处理数据的数量和各业务板的性能确定处理采集到的数据的业务板。

具体地，上述业务板的性能包括：业务板的cpu使用率、内存占用率中的一种或多种，或者还可以包括其他性能指标。

优选地，该装置还包括设置模块(该模块未在图中示)，用于根据预设的优先处理原则，为采集到的数据设置优先级。此时，发送模块303还用于将所述优先级的信息发送给处理所述采集到的数据的业务板，以使该业务板根据优先级将采集到的数据存储到相应的缓存队列中等待处理。

具体地，采集到的数据包括信令、或者xdr、或者信令和xdr。

本发明实施例提供的数据处理装置，根据采集到的数据中的用户信息及用户信息与业务板之间的对应关系确定处理该数据的业务板，即把相同用户的数据分配到相同的业务板上进行分析、关联、回填及合成等操作，实现了自动、高效地为采集到的数据分配业务板，不再需要人工分配；根据用户信息分配业务板，能够避免在根据基站分配业务板的情况下，当用户进行了小区切换且源小区的基站与目标小区的基站没有分配到相同业务板时，而造成的信息回填率降低的问题；此外还可以根据各业务板的负载情况为用户信息与业务板之间的对应关系中未包含的用户确定业务板，均衡各业务板的负载情况，进而提高系统的整体性能。

基于相同的技术原理，本发明实施例还提供了一种数据处理系统，参见图4，该系统包括：分发板401和n个业务板402，其中n为大于等于1的整数。进一步地，该系统还可以包括主控板403

分发板401，用于获取采集到的数据中的用户信息，根据用户信息以及用户信息与业务板之间的对应关系，确定处理所述采集到的数据的业务板，将采集到的数据发送给业务板进行处理。

业务板402，用于对分发板401发送的数据进行处理。

进一步地，主控板403，用于获取经过业务板处理后的数据并对处理后的 数据进行上报。

具体地，分发板401，具体用于根据用户信息查询用户信息与业务板之间的对应关系，若查询到对应的业务板，则将查询到的业务板确定为处理采集到的数据的业务板。

具体地，分发板401，还用于若未查询到对应的业务板，则根据各业务板的负载情况确定处理采集到的数据的业务板，并创建该用户信息与所确定的业务板之间的对应关系。

进一步地，分发板401，还用于获取各业务板按照设定周期或者设定时间或者设定事件发生时发送的负载情况。，

具体地，分发板401，具体用于当根据用户信息未查询到对应的业务板时，则可以根据各业务板的待处理数据的数量、或者各业务板的性能、或者各业务板的待处理数据的数量和各业务板的性能确定处理采集到的数据的业务板。

具体地，上述业务板的性能包括：业务板的cpu使用率、或者内存占用率、或者业务板的cpu使用率和内存占用率等性能指标。

优选地，分发板401，还用于根据预设的优先处理原则，为采集到的数据设置优先级；将所述优先级的信息发送给处理所述采集到的数据的业务板，以使该业务板根据优先级将采集到的数据存储到相应的缓存队列中等待处理。

具体地，采集到的数据包括信令、或者xdr、或者信令和xdr。

本发明实施例提供的数据处理系统，分发板根据采集到的数据中的用户信息及用户信息与业务板之间的对应关系确定处理该数据的业务板，即把相同用户的数据分配到相同的业务板上进行分析、关联、回填及合成等操作，实现了自动、高效地为采集到的数据分配业务板，不再需要人工分配；根据用户信息分配业务板，能够避免在根据基站分配业务板的情况下，当用户进行了小区切换且源小区的基站与目标小区的基站没有分配到相同业务板时，而造成的信息回填率降低的问题；此外还可以根据各业务板的负载情况为用户信息与业务板之间的对应关系中未包含的用户确定业务板，均衡各业务板的负载情况，进而 提高系统的整体性能。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。