一种数据处理方法和设备的制作方法

专利名称：一种数据处理方法和设备的制作方法
技术领域：
本发明涉及通信技术领域，尤其是涉及一种数据处理方法和设备。
背景技术：
随着移动数据业务的发展，特别是第三代(3G)移动通信的大规模使用，如何在保证网络建设的同时，迅速提升数据业务的质量、满足用户日益增长的对数据业务多样性和高可靠性的需求，成为运营商需要解决的问题。其中，对于一个数据业务来说，订购退订方式是否方便、用户使用业务体验是否友好、数据业务的客户端响应是否迅速等都会影响到用户对业务的使用，从而影响业务的使用率。但是由于数据业务的种类繁多，质量的好坏没有统一的标准，终端测的客户端也由于定制等原因会存在多个版本；因此，进行数据业务质量分析和用户行为分析相对困难。现有技术中，进行数据业务质量分析和用户行为分析的方式包括(1)当前用户行为分析系统依靠后台支撑系统，根据用户的各种人口统计信息、历史套餐、话费情况以及各业务平台提供的话单等信息来进行挖掘分析。(2)业务平台在终端测的客户端和UI (User hterface，用户界面)通过客户调研等方式来进行相关分析。(3)在网络监控和测试领域中，可以使用“测试终端+路测软件”的模式，在该模式下，通过使用测试终端针对网络、信号强弱进行测试，后台对测试终端收集到的数据进行分析。在实现本发明的过程中，发明人发现现有技术中至少存在以下问题用户在终端测的行为无法与后台数据相结合，导致分析结果不准确。

发明内容
本发明实施例提供一种数据处理方法和设备，以结合终端上的数据和业务装置上的数据对业务进行分析。为了达到上述目的，本发明实施例提供一种数据处理方法，包括接收来自终端上报的第一业务数据和业务装置上报的第二业务数据；并根据所述第一业务数据和所述第二业务数据关联分析业务。本发明实施例提供一种数据处理设备，包括终端参数收集模块，用于接收来自终端上报的第一业务数据；平台参数收集模块，用于接收来自业务装置上报的第二业务数据；关联分析模块，用于根据所述终端参数收集模块接收的所述第一业务数据和所述平台参数收集模块接收的所述第二业务数据关联分析业务。本发明实施例提供一种终端，包括时钟同步模块，用于将终端的时间与业务装置的时间进行同步；监控执行模块，用于采集业务对应的第一业务数据，并对所述第一业务数据打时间戳；参数上报模块，用于上报所述监控执行模块采集的所述第一业务数据。本发明实施例提供一种业务装置，包括时钟同步模块，用于将业务装置的时间与终端的时间进行同步；参数采集模块，用于采集终端业务对应的第二业务数据；并对所述第二业务数据打时间戳；参数上报模块，用于上报所述参数采集模块采集的所述第二业务数据。与现有技术相比，本发明实施例至少具有以下优点通过对终端上报的业务数据和业务装置上报的业务数据进行关联分析，可以优化终端上的业务，并为数据业务优化和用户行为分析提供了更有力的数据基础。


为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本发明实施例提供的数据处理方法的系统架构示意图；图2是本发明实施例提供的数据处理方法的流程示意图；图3是本发明实施例终端采集用户使用业务对应的业务数据，并将该业务数据上报给业务分析装置的流程示意图； 图4是本发明实施例多模式匹配方法中使用多模式识别中的Aho-Coras i c方法的流程示意图；图5是本发明实施例业务分析装置根据终端上报的业务数据和业务装置上报的业务数据分析该终端上的业务的流程示意图；图6是本发明实施例提供的一种应用场景下系统采集示意图；图7是本发明实施例提供的一种数据处理方法的设备结构图；图8是本发明实施例提供的一种终端的结构图；图9是本发明实施例提供的一种业务装置的结构图。
具体实施例方式现有技术中，在进行数据业务质量分析和用户行为分析时，实时性差(当数据业务使用过程中出现问题时，无法定位出是客户端出现问题还是后台服务器出现问题；而由于故障报告依赖于用户人工投诉的方式实现，因此不能实时的再现故障发生时的情况，导致分析结果的准确性降低)，无法全面发现问题(例如，网络速率低，客户端bug，后台处理流程缓慢等问题)，且无法正确的分析用户行为。针对上述问题，本发明实施例中提供一种数据处理方法和设备，业务分析装置通过接收终端和业务装置上报的信息，并结合终端上报的信息和业务装置上报的信息进行关联分析，通过数据挖掘技术来分析相关业务，并根据分析结果对相关业务进行优化，达到智能分析业务和用户行为的目标。下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供一种数据处理方法，该方法应用于包括终端、业务装置和业务分析装置的系统中，如图1所示的系统架构示意图。其中(1)终端可以根据需要针对不同的业务测试任务定制需要采集的业务数据，并将业务数据上报给业务分析装置。其中，该业务数据包括但不限于业务行为数据、业务异常数据(业务使用过程中的异常)、用户行为数据(与业务相关的用户行为)、上下文信息等。具体的，通过在终端上对用户使用业务的行为进行监控和记录，可以采集到业务数据，并将采集到的业务数据通过无线网络上报。本发明实施例中，位于终端上的功能模块包括但不限于协议分析与多模式匹配模块、监控配置模块、参数上报模块、监控执行模块、时钟同步模块等。上述各个功能模块可以为终端监控程序的组成部分，当然，实际应用中，上述功能模块可以合并，也可以进一步拆分。a、监控配置模块即终端侧监控方案的配置模块，可以预先定制或动态更新。其中，该监控配置模块用于确定监控程序需要采集的业务数据和将业务数据进行上报的方式等。实际应用中，监控配置模块还可以通过分析业务分析装置的配置模式来确定终端侧的监控方案，在此不再赘述。该采集的业务数据具体为采集终端的业务、信令、事件、用户行为类型等参数； 该将业务数据进行上报的方式具体为将采集到的终端的业务数据进行上报的方式(例如，上报频率等)。b、参数上报模块终端在采集到各种参数(业务数据)之后，需要在指定条件下将该业务数据通过无线网络或者数据线等方式上报给业务分析装置。其中，该指定条件为监控配置模块配置的上报方式，包括但不限于指定上报时间、指定上报频率、指定上报事件(触发事件)等。C、监控执行模块用于根据监控配置模块配置的采集方式来采集各种参数(业务数据)，并为采集到的业务数据打时间戳。具体的，当监控配置模块配置需要采集终端的业务、信令、事件、用户行为类型等参数时，则监控执行模块需要采集终端的业务、信令、事件、用户行为类型等参数。d、时钟同步模块用于将终端的时间与各业务装置的时间进行同步。具体的，时钟同步模块可以采用GPS(Global Positioning System，全球定位系统)对准的方式进行同步；或者，使用与同一个时钟对准系统进行对准的方式进行同步等。e、协议分析与多模式匹配模块用于采用基于协议分析的方式获取各种数据流， 并采用多模式匹配的方式一次性扫描数据流，匹配预先设置好事件的数据串，输出匹配结^ ο(2)接入方式终端(例如，终端上的终端监控程序)可以通过无线网络将业务数据上报给业务分析装置。具体的，终端可以根据预先配置的方式将采集到的业务数据通过无线网络上报给业务分析装置；或者，终端可以实时(或按照测试计划)的将采集到的业务数据通过无线网络上报给业务分析装置；或者，对于指定的业务异常，终端可以根据要求将采集到的业务异常相关数据上报给指定的业务装置或业务分析装置。(3)业务装置用于采集终端的业务数据(例如，终端的业务数据和用户行为等)， 并将采集到的业务数据上报给业务分析装置。本发明实施例中，位于业务装置上的功能模块包括但不限于参数采集模块、参数上报模块和时钟同步模块等。当然，实际应用中，上述功能模块可以合并，也可以进一步拆分。a、参数采集模块，用于采集终端的业务数据。其中，在采集到用户在该业务装置上的业务数据之后，还需要为相应的业务数据打上时间戳，并保存相应的业务数据。b、参数上报模块，用于在指定条件下将采集到的业务数据(参数)上报给业务分析装置。其中，该指定条件包括但不限于指定上报时间、指定上报频率、指定上报事件 (触发事件)等。c、时钟同步模块，用于将业务装置自身的时间进行同步。具体的，时钟同步模块可以采用GPS对准的方式进行同步；或者，使用与同一个时钟对准系统进行对准的方式进行同步等。(4)业务分析装置用于根据终端上报的业务数据和业务装置上报的业务数据综合分析相关业务，并根据分析结果对相关业务进行优化。具体的，针对当前电信业务开展的特点，本发明实施例中，通过在终端上对用户使用业务的行为进行监控和记录，并将采集到的业务数据通过无线网络上报给业务分析装置，并结合业务装置采集到的业务数据进行关联分析，以综合分析相关业务，达到智能分析业务和用户行为的目标。本发明实施例中，位于业务分析装置上的功能模块包括但不限于终端参数收集模块、平台参数收集模块、关联分析模块、输出模块。当然，实际应用中，上述功能模块可以合并，也可以进一步拆分。a、终端参数收集模块用于接收各终端上报的信息，各终端上报的信息中包含终端采集到的业务数据。b、平台参数收集模块用于接收各业务装置上报的信息，各业务装置上报的信息中包含业务装置采集到的业务数据。C、关联分析模块用于根据终端上报的业务数据和各业务装置上报的业务数据进行关联合并，并将处理后的信息作为实时告警、业务优化和用户分析的依据。d、输出模块用于将关联分析模块的分析结果输出到输出设备，以便较直观地显示分析结果。例如，输出到屏幕显示设备进行屏幕显示，或者，输出到打印设备进行打印输出等，以便较直观地显示分析结果。需要注意的是，本发明实施例中，业务分析装置可以作为功能模块集成到业务装置上，并基于业务装置对应的业务对终端上报的业务数据和业务装置上报的业务数据综合分析相关业务；业务分析装置也可以作为单独的实体，并基于终端上报的业务数据(多个业务的数据或单独业务的数据)和业务装置上报(单独的业务装置或多个业务装置)的业务数据综合分析相关业务。基于上述系统中各个装置以及各装置中的功能模块，本发明实施例提供的方法中，如图2所示，该方法包括以下步骤步骤201，终端采集用户使用业务对应的业务数据，并将该业务数据上报给业务分析装置。本步骤中，终端采集用户使用业务对应的业务数据，并将该业务数据上报给业务分析装置的过程，如图3所示，进一步包括以下步骤步骤301，终端监测用户使用业务的执行过程，并记录监测过程中得到的数据。具体的，终端在启动且发起业务执行过程之后，终端监控程序将在后台中运行，并监测业务的整个执行过程。此时，终端可以采集各种参数(例如，根据监控配置模块的相关配置采集各种参数)，并为采集到的参数打时间戳。其中，针对监控范围内的用户使用业务， 终端监控程序可根据监控配置模块的配置记录该用户使用业务的参数(例如，指定信令交互过程的参数、用户按键行为发生的时间等信息)。本发明实施例中，需要采集的参数包括但不限于指定信令交互过程的参数；用户按键行为发生的时间；有关网络层的信息，如CELL ID (小区标识)，LAC ID (Location Area Code，位置区码)，邻区关系信息等；有关业务层的信息，包括短信、彩信等；终端的位置信息，如GPS (Global Positioning System,全球位置测定系统)地理
位置信息等。需要注意的是，上述需要采集的参数即为终端需要采集并上报给业务分析装置的业务数据。例如，有关网络层的信息为业务数据中的上下文信息。步骤302，终端根据监控方案生成上报信息。其中，该上报信息为需要上报的业务数据。本发明实施例中，可以采用基于协议分析的多模式匹配算法生成上报信息，在实际应用中，也可以采用其他算法生成上报信息，本发明实施例中不再赘述。在监测用户使用业务的执行过程中，将会监测到大量的数据，而在监控方案(监控配置模块确定监控程序需要采集终端的业务、信令、事件、用户行为类型等信息)中，指出了需要上报给业务分析装置的业务数据，因此，通过使用基于协议分析的多模式匹配算法，能够从监测到的大量数据中筛选出需要上报给业务分析装置的业务数据，并将筛选出的业务数据生成上报信息。综上所述，由于基于协议分析的多模式匹配算法的开启，在监测用户使用业务的执行过程中，对于每次记录的监测过程中得到的数据，均可以直接进行筛选，以最终确定需要发送给业务分析装置的业务数据。步骤303，终端判断是否发生触发事件，如果是，转到步骤304，否则，转到步骤 301。具体的，在终端侧设定了采集到业务数据之后的上报方式(可以由监控配置模块设定)，则根据该上报方式，终端可以判断是否发生触发事件。例如，当设定了指定上报时间时，则终端可以判断是否到达了指定上报时间；当设定了指定上报事件时，则终端可以判断是否发生了指定上报事件。在实际应用中，该触发事件包括但不限于指定上报事件触发(如采集到异常后的触发)，指定上报时间(如定时触发)、指定上报频率触发、测试人员手工触发等。步骤304，终端将需要上报的业务数据发送给业务分析装置。其中，该终端可以通过无线网络、PS(分组域)或者INTERNET(互联网)将需要上报的业务数据发送给业务分析装置。本发明实施例中，在将需要上报的业务数据发送给业务分析装置之后，终端还可清除保存的相关信息。优选地，终端可以在接收到业务分析装置回复的确认信息后清除保存的相关信息。需要注意的是，为了保证业务数据的准确性，还可以将终端的时间与各业务装置的时间进行同步，此时，可以采用GPS方式对准的方式进行同步或者使用与同一个时钟对准系统进行对准的方式进行同步等。本发明实施例中，对终端进行测试时，需要采集分析很多协议和事件，很多和应用相关的协议。因此，采集到的数据中有很多信令之外的应用层面的交互数据，而这些数据是不需要进行保存的。此外，考虑到终端获取的空口数据中有大量的PS域数据量，无法将所有的待分析数据流都保存在终端侧，且触发事件的检测会影响测试参数的准确性。为了解决上述问题，本发明实施例中可以采用多模式匹配的方式对采集的数据进行实时的协议分析。具体的，通过使用多模式匹配的方式，监控测试时只需要对各种数据进行一次从左到右的快速扫描即可，不需要保存数据，使得测试监控程序可以快速的发现触发事件，并快速搜索能，从而减少对正在测试任务的影响。另外，本发明实施例中，考虑到终端会有多种事件，例如有20多种由芯片导致的异常事件，这些事件可以为一个或几个字段的标识，长度很短；也可以为只有部分应用层的协议分析事件，长度会略长；因此，本发明实施例中的多模式匹配方法还可以使用多模式识别中的Aho-Corasic方法，如图4所示的流程示意图，包括以下步骤步骤401，设定协议事件字符串。具体的，在协议分析中使用Aho-Corasic方法前，需要从事件对应的协议中取出具有标志性的标识字符串(即事件字符串)，并以该事件字符串的出现表示事件的发生。另外，在实际应用中，位于终端侧的程序，还可以根据测试的需要，预先设置η个待匹配的事件字符串。步骤402，预处理生成状态函数。通过对事件字符串集合进行预处理，生成3个函数g0t0(转移)函数、 failure (失效)函数和output (输出)函数。其中，转移函数goto表明在当前状态下读入下一个待比较数据流的字符后到达的下一个状态。失效函数failure用来指明在某个状态下，当读入的字符不匹配时应转移到的下一个状态。输出函数output的作用是，在匹配过程中，当出现匹配时输出匹配到的事件。通过生成的状态函数，可生成多模式的状态机，然后可以使用多模式匹配算法进行协议分析，并发现相应的字符串。步骤403，扫描采集到的数据流。具体的，当构造了 3个函数之后，即可以依次扫描数据流，并逐个读取输入的字符。步骤404，判断输入函数是否为空，如果是，转到步骤403，否则，转到步骤405。步骤405，输出匹配事件。具体的，从状态0开始，根据当前状态和输入的字符，并采用goto和failure函数转移到下一个状态，当到达状态的output函数不空时。则可以输出匹配事件。步骤202，业务装置采集终端的业务数据，并将采集到的业务数据上报给业务分析
直ο本发明实施例中，业务装置可以在指定条件下将采集到的业务数据上报给业务分析装置。其中，该指定条件包括但不限于指定上报时间、指定上报频率、指定上报事件(触发事件)等。步骤203，业务分析装置根据终端上报的业务数据和业务装置上报的业务数据分析该终端上的业务，并根据分析结果对该业务进行优化。具体的，当接收到来自终端上报的业务数据和业务装置上报的业务数据之后，业务分析装置能够综合分析相关业务，并根据分析结果对相关业务进行优化。本步骤中，业务分析装置根据终端上报的业务数据和业务装置上报的业务数据分析该终端上的业务，如图5所示，进一步包括以下步骤步骤501，业务分析装置建立参数数据库。具体的，业务分析装置根据终端上报的业务数据和各业务装置采集上报的业务数据建立数据库。步骤502，业务分析装置进行数据预处理。即业务分析装置对数据库进行数据预处理，并对数据进行一致的整合。具体的，数据整合的过程包括但不限于数据源选取、数据清洗、去噪声、填补空缺数据等。本发明实施例中，以分析某业务的退订事件为例，数据源选取是指从数据库中取出与分析退订事件相关的参数。其中，这些参数中有些数据可能是不完整、错误或重复的(例如，在短时间内有多次退订事件等)，此时，需要对相关参数进行数据请洗，过滤那些不符合要求的参数。另外，针对某些过于偏离正常值的数据(例如，通话时长不到1秒的业务事件等)，也需要将相关数据当成噪声去除。填补空缺数据主要针对数据中有些应该有的信息缺失，须将其补全。需要注意的是，实际应用中，数据的常见问题包括但不限于数据不完整(有些感兴趣的属性缺少属性值，或仅包含聚集数据)；数据包含噪声(包含错误或者“孤立点”，例如某点的时延出现负数)；数据不一致等。步骤503，业务分析装置进行主题数据选择。具体的，业务分析装置对整理好的数据，可以根据具体业务分析目的和任务对数据进行细分，并剔除冗余数据，以保证数据库的主题清晰，并提高数据挖掘算法的效率，减少系统资源消耗。继续以退订事件为例，分析时着重关心退订事件发生前M小时内的终端和业务平台上报的参数，此时，则可从整理好该部分数据中将原来的数据库中抽取出来，形成关于该事件可能相关的退订主题数据。步骤504，业务分析装置进行数据挖掘。具体的，业务分析装置可根据终端上报的业务数据和业务装置上报的业务数据 (进行了上述处理过程之后的相关数据)进行数据挖掘。实际应用中，业务分析装置可采用FP (Frequent Pattern) -Growth方法对数据进行强关联规则的挖掘，其中，FP-Growth方法通过逐步生成条件模式基和条件频繁模式树来挖掘频繁项目集，不产生候选项集。以流媒体业务为例，当网络条件不佳时，则视频无法正常播放，并将出现等待时间过长或经常掉线等状况，此时很可能会出现用户对业务体验不满而退订情况，本发明实施例中，通过实际的业务测试可发现不同终端应对网络恶劣情况下流媒体播放等待的处理机制不同，且不同的机制将造成用户体验不同。另外，对业务分析装置来说并没有区别，为了知道哪种情况会对用户的感受产生更大影响，可以采用关联分析方法(例如，类似FP-Growth等的分析方法)得到发生用户投诉或退订事件时，终端出现播放等待过长或掉线的支持度和可信度，其支持度和可信度越高，对用户感受影响则越大。例如，对于两个事件A，B之间的关联关系，可以通过支持度和可信度来考虑，支持度事件A、B同时出现的概率；可信度事件A出现时，事件B出现概率。其中，对于流媒体业务，以某段时间内终端侧事件A (播放等待超时)、事件B (掉线)和业务装置侧事件C (用户退订)的关系为例，计算关联规则A- > C和B- > C的指标如表1所示。表权利要求
1.一种数据处理方法，其特征在于，包括接收来自终端上报的第一业务数据和业务装置上报的第二业务数据；并根据所述第一业务数据和所述第二业务数据关联分析业务。
2.如权利要求1所述的方法，其特征在于，根据所述第一业务数据和所述第二业务数据关联分析业务，包括对所述第一业务数据和所述第二业务数据进行数据整理；并采用关联分析方法对数据整理后的第一业务数据和第二业务数据进行关联分析。
3.如权利要求2所述的方法，其特征在于，对所述第一业务数据和所述第二业务数据进行数据整理，包括对所述第一业务数据和所述第二业务数据进行数据整合；并根据业务分析目的和任务对数据整合后的数据进行主题数据选择。
4.如权利要求3所述的方法，其特征在于，所述数据整合的方式包括以下方式的一种或几种数据源选取；数据清洗；去噪声；填补空缺数据。
5.如权利要求1所述的方法，其特征在于，根据所述第一业务数据和所述第二业务数据关联分析业务，之后还包括根据关联分析的结果对所述业务进行优化；或者，将关联分析的结果输出到输出设备，由所述输出设备显示所述关联分析的结果。
6.如权利要求1所述的方法，其特征在于，所述接收来自终端上报的第一业务数据和业务装置上报的第二业务数据，之前还包括所述终端将自身的时间与所述业务装置的时间进行同步；并对所述第一业务数据打时间戳；所述业务装置将自身的时间与所述终端的时间进行同步；并对所述第二业务数据打时间戳。
7.一种数据处理设备，其特征在于，包括终端参数收集模块，用于接收来自终端上报的第一业务数据；平台参数收集模块，用于接收来自业务装置上报的第二业务数据；关联分析模块，用于根据所述终端参数收集模块接收的所述第一业务数据和所述平台参数收集模块接收的所述第二业务数据关联分析业务。
8.如权利要求7所述的设备，其特征在于，所述关联分析模块，具体用于对所述第一业务数据和所述第二业务数据进行数据整理；并采用关联分析方法对数据整理后的第一业务数据和第二业务数据进行关联分析。
9.如权利要求8所述的设备，其特征在于，所述关联分析模块，进一步用于对所述第一业务数据和所述第二业务数据进行数据整合；并根据业务分析目的和任务对数据整合后的数据进行主题数据选择。
10.如权利要求7所述的设备，其特征在于，还包括优化模块，用于根据所述关联分析模块的关联分析的结果对所述业务进行优化；输出模块，用于将关联分析的结果输出到输出设备，由所述输出设备显示所述关联分析的结果。
11.一种终端，其特征在于，包括时钟同步模块，用于将终端的时间与业务装置的时间进行同步；监控执行模块，用于采集业务对应的第一业务数据，并对所述第一业务数据打时间戳；参数上报模块，用于上报所述监控执行模块采集的所述第一业务数据。
12. —种业务装置，其特征在于，包括 时钟同步模块，用于将业务装置的时间与终端的时间进行同步； 参数采集模块，用于采集终端业务对应的第二业务数据；并对所述第二业务数据打时间戳；参数上报模块，用于上报所述参数采集模块采集的所述第二业务数据。
全文摘要
本发明公开了一种数据处理方法和设备，该方法包括接收来自终端上报的第一业务数据和业务装置上报的第二业务数据；并根据所述第一业务数据和所述第二业务数据关联分析业务。本发明中，通过对终端上报的业务数据和业务装置上报的业务数据进行关联分析，并为数据业务优化和用户行为分析提供了更有力的数据基础。
文档编号H04W24/10GK102457893SQ20101052731
公开日2012年5月16日 申请日期2010年10月26日 优先权日2010年10月26日
发明者尹伟, 杨光华, 王科, 金凌 申请人:中国移动通信集团公司