专利名称：一种移动业务数据采集分析方法及系统的制作方法
技术领域：
本发明涉及数据采集技术，特别涉及一种移动业务数据采集分析方法及系统。
背景技术：
随着移动通信技术的发展，移动业务以及增值移动业务的种类也越来越丰富、应 用也越来越广泛，以彩信业务即多媒体短信(MMS，MultimediaMessaging Service)业务为 例，由于其丰富的内容、及时快捷的服务赢得了广大移动电话用户的喜爱，成为了通用分组 无线服务(GPRS, General PacketRadio Service)和第三代(3G，3rd Generation)市场启 动与发展的关键推动力。但同时，由于新兴移动业务，例如，匪S业务起步较晚以及一些自身存在的问题， 相对于服务提供商(SP，Service Provider)运营成熟的短消息业务(SMS，Short Message Service)来说，MMS业务所占有市场份额依旧处在比较低的阶段。其中，影响MMS业务发展 的主要因素有以下几点。其一，MMS业务兼容性较差，不同运营商提供的不同类型的MMS终端互通性较差， 一定程度上影响了 MMS用户对彩信业务的使用；此外，大量走私机、山寨机等MMS终端的性 能较低、功能不齐，收发信号较差，或没有配置彩信业务，也影响了彩信业务的推广。其二，彩信业务的价格和内容丰富程度还缺乏竞争力，各运营商以及SP出于自身 利益的考虑，在彩信业务开发方面的技术和资金投入方面相对较少，使得在彩信业务种类、 价格和内容业务开发方面仍有待进一步的完善和丰富，例如，彩信业务内容同质化、盈利模 式不清晰、监管责任不明确，这也影响了彩信用户量和发送量的增长。其三，彩信业务的收发需要进行较为复杂的设置，MMS用户在设置过程中可能出现 错误设置，这在一定程度上抑制了 MMS用户使用彩信的热情，降低了彩信的使用频率。由上述可见，现有的彩信业务，由于上述因素的影响，不利于彩信业务的推广，而 如何解决或降低上述不利因素的影响，目前还没有提出相应的技术方案。
发明内容
有鉴于此，本发明的主要目的在于提供一种移动业务数据采集分析方法，通过对 移动业务数据信息进行采集、分析，获取移动业务用户行为信息以作为开展移动业务的参 考、提升移动业务质量、便于移动业务推广。本发明的另一目的在于提供一种移动业务数据采集分析系统，通过对移动业务数 据信息进行采集、分析，获取移动业务用户行为信息以作为开展移动业务的参考、提升移动 业务质量、便于移动业务推广。为达到上述目的，本发明提供了一种移动业务数据采集分析系统，该系统包括移 动业务数据采集单元、移动业务数据分析单元、以及移动业务数据存储单元，其中，移动业务数据采集单元，用于采集外部各移动业务核心网元设备上的移动业务数 据，输出至移动业务数据采集单元；
移动业务数据分析单元，用于对接收的移动业务数据进行协议解析，根据预先设 定的移动业务类型匹配算法对解析的移动业务数据进行匹配，并按照移动业务用户标识生 成对应移动业务用户使用移动业务数据的业务会话记录，输出至移动业务数据存储单元进 行存储；移动业务数据存储单元，用于存储移动业务数据分析单元输出的业务会话记录。所述移动业务数据采集单元包括网络接口卡采集模块以及移动业务数据存储模 块，网络接口卡采集模块，用于从各移动业务核心网元设备采集移动业务数据，输出 至移动业务数据存储模块；移动业务数据存储模块，用于存储采集的移动业务数据。所述移动业务数据分析单元包括移动业务数据报文/协议分析引擎模块、移动 业务数据合成引擎模块和移动业务数据分析引擎模块，其中，移动业务数据报文/协议分析引擎，从移动业务数据采集单元读取移动业务数 据，按照移动业务数据对应的协议对移动业务数据进行网络层面和传输层面的协议解析， 输出至移动业务数据合成引擎模块；移动业务数据合成引擎模块，用于对解析的移动业务数据按照移动业务类型在网 络层面进行合成；移动业务数据分析引擎模块，用于根据预先设定的移动业务类型匹配算法对合成 的移动业务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动业务 数据的业务会话记录。所述移动业务数据报文/协议分析引擎进一步用于对传输层之上的移动业务数 据包含的应用层协议进行解析，输出至移动业务数据合成引擎模块；相应地，移动业务数据分析引擎模块对应用层协议解析后的业务会话记录进行深度挖掘， 生成包含移动业务用户行为信息的业务报表。进一步包括TOB/WAP服务引擎以及浏览器，TOB/WAP服务引擎，用于接收查询用户输入的搜索关键词，从移动业务数据存储单 元查询该搜索关键词对应的业务会话记录、和/或，业务报表，输出至浏览器；浏览器，用于将TOB/WAP服务引擎输出的业务会话记录、和/或，业务报表呈现给 查询用户。所述WEB/WAP服务引擎包括TOB/WAP引擎模块、业务报表引擎模块、以及业务会 话记录流程图引擎模块，其中，WEB/WAP引擎模块，用于提供WEB服务的基础框架，接收查询用户输入的搜索关键 词，将从移动业务数据存储单元查询该搜索关键词对应的业务会话记录发送至业务会话记 录流程图引擎模块，以及将业务报表发送至业务报表引擎模块；业务报表引擎模块，用于将接收的业务报表呈现给查询用户；业务会话记录流程图引擎模块，用于将接收的业务会话记录以流程图的web形式 呈现给查询用户。所述移动业务数据包括&!接口数据、Gi接口数据、匪1接口数据、以及CMNET接 口数据。
所述接口数据包括二进制原始报文数据以及移动业务话单数据。所述移动业务话单数据包括移动网络接口设备日志信息、呼叫详细记录⑶R信 肩、ο所述移动业务类型包括HTTP、WAP、MMS、无线安全传输层WTLS、Radious, KJAVA以 及个人信息管理PIM业务。一种移动业务数据采集分析方法，该方法包括采集外部各移动业务核心网元设备上的移动业务数据；对采集的移动业务数据进行协议解析，根据预先设定的移动业务类型匹配算法对 解析的移动业务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动 业务数据的业务会话记录并存储。所述移动业务数据包括二进制原始报文数据以及移动业务话单数据。所述对采集的移动业务数据进行协议解析，根据预先设定的移动业务类型匹配算 法对解析的移动业务数据进行匹配的步骤包括将采集的二进制原始报文数据进行协议解 析，分别将解析的二进制原始报文数据以及移动业务话单数据进行合成，根据预先设定的 移动业务类型匹配算法对合成的移动业务数据进行匹配。所述对采集的移动业务数据进行协议解析，根据预先设定的移动业务类型匹配算 法对解析的移动业务数据进行匹配的步骤包括将采集的二进制原始报文数据进行合成， 对合成的二进制原始报文数据进行协议解析，根据预先设定的移动业务类型匹配算法对移 动业务话单数据以及解析的二进制原始报文数据进行匹配。所述方法进一步包括对业务会话记录进行深度挖掘，生成包含移动业务用户行为信息的业务报表。所述对业务会话记录进行深度挖掘的步骤包括对业务会话记录在业务层面进行残缺值处理、分袋、降维操作；根据不同的挖掘目的对应的应用算法，对业务层面处理后的业务会话记录进行相 应处理，生成业务报表。所述挖掘目的对应的应用算法包括挖掘移动业务用户行为蕴含的关联规则算 法、采用聚类算法对移动业务用户进行的细分算法以及采用时间序列对移动业务用户行为 进行的预测算法。所述方法进一步包括接收查询用户输入的搜索关键词，查询该搜索关键词对应 的业务会话记录、和/或，业务报表，向查询用户发送。由上述的技术方案可见，本发明提供的一种移动业务数据采集分析方法及系统， 移动业务数据采集单元采集外部各移动业务核心网元设备上的移动业务数据，输出至移动 业务数据采集单元；移动业务数据分析单元对接收的移动业务数据进行协议解析，根据预 先设定的移动业务类型匹配算法对解析的移动业务数据进行匹配，并按照移动业务用户标 识生成对应移动业务用户使用移动业务数据的业务会话记录，输出至移动业务数据存储单 元进行存储。这样，技术人员就可以根据移动业务数据存储单元存储的业务会话记录，分析 移动业务用户的行为以及网络状态，从而为彩信业务提供参考，并提升移动业务质量、便于 移动业务推广。
图1为本发明实施例移动业务数据采集分析系统结构示意图。图2为本发明移动业务数据采集分析系统的软件模块结构示意图。图3为本发明移动业务数据采集分析方法流程示意图。图4为本发明实施例彩信状态码4441及4442信息错误原因统计示意图。图5为本发明实施例移动业务数据存储单元中存储的无效用户数与网络接通率 的关系示意图。图6为本发明实施例移动业务数据存储单元中存储的提取用户比与彩信端到端 接通率的关系示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对 本发明作进一步地详细描述。本发明实施例提出移动业务数据采集分析方法及系统，通过从各核心网元设备采 集并存储移动用户使用的移动业务数据信息，运用移动业务数据分析工具对移动业务数据 信息进行协议解析、合成，得到移动业务用户使用移动业务的完整信息，再对得到的完整信 息进行分析、统计以及挖掘，获取包含SP的移动业务数据质量和访问率统计、MMS终端对移 动业务数据的支持情况、以及移动业务用户计费信息等的移动业务用户行为信息，作为开 展移动业务的参考，从而根据该获取的移动业务用户行为信息对移动业务进行优化和故障 排查，提升移动业务质量，以实现网络的深度运营以及移动业务的推广。图1为本发明实施例移动业务数据采集分析系统结构示意图。参见图1，该系统包 括移动业务数据采集单元(以下简称为ftx)be)、移动业务数据分析单元、以及移动业务数 据存储单元，其中，移动业务数据采集单元，用于采集外部各移动业务核心网元设备上的移动业务数 据，输出至移动业务数据采集单元；移动业务数据分析单元，用于对接收的移动业务数据进行协议解析，根据预先设 定的移动业务类型匹配算法对解析的移动业务数据进行匹配，并按照移动业务用户标识生 成对应移动业务用户使用移动业务数据的业务会话记录，输出至移动业务数据存储单元进 行存储；移动业务数据存储单元，用于存储移动业务数据分析单元输出的业务会话记录， 可以是运行在独立的服务器上，也可以和移动业务数据分析单元在同一服务器上运行，以 实现灵活的组网方式和部署。核心网元设备包括GPRS业务支持节点(SGSN，Serving GPRS SupportNode)、 GPRS 网关支持节点(GGSN，Gate GPRS Supporting Node)、无线应用协议(WAP, Wireless Application Protocol)网关、多媒体短消息服务中心(MMSC，Multimedia Messaging Service Center)以及SP (第三方设备)，SGSN通过Gn接口与GGSN相连；GGSN通过Gi接口与WAP网关相连；WAP网关通过 MMl接口与MMSC相连；SP通过中国移动网络(CMNET，China Mobile Net)接口分别与WAP 网关以及匪SC相连。
移动业务数据包括&!接口数据、Gi接口数据、匪1接口数据、以及CMNET接口数 据。其中，从各接口采集的接口数据包括二进制原始报文数据以及移动业务话单数 据。二进制原始报文数据包含所有流过该网络设备的原始信息流，信息全面，可以从 中提取任何与移动业务数据相关的信息，举例来说，通过对各接口采集的二进制原始报文 数据进行协议解析及合成后，可以从中提取移动业务用户发送彩信的全过程信息，也可以 从中提取移动业务用户订购SP业务的过程信息等。移动业务话单数据包括移动网络接口设备日志(LOG)信息、呼叫详细记录(⑶R， Call Detail Record)信息等。其中，LOG信息记录了该核心网元设备的运行状态，⑶R信息包含了该核心网元设备对 于移动业务处理的信息。本发明实施例中，移动业务类型包括HTTP、WAP、匪S、无线安全传输层(WTLS， Wireless Transport Layer Security)、Radius、KJAVA、个人信息管理(PIM, Personal Information Management)等移动增值业务。业务会话记录包括各个移动业务用户使用移动业务的信令流程以及话单日志信 息，即一条业务会话记录表示一个移动业务用户的一次使用移动业务信息。业务会话记录 记录的信息因移动业务类型不同而不同，例如，移动业务用户访问网页，该业务会话记录包 含该移动业务用户发出GET请求、网页服务器响应时延、网页网关处理时延以及网页服务 器返回RESPONSE的信令过程；而对于一次彩信接收(MT)过程，一条业务会话记录包含移动 业务用户是否提取彩信以及提取时延等信息。上述进行匹配以及生成业务会话记录的流程也可以通过编程软件来实现，本领域 技术人员根据上述的描述编写软件，属于公知常识，在此不再赘述。这样，技术人员就可以根据移动业务数据存储单元存储的业务会话记录，分析移 动业务用户的行为以及网络状态，从而为彩信业务提供参考。下面对移动业务数据采集单元进行说明。移动业务数据采集单元包括网络接口卡采集模块以及移动业务数据存储模块，网络接口卡采集模块，用于从各移动业务核心网元设备采集移动业务数据，输出 至移动业务数据存储模块；本实施例中，在各移动业务核心网元设备间设置网络接口卡，分别采集相应流过 该核心网元设备的移动业务数据。移动业务数据存储模块，用于存储采集的移动业务数据。本实施例中，存储采集的移动业务数据是为了存储原始的数据，以便于后续扩展 应用的需要。移动业务数据分析单元包括移动业务数据报文/协议分析引擎模块、移动业务 数据合成引擎模块和移动业务数据分析引擎模块，其中，移动业务数据报文/协议分析引擎，从移动业务数据采集单元读取移动业务数 据，按照移动业务数据对应的协议对移动业务数据进行网络层面和传输层面的协议解析， 输出至移动业务数据合成引擎模块；
如前所述，对于移动业务数据类型为二进制原始报文的数据，移动业务数据报文/ 协议分析引擎按照相关协议对移动业务数据进行解析，得到每层协议所对应的各个子域信 息。解析的流程属于现有技术，具体可参见相关技术文献，在此不再赘述；而对于移动业务 数据类型为话单的数据，则不需要进行解析。移动业务数据合成引擎模块，用于对解析的移动业务数据按照移动业务类型在网 络层面进行合成；如前所述，一次移动业务流程包含多个接口的数据，因而，需要将独立的多个 接口采集的数据进行合成，以得到一次移动业务流程完整的数据。例如，将一次会话的 多个数据报文按照网络层和传输层的协议进行解析后，合成为一个传输控制协议(TCP， Transmission Control Protocol)流以得到一个完整的会话数据。对于移动业务数据类型为二进制原始报文的数据，移动业务数据合成弓I擎模块按 照移动业务类型对解析的各个子域信息对应的移动业务数据进行合成，得到完整的会话数 据信息，例如，将二进制原始报文数据进行HTTP、WAP、MMS、WTLS、PDP Context、Radius以及 百宝箱业务协议解析，然后分别对解析得到的数据进行合成；而对于移动业务数据类型为 日志信息的数据，根据话单包含的移动业务类型进行合成，例如，将相应获取的移动业务话 单数据通过话单智能管理合成为GSN信息、位置区域码(LAC，L0Cati0nArea Code)信息、终 端(TE,Terminal Equipment)信息、QOS信息、分组数据协议(PDP,Packet Data Protocol) 记录信息、计费(Charging)信息以及SMS信息等。由于二进制原始报文信息全面，可以得到所有移动业务用户的业务信息，但需要 对数据进行解析，并从中提取各个功能域信息，处理较为复杂；而话单、日志信息简单直观， 可以直接看到业务层面的信息，无需太多的额外处理，但仅包含某些业务相关的信息，无法 追溯移动业务用户行为的深层信息，例如，某移动业务用户发送彩信失败，CDR信息可能仅 仅记录为发送未成功，无法获取发送彩信失败的具体原因，即由于是该移动业务用户取消 发送，还是网络错误，或者是某信令流程出错等。因而，实际应用中，为了保证采集移动业务 数据的全面性，可以结合二进制原始报文信息和话单信息进行分析，当然，也可以只分析其 中的一类信息。移动业务数据分析引擎模块，用于根据预先设定的移动业务类型匹配算法对合成 的移动业务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动业务 数据的业务会话记录。移动业务数据报文/协议分析引擎进一步用于对传输层之上的移动业务数据包 含的应用层协议进行解析，输出至移动业务数据合成弓I擎模块；移动业务数据报文/协议分析引擎利用端口匹配、关键字信息、反向工程等手段， 对应用协议进行解析，其中，应用协议包括开放协议以及商用私有协议。移动业务数据分析引擎模块进一步用于对应用层协议解析后的业务会话记录进 行深度挖掘，生成包含移动业务用户行为信息的业务报表。业务报表为支撑运营商对移动业务运营需要的数据，以便于查询，包括移动业务 成功率日报、月报、季报和年报信息，当前流行的MMS终端类型信息，当前最受欢迎的WAP站 点信息，流量异常的SP信息等。业务报表可以通过Excel表的形式导入相关数据后自动生 成，通过业务报表，可以直观了解相关信息，后续中再举例详细说明。
10
对业务会话记录进行深度挖掘具体包括对业务会话记录在业务层(应用层)面进行残缺值处理、分袋、降维等操作，保证 数据的完整性和可用性；本实施例中，进行残缺值处理、分袋、降维等操作属于现有技术，在此不再赘述。根据不同的挖掘目的对应的应用算法，对业务层面处理后的业务会话记录进行相 应处理，生成业务报表。实际应用中，挖掘目的对应的应用算法既可以是挖掘移动业务用户行为蕴含的关 联规则算法，也可以采用聚类算法对移动业务用户进行的细分算法，还可以采用时间序列 对移动业务用户行为进行预测算法等。例如，如果为关联规则算法，则利用关联规则算法对 业务层面处理后的业务会话记录进行处理，生成业务报表。根据不同的挖掘目的对应的应用算法，生成的业务报表也不尽相同。例如对于移 动业务用户细分，可以对分类后的移动业务用户按照类别生成业务报表；针对关联规则，可 以按照各个维度之间的关联性的一段文字说明生成业务报表等。举例来说，业务报表包括 会话记录管理、KPI表单管理、用户互动管理等报表。需要说明的是，前述的MMS流行终端类型、WAP站点流行度等统计报表也可以看成 是一种挖掘过程。实际应用中，可以是将上述业务流程合成、业务报表生成以及分析挖掘等逻辑处 理功能单独编写程序进行分析处理后，直接以业务报表的形式存储于移动业务数据存储单 元中，也可以是将CDR信息导入移动业务数据存储单元后，采用移动业务数据存储单元中 的统计功能以及编写存储程序等手段，重新生成各类业务报表。业务报表被存储于数据库 中，用于响应查询用户的请求。其中，业务流程合成主要是根据业务逻辑，对来自各个核心网元设备的原始二进 制数据、CDR信息和日志信息进行合并，处理之后的结果为业务层面的记录信息，例如，一个 用户发送彩信的整个流程记录。业务报表就是从这些流程记录中提取有意义的字段进行存储，并根据查询用户请 求进行响应。这样，移动业务数据存储单元存储的信息包括业务会话记录以及业务报表，其 中，对业务会话记录进行深度分析和挖掘后生成业务报表。实际应用中，移动业务数据存储 单元能够按照预先设定的存储数据类型、存储时间、删除或转存策略等存储策略自动维护 数据，具有存储空间自动维护功能，以保证系统的安全运行。该系统还可以进一步包括TOB/WAP服务引擎以及浏览器，其中，TOB/WAP服务引擎，用于接收查询用户输入的搜索关键词，从移动业务数据存储单 元查询该搜索关键词对应的业务会话记录、和/或，业务报表，输出至浏览器；浏览器，用于将TOB/WAP服务引擎输出的业务会话记录、和/或，业务报表呈现给 查询用户。本实施例中，浏览器是系统和查询用户的接口部分，纯按钮式界面，具有良好的交 互性。支持当前通用的IE(6.0以上)浏览器、Firefox浏览器和WAP浏览器。查询用户通 过浏览器可以方便的查看业务流程数据、统计报表和分析挖掘结果等。查询用户通过移动电话或个人计算机(PC，Personal Computer)，经过TOB/WAP服务引擎直接对某移动业务进行查询，WEB/WAP服务引擎发出查询移动业务数据存储单元的 请求，得到响应后将查询结果通过浏览器返回给查询用户。WEB/WAP服务引擎包括TOB/WAP引擎模块、业务报表引擎模块、以及业务会话记 录流程图引擎模块，其中，WEB/WAP引擎模块，用于提供WEB服务的基础框架，接收查询用户输入的搜索关键 词，将从移动业务数据存储单元查询该搜索关键词对应的业务会话记录发送至业务会话记 录流程图引擎模块，以及将业务报表发送至业务报表引擎模块；业务报表引擎模块，用于将接收的业务报表呈现给查询用户；业务会话记录流程图引擎模块，用于将接收的业务会话记录以流程图的web形式 呈现给查询用户。实际应用中，移动业务数据采集单元和移动业务数据分析单元对移动业务数据的 采集、分析和处理包括汇聚式和分布式，其中，汇聚式，将各个probe采集的移动业务数据进行汇聚后，再统一进行分析处理。也 就是说，Probe负责移动业务数据的采集工作，而移动业务数据的分析和应用(数据分析 层、应用管理层)则均在移动业务数据分析单元(汇聚服务器)上运行，最终在移动业务 数据存储单元(CDR数据库)上实现数据CDR的存储和展示。这样，可以综合考虑不同接口 采集的移动业务数据，并将不同接口采集的移动业务数据进行合成，使之成为一个完整的 信令流程，使得话单日志中的数据结果和数据信令中的分析结果能在原始状态时就开始匹 配，从而实时解析匹配出端到端的数据业务会话。该汇聚式方式在小数据量的情况下得到 了很好的应用，对数据库及后期数据处理要求不高，但是，对于大数据量的情况下，对汇聚 分析服务器的性能要求很高。由于在用户的一次会话流程中，信令流程通常是与不同的核心网元设备进行交 互，这就造成了如果单纯采集某一核心网元设备数据，得到的用户会话过程并不完整。因 而，汇聚式方式能够将采集的这些不同的核心网元设备数据进行即时的合成和处理。移动 业务用户在发生业务后，就能得到该用户这次业务的所有流程信息。即可解析匹配出端到 端的数据业务会话，也就是说，通过数据提取，提取一次会话在各个核心网元设备采集到的 相关数据；再按照流程协议对该次会话进行合成，然后在网络层、传输层以及应用层进行分 析挖掘生成业务会话记录以及业务报表并存储在CDR数据库中。分布式，probe采集移动业务数据并对移动业务数据进行协议解析、会话合成分 析，移动业务数据分析单元用于业务报表生成逻辑和深度挖掘。这样，会话合成后，得到移 动业务用户一次完整的使用业务的流程。从这些会话合成信令信息中，可以提取很多移动 业务用户此次业务的相关信息。例如，对于彩信发送MO过程，可以得到发送时间、发送方移 动电话号码、接收方移动电话号码、主叫IP地址、主叫归属地地址、WAP层状态、超文本传输 协议(HTTP，Hypertext Transfer Protocol)状态、MMS终端型号、彩信标题、大小、WAP网 关响应时延、接入点名称(APN，ACCesS Point Name)以及端口等信息，并将这些信息按照预 先定义好的字段存入CDR数据库，CDR数据库进行相应运算后形成业务报表，方便查询。一 方面，可以利用移动业务数据采集单元相对空闲的运算能力，减轻了移动业务数据分析单 元部分的压力；但同时，由于需要在每个移动业务数据采集单元上增加预处理模块，使得移 动业务数据采集单元结构复杂，因而，部署相对麻烦；而端到端的业务数据会话合成、数据匹配等计算和应用功能则放到单独的移动业务数据分析单元(应用报表服务器)上，使得 大量的计算工作放到了系统后台。通过应用与解析分离，计算与存储分离，极大的提高了各 个设备的利用率，整个系统的性能也极大提高；同时，由于数据是先入库，后合成的，也就是 说，各个采集模块在经过数据预处理过程后，会直接入库，应用和计算策略基于这些入库后 的数据进行运算，因此，更新应用和计算时，只涉及应用报表服务器，改动应用和计算策略 只是改变报表的呈现方式和手段，对原始的数据没有太大影响，因此不会造成数据库的改 动。图2为本发明移动业务数据采集分析系统的软件模块结构示意图。参见图2，该软 件模块结构包括数据采集模块、话单采集模块、协议分析模块、话单分析模块、应用管理模 块、SDR数据库模块、TOB访问管理模块，其中，数据采集模块和话单采集模块相当于图1中 的移动业务数据采集单元；协议分析模块、话单分析模块以及应用管理模块相当于图1中 的移动业务数据分析单元；SDR数据库模块相当于图1中的移动业务数据存储单元；WEB访 问管理模块相当于图1中的WEB/WAP服务引擎以及浏览器。数据采集模块，用于网卡数据、标准网络数据以及第三方厂商数据采集；话单采集模块，用于分别采集SGSN的CDR(SCDR)、GGSN的CDR(GCDR)、WAP网关的 CDR(WAPGW)、匪SC的CDR以及设备LOG信息；协议分析模块，利用协议智能管理对数据采集模块采集的数据进行协议分析并分 类存储，协议包括HTTP、WAP、MMS、WTLS、PDP Context, Radius以及百宝箱业务等；话单分析模块，利用话单智能管理对话单采集模块采集的数据进行话单分析并 分类存储，例如，分析后的信息包括GSN信息、位置区域码(LAC，Location Area Code) 信息、终端(TE, Terminal Equipment)信息、QOS 信息、分组数据协议(PDP，Packet Data Protocol)、计费(Charging)信息以及SMS信息等；应用管理模块，用于对协议分析模块以及话单分析模块输出的数据进行分析、挖 掘，生成会话记录管理、KPI表单管理、用户互动管理、垃圾彩信智能管理、设备信息管理、 业务应用管理、数据报文管理以及原始数据包存储等，并与SDR数据库模块通过套接字 (Socket)接 口相连；TOB访问管理模块，用于设置查询界面，根据查询用户输入的指令，通过Java数据 库连接(JDBC，Java Database Connectivity)接口从SDR数据库模块中读取相应数据，显 示给查询用户，包括输入输出管理、报表管理、用户管理以及查询管理。图3为本发明移动业务数据采集分析方法流程示意图。参见图3，该流程包括步骤301，采集外部各移动业务核心网元设备上的移动业务数据；本步骤中，移动业务数据包括Gn接口数据、Gi接口数据、匪1接口数据、以及 CMNET接口数据等。其中，各个接口的接口数据包括二进制原始报文数据以及移动业务话单数据。步骤302，对采集的移动业务数据进行协议解析，根据预先设定的移动业务类型匹 配算法对解析的移动业务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户 使用移动业务数据的业务会话记录并存储。本步骤中，如果移动业务数据为二进制原始报文数据，按照相关协议对移动业务 数据进行解析，得到每层协议所对应的各个子域信息，按照移动业务类型对解析的各个子域信息对应的移动业务数据进行合成。具体来说，步骤302包括将采集的二进制原始报文数据进行协议解析，分别将解析的二进制原始报文数据 以及移动业务话单数据进行合成，根据预先设定的移动业务类型匹配算法对合成的移动业 务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动业务数据的业 务会话记录并存储；或将采集的二进制原始报文数据进行合成，对合成的二进制原始报文数据进行协议 解析，根据预先设定的移动业务类型匹配算法对移动业务话单数据以及解析的二进制原始 报文数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动业务数据的 业务会话记录并存储。图3所示流程还可以进一步包括步骤303，对业务会话记录进行深度挖掘，生成包含移动业务用户行为信息的业务 报表；步骤304，接收查询用户输入的搜索关键词，查询该搜索关键词对应的业务会话记 录、和/或，业务报表，向查询用户发送。下面举具体实施例，对移动业务数据存储单元中存储的彩信状态码4441及4442 信息错误原因进行分析。图4为本发明实施例彩信状态码4441及4442信息错误原因统计示意图，彩信状 态码4441和4442信息是造成彩信发送成功率低下的主要原因之一，通过分析彩信状态码 信息，可以发现系统是否支持运营维护。当然，对于匪S终端修改也能起到指导作用，例如， 通过与移动部门合作，通过SMS形式指导用户输入正确设置等。彩信状态码信息可以从运营商匪SC设备中直接得到，该匪SC设备的移动业务话 单数据包含该彩信状态码信息，该彩信状态码信息对应的编码由运营商预先设置。参见图 4，从图中可以看出，导致4441和4442错误的原因较多，可以归结为两大类原因来进行分 析A、网络原因包括无线侧问题、WAPGW问题、GPRS问题、匪SC问题以及终端问题；B、无效用户原因包括用户忽略彩信PUSH不进行提取以及用户停/关机等。这样，找出其具体原因后，运营商就可以有针对性地采取相应的处理措施，并通知 用户进行正确设置。图5为本发明实施例移动业务数据存储单元中存储的无效用户数与网络接通率 的关系示意图，网络接通率主要指用户成功接收彩信的概率，即彩信成功率。其中实线为无 效用户数，虚线为彩信接通率；从关系示意图中可以看出，随着无效用户数的增加，彩信成 功率越来越低。网络接通率相关信息可以从⑶R数据和原始报文信息中提取，例如，移动业务用 户拒绝提取彩信，会在信令流程协议中体现；移动业务用户提取并阅读，也可以从MMS终端 返回的消息中解析得出。图6为本发明实施例移动业务数据存储单元中存储的提取用户比与彩信端到端 接通率的关系示意图，其中，提取用户比是指移动业务用户对收到的推送(push)彩信进行 提取的用户数与网络侧push彩信的用户总数的比值。从该示意图中，可以排除核心网络侧以及用户设置问题等对成功率所造成的影响，反映的是网内无效用户，即不提取彩信的用 户所带来的对成功率的影响，也就是用户单独行为对成功率的影响。进一步地，根据该存储 的关系示意图，可以获取MMS终端对何种类型的彩信收看率较高，从而使得运营商有针对 性地重点发展该彩信业务并淘汰一些不受欢迎的彩信业务。由上述可见，本发明实施例提出的移动业务数据采集分析方法及系统，移动业务 数据采集单元采集外部各移动业务核心网元设备上的移动业务数据，输出至移动业务数据 采集单元；移动业务数据分析单元，用于对接收的移动业务数据进行协议解析，根据预先设 定的移动业务类型匹配算法对解析的移动业务数据进行匹配，并按照移动业务用户标识生 成对应移动业务用户使用移动业务数据的业务会话记录，输出至移动业务数据存储单元进 行存储。这样，技术人员就可以根据移动业务数据存储单元存储的业务会话记录，分析移 动业务用户的行为以及网络状态，从而为彩信业务提供参考，并提升移动业务质量、便于移 动业务推广。进一步地，移动业务数据采集单元还用于对应用层协议解析后的业务会话记 录进行深度挖掘，生成包含移动业务用户行为信息的业务报表。这样，可以实时准确地发 现终端设置错误，引导用户修改终端设置；同时，可以对移动业务质量优化等具体业务问题 进行优化和故障排查，优化移动业务，实现网络的深度运营；而且，能够准确有效的记录和 存储用户行为信令流程，确保投诉解决的举证问题，明确监管责任，为相关监管机构提供原 始证据提供便利，并为提高运营商的声誉和减缓一线维护工程师应对投诉的压力提供了可 能；此外，及时发现第三方测试中存在的问题，使得各SP在业务测试阶段，可以通过本发明 提供的系统进行采集和分析，查看业务流程是否正常，业务成功率如何等信息。以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在 本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保 护范围之内。
权利要求
1.一种移动业务数据采集分析系统，其特征在于，该系统包括移动业务数据采集单 元、移动业务数据分析单元、以及移动业务数据存储单元，其中，移动业务数据采集单元，用于采集外部各移动业务核心网元设备上的移动业务数据， 输出至移动业务数据采集单元；移动业务数据分析单元，用于对接收的移动业务数据进行协议解析，根据预先设定的 移动业务类型匹配算法对解析的移动业务数据进行匹配，并按照移动业务用户标识生成对 应移动业务用户使用移动业务数据的业务会话记录，输出至移动业务数据存储单元进行存 储；移动业务数据存储单元，用于存储移动业务数据分析单元输出的业务会话记录。
2.如权利要求1所述的系统，其特征在于，所述移动业务数据采集单元包括网络接口 卡采集模块以及移动业务数据存储模块，网络接口卡采集模块，用于从各移动业务核心网元设备采集移动业务数据，输出至移 动业务数据存储模块；移动业务数据存储模块，用于存储采集的移动业务数据。
3.如权利要求2所述的系统，其特征在于，所述移动业务数据分析单元包括移动业 务数据报文/协议分析引擎模块、移动业务数据合成引擎模块和移动业务数据分析引擎模 块，其中，移动业务数据报文/协议分析引擎，从移动业务数据采集单元读取移动业务数据，按 照移动业务数据对应的协议对移动业务数据进行网络层面和传输层面的协议解析，输出至 移动业务数据合成引擎模块；移动业务数据合成引擎模块，用于对解析的移动业务数据按照移动业务类型在网络层 面进行合成；移动业务数据分析引擎模块，用于根据预先设定的移动业务类型匹配算法对合成的 移动业务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动业务数 据的业务会话记录。
4.如权利要求3所述的系统，其特征在于，所述移动业务数据报文/协议分析引擎进一 步用于对传输层之上的移动业务数据包含的应用层协议进行解析，输出至移动业务数据合 成引擎模块；相应地，移动业务数据分析引擎模块对应用层协议解析后的业务会话记录进行深度挖掘，生成 包含移动业务用户行为信息的业务报表。
5.如权利要求4所述的系统，其特征在于，进一步包括:WEB/WAP服务引擎以及浏览器，WEB/WAP服务引擎，用于接收查询用户输入的搜索关键词，从移动业务数据存储单元查询该搜索关键词对应的业务会话记录、和/或，业务报表，输出至浏览器；浏览器，用于将WEB/WAP服务引擎输出的业务会话记录、和/或，业务报表呈现给查询 用户。
6.如权利要求5所述的系统，其特征在于，所述TOB/WAP服务引擎包括TOB/WAP引擎 模块、业务报表引擎模块、以及业务会话记录流程图引擎模块，其中，TOB/WAP引擎模块，用于提供TOB服务的基础框架，接收查询用户输入的搜索关键词， 将从移动业务数据存储单元查询该搜索关键词对应的业务会话记录发送至业务会话记录流程图引擎模块，以及将业务报表发送至业务报表引擎模块；业务报表引擎模块，用于将接收的业务报表呈现给查询用户；业务会话记录流程图引擎模块，用于将接收的业务会话记录以流程图的web形式呈现 给查询用户。
7.如权利要求1至6任一项所述的系统，其特征在于，所述移动业务数据包括&!接口 数据、Gi接口数据、匪1接口数据、以及CMNET接口数据。
8.如权利要求7所述的系统，其特征在于，所述接口数据包括二进制原始报文数据以 及移动业务话单数据。
9.如权利要求8所述的系统，其特征在于，所述移动业务话单数据包括移动网络接口 设备日志信息、呼叫详细记录CDR信息。
10.如权利要求9所述的系统，其特征在于，所述移动业务类型包括HTTP、WAP、MMS、无 线安全传输层WTLS、Radious, KJAVA以及个人信息管理PIM业务。
11.一种移动业务数据采集分析方法，其特征在于，该方法包括采集外部各移动业务核心网元设备上的移动业务数据；对采集的移动业务数据进行协议解析，根据预先设定的移动业务类型匹配算法对解析 的移动业务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动业务 数据的业务会话记录并存储。
12.如权利要求11所述的方法，其特征在于，所述移动业务数据包括二进制原始报文 数据以及移动业务话单数据。
13.如权利要求12所述的方法，其特征在于，所述对采集的移动业务数据进行协议解 析，根据预先设定的移动业务类型匹配算法对解析的移动业务数据进行匹配的步骤包括 将采集的二进制原始报文数据进行协议解析，分别将解析的二进制原始报文数据以及移动 业务话单数据进行合成，根据预先设定的移动业务类型匹配算法对合成的移动业务数据进 行匹配。
14.如权利要求12所述的方法，其特征在于，所述对采集的移动业务数据进行协议解 析，根据预先设定的移动业务类型匹配算法对解析的移动业务数据进行匹配的步骤包括 将采集的二进制原始报文数据进行合成，对合成的二进制原始报文数据进行协议解析，根 据预先设定的移动业务类型匹配算法对移动业务话单数据以及解析的二进制原始报文数 据进行匹配。
15.如权利要求11至14任一项所述的方法，其特征在于，所述方法进一步包括对业务会话记录进行深度挖掘，生成包含移动业务用户行为信息的业务报表。
16.如权利要求15所述的方法，其特征在于，所述对业务会话记录进行深度挖掘的步 骤包括对业务会话记录在业务层面进行残缺值处理、分袋、降维操作；根据不同的挖掘目的对应的应用算法，对业务层面处理后的业务会话记录进行相应处 理，生成业务报表。
17.如权利要求16所述的方法，其特征在于，所述挖掘目的对应的应用算法包括挖掘 移动业务用户行为蕴含的关联规则算法、采用聚类算法对移动业务用户进行的细分算法以 及采用时间序列对移动业务用户行为进行的预测算法。
18.如权利要求17所述的方法，其特征在于，所述方法进一步包括接收查询用户输入 的搜索关键词，查询该搜索关键词对应的业务会话记录、和/或，业务报表，向查询用户发 送。
全文摘要
本发明公开了一种移动业务数据采集分析方法。该方法包括采集外部各移动业务核心网元设备上的移动业务数据；对采集的移动业务数据进行协议解析，根据预先设定的移动业务类型匹配算法对解析的移动业务数据进行匹配，并按照移动业务用户标识生成对应移动业务用户使用移动业务数据的业务会话记录并存储。本发明还公开了一种移动业务数据采集分析装置。应用本发明，技术人员可以根据移动业务数据存储单元存储的业务会话记录，分析移动业务用户的行为以及网络状态，从而为彩信业务提供参考，并提升移动业务质量、便于移动业务推广。
文档编号H04W24/00GK102075963SQ20091023792
公开日2011年5月25日 申请日期2009年11月25日 优先权日2009年11月25日
发明者周松, 夏玉溪, 廖东, 李志成, 李文华 申请人:中国移动通信集团贵州有限公司, 北京协成致远网络科技有限公司