本发明涉及分布式大数据处理的技术领域，尤其涉及一种4G移动数据信令面和用户面的关联方法，以及4G移动数据信令面和用户面的关联系统。
背景技术：
中国专利申请(申请号：201210356134.8)提供了一种对PS域大流量网络数据的监测分析方法及装置，申请的一个大的监测系统，而对于信令面和用户面关联的地方，仅仅说了句将信令面和用户面通过关联关键字进行关联，没有具体说明是什么关键字，如何进行管理。其注重用户上网的检测系统，而没有对信令面和用户面的关联方法进行描述。
中国专利申请(申请号：201510708161.0)提供了一种将4G和3G网络的信令流程进行关联的方法，在4G回落到3G时，需要将4G和3G的信息进行关联起来，以标记是同一个人的行为。而没有关于4G中信令面和用户面是如何关联的。其与本申请描述的关联发生在不同的区域。
现有的关联方法一般为：数据关联模块把用户面数据到Redis中找到其对应的信令面数据，组成一条完整的上网记录。因此，如何设计出快速保存/查询/删除信令面数据和快速查询用户面数据的方法，节省内存等系统资源，成为技术人员需要考虑的问题。
技术实现要素：
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种4G移动数据信令面和用户面的关联方法，其能够实现快速保存/查询/删除信令面数据和快速查询用户面数据的方法，节省内存等系统资源，简单快捷，易于实现，识别准确率高，从而快速的将信令面和用户面数据合成出一条条用户的上网记录。
本发明的技术方案是：这种4G移动数据信令面和用户面的关联方法，该方法包括以下步骤：
(1)拷贝接收到用户上网的全部信令面和用户面的数据，通过对报文包头初步解析分出是信令面还是用户面的数据，分配给对应的解析模块；
(2)信令面有PDP的创建，更新，删除动作，信令面解析服务器解析每条信令里所包含的各个字段，把解析出来的值和当前信令的状态发到Gtkafka，等待后续报文进来进行后续处理；
(3)该用户发生用户面上网行为时，用户面解析服务器收到对应的数据报文；解析出用户请求的具体业务，报文带有的teid以及SGW的IP和端口；把这些信息作为一条记录发送到数据解析层数据总线Gtkafka；
(4)关联模块实时从Gtkafka上取到一条数据，判断是信令面数据还是用户面数据，如果是信令面数据执行步骤(5)，否则执行步骤(6)；
(5)到Redis中新增或者更新或者删除该用户上网的信令面记录；跳转到步骤(7)；
(6)去Redis中去查，如果查到对应的信令面记录，向GtKafka返回OK和关联后的数据，GtKafka把关联后的数据写入Kafka；如果查不到，向GtKafka返回FALSE，GtKafka则将该用户记录丢弃；
(7)结束。
本发明通过teid以及SGW的IP和端口，快速实现信令面数据和用户面数据的关联，所以能够实现快速保存/查询/删除信令面数据和快速查询用户面数据的方法，节省内存等系统资源，简单快捷，易于实现，识别准确率高，从而快速的将信令面和用户面数据合成出一条条用户的上网记录。
还提供了一种4G移动数据信令面和用户面的关联系统，该系统包括：
数据分发模块，其配置来从网络上收到用户上网报文，分析是信令面数据还是用户面数据；
信令面数据解析模块，其配置来接到报文后，按照3GPP的规范，对各个接口的数据按照对应协议的规范，对报文进行解析；
用户面数据解析模块，其配置来按照3GPP的规范，对用户数据按照GTPU协议的规范，对报文进行解析，包括访问主机名Host、统一资源定位符URL、用户代理UserAgent、源地址、目的地址；
用户关联模块，其配置来从GtKafka上实时读取到每条记录，如果该记录是用户面数据，就用数据中携带的teid以及SGW的IP和端口到Redis中去查，如果查到对应的信令面记录，用户关联模块就向数据解析层数据总线GtKafka返回OK和对应的信令数据，GtKafka把关联后的数据写入Kafka；如果查不到，用户关联模块向GtKafka返回FALSE，GtKafka则将该用户记录丢弃。
附图说明
图1所示为根据本发明的4G移动数据信令面和用户面的关联方法的流程图。
具体实施方式
首先给出与本发明相关的一些名词说明。
3GPP TS 29.274V12.6.0GTPV2协议规范请参见
http://wenku.baidu.com/link？url＝-oaQF6MQeBNYdIzZFlXfryfPE7Q8hBsN_iuEckzAzwR3a_kw9lf-K91rx2K5s0hFHkB-lHxZ8BDxYMi4XeKe4qDdGVRdHFdYY1RqQk6uxaS
3GPP TS 36.413V11.4.0(2013-06)LTE协议规范请参见
http://wenku.baidu.com/link？url＝f8dOdOF0RSc3_EsUqMmyMUbLBXADi4ehGHtYsqdqo5JXcvkFgkIR-SG5TIHWIStE1IuofCeq2tgI1bPFqSgOvKGK25o2WenU5upWlHQdkh3
GTP协议Teid请参见http://blog.csdn.net/baixue6269/article/details/7775813
Redis是一个高性能的key-value数据库。
GtKafka是数据解析层数据总线。
teid(Tunnel Endpoint Identifier，隧道标识号)是由GTP隧道的接收端分配本地TEID值，供GTP隧道的发起方使用。通过GTP-C消息在隧道的两个端点间交换TEID(包含在FTEID内)值。通过IP地址，端口号，以及TEID值就可以唯一确定一个GTP的隧道。
SGWIP(Serving GateWay，服务网关)是移动通信网络EPC中的重要网元。EPC网络实际上是原3G核心网PS域的演进版本，而SGW的功能和作用与原3G核心网SGSN网元的用户面相当，即在新的EPC网络中，控制面功能和媒体面功能分离更加彻底。
PGW(Public Data Network Gateway)PDN网关是移动通信网络EPC中的重要网元。负责管理3GPP和non-3GPP间的数据路由。移动终端如果要访问网络，就一定要经过PGW网元，才能接入到公用数据网。
Imei(International Mobile Equipment Identity)是国际移动设备身份码，是手机设备的唯一串号。
Imsi(IMSI：International Mobile Subscriber Identification)是国际移动用户识别码，是手机号的唯一标识。
现有的关联方法是，数据关联模块把用户面数据到Redis中找到其对应的信令面数据，组成一条完整的上网记录。因此，如何设计出快速保存/查询/删除信令面数据和快速查询用户面数据的方法，节省内存等系统资源，成为技术人员需要考虑的问题。
本系统对移动4G的信令面和数据面接口上的数据进行深度加工，把信令面和用户面通过Teid和SGW的IP和端口号，进行关联起来。以让用户面的数据找到对应的用户信息(手机号，Imei，imsi，小区等)，以方便进行各类业务的统计。
随着4G(LTE)网络的商用，移动终端的高速上网已经实现，移动终端的智能化和多样性，移动上网已经是当前最通用的上网渠道。互联网已经成为人们获取信息、交流沟通的主要方式，每年产生的商业价值巨大。而作为互联网接入管道的电信运营商，却在面临着巨大的挑战。运营商掌握着庞大的用户数据和四通八达的用户管道，但因为缺少用户数据积累、挖掘、分析的专业工具，缺少将数据转换为价值的有效变现渠道，运营商难以参与利润丰厚的网络营销市场。
本大数据采集分析平台是位于总体架构的前端，负责信令报文和数据报文的采集与分析。数据采集系统在完成数据加工处理以后，按照约定格式保存到数据交换系统中。流处理平台和批处理平台分别各自从数据交换系统中读取，结合各自业务需求开展数据分析和挖掘。本系统对移动4G的信令面和用户面接口上的数据进行深度加工，把信令面和用户面通过teid和SGW的IP和端口，进行关联起来。以让用户面的数据找到对应的用户信息(手机号，imei，imsi，小区等)，以方便进行各类业务的统计。
如图1所示，这种4G移动数据信令面和用户面的关联方法，该方法包括以下步骤：
(1)拷贝接收到用户上网的全部信令面和用户面的数据，通过对报文包头初步解析分出是信令面还是用户面的数据，分配给对应的解析模块；
(2)信令面有PDP的创建，更新，删除动作，信令面解析服务器解析每条信令里所包含的各个字段，把解析出来的值和当前信令的状态发到Gtkafka，等待后续报文进来进行后续处理；
(3)该用户发生用户面上网行为时，用户面解析服务器收到对应的数据报文；解析出用户请求的具体业务，报文带有的teid以及SGW的IP和端口；把这些信息作为一条记录发送到数据解析层数据总线Gtkafka；
(4)关联模块实时从Gtkafka上取到一条数据，判断是信令面数据还是用户面数据，如果是信令面数据执行步骤(5)，否则执行步骤(6)；
(5)到Redis中新增或者更新或者删除该用户上网的信令面记录；跳转到步骤(7)；
(6)去Redis中去查，如果查到对应的信令面记录，向GtKafka返回OK和关联后的数据，GtKafka把关联后的数据写入Kafka；如果查不到，向GtKafka返回FALSE，GtKafka则将该用户记录丢弃；
(7)结束。
本发明通过teid以及SGW的IP和端口，快速实现信令面数据和用户面数据的关联，所以能够实现快速保存/查询/删除信令面数据和快速查询用户面数据的方法，节省内存等系统资源，简单快捷，易于实现，识别准确率高，从而快速的将信令面和用户面数据合成出一条条用户的上网记录。
另外，所述步骤(1)中，通过分光或者镜像的方式，拷贝接收到用户上网的全部信令面和用户面的数据。
另外，所述步骤(3)中，具体业务是Http，P2P，邮件，或聊天工具等上网业务。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种4G移动数据信令面和用户面的关联系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统，该系统包括：
数据分发模块，其配置来从网络上收到用户上网报文，分析是信令面数据还是用户面数据；
信令面数据解析模块，其配置来接到报文后，按照3GPP的规范，对各个接口的数据按照对应协议的规范，对报文进行解析；
用户面数据解析模块，其配置来按照3GPP的规范，对用户数据按照GTPU协议的规范，对报文进行解析，包括访问主机名Host、统一资源定位符URL、用户代理UserAgent、源地址、目的地址；
用户关联模块，其配置来从GtKafka上实时读取到每条记录，如果该记录是用户面数据，就用数据中携带的teid以及SGW的IP和端口到Redis中去查，如果查到对应的信令面记录，用户关联模块就向数据解析层数据总线GtKafka返回OK和对应的信令数据，GtKafka把关联后的数据写入Kafka；如果查不到，用户关联模块向GtKafka返回FALSE，GtKafka则将该用户记录丢弃。
另外，所述信令面数据解析模块中，信令面解析服务器区分出是隧道的创建/更新/删除的请求，或者创建/更新/删除的响应；信令面解析服务器保存请求的数据；响应的数据来到后，跟请求的数据进行匹配，如果匹配上，就把请求和响应组成一条全量的数据，发送到数据解析层数据总线Gtkafka。
另外，所述用户面数据解析模块中，用户面解析服务器把解析出来的数据，发送到Gtkafka。
另外，所述用户关联模块中，接收到数据后，判断是信令面数据还是用户面数据，如果都不是则丢弃；如果是信令面的数据就进入信令面的处理流程：保存，更新或者删除一条这条记录。
本发明的有益效果如下：
1.能实现快速保存/查询/删除信令面数据和快速查询用户面数据的方法，节省内存等系统资源；
2.简单快捷，易于实现，识别准确率高，从而快速的将信令面和用户面数据合成出一条条用户的上网记录。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。