对采集数据进行关键信息数据回填的方法与流程

1.本发明涉及通信技术领域，尤其涉及一种对采集数据进行关键信息数据回填的方法、装置、电子设备及存储介质。


背景技术：

2.在gprs系统中，针对gn接口的数据采集，采集的数据量较大同时包含多趟机车，如何通过关联关系区分不同的机车数据尤为重要，通过研究gtp协议，各个信令和业务数据包主要内容包含如下：
3.创建pdp上下文请求信令:主要包含业务关键字段：imsi，apn等；
4.创建pdp上下文响应信令:主要包含业务关键字段：车载设备ip地址等；
5.业务数据包：机车号，车次号等；
6.通过imsi或某些关键字信息追踪某机车在gprs中的整个信令业务交互流程时，缺乏一种方法将各个数据包中的关键信息字段组装一起，同时将某些信令或业务包中缺少的关键信息字段通过某种关联关系回填完整，保持数据完整；


技术实现要素：

7.本发明的实施例提供了一种对采集数据进行关键信息数据回填的方法及装置，可以对关键字段信息的数据回填，保证数据的完整性，使铁路运维人员按照imsi,机车号等关键信息实现多用户多目标的快速信息追踪。
8.第一方面，本发明的实施例提供了一种对采集数据进行关键信息数据回填的方法，所述方法包括：
9.将采集的二进制流数据根据铁路3gpp协议解析后按照时间排序；
10.判断信令的类型，对所述二进制流数据进行关键信息数据回填。
11.可选地，若判断信令的类型为创建pdp上下文请求信令，所述关键信息数据回填包括：
12.将所述请求信令中的源ip+目的ip+teid_control_plan作为key，所述请求信令中其他关键信息字段序列化后作为value，存放至redis分布式缓存中，用于回填后续的信令数据；
13.将所述请求信令中的源ip+目的ip+teid_data_i作为key，所述请求信令中的其他关键信息字段序列化后作为value，存放至redis分布式缓存中，用于回填后续的业务数据。
14.可选地，若判断信令的类型为创建pdp上下文响应信令，所述关键信息数据回填包括：
15.根据目的ip+源ip+teid作为key,从redis分布式缓存中查找请求信令相关的关键数据字段，若数据查到，则进行关键信息数据回填；
16.将响应信令中的源ip+目的ip+teid_control_plan作为key,回填后信令中的其他关键信息字段列化后作为value，存放至redis分布式缓存中；
17.将响应信令中的源ip+目的ip+teid_data_i作为key,回填后信令中的其他关键信息字段序列化后作为value，存放至redis分布式缓存中。
18.可选地，所述redis分布式缓存中按照方向和信令业务方面划分保存有四组不同映射关系；
19.其中，这四组映射关系为：从sgsn端到ggsn端的源ip+目的ip+teid_control_plan和源ip+目的ip+teid_data_i以及从ggsn端到sgsn端的源ip+目的ip+teid_control_plan和源ip+目的ip+teid_data_i。
20.可选地，若判断信令的类型为更新pdp上下文请求或响应信令，根据目的ip+源ip+teid作为key,从redis分布式缓存中查找关键信息字段，若数据查到，进行数据的回填；
21.其中，查找关键信息字段时根据创建pdp上下文信令中保存的四组映射关系中查找。
22.可选地，若更新pdp上下文请求或响应信中，包含teid_control_plan和teid_data_i的更新，则同步将其映射关系保存到redis分布式缓存中。
23.可选地，若判断信令的类型为删除pdp上下文请求或响应信令或gtp-u业务数据包，根据目的ip+源ip+teid作为key,从redis分布式缓存中查找关键信息字段，若数据查到，则进行数据的回填；
24.其中，查找关键信息字段时根据创建pdp上下文信令中保存的四组映射关系或者更新pdp上下文信令更新的四组映射关系中查找。
25.第二方面，本发明的实施例提供一种对采集数据进行关键信息数据回填的装置，所述装置包括：
26.解析排序模块，将原始采集的二进制流数据根据铁路3gpp协议解析后按照时间排序；
27.判断回填模块，判断信令的类型，对所述二进制流数据进行关键信息数据回填。
28.第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面任一项所述的方法。
29.第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
30.有益效果
31.本发明提供了一种对采集数据进行关键信息数据回填的方法、装置电子设备及存储介质，所述方法通过将采集的二进制流数据根据铁路3gpp协议解析后按照时间排序；判断信令的类型，对所述二进制流数据进行关键信息数据回填；可以对关键字段信息的数据回填，保证数据的完整性，使铁路运维人员按照imsi,机车号等关键信息实现多用户多目标的快速信息追踪。
32.应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
33.结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面
将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。
34.图1示出了本发明的实施例的一种对采集数据进行关键信息数据回填的方法的流程图；
35.图2为sgsn服务器和ggsn服务器信令和业务数据传输过程中teid、teid control plan和teid data i的变化流程图；
36.图3示出了本发明的另一种实施例的一种对采集数据进行关键信息数据回填的方法的流程图；
37.图4示出了本发明实施例的一种对采集数据进行关键信息数据回填的装置的结构示意图；
38.图5示出了本发明实施例的一种电子设备的结构图。
具体实施方式
39.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
40.下面以具体的实施例对本发明进行说明，需要说明的是，本技术实施例描述的仅仅是为了更加清楚的说明本技术实施例的技术方案，并不构成对本技术实施例提供的技术方案的限定。
41.图1示出了本发明的实施例的一种对采集数据进行关键信息数据回填的方法的流程图；参见图1，所述方法包括：
42.s20、将原始采集的二进制流数据根据铁路3gpp协议解析后按照时间排序；
43.3gpp协议主要定义了wlan与3gpp网络融合的一些功能需求，主要有支持网络接入标识(network access identifier，nai)和地址分配，支持usim和sim的身份识别，支持漫游、计费、订阅、紧急呼叫和wlan和3gpp网络互连等功能；另外还需要对网络选择、网络阻塞、ps域访问、服务连续性、本地服务和移动ip流等提供支持。
44.s40、判断信令的类型，对所述二进制流数据进行关键信息数据回填。
45.在gprs系统的gsn(gprs support node，包括sgsn和ggsn)之间采用gtp(gprs tunnel protocol)协议，gtp在整个gprs协议栈中起着举足轻重的作用，gtp协议承载在tcp或udp协议之上，分为信令平面(gtp-c)和传输平面(gtp-u)，其信令平面定义了多种消息，主要包括：创建pdp上下文，更新pdp上下文，删除pdp上下文；传输平面则提供了gsn之间数据包传送的隧道。
46.gtp协议数据包关键字段主要包含如下：
47.teid:用来标识gtp-c和gtp-u协议消息的隧道对端端点，作为pdp上下文数据包的唯一标识；
48.teid control plan:用来协商对端向本端传输信令数据时，其数据包中teid的值；
49.teid data i:用来协商对端向本端传输业务数据时，其数据包中teid的值。
50.若判断信令的类型为创建pdp上下文请求信令，将所述请求信令中的源ip+目的ip+teid_control_plan作为key，所述请求信令中其他关键信息字段序列化后作为value，存放至redis分布式缓存中，用于回填后续的信令数据；将所述请求信令中的源ip+目的ip+teid_data_i作为key，所述请求信令中的其他关键信息字段序列化后作为value，存放至redis分布式缓存中，用于回填后续的业务数据；
51.若判断信令的类型为创建pdp上下文响应信令，根据目的ip+源ip+teid作为key,从redis分布式缓存中查找请求信令相关的关键数据字段，若数据查到，则进行关键信息数据回填；将响应信令中的源ip+目的ip+teid_control_plan作为key,回填后信令中的其他关键信息字段列化后作为value，存放至redis分布式缓存中；将响应信令中的源ip+目的ip+teid_data_i作为key,回填后信令中的其他关键信息字段序列化后作为value，存放至redis分布式缓存中；
52.所述redis分布式缓存中按照方向和信令业务方面划分保存有四组不同映射关系；其中，这四组映射关系为：从sgsn端到ggsn端的源ip+目的ip+teid_control_plan和源ip+目的ip+teid_data_i以及从ggsn端到sgsn端的源ip+目的ip+teid_control_plan和源ip+目的ip+teid_data_i；
53.若判断信令的类型为更新pdp上下文请求或响应信令，根据目的ip+源ip+teid作为key,从redis分布式缓存中查找关键信息字段，若数据查到，进行数据的回填；其中，查找关键信息字段时根据创建pdp上下文信令中保存的四组映射关系中查找；若更新pdp上下文请求或响应信中，包含teid_control_plan和teid_data_i的更新，则同步将其映射关系保存到redis分布式缓存中；
54.若判断信令的类型为删除pdp上下文请求或响应信令或gtp-u业务数据包，根据目的ip+源ip+teid作为key,从redis分布式缓存中查找关键信息字段，若数据查到，则进行数据的回填；其中，查找关键信息字段时根据创建pdp上下文信令中保存的四组映射关系或者更新pdp上下文信令更新的四组映射关系中查找。
55.图2为sgsn服务器和ggsn服务器信令和业务数据传输过程中teid、teid control plan和teid data i的变化流程图；
56.在gprs系统的gsn(gprs support node，包括sgsn和ggsn)之间采用gtp(gprs tunnel protocol)协议，gtp在整个gprs协议栈中起着举足轻重的作用，gtp协议承载在tcp或udp协议之上，分为信令平面(gtp-c)和传输平面(gtp-u)，其信令平面定义了多种消息，主要包括：创建pdp上下文，更新pdp上下文，删除pdp上下文。传输平面则提供了gsn之间数据包传送的隧道。gtp协议数据包关键字段主要包含如下：
57.teid:用来标识gtp-c和gtp-u协议消息的隧道对端端点，作为pdp上下文数据包的唯一标识；
58.teid control plan:用来协商对端向本端传输信令数据时，其数据包中teid的值。
59.teid data i:用来协商对端向本端传输业务数据时，其数据包中teid的值。
60.sgsn服务器和ggsn服务器信令和业务数据传输过程中，以上三者的流程变化如图2所示：
61.创建pdp上下文信令：
62.request中的teid control plan:0x18044f8代表对端向本端(即ggsn-》sgsn)传送信令数据时，其数据包中协商的teid的值；
63.request中的teid data i:0x000409e9代表对端向本端(即ggsn-》sgsn)传送业务数据时，其数据包中协商的teid的值；
64.response中的teid的值为request中协商的teid control plan中的值,即0x18044f8。
65.response中的teid control plan:0xcc8fc22d代表对端向本端(即sgsn-》ggsn)传送信令数据时，其数据包中协商的teid的值；
66.response中的teid data i:0x889ff3367代表对端向本端(即sgsn-》ggsn)传送业务数据时，其数据包中协商的teid的值；
67.gtp-u数据包(业务数据包)：
68.其teid的值由create pdp context中协商的teid data i的值指定，根据方向分别取值。若数据包传输方向为sgsn-》ggsn,则teid值为：0x889ff3367。若数据包传输方向为ggsn-》sgsn,则teid值为:0x000409e9。
69.更新pdp上下文信令：
70.其teid的值由之前的create pdp context中协商的teid control plan指定，根据传输方向分别取值；
71.teid data i:若此值重新分配，会影响后续gtp-u(业务数据)传输数据包中的teid的值；
72.teid control plan:若此值重新分配，会影响后续gtp-c(信令数据)传输数据包中的teid的值；
73.gtp-u数据包(业务数据包)：
74.其teid的值由之前的update pdp context中的teid data i重新协商分配，根据方向分别取值。
75.删除pdp上下文信令：
76.其teid的值由之前的update pdp context中的teid control plan重新协商分配，根据方向分别取值。若在上述update pdp contex中没有重新规定teid control plan的值，则按照create pdp context中协商规定的teid control plan的值。
77.由以上的交互流程变化得知：数据包(gtp-c和gtp-u)中的teid值总是依赖于最近的创建pdp上下文信令或者更新pdp上下文信令中分配的teid control plan和teid data i的值(若更新pdp上下文信令中重新分配了teid control plan和teid data i的值的话)。所以数据回填的过程就是追踪创建pdp上下文信令或者更新pdp上下文信令中的teid control plan和teid data i的值变化的过程。从创建pdp上下文信令以及更新pdp上下文信令中，按照方向及信令业务方面划分，缓存中共需要保存四组不同映射关系：
78.sgsn-》ggsn:src_ip+dst_ip+teid_control_plan
79.src_ip+dst_ip+teid_data_i
80.ggsn-》sgsn:src_ip+dst_ip+teid_control_plan
81.src_ip+dst_ip+teid_data_i
82.创建pdp上下文响应信令，更新pdp上下文信令，删除pdp上下文信令，gtp-u业务数
据包则根据dst_ip+src_ip+teid从redis缓存中进行查找匹配，进行关键信息数据回填。
83.如图3所示的本发明的实施例的总体流程图中，将原始采集的二进制流数据根据铁路3gpp协议解析后按照时间排序后，对信令的类型进行判断；
84.在gprs系统的gsn(gprs support node，包括sgsn和ggsn)之间采用gtp(gprs tunnel protocol)协议，gtp在整个gprs协议栈中起着举足轻重的作用，gtp协议承载在tcp或udp协议之上，分为信令平面(gtp-c)和传输平面(gtp-u)，其信令平面定义了多种消息，主要包括：创建pdp上下文，更新pdp上下文，删除pdp上下文；传输平面则提供了gsn之间数据包传送的隧道。
85.gtp协议数据包关键字段主要包含如下：
86.teid:用来标识gtp-c和gtp-u协议消息的隧道对端端点，作为pdp上下文数据包的唯一标识；
87.teid control plan:用来协商对端向本端传输信令数据时，其数据包中teid的值；
88.teid data i:用来协商对端向本端传输业务数据时，其数据包中teid的值。
89.在判断时，若为创建pdp上下文请求信令,将请求信令中的源ip+目的ip+teid_control_plan作为key，请求信令中的其他关键信息字段(如imsi，apn等)序列化后作为value，存放至redis分布式缓存中，该缓存主要作用是回填后续的信令数据；将请求信令中的源ip+目的ip+teid_data_i作为key，请求信令中的其他关键信息字段(如imsi，apn等)序列化后作为value，存放至redis分布式缓存中，该缓存主要作用是回填后续的业务数据；
90.若为创建pdp上下文响应信令，则根据目的ip+源ip+teid作为key,从redis分布式缓存中查找请求信令相关的关键数据字段，若数据查到，则进行请求信令数据的回填，回填后同步更新缓存，目的为了将响应信令中的关键信息字段(如车载ip等)同步更新入缓存中。将响应信令中的源ip+目的ip+teid_control_plan作为key,回填后信令中的其他关键信息字段(如imsi，apn,车载ip等)序列化后作为value，存放至redis分布式缓存中。同时也将响应信令中的源ip+目的ip+teid_data_i作为key,回填后信令中的其他关键信息字段(如imsi，apn,车载ip等)序列化后作为value，存放至redis分布式缓存中。
91.若为更新pdp上下文信令,则根据目的ip+源ip+teid作为key,从redis分布式缓存中查找关键信息字段(根据创建pdp上下文信令中保存的四组映射关系中查找)，若数据查到，则进行数据的回填。若更新pdp上下文信令中，包含teid_control_plan和teid_data_i的更新，则同步将其映射关系保存到redis分布式缓存中。
92.若为删除pdp上下文信令,则根据目的ip+源ip+teid作为key,从redis分布式缓存中查找关键信息字段(根据创建pdp上下文信令中保存的四组映射关系或者更新pdp上下文信令更新的四组映射关系中查找)，若数据查到，则进行数据的回填。
93.若为gtp-u(业务)数据中，则根据目的ip+源ip+teid作为key,从redis分布式缓存中查找关键信息字段(根据创建pdp上下文信令中保存的四组映射关系或者更新pdp上下文信令更新的四组映射关系中查找)，若数据查到，则进行数据的回填。
94.其中，按照方向及信令业务方面划分，redis分布式缓存中共需要保存四组不同映射关系：
95.sgsn-》ggsn:src_ip+dst_ip+teid_control_plan
96.src_ip+dst_ip+teid_data_i
97.ggsn-》sgsn:src_ip+dst_ip+teid_control_plan
98.src_ip+dst_ip+teid_data_i
99.基于同一发明构思，本发明实施例还提供了一种对采集数据进行关键信息数据回填的装置，可以用于实现上述实施例中所描述的一种对采集数据进行关键信息数据回填的方法，如下面实施例所述：一种对采集数据进行关键信息数据回填的装置解决问题的原理与一种对采集数据进行关键信息数据回填的方法相似，因此一种对采集数据进行关键信息数据回填的装置的实施可以参见.一种对采集数据进行关键信息数据回填的方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
100.图4示出了本发明的实施例的一种对采集数据进行关键信息数据回填的装置的结构框图。如图4所示，所述装置包括：
101.解析排序模块20，将原始采集的二进制流数据根据铁路3gpp协议解析后按照时间排序；
102.判断回填模块40，判断信令的类型，对所述二进制流数据进行关键信息数据回填。
103.本发明实施例提供了一种对采集数据进行关键信息数据回填的装置，所述装置通过解析排序模块20，将原始采集的二进制流数据根据铁路3gpp协议解析后按照时间排序；通过判断回填模块40，判断信令的类型，对所述二进制流数据进行关键信息数据回填。
104.本发明实施例还提供了一种计算机电子设备，图5示出了可以应用本发明实施例的电子设备的结构示意图，如图5所示，该计算机电子设备包括，中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
105.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
106.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指
令的组合来实现。
107.描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括解析排序模块和判断回填模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，解析排序模块还可以被描述为“用于将原始采集的二进制流数据根据铁路3gpp协议解析后按照时间排序的解析排序模块”。
108.作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述一种对采集数据进行关键信息数据回填的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种对采集数据进行关键信息数据回填的方法。
109.以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。