5G_DPI分层架构下合成层对采集层数据正确性校验方法与流程

本发明涉及数据校验领域，尤其涉及5g_dpi分层架构下合成层对采集层数据正确性校验方法。

背景技术：

1、目前，dpi数据分析，需要采集信令面和用户面的数据，经解析处理之后，将分析得到的详单数据发送给合成，合成经过关联，将用户、会话、位置等信息回填给详单，以供后续的具体应用分析处理。部署上都将信令面、用户面和合成设备分开来；

2、鉴于信令面、用户面和合成设备分布在不同的机器上，为了保证数据传输的安全性，需要使用sdtp(secure data transfer protocol)安全数据传输协议，利用sdtp协议对需要传输的数据进行加密和数字签名处理，然后在信令面、用户面和合成设备之间建立安全的数据传输通道，完成数据传输过程。

3、针对sdtp数据传输，在现有技术中，不同机器之间可以通过以下优化来保证基础数据的安全和正确性：

4、版本协商：在数据传输开始之前，各机器可以进行版本协商，确保双方使用相同的协议版本，以避免协议不兼容的问题。

5、鉴权：在建立数据传输连接之前，进行鉴权操作，确保通信双方的身份合法，防止未经授权的访问。可以使用加密算法对鉴权信息进行加密，提高安全性。

6、链路检测：在数据传输过程中，定期进行链路检测，确保连接的稳定性和可用性。如果检测到链路异常，可以及时发起重连或采取其他措施进行恢复，以保证数据传输的可靠性。

7、数据发送：在数据发送阶段，可以采用分包、校验和重传等机制，确保数据的完整性和可靠性。可以使用哈希算法对数据进行校验，发现传输过程中的错误或篡改，并能进行恢复或报错处理。

8、当前数据检验只会保证采集侧发出的数据和合成侧接收的数据一致，没有针对具体数据进行校验，有以下一些缺点：

9、1)错误数据流转，当采集侧发出一些不符合规范或者无效的数据时，合成侧会把错误数据当成正常数据在系统中流程；

10、2)影响系统稳定性，合成将错误数据当成正常数据来处理，可能会造成越界、重启等问题，影响了系统的文档运行；

11、3)影响回填准确性，针对错误数据的学习，会造成关联回填到了不正确的数据，会影响后续数据的分析处理；

12、4)造成资源的浪费，针对错误数据的处理和缓存，会造成cpu、内存以及io的浪费，影响系统的性能。

技术实现思路

1、为了克服以上问题，本发明旨在提出5g_dpi分层架构下合成层对采集层数据正确性校验方法，目的在于解决错误数据流转，当采集侧发出一些不符合规范或者无效的数据时，合成侧会把错误数据当成正常数据在系统中流程问题。

2、为此，本发明采用的具体技术方案如下：

3、根据本发明的一个方面，提供了5g_dpi分层架构下合成层对采集层数据正确性校验方法，该方法包括以下步骤：

4、s1、校验详单长度字段是否和接收到的数据长度一致，不一致就丢弃错误数据；

5、s2、校验详单接口类型是否在规范包含的数值范围内(具体数值根据具体规范处理)，若值为空或者不是规范里的接口就认定为错误数据，丢弃处理；

6、s3、校验详单rat网络类型是否为规范规定的网络类型(具体数值根据具体规范处理)，若值为空或者不是规范里的接口就认定为错误数据，丢弃处理；

7、s4、接收采集层采集的订单数据，校验详单用户当前和归属信息字段是否全部为默认值，因省市信息需要根据工参表进行回填，探针数据无法填入相关信息，所以相关字段都应为默认值，当出现非默认值的情况，就认定为错误数据，丢弃处理；

8、s5、校验详单的码号相关字段是否有非法字符，是否合规，码号字段都是以tbcd编码形式存在，因此在十六进制中出现a、b、c、d、e时，即可认为是错误数据，丢弃处理。

9、进一步的，所述校验详单接口类型是否在规范包含的数值范围内(具体数值根据具体规范处理)，若值为空或者不是规范里的接口就认定为错误数据，丢弃处理；

10、接口类型主要内容：

11、信令面相关接口：5g n1n2、n4、n10、n11，4g s1mme、s10s11、s58；

12、用户面相关接口：n3、n9、s1u；

13、软采相关接口：uu、x2、xn、ue_mr、cell_mr；

14、volte相关接口：mw、mg、cx、dx、gmsession、gmslice。

15、进一步的，所述校验详单rat网络类型是否为规范规定的网络类型(具体数值根据具体规范处理)，若值为空或者不是规范里的接口就认定为错误数据，丢弃处理；

16、rat网络类型主要内容：

17、utran：第三代移动通信网络(umts)；

18、geran：第二代移动通信网络(gsm)；

19、wlan：无线局域网；

20、gan：智能网关；

21、hspa evolution：高速分组接入演进(hspa+)；

22、eutran：lte/4g移动通信网络；

23、nb-iot：窄带物联网；

24、cdma2000：第三代移动通信网络(cdma2000)；

25、5g：第五代移动通信网络(nr)。

26、进一步的，所述校验详单用户当前和归属信息字段是否全部为默认值，因省市信息需要根据工参表进行回填，探针数据无法填入相关信息，所以相关字段都应为默认值，当出现非默认值的情况，就认定为错误数据，丢弃处理。

27、主要字段如下：

28、local province：用户当前所在的省编号；

29、local city：用户当前所在的城市编号；

30、owner province：用户的归属省编号；

31、owner city：用户的归属市编号；

32、roaming type：用户漫游类型。

33、进一步的，所述校验详单的码号相关字段是否有非法字符，是否合规，码号字段都是以tbcd编码形式存在，因此在十六进制中出现a、b、c、d、e时，即可认为是错误数据，丢弃处理。

34、码号字段指以下三个字段：

35、imsi：用于识别移动用户的标识码；

36、imei：用于识别移动设备的标识码；

37、msisdn：移动用户的电话号码。

38、相较于现有技术，本技术具有以下有益效果：

39、1)极大地增加了数据的正确性，通过针对数据的长度以及具体内容的合规性检测，基本保证了数据的可靠和合法，极大提高了进入系统的数据的正确性；

40、2)提高了系统稳定性，通过数据的检验和保护，减少了越界和内存错误访问等问题，避免了系统的重启，提高了稳定性；

41、3)提高了数据回填率和回填准确性，根据正确数据学习关联所需的信息，然后回填给需要的接口，提高了数据的回填率，通知也保证了数据回填的准确；

42、4)减少了资源的浪费，通过丢弃错误数据的方法，减少了错误数据流转所带来的系统和机器的消耗，提高了资源的利用率。