基于工单计费条目的稽核方法与流程

本发明涉及通信，特别涉及一种基于工单计费条目的稽核方法。

背景技术：

1、移动核心网关ggsn/pgw/upf是移动通信网络中的核心组成部分，主要负责移动用户的数据传输和管理。内容计费是指将特定内容(如音乐、视频、业务app等)与用户的通信费用结合起来，向用户收取或者减免通信费用的技术。为了实现内容计费，移动核心网关需要进行相关业务感知配置和包检测配置。具体技术背景包括：1.业务合作协议：移动网络运营商需要与内容提供商、服务商等业务合作伙伴签订合作协议，明确内容计费的具体规则和流程。2.开通配置：根据集团下发的内容计费业务编码规则相关的工单，移动核心网关需要配置识别业务内容的包检测配置，用于识别业务内容和业务编码的打标。3.计费策略：移动核心网关需要根据包检测配置以及用户的实际使用产生消费话单记录cdr，联合业务支撑计费网关根据业务合作协议以及用户的计费标准和消费记录，制定相应的计费策略，并实现相应的计费逻辑，如图1所示。

2、运营商现有内容计费添加流程分为以下五个步骤：1)集团下发工单：集团下发工单到省级公司，并指定内容计费产品、计费方式和收费标准等相关参数信息。2)省内批量制作pgw内容计费配置数据：省级公司根据集团下发的内容计费产品、计费方式和收费标准等相关参数信息，批量制作pgw内容计费配置数据。3)拨测验证内容计费：运营商进行拨测验证，确保内容计费正常运作。在拨测验证过程中，运营商需要验证计费的准确性、时效性和稳定性，并针对拨测结果进行调整。4)回单确认：在完成拨测验证后，运营商省级公司将测试结果反馈给集团，并进行回单确认，确认内容计费已经配置完成。5)配置上线：配置完成后，省级公司将新增pgw内容计费配置话单数据上传至计费平台并上线，提供给用户使用。用户使用订购链接进行订购并通过计费平台进行计费，实现订购服务的结算和统计，维护和更新计费产品和计费方式。

3、随着业务种类的增多，集团下发工单和制作核心网内容计费配置的频率和规模激增，拨打测试耗时耗力无法覆盖所有的新增配置，由此，引发运营商运维部门基于内容计费配置错漏导致的投诉呈上升趋势，且影响较大。处理此类投诉的流程目前一般为：1)查询xdr话单或者抓包确认用户时间和使用网址。2)查询计费话单确认业务时间和业务类型和业务编码。3)核心网人员查询pgw原始话单解析，比对投诉号码在对应的时间段流量使用及所使用sid是否与业支部门提供的话单保持一致。投诉处理涉及跨部门多张话单核对，且人工方式效率低，亟待研究一种基于工单和核心网配置自动解析的内容计费配置稽核的方法。

4、内容计费配置核对是指通过对比计费开通工单需求和内容计费系统的配置，发现和纠正计费错误或漏洞的过程。现有的几种内容计费配置核对技术：1.人工核对：目前在处理单个用户或者一些企业级应用业务投诉时，仍然采用人工核对的方式来核对计费数据的准确性。这种方式的优点是能够针对性强，但是人工核对效率较低，易出现疏漏或错误。2.数据库比对：将实际内容计费工单中的关键字段和计费系统配置信息存储在不同的数据库中，通过对比数据库中的数据进行配置准确性核对。这种方式优点是对大量数据处理效率高，但是需要保证数据库中数据的实时同步。3.程序自动化对比：通过编写程序，将计费开通工单需求和实际内容计费系统的配置进行自动化对比，自动发现计费错误和漏洞。这种方式需要保证程序的准确性和稳定性。

技术实现思路

1、本发明提供了一种基于工单计费条目的稽核方法，通过apache poi算法自动化解析工单关键字段和pgw/upf中内容计费配置，实现审核比较集团开通工单数据和内容计费配置，从而提高稽核效率、准确性和一致性。

2、本发明提供了一种基于工单计费条目的稽核方法，基于工单自动解析模块、配置自动解析模块、内容计费条目稽核模块，包括：

3、在所述工单自动解析模块输入运营商内容计费业务编码规则相关的工单数据后，利用apache poi解析初始的excel文件，逐行获取数据后用正则表达式匹配其中符合的数据并存入列表，将列表中的数据写入excel；

4、在所述配置自动解析模块输入移动通信核心网ggsn/pgw/upf内容计费配置数据后，基于不同厂家的内容计费配置规范，梳理开通配置指令逻辑，基于指令逻辑和脚本解析配置中深度包检测逻辑中的关键字段，并存入数据库；

5、在所述内容计费条目稽核模块将数据以不同的业务维度进行对比，输出apn维度、用户维度稽核一致性结论。

6、进一步地，所述在所述工单自动解析模块输入运营商内容计费业务编码规则相关的工单数据后，利用apache poi解析初始的excel文件，逐行获取数据后用正则表达式匹配其中符合的数据并存入列表，将列表中的数据写入excel的步骤，包括：

7、在项目中导入apache poi库，以便使用其解析excel文件；在maven项目中，可以在pom.xml文件中添加相应的依赖；

8、读取excel文件，使用apache poi的workbookfactory类来读取excel文件，并根据需要选择特定的工作表；

9、逐行获取数据，使用apache poi的行和单元格类来遍历工作表中的数据；

10、使用正则表达式匹配数据，通过java的pattemn和matcher类，利用正则表达式匹配所需的数据；

11、将关键字段存入mysql数据库，在匹配到关键字段后，使用jdbc或orm将数据插入到mysql数据库中；

12、根据业务逻辑关联关系，将mysql数据中的关键字段形成整体关联宽表；其中，所述关键字段包含业务分类、业务编码、业务名称、apn、三层ipv4地址、三层ipv6地址、端口号、七层url、七层host。

13、进一步地，所述在所述配置自动解析模块输入移动通信核心网ggsn/pgw/upf内容计费配置数据后，基于不同厂家的内容计费配置规范，梳理开通配置指令逻辑，基于指令逻辑和脚本解析配置中深度包检测逻辑中的关键字段，并存入数据库的步骤，包括：

14、梳理跨厂家的内容计费配置规范进行，从运营商获得厂家内容计费指令的制作逻辑和重要参数说明，进行开通配置指令逻辑梳理；

15、整理内容计费分场景开通配置方案，根据业务功能需求，对新增调整内容计费业务进行子业务需求分解，分解为新增三/四层内容计费，新增http协议七层内容计费，新增其他协议七层内容计费3个子业务需求；

16、基于指令逻辑和脚本，解析配置中dpi逻辑中的关键字段，生成结构性信息，包含apn名、名单类型、apn类型、pgw大区、pgw名称、pgw厂家、ipv4、ipv6、端口号、协议名、url匹配规则、url、全网一致性、不一致类型的字段。

17、进一步地，当为国内主要核心网设备厂家时，所述梳理跨厂家的内容计费配置规范进行，从运营商获得厂家内容计费指令的制作逻辑和重要参数说明，进行开通配置指令逻辑梳理的步骤，包括：

18、rule通过usrprofile、usrprofgroup绑定到apn/dnn下，在rule下配置了流过滤器flowfilter或flowfiltergrp，在flowfilter包含具体的三四层与七层过滤条件；rule下配置的policytype对应于rule的动作策略，包括内容计费、头增强，在pccpolicygrp下配置有计费信息；

19、rule、rulebinding的优先级数值越小优先级越高，通过控制优先级，可以控制数据包匹配规则的顺序，同一数据的rule优先级和rulebinding优先级值保持一致；

20、内容计费场景配置l7filter时，若存在同一个url、ip地址有空白、:*、/*三种不同格式结尾的数据，或者有两种格式其中一种为/*结尾数据，则可以合并为仅制作一条/*数据；

21、l7filter定义的内容不包含https://或rtsp://这样的协议头，协议信息通过protbindflowf等指令定义，l7-filter所配置url在匹配时按照从左向右最长匹配原则；

22、纯七层业务，存在设置代理场景，如10.0.0.172wap代理，需要在flowfilter中绑定10.0.0.172对应的fliter；纯三四层业务、三四层和七层同时匹配的业务场景三层不需要绑定；

23、https协议类型的数据配置，无论是纯七层还是三四层七层与关系业务，配置方式和http协议类似，只是协议类型配置为https；

24、三四层和七层同时配置的场景，遵从局数据的对应原则，确保不出现扩大、缩小、交叉匹配等现象。

25、进一步地，当为国外主要核心网设备厂家时，所述梳理跨厂家的内容计费配置规范进行，从运营商获得厂家内容计费指令的制作逻辑和重要参数说明，进行开通配置指令逻辑梳理的步骤，包括：

26、前置规则优先命中，同级别不同规则按前后顺序匹配，顺序号在前的则优先命中；

27、多维规则最长匹配优先命中，一个配置内包含有多层级/维度规则时，最内层规则优先命中；

28、所有内容计费七层url域名数据必须根据*的位置来使用语句；

29、内容计费七层url/域名数据使用is和starts-with定义时，数据必须是带有协议头的完整开头格式，对于标准表中不带协议头的七层url/域名数据，自动添加http://开头；对于带有协议头的七层url域名数据直接根据对应的协议的制作方式制作；

30、对于内容计费标准数据中三层地址是以掩码形式出现的，配置数据也以掩码形式配置，不将地址段拆分；

31、当同一业务编码对应多个三层地址/地址掩码时，合并配置不超过10个三层地址/地址掩码在同一条三/四层规则条目；

32、当七层url地址为ip地址格式时，需将该ip地址先在三层规则配置，再嵌套关联匹配七层url的相同ip地址，以封堵相关流量欺诈。

33、进一步地，所述整理内容计费分场景开通配置方案，根据业务功能需求，对新增调整内容计费业务进行子业务需求分解，分解为新增三/四层内容计费，新增http协议七层内容计费，新增其他协议七层内容计费3个子业务需求的步骤中，3个子业务需求分别进行局数据实现过程包括：

34、新增三四层内容计费配置，包含：新增ipv4三四层数据——协议号any；新增ipv4三四层数据——协议号tcp；新增ipv6三四层数据——协议号any；新增ipv6三四层数据——协议号tcp；

35、删除三四层内容计费配置，包含：删除一条三四层数据；

36、新增七层内容计费配置，包含：新增七层http协议数据——七层数据为ipv4地址；新增七层http协议数据——七层数据为url地址；新增七层http协议数据——七层数据为url地址；新增七层http协议数据——七层数据为url地址且携带端口号；新增七层非http协议数据——https；新增七层非http协议数据——rtsp；

37、删除七层内容计费配置，包含：删除业务的一条7层数据；

38、新增三四层和七层同时配置内容计费，包含：新增ipv4三四层和七层同时配置内容计费—三四层和七层；新增ipv6三四层和七层同时配置内容计费—三四层和七层；

39、删除三四层和七层同时配置内容计费，包含：删除三四层和七层同时配置内容计费—三四层和七层；

40、删除整个业务，包含：删除整个业务-七层数据。

41、进一步地，所述内容计费条目稽核模块将数据以不同的业务维度进行对比，输出apn维度，用户维度稽核一致性结论，内容计费条目数据稽查逻辑分为基于工单数据稽查逻辑和基于配置数据稽查逻辑；

42、工单数据稽查逻辑用于工单内容计费稽查，以解析的工单内容计费数据为基准数据，再取现网已配置的内容计费数据，分别比较ipv4、ipv6、host、url数据，比较时工单内容计费数据必须按时间顺序依次与配置数据比较；

43、配置数据稽查逻辑，配置内容计费解析结果存在多台pgw/upf设备的数据，先以apn维度把所有pgw/upf上的内容计费进行合并处理，以此作为稽查基准，再用稽查基准在apn层级上对每个pgw/upf中的内容计费解析数据进行一致性对比，基准数据与比对数据完全匹配，即输出结果一致标志；基准数据与比对数据不匹配时，输出基准数据不一致结果，并标注不一致来源：内容计费类型不一致、l3ip不一致、端口不一致、l7url不一致、协议号不一致等；根据标注结果可以直接确定在哪台pgw/upf上的什么配置数据有异常的问题，以便定位原因和修改配置。

44、进一步地，所述工单数据稽查逻辑中，当工单内容计费是添加(add)操作时，基准数据与pgw/upf配置内容计费比较为完全匹配，即标注配置正确；如果比较结果是不匹配，就标注缺少配置的具体内容ipv4、ipv6、host、url；

45、当工单内容计费是删除(del)操作时，基准数据与pgw/upf配置内容计费比较为完全匹配，即标注配置问题；如果比较结果是部分ipv4、ipv6、host、url匹配，即在匹配数据部分标注配置问题；如果比较结果是都不匹配，说明现网配置已删除，客户需求数据已配置正确；

46、工单内容计费稽查支持自动周期性全量核查，还可以通过apn进行单独稽查，该方式是通过提取解析的工单数据中单个apn的需求操作数据，为了避免后期数据错误，也是按时间顺序先后核查，以提取的单个apn需求数据为基准，再与现网配置里对应apn的数据逐个比对，比对时需要区分添加和删除操作。

47、进一步地，所述配置数据稽查逻辑中，稽查工具支持定时和周期性自动全量稽查，还可以通过终端号码、apn条件进行内容计费数据稽查，apn条件的稽查逻辑是取基准数据中对应apn的数据，用apn的基准数据逐条核对此apn在pgw/upf上的内容计费，比对结果仍然标注一致或不一致详情；终端号码条件的稽查需要先在xdr数据确定号码签约的apn，然后再以apn条件稽查，稽查逻辑同apn条件进行内容计费数据稽查，展示结果需要展示终端号码和apn关联关系，以及一致性核查结果。

48、进一步地，输出apn维度，用户维度稽核一致性结论包括：在稽查时可以方便的查询目前的已配置数据，可以通过apn查询，通过pgw/upf查询，也可以查询全量数据；根据稽查逻辑，apn稽查结果输出，在“一致性”列标注是否一致，在“不一致类型”列标注不一致的详细来源。

49、本发明的有益效果为：

50、1、工单自动解析：利用apache poi解析excel文件、逐行获取数据、使用正则表达式匹配符合条件的数据并将关键字段存入mysql数据库的过程。通过自动化处理数据，可以实现数据处理的自动化，提高工作效率，减少人工操作的错误和遗漏。通过数据筛选和清洗，通过正则表达式匹配符合条件的数据，可以筛选和清洗原始数据，为后续的数据分析、挖掘和报告提供准确、可靠的数据源。在数据集成方面，将筛选后的关键字段存入mysql数据库，可以实现数据的集中存储和管理，便于后续的数据查询、统计和分析。因此可以应用于多种场景，如数据导入、报表生成、业务数据分析等，具有较高的实用价值。

51、2、配置自动解析：基于跨厂家的内容计费配置规范逻辑可以实现自动化处理非结构化数据的过程，避免了手动处理的繁琐和容易出错的问题，提高了处理效率和准确性。同时将非结构化或半结构化的数据变成结构化数据，可以更好地进行数据分析和挖掘，为数据驱动决策提供了可靠的基础。本方法通过对数据的抽象和分层，可以更好地理解数据之间的关系和相互作用，同时也可以简化数据的处理和使用过程，提高了数据的可用性和可扩展性。本方法基于对内容计费分场景开通配置定义和遵循了特定的数据结构和标准化规则，可以确保数据的质量和一致性，减少因为数据格式和结构不同导致的错误和不一致性。

52、3、内容计费条目稽核：工单和配置内容计费稽查支持自动周期性全量核查。还可以通过apn进行单独稽查，该方式是通过提取解析的工单数据中单个apn的需求操作数据，为了避免后期数据错误，也是按时间顺序先后核查。通过对工单数据和现网的内容计费数据比较，可以确定客户需求的内容计费是否已配置、是否已删除、是否配置遗漏等配置错误，保障客户需求配置的完整性和正确性。

53、4、本发明通过统一原则，自动翻译集团3l/7l解析逻辑，避免多批次人工添加配置导致的url前向/后向/混合通配规则错漏，自动关联b域签约业务套餐信息中的业务分类、业务编码sid和业务名称等关键信息，自动核对配置是否满足集团工单要求的规则和签约信息，方便迅速判断是否内容计费打标等错漏。节省60％人工处理时长，可提升更新内容计费配置时的计费验证效率，从源头上提升用户满意度。解决了物联网和行业apn内容计费自动稽查配置数据依赖手工提取，需跨厂家跨专业数据进行联合分析导致的效率低、缺乏有效支撑手段的问题。可提前发现配置问题，避免因为配置数据导致的投诉。实现了内容计费配置数据的查询、维护数字化，从而减少用户投诉，提升用户满意度。