一种基于不同区域的光纤信号关联分析方法与流程

1.本发明涉及数据通信技术领域，特别涉及一种基于不同区域的光线信号关联分析方法。


背景技术：

2.现有的光纤线路关联分析方法大多数是手动分析，现有的光纤线路分析流程大致如下：各地分别对光纤线路进行信号的采集、各地分别把采集到的帧结构数据汇总，并手动导入到分析库中、通过汇总到分析库中的所有帧结构数据进行对比，计算出可能相同的光纤线路、再次把可能相同的光纤线路进行帧结构的归属地对比、在帧结构与对应的归属地一致的情况下，找到关联的光纤线路，但是，现有的分析流程存在如下缺陷：现有的关联分析流程比较低效，整体上流程没有全面自动化、关联分析流程涉及到不同区域的光纤线路数据采集，由于光纤信号采集设备的硬件或网张环境的不同导致采集信号有出入，原有的技术很难满足不同区域同时采集的需要、帧结构信号的对比与归属地信号对比都是通过人工统计方式处理。
3.因此，现有技术存在缺陷，需要改进。


技术实现要素：

4.本发明的主要目的是提出一种基于不同区域的光线信号关联分析方法，旨在实现不同区域光纤信号的自动关联分析。
5.为实现上述目的，本发明提出的一种基于不同区域的光纤信号关联分析方法，包括如下步骤：
6.s1：采集各区域的光纤线路数据，具体包括：从数据源中获取需要采集的地区与线路信息，生成各区域的关联分析任务，并将关联分析任务分发至各区域；
7.s2：将采集的各区域的光纤线路数据进行同步，并将该数据统一汇总到关联处理节点，具体包括：获取各区域的信息，并与各区域数据源建立通讯；获取需要同步的业务数据元数据，根据业务数据元数据信息开始同步业务数据；
8.s3：将统一汇总的各区域的光纤线路数据按照一定的策略进行对比，产生关联分析记录，具体包括：获取各区域的信息，根据各区域的信息从本地数据仓库中获取对应区域的业务信息，并进行初步关联分析；根据初步关联分析后的数据从本地数据仓库中获取线路的流量数据，并产生关联分析记录。
9.优选地，获取各区域的信息包括id、服务器ip、端口、鉴权信息。
10.优选地，步骤s1中，各区域光纤线路在进行信号分析前需要将采集的线路通过硬件设备进行换线，当各区域的换线完成后，各区域进行时间同步，时间同步完成后，开始采集信号。
11.优选地，步骤s2中，通过多线程技术与各区域数据源建立通讯，其中，光纤线路信息的同步包括各区域的原始光纤、合波、单波、帧结构数据、ip流量数据。
12.优选地，步骤s2中，取得业务数据后，依据区域id生成业务数据的全局id，全局id的生产规则主要由8个字节组成，第1个字节表示地区，第2个字节表示部门，第3个字节表示组，第4个字节保留，第5到第8个字节表示自增id，通过全局id数据的生成可保证全区域的数据不重复。
13.优选地，步骤s2中，若数据同步反馈失败，则实时记录日志信息，并尝试重试机制，重试机制包括的异常有：数据不一致异常、超时异常、断点异常。
14.优选地，步骤s3中，首先获取区域的合波、单波以及帧结构数据，进行初步的关联，关联逻辑主要是以递归的方式去对比各线路及各层次帧结构的信号类型，不同线路之间的相同信号类型。
15.优选地，步骤s3中，获取线路的流量数据后，根据流量ip的归属地以及帧结构电层分析出关联分析记录，根据ip流量的归属地存在相同的比例关系来进行深度分析。
16.与现有技术相比，本发明的有益效果是：
17.本方案解决了不同区域同步业务数据时id冲突的问题；
18.本方案解决了不同区域在保持时间一致的情况下采集数据的问题；
19.本方案在一定的使用场景上满足了关联分析全自动化的要求；
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
21.图1为本发明整体技术架构示意图；
22.图2为本发明分析调度组件处理流程示意图；
23.图3为本发明任务控制组件处理流程示意图；
24.图4为本发明数据同步组件处理流程示意图；
25.图5为本发明关联分析组件处理流程示意图；
26.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
27.本实施例提出的一种基于不同区域的光纤信号关联分析方法，参考图1，本方法中包括用于执行步骤s1的任务控制组件、用于执行步骤s2的数据同步组件、用于执行步骤s3的关联分析组件，还包括一个用于整体调度的分析调度组件。
28.参考图2，分析调度组件负责关联分析功能的总体调度，通过分析调度组件实现任务的控制、数据同步、关联分析等一系列有序的流程管理，扮演着关联分析功能的总调度角色。分析调度组件是光纤线路关联分析方法的总调度中心，通常在特定的条件下开始启动，如每天特定的时间点运行，具体的流程说明如下：
29.分析调度组件在准备运行之前针对相关的组件进行自检，主要目的是检查各组件是否运行正常；
30.各组件准备就绪后，分析调度组件从数据库中获取所有的区域信息，记录下各区
域的id、服务器ip、端口以及鉴权信息；
31.各区域信息加载完毕后，调用任务控制组件准备开始采集数据；
32.任务控制组件采集完数据后，数据同步组件运行数据同步功能，分析调度组件处于挂起状态；
33.分析调度组件在得到数据同步组件的反馈后进入下一步操作：如反馈失败：分析调度组件实时记录下日志信息，并尝试重试机制；如反馈成功：分析调度组件调用关联分析组件开始对不同区域的数据进行关联分析；
34.分析调度组件的重试机制包括的异常主要是以下几种：数据不一致异常、超时异常、断点异常，在超时异常重试机制下，分析调度组件会根据配置好的重试机制偿试重试，如重试失败则记录日志并进入人工干预状态，在断点异常重试机制下，分析调度组件会根据已同步数据的状态点开始断点续传，在数据不致异常下通常是业务数据错误导致，需要人工干预；
35.关联分析组件处于工作状态时，分析调度组件处于挂起状态；
36.关联分析完成后，分析调度组件判断是否存在已关联的线路，如存在则调用任务控制组件开始数据采集，如不存在则分析调度组件运行结束；
37.进一步地，参考图3，任务控制组件从数据源中获取需要采集的地区与线路信息，生成各区域的关联分析任务，并将关联分析任务分发至各区域；具体地：
38.分析调度组件通知任务控制组件开始处理信息采集；
39.任务控制组件从数据源中获取需要采集的地区与线路信息；
40.任务控制组件收到各区域可处理关联分析任务的信号后，开始生成各区域的任务；
41.任务控制组件会分发任务至各区域的任务采集处理器，告知准备处理关联分析任务；
42.任务控制组件收到各区域的任务采集准备就绪的指令后，会异步的同时下发指令，告知各区域开始采集；
43.由于各区域的光纤线路不同，在进行线路信号分析之前需要将采集的线路通过硬件设备换线，因此不同区域的切换线路时长也不同；任务控制组件会不断的监控各区域的换线过程是否完成，直到各区域反馈换线完成的指令后，任务控制组件会告知各区域进行时间的同步；
44.任务控制组件在收到各区域时间同步完成的指令后，会同时下发采集指令让各区域开始采集信号；
45.任务控制组件等待各区域完成信号采集后，通知分析调度组件完成任务的调度；
46.任务控制组件在各种异常处理机制下有自恢复功能，如换线、采集的失败与超时处理。
47.进一步地，参考图4，数据同步组件将采集的各区域的光纤线路数据进行同步，并将该数据统一汇总到关联处理节点，包括：获取各区域的信息，并与各区域数据源建立通讯；获取需要同步的业务数据元数据，根据业务数据元数据信息开始同步业务数据；具体过程如下：
48.从总调度处获取区域信息，包括ip、端口以及鉴权信息；
49.数据同步组件采用多线程技术分别与各区域数据源建立通讯；
50.各区域建连后，数据同步组件从配置中获取需要同步的业务数据元数据；根据业务数据元数据信息开始同步业务数据；
51.针对光纤线路信息的同步，主要涉及到各区域的原始光纤、合波、单波、帧结构数据、ip流量数据等；数据同步组件根据元数据信息获取到业务数据后，依据区域id生成业务数据的全局id，全局id的生产规则主要由8个字节组成，第1个字节表示地区，第2个字节表示部门，第3个字节表示组，第4个字节保留，第5到第8个字节表示自增id，通过全局id数据的生成可保证全区域的数据不重复；
52.数据同步组件完成同步后，反馈成功或失败信息给分析调度组件，进入下一步操作。
53.进一步地，参考图5，关联分析组件将统一汇总的各区域的光纤线路数据按照一定的策略进行对比，产生关联分析记录，具体包括：获取各区域的信息，根据各区域的信息从本地数据仓库中获取对应区域的业务信息，并进行初步关联分析；首先获取区域的合波、单波以及帧结构数据，进行初步的关联，关联逻辑主要是以递归的方式去对比各线路及各层次帧结构的信号类型，不同线路之间的相同信号类型如占总线路信号类型的一定比例(比例关系可根据业务场景的需要配置)，则初步关联成功。
54.根据初步关联分析后的数据从本地数据仓库中获取线路的流量数据，根据流量ip的归属地以及帧结构电层分析出关联分析记录；深度分析的数据量大，主要根据ip流量的归属地存在相同的比例关系来确定；关联分析组件完成后，反馈给分析调度组件并保存深度分析后的关联分析记录。
55.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。