一种可链接式流式数据解析动态流程构建模型实现方法与流程

本发明涉及一种可链接式流式数据解析动态流程构建模型实现方法，特别是涉及一种适用于数据通信领域的可链接式流式数据解析动态流程构建模型实现方法。

背景技术：

目前，流式数据处理应用主要热点在分布式云计算领域。如在一篇申请号为“CN201110450268.1”的中国专利申请文件中公开了一种适用流式处理的大规模数据连续分析系统实现方法，其适用流式处理的大规模数据连续分析系统，包括元数据管理模块，用于管理数据表和数据库的元信息；查询计划生成模块，用于接收查询请求，生成优化的查询计划；数据导入任务生成模块，用于接收数据导入请求，生成数据导入MR作业集；增量处理模块，用于并行地增量地提交Hadoop系统数据导入和查询作业；MR消息处理模块，用于接收Hadoop系统的Map或Reduce函数的结果，将结果输出给Reduce端或下一个作业；数据库连接模块，用于作为Hadoop系统和数据库之间的接口。该发明使用Hadoop系统将各节点中的数据库有机组织在一起，并发地执行数据导入和数据查询，使用管道技术改进MapReduce(MR)执行流程，使得数据查询以连续的流水的方式执行，大大缩短了大规模数据分析的时间。

通信产业是大数据的基础承载者。通信网络承载海量数据，无论是结构化，还是非结构化抑或是混合数据，都在通信网络上传输、承载、存储、交换。与此同时，所有接入信息网络人、物，又产生新的数据留下信息轨迹。通信网在由电信网转变成计算网同时，也形成了一个庞大的每天都在膨胀、更新的数据富矿。无疑，通信企业具有天然的大数据资源。

但对于通信产业大数据这个富矿的挖掘，首要解决的是基于设备和网络上的海量流式码流数据进行码流解析、协议解析转化、分类萃取有效数据，进而为进一步信息化数据大数据分析挖掘的提供数据源。而现有流式数据处理限于基于信息化数据大数据分析挖掘的分布式云计算技术解决方案。

技术实现要素：

本发明要解决的技术问题是提供一种可链接式流式数据解析动态流程构建模型实现方法及系统，应对通信协议数据码流解析这种层层剥离、分接、迭代解析的流式数据处理流式数据解析动态流程构建模型。

本发明采用的技术方案如下：

一种可链接式流式数据解析动态流程构建模型实现方法，具体方法步骤为：

步骤一、根据通道/信号码流解析任务的任务参数，获取通道/信号数据通信路径；

步骤二、基于所述通道/信号数据通信路径，匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；

步骤三、根据所述任务参数配置，通过可链接式处理单元算法单元控制接口初始化所述实例化对象；

步骤四、基于可链接式处理算法单元链接接口，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；

步骤五、调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。

所述任务参数为任务通信协议数据的协议封装类型参数，所述数据通信路径为协议封装转换路径。

获取通道/信号数据通信路径的具体方法为：对任务的通信协议数据进行逐层协议识别及协议解析验证，得到其协议封装类型，从而实现信号路径的识别。

与现有技术相比，本发明的有益效果是：

1、能针对流式通信协议码流数据解析，这种层层剥离迭代解析的流式数据处理，且在信号码流处理的流式及控制上均有良好的可伸缩性；

2、在信号码流处理上有较强恰如其分的适用性，开发者对核心技术有更强的掌握力，同时可链接式处理单元封装设计适用于用户已有的协议解析算法封装。

3、能够适用SDH、ATM、PSTN、IP、VSTA等有线或无线多种码流数据协议数据解析处理流程构建。

附图说明

图1为本发明其中一实施例的基础解析中解扰处理算法示意图。

图2为本发明其中一实施例的动态流程装配示意图。

图3为信号数据封装过程示意图。

图4为本发明其中一实施例的信号路径识别原理示意图。

图5为本发明其中一实施例的流式信号数据解析原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

具体实施例1

一种可链接式流式数据解析动态流程构建模型实现方法，具体方法步骤为：

步骤一、根据通道/信号码流解析任务的任务参数，获取通道/信号数据通信路径；

步骤二、基于所述通道/信号数据通信路径，匹配可链接式处理单元算法，构建可链接式处理单元算法单元实例化对象；

步骤三、根据所述任务参数配置，通过可链接式处理单元算法单元控制接口初始化所述实例化对象；

步骤四、基于可链接式处理算法单元链接接口，以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转的处理链构建；

步骤五、调用该处理链单元链接首节点的数据接口和参数接口，完成码流数据在各链接式处理算法单元对象的流转处理。

根据任务参数，获取通道/信号数据通信路径，获取任务执行资源，进而完成执行流程装配，并启动执行流程。

所述可链接式处理单元算法本领域技术人员能够根据自己相关匹配常识选择现有技术算法或者自己设定算法。

在本具体实施例中，如图1所示，通过对信号的X^43+1 解扰处理实现对信号的基础解析。

各种具体信号协议解析算法单元，封装完成具体信号协议范围内的数据协议解码。根据本具体实施例的实际业务应用有众多的基础解析算法单元集合，一般封装为静态库或动态库。其通用性特征就是：

算法输入特性：

参数1：in_pdata：待处理数据码流

参数2：inDataPara: 处理数据码流的描述元数据（解析所需元数据参数信息，如数据长度、数据误码率等）

算法输出特性：

参数1：Out_pdata：完成当前协议解析的载荷数据码流

参数2：OutDataPara: 输出载荷数据码流的描述元数据（后续处理所需参数信息，如数据长度、当前处理置信度率等）。

实现信号基础解析算法单元（包括流式数据读取和流式数据输出处理）可链式封装，将对各个基础解析算法单元均封装为可链式解析算法单元，使得各个基础解析算法单元具备的动态流程装配能力。

可链式封装设计方法为，针对每个基础解析算法单元，由一个对应的可链接式处理单元进行可链接式抽象接口继承后，完成对基础解析算法单元接口的调用处理逻辑封装，并实现可链接式抽象接口控制逻辑。

可链接式接口控制逻辑实现，包括两种类型接口，一种是提供给动态流程装配的控制接口和链接流程配置接口，另一种是可链接式处理单元间的流转推送数据接口和参数接口。

控制接口（Cotrol Port）：算法处理单元初始化、资源释放控制及其他控制需求的接口。

链接流程配置接口（Connect Port）：根据指定通道/信号的数据通信协议封装路径需要，进行后续处理对象的接口链接设计及接口。进而实现通道/信号的数据在各个可链接式处理单元间根据链接要求自行流转执行。可以对单个可链接式处理单元设置多个后续可链接式处理单元，该可链接式处理单元能够将其解析出的载荷数据分为多个副本（或类别）数据及参数推送给后续的各个可链接式处理单元（如图2所示中A算法单元同时链接到B、C算法单元）；同样可将对多个可链接式处理单元设置同一个后续可链接式处理单元，多个前序可链接式处理单元可已将其各自解析出的载荷数据及参数均推送给同一后续可链接式处理单元（如图2所示中到B、C算法单元后续处理链接到流式数据输出处理单元）。

数据接口（Data Port）和参数接口（Para Port）：各个可链接式处理单元在完成内部处理后，均调后续可链接式处理单元的数据接口和参数接口推送数据和参数。当可链接式处理单元的后续处理为空时，即为通道/信号的数据的最后一个处理者，其直接完成内部处理后返回。

本技术方案能针对流式通信协议码流数据解析，这种层层剥离迭代解析的流式数据处理，且可链接式设计在信号码流处理的流式及控制上均有良好的可伸缩性。信号码流处理上有较强恰如其分的适用性，开发者对核心技术有更强的掌握力。

具体实施例2

在具体实施例1的基础上，所述任务参数为任务通信协议数据的协议封装类型参数，所述数据通信路径为协议封装转换路径。

如图3所示，特定通道/信号的通信协议数据具备固定的层层协议封装转换路径的特性。可链接式处理单元封装设计适用于用户已有的协议解析算法封装。

具体实施例3

在具体实施例2的基础上，获取通道/信号数据通信路径的具体方法为：对任务的通信协议数据进行逐层协议识别及协议解析验证，得到其协议封装类型，从而实现信号路径的识别。

如图4所示，依据特定通道/信号的通信协议数据具备固定的层层协议封装转换路径的特性，根据通道/信号码流解析任务对相应通信协议数据进行调制识别及解调，得到所述相应通信协议数据的调制封装类型，从而实现信号路径识别，如图5所示，为特定通道/信号路径流式数据处理提供动态流程装配构建依据。

如图2所示，在本具体实施例中，基于通道/信号的数据通信协议封装路径参数，匹配可链接式处理单元算法单元，构建可链接式处理单元算法单元实例化对象。依据任务参数配置通过可链接式处理单元算法单元控制接口初始化实例化对象，进而基于可链接式处理算法单元链接接口，以通道/信号的数据通信协议封装路径为次序设置各个可链接式处理算法单元间的链接关系，实现通道/信号的数据在流式处理流转流程构建。

在动态流程装配完成通道/信号的数据在流式处理流转流程构建模型构建后，通道/信号码流解析任务分配线程执行资源后，调用处理链首节点（如图2中的首处理单元-可链接式流式数据提取单元）的数据接口和参数接口，该处理链就可自行逐步完成码流数据在各可链接式处理算法单元对象的流转处理。对与流式数据的循环处理执行循环调用处理链首节点的数据接口和参数接口或周期间歇性将首节点的数据接口和参数接口作为回调上下文挂载到线程池任务队列等待线程时间片轮询执行。