一种信令数据的预处理方法
【专利摘要】本发明公开了一种信令数据的预处理方法，包括以下步骤：监测信令采集层的FTP接口机的新增信令文件、信令数据传输到信令共享层的Buffer、Buffer中信令数据清洗和转换。该一种信令数据的预处理方法与现有技术相比，信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作，避免信令文件在预处理过程中的二次读取，有效节省了整个信令数据处理的时间，实用性强。
【专利说明】一种信令数据的预处理方法
【技术领域】
[0001]本发明涉及移动通信行业信令监测技术，具体地说是一种实用性强、信令数据的预处理方法。
【背景技术】
[0002]移动通信网络的发展不断增速，网络内各类设备混合组网，网络结构日趋复杂，网内业务种类也不断更新，随着网络规模不断扩大、用户数量增加，每分钟都会产生大量的信令数据，对信令信息的采集、存库和处理效率等都提出了更高的要求。
[0003]在一个通信信令监测平台中，信令采集层，主要是从移动通信网中取得原始的信令数据，并向汇聚设备传送所需的数据，通过分流、分光、分路等方式，实现对现网中传送的原始信令编码的采集，并在采用规定的格式进行封装后向信令共享层传送，以备解析处理，具备一定的存储能力。信令共享层，主要功能是接收从采集层汇聚设备发送到来的信令数据，进行数据清洗按照特定格式入库，并对全量信令数据进行解析。
[0004]按照传统的技术架构，信令数据在信令采集层主要汇总到[吓①丨匕1以118？61~^1-0^0001)接口机上，每当有新的信令数据文件的被生成的时候，都要将信令文件由接口机通过冗？传输协议传送到数据共享层，然后再重新读取传输过来的信令文件进行数据清洗等预处理。由于移动用户的增长和通信业务的扩展，信令数据会越来越大，传统方法难以满足实时性处理的需求，基于此，现提供一种可有效解决上述难题的信令数据的预处理方法，该方法避免信令文件在预处理过程中的二次读取，有效节省了整个信令数据处理的时间。
【发明内容】
[0005]本发明的技术任务是针对以上不足之处，提供一种实用性强、信令数据的预处理方法。
[0006]一种信令数据的预处理方法，其具体实现过程为:
1?监测信令采集层的接口机的新增信令文件；
2)信令数据传输到信令共享层的811打:信令数据传输到信令共享层之前首先写入到811打中暂存，然后信令数据采用协议传输；
3)81:^61-中信令数据清洗和转换:匹配811打中暂存的信令数据的换行符，获取一行数据，对每行数据进行字段分割，然后获取字段清洗转换规则对每行数据进行数据清洗和转换操作，然后将清洗和转换之后的数据写入到信令共享层本地文件；
4)释放内存811打跳转到步骤1),继续对信令采集层的接口机进行新增文件的监控。
[0007]所述步骤1)的详细过程为:定时监控信令采集层？I？接口机中是否有新的信令文件生成，如果有则获取新增的文件名称，在信令共享层的存储中新建同名信令文件，然后启动数据抽取任务。
[0008]所述步骤2)的详细过程为:
一、在信令共享层开辟一块内存811打61~；
二、通过传输协议将信令采集层接口机中的新增文件通过数据流的形式传输到内存811打61~中，填满811打61'，然后执行步骤3中的数据进行清洗和转换；如果未填满，说明信令采集层中的信令文件已经读取完毕，然后执行步骤3)和步骤4)；
三、当信令采集层信令文件未读取完毕:通过寻找换行符的方式获取存储在内存中的一行信令数据，如果811打61~中的数据不满一行则清空811打61'，将这些不满一行的数据重新存储在811打中，然后执行步骤一，否则执行步骤四；
信令采集层信令文件读取完毕:通过寻找换行符的方式获取存储在内存81！打虹中的一行信令数据，如果811打中的数据满足一行，执行步骤四，否则将未满一行的信令数据写入到错误日志中，然后跳转到步骤4)；
四、将获取的一行数据按照字段分割符分割字段。
[0009]所述步骤3)的详细过程为:获取信令数据清洗转换规则，对字段分割之后的数据进行字段清洗和转换，转换成功则将这行数据以文件流的形式写到步骤1)新建的信令文件中，转换失败则将错误原因写到错误日志中；当信令采集层信令文件未读取完毕，最后跳转到步骤三，否则跳转到步骤4?。本发明的一种信令数据的预处理方法，具有以下优点:
该发明的一种信令数据的预处理方法可以缩短整个信令预处理的流程，提高处理效率；信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作，避免信令文件在预处理过程中的二次读取，有效节省了整个信令数据处理的时间，实用性强，适用范围广泛，易于推广。
【专利附图】
【附图说明】
[0010]附图1为本发明预处理实现流程图。
【具体实施方式】
[0011]下面结合附图和具体实施例对本发明作进一步说明。
[0012]传统的信令文件由信令采集层的？I？接口机传输到信令共享层之后，再次读取传输过来的信令文件，对信令进行清洗和转换的操作，本发明提出一种信令数据的预处理方法，该方法考虑到信令从冗？接口机传输到信令共享层会新建文件流将传输过来的数据通过文件流写入到文件的特点，在数据写入文件之前首先写入到内存811打中，对内存
中的数据进行清洗等预处理，然后将811打中的数据通过文件流写入到数据共享层的文件，该方法可以缩短整个信令预处理的流程，提高处理效率。即信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作，避免信令文件在预处理过程中的二次读取，有效节省了整个信令数据处理的时间。如附图1所示，其具体实现过程为:
1)监测信令采集层的接口机的新增信令文件；
2)信令数据传输到信令共享层的811打:信令数据传输到信令共享层之前首先写入到811打中暂存，然后信令数据采用协议传输；
3)81:^61-中信令数据清洗和转换:匹配811打中暂存的信令数据的换行符，获取一行数据，对每行数据进行字段分割，然后获取字段清洗转换规则对每行数据进行数据清洗和转换操作，然后将清洗和转换之后的数据写入到信令共享层本地文件；
4)释放内存811打跳转到步骤1 ),继续对信令采集层的接口机进行新增文件的监控。
[0013]进一步的，上述步骤的详细过程为:
1、定时监控信令采集层冗？接口机中是否有新的信令文件生成，如果有则获取新增的文件名称，在信令共享层的存储中新建同名信令文件，然后启动数据抽取任务；
2、在信令共享层开辟一块内存811打；
3、通过传输协议将信令采集层接口机中的新增文件通过数据流的形式传输到内存811打61~中，填满811打61'，然后执行步骤4-6对811打61~中的数据进行清洗和转换；如果未填满，说明信令采集层中的信令文件已经读取完毕，然后执行步骤4-7 ；
4、信令采集层信令文件未读取完毕:通过寻找换行符的方式获取存储在内存81！打虹中的一行信令数据，如果811打中的数据不满一行则清空811打61'，将这些不满一行的数据重新存储在811打中，然后执行步骤3，否则执行步骤5 ；
信令采集层信令文件读取完毕:通过寻找换行符的方式获取存储在内存81！打虹中的一行信令数据，如果811打中的数据满足一行，执行步骤5，否则将未满一行的信令数据写入到错误日志中，然后跳转到步骤7 ；
5、将获取的一行数据按照字段分割符分割字段；
6、获取信令数据清洗转换规则，对字段分割之后的数据进行字段清洗和转换，转换成功则将这行数据以文件流的形式写到步骤1新建的信令文件中，转换失败则将错误原因写到错误日志中；
如果信令采集层信令文件未读取完毕，最后跳转到步骤4，否则跳转到步骤7 ；
7、释放内存811打跳转到步骤1，继续对信令采集层的接口机进行新增文件的监控。
[0014]上述【具体实施方式】仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述【具体实施方式】，任何符合本发明的一种信令数据的预处理方法的权利要求书的且任何所述【技术领域】的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
【权利要求】
1.一种信令数据的预处理方法，其特征在于，其具体实现过程为: O监测信令采集层的FTP接口机的新增信令文件； 2)信令数据传输到信令共享层的Buffer:信令数据传输到信令共享层之前首先写入到Buffer中暂存，然后信令数据采用FTP协议传输； 3)Buffer中信令数据清洗和转换:匹配Buffer中暂存的信令数据的换行符，获取一行数据，对每行数据进行字段分割，然后获取字段清洗转换规则对每行数据进行数据清洗和转换操作，然后将清洗和转换之后的数据写入到信令共享层本地文件； 4)释放内存Buffer，跳转到步骤I)，继续对信令采集层的FTP接口机进行新增文件的监控。
2.根据权利要求1所述的一种信令数据的预处理方法，其特征在于，所述步骤I)的详细过程为:定时监控信令采集层FTP接口机中是否有新的信令文件生成，如果有则获取新增的文件名称，在信令共享层的存储中新建同名信令文件，然后启动数据抽取任务。
3.根据权利要求2所述的一种信令数据的预处理方法，其特征在于，所述步骤2)的详细过程为: 一、在信令共享层开辟一块内存Buffer； 二、通过FTP传输协议将信令采集层FTP接口机中的新增文件通过数据流的形式传输到内存Buffer中，填满Buffer，然后执行步骤3)对Buffer中的数据进行清洗和转换；如果Buffer未填满，说明信令采集层中的信令文件已经读取完毕，然后执行步骤3)和步骤4); 三、当信令采集层信令文件未读取完毕:通过寻找换行符的方式获取存储在内存Buffer中的一行信令数据，如果Buffer中的数据不满一行则清空Buffer，将这些不满一行的数据重新存储在Buffer中，然后执行步骤一，否则执行步骤四； 信令采集层信令文件读取完毕:通过寻找换行符的方式获取存储在内存Buffer中的一行信令数据，如果Buffer中的数据满足一行，执行步骤四，否则将未满一行的信令数据写入到错误日志中，然后跳转到步骤4); 四、将获取的一行数据按照字段分割符分割字段。
4.根据权利要求3所述的一种信令数据的预处理方法，其特征在于，所述步骤3)的详细过程为:获取信令数据清洗转换规则，对字段分割之后的数据进行字段清洗和转换，转换成功则将这行数据以文件流的形式写到步骤I)新建的信令文件中，转换失败则将错误原因写到错误日志中；当信令采集层信令文件未读取完毕，最后跳转到步骤三，否则跳转到步骤4)0
【文档编号】H04W24/02GK104507107SQ201410791579
【公开日】2015年4月8日 申请日期:2014年12月19日 优先权日:2014年12月19日
【发明者】曹连超, 辛国茂, 亓开元, 李占强, 刘伟, 卢军佐 申请人:浪潮电子信息产业股份有限公司