专利名称：一种数据快速入库方法
技术领域：
本发明涉及网络管理技术，具体地说，是涉及在复杂的多层网络管理系统中，对大量、异地、分散的节点数据进行处理的方法。
背景技术：
随着科学技术的发展，人们生活水平的提高，电信运营商的业务量越来越大。相应地，业务数据量越来越大；随着集中网管的地位、作用的提升，集中网管的需求越来越多、细致，相应地要求更多的原始数据，以此来分析、预测网管系统的性能。
由于集中网管和各节点存在地域上的差异，各节点之间也存在地域上的差异；同时各节点的业务不断增大，节点也不断增多；各节点不断产生新的数据，这就要求在单位时间内要将这些大量的、分散的、异地数据快速录入省级网管的数据库中。
在现行技术中，业界采用共用数据库，没有大量、异地、分散数据转移的需求。在实际情况中，输送数据时占用较大的网络带宽，同时单位时间内处理的数据量有限，在单位时间内不能满足数据量越来越大的需求；另一方面，各种数据库均有大数据量入库成熟技术，但前提是，这些大量数据必须在本地，且已准备好的。
因此，如何提供一种对大量、异地、分散数据的处理方法，成为亟待解决的问题。
发明内容
本发明所要解决的技术问题是提供一种数据快速入库方法，来实现在单位时间内将分散在各异地节点的大量数据快速入库，满足不断扩大的业务需求和集中管理的需求。
为解决上述技术问题，本发明提供方案如下一种数据快速入库方法，用于多层网管系统中各级后台计算机系统间的交互，及后台网管系统内部的交互，包括如下步骤下级节点收到数据包，将数据包处理成数据文件形式并保存，并将数据文件路径保存至下级节点中的数据队列中；下级节点中的数据处理线程根据下级节点中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入下级节点中的数据库中；下级节点将下级节点需要上报的数据文件压缩成数据压缩包，并上传至上级节点；上级节点收到数据压缩包后将数据压缩包进行解压缩，将解压缩后的数据文件进行保存，并将数据文件路径保存至上级节点中的数据队列中；上级节点中的数据处理线程根据上级节点中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入上级节点中的数据库中。
本发明所述的方法，通过采用数据库批处理技术处理数据，提高了数据处理效率；通过采用压缩文件进行数据传输，减小了网络负载压力；通过在下级采用存储过程入库的容错处理，来去除重复数据，保证了上传数据的唯一性，减少重复数据对上级网管的冲击；本发明大大提高了上级节点在单位时间内处理数据的能力，极大限度的满足了扩张、集中管理的需要，减少了对网络带宽的压力。
本发明所要解决的技术问题、技术方案要点及有益效果，将结合实施例，参照附图作进一步的说明。
图1为本发明实施例所述多级网络混合组网结构示意图；
图2为本发明实施例所述多级网管系统数据流向示意图；图3为本发明实施例所述前台数据上传到后台OMM主题示意图；图4为本发明实施例所述下级节点中保存数据文件及数据文件路径保存示意图；图5为本发明实施例所述下级后台数据批处理入库流程图；图6为本发明实施例所述下级后台数据存储过程入库流程图；图7为本发明实施例所述下级后台数据主报处理流程图；图8为本发明实施例所述上级后台数据主报处理流程图；图9为本发明实施例所述上级后台数据批处理入库流程图。
具体实施例方式
本发明所述方法，用于多层网管系统(单级、二级、三级网管系统等)中各级后台计算机系统间的交互，及后台网管系统内部的交互。
如图1所示，本发明所述方法可用于由操作维护模块(OMM)、本地操作维护中心(LOMC)及省级操作维护中心(POMC)组成的混合网络中，来实现对大量、异地、分散数据的快速入库处理。
参照图2，来对本发明所述方法作进一步说明。
在实际组网中，OMM的数据可以上报到LOMC的数据库中，也可以直接上报到POMC的数据库中。
首先，操作维护模块中的网元通信功能子模块(EMF)接收前台定期构造并上传的数据包，将数据包解析、转换成数据对象并发送到一个主题(J2EE体系中的Jboss主题)上；然后，操作维护模块中的公共应用功能子模块(CAF)采用监听主题的方法从主题上接收数据对象，并将数据文件路径保存至操作维护模块中的数据队列中；此处，采用监听主题的方式接收数据，无论网元通信功能子模块何时发送数据对象至主题，公共应用功能子模块都将能及时从主题上接收数据对象，因此可以支持前台多次数据上报；操作维护模块中的操作维护模块数据处理线程根据操作维护模块中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入操作维护模块数据库中；操作维护模块根据操作维护模块中的主报定时器计时到，将需要上报的数据文件进行压缩，并向LOMC或POMC上传数据压缩包；此处，OMM主报定时器是根据前台上报数据包的时间点及上报数据包的持续时间来设定定时时间的；OMM上的数据如果是上报到LOMC中的数据库中，则当本地操作维护中心中的主报定时器到，对从操作维护模块收到的数据压缩包进行解压缩处理，根据不同的数据文件对象将解压缩后的数据文件进行合并，根据数据文件的兼容性对数据文件作兼容处理并保存(由于LOMC一般需要处理多个OMM的数据，各OMM可能是不同版本，因此需要作兼容处理)，并将数据文件路径保存至本地操作维护中心中的数据队列中；此处，LOMC主报定时器是根据操作维护模块中主报定时器时间、操作维护模块的压缩数据时间和上传数据包时间来设定定时时间的；然后，LOMC中的LOMC数据处理线程根据LOMC中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入LOMC数据库中。
OMM上的数据如果是直接上报到POMC中的数据库中，则当省级操作维护中心中的主报定时器到，对从操作维护模块收到的数据压缩包进行解压缩处理，根据不同的数据文件对象将解压缩后的数据文件进行合并，根据数据文件的兼容性对数据文件作兼容处理后并保存，并将数据文件路径保存至省级操作维护中心中的数据队列中；此处，POMC主报定时器是根据操作维护模块中主报定时器时间、操作维护模块的压缩数据时间和上传数据包时间来设定定时时间的；然后，POMC中的POMC数据处理线程根据POMC中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入POMC数据库中。
另外，如果LOMC本身管理前台网元，即LOMC兼有OMM功能，LOMC本身数据(非下级其它OMM上报的数据)直接上报到POMC数据库中，图2中未示出。这里，需要说明的是，图2中所示出的情况，是LOMC没有接前台，也就是说LOMC本身没有数据，LOMC的数据是来自下级OMM；下级OMM的数据除了可以上报LOMC，还可以上报POMC；对于上报给POMC的情况，没必要通过LOMC再转发一次，因为那样会导致效率降低。这里，LOMC接收前台数据过程和前面OMM处理过程一样，这里不再赘述，看一下LOMC将数据上报到POMC数据库过程。当LOMC的定时器计时到后，将需要上报的数据文件进行压缩，并向POMC上传数据压缩包；此处LOMC定时器示根据前台上报数据包的时间点及上报数据包的持续时间来设定定时时间的；POMC的数据处理流程如前所述。
参照图3，为本发明实施例所述前台数据上传到后台OMM主题示意图。
前后台都是通过网元通信功能子模块进行消息交互的，前台定时构造数据包，以消息的形式发送给EMF子模块，EMF子模块对前台数据包进行处理，解析成后台可以识别的数据对象，再以消息的形式发送到一个主题上。
参照图4，为本发明实施例所述下级节点中保存数据文件及数据文件路径保存示意图。
下级公共应用功能子模块(CAF)从主题上接收网元通信功能子模块(EMF)发送的消息，按照一定的规则进行解析，把消息中的数据对象保存为数据文件；此数据文件符合数据库批处理要求；同时将数据文件的路径添加到OMM队列尾。
由于数据消息在内存中，占用内存，而文件保存在硬盘上，所以保存为文件其实是缓存，减小对内存的压力。
参照图5，为本发明实施例所述下级后台数据批处理入库流程图。
数据批处理入库是一个独立的数据处理线程，一直在运行；当数据处理线程队列有待处理的数据文件时，数据处理线程就从数据文件路径队列头获取数据文件路径，调用数据库批处理工具进行数据批处理入库，充分利用数据库批处理的优势。
如果批处理成功，则判断对象是否需要上报如果需要上报，则保留数据文件；如果不需要上报，则删除该数据文件。
如果批处理上报不成功，则调用存储过程入库，得到存储过程返回的对象数据信息如果还有数据(不完全是重复数据)，则判断对象是否需要上报如果需要上报，则更新数据文件；如果不需要上报，则删除该数据文件。
如果没有数据(完全是重复数据)，则删除该数据文件。
参照图6，为本发明实施例所述下级后台数据存储过程入库流程图。
在批处理失败后，调用存储过程入库；批处理入库是批量处理数据，而存储过程是逐条处理数据。
逐条处理数据记录，判断数据记录是否和数据库记录重复如果重复，则将该记录丢弃；否则，记录该数据记录。最后，更新此次数据记录。
参照图7，为本发明实施例所述下级后台数据主报处理流程图。
下级处理流程是由主报定时器来控制的，当主报定时器时间到，扫描数据文件存放目录，将数据文件目录压缩为一个文件。
压缩完毕后，查询数据文件需要上报的上级节点相关信息。
根据上报节点信息，分别按节点判断上级节点的链路状态如果链路状态畅通，则使用FTP进行上传；否则，记录无法上报的节点信息以及数据文件信息，以备链路恢复后继续上传。
参照图8，为本发明实施例所述上级后台数据主报处理流程图。
上级处理流程是由主报定时器来控制的，当主报定时器时间到，扫描下级压缩数据文件存放目录；将下级压缩数据文件进行解压缩，得到数据文件目录及数据文件，然后删除压缩数据文件。
扫描下级数据文件目录，按照对象记录各下级数据文件路径，将同一对象不同的数据文件路径记录下来。
根据记录的对象数据文件路径，将同一个对象的数据文件合并为一个文件；根据版本兼容的要求，合并过程中可以根据数据的兼容信息对数据作兼容处理，使得上级可以兼容下级不同版本；合并的目的是充分利用数据库批处理工具的优势，减少数据入库的次数，提高单位时间内数据入库的能力。
当一个对象的数据文件合并完毕后，将合并后的数据文件路径记录在数据文件队列中，供批处理流程使用。
参照图9，为本发明实施例所述上级后台数据批处理入库流程图。
数据批处理入库是一个独立的数据处理线程，一直在运行；当数据处理线程队列有待处理的数据文件时，数据处理线程就从数据文件路径队列头获取数据文件路径，调用数据库批处理工具进行数据批处理入库，充分利用数据库批处理的优势。
本发明所述的一种数据快速入库方法，并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明之领域，对于熟悉本领域的人员而言可容易地实现另外的优点和进行修改，因此在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。
权利要求
1.一种数据快速入库方法，用于多层网管系统中各级后台计算机系统间的交互，及后台网管系统内部的交互，其特征在于包括如下步骤(1)、下级节点收到数据包，将数据包处理成数据文件形式并保存，并将数据文件路径保存至下级节点中的数据队列中；(2)、下级节点中的数据处理线程根据下级节点中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入下级节点中的数据库中；(3)、下级节点将下级节点需要上报的数据文件压缩成数据压缩包，并上传至上级节点；(4)、上级节点收到数据压缩包后将数据压缩包进行解压缩，将解压缩后的数据文件进行保存，并将数据文件路径保存至上级节点中的数据队列中；(5)、上级节点中的数据处理线程根据上级节点中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入上级节点中的数据库中。
2.根据权利要求1所述的方法，其特征在于所述下级节点是操作维护模块。
3.根据权利要求1所述的方法，其特征在于所述下级节点是本级操作维护中心。
4.根据权利要求2或3所述的方法，其特征在于步骤(1)中所述下级节点收到数据包，将数据包处理成数据文件形式并保存，是操作维护模块中的网元通信功能子模块接收到前台上报的数据包，将接收到的数据包解析成数据对象并发送到主题上，操作维护模块中的公共应用功能子模块从主题上接收数据对象并保存为数据文件。
5.根据权利要求4所述的方法，其特征在于所述操作维护模块中的网元通信功能子模块接收到前台上报的数据包，是收到前台定期构造并发送的数据包。
6.根据权利要求4所述的方法，其特征在于所述操作维护模块中的公共应用功能子模块从主题上接收数据文件并保存，是公共应用功能子模块以监听主题的方式接收数据文件并保存的。
7.根据权利要求4所述的方法，其特征在于步骤(3)中所述下级节点将下级节点需要上报的数据文件压缩成数据压缩包，并上传至上级节点，是下级节点根据下级节点中的主报定时器计时到，将需要上报的数据文件进行压缩，并根据所要上报的上级节点将数据压缩包上传。
8.根据权利要求7所述的方法，其特征在于所述下级节点中的主报定时器是根据前台上报数据包的时间点及上报数据包的持续时间来设定定时时间的。
9.根据权利要求2所述的方法，其特征在于所述上级节点是本地操作维护中心或省级操作维护中心。
10.根据权利要求3所述的方法，其特征在于所述上级节点是省级操作维护中心。
11.根据权利要求9或10所述的方法，其特征在于步骤(4)中所述上级节点收到数据压缩包后将数据压缩包进行解压缩，是上级节点中的主报定时器到，上级节点将收到的数据压缩包进行解压缩。
12.根据权利要求11所述的方法，其特征在于所述上级节点中的主报定时器是根据下级节点主报定时器时间、下级节点压缩数据时间和上传数据包时间来设定定时时间的。
13.根据权利要求9或10所述的方法，其特征在于步骤(4)中所述上级节点将解压缩后的数据文件进行保存，是根据不同的数据文件对象将解压缩后的数据文件进行合并并保存。
14.根据权利要求1所述的方法，其特征在于所述将数据文件批量导入下级节点或上级节点数据库中，如果导入数据库失败，将记录异常文件，再次导入数据库时，采用存储过程导入数据库。
15.根据权利要求1所述的方法，其特征在于所述上传数据压缩包，如果失败，将记录异常信息。
16.根据权利要求1所述的方法，其特征在于步骤(4)中所述将解压缩后的数据文件进行保存，是根据数据文件的兼容性对数据文件作兼容处理后并保存的。
全文摘要
本发明公开了一种数据快速入库方法。下级节点收到数据包，将数据包处理成数据文件形式并保存，并将数据文件路径保存至下级节点中的数据队列中；下级节点中的数据处理线程根据下级节点中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入下级节点中的数据库中；下级节点将下级节点需要上报的数据文件压缩成数据压缩包，并上传至上级节点；上级节点收到数据压缩包后将数据压缩包进行解压缩，将解压缩后的数据文件进行保存，并将数据文件路径保存至上级节点中的数据队列中；上级节点中的数据处理线程根据上级节点中数据队列中保存的数据文件路径，采用数据库批处理技术将数据文件批量导入上级节点中的数据库中。
文档编号H04L12/56GK101039212SQ20061005982
公开日2007年9月19日 申请日期2006年3月15日 优先权日2006年3月15日
发明者黄远文 申请人:中兴通讯股份有限公司