专利名称：多业务格式文件处理系统及方法
技术领域：
本发明涉及移动通信:汰术领域，尤其涉及一种多业务才各式文件 处理系乡充及方法。
背景技术：
随着电信业务的发展，电信增值业务的种类也越来越多。为了 更好为终端用户服务，提高终端用户的满意度和忠诚度，各个运营 商必须为用户提供更加完善和贴心的服务。例如，根据消息挖掘用 户使用习惯、根据日志定位问题等，以提高终端用户的体验。为了 挖掘出用户的使用习惯及对问题进行定位，需要通过保存用户的相 关数据，进行数据深层挖掘和分析以进行业务支撑。目前，各个业务中心为了保存数据，需要开发一套适合自身需 求的凄t据处理入库程序。上述程序，能够解析处理特定格式的文件， 并将其保存到特定表结构的数据库中。然而，对于功能相似^f旦格式不同的业务文件的凄t据处理入库， 软件提供商需要提供不同的处理系统及方法以满足不同的业务需 求，从而使得代码维护成本提高，进而增加了代码的复杂度，降低 了程序的稳定性。发明内容有鉴于此，本发明提供了 一种改进的多业务格式文件处理系统 及方法，用以解决由于依据特定的系统及方法对特定的业务文件进 行数据处理入库，而导致代码维护成本提高、代码复杂度增加或程 序稳定性降低的问题。根据本发明的一个方面，提供了 一种多业务格式文件处理系统。根据本发明的多业务格式文件处理系统包括配置读取模块、 清单扫描才莫块、 一个或多个清单解析冲莫块、以及一个或多个入库处 理才莫块，其中，配置读取才莫块，用于/人预i殳的配置文件中读取配置 信息，其中，配置信息包括配置规则和数据库表格式，其中，配 置规则包括扫描所需的第一配置规则以及解析所需的第二配置规 则；清单扫描模块，用于扫描原始话单目录的文件，并根据第一配 置规则将文件中的部分或全部文件分发给一个或多个清单解析才莫 块； 一个或多个清单解析模块，用于根据第二配置规则将来自清单 扫描模块的文件解析为数据库表格式的记录；入库处理模块，用于 下载记录，并保存至数据库中。才艮据本发明的另一个方面，才是供了一种多业务格式文件处理方法。根据本发明的多业务格式文件处理方法包括扫描原始话单目 录的文件，将文件中符合预设的第一配置规则的文件分拣到接收目 录，将原始话单目录中的其它文件分拣到拒绝目录下；才艮据预_没的 第二配置规则将接收目录中的文件解析为预设的数据库表格式的记 录；将解析得到记录保存至数据库中。通过本发明的上述至少一个方案，通过将原始话单目录下的文 件进行分类，将满足条件的文件进行文件解析，解析为统一的业务文件格式，从而解决了现有技术中由于依据特定的系统及方法对特 定的业务文件进行数据处理入库，而导致代码维护成本提高、代码 复杂度增加、程序稳定性降低的问题，通过本发明的技术方案可以 降低代码维护成本和代码复杂度，同时也可以保证程序的稳定和流 程的清晰。本发明的其它特征和优点将在随后的i兌明书中阐述，并且，部 分地从说明书中变得显而易见，或者通过实施本发明而了解。本发 明的目的和其他优点可通过在所写的说明书、权利要求书、以及附 图中所特别指出的结构来实现和获得。
附图用来提供对本发明的进一步理解，并且构成说明书的一部 分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中图1为根据本发明实施例的多业务格式文件处理系统的结构示 意图；图2为根据本发明优选实施例的多业务格式文件处理系统的结 构示意图；图3为才艮据本发明实施例的多业务格式文件处理方法的流,呈图；图4为才艮据本发明优选实施例的多业务格式文件处理方法的流 程图。
具体实施方式
功能和克述针对现有技术中依据特定的系统及方法对特定的业务文件进行 数据处理入库，而导致代码维护成本提高、代码复杂度增加、程序 稳定性降低的问题，本发明实施例提供了一种通用统一的、适用于 各种业务文件的处理方案，在本发明实施例中，扫描原始话单目录 的文件，将文件中符合预设的配置规则的文件分拣到接收目录下，将原始话单目录中的其他文件分拣到拒绝目录下；对于不同格式的 业务文件，才艮据不同的配置选项，加载不同的动态库(二进制格式需 要加载、文本文件不需要加载)，对文件进行解析处理，解析为与文 件格式相对应的记录，然后入库〗呆存。在不沖突的情况下，本申i青中的实施例及实施例中的特^正可以 相互组合。以下结合附图对本发明的优选实施例进行说明，应当理解，此 处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本 发明。系纟克实施例根据本发明实施例，首先提供了 一种多业务格式文件处理系统。图1为根据本发明实施例的多业务格式文件处理系统的结构示 意图。如图1所示，4艮据本发明实施例的多业务才各式文件处理系统 包括配置读取模块IO、清单扫描模块12、 一个或多个清单解析模 块(图中示出一个清单解析模块14)、以及一个或多个入库处理模 块(图中示出一个入库处理模块16)。以下进一步结合附图来描述 上述各个组成元素。配置读取模块IO，用于从预设的配置文件中读取配置信息，其 中，该配置信息包^":业务文件格式、配置身见则，其中，该配置头见 则包括扫描所需的第一配置失见则以及解析所需的第二配置失见则； 其中，业务文件格式是指将要处理的业务文件格式，比如，*.pmp 格式的业务文件格式。在具体实施过程中，在系统启动时，该才莫块用于乂人预i殳的配置 文件中读取配置信息，其中，上述配置信息还可以包4舌配置选项、 数据库表格式。清单扫描才莫块12，与配置读Wt块10相连^^妄，用于扫描原始 话单目录的文件，并4艮据第一配置MJI'J将原始话单目录下的文件中 部分或全部文件分发给一个或多个清单解析模块12;在具体实施过程中，清单扫描模块12在单个线程中实现其功 能，按照第一配置规则对各种业务格式文件进行查找，查找出符合 扫描所需的第一配置关见则的上述部分或全部文件，将上述部分或全 部文件分发至接收目录下，供一个或多个清单解析模块(分别位于 不同的线程中)进行处理，并将不符合上述配置规则的文件分发至 拒绝目录下。具体地，第一配置失见则可以为換照预i殳的配置选项中的文件 名(例如，SC*)进行^^莫糊匹配，将符合上述文件名的文件分发到 接收目录下。清单解析模块14,与清单扫描模块12相连4妻，用于才艮据第二 配置规则将来自清单扫描模块12的文件解析为数据库表格式的记 录；在具体实施过禾呈中，清单解4斤冲莫块14可以为一个也可以为多 个，每个清单解析模块14分别位于多个线程中，每个线程内的清单或全部文件，其中，该接收目录下的文件是由上述清单扫描模块12 分发的。因此，为多业务格式文件解析处理分担了负荷。具体地，上述第二配置身见则包括但不限于以下两类对于二进 制格式文件的解析需要加载解析话单的动态库配置选项；对于文本 文件的解析只需直4妾进4于配置。例如对于一条短信息文本文件， 包括发送时间，主叫号码， 一皮叫号码。可以先通过分隔符(如逗 号)解析文本文件的字段，在通过配置的选项解析某一字段的某一 字节，最终将该文本文件解析为数据库表格式的记录。入库处理模块16,与清单解析模块14相连接，用于下载上述 记录，并保存至数据库中。在具体实施过程中，入库处理才莫块16可以为一个或多个，分别 位于多个线程中，每个线程内的入库处理才莫块16负责对本线程内解 析后的lt据库表格式的记录进行入库。每个入库处理才莫块16对应于 一个清单解析模块14，将该清单解析模块14解析得到的记录入库， 因此，为多业务格式文件入库处理分担了负荷。图2为4艮据本发明优选实施例的多业务格式文件处理系统的详 细结构示意图。如图2所示，根据本发明优选实施例的多业务格式 文件处理系统的清单扫描才莫块12可以包括查找单元120、分发单 元122，其中，查找单元120,用于查找原始i舌单目录的文件中符合 上述第一配置身见则的文件；分发单元122，与查找单元120相连接， 用于将查找单元120查找到的文件发至上述接收目录，并将不符合 第一配置失见则的文件分发至拒绝目录下。优选地，上述清单解初^莫块14可以进一步包4舌解4斤单元140、 存^t单元142。其中，解析单元140,用于才艮据第二配置MJI'J将来自清单扫描模块12的文件解析为数据库格式的记录；存储单元142， 与解析单元140相连接，用于将解析单元140得到的记录按照数据 库表格式保存在内存单元中，其中，该数据库表格式由配置信息携 带；在具体实施过程中，入库处理模块16用于下载保存的内存单元 中的记录，并将下载的记录保存至凄t据库中，并且在下载内存单元 中的记录后，还用于对内存单元进行归还管理。
进一步地，上述多业务格式文件处理系统还可以包括监控告 警模块18、平台支撑模块20。其中，监控告警模块18,用于收集 系统运行的信息，并根据信息对系统进行监控和告警操作；平台支 撑模块20，与上述各大模块均连接，用于为系统的运行提供通信封 装处理。
进一步地，上述系统还可以包括存储模块22，其中，该存储模 块22与上述配置读取才莫块10相连4妻，用于存々者上述预i殳的配置文 件。
通过上述实施例，才是供了通用、对多种业务4各式文件都适用的 处理系统，框架式的结构保i正了程序的稳定，克力良了以往程序跟随 业务变动，代码维护成本较高，程序稳定性较低的缺点。从而降低 了代码维护成本和代码复杂度，保证了程序的稳定和流程的清晰。
方法实施例
根据本发明实施例，首先提供了 一种多业务格式文件处理方法。 该方法可以由本发明实施例才是供的上述多业务格式文件处理装置实现。
图3为才艮据本发明实施例的多业务格式文件处理方法的流程 图。如图3所示，根据本发明实施例的多业务格式文件处理方法包 括以下步骤(步骤S301-步骤S305 ):步骤S301:扫描原始话单目录的文件，将文件中符合预i殳的第 一配置规则的文件分拣到接收目录，将原始话单目录中的其它文件 分拣到拒绝目录下；
其中，上述第一配置失见则为扫描所需的配置夫见则，可以采用关 键字进行查找的方式。在具体实施过程中，在扫描原始话单目录的 文件之前，需要通过ftp工具将业务中心的话单文件下载到上述原 始话单目录下。具体地，可以定时扫描原始话单记录，如果原始话 单目录下无文件则进入^f木眠状态，直至下次定时器启动；如果原始 话单目录下有文件则将上述文件中符合预设的第一配置规则的文件 分拣到接收目录，将上述原始话单目录中的其他文件分拣到拒绝目 录下。
步骤S303:根据预设的第二配置规则将接收目录中的文件解析 为预设的数据库表格式的记录；
其中，上述第二配置失见则为解^f所需的配置关见则。在具体实施 过程中，需要定时扫描接收目录，如果接收目录下无文件则进入休 眠状态，直至下次定时器启动；如果接收目录下有文件则对该文件 进行解析处理，将解析完成的记录按照数据库表格式保存起来。优
选地，可将上述记录保存到内存单元中。
步骤S305:将解析得到的记录保存至数据库中。
在具体实施过程中，需要定时扫描存放上述记录的单元(例如， 内存单元)。如果有可下载的记录则进行下载，下载成功后，对存放 上述记录的单元(例如，内存单元)进4亍归还管理。如果下载失败， 加入失败重试队列，定时器触发重试下载。
下面结合图1和图2对本发明实施例提供的上述多业务格式文 件处理方法进4亍说明，图4为才艮据本发明优选实施例的多业务格式文件处理方法的流程图。如图4所示，才艮据本发明实施例的多业务 格式文件处理方法主要包括以下步骤(步骤S401-步骤S415 ):
步骤S401:通过ftp工具将业务中心的话单文件，下载到配置 的原始话单目录下；
步骤S403:清单扫描一莫块定时扫描原始话单目录，判断原始话 单目录下是否存在文件。如果否，则进入休眠状态，直至下一次定 时器被触发，继续执行步骤S403，如果是，则执行步骤S405;
步骤S405:对原始话单目录下的文件进4于分拣分发纟喿作，具体 地，可以判断原始话单目录下是否存在满足接收条件(即上述第一 配置失见则)，如果是，则执4于步骤S409;
步骤S407:清单扫描模块判断本次文件是否扫描完毕。如果是， 执行步骤S409;如果否，则清单扫描模块给其本身发送一个继续扫 描处理的指令，返回执行步骤S403;
步骤S409:将符合上述配置规则的文件分发到接收目录下，将 原始话单目录下的其它文件转移到拒绝目录下；
步骤S411:清单解析一莫块定时扫描接收目录，判断接收目录下 是否有文件。如果有，则执行步骤S413;如果否，则进入休眠状态， 直至下一次定时器^皮触发，继续执4于步骤S411;
步骤S413:对4妄收目录下的文件进4于解4斤处理，将解4斤完成的 记录按照数据库表格式保存到内存单元中；
步驶《S415:定时扫描内存单元是否存在可以下载的i己录。如果 有，对上述记录进行下载，下载成功，则对内存单元进行归还管理； 下载失败，则加入失败重试队列，定时器触发重试下载。通过上述实施例，提供了通用、对多种业务格式文件都适用的 处理方法，统一的方法保证了流程的清晰，克月艮了以往程序^艮随业 务变动，代码维护成本较高，程序稳定性较低的缺点。
如上所述，借助本发明实施例提供的技术方案，引进了统一处 理的概念，通过配置实现各种格式文件的处理，框架式的结构保证 了程序的稳定，简单化的处理方法保证了流程的清晰，克服了以往 程序跟随业务变动，代码维护成本较高，程序稳定性较低的缺点。 降低了系统开发的成本和复杂度，提高了整个系统的可靠性和复用 性。
以上所述〗又为本发明的优选实施例而已，并不用于限制本发明， 对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在 本发明的精神和原则之内，所作的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。
权利要求
1.一种多业务格式文件处理系统，其特征在于，包括配置读取模块、清单扫描模块、一个或多个清单解析模块、以及一个或多个入库处理模块，其中，所述配置读取模块，用于从预设的配置文件中读取配置信息，其中，所述配置信息包括配置规则和数据库表格式，其中，所述配置规则包括扫描所需的第一配置规则以及解析所需的第二配置规则；所述清单扫描模块，用于扫描原始话单目录的文件，并根据所述第一配置规则将所述文件中的部分或全部文件分发给所述一个或多个清单解析模块；所述一个或多个清单解析模块，用于根据所述第二配置规则将来自所述清单扫描模块的文件解析为所述数据库表格式的记录；所述入库处理模块，用于下载所述记录，并保存至数据库中。
2. 根据权利要求1所述的系统，其特征在于，所述清单扫描模块 包括查找单元，用于查找所述原始话单目录的所述文件中满足 所述第一配置^见则的所述部分或全部文4牛；分发单元，用于将所述查找单元查找到的所述部分或全部 文件分发至《^妄收目录下，并将所述原始话单目录中的其它文件 分发至拒绝目录下。
3. 根据权利要求2所述的系统，其特征在于，所述清单解析模块 包括解析单元，用于根据所述第二配置规则将所述接收目录下 的所述部分或全部文件解析为所述凄t据库表格式的记录；存储单元，用于将所述解析单元得到的所述记录按照所述 数据库表格式保存在内存单元中；所述入库处理模块用于下载保存的所述内存单元中的记 录，并将下载的记录保存至所述数据库中。
4. 根据权利要求3所述的系统，其特征在于，所述入库处理模块 还用于在下载所述内存单元中的所述记录后对所述内存单元 进4亍归还管理。
5. 根据权利要求1至4中任一项所述的系统，其特征在于，所述 系乡克还包4舌监控告警模块，用于收集所述系统运行的信息，并根据所 述信息对所述系统进行监控和告警操作；平台支撑模块，用于为所述系统的运行提供通信封装处理。
6. 根据权利要求1至4中任一项所述的系统，其特征在于，所述 系纟充还包4舌存储模块，用于存储所述预设的配置文件。
7. —种多业务格式文件处理方法，其特征在于，包括扫描原始话单目录的文件，将所述文件中符合预设的第一 配置规则的文件分拣到接收目录，将所述原始话单目录中的其 它文件分拣到拒绝目录下；才艮据预:没的第二配置失见则将所述4妾收目录中的文件解初^ 为预设的数据库表格式的记录；将解析得到所述记录保存至数据库中。
8. 根据权利要求7所述的方法，其特征在于，才艮据所述第二配置 规则将所述4妄收目录中的文件解析为预i殳的凄t据库表格式的 T己录包才舌对于所述接收目录中的二进制格式的文件，加载预设的动 态库配置选项进行解析，得到所述数据库表格式的记录。
9. 根据权利要求7所述的方法，其特征在于，将所述接收目录中 的文件解析为预设的数据库表格式的记录之后，所述方法还包 括将解析完成的所述记录按照所述数据库表格式保存在内 存单元中；/人所述内存单元中下载所述记录。
10. 根据权利要求9所述的方法，其特征在于，从所述内存单元中 下载所述记录之后，所述方法还包括对所述内存单元进行归还管理操作。
全文摘要
本发明公开了一种多业务格式文件处理系统及方法，在上述系统中，包括配置读取模块、清单扫描模块、一个或多个清单解析模块、以及一个或多个入库处理模块，其中，配置读取模块，用于从预设的配置文件中读取配置信息；清单扫描模块，用于扫描原始话单目录的文件，并根据第一配置规则将文件中的部分或全部文件分发给一个或多个清单解析模块；一个或多个清单解析模块，用于根据第二配置规则将来自清单扫描模块的文件解析为数据库表格式的记录；入库处理模块，用于下载记录，并保存至数据库中。根据本发明提供的技术方案，可以降低代码维护成本和代码复杂度，同时也可以保证程序的稳定和流程的清晰。
文档编号H04W8/00GK101552976SQ20091013726
公开日2009年10月7日 申请日期2009年4月29日 优先权日2009年4月29日
发明者周国胜, 谢钢锋 申请人:中兴通讯股份有限公司