专利名称：轨道交通票务数据分级分类处理系统及其方法
技术领域：
本发明属于交通控制领域，尤其涉及一种用于轨道交通的票务数 据分级分类处理系统及其方法。
背景技术：
随着世界经济和科技的不断发展，全球城市轨道交通已进入了新 一轮发展阶段。在布局上，实现从"单线建设"，向多层次、立体化、 综合性的"网络化"建设转变；在功能上，实现以了智能化、信息化 为标志的大客流、大线网、大交易量的智能管理系统。城市轨道交通智能管理系统的发达程度，不仅成为市民日常出行 的重要交通工具先进性的表征，更是体现城市综合竞争力的基础，对 国民经济的发展，乃至"和谐社会"的建设，将起着越来越大的作用。 目前我国的城市轨道交通的系统、设施及其产业，已从局部大城市的 点布设，向中等城市和网面的布设转变，形成了产业雏形；己成为全 球增长最快、最大的区域性市场。截至2006年年底，我国的上海、 北京、广州、深圳等10个城市已拥有轨道交通运营里程504.63公里 (上海到2007年底累计建成230公里)。到2020年，全国将有近25 个城市要建设总长1500公里的轨道交通，其中上海将建成18条线， 总里程970公里；到2050年，我国总建设里程可达5000公里，总投 资估算将超过8000亿元。在我国网络化、智能化的城市轨道交通的快速、规模化的建设与 发展背景下，呈现出巨大的现实和潜在的城市轨道交通市场。目前，在各种大型数据应用系统中，通常都借助于数据仓库技术、 利用系统软件、数据仓库软件等提供的数据挖掘工具完成数据挖掘功能，但是当数据量巨大时，为了实现多种复杂的分析运算，数据挖掘 的效率比较低，灵活性不强，且需要消耗相当多的系统资源，投入较 多的硬件成本，因此，需要一种能便捷高效且低成本的数据挖掘方法。 城市的大型轨道交通中票务系统的数据处理，正是这样一种大数据量 的数据应用场合，对于其数据处理中的数据挖掘方式，处理汇总以及 存储备份，因为轨道交通的随机性、即时性，尤其需要一种便捷高效 的票务数据处理系统来实现。发明内容本发明提供了一种票务数据分级分类处理系统及其方法，其目的 在于提高大数据量下票务数据挖掘的效率和灵活性，并尽量减少硬件 系统的投入。采用一种可灵活配置、分级分层的数据挖掘方式，先对 数据预处理，简化后台处理的复杂度，然后通过流水线方式的模块并 行处理，提高处理效率。本发明所述票务数据分级分类处理系统包括联机交易模块，接 收来自各层终端和外部系统的交易数据并装载入库；交易预处理进程 模块，实现数据交验、分离、归类，为后续专门化清分处理做准备； 交易清分进程模块，通过分批次，多进程并发，多机负载均衡、容错 技术等技术、灵活配置，实现高性能的数据处理；报表生成模块，根 据不同的使用需要将数据处理结果输出成各种报表和统计文件；数据 清理备份模块，完成数据的清理、备份、恢复等。所述交易预处理进程模块包括线内交易预处理模块、跨线交易 预处理模块、异常交易预处理模块、充值交易预处理模块、消费交易 预处理模块、非法交易预处理模块。所述交易清分进程模块包括线内交易清分模块、跨线交易清分 模块、异常交易清分模块、充值交易清分模块、消费交易清分模块， 非法交易清分模块。系统对票务数据的处理方式如下采集交易数据车站闸机采集和处理原始交易数据，在车站和线 路中央各级别完成数据的初步加工、统计后上送联机交易模块。预处理联机交易模块对数据进行预处理，完成数据合法性校验， 根据交易类型对原始数据进行分离，并通过分段、分组，使后续处理 的复杂度降低，并为不同数据之间的并行处理创造了条件。清分处理根据数据的不同特性及类型，采用分批次多进程并发 处理方式，在数据经过专门预处理的基础上，充分利用多机资源，实 现高性能、高可用性，高可靠性和高可扩展性的数据清分处理。结果整合由于数据已经经过了精细清分，可使系统很容易地生 成各种统计文件和报表，满足不同的管理、监控等的需要。清理备份完成数据的备份和清理，释放更多的系统资源，使系 统可以持续地、高效地完成数据处理工作。本发明使票务系统的数据挖掘工作效率可以大大提高，尤其是通 过了分级、分批次的并行处理等方式后，使原本需要大量硬件资源、 消耗大量时间才能完成的数据挖掘工作，变成在各级设备中即可完成 的，数据专一化的，处理简单的多个步骤，从而解决了大数据量数据 处理中的瓶颈，提高了数据挖掘的效率。
图1为本发明所述票务数据分级分类处理系统的数据流程图； 图2为本发明所述票务数据分级分类处理系统的模块结构图。
具体实施方式
下面结合说明书附图，针对本发明的一个具体实施例进行介绍。 轨道交通的票务数据处理主要包括对各线路中央系统上送的售 票交易、消费交易、对交易记录进行的清分处理、文件生成、报表生成以及对应用数据的备份清理等几个方面。交易数据由联机交易模块接收并装载入库，由于其数据量非常 大，需要把对性能要求特别严格的数据清分过程拆分为"预处理"与 "交易清分"二个步骤。其中预处理包括交易记录的合法性检査与交 易日志数据的"分离"(即交易日志解析)，其处理数据来源是由联 机交易模块生成的交易日志，其处理结果是各种类型的常规交易数 据、异常交易数据和可疑交易数据轨道。这些被"分离"的交易数据 分别存储，且不包含交易日志中某些对处理无意义的数据字段。如附图1及图2 ，本发明所述的票务数据处理总体流程如下对联机交易模块所采集的票务数据根据类型分为一票换乘式以 及交通卡交易，其中一票换乘方式还细分为线内交易、跨线交易、异 常交易，交通卡交易细分为充值交易、消费交易、非法交易。各种交易数据先通过预处理进行分离，输入相对应的预处理模 块，最终通过各自交易清分模块进行终处理，每类交易乃至每一批交 易都可以进行并行处理，相对独立。1、 预处理在交易日志解析处理中采用并发控制、多进程并行处理技术以满 足系统的性能指标。交易日志解析可以采用多个服务进程并发的设计 原则，并且随着交易量的变化，可以灵活的配置服务进程的数量，配 置方式有以下选择(1)可以一个服务进程处理多条交易量较小的 线路(2)以单服务进程处理中等规模交易量的线路(3)以多个服务 进程同时处理大交易量的某条线路，多个服务进程按车站划分，并发 执行。上述实现方案为清分预处理从架构设计层面提供了巨大的灵活 性和全新的处理性能2、 交易清分在交易记录的清分处理过程中，可以采取多批次清分、流程化控 制、并发控制、多机处理技术、容错技术、费率与分成方案的高可配 置性等技术，实现清分批处理的高性能、高可用性/高可靠性和高可 扩展性。(1) 多批次清分首先，规定每日进行的最大清分批次数目，再由技术人员设置每 日实际进行的清分批次。批次清分策略实际上可以认为是处理流程上 的"流水线化"。亦即各批次的处理由于有批次号进行控制，因此 各批次的处理是可以重叠的。这一并行流水线方案使得清分处理负载 可以基本上均匀分布在整个清分处理期。采用多批次清分的另一优势是由于每日交易量非常大，当由于 某些原因导致清分处理中断时，可以从中断处的批次开始恢复；或如 果确认由于某批次出现数据错误(通常人工操作有造成这一错误的可 能性)，则只需要对该批次数据进行单独处理。(2) 并发技术可以通过一定的分区规则，将清分数据划分成不同的逻辑分区， 在清分过程中启动多个清分进程， 一个清分进程一次只处理一个逻辑 分区，每个清分进程每次处理的记录个数根据逻辑分区来确定。清分 进程划分为多个可最大限度地利用CPU资源，逻辑分区的划分可最 大限度提高IO性能。清分进程的数量、分区块大小的调整需通过实 验来确定最佳组合。清分流程每个步骤进程的并发个数可以进行合理 配置。(3) 多机扩展在清分系统设计过程中，通过技术手段保证各清分批次数据的相 对独立，不同批次清分流程可以通过人工在操作界面上指定在不同的 机器上实现并发执行，各清分批次无时间上的依赖关系。由于在各个批次的清分过程中，可能会出现各种不同的异常情 况，因此在清分出错的情况下，系统应提供重新进行批次清分的功能。 提供的容错策略为按步骤重新清分。对于某一步骤有误，只需要重新由该步骤开始， 而不需要重新进行整个批次清分流程，以縮短批次清分所需要的时 间。重新进行批次清分。对于必须重新进行整个批次清分流程时，提 供重新进行批次清分的手段。多机进行批次清分。当推迟清分造成时间延误时或需要重做批次 清分时，可以同时在多个应用服务器上执行不同批次的清分流程，以 保证在日终时，按时完成当天所有场次的清分、清算。 (5)流程控制技术由于系统中每日需要针对不同类型的交易数据(经清分预处理分 类)进行多个批次的清分，而每种交易数据类型及其清分批次需要进 行的动作或流程又基本类似，因此通过对流程中各个动作的抽象，将 流程通过不同动作组合形成的表的形式描述出来，然后由调度服务根 据流程表进行不同动作的调度，进而完成不同清分场次所需的清分功 能。3、 报表生成文件生成主要完成各种清分流水、对帐文件、报表文件及统计文 件的生成。在生成报表时通常采用专门的报表工具对清分的基础结果按照不同的口径进行汇总，并通过不同的方式(如PDF等)展示出来。 清分批处理为这些报表工具生成报表数据。在对报表工具使用时通常可以结合数据仓库技术及OLAP技术 对各种数据进行深度分析，以形成各种报表。4、 清理备份数据清理和备份中的技术问题主要包括如下的内容历史表的表空间；按照一定的规则，同时按照不同的条件在不同的历史表上设置不 同的、合理的分区及索引，并且相关的分区/索引组合需要按照一定 的实验结果来进行设定。并发技术；由于需要备份的数据量很大，因此在进行数据备份时需要考虑并 发技术，以提高系统的整体性能。 应用容错；在应用数据备份的过程中，系统提供重新备份的功能，并在重新 进行备份的过程中解决"索引热块"的问题，以避免备份性能的急剧 下降。数据库容错；结合数据库的恢复技术，以保证在数据出现异常的情况下，通过 数据库的archive方式，恢复数据。 5、数据清理；根据设定的数据清理的周期，整表备份整表删除，以避免由于记 录删除造成索引发散而导致的表性能下降问题。本发明对于预处理后的后续交易记录处理，针对各类数据的不同 要求设计不同的处理模块，并行处理。这种方式带来了以下优点(1) 后续最为耗时的交易记录处理过程被拆分为不同模块并行 运行，提高了处理性能。同时，模块化处理也利于未来业务的扩展。(2) 经分离为二个步骤后，二个步骤可同时运行，形成了应用 的流水线处理方式，提高了处理性能。分离后，交易记录处理的数据库表的数据量规模大大减少，这对 特大数据量系统的数据库访问性能的改善具有十分重要意义。以上介绍是基于本发明的一个较佳实施例，并不能以此来限定本 发明的范围。任何对本发明的机制作本技术领域内熟知的模块的替 换、组合、分立，以及对本发明实施步骤作本技术领域内熟知的等同 改变或替换均不超出本发明的揭露以及保护范围。
权利要求
1、一种轨道交通票务数据分级分类处理系统，其特征在于包括联机交易模块、交易预处理进程模块、交易清分进程模块；所述交易预处理进程模块包括线内交易预处理模块、跨线交易预处理模块、异常交易预处理模块、充值交易预处理模块、消费交易预处理模块、非法交易预处理模块；所述交易清分进程模块包括线内交易清分模块、跨线交易清分模块、异常交易清分模块、充值交易清分模块、消费交易清分模块，非法交易清分模块；所述联机交易模块接收来自终端和外部系统的交易数据，并装载入库，送入交易预处理进程模块进行预处理，交易预处理进程模块与交易清分模块相连接。
2、 如权利要求1所述的一种轨道交通票务数据分级分类处理系 统，其特征在于包括报表生成模块，与交易清分模块相连接，根据使 用需要将数据处理结果输出成报表以及统计文件。
3、 如权利要求1所述的一种轨道交通票务数据分级分类处理系 统，其特征在于还包括数据清理备份模块，与交易清分模块相连接， 完成数据的清理、备份、恢复。
4、 如权利要求1所述的一种轨道交通票务数据分级分类处理系 统，其特征在于所述线内交易预处理模块，完成一票换乘的线内交易 数据预处理，并将预处理数据传送给线内交易清分模块；所述跨线交 易预处理模块，完成一票换乘的跨线交易数据预处理，并将预处理数 据传送给跨线交易清分模块；所述异常交易预处理模块，完成异常数 据预处理，并将预处理数据传送给异常交易清分模块。
5、 如权利要求1所述的一种轨道交通票务数据分级分类处理系 统，其特征在于所述充值交易预处理模块，完成交通卡的充值交易数实际需求，不能保障过程数据的利用率和大型服务性企业各个层面在即时战略和战术制订 中的数据需求，因此需要调整和优化，使之更加适合大型服务性企业的企业特点和应用需 求。发明内容本发明所要解决的技术问题就是电信用户满意度指数(TCSI)满足不了大型服务性企 业客户意见收集应用的实际需求，不能保障过程数据的利用率和大型服务性企业各个层面 在即时战略和战术制订中的数据需求问题，提供了一种在模型结构、计算方法和指标关联 方面对电信用户满意度指数(TCSI)进行了针对性的调整和优化，形成了新的客户情报系 统(CIS)以及其应用方法和其相应的市场调查机。本发明的客户情报系统，主要由数据采集和数据处理设备构成，其特征在于它主要包括若干个市场调查机(MRM)，是原始数据采集终端，通过232接口与服务终端相连接， 用于客户意见、评价的原始数据的采集、编码；一个市场调查分析系统(MRS)，是数据处理软件，安装在服务器端，用于对市场调查 机(MRM)采集的数据进行存储、处理、分析、发布；若干个终端数据采集程序(TDP)，是和市场调查机(MRM)配套使用的终端软件，是 市场调査机(MRM)与服务器连接的枢纽，安装在服务终端上，与市场调查机(MRM) 设备同步工作，用于从服务器端接收对市场调查机(MRM)的控制信号，实现从市场调查 机(MRM)设备端接收、采集原始数据，对数据进行编码预处理和实现对服务器端的预处 理数据上传。上述客户情报系统的市场调查机(MRM),由外壳和其内部部件构成，其特征在于， 外壳由翻盖和底座构成，底座由上盖和下盖固定连接构成，翻盖位于上盖一侧的上面，与 上盖成斜面固定连接；上盖面上右下边设置薄膜键盘，其上方布置液晶显示屏和扬声器； 上盖面上左侧设置题板，题板通过卡槽与上盖卡接，题板下方底座内设置控制电路板；翻 盖下上盖一侧分别设置开关、数据接口和电源插座。市场调查机(MRM)的控制电路板由键盘扫描电路、语音信号放大电路、蜂鸣声放大 电路、稳压电路、串口通讯电路、显示电路、CPU控制电路构成，键盘扫描电路与键盘连 接，蜂鸣声放大电路与扬声器连接，显示电路与液晶显示屏连接。键盘扫描电路电路主要由薄膜键盘接口、 CH452A型芯片组成；语音信号放大电路主
全文摘要
本发明提供了一种用于轨道交通的票务数据分级分类处理系统及其方法，包括联机交易模块，接收来自各层终端和外部系统的交易数据并装载入库；交易预处理进程模块，实现数据交验、分离、归类，为后续专门化清分处理做准备；交易清分进程模块，通过分批次，多进程对票务数据进行并行处理；报表生成模块，根据不同的使用需要将数据处理结果输出成各种报表和统计文件；数据清理备份模块，完成数据的清理、备份、恢复等。采用了可灵活配置、分级分层的数据挖掘方式，先对数据预处理，简化后台处理的复杂度，然后通过流水线方式的模块并行处理，简化了系统结构，大大提高了处理效率。
文档编号G06Q50/00GK101226624SQ20081003363
公开日2008年7月23日 申请日期2008年2月15日 优先权日2008年2月15日
发明者娟 冯, 芳 周, 周向争, 应名洪, 亮 张, 张伟平, 朱沪生, 李国荣, 林雪峰, 毕湘利, 恒 范, 赵时旻, 顾伟华 申请人:上海申通轨道交通研究咨询有限公司