数据一致性比对同步的系统和方法

专利名称：数据一致性比对同步的系统和方法
技术领域：
本发明涉及多网元协作时的数据一致性检测处理管理领域，特别是一种数据一致性比对同步的系统和方法。
背景技术：
随着通信、网络服务产品的增多，受理渠道的多样化，网络业务平台的复杂化，常常需要多个网元共同配合来实现某项业务，这些相互配合的网元的某些数据必须保持一致，但是，由于网络故障、数据传输故障、干扰、突发事件以及企业产品设计的业务流程和管理制度的不完善等原因，网络中数据不一致情况日趋严重，由此造成的业务、计费及服务问题，导致了用户投诉增加，客户满意度降低，企业业务收入流失。目前，还没有良好的技术手段来解决数据不一致的检测、处理及相关的管理问题，通常是运营商被动地通过客户的投诉才发现网元间的数据不一致，最后发起对网元间数据的处理，保持业务支撑网单元和数据承载网单元的数据一致。
尤其是通信技术领域，发展非常迅速，通信运营商开发了众多产品和服务，这些产品和服务通常都承载在多个网元上。由于承载用户业务数据的网元间数据不一致，对外影响到用户的业务使用，导致用户的投诉；对内，系统上生成了垃圾数据或遗漏了数据，对公司的资源利用和收入保障都造成了影响。

发明内容
本发明提供了一种解决上述问题的数据一致性比对同步的系统和方法，可以通过完善的采集、比对以及同步处理来有效完成数据的一致性检测、处理及管理，从而可以提升数据比对同步水平和相关系统运行效率，确保相关系统客户数据的准确性和一致性，避免因客户数据的不一致带来客户投诉或业务收入流失，为业务收入和客户满意服务提供坚实的基础保证，提高资源利用效率。
本发明的技术方案如下数据一致性比对同步的系统，其特征在于包括显示层、数据存储处理层和接口层；所述显示层用于人机的数据交互，展现各种数据处理分析结果；所述数据存储处理层用于各种数据的处理逻辑，包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块，数据采集模块用于采集数据，数据预处理模块用于对数据进行整理、转换和解析，数据比对模块用于数据比对，数据同步模块根据比对结果进行同步处理；所述系统接口层用于系统和各个网元的通信交互。
所述显示层是给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面，各种使用系统的人员可以通过此门户进行统计提取、监控、告警以及相应的各种配置设置操作，同时对于系统处理功能涉及到的各种规则、参数配置可以通过此门户实现。
所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块以及其他模块中的一个至多个组合/集成而成。
所述系统管理模块用于对系统运行环境的各种设置的管理，包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理；配置管理用于对系统各个功能模块的配置数据的管理维护，包括配置表、配置文件的增、删、改、查操作；用户管理用于对使用系统的所有操作人员的工号、口令、权限的管理，用户管理采用分层的工号权限管理机制，每个层次的工号具有相同的权限，而权限的管理由上一层次的用户进行权限赋予、更改和取消；系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息，生成告警信息后，在告警监控界面显示并通过设定的方式及时通知。
所述系统管理模块还具有选择自动/手动模式的功能，选择自动模式时，系统可以自动完成数据一致性的比对同步过程，根据同步处理规则系统自动生成同步数据并处理；选择手动模式，则可以通过人工干预分步骤完成数据一致性的比对同步过程。
所述告警监控界面可设定告警级别和告警方式，告警方式包括有短信，电子邮件，声音，光，页面图像，文本，表格方式等。
所述系统接口层包括用于各网元间的数据采集接口，用于同步至各网元的数据同步接口，以及数据分发接口。
所述数据一致性比对同步系统的硬件结构包括存储设备、FC-SWITCH与数据库服务器、WEB服务器、备份服务器、数据库/应用/接口服务器和交换机。
数据一致性比对同步方法，其特征在于具体步骤如下A、系统通过接口层和网元进行通信交互，数据采集模块根据接口标准和参数适配从网元进行数据采集，通过数据预处理模块根据网元数据的情况，将采集到的网元数据进行预处理，然后进行解析处理得到有用的数据；B、数据比对模块对步骤A得到的数据进行比对，不一致的数据被记录保存在差异列表中；C、根据步骤B所述得到的差异列表，数据同步模块结合有效性验证规则对数据差异的有效性加以验证，对差异为有效的数据结合同步规则生成对应的同步数据，并把同步数据通过对应的接口发送至相关网元，然后在相关网元中执行相应的增加/删除/修改数据操作，使网元间数据保持一致。
所述网元是指网络中具有数据存储功能的节点，包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
所述数据采集是从网元获取数据的过程，采用全量采集和增量采集相结合的数据采集方式从网元采集数据；所述全量采集要求网元导出所有的要求保持一致的数据；所述增量采集是针对要求保持一致的数据，只采集上一次采集时间到当前采集时间内发生变化的数据。
所述采用全量采集和增量采集结合，是指在处理数据一致性问题时，采用全量采集来保证数据采集的全面性和准确性，尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据；采用增量采集来保证数据采集的及时性，这样就可以避免重复采集已经保持一致的数据，浪费系统的资源和时间。
所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
所述联机方式指建立网络连接，通过网络传输采集到要求保持一致的数据的方式；所述文件方式指将要求保持一致的数据以文件方式保存，再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
所述联机方式包括采集连接建立和传输过程，采集连接建立是指由系统或网元发起采集请求至建立采集连接的过程，采集连接根据采集协议的不同，建立不同的连接，如ftp、http、tcp/ip或自定义协议等。
所述预处理是在采集的网元数据还不能直接用于比对时，对网元数据进行处理，以用于进行比对的过程，预处理包括过滤、校验、修复、格式转换等操作中的零项至多项操作。所述数据的过滤是对采集数据中无效或者无用的数据进行排查过滤的过程；所述数据校验是对采集到的数据进行准确性和逻辑合理性的判断的过程；所述数据修复是根据数据本身的属性以及数据来源修复异常数据；所述格式转换是将网元数据从无法用于数据比对的格式的转换为可以用于数据比对的过程。
所述解析是将采集到的要求保持一致的网元数据根据数据含义确定用于比对的数据的对应关系的过程。
所述比对是对解析后的数据进行对比，然后发现并记录数据一致性情况的过程。
所述采集到的网元数据进行预处理和解析，然后进行数据比对；或者也可以先对网元数据进行预处理后再采集，然后再进行解析，最后进行数据比对。
所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集，一般情况差异列表为比对时发现的不一致的网元数据及其在网元的位置信息，如比对时发现A客户资料不一致，则将比对双方各自的A客户资料及其在网元的位置信息生成一条差异列表记录。
所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证；单侧验证指根据一侧的网元数据验证差异列表的数据差异是否需要执行同步处理；双侧验证是指根据两侧的网元数据验证差异列表的数据差异是否需要执行同步处理；豁免验证规则是指默认差异数据有效，从而不进行任何验证直接进行同步处理。
步骤C中，所述相关网元是指进行比对后数据不一致的网元；所述相应的就是指与同步规则相一致的。
完成一次数据比对和数据同步后，系统自动生成统计报告并显示，同时根据结果，还可以进行告警处理和通知，并生成历史统计报告，通过统计报告进行统计查询。
比对处理后的结果保存到相应的库表后，采用比对稽核判断数据的平衡关系和日志来验证整个比对过程的完整性和比对的准确性；并且当数据比对和数据同步过程中出现的异常时，根据预先设置的处理策略进行处理解除异常，并生成异常数据表和日志。
所述比对稽核的数据平衡关系的总体为比对入口的数据总量＝比对出口的通过数据数量+比对出口的不通过数据数量。
本发明的有益效果如下1、本发明可以提升数据比对同步水平和相关系统运行效率，确保相关系统数据的准确性和一致性，避免因数据的不一致带来客户投诉或业务收入流失，为业务收入和客户满意服务提供坚实的基础保证，提高资源使用的有效性；2、本发明采用全量和增量采集相结合的方式，可以保证数据采集的全面性和及时性，以及准确性，这样不仅可以尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据，还可以避免重复采集已经保持一致的数据，浪费系统的资源和时间；3、本发明对网元数据进行比对，能主动、及时地检测出要求保持一致的网元数据的一致性，发现各网元数据之间的差异，并记录数据不一致的结果，提供给后续处理过程所需要的有效数据，从而为解决数据不一致性问题做好基础；4、本发明能快速有效地解决数据的不一致性问题，通过同步处理能够有效确保网元数据的一致性，可以及时清除网元垃圾数据，提高资源利用率；5、本发明还可以保证各系统客户数据的管理，还可以提供基于数据比对以及数据同步的各种报告和统计报表，提供对于比对过程和同步过程的监控和告警，系统具备一定的异常处理能力；6、本发明应用范围宽广，适用于通信、保险、银行等需要多网元协作的各种领域。


图1为本发明的系统构架示意2为本发明的数据处理流程3为本发明的组网结构示意图其中“----”表示光纤通道，“-”表示千兆/百兆以太网。
图4为本发明的数据比对流程5为本发明采用BOSS系统和业务网元的单向数据交互流程6为本发明采用BOSS系统和核心网元的单向数据交互流程7为本发明采用BOSS系统同时单向到业务网元和核心网单元的数据交互流程8为本发明采用业务网元单向到BOSS的数据交互流程9为本发明采用BOSS系统和业务网元双向流向的数据交互流程10为本发明的多个网元之间数据交互的流程图具体实施方式
实施例1数据一致性比对同步的系统，包括显示层、数据存储处理层和接口层；所述显示层用于人机的数据交互，展现各种数据处理分析结果；所述数据存储处理层用于各种数据的处理逻辑，包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块，数据采集模块用于采集数据，数据预处理模块用于对数据进行整理、转换和解析，数据比对模块用于数据比对，数据同步模块根据比对结果进行同步处理；所述系统接口层用于系统和各个网元的通信交互。
所述显示层是给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面，各种使用系统的人员可以通过此门户进行统计提取、监控、告警以及相应的各种配置设置操作，同时对于系统处理功能涉及到的各种规则、参数配置可以通过此门户实现。
所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块以及其他模块中的一个至多个组合/集成而成。
所述系统管理模块用于对系统运行环境的各种设置的管理，包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理；配置管理用于对系统各个功能模块的配置数据的管理维护，包括配置表、配置文件的增、删、改、查操作；用户管理用于对使用系统的所有操作人员的工号、口令、权限的管理，用户管理采用分层的工号权限管理机制，每个层次的工号具有相同的权限，而权限的管理由上一层次的用户进行权限赋予、更改和取消；系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息，生成告警信息后，在告警监控界面显示并通过设定的方式及时通知。
所述系统管理模块还具有选择自动/手动模式的功能，选择自动模式时，系统可以自动完成数据一致性的比对同步过程，根据同步处理规则系统自动生成同步数据并处理；选择手动模式，则可以通过人工干预分步骤完成数据一致性的比对同步过程。
所述告警监控界面可设定告警级别和告警方式，告警方式包括有短信，电子邮件，声音，光，页面图像，文本，表格方式等。
所述系统接口层包括用于各网元间的数据采集接口，用于同步至各网元的数据同步接口，以及数据分发接口。
数据一致性比对同步方法，其具体步骤如下A、系统通过接口层和网元进行通信交互，数据采集模块根据接口标准和参数适配从网元进行数据采集，通过数据预处理模块根据网元数据的情况，将采集到的网元数据进行预处理，然后进行解析处理得到有用的数据；B、数据比对模块对步骤A得到的数据进行比对，不一致的数据被记录保存在差异列表中；C、根据步骤B所述得到的差异列表，数据同步模块结合有效性验证规则对数据差异的有效性加以验证，对差异为有效的数据根据同步规则生成对应的同步数据，并把同步数据通过对应的接口发送至相关网元，然后在相关网元中执行相应的增加/删除/修改数据操作，使网元间数据保持一致。
所述网元是指网络中具有数据存储功能的节点，包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
所述数据采集是从网元获取数据的过程，采用全量采集和增量采集相结合的数据采集方式从网元采集数据；所述全量采集要求网元导出所有的要求保持一致的数据；所述增量采集是针对要求保持一致的数据，只采集上一次采集时间到当前采集时间内发生变化的数据。
通过全量采集和增量采集结合，是指在处理数据一致性问题时，采用全量采集来保证数据采集的全面性和准确性，尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据；采用增量采集来保证数据采集的及时性，这样就可以避免重复采集已经保持一致的数据，浪费系统的资源和时间。
所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
所述联机方式指建立网络连接，通过网络传输采集到要求保持一致的数据的方式；所述文件方式指将要求保持一致的数据以文件方式保存，再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
所述联机方式包括采集连接建立和传输过程，采集连接建立是指由系统或网元发采集请求至建立采集连接的过程，采集连接根据采集协议的不同，建立不同的连接，如ftp、http、tcp/ip或自定义协议等。
所述预处理是对采集的网元数据进行处理，以用于进行比对的过程，预处理包括过滤、校验、修复、格式转换等操作中的零项至多项操作。所述数据的过滤是对采集数据中无效或者无用的数据进行排查过滤的过程；所述数据校验是对采集到的数据进行准确性和逻辑合理性的判断的过程；所述数据修复是根据数据本身的属性以及数据来源修复异常数据；所述格式转换是将网元数据从无法用于数据比对的格式的转换为可以用于数据比对的过程。
所述解析是将采集到的网元数据根据数据含义确定要求保持一致的用于比对的数据的对应关系的过程。
所述比对是对解析后的数据进行对比，然后发现并记录数据一致性情况的过程。
所述采集到的网元数据进行预处理和解析，然后进行数据比对；或者也可以先对网元数据进行预处理后再采集，然后再进行解析，最后进行数据比对。
所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集，一般情况差异列表为比对时发现的不一致的网元数据及其在网元的位置信息，如比对时发现A客户资料不一致，则将比对双方各自的A客户资料及其在网元的位置信息生成一条差异列表记录。
所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证；单侧验证指根据一侧的网元数据验证差异列表的数据差异是否需要执行同步处理；双侧验证是指根据两侧的网元数据验证差异列表的数据差异是否需要执行同步处理；豁免验证规则是指默认差异数据有效，从而不进行任何验证直接进行同步处理。
步骤C中，所述相关网元是指进行比对后数据不一致的网元；所述相应的就是指与同步规则一致的。
完成一次数据比对和数据同步后，系统自动生成统计报告并显示，同时根据结果，还可以进行告警处理和通知，并生成历史统计报告，通过统计报告进行统计查询。
比对处理后的结果保存到相应的库表后，采用比对稽核判断数据的平衡关系和日志来验证整个比对过程的完整性和比对的准确性；并且当数据比对和数据同步过程中出现的异常时，根据预先设置的处理策略进行处理解除异常，并生成异常数据表和日志。
所述比对稽核的数据平衡关系的总体为比对入口的数据总量＝比对出口的通过数据数量+比对出口的不通过数据数量。
实施例2如图1～4所示，数据一致性比对同步的系统，应用于移动通信领域时，包括显示层、数据存储处理层和接口层；所述显示层用于人机的数据交互，展现各种数据处理分析结果；所述数据存储处理层用于各种数据的处理逻辑，包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块，数据采集模块用于采集数据，数据预处理模块用于对数据进行整理、转换和解析，数据比对模块用于数据比对，数据同步模块根据比对结果进行同步处理；所述系统接口层用于系统和各个网元的通信交互。
所述显示层是以Web方式给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面，各种使用系统的人员可以通过此门户进行统计提取、监控、告警以及相应的各种配置设置操作。同时对于系统处理功能涉及到的各种规则、参数配置通过所述Web界面实现。
所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块以及其他模块中的一个至多个组合/集成而成。
所述系统管理模块用于对系统运行环境的各种设置的管理，包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理；配置管理用于对系统各个功能模块的配置数据的管理维护，包括配置表、配置文件的增、删、改、查操作；用户管理用于对使用系统的所有操作人员的工号、口令、权限的管理，用户管理采用分层的工号权限管理机制，每个层次的工号具有相同的权限，而权限的管理由上一层次的用户进行权限赋予、更改和取消；系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息，生成告警信息后，在告警监控界面显示并通过设定的方式及时通知。
所述系统管理模块还具有选择自动/手动模式的功能，选择自动模式时，系统可以自动完成数据一致性的比对同步过程，根据同步处理规则系统自动生成同步数据并处理；选择手动模式，则可以通过人工干预分步骤完成数据一致性的比对同步过程。
所述告警监控界面可设定告警级别和告警方式，告警方式包括有短信，电子邮件，声音，光，页面图像，文本，表格方式等。
所述系统接口层包括用于各网元全量数据采集、增量数据采集的数据采集接口，用于同步至各网元的数据同步接口，以及数据分发接口。
所述系统接口层例如包括有如下的接口和HLR接口，负责采集HLR用户数据以及和HLR之间的指令交互。接口数据传递是指令方式。
和SCP接口，负责采集SCP用户数据以及和SCP的通信，通过SMP完成，采用适配器方式，直接采用SMP上标准的SC接口进行交互，由于SC接口是统一标准的，因此不需要单独设置接口。和SCP的接口负责增量数据查询提取、全量数据实时查询以及同步的功能，可以和BOSS系统的SCP接口共用，由于BOSS系统的SCP接口提供的命令有限，为了满足接口要求，需要进行命令扩展。
和BOSS接口，负责采集BOSS系统的增量变更数据以及查询比对数据，同时处理BOSS的数据同步。接口数据传递根据不同的BOSS系统要求可以采用接口表、消息或者文件方式。和BOSS的数据查询和提取接口负责增量数据提取以及全量比对的实时数据查询；和BOSS的同步接口负责向BOSS系统发送数据同步，逐条同步进行。
和MISC接口，主要负责采集MISC系统的增量变更数据以及查询比对数据，同时也要向MISC进行数据同步。和MISC的接口数据可采用接口表、文件方式。和MISC接口需要考虑和BOSS配套一致，因此要考虑BOSS系统增量和MISC增量的影响情况，必须建立实时查询MISC和BOSS的接口。和MISC数据查询和提取接口提供增量比对数据的提取以及全量比对的实时查询功能；和MISC数据同步接口向MISC发送数据同步，逐条同步进行。
同时还可以采用其他多种接口。
数据一致性比对同步方法，其具体步骤如下A、A、系统通过接口层和网元进行通信交互，数据采集模块根据接口标准和参数适配从网元进行数据采集，通过数据预处理模块根据网元数据的情况，将采集到的网元数据进行预处理，然后进行解析处理得到有用的数据；
B、数据比对模块对步骤A得到的数据进行比对，不一致的数据被记录保存在差异列表中；C、根据步骤B所述得到的差异列表，数据同步模块结合有效性验证规则对数据差异的有效性加以验证，对差异为有效的数据根据同步规则生成对应的同步数据，并把同步数据通过对应的接口发送至相关网元，然后在相关网元中执行相应的增加/删除/修改数据操作，使网元间数据保持一致。
所述网元是指网络中具有数据存储功能的节点，包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
应用于移动通信领域时，业务支撑网网元可以主要指BOSS系统，业务承载网可以主要指HLR/AUC、智能网平台、DSMP平台、SIMS平台、PIM平台、IM平台、PushEmial平台、Blackberry平台、流媒体平台、通用下载平台、手机邮箱平台、全球呼平台、RADIUS平台、彩铃平台、VC管理平台、一卡多号平台、MSP平台、MAS平台、ADC平台、中央音乐平台、行业网关平台、集团总机平台、短信业务数据中心、IVR平台、位置业务平台、短信网关平台、小额支付平台、DM管理平台、电话会议平台、12580平台、MMSGW平台等。
所述数据采集模块采集的数据包括有手机号码和IMSI即国际移动台设备标识的对应关系，基本业务功能，附加业务功能，号码状态，业务状态，VPMN集团信息，彩铃套餐数据，亲密号码，捆绑业务，增值业务订购关系，以及相关的客户基本资料等。所述数据采集和处理模块可以采集BOSS系统的数据采用接口表方式或文件方式，采集MISC通过接口表或文件方式采集增量数据，采集HLR/SCP上的数据根据网元接口决定采集方式。
所述数据采集是从网元获取数据的过程，采用全量采集和增量采集相结合的数据采集方式从网元采集数据；所述全量采集要求网元导出所有的要求保持一致的数据；所述增量采集是针对要求保持一致的数据，只采集上一次采集时间到当前采集时间内发生变化的数据。
通过全量采集和增量采集结合，是指在处理数据一致性问题时，采用全量采集来保证数据采集的全面性和准确性，尽可能不遗漏在基准时间段内网元间要求保持一致但实际不一致的数据；采用增量采集来保证数据采集的及时性，这样就可以避免重复采集已经保持一致的数据，浪费系统的资源和时间。
所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
所述联机方式指建立网络连接，通过网络传输采集到要求保持一致的数据的方式；所述文件方式指将要求保持一致的数据以文件方式保存，再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
所述联机方式包括采集连接建立和传输过程，采集连接建立是指由系统或网元发采集请求至建立采集连接的过程，采集连接根据采集协议的不同，建立不同的连接，如ftp、http、tcp/ip或自定义协议等。
所述预处理是对采集的网元数据进行处理，以用于进行比对的过程，预处理包括过滤、校验、修复、格式转换等操作中的零项至多项操作。所述数据的过滤是对采集数据中无效或者无用的数据进行排查过滤的过程；所述数据校验是对采集到的数据进行准确性和逻辑合理性的判断的过程；所述数据修复是根据数据本身的属性以及数据来源修复异常数据；所述格式转换是将网元数据从无法用于数据比对的格式的转换为可以用于数据比对的过程。
所述解析是将采集到的网元数据根据数据含义确定要求保持一致的用于比对的数据的对应关系的过程。
所述比对是对解析后的数据进行对比，然后发现并记录数据一致性情况的过程。
所述采集到的网元数据进行预处理和解析，然后进行数据比对；或者也可以先对网元数据进行预处理后再采集，然后再进行解析，最后进行数据比对。
所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集，一般情况差异列表为比对时发现的不一致的网元数据及其在网元的位置信息，如比对时发现A客户资料不一致，则将比对双方各自的A客户资料及其在网元的位置信息生成一条差异列表记录。
所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证，其中1、单侧验证规则比较差异列表生成时间与BOSS侧用户数据状态变化时间，只检查BOSS侧数据的变化，如果在差异列表生成后用户的数据发生了变化，则认为该差异项无效，忽略该差异数据项，继续处理下一差异数据项，否则执行同步处理。这种规则既可以保证数据同步的正确性，有降低了对网元侧的压力，适用于网元实时接口性能较低、执行批量比对同步的场景；
2、双侧验证规则从差异列表中的业务支撑网网元和业务承载网网元重新读取数据进行核对，如果数据仍不一致，则认为该差异有效，刷新差异数据项，执行同步操作；如果数据已经一致，则认为该差异无效，跳过并继续处理下一差异数据项。这种规则保证所有差异数据项都得到正确的处理，适用于网元实时接口性能较高、执行批量比对同步的场景；3、豁免验证规则默认差异列表数据完全有效，按照同步规则直接对差异列表的数据项进行同步处理，这种规则适用于通过网元实时接口逐条进行数据一致性检测、同步处理的场景。
移动通信领域，数据校验的判断标准主要是一些通常默认的逻辑，比如号码长度、业务功能代码域以及一些数据相关属性的判断，当出现数据长度异常、数据取值不在定义的域内时，就对异常数据做相应的记录并标记后保存到异常数据表中，同时提供相应的日志供查询使用。前台界面提供对各种异常数据的提取和查询统计，操作维护人员可以通过异常数据统计和查询日志发现数据源的问题或者接口的异常情况，并采取相应措施进行补救和防范。
一般仅当数据类型不匹配或者数据格式的普遍性错误时可以采用数据修复功能，大多数情况下的异常数据都需要重新采集并处理。例如出现号码前带前缀或后缀的情况，可以使用数据修复对号码进行截取，截取正确的号码用于处理。而数据修复出于安全以及准确性的考虑，不提供自动修复功能，在前台界面提供异常数据查询和手工修复的功能，可以供操作维护人员手工进行个别修复或者批量修复，批量修复仅对于大面积的同样异常发生时才可以采用，用于提高系统处理效率，减少反复工作量。修复需要特殊权限的人员才可以操作，并且修复操作的整个过程都记录相应的日志，以供当出现修复错误时可以进行回退，不影响正常的系统处理。
步骤C中，所述相关网元是指进行比对后数据不一致的网元；所述相应的就是指与同步规则一致的。
完成一次数据比对和数据同步后，系统自动生成统计报告并显示，同时根据结果，还可以进行告警处理和通知，并生成历史统计报告，通过统计报告进行统计查询。
比对处理后的结果保存到相应的库表后，采用比对稽核判断数据的平衡关系和日志来验证整个比对过程的完整性和比对的准确性；并且当数据比对和数据同步过程中出现的异常时，根据预先设置的处理策略进行处理解除异常，并生成异常数据表和日志。
所述比对稽核的数据平衡关系的总体为比对入口的数据总量＝比对出口的通过数据数量+比对出口的不通过数据数量。
实施例3所述数据一致性比对同步系统的硬件结构包括存储设备、FC-SWITCH与数据库服务器、WEB服务器、备份服务器、数据库/应用/接口服务器和交换机。
本发明采用组网的硬件结构可以如表1的硬件设施


表1实施例4数据一致性比对同步的系统，包括显示层、数据存储处理层和接口层；所述显示层用于人机的数据交互，展现各种数据处理分析结果；所述数据存储处理层用于各种数据的处理逻辑，包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块，数据采集模块用于采集数据，数据预处理模块用于对数据进行整理、转换和解析，数据比对模块用于数据比对，数据同步模块根据比对结果进行同步处理；所述系统接口层用于系统和各个网元的通信交互。
该系统用于移动通信网元间的数据不一致的检测处理时，其步骤为A、数据采集模块通过BOSS和其他网元的接口从网元采集要求保持一致的网元数据；B、根据网元数据的情况，数据预处理模块将步骤A采集到的网元数据进行预处理和解析；C、数据比对模块将步骤B得到的数据和BOSS内对应的数据进行比对，将不一致的数据记录保存在差异列表中；D、根据步骤C的差异列表，数据比对模块结合有效性验证规则对数据差异的有效性加以验证，确定差异数据是否需要执行同步处理；E、对步骤D中得到的需要执行同步处理的数据，数据同步模块结合同步规则生成同步数据，并把同步数据通过对应的接口发送至BOSS系统和其他网元；F、最后在BOSS系统和其他网元中执行与同步规则一致的增加/删除/修改数据操作，使网元间数据保持一致。
所述同步规则是同步处理时须遵循的原则，是按照网元数据的含义、流向和与数据相关的业务规则这三个方面的不一致情况来制定的。
如图5和表2所示为BOSS单向到一个其他网元的数据交互。
数据流向业务只能通过BOSS进行受理，受理成功后，由BOSS将业务订购信息发送给业务网元，完成在业务网元中的订购。
数据内容用户基本信息(用户标识、用户状态、用户属性)、订购信息(订购标识、订购状态、订购属性)、业务局数据(局数据标识、局数据状态、局数据属性)。
涉及网元RADIUS(17201)、MAS平台、ADC平台、行业网关平台。

表2如图6和表3所示，BOSS单向到一个其他网元的数据交互。
数据流向BOSS作为数据发起端，发送相应的签约信息到核心网元，在核心网元上进行开通或变更。
数据内容用户标识、用户签约信息涉及网元HLR/AUC

表3如图7和表4、5所示，BOSS同时单向到2个其他网元元的数据交互。
数据流向a、业务只通过BOSS进行受理，业务受理涉及到业务网元和核心网元；b、由BOSS在业务受理成功后，将订购信息发送给业务网元，将功能签约信息发送给核心网元，完成整个订购过程。
数据内容用户基本信息(用户标识、用户状态、用户属性)、订购信息(订购标识、订购状态、订购属性)、用户签约信息(用户标识、签约信息)。
涉及网元智能网、PushEmail、全球呼平台、一卡多号平台、集团总机平台、短信业务数据中心、RADIUS平台(WLAN，E动互联)。


表4

表5表2～5的说明→表示BOSS与平台之间的数据交互方向，其发起端是BOSS，落地端是该平台；←表示BOSS与平台之间的数据交互方向，其发起端是平台，落地端是BOSS；—表示BOSS与平台之间无该项数据交互。
如图8和表6所示，其他网元单向到BOSS的数据交互。
数据流向业务网元负责管理业务局数据，业务局数据发布成功后，由业务网元将业务局数据信息发送给BOSS，完成在BOSS的业务登记。
数据内容业务局数据信息(局数据标识、局数据状态、局数据属性)。
涉及网元SIMS平台、VC管理平台。


表6表6说明→表示BOSS与平台之间的数据交互方向，其发起端是BOSS，落地端是该平台；←表示BOSS与平台之间的数据交互方向，其发起端是平台，落地端是BOSS。
其中，BOSS单向到其他网元的同步规则根据两种网元之间数据差异类别分为三类情况，具体处理情况参见表7～9。

表7

表8

表9如图9和表10所示，BOSS到其他网元的双向数据交互。
数据流向业务可以在BOSS和业务网元双方进行受理在BOSS中订购业务功后，由BOSS将业务订购信息发送给业务网元，完成在业务网元中的订购；在业务网元中订购业务成功后，订购信息同步给BOSS。
数据内容用户基本信息(用户标识、用户状态、用户属性)、订购信息(订购标识、订购状态、订购属性)、业务局数据信息(局数据标识、局数据状态、局数据属性)。
涉及网元DSMP、PIM平台、通用下载平台、手机邮箱平台、MSP平台、中央音乐平台。

表10说明→表示BOSS与平台之间的数据交互方向，其发起端是BOSS，落地端是该平台；←表示BOSS与平台之间的数据交互方向，其发起端是平台，落地端是BOSS；

表示BOSS与平台之间的数据交互方向，平台与BOSS互为发起端和落地端；—表示BOSS与平台之间无该项数据交互。
其中，BOSS双向到其他网元的同步规则根据两种网元之间数据差异类别分为三类情况，具体处理情况参见表11～13。

表11

表12

表13如图10和表13、14所示，BOSS和其他多个网元之间的数据交互。
数据流向a、业务可以通过BOSS和业务网元双方进行受理，业务受理涉及到业务网元和核心网元；b、由BOSS在业务受理成功后，将订购信息发送给业务网元，将功能签约信息发送给核心网元，完成整个订购过程；c、在业务网元中订购业务成功后，会发送订购信息给BOSS，BOSS记录订购信息，同时将涉及到核心网元的功能签约信息发送给核心网元，完成整个订购过程。
数据内容订购信息(订购标识、订购状态、订购属性)、用户签约信息(用户标识、签约信息)、业务局数据信息(局数据标识、局数据状态、局数据属性)。
涉及网元IM平台、BlackBerry、流媒体平台、彩铃平台。

表14


表15表14、15的说明→表示BOSS与平台之间的数据交互方向，其发起端是BOSS，落地端是该平台；←表示BOSS与平台之间的数据交互方向，其发起端是平台，落地端是BOSS；

表示BOSS与平台之间的数据交互方向，平台与BOSS互为发起端和落地端；—表示BOSS与平台之间无该项数据交互。
本发明所设计的英文术语对照表如下


表1权利要求
1.数据一致性比对同步的系统，其特征在于包括显示层、数据存储处理层和接口层；所述显示层用于人机的数据交互，展现各种数据处理分析结果；所述数据存储处理层用于各种数据的处理逻辑，包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块，数据采集模块用于采集数据，数据预处理模块用于对数据进行整理、转换和解析，数据比对模块用于数据比对，数据同步模块根据比对结果进行同步处理；所述系统接口层用于系统和各个网元的通信交互。
2.根据权利要求1所述数据一致性比对同步的系统，其特征在于所述显示层是给使用本系统的操作/维护/管理人员提供一个人机交互的门户界面。
3.根据权利要求1所述数据一致性比对同步的系统，其特征在于所述数据存储处理层的辅助模块由稽核模块、调度模块、统计模块、分析模块、系统管理模块以及其他模块中的一个至多个组合/集成而成。
4.根据权利要求1所述数据一致性比对同步的系统，其特征在于所述系统管理模块用于对系统运行环境的各种设置的管理，包括进程调度、进程自动起停设置、数据备份的设置以及系统运行日志管理；配置管理用于对系统各个功能模块的配置数据的管理维护，包括配置表、配置文件的增、删、改、查操作；系统管理模块的告警设置及处理是对系统监控到的异常产生告警信息，生成告警信息后，在告警监控界面显示并通过设定的方式及时通知；所述系统管理模块还具有选择自动/手动模式的功能，选择自动模式时，系统自动完成数据一致性的比对同步过程，根据同步处理规则系统自动生成同步数据并处理；选择手动模式，则通过人工干预分步骤完成数据一致性的比对同步过程。
5.根据权利要求1所述数据一致性比对同步的系统，其特征在于所述系统接口层包括用于各网元间的数据采集接口，用于同步至各网元的数据同步接口，以及数据分发接口。
6.根据权利要求1所述数据一致性比对同步的系统，其特征在于所述数据一致性比对同步系统的硬件结构包括存储设备、FC-SWITCH与数据库服务器、WEB服务器、备份服务器、数据库/应用/接口服务器和交换机。
7.数据一致性比对同步方法，其特征在于具体步骤如下A、系统通过接口层和网元进行通信交互，数据采集模块根据接口标准和参数适配从网元进行数据采集，通过数据预处理模块根据网元数据的情况，将采集到的网元数据进行预处理，然后进行解析处理得到有用的数据；B、数据比对模块对步骤A得到的数据进行比对，不一致的数据被记录保存在差异列表中；C、根据步骤B所述得到的差异列表，数据同步模块结合有效性验证规则对数据差异的有效性加以验证，对差异为有效的数据根据同步规则生成对应的同步数据，并把同步数据通过对应的接口发送至相关网元，然后在相关网元中执行相应的增加/删除/修改数据操作，使网元间数据保持一致。
8.根据权利要求1或7所述数据一致性比对同步的系统和方法，其特征在于所述网元是指网络中具有数据存储功能的节点，包括用于业务受理和管理的业务支撑网网元和用于实现业务的业务承载网网元。
9.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述数据采集是从网元获取数据的过程，采用全量采集和增量采集相结合的数据采集方式从网元采集数据；所述全量采集要求网元导出所有的要求保持一致的数据；所述增量采集是针对要求保持一致的数据，只采集上一次采集时间到当前采集时间内发生变化的数据。
10.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述全量采集和增量采集通过文件方式或联机方式实现要求保持一致的数据的采集。
11.根据权利要求10所述数据一致性比对同步的方法，其特征在于所述联机方式指建立网络连接，通过网络传输采集到要求保持一致的数据的方式；所述文件方式指将要求保持一致的数据以文件方式保存，再通过文件拷贝或文件传输的方式采集到要求保持一致的数据。
12.根据权利要求10或11所述数据一致性比对同步的方法，其特征在于所述联机方式包括采集连接建立和传输过程，采集连接建立是指由系统或网元发送采集请求至建立采集连接的过程，采集连接根据采集协议的不同，建立不同的连接。
13.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述预处理是对采集的网元数据进行处理，以用于进行比对的过程。
14.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述解析是将采集到的网元数据根据数据含义确定要求保持一致的用于比对的数据的对应关系的过程。
15.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述比对是对解析后的数据进行对比，然后发现并记录数据一致性情况的过程。
16.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述采集到的网元数据进行预处理和解析，然后进行数据比对；或者先对网元数据进行预处理后再采集，然后再进行解析，最后进行数据比对。
17.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述差异列表是指通过比对生成的能反映网元数据一致性情况的记录集。
18.根据权利要求7所述数据一致性比对同步的方法，其特征在于所述有效性验证采用单侧验证、双侧验证或豁免验证规则中的一种到多种规则进行验证；单侧验证指根据一侧的网元数据验证差异列表的数据差异是否需要执行同步处理；双侧验证是指根据两侧的网元数据验证差异列表的数据差异是否需要执行同步处理；豁免验证规则是指默认差异数据有效，从而不进行任何验证直接进行同步处理。
19.根据权利要求7所述数据一致性比对同步的方法，其特征在于步骤C中，所述相关网元是指进行比对后数据不一致的网元；所述相应的就是指与同步规则相一致的。
全文摘要
数据一致性比对同步系统和方法，其特征在于本系统包括显示层、用于各种数据的处理逻辑数据存储处理层，和接口层；所述数据存储处理层，包括数据采集模块、数据预处理模块、数据比对模块、数据同步模块和辅助模块；业务支撑网和业务承载网通过系统接口层进行网元间的通信交互，数据采集模块从业务支撑网和/或业务承载网对要求保持一致的网元数据进行数据采集；数据预处理模块将采集到的网元数据进行预处理、解析得到有用的数据；数据比对模块对解析后的数据进行比对，不一致的数据被记录保存在差异列表中；根据数据比对处理后的结果，数据同步模块结合有效性验证规则对数据差异的有效性加以验证，对差异为有效的数据根据同步规则生成对应的同步数据，并把同步数据通过对应的接口发送至相关网元，然后在相关网元中执行相应操作使网元间数据保持一致；本发明可以提升数据比对同步水平和相关系统运行效率，提高资源利用效率，确保相关系统数据的准确性和一致性，避免因数据不一致带来客户投诉或业务收入流失，为业务收入和客户满意服务提供坚实的基础保证；本发明应用范围宽广，适用于通信、保险、银行等需要多网元协作的领域。
文档编号H04L12/24GK101094051SQ20071004938
公开日2007年12月26日 申请日期2007年6月27日 优先权日2007年6月27日
发明者郭正平, 曾键, 冯斌, 陈刚, 庞琳, 王林, 余涛, 张超, 程鹏 申请人:中国移动通信集团四川有限公司