一种铁路主数据的清洗方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据管理技术领域，尤其涉及一种铁路主数据的清洗方法及系统。
【背景技术】
[0002]随着高速铁路信息化发展，铁路系统中各部门业务数据的一致性管理越来越重要。
[0003]在铁路信息化建设之初，公用基础信息的理念薄弱，缺乏统筹规划，各系统建设多面向各自单独的业务应用，公用基础信息分散于各个相互隔离的系统，形成自采集、自存储、自维护的现象。对公用基础信息的概念有着不同的理解，从各系统中抽取数据进行统一的管理没有达成共识，且各系统基础信息格式各异，多词一义、一词多义等现象普遍存在，数据难以共享。
[0004]因此，如何结合目前高速铁路信息化的行业需求，提供一种铁路主数据的清洗方法及系统，以满足不同机构对数据访问的需求，保证铁路行业内各业务应用系统的基础数据的一致性具有重要意义。
【发明内容】
[0005]鉴于上述问题，本发明提出了一种克服上述问题或者至少部分地解决上述问题的铁路主数据的清洗方法及系统，实现铁路主数据的数据清洗，使导入的数据和已有数据保持一致，提高数据的共享性。
[0006]根据本发明的一个方面，提供了一种铁路主数据的清洗方法，该方法包括:
[0007]构建铁路主数据属性模型；
[0008]接收导入所述数据属性模型的导入数据；
[0009]对导入数据的编码数据进行唯一性检验；
[0010]根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；
[0011]将通过数据格式验证的编码数据写入主数据属性模型，并将存在空缺值、错误值或冲突值的错误数据作为异常编码数据进行记录；
[0012]对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。
[0013]其中，所述方法还包括:
[0014]对所述异常编码数据进行编码修改；
[0015]根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证，并将通过第二数据格式验证的编码数据写入主数据属性模型。
[0016]其中，所述方法还包括:
[0017]定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；
[0018]根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新，并对该编码数据的变化状态进行记录，更新该编码数据的变化轨迹。
[0019]其中，当所述主数据属性模型中编码数据进行更新之后，所述方法还包括:
[0020]对更新后的编码数据进行审核校验；
[0021]根据预设版本管理策略，确定通过审核校验的编码数据的发布版本，并进行发布。
[0022]其中，当接收到用户写入的新的编码数据时，所述方法还包括:
[0023]对用户写入的新的编码数据进行唯一性检验；
[0024]根据所述预设的编码规则，对用户输入的新的编码数据进行数据格式的一致性校验。
[0025]其中，所述对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，包括:
[0026]为写入所述主数据属性模型中的编码数据添加时间戳；
[0027]为更新后的编码数据更新所述时间戳；
[0028]通过所述时间戳的变化进行编码数据的状态监控，并绘制所述编码数据随时间的变化轨迹。
[0029]其中，所述方法还包括:
[0030]根据所述时间戳计算编码数据的生效状态日期和失效状态日期；
[0031]推送进入生效状态日期的编码数据，并删除进入失效状态日期的编码数据。
[0032]其中，所述预设的编码规则为根据国家标准、铁路行业标准和事实标准确定的。
[0033]根据本发明的另一个方面，提供了一种铁路主数据的清洗系统，该系统包括:
[0034]主数据模型构建模块，用于构建铁路主数据属性模型；
[0035]数据获取模块，用于接收导入所述数据属性模型的导入数据；
[0036]唯一性检验模块，用于对导入数据的编码数据进行唯一性检验；
[0037]数据格式验证模块，用于根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；
[0038]数据写入模块，用于将通过数据格式验证的编码数据写入主数据属性模型；
[0039]异常数据记录模块，用于将存在空缺值、错误值或冲突值的错误数据作为异常编码数据，并进行记录；
[0040]编码数据管理模块，用于对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。
[0041 ] 其中，所述系统还包括:
[0042]编码模块，用于对所述异常编码数据进行编码修改；
[0043]所述数据格式验证模块，还用于根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证；
[0044]数据写入模块，还用于将通过第二数据格式验证的编码数据写入主数据属性模型。
[0045]其中，所述数据格式验证模块，还用于定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；
[0046]所述编码模块，还用于根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新；
[0047]所述编码数据管理模块，还用于对该编码数据的变化状态进行记录，并更新该编码数据的变化轨迹。
[0048]本发明的有益效果为:
[0049]本发明提供的铁路主数据的清洗方法及系统，可以从不同业务导入的基础数据中发现错误数据，并对异常数据进行记录和修改，再次进行清洗，待清洗成功后，导入状态激活，数据可以真正入库。大大提高了数据清洗的准确度，降低了数据清洗成本。而且通过数据清洗使导入的数据和已有数据保持一致，提高数据的共享性，有利于各业务系统进行数据同步与共享。
[0050]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0051]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0052]图1为本发明实施例提出的一种铁路主数据的清洗方法的流程图；
[0053]图2为本发明实施例提出的一种铁路主数据的清洗系统的结构框图。
【具体实施方式】
[0054]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0055]本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”