数据中的数据字段的个数或分隔符的个数与包含于虚拟记录中的数据字段的个数或分隔符的个数进行比较，或者按包含于虚拟记录中的每一数据字段分别判断包含于元数据中的每一数据字段各自的数据模式是否匹配，从而可以判别虚拟记录究竟是正常数据还是非正常数据。
[0099]如果修正的虚拟记录被判别为正常数据，则数据处理单元108将判别为正常数据的虚拟记录存储于内部数据库(未图示)(S1020)。
[0100]数据处理单元108判断是否存在剩余的虚拟记录(S1022)，然后在存在剩余的虚拟记录的情况下返回到步骤S1004而对剩余的虚拟记录也通过如上所述的过程而执行修正作业，然后可将判别为正常数据的虚拟记录依次存储于内部数据库。
[0101]另外，在步骤S1018中，当修正的虚拟记录被判定为不是正常数据时，数据处理单元108可读取最近一次修正的虚拟记录(S1024)，然后将其与先前的虚拟记录进行结合(S1026)。S卩，数据处理单元108为了将目前为止修正的虚拟记录全部再次修正而从步骤S1012开始重新执行。数据处理单元108可通过回溯过程跟踪出错部分而从相关部分开始重新执行以上的修正作业。由于在数据的修正作业过程中可能因未及发现的错误而导致生成错误的结果，因此数据处理单元108再一次验证修正的虚拟记录，从而可以使非正常数据彻底变换为正常数据。
[0102]另外，在步骤S1022中，当不存在剩余的虚拟记录时，数据处理单元108将修正的非正常数据存储于第一存储单元104。此时，数据处理单元108可将非正常记录以记录单位依次存储于第一存储单元104。
[0103]图7至图10所示的方法可以由数据处理系统100执行。虽然在图示的顺序图中将所述方法分为多个步骤而记载，然而至少一部分步骤可调换顺序而执行，或者与其他步骤结合而一起执行，或者予以省略，或者被分为细化的步骤而执行，又或者增加未图示的一个以上的步骤而执行。并且，根据实施例，未在所述方法总图示的一个以上的步骤可以与所述步骤一同执行。
[0104]以上，已通过代表性实施例而详细说明本发明，然而本发明所属技术领域中具有普通知识的人员想必会理解能够在不脱离本发明范围的限度内对所述的实施例进行多种多样的变形。
[0105]因此，本发明的权利范围不应局限于所述的实施例而确定，而是要根据权利要求书及其等价内容而确定。
【主权项】
1.一种数据处理系统，包括: 数据判别单元，接收输入数据以及与所述输入数据的结构有关的元数据，并基于所述元数据而判别所述输入数据究竟是正常数据还是非正常数据； 第一存储单元，存储所述正常数据； 第二存储单元，存储所述非正常数据； 数据处理单元，将存储于所述第二存储单元的所述非正常数据修正为具有与所述正常数据相同的结构，并将修正的所述非正常数据存储于所述第一存储单元。2.如权利要求1所述的数据处理系统，其中，所述数据判别单元以所述输入数据的记录为单位判别所述输入数据究竟是正常数据还是非正常数据。3.如权利要求2所述的数据处理系统，其中，所述元数据包括如下信息中的一种以上的信息: 与每一记录的数据字段的个数有关的信息； 与用于分隔各个所述数据字段的分隔符的个数有关的信息； 与每一所述数据字段的数据模式有关的信息。4.如权利要求3所述的数据处理系统，其中，所述数据判别单元将包含于所述元数据的数据字段的个数或所述分隔符的个数中的一个与包含于所述输入数据的记录的数据字段的个数或分隔符的个数中的一个进行比较，或者按包含于所述输入数据的记录的数据字段分别判断包含于所述元数据的每一数据字段的数据模式是否匹配，从而判别所述输入数据的各个记录究竟是正常数据还是非正常数据。5.如权利要求1所述的数据处理系统，其中，所述数据处理单元提取所述正常数据内的预定数据模式，并将所述非正常数据内的数据字段中与所述预定数据模式相匹配的数据字段作为基准而将所述非正常数据分隔为多个虚拟记录，并以所述虚拟记录为单位修正所述非正常数据。6.如权利要求5所述的数据处理系统，其中，所述数据处理单元按所述正常数据内的数据字段分别提取一个以上的预定数据值，并将所述虚拟记录内的数据字段中除了存在所述预定数据值的数据字段以外的其余数据字段所包含的数据进行修正。7.如权利要求6所述的数据处理系统，其中，所述数据处理单元将包含于所述其余数据字段的数据内的预定字符串或字符删除，或者置换为已设定的字符串或字符。8.如权利要求5所述的数据处理系统，其中，所述数据处理单元每当修正所述虚拟记录时判别所述虚拟记录是否为正常数据，并在所述虚拟记录被判别为正常数据的情况下，将所述虚拟记录存储于所述数据处理单元内的数据库，而在虚拟记录全部都存储于所述数据库的情况下，将修正的所述非正常数据存储于所述第一存储单元。9.如权利要求5所述的数据处理系统，其中，所述数据处理单元每当修正所述虚拟记录时判别所述虚拟记录是否为正常数据，并在所述虚拟记录被判别为不是正常数据的情况下，再次修正目前为止修正的全部虚拟记录。10.一种数据处理方法，包括如下步骤: 由数据判别单元接收输入数据以及与所述输入数据的结构有关的元数据； 由所述数据判别单元基于所述元数据而判别所述输入数据究竟是正常数据还是非正常数据； 由所述数据判别单元将所述正常数据存储于第一存储单元； 由所述数据判别单元将所述非正常数据存储于第二存储单元； 由数据处理单元将存储于所述第二存储单元的所述非正常数据修正为具有与所述正常数据相同的结构； 由所述数据处理单元将修正的所述非正常数据存储于所述第一存储单元。11.如权利要求10所述的数据处理方法，其中，在判别所述输入数据究竟是正常数据还是非正常数据的步骤中，以所述输入数据的记录为单位判别所述输入数据究竟是正常数据还是非正常数据。12.如权利要求11所述的数据处理方法，其中，所述元数据包括如下信息中的一种以上的信息: 与每一记录的数据字段的个数有关的信息； 与用于分隔各个所述数据字段的分隔符的个数有关的信息； 与每一所述数据字段的数据模式有关的信息。13.如权利要求12所述的数据处理方法，其中，在判别所述输入数据究竟是正常数据还是非正常数据的步骤中，将包含于所述元数据的数据字段的个数或所述分隔符的个数中的一个与包含于所述输入数据的记录的数据字段的个数或分隔符的个数中的一个进行比较，或者按包含于所述输入数据的记录的数据字段分别判断包含于所述元数据的每一数据字段的数据模式是否匹配，从而判别所述输入数据的各个记录究竟是正常数据还是非正常数据。14.如权利要求10所述的数据处理方法，其中，在修正所述非正常数据的步骤中，包括如下步骤: 提取所述正常数据内的预定数据模式； 将所述非正常数据内的数据字段中与所述预定数据模式相匹配的数据字段作为基准而将所述非正常数据分隔为多个虚拟记录； 以所述虚拟记录为单位修正所述非正常数据。15.如权利要求14所述的数据处理方法，其中，在以所述虚拟记录为单位修正所述非正常数据的步骤中，包括如下步骤: 按所述正常数据内的数据字段分别提取一个以上的预定数据值； 将所述虚拟记录内的数据字段中除了存在所述预定数据值的数据字段以外的其余数据字段所包含的数据进行修正。16.如权利要求15所述的数据处理方法，其中，在修正包含于所述其余数据字段的数据的步骤中，将包含于所述其余数据字段的数据内的预定字符串或字符删除，或者置换为已设定的字符串或字符。17.如权利要求14所述的数据处理方法，其中，在以所述虚拟记录单位修正所述非正常数据的步骤中，包括如下步骤: 每当修正所述虚拟记录时判别所述虚拟记录是否为正常数据； 在所述虚拟记录被判别为正常数据的情况下，将所述虚拟记录存储于所述数据处理单元内的数据库； 在虚拟记录全部都存储于所述数据库的情况下，将修正的所述非正常数据存储于所述第一存储单元。18.如权利要求14所述的数据处理方法，其中，在以所述虚拟记录单位修正所述非正常数据的步骤中，包括如下步骤: 每当修正所述虚拟记录时判别所述虚拟记录是否为正常数据； 在所述虚拟记录被判别为不是正常数据的情况下，再次修正目前为止修正的全部虚拟记录。
【专利摘要】本发明公开一种数据处理系统及方法。根据本发明的一个实施例的数据处理系统包括：数据判别单元，接收输入数据以及与所述输入数据的结构有关的元数据，并基于所述元数据而判别所述输入数据究竟是正常数据还是非正常数据；第一存储单元，存储所述正常数据；第二存储单元，存储所述非正常数据；数据处理单元，将存储于所述第二存储单元的所述非正常数据修正为具有与所述正常数据相同的结构，并将修正的所述非正常数据存储于所述第一存储单元。
【IPC分类】G06F17/30
【公开号】CN105302847
【申请号】CN201510009356
【发明人】南宫荣桓, 金达云, 洪桢焄
【申请人】三星Sds株式会社
【公开日】2016年2月3日
【申请日】2015年1月8日
【公告号】US20150347493, WO2015182835A1