一种数据传输错误处理方法及系统与流程

本发明涉及领域数据传输技术领域，特别是指一种数据传输错误处理方法及系统。

背景技术：

数据传输是数据从数据源传送到数据宿的通信过程，按数据传输的顺序可分为并行传输和串行传输，按同步方式可分为同步传输和异步传输，在数据传输的过程中，可能会因为受到外界干扰、信号畸变和信号失真等原因造成数据传输发生错误；

现有的处理方法是在数据发生错误中将错误数据删除，重新请求数据源发送数据，但对于很多数据宿来说，如神经网络中的数据宿，数据一经送达，就可能会对数据宿中的数据集造成污染，即使删除错误数据也会对数据宿带来不可逆的影响，造成最终的数据偏差。

技术实现要素：

有鉴于此，本发明的目的在于提出一种数据错误处理方法及系统，对数据传输错误进行更为有效的处理。

基于上述目的本发明提供的一种数据传输错误处理方法，包括以下步骤：

为数据宿的数据集创建卷影副本；

源数据发送时，为数据宿中的数据集和所述卷影副本分别添加时间戳；

在所述卷影副本中记录所述时间戳后目标数据宿中的数据集发生的所有变化，记为数据更改；

提取源数据的第一特征信息；

源数据送达目标数据宿时，提取送达数据的第二特征信息；

将所述第一特征信息和所述第二特征信息进行比较；

若所述第二特征信息与所述第一特征信息不符，则根据所述数据更改将所述数据集还原至所述时间戳节点。

优选地，提取源数据的第一特征信息，包括：

获取源数据的文件大小；

计算预设的数据簇在所述源数据中的距离。

优选地，提取送达数据的第二特征信息，包括：

获取送达数据的文件大小；

计算预设的数据簇在所述送达数据中的距离。

优选地，预设的数据簇的距离，符合以下公式

其中，d为第i个数据簇与第j个数据簇之间的距离，xi为第i个数据簇，xj为第j个数据簇。

优选地，根据所述数据更改将所述数据集还原至所述时间戳节点之前，还包括：

记录错误次数；

若错误次数超过预设次数，执行数据还原；

否则向数据源重新获取源数据；

再次进行第一特征信息提取、第一特征信息和第二特征信息的比较。

一种数据传输错误处理系统，包括：

副本模块，用于为数据宿的数据集创建卷影副本；

时间记录模块，用于在源数据发送时，为数据宿中的数据集和所述卷影副本分别添加时间戳；

数据更改记录模块，在所述卷影副本中记录所述时间戳后目标数据宿中的数据库发生的所有变化，记为数据更改；

特征提取模块，用于提取源数据的第一特征信息，以及源数据送达目标数据宿时，提取送达数据的第二特征信息；

特征比较模块，用于将所述第一特征信息和所述第二特征信息进行比较；

数据还原模块，若所述第二特征信息与所述第一特征信息不符，则根据所述数据更改将所述数据集还原至所述时间戳节点。

优选地，第一特征信息包括源数据的文件大小和预设的数据簇在源数据中的距离；

所述第二特征信息包括送达数据的大小和预设的数据簇在送达数据中的距离。

优选地，还包括：

错误记录模块，用于在所述第二特征信息与所述第一特征信息不符时，记录错误次数，错误次数超过设定次数时，根据所述数据更改将所述数据集还原至所述时间戳节点。

从上面所述可以看出，本发明提供的数据传输错误处理方法及系统，通过为数据宿的数据集创建卷影副本，在源数据发送时添加时间戳，将时间戳后目标数据宿中的数据集发生的所有变化记为数据更改，通过提取源数据的第一特征信息和送达数据的第二特征信息，将第一特征信息和第二特征信息进行比较，当第二特征信息与第一特征信息不符时，根据数据更改将数据集还原至时间戳节点，可在数据传输发生错误时，利用卷影副本对数据宿的数据集进行还原，有效防止因数据传输错误导致的数据宿被污染或错误数据的输入带来的不可逆问题，保障数据宿的完整性和正确性。

附图说明

图1为本发明实施例的错误处理方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

一种数据传输错误处理方法，如图1所示，包括以下步骤：

s101为数据宿的数据集创建卷影副本；

数据宿即为数据传输中的接收方，卷影副本中记录创建时数据宿的数据集的完整信息。

s102源数据发送时，为数据宿中的数据集和所述卷影副本分别添加时间戳；

添加的时间戳用于记录源数据发送的时刻，数据宿与卷影副本中的时间戳应同步。

s103在所述卷影副本中记录所述时间戳后目标数据宿中的数据集发生的所有变化，记为数据更改；

s104提取源数据的第一特征信息；

s105源数据送达目标数据宿时，提取送达数据的第二特征信息；

s106将所述第一特征信息和所述第二特征信息进行比较；

s107若所述第二特征信息与所述第一特征信息不符，则根据所述数据更改将所述数据集还原至所述时间戳节点。

本发明公开的数据传输错误处理方法，通过为数据宿的数据集创建卷影副本，在源数据发送时添加时间戳，将时间戳后目标数据宿中的数据集发生的所有变化记为数据更改，通过提取源数据的第一特征信息和送达数据的第二特征信息，将第一特征信息和第二特征信息进行比较，当第二特征信息与第一特征信息不符时，根据数据更改将数据集还原至时间戳节点，可在数据传输发生错误时，利用卷影副本对数据宿的数据集进行还原，有效防止因数据传输错误导致的数据宿被污染或错误数据的输入带来的不可逆问题，保障数据宿的完整性和正确性。

作为一种实施方式，提取源数据的第一特征信息包括：

获取源数据的文件大小；

计算预设的数据簇在所述源数据中的距离。

通过预设数据簇，该数据簇中可以为在源数据中出现超过一次的任意连续数据组合，当出现次数较多时，还可计算各距离的平均值或直方分布。

作为一种实施方式，提取送达数据的第二特征信息包括：

获取送达数据的文件大小；

计算预设的数据簇在所述送达数据中的距离。

通过提取上述第一特征信息和第二特征信息，可以迅速、准确地判断出源数据和送达数据是否存在差异，即是否放生数据传输错误，由于在数据传输过程发生的错误往往是格式错误、数据丢失、异常数据差值等，均会造成送达数据文件大小不同，或数据簇之间的距离改变，通过上述方式，相比现有方式效率更高。

作为一种实施方式，预设的数据簇的距离符合以下公式：

其中，d为第i个数据簇与第j个数据簇之间的距离，xi为第i个数据簇，xj为第j个数据簇。

作为一种实施方式，数据更改将所述数据集还原至所述时间戳节点之前，还包括：

记录错误次数；

若错误次数超过预设次数，执行数据还原；

向数据源重新获取源数据；

再次进行第一特征信息提取、第一特征信息和第二特征信息的比较。

通过重新获取源数据，记录错误次数，并在错误次数超过预设次数时在执行数据还原，可以在用户判断输出传输错误对数据宿不会造成污染时，直接允许重新传输，用户也可以将该预设次数设置为0。

本发明还提供一种数据传输错误处理系统，包括：

副本模块，用于为数据宿的数据集创建卷影副本；

时间记录模块，用于在源数据发送时，为数据宿中的数据集和所述卷影副本分别添加时间戳；

数据更改记录模块，在所述卷影副本中记录所述时间戳后目标数据宿中的数据库发生的所有变化，记为数据更改；

特征提取模块，用于提取源数据的第一特征信息，以及源数据送达目标数据宿时，提取送达数据的第二特征信息；

特征比较模块，用于将所述第一特征信息和所述第二特征信息进行比较；

数据还原模块，若所述第二特征信息与所述第一特征信息不符，则根据所述数据更改将所述数据集还原至所述时间戳节点。

通过为数据宿的数据集创建卷影副本，在源数据发送时添加时间戳，将时间戳后目标数据宿中的数据集发生的所有变化记为数据更改，通过提取源数据的第一特征信息和送达数据的第二特征信息，将第一特征信息和第二特征信息进行比较，当第二特征信息与第一特征信息不符时，根据数据更改将数据集还原至时间戳节点，可在数据传输发生错误时，利用卷影副本对数据宿的数据集进行还原，有效防止因数据传输错误导致的数据宿被污染或错误数据的输入带来的不可逆问题，保障数据宿的完整性和正确性。

作为一种实施方式，第一特征信息包括源数据的文件大小和预设的数据簇在源数据中的距离；

第二特征信息包括送达数据的大小和预设的数据簇在送达数据中的距离。

作为一种实施方式，系统中还包括错误记录模块，用于在所述第二特征信息与所述第一特征信息不符时，记录错误次数，错误次数超过设定次数时，根据所述数据更改将所述数据集还原至所述时间戳节点。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。