数据校验处理方法及装置与流程

本发明涉及计算机技术领域，尤其涉及一种数据校验处理方法及装置。

背景技术：

随着信息技术的飞速发展，越来越多领域均利用计算机程序对数据进行处理。

目前，现有的数据消费模型的结构如图1所示。由图1可知，现有的数据消费模型中，将数据源(可以有多个数据源)的数据加入消息队列，由消费程序对消息队列中的数据进行数据落地存储(即将数据存储到存储服务中)，供数据应用程序使用。

但是，现有的数据消费模型中，消费程序不会对数据源的数据进行严格校验，可能会有错误数据写入存储服务，造成数据应用程序服务异常；而且，现有的数据消费模型中的数据消费服务类似于黑盒，不能实时展现数据的消费情况。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种数据校验处理方法及装置。

本发明实施例提供一种数据校验处理方法，包括：

将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；

根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；

将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可选地，在将数据源的数据加入消息队列之前，所述方法还包括：

预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。

可选地，所述根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理，包括：

根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理丢弃或者清洗数据。

可选地，所述数据校验处理方法还包括：

实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。

可选地，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例。

本发明实施例提供一种数据校验处理装置，应用于数据校验中台，包括：

校验模块，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；

异常处理模块，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；

发送模块，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可选地，所述数据校验处理装置还包括：

配置模块，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。

可选地，所述数据校验处理装置还包括：

展示模块，用于实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。

本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。

本发明实施例提供的数据校验处理方法及装置，通过将数据源的数据加入消息队列，消费消息队列中每个数据源的数据，根据预先配置的数据的schema，对消息队列中的数据进行格式校验，根据预先配置的异常数据处理策略，对未通过格式校验的异常数据进行处理，将通过格式校验的数据发送给消费程序，以使消费程序将通过格式校验的数据落地存储到存储服务中，供数据应用程序使用，由此，能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有的数据消费模型的结构示意图；

图2为本发明一实施例提供的一种数据校验处理方法的流程示意图；

图3为本发明另一实施例提供的一种数据校验处理方法的流程示意图；

图4为本发明另一实施例提供的一种数据校验处理方法的流程示意图；

图5为本发明一实施例提供的一种数据校验处理装置的结构示意图；

图6为本发明另一实施例提供的一种数据校验处理装置的结构示意图；

图7为本发明另一实施例提供的一种数据校验处理装置的结构示意图；

图8利用包含本实施例数据校验处理装置的数据校验中台的数据消费模型的结构示意图；

图9为本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2示出了本发明一实施例提供的一种数据校验处理方法的流程示意图，如图2所示，本实施例的数据校验处理方法，包括：

s1、将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的schema(模式)，对所述消息队列中的数据进行格式校验。

可以理解的是，在计算机领域，对于消息队列，把数据放到消息队列叫做生产，从消息队列里边取数据进行处理叫做消费，本实施例中的消费所述消息队列中每个数据源的数据，实际上是指从所述消息队列中依次取出每个数据源的数据进行处理的意思。

可以理解的是，对所述消息队列中的数据进行格式校验，就是校验所述消息队列中的数据的格式是否正确，若正确，则通过格式校验，若不正确，则未通过格式校验。

可以理解的是，schema，即xmlschema(可扩展标记语言架构)，是以可扩展标记语言(标准通用标记语言的子集)为基础的，它用于可替代文档类型定义；一份xmlschema文件描述了可扩展标记语言文档的结构。

在具体应用中，举例来说，所述数据源的数据的schema可以为json(对象简谱)schema，可以用预先配置的每个数据源的数据的jsonschema来进行json数据格式验证。

需要说明的是，本实施例所述方法的执行主体为数据校验中台。

可以理解的是，本实施例中，数据校验中台从所述消息队列中依次取出每个数据源的数据，根据预先配置的每个数据源的数据的schema，对每次取出的数据进行格式校验，校验取出的数据的格式是否正确，若正确，则取出的数据通过格式校验，若不正确，则取出的数据未通过格式校验。通过格式校验，能够检查出错误数据，防止后续错误数据写入存储服务而造成数据应用程序服务异常。

s2、根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理。

在具体应用中，本实施例可以根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据(即脏数据)进行处理丢弃或者清洗数据等，本实施例并不对其进行限制。

可以理解的是，根据所述异常数据处理策略，对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。

s3、将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可以理解的是，落地数据是被持久化的数据，这种数据一般放在硬盘或是其他的持久化存储设备里，数据不会瞬时消失。本实施例将通过格式校验的数据发送给消费程序后，消费程序将通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可以理解的是，现有的数据消费模型中，是将数据源的数据加入消息队列，消费程序直接将消息队列中的数据落地存储到存储服务中供数据应用程序使用。而本实施例是利用预先配置的每个数据源的数据的schema和异常数据处理策略，对消息队列中的数据进行格式校验及异常数据处理，可管理异常数据的处理逻辑，避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。

本发明实施例提供的数据校验处理方法，通过将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的schema，对所述消息队列中的数据进行格式校验，根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理，将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用，由此，能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。

进一步地，可参考图3，在上述实施例的基础上，本实施例的数据校验处理方法，可以包括：

s0、预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。

可以理解的是，本实施例可以根据实际情况预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略，本实施例并不对其进行限制，以便后续根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，以及根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理。

s1、将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验。

s2、根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理。

s3、将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

本发明实施例通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。

进一步地，可参考图4，在上述实施例的基础上，本实施例的数据校验处理方法，可以包括：

s0、预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。

s1、将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验。

s2、根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理。

s3、将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

s4、实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。

可以理解的是，实时记录消费所述消息队列中数据的情况，实际是指实时记录从所述消息队列中依次取出每个数据源的数据进行(格式校验)处理的情况。

在具体应用中，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例等，本实施例并不对其进行限制。

可以理解的是，本实施例能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。

本发明实施例提供的数据校验处理方法，通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响；而且还能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。

图5示出了本发明一实施例提供的一种数据校验处理装置的结构示意图，本实施例所述装置应用于数据校验中台，如图5所示，本实施例的数据校验处理装置，包括：所述校验模块51、异常处理模块52和发送模块53；其中：

所述校验模块51，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；

所述异常处理模块52，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；

所述发送模块53，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

具体地，所述校验模块51将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；所述异常处理模块52根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；所述发送模块53将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可以理解的是，在计算机领域，对于消息队列，把数据放到消息队列叫做生产，从消息队列里边取数据进行处理叫做消费，本实施例中的消费所述消息队列中每个数据源的数据，实际上是指从所述消息队列中依次取出每个数据源的数据进行处理的意思。

可以理解的是，对所述消息队列中的数据进行格式校验，就是校验所述消息队列中的数据的格式是否正确，若正确，则通过格式校验，若不正确，则未通过格式校验。

可以理解的是，schema，即xmlschema(可扩展标记语言架构)，是以可扩展标记语言(标准通用标记语言的子集)为基础的，它用于可替代文档类型定义；一份xmlschema文件描述了可扩展标记语言文档的结构。

在具体应用中，举例来说，所述数据源的数据的schema可以为json(对象简谱)schema，可以用预先配置的每个数据源的数据的jsonschema来进行json数据格式验证。

可以理解的是，所述校验模块51从所述消息队列中依次取出每个数据源的数据，根据预先配置的每个数据源的数据的schema，对每次取出的数据进行格式校验，校验取出的数据的格式是否正确，若正确，则取出的数据通过格式校验，若不正确，则取出的数据未通过格式校验。通过格式校验，能够检查出错误数据，防止后续错误数据写入存储服务而造成数据应用程序服务异常。

在具体应用中，所述异常处理模块52可以根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据(即脏数据)进行处理丢弃或者清洗数据等，本实施例并不对其进行限制。

可以理解的是，根据所述异常数据处理策略，对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。

可以理解的是，落地数据是被持久化的数据，这种数据一般放在硬盘或是其他的持久化存储设备里，数据不会瞬时消失。所述发送模块53将通过格式校验的数据发送给消费程序后，消费程序将通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可以理解的是，现有的数据消费模型中，是将数据源的数据加入消息队列，消费程序直接将消息队列中的数据落地存储到存储服务中供数据应用程序使用。而本实施例是利用预先配置的每个数据源的数据的schema和异常数据处理策略，对消息队列中的数据进行格式校验及异常数据处理，可管理异常数据的处理逻辑，避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。

本发明实施例提供的数据校验处理装置，应用于数据校验中台，能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。

进一步地，可参考图6，在上述实施例的基础上，本实施例所述数据校验处理装置，可以包括：

配置模块50，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略；

校验模块51，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；

异常处理模块52，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；

发送模块53，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可以理解的是，所述配置模块50可以根据实际情况预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略，本实施例并不对其进行限制，以便后续根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，以及根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理。

本发明实施例通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响。

进一步地，可参考图7，在上述实施例的基础上，本实施例所述数据校验处理装置，可以包括：

配置模块50，用于在将数据源的数据加入消息队列之前，预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略；

校验模块51，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；

异常处理模块52，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；

发送模块53，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

展示模块54，用于实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。

可以理解的是，所述展示模块54中，实时记录消费所述消息队列中数据的情况，实际是指实时记录从所述消息队列中依次取出每个数据源的数据进行(格式校验)处理的情况。

在具体应用中，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例等，本实施例并不对其进行限制。

可以理解的是，本实施例能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。

可以理解的是，利用包含本实施例所述装置的数据校验中台的数据消费模型的结构可参考图8。

本发明实施例提供的数据校验处理装置，应用于数据校验中台，通过根据预先配置的每个数据源的数据的schema对消息队列中的数据进行格式校验，能够防止错误数据写入存储服务而造成数据应用程序服务异常；通过根据预先配置的每个数据源的异常数据处理策略对消息队列中未通过格式校验的异常数据进行处理，能够避免脏数据对数据处理流程稳定性的影响；而且还能够对数据消费情况进行统计，实时展现数据消费、异常数据占比等信息。

本发明实施例提供的数据校验处理装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括存储器902、处理器901及存储在存储器902上并可在处理器901上运行的计算机程序，所述处理器901执行所述程序时实现上述方法的步骤，例如包括：将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤，例如包括：将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。