数据有效性验证方法及装置制造方法
【专利摘要】本发明公开了一种数据有效性验证方法及装置。其中，该方法包括：获取元数据；确定验证元数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括：当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据；获取任意一个应用场景对应的验证项目；基于验证项目验证待验证数据，得到验证结果。本发明解决了现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。
【专利说明】数据有效性验证方法及装置
【技术领域】
[0001]本发明涉及信息处理领域，具体而言，涉及一种数据有效性验证方法及装置。
【背景技术】
[0002]随着互联网的发展，各大在线搜索服务提供商通过开放平台吸引第三方进行应用创新和整合，例如:百度凤巢、百度网盟和奇虎点睛(360搜索)。同时他们也各自提供了一整套在线管理平台。如果对一个需要千万级关键词和多平台投放的客户来说，管理和优化无疑是他们的噩梦。因此第三方离线管理系统，整合主流在线搜索服务，为用户提供一站式全平台离线广告管理系统。离线广告管理系统除了无法满足实时数据分析和查看需求外，其它增删改都是实时性的。为了保证这种离线系统与各平台在线系统数据一致性，离线系统内部需要周期性的同各大平台进行单向数据同步(在线系统数据同步到离线系统)。
[0003]数据同步过程中，有两个核心要素需要特别关注:
[0004]第一:数据的有效性；
[0005]第二:数据的一致性；
[0006]针对以上两点，可以明显看到数据有效性是数据一致性的前提，如果无法有效地屏蔽脏数据，就无法保证数据健壮性，更谈不上一致性，对后续的数据分析和挖掘都会产生阻碍和影响。同时，产生脏数据的条件和环境因平台的不同可能有相似性，也有差异性。
[0007]现有技术大部分针对具体应用场景，将检查逻辑分散到业务处理过程中，碎片化非常严重。而且，这样做很难使检查逻辑具有复用性。系统在演化过程中，数据有效性检查矫正工作往往是在原有基础上以补丁的方式进行。在违背开放封闭的设计原则的同时，对系统的稳定性造成影响。当系统庞大到一定程度，一旦发现多平台出现检查漏洞，则需要深入各个业务处理逻辑内部进行修正，维护成本和风险剧增。
[0008]以上方案具有以下缺陷:
[0009]1、碎片化。维护成本高，影响系统稳定性，随着系统发展，风险高。
[0010]2、可扩展性差。违背开放封闭的设计原则。
[0011]3、耦合性高。作为业务逻辑一部分，对应处理某种具体的应用场景。
[0012]4、复用性差。应对通用的检查逻辑，复用性差，最多是逻辑的复用。
[0013]5、演化能力低。缺乏灵活的演化能力，牵一发而洞全身，演化成本高。
[0014]针对现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题，目前尚未提出有效的解决方案。
【发明内容】
[0015]本发明的主要目的在于提供一种数据有效性验证方法及装置，以解决现有技术中。数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。
[0016]为了实现上述目的，根据本发明实施例的一个方面，提供了一种数据有效性验证方法。该方法包括:获取元数据；确定验证元数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括:当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系；获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤；基于验证项目验证待验证数据，得到验证结果。
[0017]为了实现上述目的，根据本发明实施例的另一方面，提供了一种数据有效性验证装置，该装置包括第一获取模块，用于获取元数据；第一确定模块，用于确定验证元数据的至少一个应用场景；第二确定模块，用于根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括:当前应用场景的账户登录参数；第一生成模块，用于将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系；第二获取模块，用于获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤；验证模块，用于基于验证项目验证待验证数据，得到验证结果。
[0018]根据发明实施例，通过获取元数据；确定验证元数据的至少一个应用场景；根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括:当前应用场景的账户登录参数；将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系；获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤；基于验证项目验证待验证数据，得到验证结果，解决了现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题。实现了提高验证数据有效性方法的模块化和复用性，降低维护成本和演化成本的效果。
【专利附图】
【附图说明】
[0019]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0020]图1是根据本发明实施例一的数据有效性验证方法的流程图；
[0021]图2是根据本发明实施例一优选的数据有效性验证方法的流程图；
[0022]图3是根据本发明实施例的数据有效性验证系统框图；
[0023]图4是根据本发明实施例二的数据有效性验证装置的结构示意图；
[0024]图5是根据本发明实施例二优选的数据有效性验证装置的结构示意图；以及
[0025]图6是根据本发明实施例二优选的数据有效性验证装置的结构示意图。
【具体实施方式】
[0026]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0027]为了使本【技术领域】的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0028]需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0029]实施例1
[0030]本发明实施例提供了一种数据有效性验证方法。
[0031]图1是根据本发明实施例的数据有效性验证方法的流程图。如图1所示，该方法包括步骤如下:
[0032]步骤S21，获取元数据。
[0033]具体的，上述步骤S21中的元数据为投放于各个应用场景中的原始数据，并且，上述元数据包含用于自描述的信息，其中，元数据，是一种自描述性的数据，它需要预定义在元数据库中，发生变动性比较小。例如:一个参数，它可以告诉使用者，这种参数是什么类类型、参数名、是否可空和参数值是多少，以及可见性，用户可以通过配置装置进行元数据的维护。
[0034]步骤S23，确定验证元数据的至少一个应用场景。
[0035]具体的，通过上述步骤S23，确定上述元数据投放的应用场景，这些应用场景可以是一个，也可以是多个。
[0036]步骤S25，根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括:当前应用场景的账户登录参数。
[0037]具体的，上述步骤S25，根据一个或多个应用场景，确定与不同应用场景对应的配置参数。这些配置参数可以包括应用场景的账户登录参数。
[0038]在实际应用当中，应用场景以百度凤巢为例，在同步百度凤巢同步数据过程中，参数需要涉及到账户所属的Profile、账户ID以及当前账户的数据文件列表。
[0039]步骤S27，将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系。
[0040]具体的，上述步骤S27将各个与应用场景对应的配置参数分别与元数据进行绑定，分别生成与各个场景对应的用于有效性验证的待验证数据。
[0041 ] 在实际应用当中，通过对元数据与配置参数进行一对一的映射，从而能够有效地完成数据对具体元数据的校验和绑定。
[0042]步骤S29，获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤。
[0043]具体的，通过上述步骤S29，获取与任意一个应用场景对应的验证项目。验证项目包含的数据验证可能涉及多方面的验证，而且各种验证之间也会按照一定序列进行，这些验证项针对于某一应用场景提供数据验证服务，共同组合成一个验证项目的整体。
[0044]这些验证项目可以存储于公有库当中的公共验证项目，也可以是用户针对于自己的需求自行创建的私有验证项目并存储于私有库当中。
[0045]在实际应用当中，应用场景以百度凤巢为例，百度凤巢全账户通过过程的数据验证包括如下载文件有效性、上下级实体数据关系是否丢失以及空数据的预警等，这几种验证共同构成一个验证项目。
[0046]步骤S31，基于验证项目验证待验证数据，得到验证结果。
[0047]具体的，上述步骤S31，根据验证项目中的各个验证步骤，对待验证数据进行验证。
[0048]通过上述步骤S21至步骤S31，将元数据与应用场景对应的配置参数进行匹配，生成可以针对不同应用场景使用的待验证数据，并按照不同的应用场景规定与应用场景对应的验证项目。依次执行验证项目中的各个验证步骤。得到对元数据在应用场景中的验证结果O
[0049]综上可知，本发明解决了现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题，实现了提高验证数据有效性方法的模块化和复用性，降低维护成本和演化成本的效果。
[0050]优选的，本申请上述实施例中，在步骤S31基于验证项目验证待验证数据，得到验证结果中，步骤包括:
[0051]步骤S311，根据验证项目创建验证规则，其中，验证规则用于表征各个验证项目间的约束关系。
[0052]步骤S313，根据验证规则，对待验证数据进行验证，其中，对待验证数据进行验证的方法至少包括:元数据必输项验证、上下级实体关系验证和空数据验证。
[0053]具体的，通过步骤S311和步骤S313，为各个验证项目加入约束关系，对验证项目中的验证步骤进行约束。通过约束关系对一些不合规范的验证项目进行识别、处理。其中，验证项，是对场景的数据的某个方面进行验证。验证单元则是由一系列的验证项动态组合而成。从而可以完成一些列的验证。约束关系至少可以包括:步骤约束、可执行性约束、使能约束等。例如:使能约束，可以控制部分或全部的验证项目不可执行。
[0054]其中，元数据必输项验证为:当前场景数据验证必须以规定个几个元数据为前提，元数据必输项的特征在于要求该元数据必须处于绑定状态，而且绑定的数据不能为空。
[0055]上下级实体关系验证的方法为:对上级包含下级，下级作为上级的一部分的这种关系的验证。例如，触发元数据中包含的目标地址，根据目标地址访问相应的子页面，判断相应子页面的有效性。
[0056]空数据验证的验证方法为:对元数据在应用场景中的数据内容进行验证，判断元数据在应用场景中是否出现为空的情况。例如:验证从在线系统中获取的数据是否为空，或者验证数据是否为指定的有效格式类型。
[0057]当然还可以为有效性验证添加其他的验证的方法，此处不一一列举。
[0058]优选的，如图2所示，本申请上述实施例中，在步骤S31基于验证项目验证待验证数据，得到验证结果之后，方法还包括:
[0059]步骤S33，根据应用场景、配置参数、验证项目、验证规则和验证结果，生成验证报生口 ο
[0060]具体的，通过步骤S33，分别对元数据的验证场景、配置参数、验证项目、验证结果等内容进行记录，生成针对于某一组元数据在各个应用场景的各种验证参数。应用场景的数据验证，需要通过适配器将具体的场景数据与具体的元数据进行绑定，也就是说元数据是真实数据的载体，参与验证过程。
[0061]优选的，本申请上述实施例中，在步骤S33根据应用场景、配置参数、验证项目、验证规则和验证结果，生成验证报告之后，方法还包括:
[0062]步骤S341，对验证报告中的错误信息进行识别，确定错误类型。
[0063]步骤S343，根据错误类型，划分错误级别。
[0064]具体的，通过步骤S341和步骤S343，根据生成的验证报告，对验证报告中的错误信息进行识别，确定验证过程中出现的错误类型，并根据错误类型换分错误级别，并进行相应的提示、处理。
[0065]在实际应用当中，业务元数据有效性验证的过程中，根据元数据的失效状态定义了不同的预警级别和对应的诊断信息，系统会自动生成诊断报告和有效性验证结果。检查报告用于追踪验证过程和预警的作用，以便及时作出响应性处理动作。有效性验证的结果，则用来数据同步的下一个过程的条件，由同步程序决定是否允许本次同步数据进入业务处理流程。
[0066]例如:发现业务实体上下级失联，一旦发生上述失联的情况，系统会根据生成验证结果确定错误的错误级别，系统根据错误级别，判断是否允许进行后续的同步进程。
[0067]优选的，本申请上述实施例中，在步骤S31基于所述验证项目验证所述待验证数据，得到验证结果之后，方法还包括:
[0068]步骤S35，判断验证项目的通用性，划分验证项目的项目通用等级，其中，项目通用等级至少包括:共有级、私有级。
[0069]步骤S36，根据项目通用等级，储存于验证项目库，其中，验证项目库至少包括:验证项目私有库和验证项目共有库，用于存储验证项目。
[0070]具体的，通过步骤S35和步骤S36，可以将创建的验证项目进行保存，根据已保存的验证项目在应用场景的通用程度，判断验证项目的项目通用等级。可以根据项目通用等级将验证项目分为:公有级和私有级。将共有级的验证项目存储于验证项目共有库，将私有级的验证项目存储于验证项目私有库。验证项目公有库为公共可见可用的；而验证项目私有库为某个业务使用场景具体所用，别的场景无法使用。这样就有效地区分除了个例和公共的情况。随着业务的发展与分析，我们可以逐步的将某个、某些检查项抽象公有化(即由私有库转移到公有库的过程)。
[0071]在实际应用当中，前期我们对接百度凤巢系统，数据检查包含文件有效性检查、上下级实体关系失联以及空数据的预警。后期对接360搜索(奇虎点睛)系统，发现也同样存在文件无效及上下级实体失联的问题。我们只需要将该两个检查项共有化(通过抽象的手段，去业务化)，从而完成系统演化和设计的复用。
[0072]优选的，本申请上述实施例中，在步骤S313根据所述验证规则，对所述待验证数据进行验证之后，方法还包括:
[0073]步骤S37，判断验证规则的通用性，划分验证规则的规则通用等级，其中，规则通用等级至少包括:共有级、私有级。
[0074]步骤S38，根据规则通用等级，储存于验证规则库，其中，验证规则库至少包括:验证规则私有库和验证规则共有库，用于存储验证规则。
[0075]具体的，通过步骤S37和步骤S38，可以将创建的验证规则进行保存，根据已保存的验证规则在应用场景的通用程度，判断验证规则的规则通用等级。可以根据规则通用等级将验证规则分为:公有级和私有级。将共有级的验证规则存储于验证规则共有库，将私有级的验证规则存储于验证规则私有库。验证规则公有库为公共可见可用的；而验证规则私有库为某个业务使用场景具体所用，别的场景无法使用。这样就有效地区分除了个例和公共的情况。随着业务的发展与分析，我们可以逐步的将某个、某些检查项抽象公有化(即由私有库转移到公有库的过程)。
[0076]通过本申请上述实施例，可以解决检查逻辑碎片化。实现低耦合、高内聚，增强验证项目的复用性。将验证方法的扩展性得到极大的改进，极大地降低后续的维护成本。并且通过可视化的配置工具，有效地支撑系统的管理和演化。
[0077]并且，可以将上述方法实现的功能，构建数据有效性验证系统。分别为数据有效性验证系统设置不同功能模块。如图3所示，系统用可以分为7个模块，分别为:元数据库装置、适配装置、验证装置、验证项目库、条件约束装置、诊断报告装置和配置装置。
[0078]元数据库，用于存储需要验证的元数据。
[0079]适配装置，用于根据应用场景，确定与应用场景对应的配置参数。
[0080]条件约束装，用于根据验证项目创建验证规则。并根据验证规则，对待验证数据进行验证。
[0081]诊断报告装置，根据应用场景、配置参数、验证项目、验证规则和验证结果，生成验证报告。对验证报告中的错误信息进行识别，确定错误类型。并根据错误类型，划分错误级别。
[0082]配置装置，用于获取任意一个应用场景对应的验证项目。
[0083]验证装置，用于基于验证项目验证待验证数据，得到验证结果。
[0084]验证项目库，用于判断验证项目的通用性，划分验证项目的项目通用等级。并根据项目通用等级，储存于验证项目库。
[0085]实施例2
[0086]本发明实施例还提供了一种数据有效性验证装置，如图4所示，该装置可以包括:第一获取模块40、第一确定模块42、第二确定模块44、第一生成模块46、第二获取模块48和验证模块50。
[0087]其中，第一获取模块40，用于获取元数据。
[0088]具体的，上述第一获取模块40，用于获取的元数据为投放于各个应用场景中的原始数据，并且，上述元数据包含用于自描述的信息，其中，元数据，是一种自描述性的数据，它需要预定义在元数据库中，发生变动性比较小。例如:一个参数，它可以告诉使用者，这种参数是什么类类型、参数名、是否可空和参数值是多少，以及可见性，用户可以通过配置装置进行元数据的维护。
[0089]第一确定模块42，用于确定验证元数据的至少一个应用场景。
[0090]具体的，通过第一确定模块42，确定上述元数据投放的应用场景，这些应用场景可以是一个，也可以是多个。
[0091]第二确定模块44，用于根据应用场景，确定与应用场景对应的配置参数，其中，配置参数用于表征应用场景的测试环境数据，测试环境数据至少包括:当前应用场景的账户登录参数。
[0092]具体的，上述第二确定模块44，根据一个或多个应用场景，确定与不同应用场景对应的配置参数。这些配置参数可以包括应用场景的账户登录参数。
[0093]在实际应用当中，应用场景以百度凤巢为例，在同步百度凤巢同步数据过程中，参数需要涉及到账户所属的Profile、账户ID以及当前账户的数据文件列表。
[0094]第一生成模块46，用于将任意一个应用场景对应的配置参数分别加载至元数据，生成至少一个待验证数据，其中，元数据与任意一个应用场景对应的配置参数具有关联关系O
[0095]具体的，上述第一生成模块46将各个与应用场景对应的配置参数分别与元数据进行绑定，分别生成与各个场景对应的用于有效性验证的待验证数据。
[0096]在实际应用当中，通过对元数据与配置参数进行一对一的映射，从而能够有效地完成数据对具体元数据的校验和绑定。
[0097]第二获取模块48，用于获取任意一个应用场景对应的验证项目，其中，验证项目用于表征待验证数据在应用场景进行验的验证步骤。
[0098]具体的，通过上述第二获取模块48，获取与任意一个应用场景对应的验证项目。验证项目包含的数据验证可能涉及多方面的验证，而且各种验证之间也会按照一定序列进行，这些验证项针对于某一应用场景提供数据验证服务，共同组合成一个验证项目的整体。
[0099]这些验证项目可以存储于公有库当中的公共验证项目，也可以是用户针对于自己的需求自行创建的私有验证项目并存储于私有库当中。
[0100]在实际应用当中，应用场景以百度凤巢为例，百度凤巢全账户通过过程的数据验证包括如下载文件有效性、上下级实体数据关系是否丢失以及空数据的预警等，这几种验证共同构成一个验证项目。
[0101]验证模块50，用于基于验证项目验证待验证数据，得到验证结果。
[0102]具体的，上述验证模块50，根据验证项目中的各个验证步骤，对待验证数据进行验证。
[0103]通过上述第一获取模块40、第一确定模块42、第二确定模块44、第一生成模块46、第二获取模块48和验证模块50，将元数据与与应用场景对应的配置参数进行匹配，生成可以针对不同应用场景使用的待验证数据，并按照不同的应用场景规定与应用场景对应的验证项目。依次执行验证项目中的各个验证步骤。得到对元数据在应用场景中的验证结果。
[0104]综上可知，本发明解决了现有技术中数据有效性检查装置所采用的检查方法碎片化高、复用性差、可扩展性差、耦合性高和演化能力低，导致的数据有效性检查装置的稳定性差、维护成本和风险高的问题，实现了提高验证数据有效性方法的模块化和复用性，降低维护成本和演化成本的效果。
[0105]进一步的，可以通过验证模块50实现的步骤包括:
[0106]根据验证项目创建验证规则，其中，验证规则用于表征各个验证项目间的约束关系O
[0107]根据验证规则，对待验证数据进行验证，其中，对待验证数据进行验证的方法至少包括:元数据必输项验证、上下级实体关系验证和空数据验证。
[0108]具体的，上述步骤为各个验证项目加入约束关系，对验证项目中的验证步骤进行约束。通过约束关系对一些不合规范的验证项目进行识别、处理。其中，验证项，是对场景的数据的某个方面进行验证。验证单元则是由一系列的验证项动态组合而成。从而可以完成一些列的验证。约束关系至少可以包括:步骤约束、可执行性约束、使能约束等。例如:使能约束，可以控制部分或全部的验证项目不可执行。
[0109]其中，元数据必输项验证为:当前场景数据验证必须以规定个几个元数据为前提，元数据必输项的特征在于要求该元数据必须处于绑定状态，而且绑定的数据不能为空。
[0110]上下级实体关系验证的方法为:对上级包含下级，下级作为上级的一部分的这种关系的验证。例如，触发元数据中包含的目标地址，根据目标地址访问相应的子页面，判断相应子页面的有效性。
[0111]空数据验证的验证方法为:对元数据在应用场景中的数据内容进行验证，判断元数据在应用场景中是否出现为空的情况。例如:验证从在线系统中获取的数据是否为空，或者验证数据是否为指定的有效格式类型。
[0112]当然还可以为有效性验证添加其他的验证的方法，此处不一一列举。
[0113]优选的，如图5所示，本申请上述实施例中，装置还包括:第二生成模块52。
[0114]其中，第二生成模块52，用于根据应用场景、配置参数、验证项目、验证规则和验证结果，生成验证报告。
[0115]具体的，通过第二生成模块52，分别对元数据的验证场景、配置参数、验证项目、验证结果等内容进行记录，生成针对于某一组元数据在各个应用场景的各种验证参数。应用场景的数据验证，需要通过适配器将具体的场景数据与具体的元数据进行绑定，也就是说元数据是真实数据的载体，参与验证过程。
[0116]优选的，如图6所示，本申请上述实施例中，装置还包括:第三确定模块531和第一判断模块533。
[0117]其中，第三确定模块531，用于对验证报告中的错误信息进行识别，确定错误类型。
[0118]第一判断模块533，用于根据错误类型，划分错误级别。
[0119]具体的，通过上述第三确定模块531和第一判断模块533。根据生成的验证报告，对验证报告中的错误信息进行识别，确定验证过程中出现的错误类型，并根据错误类型换分错误级别，并进行相应的提示、处理。
[0120]在实际应用当中，业务元数据有效性验证的过程中，根据元数据的失效状态定义了不同的预警级别和对应的诊断信息，系统会自动生成诊断报告和有效性验证结果。检查报告用于追踪验证过程和预警的作用，以便及时作出响应性处理动作。有效性验证的结果，则用来数据同步的下一个过程的条件，由同步程序决定是否允许本次同步数据进入业务处理流程。
[0121]例如:发现业务实体上下级失联，一旦发生上述失联的情况，系统会根据生成验证结果确定错误的错误级别，系统根据错误级别，判断是否允许进行后续的同步进程。
[0122]进一步的，本申请上述实施例中，上述装置还可以包括:第二判断模块54和第一存储模块55。
[0123]其中，第二判断模块54，用于判断所述验证项目的通用性，划分所述验证项目的项目通用等级，其中，所述项目通用等级至少包括:共有级、私有级；
[0124]第一存储模块55，用于根据所述项目通用等级，储存于验证项目库，其中，所述验证项目库至少包括:验证项目私有库和验证项目共有库，用于存储所述验证项目。
[0125]具体的，通过第二判断模块54和第一存储模块55，可以将创建的验证项目进行保存，根据已保存的验证项目在应用场景的通用程度，判断验证项目的项目通用等级。可以根据项目通用等级将验证项目分为:公有级和私有级。将共有级的验证项目存储于验证项目共有库，将私有级的验证项目存储于验证项目私有库。验证项目公有库为公共可见可用的；而验证项目私有库为某个业务使用场景具体所用，别的场景无法使用。这样就有效地区分除了个例和公共的情况。随着业务的发展与分析，我们可以逐步的将某个、某些检查项抽象公有化(即由私有库转移到公有库的过程)。
[0126]在实际应用当中，前期我们对接百度凤巢系统，数据检查包含文件有效性检查、上下级实体关系失联以及空数据的预警。后期对接360搜索(奇虎点睛)系统，发现也同样存在文件无效及上下级实体失联的问题。我们只需要将该两个检查项共有化(通过抽象的手段，去业务化)，从而完成系统演化和设计的复用。
[0127]优选的，本申请上述实施例中，上述装置还包括:第三判断模块56和第二存储模块57。
[0128]其中，第三判断模块56，用于判断所述验证规则的通用性，划分所述验证规则的规则通用等级，其中，所述规则通用等级至少包括:共有级、私有级；
[0129]第二存储模块57，用于根据所述规则通用等级，储存于验证规则库，其中，所述验证规则库至少包括:验证规则私有库和验证规则共有库，用于存储所述验证规则。
[0130]具体的，通过第三判断模块56和第二存储模块57，可以将创建的验证规则进行保存，根据已保存的验证规则在应用场景的通用程度，判断验证规则的规则通用等级。可以根据规则通用等级将验证规则分为:公有级和私有级。将共有级的验证规则存储于验证规则共有库，将私有级的验证规则存储于验证规则私有库。验证规则公有库为公共可见可用的；而验证规则私有库为某个业务使用场景具体所用，别的场景无法使用。这样就有效地区分除了个例和公共的情况。随着业务的发展与分析，我们可以逐步的将某个、某些检查项抽象公有化(即由私有库转移到公有库的过程)。
[0131]通过本申请上述实施例，可以解决检查逻辑碎片化。实现低耦合、高内聚，增强验证项目的复用性。将验证方法的扩展性得到极大的改进，极大地降低后续的维护成本。并且通过可视化的配置工具，有效地支撑系统的管理和演化。
[0132]需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0133]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0134]在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0135]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0136]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0137]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0138]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种数据有效性验证方法，其特征在于，包括: 获取元数据； 确定验证所述元数据的至少一个应用场景； 根据所述应用场景，确定与所述应用场景对应的配置参数，其中，所述配置参数用于表征所述应用场景的测试环境数据，所述测试环境数据至少包括:当前应用场景的账户登录参数； 将任意一个所述应用场景对应的配置参数分别加载至所述元数据，生成至少一个待验证数据，其中，所述元数据与任意一个所述应用场景对应的配置参数具有关联关系； 获取任意一个所述应用场景对应的验证项目，其中，所述验证项目用于表征所述待验证数据在所述应用场景进行验的验证步骤； 基于所述验证项目验证所述待验证数据，得到验证结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述验证项目验证所述待验证数据，得到验证结果的步骤包括: 根据所述验证项目创建验证规则，其中，所述验证规则用于表征各个所述验证项目间的约束关系； 根据所述验证规则，对所述待验证数据进行验证，其中，对所述待验证数据进行验证的方法至少包括:元数据必输项验证、上下级实体关系验证和空数据验证。
3.根据权利要求2所述的方法，其特征在于，在所述基于所述验证项目验证所述待验证数据，得到验证结果之后，所述方法还包括: 根据所述应用场景、所述配置参数、所述验证项目、所述验证规则和所述验证结果，生成验证报告。
4.根据权利要求3所述的方法，其特征在于，在所述根据所述应用场景、所述配置参数、所述验证项目、所述验证规则和所述验证结果，生成验证报告之后，方法还包括: 对所述验证报告中的错误信息进行识别，确定错误类型； 根据所述错误类型，划分错误级别。
5.根据权利要求1所述的方法，其特征在于，在所述基于所述验证项目验证所述待验证数据，得到验证结果之后，所述方法还包括: 判断所述验证项目的通用性，划分所述验证项目的项目通用等级，其中，所述项目通用等级至少包括:共有级、私有级； 根据所述项目通用等级，储存于验证项目库，其中，所述验证项目库至少包括:验证项目私有库和验证项目共有库，用于存储所述验证项目。
6.根据权利要求2所述的方法，其特征在于，在所述根据所述验证规则，对所述待验证数据进行验证之后，所述方法还包括: 判断所述验证规则的通用性，划分所述验证规则的规则通用等级，其中，所述规则通用等级至少包括:共有级、私有级； 根据所述规则通用等级，储存于验证规则库，其中，所述验证规则库至少包括:验证规则私有库和验证规则共有库，用于存储所述验证规则。
7.一种数据有效性验证装置，其特征在于，包括: 第一获取模块，用于获取元数据； 第一确定模块，用于确定验证所述元数据的至少一个应用场景； 第二确定模块，用于根据所述应用场景，确定与所述应用场景对应的配置参数，其中，所述配置参数用于表征所述应用场景的测试环境数据，所述测试环境数据至少包括:当前应用场景的账户登录参数； 第一生成模块，用于将任意一个所述应用场景对应的配置参数分别加载至所述元数据，生成至少一个待验证数据，其中，所述元数据与任意一个所述应用场景对应的配置参数具有关联关系; 第二获取模块，用于获取任意一个所述应用场景对应的验证项目，其中，所述验证项目用于表征所述待验证数据在所述应用场景进行验的验证步骤； 验证模块，用于基于所述验证项目验证所述待验证数据，得到验证结果。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括: 第二生成模块，用于根据所述应用场景、所述配置参数、所述验证项目、验证规则和所述验证结果，生成验证报告。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括: 第三确定模块，用于对所述验证报告中的错误信息进行识别，确定错误类型； 第一判断模块，用于根据所述错误类型，划分错误级别。
10.根据权利要求7所述装置，其特征在于，所述装置还包括: 第二判断模块，用于判断所述验证项目的通用性，划分所述验证项目的项目通用等级，其中，所述项目通用等级至少包括:共有级、私有级； 第一存储模块，用于根据所述项目通用等级，储存于验证项目库，其中，所述验证项目库至少包括:验证项目私有库和验证项目共有库，用于存储所述验证项目。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括: 第三判断模块，用于判断所述验证规则的通用性，划分所述验证规则的规则通用等级，其中，所述规则通用等级至少包括:共有级、私有级； 第二存储模块，用于根据所述规则通用等级，储存于验证规则库，其中，所述验证规则库至少包括:验证规则私有库和验证规则共有库，用于存储所述验证规则。
【文档编号】H04L29/06GK104486337SQ201410773933
【公开日】2015年4月1日 申请日期:2014年12月12日 优先权日:2014年12月12日
【发明者】商平锋 申请人:北京国双科技有限公司