异常确定方法及装置的制造方法
【专利摘要】本公开实施例提供了一种异常确定方法及装置，所述方法包括：获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址；统计每个所述URL地址对应的原始上报数据的数据条数；查找数据条数在预设阈值范围外的URL地址；将查找到的URL地址对应的原始上报数据确定为异常数据。本公开能够通过查找数据条数在预设阈值范围外的URL地址对应的原始上报数据，来确定URL地址对应的原始上报数据是否异常，能够从根源处检测数据异常，提高定位数据异常原因的效率。
【专利说明】
异常确定方法及装置
技术领域
[0001 ]本公开涉及计算机技术领域，尤其涉及一种异常确定方法及装置。
【背景技术】
[0002]数据仓库是在企业管理和决策中面向主题的、集成的数据集合，也就是说对所有应用系统，例如:客户关系管理系统、财务系统等，按照主题进行集成并记录整个历史变化情况。它是单个数据存储，出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
[0003]在实际应用中，由于ETL(Extract Transform Load，数据仓库技术)过程经常会有一些异常行为发生，可能会导致将一些异常数据存入数据仓库中，这样，可能会导致所有基于这些异常数据进行的处理流程均出现错误，为了避免这一情况，需要一种高效高质量的分析和监控机制。
【发明内容】
[0004]为克服相关技术中存在的问题，本公开提供一种异常确定方法及装置。
[0005]根据本公开实施例的第一方面，提供一种异常确定方法，包括:
[0006]获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址；
[0007]统计每个所述URL地址对应的原始上报数据的数据条数；
[0008]查找数据条数在预设阈值范围外的URL地址；
[0009]将查找到的URL地址对应的原始上报数据确定为异常数据。
[0010]可选地，所述方法还包括:
[0011]接收客户端发送的上报数据包，所述上报数据包包含原始上报数据和对应的URL地址；
[0012]根据所述URL地址在数据仓库中构建存储目录；
[0013]将所述原始上报数据存储于数据仓库中所述存储目录对应的存储位置。
[0014]可选地，所述方法还包括:
[0015]查找所有与异常数据相关联的数据处理流程；
[0016]提示所有与异常数据相关联的数据处理流程异常。
[0017]可选地，所述方法还包括:
[0018]获取每个所述URL地址对应的原始上报数据的存储时间；
[0019]根据每个所述URL地址对应的原始上报数据的数据条数，以及，所述存储时间生成每个URL地址在每个预设时间段内关于数据条数的曲线；
[0020]显示每个URL地址的曲线。
[0021 ] 可选地，所述方法还包括:
[0022]获取每个所述URL地址对应的原始上报数据的存储时间；
[0023]针对每个存储时间段，根据每个所述URL地址对应的原始上报数据的数据条数生成关于多个URL地址的数据条数的饼状图；
[0024]显示生成的所述饼状图。
[0025]根据本公开实施例的第二方面，提供一种异常确定装置，包括:
[0026]第一获取模块，用于获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址；
[0027]统计模块，用于统计每个所述URL地址对应的原始上报数据的数据条数；
[0028]第一查找模块，用于查找数据条数在预设阈值范围外的URL地址；
[0029]确定模块，用于将查找到的URL地址对应的原始上报数据确定为异常数据。
[0030]可选地，所述装置还包括:
[0031]接收模块，用于接收客户端发送的上报数据包，所述上报数据包包含原始上报数据和对应的URL地址；
[0032]构建模块，用于根据所述URL地址在数据仓库中构建存储目录；
[0033]存储模块，用于将所述原始上报数据存储于数据仓库中所述存储目录对应的存储位置。
[0034]可选地，所述装置还包括:
[0035]第二查找模块，用于查找所有与异常数据相关联的数据处理流程；
[0036]提示模块，用于提示所有与异常数据相关联的数据处理流程异常。
[0037]可选地，所述装置还包括:
[0038]第二获取模块，用于获取每个所述URL地址对应的原始上报数据的存储时间；
[0039]第一生成模块，用于根据每个所述URL地址对应的原始上报数据的数据条数，以及，所述存储时间生成每个URL地址在每个预设时间段内关于数据条数的曲线；
[0040]第一显示模块，用于显示每个URL地址的曲线。
[0041 ] 可选地，所述装置还包括:
[0042]第三获取模块，用于获取每个所述URL地址对应的原始上报数据的存储时间；
[0043]第二生成模块，用于针对每个存储时间段，根据每个所述URL地址对应的原始上报数据的数据条数生成关于多个URL地址的数据条数的饼状图；
[0044]第二显示模块，用于显示生成的所述饼状图。
[0045]本公开的实施例提供的技术方案可以包括以下有益效果:
[0046]本公开通过获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址；统计每个所述URL地址对应的原始上报数据的数据条数;查找数据条数在预设阈值范围外的URL地址;将查找到的URL地址对应的原始上报数据确定为异常数据。
[0047]本公开提供的该方法，能够通过查找数据条数在预设阈值范围外的URL地址对应的原始上报数据，来确定URL地址对应的原始上报数据是否异常，能够从根源处检测数据异常，提高定位数据异常原因的效率。
[0048]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
【附图说明】
[0049]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0050]图1是根据一示例性实施例示出的一种异常确定方法的流程图；
[0051 ]图2是根据一示例性实施例示出的一种异常确定方法的另一种流程图；
[0052]图3是根据一示例性实施例示出的一种异常确定方法的另一种流程图；
[0053]图4是根据一示例性实施例示出的一种异常确定方法的另一种流程图；
[0054]图5是根据一示例性实施例示出的一种异常确定方法的另一种流程图；
[0055]图6是根据一示例性实施例示出的一种异常确定装置的一种结构图。
【具体实施方式】
[0056]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0057]如图1所示，在本公开的一个实施例中，提供了一种异常确定方法，包括以下步骤。
[0058]在步骤SlOl中，获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址。
[0059]在本公开实施例中，原始上报数据是由客户端上报到服务器中，再由服务器存储于数据仓库中的，客户端在上报原始上报数据时还会同时上报与原始上报数据对应的URL地址，例如，用户在观看某一视频时，客户端可能会将该视频的播放记录和该视频的URL地址同时上报到服务器，服务器根据上报的URL地址构建存储目录并开辟存储位置，并将原始上报数据存储在数据仓库中与存储目录对应的存储位置中，所以存储目录与URL地址一一对应，原始上报数据可以为视频播放记录，例如:播放时长、视频编号VID等，可以为视频播放终端信息，如:MAC(Media Access Control或者Medium Access Control，媒体访问控制)地址，IMEI(Internat1nal Mobile Equipment Identity，国际移动设备标识)等。
[0060]在步骤S102中，统计每个所述URL地址对应的原始上报数据的数据条数。
[0061 ]在该步骤中，可以根据URL地址查询与URL地址对应的存储目录及存储位置，再统计每个存储位置中存储的原始上报数据的数据条数。
[0062]在步骤S103中，查找数据条数在预设阈值范围外的URL地址。
[0063]在本公开实施例中，预设阈值范围可以根据一个时间段内(如I个月等)每个URL地址平均上报的数据条数确定。
[0064]在该步骤中，可以将每个URL地址的数据条数与预设阈值范围进行比较，例如:假设预设阈值范围为O?160，如果URL地址001上报的数据条数为152条，则数据条数位于预设阈值范围内；如果URL地址001上报的数据条数为162条，则数据条数位于预设阈值范围外。
[0065]或者，也可以查找在数据条数与预设参考值之间的差值在预设阈值范围外的URL地址，预设参考值可以根据一个时间段内(如I个月等)每个URL地址平均上报的数据条数确定，这种情况下的预设阈值范围可以用来限定数据条数在预设参考值周围浮动的范围。
[0066]在该步骤中，可以将每个URL地址的数据条数与预设参考值进行做差，再判断得到的差值是否超过预设阈值范围，例如:假设预设参考值为150，预设阈值范围为-10?10，如果URL地址OOl上报的数据条数为152条，数据条数与预设参考值的差值为2，则二者的差值位于预设阈值范围内；如果URL地址001上报的数据条数为162条，数据条数与预设参考值的差值为12，则二者的差值位于预设阈值范围外；如果URL地址001上报的数据条数为138条，数据条数与预设参考值的差值为-12，则差值位于预设阈值范围外。
[0067]在步骤S104中，将查找到的URL地址对应的原始上报数据确定为异常数据。
[0068]在该步骤中，例如:如果URL地址002的数据条数在预设阈值范围外，则可以将URL地址002对应的原始上报数据确定为异常数据。
[0069]本公开实施例提供的该方法，能够通过查找数据条数在预设阈值范围外的URL地址对应的原始上报数据，来确定URL地址对应的原始上报数据是否异常，能够从根源处检测数据异常，提高定位数据异常原因的效率。相对于传统的通过人工监控检测数据异常，能够从根源处检测数据异常，提高定位数据异常原因的效率。
[0070]如图2所示，在本公开的又一实施例中，所述方法还包括以下步骤。
[0071]在步骤S201中，接收客户端发送的上报数据包，所述上报数据包包含原始上报数据和对应的URL地址。
[0072]在步骤S202中，根据所述URL地址在数据仓库中构建存储目录。
[0073]在步骤S203中，将所述原始上报数据存储于数据仓库中所述存储目录对应的存储位置。
[0074]本公开实施例提供的该方法，能够将原始上报数据存储在根据URL地址构建的存储目录对应的存储位置，以便根据URL地址统计该URL地址上报的原始上报数据的条数。
[0075]如图3所示，在本公开的又一实施例中，所述方法还包括以下步骤。
[0076]在步骤S301中，查找所有与异常数据相关联的数据处理流程。
[0077]例如，可以查找根据异常数据生成的数据报表等。
[0078]在步骤S302中，提示所有与异常数据相关联的数据处理流程异常。
[0079]在该步骤中，可以提示根据异常数据生成的所有数据报表异常等等。
[0080]本公开实施例提供的该方法，能够根据异常数据，自动提示与异常数据有关的数据处理流程异常，避免人为监控排查报表错误效率低的情况，提高数据异常处理效率。
[0081]如图4所示，在本公开的又一实施例中，所述方法还包括以下步骤。
[0082]在步骤S401中，获取每个所述URL地址对应的原始上报数据的存储时间。
[0083]在该步骤之前，可以在服务器每次存储原始上报数据和URL地址到数据仓库时，记录存储时间。
[0084]在该步骤中，可以获取每个URL地址对应的所有原始上报数据的存储时间。
[0085]在步骤S402中，根据每个所述URL地址对应的原始上报数据的数据条数，以及，所述存储时间生成每个URL地址在每个预设时间段内关于数据条数的曲线。
[0086]在该步骤中，可以针对每个URL地址，以预设时间段内的存储时间为横轴，以数据条数为纵轴，绘制关于数据条数-时间的曲线，其中预设时间段可以为一周或者一个月等，可以根据实际需要设定。
[0087]在步骤S403中，显示每个URL地址的曲线。
[0088]本公开实施例提供的该方法，能够针对每个URL地址生成图表，以便逐一观察每个URL地址的波动是否预设阈值范围。
[0089]如图5所示，在本公开的又一实施例中，所述方法还包括以下步骤。
[0090]在步骤S501中，获取每个所述URL地址对应的原始上报数据的存储时间。
[0091 ]在步骤S502中，针对每个存储时间段，根据每个所述URL地址对应的原始上报数据的数据条数生成关于多个URL地址的数据条数的饼状图。
[0092]在该步骤中，存储时间段可以是一天等等，可以根据若干个的URL地址的数据条数生成关于一天内各个URL地址饼状图，如:可以根据URL地址001至URL地址010的10个URL地址一天内的数据条数生成饼状图。
[0093]在步骤S503中，显示生成的所述饼状图。
[0094]本公开实施例提供的该方法，能够针对多个URL地址生成饼状图，以便观察某一URL地址对应的扇形区域的面积是否出现过大等情况。
[0095]如图6所示，在本公开的又一实施例中，提供一种异常确定装置，包括:第一获取模块601、统计模块602、判断模块603和确定模块604。
[0096]第一获取模块601，用于获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址。
[0097]统计模块602，用于统计每个所述URL地址对应的原始上报数据的数据条数。
[0098]第一查找模块603，用于查找数据条数在预设阈值范围外的URL地址；
[0099]确定模块604，用于将查找到的URL地址对应的原始上报数据确定为异常数据。
[0100]在本公开的又一实施例中，所述装置还包括:接收模块、构建模块和存储模块。
[0101]接收模块，用于接收客户端发送的上报数据包，所述上报数据包包含原始上报数据和对应的URL地址。
[0102]构建模块，用于根据所述URL地址在数据仓库中构建存储目录。
[0103]存储模块，用于将所述原始上报数据存储于数据仓库中所述存储目录对应的存储位置。
[0104]在本公开的又一实施例中，所述装置还包括:查找模块和提示模块。
[0105]第二查找模块，用于查找所有与异常数据相关联的数据处理流程。
[0106]提示模块，用于提示所有与异常数据相关联的数据处理流程异常。
[0107]在本公开的又一实施例中，所述装置还包括:第二获取模块、第一生成模块和第一显示模块。
[0108]第二获取模块，用于获取每个所述URL地址对应的原始上报数据的存储时间。
[0109]第一生成模块，用于根据每个所述URL地址对应的原始上报数据的数据条数，以及，所述存储时间生成每个URL地址在每个预设时间段内关于数据条数的曲线。
[0110]第一显示模块，用于显示每个URL地址的曲线。
[0111]在本公开的又一实施例中，所述装置还包括:第二生成模块和第二显示模块。
[0112]第三获取模块，用于获取每个所述URL地址对应的原始上报数据的存储时间。
[0113]第二生成模块，用于针对每个存储时间段，根据每个所述URL地址对应的原始上报数据的数据条数生成关于多个URL地址的数据条数的饼状图。
[0114]第二显示模块，用于显示生成的所述饼状图。
[0115]本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。
[0116]应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
【主权项】
1.一种异常确定方法，其特征在于，包括: 获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址； 统计每个所述URL地址对应的原始上报数据的数据条数； 查找数据条数在预设阈值范围外的URL地址； 将查找到的URL地址对应的原始上报数据确定为异常数据。2.根据权利要求1所述的异常确定方法，其特征在于，所述方法还包括: 接收客户端发送的上报数据包，所述上报数据包包含原始上报数据和对应的URL地址； 根据所述URL地址在数据仓库中构建存储目录； 将所述原始上报数据存储于数据仓库中所述存储目录对应的存储位置。3.根据权利要求1所述的异常确定方法，其特征在于，所述方法还包括: 查找所有与异常数据相关联的数据处理流程； 提示所有与异常数据相关联的数据处理流程异常。4.根据权利要求1所述的异常确定方法，其特征在于，所述方法还包括: 获取每个所述URL地址对应的原始上报数据的存储时间； 根据每个所述URL地址对应的原始上报数据的数据条数，以及，所述存储时间生成每个URL地址在每个预设时间段内数据条数的曲线； 显示每个URL地址的曲线。5.根据权利要求1所述的异常确定方法，其特征在于，所述方法还包括: 获取每个所述URL地址对应的原始上报数据的存储时间； 针对每个存储时间段，根据每个所述URL地址对应的原始上报数据的数据条数生成关于多个URL地址的数据条数的饼状图； 显示生成的所述饼状图。6.一种异常确定装置，其特征在于，包括: 第一获取模块，用于获取数据仓库中存储的原始上报数据，以及，每个所述原始上报数据对应的URL地址； 统计模块，用于统计每个所述URL地址对应的原始上报数据的数据条数； 第一查找模块，用于查找数据条数在预设阈值范围外的URL地址； 确定模块，用于将查找到的URL地址对应的原始上报数据确定为异常数据。7.根据权利要求6所述的异常确定装置，其特征在于，所述装置还包括: 接收模块，用于接收客户端发送的上报数据包，所述上报数据包包含原始上报数据和对应的URL地址； 构建模块，用于根据所述URL地址在数据仓库中构建存储目录； 存储模块，用于将所述原始上报数据存储于数据仓库中所述存储目录对应的存储位置。8.根据权利要求6所述的异常确定装置，其特征在于，所述装置还包括: 第二查找模块，用于查找所有与异常数据相关联的数据处理流程； 提示模块，用于提示所有与异常数据相关联的数据处理流程异常。9.根据权利要求6所述的异常确定装置，其特征在于，所述装置还包括: 第二获取模块，用于获取每个所述URL地址对应的原始上报数据的存储时间； 第一生成模块，用于根据每个所述URL地址对应的原始上报数据的数据条数，以及，所述存储时间生成每个URL地址在每个预设时间段内关于数据条数的曲线； 第一显示模块，用于显示每个URL地址的曲线。10.根据权利要求6所述的异常确定装置，其特征在于，所述装置还包括: 第三获取模块，用于获取每个所述URL地址对应的原始上报数据的存储时间； 第二生成模块，用于针对每个存储时间段，根据每个所述URL地址对应的原始上报数据的数据条数生成关于多个URL地址的数据条数的饼状图； 第二显示模块，用于显示生成的所述饼状图。
【文档编号】G06F17/30GK105868036SQ201510923044
【公开日】2016年8月17日
【申请日】2015年12月14日
【发明人】许鹭清
【申请人】乐视网信息技术（北京）股份有限公司