一种数据处理的方法及装置的制造方法
【专利摘要】本发明实施例提供了一种数据处理的方法及装置，涉及通信技术领域，用以自动维护网管系统的数据，降低网管系统的数据维护过程复杂，提高维护效率。所述方法包括：获取数据处理过程的数据质量日志信息；根据所述数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息；在确定所述数据处理过程的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。本发明适用于数据检测的场景。
【专利说明】
一种数据处理的方法及装置
技术领域
[0001 ]本发明涉及通信技术领域，尤其涉及一种数据处理的方法及装置。
【背景技术】
[0002]在移动通信中，数据是网管应用以及用户运营分析的基础，数据不完整、不准确将导致网管应用无效，严重时可能导致决策的失误。为此，数据的质量保障是网管建设中的关键问题，贯穿了网管建设的整个过程，并影响了网管系统的推广和使用。
[0003]网管系统相关数据繁多，维护这些繁杂的数据需要大量的时间人力，且需要很强的业务水平，以及经验，因此网管系统的数据维护过程复杂，维护效率较低。
【发明内容】
[0004]本发明的实施例提供一种数据处理的方法及装置，用以自动维护网管系统的数据，降低网管系统的数据维护过程复杂，提高维护效率。
[0005]为达到上述目的，本发明的实施例采用如下技术方案:
[0006]本发明实施例提供了一种数据处理的方法，包括:获取数据处理过程的数据质量日志信息;根据所述数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息;在确定所述数据处理过程的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。
[0007]可选地，还包括:获取检测条件信息;所述检测条件信息是预先设置的用于检测数据节点存储的数据是否异常的信息;根据所述检测条件信息，确定数据节点中存储的数据是否异常;在确定所述数据节点中存储的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。
[0008]可选地，所述获取数据处理过程的数据质量日志信息包括:分别获取数据采集，数据过滤及数据汇总的数据质量日志信息；所述根据所述数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息包括:在所述数据采集的数据质量日志信息中获取所述数据采集的检测信息，在所述数据过滤的数据质量日志信息中获取所述数据过滤的检测信息，在所述数据汇总的数据质量日志信息中获取所述数据汇总的检测信息；分别根据所述数据采集的检测信息，所述数据过滤的检测信息，所述数据汇总的检测信息，确定数据过程的数据是否存在异常信息。
[0009]可选地，所述将异常信息反馈至管理用户包括:将所述异常信息以拓扑图的方式反馈至管理用户。
[0010]进一步的，本发明实施例提供了一种数据处理的装置，包括:获取单元，用于获取数据处理过程的数据质量日志信息；确定单元，用于根据所述获取单元获取的所述数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息;处理单元，用于在所述确定单元确定所述数据处理过程的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。
[0011]可选地，所述获取单元，还用于获取检测条件信息;所述检测条件信息是预先设置的用于检测数据节点存储的数据是否异常的信息;所述确定单元，还用于根据所述获取单元获取的所述检测条件信息，确定数据节点中存储的数据是否异常;所述处理单元，还用于在所述确定单元确定所述数据节点中存储的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。
[0012]可选地，所述获取单元，具体用于分别获取数据采集，数据过滤及数据汇总的数据质量日志信息;所述确定单元，具体用于在所述数据采集的数据质量日志信息中获取所述数据采集的检测信息，在所述数据过滤的数据质量日志信息中获取所述数据过滤的检测信息，在所述数据汇总的数据质量日志信息中获取所述数据汇总的检测信息；分别根据所述数据采集的检测信息，所述数据过滤的检测信息，所述数据汇总的检测信息，确定数据过程的数据是否存在异常信息。
[0013]可选地，所述处理单元，具体用于将所述异常信息以拓扑图的方式反馈至管理用户。
[0014]本发明实施例提供了一种数据处理的方法及装置，包括:获取数据处理过程的数据质量日志信息;根据数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息；在确定数据处理过程的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。这样，数据处理的装置在数据处理过程中，可以对数据处理过程进行数据检测，即为数据处理的装置可以获取数据处理过程的数据质量日志信息，进而可以根据此数据质量日志信息确定数据处理过程的数据是否存在异常信息。在存在异常信息时，说明数据处理过程中有错误的数据，此时可以将异常信息存储起来并将异常信息反馈至管理用户。在本发明中，可以通过数据处理的装置自动维护网管系统的数据，降低了网管系统的数据维护过程复杂，提高了维护效率。
【附图说明】
[0015]为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本发明实施例提供的一种数据处理的方法的流程示意图；
[0017]图2为本发明实施例提供的另一种数据处理的方法的流程示意图；
[0018]图3为本发明实施例提供的一种数据处理的装置的结构示意图。
【具体实施方式】
[0019]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0020]本发明实施例提供了一种数据处理的方法，如图1所示，包括:
[0021 ]步骤101、获取数据处理过程的数据质量日志信息。
[0022]具体的，数据处理的装置需对数据处理过程的数据进行检测，确定其是否存在异常，此时数据处理的装置可以在数据处理过程中获取数据处理过程的数据质量日志信息。
[0023]进一步的，数据处理过程包括数据采集，数据过滤及数据汇总。此时，获取数据处理过程的数据质量日志信息包括:分别获取数据采集，数据过滤及数据汇总的数据质量日志信息。
[0024]也就是说，数据处理的装置在进行数据采集时，获取数据采集的数据质量日志信息，在进行数据过滤时，获取数据过滤的数据质量日志信息，在进行数据汇总时，获取数据汇总的数据质量日志信息。
[0025]步骤102、根据数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常彳g息。
[0026]具体的，数据处理的装置在获取了数据处理过程的数据质量日志信息后，可以从此数据质量日志信息中获取到检测数据处理过的数据是否异常的检测信息，数据处理的装置可以根据此检测信息确定数据处理过程的数据是否存在异常信息。
[0027]例如，数据处理的装置根据检测信息中记录的数据，确定进行数据处理过程的设备是否异常，用户发送的数据在进行数据处理过程中是否有异常等。
[0028]进一步的，在数据处理过程包括数据采集，数据过滤，数据汇总时，数据处理的装置根据数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息包括:
[0029]在数据采集的数据质量日志信息中获取数据采集的检测信息，在数据过滤的数据质量日志信息中获取数据过滤的检测信息，在数据汇总的数据质量日志信息中获取数据汇总的检测信息。分别根据数据采集的检测信息，数据过滤的检测信息，数据汇总的检测信息，确定数据过程的数据是否存在异常信息。
[0030]即为，数据处理的装置在获取数据质量日志信息时，需在数据采集时，获取数据采集的检测信息，在数据过滤时，获取数据过滤的检测信息，在数据汇总时，获取数据汇总的检测信息，进而数据处理的装置可以根据数据采集的检测信息确定在进行数据采集时，是否有异常信息，根据数据过滤的检测信息确定在进行数据过滤时，是否有异常信息，根据数据汇总的检测信息确定在进行数据汇总时，是否有异常信息。
[0031]进一步的，数据处理的装置在确定数据处理过程的数据没有异常信息时，说明数据处理过程正常，此时数据处理的装置可以将获取的数据处理过程的数据质量日志信息存储起来。
[0032]步骤103、在确定数据处理过程的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。
[0033]具体的，数据处理的装置在确定出数据处理过程的数据存在异常信息时，说明数据处理过程中有异常，此时数据处理的装置可以将数据处理过程中获取的异常信息存储起来，并将此异常信息反馈给管理用户，以便管理用户根据此异常信息进行相应的异常处理。
[0034]进一步的，数据处理的装置可以在获取到异常信息时，将此异常信息存储至数据质量库的接口表中，以便以后进行异常统计时在此数据质量库的接口表中获取到此异常信息。
[0035]进一步的，数据处理的装置可以将上述的异常信息通过界面显示的方式反馈给用户。
[0036]进一步的，数据处理的装置将异常信息反馈至管理用户包括:将异常信息以拓扑图的方式反馈至管理用户。
[0037]即为，数据处理的装置可以以拓扑图的方式直观呈现数据处理过程中异常信息的报表和指标间的关系，以不同颜色标注各个数据处理过程的数据质量情况，并且可以钻取各数据处理过程中异常信息。
[0038]进一步的，在数据处理过程的异常信息显示的拓扑图上还提供了对各报表详情，及各数据处理过程详情的查看功能，并在数据处理过程上提供了其指标拓扑的查看功能，这样可以方便客户查看数据处理过程中的异常数据影响的指标。
[0039]进一步的，为了方便用户使用分析，数据处理的装置可以在提供异常信息的同时，还提供实际的指标值查询等功能，使用户可以快速方便的看到想要看到的指标实际值，来快速分析异常原因。
[0040]本发明实施例提供了一种数据处理的方法，包括:获取数据处理过程的数据质量日志信息;根据数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息;在确定数据处理过程的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。这样，数据处理的装置在数据处理过程中，可以对数据处理过程进行数据检测，即为数据处理的装置可以获取数据处理过程的数据质量日志信息，进而可以根据此数据质量日志信息确定数据处理过程的数据是否存在异常信息。在存在异常信息时，说明数据处理过程中有错误的数据，此时可以将异常信息存储起来并将异常信息反馈至管理用户。在本发明中，可以通过数据处理的装置自动维护网管系统的数据，降低了网管系统的数据维护过程复杂，提高了维护效率。
[0041 ]进一步的，上述方法，如图2所示，还包括:
[0042]步骤104、获取检测条件信息。
[0043]其中，检测条件信息是预先设置的用于检测数据节点存储的数据是否异常的信息。
[0044]具体的，检测条件可以是管理用户根据实际需求预先设置的。管理用户设置完成后，可以将检测条件发送给数据处理的装置。此时，数据处理的装置接收用户设置的检测条件信息，并将此检测条件信息进行存储，以便在后续的数据检测中使用此检测条件信息。
[0045]需要说明的是，在管理用户设置本次的检测条件信息后，数据处理的装置可以存储此检测条件信息，并在进行数据检测时，使用此检测条件信息。若管理用户重新设置了检测条件信息，则数据处理的装置可以将已存储的检测条件信息删除，并存储管理用户重新设置的检测条件信息。
[0046]检测条件信息用于检测数据节点中存储的数据是否存在异常，可以检测数据节点中存储的数据的有效性及完整性进行相应的检测。例如，检测条件信息中记录有数据的时间范围，所属城市，数据的适用范围等。其中，数据的适用范围是指数据为节假日数据，或是非假日数据，或是节假日及非节假日数据。
[0047]需要说明的是，检测条件信息是管理用户根据其实际需求预先设置的，本发明对其具体的内容不做限制。
[0048]步骤105、根据检测条件信息，确定数据节点中存储的数据是否异常。
[0049]具体的，数据处理的装置在获取了检测条件信息后，需对数据节点中存储的数据进行检测，确定各个数据节点存储的数据是否存在异常。此时，数据处理的装置利用检测条件信息，从数据节点中获取到其存储的数据，检测数据节点存储的数据是否满足检测条件信息，若满足则可以确定数据节点中存储的数据没有异常，若数据节点存储的数据不满足检测条件信息，则可以确定数据节点中存储的数据异常。
[0050]步骤106、在确定数据节点中存储的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。
[0051]具体的，数据处理的装置在确定数据节点中存储的数据异常，即为存在异常信息时，则说明数据节点存储的数据不正确，此时数据处理的装置可以将数据节点中存储的数据的异常信息存储起来，并将此异常信息反馈给管理用户，以便管理用户根据此异常信息进行相应的异常处理。
[0052]进一步的，数据处理的装置可以在获取到异常信息时，将此异常信息存储至数据质量库的接口表中，以便以后进行异常统计时在此数据质量库的接口表中获取到此异常信息。
[0053]进一步的，数据处理的装置可以将上述的异常信息通过界面显示的方式反馈给用户。
[0054]进一步的，数据处理的装置将异常信息反馈至管理用户包括:将异常信息以拓扑图的方式反馈至管理用户。
[0055]需要说明的是，在本发明实施例中对步骤101-103与步骤104-106间的执行顺序不做限制，可以先执彳丁步骤101-103，在执彳丁步骤104-106 ；还可以先执彳丁步骤104_106，在执行步骤101-103;还可以同时执行步骤101-103与步骤104-106，在图示中仅表示出一种情况。
[0056]本发明实施例提供了一种数据处理的方法，包括:获取数据处理过程的数据质量日志信息;根据数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息;在确定数据处理过程的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。这样，数据处理的装置在数据处理过程中，可以对数据处理过程进行数据检测，即为数据处理的装置可以获取数据处理过程的数据质量日志信息，进而可以根据此数据质量日志信息确定数据处理过程的数据是否存在异常信息。在存在异常信息时，说明数据处理过程中有错误的数据，此时可以将异常信息存储起来并将异常信息反馈至管理用户。在本发明中，可以通过数据处理的装置自动维护网管系统的数据，降低了网管系统的数据维护过程复杂，提高了维护效率。
[0057]进一步的，在本发明实施例中，数据处理的装置还可以对数据节点中存储的数据进行检测，从而可以在数据节点中存储的数据异常时，及时的将异常信息反馈至管理用户，进一步实现了数据处理的装置自动维护网管系统的数据的目的，进而进一步降低了网管系统的数据维护过程复杂，提高了维护效率。
[0058]本发明实施例提供了一种数据处理的装置，如图3所示，包括:
[0059]获取单元301，用于获取数据处理过程的数据质量日志信息。
[0060]具体的，获取单元301，具体用于分别获取数据采集，数据过滤及数据汇总的数据质量日志信息。
[0061 ]确定单元302，用于根据获取单元301获取的数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息。
[0062]具体的，确定单元302，具体用于在数据采集的数据质量日志信息中获取数据采集的检测信息，在数据过滤的数据质量日志信息中获取数据过滤的检测信息，在数据汇总的数据质量日志信息中获取数据汇总的检测信息。分别根据数据采集的检测信息，数据过滤的检测信息，数据汇总的检测信息，确定数据过程的数据是否存在异常信息。
[0063]处理单元303，用于在确定单元302确定数据处理过程的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。
[0064]具体的，处理单元303，具体用于将异常信息以拓扑图的方式反馈至管理用户。
[0065]进一步的，获取单元301，还用于获取检测条件信息。
[0066]其中，检测条件信息是预先设置的用于检测数据节点存储的数据是否异常的信息。
[0067]确定单元302，还用于根据获取单元301获取的检测条件信息，确定数据节点中存储的数据是否异常。
[0068]处理单元303，还用于在确定单元302确定数据节点中存储的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。
[0069]本发明实施例提供了一种数据处理的装置，包括:获取数据处理过程的数据质量日志信息;根据数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息;在确定数据处理过程的数据存在异常信息时，存储异常信息并将异常信息反馈至管理用户。这样，数据处理的装置在数据处理过程中，可以对数据处理过程进行数据检测，即为数据处理的装置可以获取数据处理过程的数据质量日志信息，进而可以根据此数据质量日志信息确定数据处理过程的数据是否存在异常信息。在存在异常信息时，说明数据处理过程中有错误的数据，此时可以将异常信息存储起来并将异常信息反馈至管理用户。在本发明中，可以通过数据处理的装置自动维护网管系统的数据，降低了网管系统的数据维护过程复杂，提高了维护效率。
[0070]进一步的，在本发明实施例中，数据处理的装置还可以对数据节点中存储的数据进行检测，从而可以在数据节点中存储的数据异常时，及时的将异常信息反馈至管理用户，进一步实现了数据处理的装置自动维护网管系统的数据的目的，进而进一步降低了网管系统的数据维护过程复杂，提高了维护效率。
[0071]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种数据处理的方法，其特征在于，包括: 获取数据处理过程的数据质量日志信息； 根据所述数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息； 在确定所述数据处理过程的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。2.根据权利要求1所述的方法，其特征在于，还包括: 获取检测条件信息;所述检测条件信息是预先设置的用于检测数据节点存储的数据是否异常的信息； 根据所述检测条件信息，确定数据节点中存储的数据是否异常； 在确定所述数据节点中存储的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。3.根据权利要求1所述的方法，其特征在于，所述获取数据处理过程的数据质量日志信息包括: 分别获取数据采集，数据过滤及数据汇总的数据质量日志信息； 所述根据所述数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息包括: 在所述数据采集的数据质量日志信息中获取所述数据采集的检测信息，在所述数据过滤的数据质量日志信息中获取所述数据过滤的检测信息，在所述数据汇总的数据质量日志信息中获取所述数据汇总的检测信息； 分别根据所述数据采集的检测信息，所述数据过滤的检测信息，所述数据汇总的检测信息，确定数据过程的数据是否存在异常信息。4.根据权利要求1-3任一项所述的方法，其特征在于，所述将异常信息反馈至管理用户包括: 将所述异常信息以拓扑图的方式反馈至管理用户。5.一种数据处理的装置，其特征在于，包括: 获取单元，用于获取数据处理过程的数据质量日志信息； 确定单元，用于根据所述获取单元获取的所述数据处理过程的数据质量日志信息，确定数据处理过程的数据是否存在异常信息； 处理单元，用于在所述确定单元确定所述数据处理过程的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。6.根据权利要求5所述的装置，其特征在于， 所述获取单元，还用于获取检测条件信息；所述检测条件信息是预先设置的用于检测数据节点存储的数据是否异常的信息； 所述确定单元，还用于根据所述获取单元获取的所述检测条件信息，确定数据节点中存储的数据是否异常； 所述处理单元，还用于在所述确定单元确定所述数据节点中存储的数据存在异常信息时，存储所述异常信息并将异常信息反馈至管理用户。7.根据权利要求5所述的装置，其特征在于， 所述获取单元，具体用于分别获取数据采集，数据过滤及数据汇总的数据质量日志信息; 所述确定单元，具体用于在所述数据采集的数据质量日志信息中获取所述数据采集的检测信息，在所述数据过滤的数据质量日志信息中获取所述数据过滤的检测信息，在所述数据汇总的数据质量日志信息中获取所述数据汇总的检测信息;分别根据所述数据采集的检测信息，所述数据过滤的检测信息，所述数据汇总的检测信息，确定数据过程的数据是否存在异常彳g息。8.根据权利要求5-7任一项所述的装置，其特征在于， 所述处理单元，具体用于将所述异常信息以拓扑图的方式反馈至管理用户。
【文档编号】H04L12/26GK105847079SQ201610153740
【公开日】2016年8月10日
【申请日】2016年3月17日
【发明人】石秀, 徐志海
【申请人】浪潮通信信息系统有限公司