用于数据诊断优化的方法和系统的制作方法
【技术领域】
[0001]本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及数据诊断优化的方法和系统。
【背景技术】
[0002]伴随着当前互联网快速发展，数据规模越来越大，在资源利用率要求越来越高的情况下，如何高效利用已有资源进行大数据处理，在最短时间和最省资源的前提下得到目标结果已经成为各大企业面临的难题。在上述背景中，首先需要做到对运行作业失败原因的快速定位即诊断，让开发人员能够以最快的速度开发出处理数据的程序作业，节省开发人员进行大数据开发的时间成本、提高机器进行有效计算的时间比例。其次在程序运行过程中需要对机器资源进行最大化的利用即优化，这不仅是对数据进行快速处理的要求，也是对计算成本的有效控制。现有的大数据作业诊断优化的方法都不能完整的给予用户有效的反馈，让用户可以针对已有的作业情况进行合理的修改。
【发明内容】
[0003]本申请的目的在于提出一种用于数据诊断优化的方法和系统，来解决以上【背景技术】部分提到的技术问题。
[0004]第一方面，本申请提供了一种用于数据诊断优化的方法，上述方法包括:构建规则数据库，将规则信息存储，上述规则信息包含诊断规则信息与优化规则信息；根据上述规则信息分析任务运行时所得实际日志，并生成实际日志信息；根据上述实际日志信息进行判断；判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；结合上述诊断规则信息获得所述诊断分析结果；结合上述优化规则信息获得上述优化分析结果。
[0005]在一些实施例中，上述将规则信息存储包括:生成规则文件，上述规则文件包括诊断文件和优化文件。
[0006]在一些实施例中，上述诊断文件包括若干个诊断规则，上述诊断规则包括以下几项信息:规则名称、匹配文本、任务类型、诊断原因和建议信息。
[0007]在一些实施例中，上述优化文件包括若干个优化规则，上述优化规则包括以下几项信息:规则名称、任务类型、规则描述、规则重要性、计算公式、阈值和建议信息。
[0008]在一些实施例中，上述实际日志信息包括任务成功信息或者任务失败信息。
[0009]在一些实施例中，上述优化分析包括:提取环境变量，分析日志信息和统计信息，根据上述环境变量和上述日志信息从规则计算公式中提取自变量，将计算所得值与阈值进行比较，根据比较结果判断能否通过。
[0010]在一些实施例中，上述诊断分析包括:分析任务日志文件，判断错误原因，判断结果为异常则从日志文件中提取异常信息，判断结果为错误则从其他日志文件中提取错误信息。
[0011]第二方面，本申请提供了一种用于数据诊断优化的系统，上述系统包括:数据库单元，配置用于构建规则数据库，将规则信息存储，上述规则信息包含诊断规则信息与优化规则信息；日志生成单元，配置用于根据上述规则信息分析任务运行时所得实际日志，并生成实际日志信息；判断单元，配置用于根据上述实际日志信息进行判断；分析单元，配置用于判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；反馈单元，配置用于结合上述诊断规则信息获得上述诊断分析结果，结合上述优化规则信息获得上述优化分析结果O
[0012]在一些实施例中，上述将规则信息存储包括:生成规则文件，上述规则文件包括诊断文件和优化文件。
[0013]在一些实施例中，上述诊断文件包括若干个诊断规则，上述诊断规则包括以下几项信息:规则名称、匹配文本、任务类型、诊断原因和建议信息。
[0014]在一些实施例中，上述优化文件包括若干个优化规则，上述优化规则包括以下几项信息:规则名称、任务类型、规则描述、规则重要性、计算公式、阈值和建议信息。
[0015]在一些实施例中，上述实际日志信息包括任务成功信息或者任务失败信息。
[0016]在一些实施例中，上述优化分析包括:提取环境变量，分析日志信息和统计信息，根据上述环境变量和上述日志信息从规则计算公式中提取自变量，将计算所得值与阈值进行比较，根据比较结果判断能否通过。
[0017]在一些实施例中，上述诊断分析包括:分析任务日志文件，判断错误原因，判断结果为异常则从日志文件中提取异常信息，判断结果为错误则从其他日志文件中提取错误信息。
[0018]本申请提供的用于数据诊断优化的方法和系统，首先构建规则数据库，将规则信息存储，上述规则信息包含诊断规则信息与优化规则信息；再根据上述规则信息分析任务运行时所得实际日志，并生成实际日志信息；然后根据上述实际日志信息进行判断；判断结果为成功则进行优化分析，判断结果为失败则进行诊断分析；最后结合上述诊断规则信息获得上述诊断分析结果或者上述优化分析结果。从而有效降低了任务执行成本，提高了易用性和有效性。
【附图说明】
[0019]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显:
[0020]图1是本申请可以应用于其中的示例性系统架构图；
[0021]图2是根据本申请的用于数据诊断优化的方法的一个实施例的流程图；
[0022]图3是根据本申请的用于数据诊断优化的方法的另一个实施例的流程图；
[0023]图4是根据本申请的用于数据诊断优化的方法的又一个实施例的流程图；
[0024]图5是根据本申请的用于数据诊断优化系统的一个实施例的结构示意图；
[0025]图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
【具体实施方式】
[0026]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0027]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0028]图1示出了可以应用本申请的数据诊断优化的方法和数据诊断优化的系统的实施例的示例性系统架构100。
[0029]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0030]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0031]终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Aud1 Layer III，动态影像专家压缩标准音频层面3)、MP4 (Moving PictureExperts Group Aud1 Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
[0032]服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上数据分析处理提供支持的处理服务器。处理服务器可以对接收到的数据进行分析等处理，并将处理结果(例如反馈信息)发送给终端设备。
[0033]需要说明的是，本申请实施例所提供的数据诊断优化的方法一般由服务器105执行，相应地，数据诊断优化装置一般设置于服务器105中。
[0034]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0035]继续参考图2，示出了根据本申请的数据诊断优化的方法的一个实施例的流程200。所述的数据诊断优化方法，包括以下步骤:
[0036]步骤201，构建规则数据库，将规则信息存储，规则信息包含诊断规则信息与优化规则信息。
[0037]在本实施例中，数据诊断优化方法运行于其上的电子设备(例如图1所示的服务器)。
[0038]通常，用户利用终端上安装的网页浏览器来浏览网页，这时，用户可以通过直接输入网址或者点击网页浏览器中呈现的网页中的链接来向网页服务器发起网页浏览请求。在本实施例中，上述网页可以包括html格式、xhtml格式、asp格式、php格式、jsp格式、shtml格式、