在线状态的监测方法和系统的制作方法
【技术领域】
[0001] 本申请涉及互联网监测领域，尤其涉及一种在线状态的监测方法和系统。
【背景技术】
[0002] 随着互联网技术的发展，对互联网各种状态信息进行监测和实时获取，能确定网 络是否正常有效地运行。常见的在线监测、实时获取信息的一种应用，比如在线广告投放 的状态信息实时获取以及广告位监测。在线广告展现后能否正常被用户点击并正常跳转， 是广告投放后非常重要的网络技术的状态信息，通过这些广告位状态信息能够及时发现网 络运行中出现的问题，比如点击广告后跳转的地址是否与广告投放主需求的跳转地址准确 对应，或者，比如CPC广告的点击发生后，该项点击信息是否能准确反馈到广告联盟的计费 系统，不会因为异常使得该项点击信息未能通过广告联盟的计费系统记录而损失广告商利 益，等等。因而，需要有效便捷地实时获取这些广告位状态信息并监测众多的广告位。但由 于广告位非常多，完成这些监测操作非常耗时，同时通过每天或每月的日志汇总和统计又 不能及时发现问题。
[0003] 现有技术中的一种方案采用模拟监测以发现可能存在的问题。如图1所示例子， 通过浏览器模拟真实的用户访问展示有广告的页面，并点击以查看（监测）广告跳转的详 细情况。具体地，可以使用浏览器依次把所有广告位所在的网页打开，查看页面上的所有广 告位的广告，并点击广告，查看广告详情。然而，当广告位多达上千个时，人工完成这些页面 操作，即使一个广告位检查需要2分钟，整体完成需要30多个小时，已经失去了实时监控的 意义。但如果只是抽样检查，又不能统计到全部的广告位状态。更重要的是，人工检查，只 能从网页看到最直观的广告是否可展现并跳转，没法看到或者校验到一些重要数据。例如， 这个广告点击日志中对各种字段记录是否正常，比如用户点击行为发生时的ip收集是否 正确，或者在广告详情的url上添加的业务参数是否合理等等。
[0004] 因而，该现有技术的方案对广告位监测很受局限，费时费力，效率低下，不能全方 位验证详细到字段级别的广告位状态信息。
[0005] 现有技术中，还提供了另一种方案去模拟监测以发现可能存在的问题。如图2所 示例子，利用php脚本语言完成编码，模拟构造与每个pid对应的http广告请求串，直接批 量请求并获取返回结果。其中，该点击串格式与线上真实广告点击串格式相同。其中，pid 是广告位的唯一标识字段名称（即广告位的编号，通常由数字、字母和下划线构成，即根据 该编号来区分广告位，例如400001_1234)。具体地，首先，构造每个pid对应的http广告请 求串；然后，依次发送这些广告请求串；获取返回的http请求的response内容，比如服务 端响应码、服务端转发地址等等；远程获取到点击服务器上的点击日志；把请求串与日志 都解析开来进行匹配，关键字段必须符合一定的对应规则。
[0006] 由于该现有技术提供的方案通过代码直接模拟，可以快速完成所有pid的点击请 求串从构造到最终验证的所有步骤，平均每个pid只需耗时低于Is。相比手工验证，速度有 显著提升，而且，涉及的人工操作少，只需要完成一个触发脚本运行的命令。因而，在很大程 度上有助于提升效率。因为代码可以快速抓取到日志服务器的日志，然后完成广告点击日 志的解析，再与请求串中的字段进行快速运行匹对，这个过程人工几乎无法做到。并且，也 增加了更多的校验点：由于代码可以快速抓取到日志服务器的日志，然后完成广告点击日 志的解析，再与请求串中的字段进行快速运行匹对，这个过程人工几乎无法做到。
[0007] 但是，该方案毕竟是通过代码模拟广告点击串，与线上真实广告点击串存在差异： 线上环境中展现出来的点击串是经过一系列复杂的系统处理而生成，而非在另设的一套环 境中模拟构造而产生，现实的线上环境中，有可能点击服务正常但线上点击串生成有误导 致无法被正常解密；另外，模拟的点击串会在某些字段上忽略上下游接口数据的要求，而只 关注保证测试点击服务有关的字段。由此，该方案并不能验证线上真实展现出来的"广告位 状态"，而仅仅验证了"广告点击跳转服务"。其中，"广告位状态正常"代表着在该广告位上 投放的广告本身是没有问题的前提下，广告能否正常展现并且可以被点击跳转。广告位的 状态不等同于广告的状态，因为一个广告位可以每次投放不同的广告。广告状态是基于广 告位才存在的。没有广告位，广告对用户而言不可见，也可以理解为是没有状态。"状态信 息"即广告位状态信息，包含了能从任何一个方面代表"广告位状态"的所有相关信息。
[0008] 因此，需要提供一种在线状态的监测方案，以准确、高效、简单便捷地实时获取真 实在线环境中的海量状态信息/数据。
【发明内容】
[0009] 本申请的主要目的在于提供一种在线状态的监测方法和系统，以解决简单便捷地 实时获取真实在线环境中的海量状态信息/数据的问题，进而能解决准确、高效地进行监 测并获取信息/数据，提升互联网和计算机系统处理性能，降低处理成本，提升处理效率等 问题。
[0010] 本申请一方面提供一种在线状态的监测方法，包括：访问包含展现在线展示内容 的展示位的网页，并根据配置中的位置标识信息，获取与在线展示内容相关的元素信息；根 据解析与在线展示内容相关的元素信息，获得与在线展示内容相关的请求信息的关键字段 值；根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的 响应消息内容，获取验证用的关键字段值；基于获取的元素信息、请求信息关键字段值以及 验证用的关键字段值，进行校验，以确定相应的展现在线展示内容的展示位的在线状态是 否正常。
[0011] 其中，访问包含展现在线展示内容的展示位的网页，并根据配置中的位置标识信 息，获取与在线展示内容相关的元素信息，包括：确定展示位的展现目标网页和位置，并获 得所有配置中的位置id信息；根据所述位置id信息，生成位置信息列表以定位展示位，并 依次访问包含有所述展示位的网页；从包含有相应展示位的网页中，获取与相应展示位上 展现的在线展示内容相关的元素信息。
[0012] 其中，根据解析与在线展示内容相关的元素信息，获得与在线展示内容相关的请 求信息的关键字段值，包括：其中，与在线展示内容相关的元素信息，包含展示位上对其展 现的所述在线展示内容的所述请求信息。
[0013] 其中，根据解析与在线展示内容相关的元素信息，获得与在线展示内容相关的请 求信息的关键字段值，包括：基于位置id信息和与在线展示内容相关的元素信息，根据在 线展示内容的不同类型，对于在线展示内容相关的元素信息所包含的请求信息，采用不同 的解析方式，以获得所述请求信息的关键字段值；将所述请求信息的关键字段值进行存储。 其中，根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作 的响应消息内容，获取验证用的关键字段值，包括：基于对在线展示内容的展示位所在位置 的操作，按照展示位上对在线展示内容的请求信息发送请求；记录对应该请求的响应消息 内容，并记录对应该操作的日志文件的日志文件名；从所述响应消息内容中提取响应关键 字段值，以及基于解析所述操作日志，获得日志关键字段值；将响应关键字段以及日志关键 字段作为验证用的关键字段值，并存储所述验证用的关键字段值。
[0014] 其中，基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值，进行 校验，以确定相应的展现在线展示内容的展示位的在线状态是否正常，包括：所述校验基于 综合比对方式进行验证，包括：比对展示位所包含的对在线展示内容的所述请求信息的关 键字段值与所述操作日志中相对应的关键字段值；验证所述操作日志中生成的关键字段 值；验证响应消息内容中记录的关键字段值中的响应后目标地址和http响应状态代码。
[0015] 其中，还包括：基于对所有展现在线展示内容的展示位进行的所述校验，返回在线 状态的监测结果。
[0016] 本申请另一方面提供一种在线状态的监测系统，包括：第一获取装置，用于访问包 含展现在线展示内容的展示位的网页，并根据配置中的位置标识信息，获取与在线展示内 容相关的元素信息；第一解析装置，用于根据解析与在线展示内容相关的元素信息，获得与 在线展示内容相关的请求信息的关键字段值；第二获取装置，用于根据对展现在线展示内 容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容，获取验证用 的关键字段值；校验装置，基于获取的元素信息、请求信息关键字段值以及验证用的关键字 段值，进行校验，以确定相应的展现在线展示内容的展示位的在线状态是否正常。
[0017] 其中，第一获取装置，包括：配置模块，用于确定展示位的展现目标网页和位置，并 获得所有配置中的位置id信息；访问模块，用于根据所述位置id信息，生成位置信息列表 以定位展示位，并依次访问包含有所述展示位的网页；第一获取子模块，用于从包含有相应 展示位的网页中，获取与相应展示位上展现的在线展示内容相关的元素信息。其中，第一解 析装置，包括：与在线展示内容相关的元素信息，包含展示位上对其展现的所述在线展示内 容的所述请求信息。
[0018] 其中，第一解析装置，包括：基于位置id信息和与在线展示内容相关的元素信息， 根据在线展示内容的不同类型，对于在线展示内容相关的元素信息所包含的请求信息，采 用不同的解析方式，以获得所述请求信息的关键字段值；将所述请求信息的关键字段值进 行存储。
[0019] 其中，第二获取装置，包括：操作记录模块，基于对在线展示内容的展示位所在位 置的操作，按照展示位上对在线展示内容的请求信息发送请求，以记录对应该请求的响应 消息内容，并记录对应该操作的日志文件的日志文件名；第二获取子模块，从所述响应消 息内容中提取响应关键字段值，以及基于解析所述操作日志，获得日志关键字段值，以便将 响应关键字段以及日志关键字段作为验证用的关键字段值，并存储所述验证用的关键字段 值。
[0020] 其中，校验装置，包括：所述校验基于综合比对方式进行验证，包括：比对展示位 所包含的对在线展示内容的所述请求信息的关键字段值与所述操作日志中相对应的关键 字段值；验证所述操作日志中生成的关键字段值；验证响应消息内容中记录的关键字段值 中的响应后目标地址和http响应状态代码。
[0021] 其中，还包括：返回装置，基于对所有展现在线展示内容的展示位进行的所述校 验，返回在线状态的监测结果。
[0022] 本申请再一方面提供一种在线状态的监测方法，包括：配置处理，由配置得到位置 id信息，建立位置信息列表，确定要监测状态展示位所在网页以及展示位所处网页上页面 位置；请求处理，调用浏览器打开服务，以位置id信息所生成的位置信息列表为基础，依次 访问配置中指定的展示位所在网页，并且，从展示位的位置抓取所包含的在线展示内容列 表，获得所有与其展现的在线展示内容有关的元素信息，其中包含请求在线展示内容详情 页的请求信息；模拟操作处理，在打开的包含所述展示位的网页上，模拟对展示位上的在线 展示内容的操作，记录相应于该操作的响应消息内容、以及记录产生操作日志文件的日志 名；数据分析处理，对所述请求信息进行解析以得到元素信息关键字段值、对记录的响应消 息内容进行提取以得到响应的关键字段值、以及对经日志获取处理所抓取的对应记录的日 志名的日志文件进行解析而得到日志的关键字段值，并将响应关键字段值和日志关键字段 值作为验证用