数据更新方法及装置的制造方法
【专利摘要】本发明公开一种数据更新方法及装置，方法包括：根据特征库中存储的第一网站的搜索关键字特征，生成包括第一网站的搜索关键字特征的最小完整统一资源定位符URL；特征库用于存储多个网站的搜索关键字特征；基于最小完整URL向第一网站的服务器发送访问请求；接收服务器发送的状态码；对状态码进行分析，确认第一网站的搜索关键字特征发生变化时，对特征库中存储的第一网站的搜索关键字特征进行更新。采用本发明，能够提高检测搜索关键字特征发生变化的实时性和效率，降低人力成本。
【专利说明】
数据更新方法及装置
技术领域
[0001]本发明涉及通信技术领域的网络管理技术，尤其涉及一种数据更新方法及装置。
【背景技术】
[0002]随着互联网技术的发展，各种网络应用层出不穷，其中搜索功能是人们日常工作生活中使用最为普遍和重要的应用之一，与搜索功能紧密关联的是搜索关键字，搜索关键字是指用户在网页的搜索框中键入的关键字，参见图1示出的用户的部分搜索记录，其中“pq = zhongguo，，、“q = zhongguo，，、“wd = zhongguo，，、“wq = zhongguo，，、“q = zhongguo，，京尤是搜索关键字，基于搜索关键字的应用范围很多，例如，网站或商家可能会通过用户的搜索记录了解用户感兴趣的需求，为用户提供更多的相关推送，或者，基于对用户的搜索记录的分析获得产品研发销售的新机会;基于用户搜索记录进行网站搜索关键词的优化等，可见，获取搜索关键字是实现基于搜索关键字的应用所必不可少的，为了获取搜索关键字，常用的方法通过比较特定的字符串或者正则表达式匹配来获取数据，这些特定的字符串和正则表达式就是搜索关键字特征。
[0003]由于搜索网站技术和业务范围的变化和扩展，当网站内部架构、业务应用或对用户行为的分析等进行调整后，网站的域名及一些搜索参数可能会发生变化，就会导致搜索关键字特征也在持续地变化，此时，需要及时更新搜索关键字特征，要不然就无法有效获得搜索关键字。目前常用的检查搜索关键字特征是否发生变化的方法包括:(I)通过周期性的检查，逐个分析各个搜索网站的搜索行为是否发生变化，这种方法需要花费大量的人工成本，效率低；(2)接收到用户反馈后，分析相应的搜索网站的搜索行为是否发生变化，这种方法被动滞后，所维护数据的实时性差。
【发明内容】
[0004]有鉴于此，本发明实施例期望提供一种数据更新方法及装置，能够提高检测搜索关键字特征发生变化的效率，保证特征库中所存储的多个网站的搜索关键字特征的实时性，降低维护特征库中数据所需的人力成本。
[0005]为达到上述目的，本发明的技术方案是这样实现的:
[0006]本发明实施例提供一种数据更新方法，所述方法包括:
[0007]根据特征库中存储的第一网站的搜索关键字特征，生成包括所述第一网站的搜索关键字特征的最小完整统一资源定位符(URL，Uniform Resource Locator);所述特征库用于存储多个网站的搜索关键字特征；
[0008]基于所述最小完整URL向所述第一网站的服务器发送访问请求；
[0009]接收所述服务器发送的状态码；
[0010]对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。
[0011]可选的，所述根据特征库中存储的第一网站的搜索关键字特征，生成包括所述第一网站的搜索关键字特征的最小完整统一资源定位符URL，包括:
[0012]根据特征库中存储的第一网站的域名、路径及搜索关键字，生成包括所述第一网站的域名、路径及搜索关键字的最小完整URL。
[0013]可选的，所述对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新，包括:
[0014]基于预设处理条件对所述状态码进行分析，当确定所述状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征发生变化；
[0015]对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。
[0016]可选的，所述对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新，包括:
[0017]基于预设处理条件对所述状态码进行分析，当确定所述状态码是符合所述预设处理条件的状态码时，变更所述最小完整URL中的搜索关键字特征；
[0018]基于变更的最小完整URL访问所述第一网站，并接收所述第一网站的服务器发送的与所述变更的最小完整URL对应的状态码；
[0019]基于所述预设处理条件对所述与所述变更的最小完整URL对应的状态码进行分析；当确定所述与所述变更的最小完整URL对应的状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征没有发生变化。
[0020]可选的，所述对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新，包括:
[0021]对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，基于所述第一网站的域名访问所述第一网站，通过在所述第一网站的网页进行搜索获得搜索记录；
[0022]对所述搜索记录进行分析，从所述搜索记录中提取与所述第一网站的更新的搜索关键字特征；
[0023]基于所述第一网站的更新的搜索关键字特征，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。
[0024]本发明实施例还提供一种数据更新装置，所述装置包括:
[0025]生成模块，用于根据特征库中存储的第一网站的搜索关键字特征，生成包括所述第一网站的搜索关键字特征的最小完整URL;所述特征库用于存储多个网站的搜索关键字特征；
[0026]发送模块，用于基于所述最小完整URL向所述第一网站的服务器发送访问请求；
[0027]接收模块，用于接收所述服务器发送的状态码；
[0028]更新模块，用于对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。
[0029]可选的，所述生成模块，具体用于根据特征库中存储的第一网站的域名、路径及搜索关键字，生成包括所述第一网站的域名、路径及搜索关键字的最小完整URL。
[0030]可选的，所述更新模块，具体用于:
[0031]基于预设处理条件对所述状态码进行分析，当确定所述状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征发生变化；
[0032]对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。
[0033]可选的，所述更新模块，具体用于:
[0034]基于预设处理条件对所述状态码进行分析，当确定所述状态码是符合所述预设处理条件的状态码时，变更所述最小完整URL中的搜索关键字特征；
[0035]基于变更的最小完整URL访问所述第一网站，并接收所述第一网站的服务器发送的与所述变更的最小完整URL对应的状态码；
[0036]基于所述预设处理条件对所述与所述变更的最小完整URL对应的状态码进行分析；当确定所述与所述变更的最小完整URL对应的状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征没有发生变化。
[0037]可选的，所述更新模块，具体用于:
[0038]对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，基于所述第一网站的域名访问所述第一网站，通过在所述第一网站的网页进行搜索获得搜索记录；
[0039]对所述搜索记录进行分析，从所述搜索记录中提取与所述第一网站的更新的搜索关键字特征；
[0040]基于所述第一网站的更新的搜索关键字特征，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。
[0041]本发明实施例中，针对特征库中存储的任意一个网站的搜索关键字特征(以第一网站为例)，基于第一网站的搜索关键字特征生成包括第一网站的搜索关键字特征的最小完整URL，该最小完整URL避免了搜索记录中复杂网址形式和冗余信息，简单直观且易于维护，通过访问该最小完整URL得到第一网站的服务器发送的状态码，只需要分析状态码就能够确认第一网站的搜索关键字特征是否发生变化，提高了检测搜索关键字特征是否发生变化的效率，降低了维护特征库中数据所需的人力成本;本实施例可以通过自动化工具(例如脚本)实现，能够及时检测到所关注的各个网站的搜索关键字特征的变化并进行更新，保证了特征库中所存储的多个网站的搜索关键字特征的实时性。
【附图说明】
[0042]图1为用户的部分搜索记录的举例示意图；
[0043]图2为本发明实施例中数据更新方法的流程示意图一；
[0044]图3为状态码的应用举例示意图；
[0045]图4为本发明实施例中数据更新方法的流程示意图二；
[0046]图5为本发明实施例中URL的举例示意图一；
[0047]图6为本发明实施例中检查最小完整URL的举例示意图一；
[0048]图7为本发明实施例中检查查询词变更的最小完整URL的举例示意图；
[0049]图8为本发明实施例中网页搜索结果的举例示意图一；
[0050]图9为本发明实施例中URL的举例示意图二；
[0051 ]图10为本发明实施例中检查最小完整URL的举例示意图二；
[0052]图11为本发明实施例中网页搜索结果的举例示意图二；
[0053]图12为本发明实施例中URL的举例示意图三；
[0054]图13为本发明实施例中检查最小完整URL的举例示意图三；
[0055]图14为本发明实施例中检查搜索关键字特征变化后的最小完整URL的举例示意图—*.---，
[0056]图15为本发明实施例中检查查询词变更后的最小完整URL对应的响应标题的举例示意图；
[0057]图16为本发明实施例中网页搜索结果的举例示意图三；
[0058]图17为本发明实施例中检查搜索关键字特征更新后的最小完整URL的举例示意图—*.---，
[0059]图18为本发明实施例中检查搜索关键字特征更新后的最小完整URL对应的响应标题的举例示意图；
[0060]图19为本发明实施例中数据更新装置的结构示意图。
【具体实施方式】
[0061]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0062]首先对实施本发明实施例的装置(在以下各具体实施例中即为数据更新装置)进行说明，数据更新装置可以采用各种方式来实施，例如在网关、路由器、交换机等网络设备中实施数据更新装置的全部组件(比如，数据更新装置可以集成于上述的网络设备中)，或者，在上述的网络设备侧以耦合的方式实施数据更新装置中的组件。
[0063]基于上述记载的数据更新装置，提出以下各具体实施例。
[0064]实施例一
[0065]本实施例记载一种数据更新方法，可以应用于如下场景中:希望能够及时检测到所关注的各个网站的搜索关键字特征的变化并进行更新，提高检测搜索关键字特征发生变化的效率，保证特征库中所存储的多个网站的搜索关键字特征的实时性，降低维护特征库中数据所需的人力成本。
[0066]参见图2，本实施例记载的数据更新方法包括以下步骤:
[0067]步骤201、根据特征库中存储的第一网站的搜索关键字特征，生成包括第一网站的搜索关键字特征的最小完整URL;特征库用于存储多个网站的搜索关键字特征。
[0068]第一网站为多个网站中的任意一个网站；可选的，搜索关键字特征可以包括:域名、路径及搜索关键字;相应地，第一网站的搜索关键字特征可以包括:第一网站的域名、路径及搜索关键字;具体地，数据更新装置根据特征库中存储的第一网站的域名、路径及搜索关键字，通过抽象分析，总结并生成包括第一网站的域名、路径及搜索关键字的最小完整URL0
[0069]最小完整URL的一般格式为(其中方括号[]内为可选项):
[0070]协议://域名[:端口]/路径/[;参数][?查询词]。
[0071]—个包含搜索关键字的最小完整URL可以包括搜索网站的域名(例如，aaa.bbb.ccc)、搜索网站的路径(例如，ddd)和搜索关键字(例如，keyword)，包括搜索关键字的最小完整URL的格式举例如下:
[0072]http (s)://aaa.bbb.ccc/ddd? keyword;或者，http (s)://aaa.bbb.ccc/ddd/keyword;其中，搜索网站的域名用于区分不同网站，搜索网站的路径一般用于区分不同应用，搜索关键字一般出现在查询词中，搜索记录中的其他数据一般不会影响对URL进行访问的连通性。
[0073]基于上述的最小完整URL基本结构，就可以避免构造出形式复杂的网址类型，大大降低了检测搜索特征是否变化的操作复杂性。
[0074]步骤202、基于最小完整URL向第一网站的服务器发送访问请求。
[0075]对包括第一网站的搜索关键字特征的最小完整URL进行访问。
[0076]步骤203、接收服务器发送的状态码(Status Code)。
[0077]状态码可以为超文本传输协议(HTTP，HyperText Transfer Protocol)状态码，HTTP状态码是用以表示网站的网页服务器的HTTP响应状态的3位数字代码；参见图3，状态码为2xx表示请求成功，可认为原始特征没有变更;而其它状态码如3xx，4xx，5xx，重定向、无法访问、服务器出错等则表示访问的URL可能存在问题，可能是业务调整或服务关闭等原因，从而确认搜索关键字特征发生变化。
[0078]步骤204、对状态码进行分析，确认第一网站的搜索关键字特征发生变化时，对特征库中存储的第一网站的搜索关键字特征进行更新。
[0079]对包括第一网站的搜索关键字特征的最小完整URL进行访问，分析第一网站的服务器返回的HTTP状态码，确认第一网站的搜索关键字特征是否发送变化。
[0080]本实施例中，针对特征库中存储的任意一个网站的搜索关键字特征(以第一网站为例)，基于第一网站的搜索关键字特征生成包括第一网站的搜索关键字特征的最小完整URL，该最小完整URL避免了搜索记录中复杂网址形式和冗余信息，简单直观且易于维护，通过访问该最小完整URL得到第一网站的服务器发送的状态码，只需要分析状态码就能够确认第一网站的搜索关键字特征是否发生变化，提高了检测搜索关键字特征是否发生变化的效率，降低了维护特征库中数据所需的人力成本;本实施例可以通过自动化工具(例如脚本)实现，能够及时检测到所关注的各个网站的搜索关键字特征的变化并进行更新，保证了特征库中所存储的多个网站的搜索关键字特征的实时性。
[0081 ] 实施例二
[0082]本实施例基于实施例一，本实施例记载的数据更新方法可以应用于如下场景中:希望能够及时检测到所关注的各个网站的搜索关键字特征的变化并进行更新，提高检测搜索关键字特征发生变化的效率，保证特征库中所存储的多个网站的搜索关键字特征的实时性，降低维护特征库中数据所需的人力成本;本实施例针对此情况的处理进行说明。
[0083]参见图4，本实施例记载的数据更新方法包括以下步骤:
[0084]步骤401、根据特征库中存储的第一网站的搜索关键字特征，生成包括第一网站的搜索关键字特征的最小完整统一资源定位符URL。
[0085]特征库用于存储多个网站的搜索关键字特征。
[0086]步骤402、基于最小完整URL向第一网站的服务器发送访问请求。
[0087]步骤403、接收服务器发送的状态码。
[0088]步骤404、基于预设处理条件对状态码进行分析。
[0089]预设处理条件是指针对网站服务器返回的不同状态码，预先设定的数据更新装置的不同的操作步骤。
[0090]步骤405、确定状态码是否是符合预设处理条件的状态码；当确定状态码是符合预设处理条件的状态码时，执行步骤406;当确定状态码不是符合预设处理条件的状态码时，执行步骤411。
[0091]这里，可选的，符合预设处理条件的状态码2xx，表示访问请求成功。
[0092]步骤406、变更最小完整URL中的搜索关键字特征。
[0093]步骤407、基于变更的最小完整URL访问第一网站，并接收第一网站的服务器发送的与变更的最小完整URL对应的状态码。
[0094]步骤408、基于预设处理条件对与变更的最小完整URL对应的状态码进行分析。
[0095]步骤409、确定与变更的最小完整URL对应的状态码是否是符合预设处理条件的状态码，若是，则执行步骤411;否则，执行步骤410。
[0096]可选的，数据更新装置当确定与变更的最小完整URL对应的状态码是否是符合预设处理条件的状态码;若是，则执行步骤411;否则，获取与变更的最小完整URL对应的响应标题;确定响应标题中不包括变更的最小完整URL的搜索词时，执行步骤410。
[0097]步骤410、确认第一网站的搜索关键字特征没有发生变化;流程结束。
[0098]步骤411、确认第一网站的搜索关键字特征发生变化;对特征库中存储的第一网站的搜索关键字特征进行更新。
[0099]可选的，对特征库中存储的第一网站的搜索关键字特征进行更新的实现方式可以包括:
[0100]确认第一网站的搜索关键字特征发生变化时，基于第一网站的域名访问第一网站，通过在第一网站的网页进行搜索获得搜索记录；
[0101]对搜索记录进行分析，从搜索记录中提取与第一网站的更新的搜索关键字特征；
[0102]基于第一网站的更新的搜索关键字特征，对特征库中存储的第一网站的搜索关键字特征进行更新。
[0103]本实施例中，针对特征库中存储的任意一个网站的搜索关键字特征(以第一网站为例)，基于第一网站的搜索关键字特征生成包括第一网站的搜索关键字特征的最小完整URL，该最小完整URL避免了搜索记录中复杂网址形式和冗余信息，简单直观且易于维护，通过访问该最小完整URL得到第一网站的服务器返回的状态码，只需要分析状态码就能够确认第一网站的搜索关键字特征是否发生变化，提高了检测搜索关键字特征是否发生变化的效率，降低了维护特征库中数据所需的人力成本;考虑到实际中特征库中存储的海量的搜索关键字特征，本实施例还可以通过自动化工具(例如脚本)实现，能够及时检测到所关注的各个网站的搜索关键字特征的变化并进行更新，保证了特征库中所存储的多个网站的搜索关键字特征的准确性及实时性。
[0104]实施例三
[0105]本实施例基于实施例一、二，本实施例以实际中的一个搜索记录为例对本发明实施例的数据更新方法的实现过程进行说明；参见图5至图8，本实施例记载的数据更新方法，以访问百度搜索引擎为例，在搜索框输入某个关键字(11111111111111)并指示搜索，浏览器中显示的URL如图5所示，此URL的搜索关键字特征包括搜索关键字域名等信息，其他数据主要是用户操作的一些上下文信息，能够更精确分析用户行为，但这些不是必须的，比如:
[0106]Ie:搜索关键字的编码格式；
[0107]F:搜索判断，f = 8用户自主搜索，f = 3下拉框推荐，f = I相关搜索；
[0108]rsv_bp:判断是第几次搜索，O为第一次搜索，I为第二次或者多次搜索；
[0109]rsv_sug3:键盘重复速度；
[0110]tn:搜索框所属网站。
[0111]URL中的路径表示域名的具体业务内容，多数情况下都是必须的，如果缺少会影响到相关业务访问的连通性。
[0112]根据上述逻辑，从图5所示的URL中提取以下部分数据:
[0113]域名:www.baidu.com;
[0114]路径:s;
[0115]搜索关键字:Wd= Illlllllllllll;
[0116]相应的最小完整URL 为:www.baidu.com/s?wd = 11111111111111。
[0117]然后，使用工具(例如脚本)来检查包含搜索关键字特征的最小完整URL，参见图6，HTTP状态码返回200;再将最小完整URL中的查询词变化后进行检验，参见图7所示将wd变为xy，返回状态码302，因此，判断结果为:搜索关键字特征未发生变化;进一步，参见图8，网页实际搜索的结果也对该判断结果进行了支撑。这里，关于工具的选择，可以采用一些简单明了的工具，比如Linux下的curl等，通过使用工具可以快速得到反馈结果，由于只需要判断HTTP状态码，所以只获取HTTP响应头，通过执行命令“curl -1 aaa.bbb.ccc/ddd?keyword”即可，能够提高检测搜索关键字特征是否发生变化的效率，也便于转化为自动化方式检查。
[0118]实施例四
[0119]本实施例基于实施例一、二，本实施例以实际中的一个搜索记录为例对本发明实施例的数据更新方法的实现过程进行说明；参见图9至图11，本实施例记载的数据更新方法，以图9所示的URL(搜索记录)为例，通过分析图9的URL和相关搜索关键字特征获得如下数据:
[0120]域名:www.s0.com;
[0121]路径:s;
[0122]搜索关键字:q=
[0123]其最小完整URL 为:www.s0.com/s ?q = 11111111111111。
[0124]参见图10所示的工具处理截图，HTTP状态码返回302重定向，表示搜索关键字特征可能已经发生变化;进一步，参见图11，网页实际搜索的结果也对该判断结果进行了支撑，原搜索WWW.s0.com输入后已跳转变更为新链接，即搜索关键字特征已出现变化，需要进行搜索关键字特征的更新。
[0125]实施例五
[0126]本实施例基于实施例一、二，本实施例以实际中的一个搜索记录为例对本发明实施例的数据更新方法的实现过程进行说明；参见图12至图18，本实施例记载的数据更新方法，以图12所示的URL(搜索记录)为例，
[0127]通过分析原始URL和相关搜索关键字特征获得如下数据:
[0128]域名:www.zhongsou.com;
[0129]路径:third,cgi ;
[0130]搜索关键字:Wd= Illlllllllllll;[0131 ]其最小完整 URL 为:www.zhongsou.com/third.cgi?wd = 11111111111111 ο
[0132]参见图13所示的工具处理截图，HTTP状态码返回200;再将最小完整URL中的查询词变化后进行检验，比如将wd变成aa，返回状态码仍然为200，参见图14，说明搜索关键字特征发生变化。
[0133]然后获取查询词变更后的最小完整URL对应的响应标题，检测响应标题当中是否包括变更后的最小完整URL的关键字，如不包括，说明搜索关键字特征已发生变化，参见图15，未查到关键字11111111111111，说明搜索关键字特征已发生变化;进一步，参见图16，网页实际搜索的结果也对该判断结果进行了支撑，查询词已变更为w;基于查询词《，对特征库中存储的第一网站的搜索关键字特征进行更新；生成搜索关键字特征更新后的最小完整URL，并通过工具检验搜索关键字更新后的最小完整URL，参见图17，返回状态码200;参见图18，所示请求页面返回的响应标题中包含搜索的关键字11111111111111，说明当前的搜索关键字特征是正确的。
[0134]实施例六
[0135]与前述实施例的记载相对应，本实施例还记载一种数据更新装置，数据更新装置可以用于执行本发明实施例的数据更新方法，数据更新装置可以采用各种方式来实施，例如在网关、路由器、交换机等网络设备中实施数据更新装置的全部组件(比如，数据更新装置可以集成于上述的网络设备中)，或者，在上述的网络设备侧以耦合的方式实施数据更新装置中的组件;参见图19，数据更新装置包括:
[0136]生成模块1901，用于根据特征库中存储的第一网站的搜索关键字特征，生成包括第一网站的搜索关键字特征的最小完整统一资源定位符URL;特征库用于存储多个网站的搜索关键字特征；
[0137]发送模块1902，用于基于最小完整URL向第一网站的服务器发送访问请求；
[0138]接收模块1903，用于接收服务器发送的状态码；
[0139]更新模块1904，用于对状态码进行分析，确认第一网站的搜索关键字特征发生变化时，对特征库中存储的第一网站的搜索关键字特征进行更新。
[0140]上述方案中，数据更新装置针对特征库中存储的任意一个网站的搜索关键字特征(以第一网站为例)，基于第一网站的搜索关键字特征生成包括第一网站的搜索关键字特征的最小完整URL，该最小完整URL避免了搜索记录中复杂网址形式和冗余信息，简单直观且易于维护，通过访问该最小完整URL得到第一网站的服务器发送的状态码，只需要分析状态码就能够确认第一网站的搜索关键字特征是否发生变化，提高了检测搜索关键字特征是否发生变化的效率，降低了维护特征库中数据所需的人力成本;本实施例可以通过自动化工具(例如脚本)实现，能够及时检测到所关注的各个网站的搜索关键字特征的变化并进行更新，保证了特征库中所存储的多个网站的搜索关键字特征的实时性。
[0141]在上述实施例的基础上，生成模块1901，具体用于根据特征库中存储的第一网站的域名、路径及搜索关键字，生成包括第一网站的域名、路径及搜索关键字的最小完整URL。
[0142]在上述实施例的基础上，更新模块1904，具体用于:基于预设处理条件对状态码进行分析，当确定状态码不是符合预设处理条件的状态码时，确认第一网站的搜索关键字特征发生变化;对特征库中存储的第一网站的搜索关键字特征进行更新。
[0143]在上述实施例的基础上，更新模块1904，具体用于:基于预设处理条件对状态码进行分析，当确定状态码是符合预设处理条件的状态码时，变更最小完整URL中的搜索关键字特征;基于变更的最小完整URL访问第一网站，并接收第一网站的服务器发送的与变更的最小完整URL对应的状态码;基于预设处理条件对与变更的最小完整URL对应的状态码进行分析;当确定与变更的最小完整URL对应的状态码不是符合预设处理条件的状态码时，确认第一网站的搜索关键字特征没有发生变化。
[0144]在上述实施例的基础上，更新模块1904，具体用于:对状态码进行分析，确认第一网站的搜索关键字特征发生变化时，基于第一网站的域名访问第一网站，通过在第一网站的网页进行搜索获得搜索记录;对搜索记录进行分析，从搜索记录中提取与第一网站的更新的搜索关键字特征;基于第一网站的更新的搜索关键字特征，对特征库中存储的第一网站的搜索关键字特征进行更新。
[0145]实施例七
[0146]本实施例记载一种计算机可读介质，可以为ROM(例如，只读存储器、FLASH存储器、转移装置等)、磁存储介质(例如，磁带、磁盘驱动器等)、光学存储介质(例如，CD-R0M、DVD-R0M、纸卡、纸带等)以及其他熟知类型的程序存储器;计算机可读介质中存储有计算机可执行指令(例如腾讯视频等投射应用的二进制可执行指令)，当执行指令时，引起至少一个处理器执行包括以下的操作:
[0147]根据特征库中存储的第一网站的搜索关键字特征，生成包括第一网站的搜索关键字特征的最小完整统一资源定位符URL;特征库用于存储多个网站的搜索关键字特征；
[0148]基于最小完整URL向第一网站的服务器发送访问请求；
[0149]接收服务器发送的状态码；
[0150]对状态码进行分析，确认第一网站的搜索关键字特征发生变化时，对特征库中存储的第一网站的搜索关键字特征进行更新。
[0151]综上，数据更新装置针对特征库中存储的任意一个网站的搜索关键字特征(以第一网站为例)，基于第一网站的搜索关键字特征生成包括第一网站的搜索关键字特征的最小完整URL，该最小完整URL避免了搜索记录中复杂网址形式和冗余信息，简单直观且易于维护，通过访问该最小完整URL得到第一网站的服务器发送的状态码，只需要分析状态码就能够确认第一网站的搜索关键字特征是否发生变化，提高了检测搜索关键字特征是否发生变化的效率，降低了维护特征库中数据所需的人力成本;本实施例可以通过自动化工具(例如脚本)实现，能够及时检测到所关注的各个网站的搜索关键字特征的变化并进行更新，保证了特征库中所存储的多个网站的搜索关键字特征的实时性。
[0152]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0153]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0154]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0155]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0156]以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
【主权项】
1.一种数据更新方法，其特征在于，所述方法包括: 根据特征库中存储的第一网站的搜索关键字特征，生成包括所述第一网站的搜索关键字特征的最小完整统一资源定位符URL;所述特征库用于存储多个网站的搜索关键字特征； 基于所述最小完整URL向所述第一网站的服务器发送访问请求； 接收所述服务器发送的状态码； 对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。2.根据权利要求1所述的方法，其特征在于，所述根据特征库中存储的第一网站的搜索关键字特征，生成包括所述第一网站的搜索关键字特征的最小完整统一资源定位符URL，包括: 根据特征库中存储的第一网站的域名、路径及搜索关键字，生成包括所述第一网站的域名、路径及搜索关键字的最小完整URL。3.根据权利要求1所述的方法，其特征在于，所述对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新，包括: 基于预设处理条件对所述状态码进行分析，当确定所述状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征发生变化； 对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。4.根据权利要求1所述的方法，其特征在于，所述对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新，包括: 基于预设处理条件对所述状态码进行分析，当确定所述状态码是符合所述预设处理条件的状态码时，变更所述最小完整URL中的搜索关键字特征； 基于变更的最小完整URL访问所述第一网站，并接收所述第一网站的服务器发送的与所述变更的最小完整URL对应的状态码； 基于所述预设处理条件对所述与所述变更的最小完整URL对应的状态码进行分析；当确定所述与所述变更的最小完整URL对应的状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征没有发生变化。5.根据权利要求1所述的方法，其特征在于，所述对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新，包括: 对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，基于所述第一网站的域名访问所述第一网站，通过在所述第一网站的网页进行搜索获得搜索记录； 对所述搜索记录进行分析，从所述搜索记录中提取与所述第一网站的更新的搜索关键字特征； 基于所述第一网站的更新的搜索关键字特征，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。6.一种数据更新装置，其特征在于，所述装置包括: 生成模块，用于根据特征库中存储的第一网站的搜索关键字特征，生成包括所述第一网站的搜索关键字特征的最小完整统一资源定位符URL;所述特征库用于存储多个网站的搜索关键字特征； 发送模块，用于基于所述最小完整URL向所述第一网站的服务器发送访问请求； 接收模块，用于接收所述服务器发送的状态码； 更新模块，用于对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。7.根据权利要求6所述的装置，其特征在于，所述生成模块，具体用于根据特征库中存储的第一网站的域名、路径及搜索关键字，生成包括所述第一网站的域名、路径及搜索关键字的最小完整URL。8.根据权利要求6所述的装置，其特征在于，所述更新模块，具体用于: 基于预设处理条件对所述状态码进行分析，当确定所述状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征发生变化； 对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。9.根据权利要求6所述的装置，其特征在于，所述更新模块，具体用于: 基于预设处理条件对所述状态码进行分析，当确定所述状态码是符合所述预设处理条件的状态码时，变更所述最小完整URL中的搜索关键字特征； 基于变更的最小完整URL访问所述第一网站，并接收所述第一网站的服务器发送的与所述变更的最小完整URL对应的状态码； 基于所述预设处理条件对所述与所述变更的最小完整URL对应的状态码进行分析；当确定所述与所述变更的最小完整URL对应的状态码不是符合所述预设处理条件的状态码时，确认所述第一网站的搜索关键字特征没有发生变化。10.根据权利要求6所述的装置，其特征在于，所述更新模块，具体用于: 对所述状态码进行分析，确认所述第一网站的搜索关键字特征发生变化时，基于所述第一网站的域名访问所述第一网站，通过在所述第一网站的网页进行搜索获得搜索记录； 对所述搜索记录进行分析，从所述搜索记录中提取与所述第一网站的更新的搜索关键字特征； 基于所述第一网站的更新的搜索关键字特征，对所述特征库中存储的所述第一网站的搜索关键字特征进行更新。
【文档编号】G06F17/30GK105912573SQ201610195331
【公开日】2016年8月31日
【申请日】2016年3月30日
【发明人】张磊, 崔咏梅
【申请人】北京网康科技有限公司