网站数据分析方法及装置制造方法
【专利摘要】本发明公开了一种网站数据分析方法及装置。其中，该方法包括：获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态；根据网站运行状态确定属性参数；根据属性参数查询对应的分析数据；将网站运行状态、属性参数及分析数据保存在数据表中，生成分析报告。采用本发明，解决了现有技术中由于无法获取完整数据导致对网站出现的问题分析不全面、不准确的问题，实现了采集完整数据并对网站的问题进行完整准确的分析，实现高效的网站监测和优化的效果。
【专利说明】网站数据分析方法及装置
【技术领域】
[0001]本发明涉及数据分析领域，具体而言，涉及一种网站数据分析方法及装置。
【背景技术】
[0002]为了维护网站正常运营，并且保持良好的发展趋势，现有技术中往往需要对网站数据进行分析，通过网站分析可以找到网站出现的问题，以实现新的需求和目标。目前网站公开数据分析的技术思想是依据网站出现的问题或网站需求的改变，单方面考虑搜索引擎数据或考虑模拟蜘蛛抓取数据，取出认为相关的数据进行定性分析，找出数据变化趋势的异常解决网站出现的问题、设定数据的改变思路实现网站需求。并且，目前的网站的分析方法大多属于定性分析，大多凭借已有经验根据数据变化趋势来解决问题，可是网站问题的出现受众多因素影响，单方面考虑搜索引擎数据或者模拟蜘蛛抓取数据，也即使用不完整的数据往往不能找出问题出现的根本原因，或者实现既定目标。
[0003]由上述分析可知，现有技术中分析网站出现问题的方法分析结果不全面、不准确，从而无法根据不准确的问题分析结果找到问题发生的原因。
[0004]针对现有技术中由于无法获取完整数据导致对网站出现的问题分析不全面、不准确的问题，目如尚未提出有效的解决方案。
【发明内容】
[0005]针对相关技术中由于无法获取完整数据导致对网站出现的问题分析不全面、不准确的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种网站数据分析方法及装置，以解决上述问题。
[0006]为了实现上述目的，根据本发明的一个方面，提供了一种网站数据分析方法，该方法包括:获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态；根据网站运行状态确定属性参数；根据属性参数查询对应的分析数据；将网站运行状态、属性参数及分析数据保存在数据表中，生成分析报告。
[0007]进一步地，获取与网站访问分析请求对应的网站访问数据的步骤包括:从URL数据表中读取与网站访问分析请求对应的URL ;按照URL获取对应的通过搜索引擎获取的第一数据和通过模拟蜘蛛抓取的第二数据。
[0008]进一步地，根据网站运行状态确定属性参数的步骤包括:根据网站运行状态从预设方案表中查询得到状态类型；根据状态类型确定网站运行状态的属性参数。
[0009]进一步地，根据属性参数查询获取对应的分析数据的步骤包括:从预设方案表中获取预设状态公式；按照预设状态公式计算属性参数的当前状态数据；从预设方案表中查询与当前状态数据对应的分析数据。
[0010]进一步地，在获取与网站访问分析请求对应的网站访问数据之前，网站数据分析方法还包括:获取网站访问分析请求；判断网站访问分析请求中是否包含对关联网站的分析请求；在网站访问分析请求中包含对关联网站的分析请求的情况下，获取关联网站的关联网站数据；将第一数据、第二数据和关联网站数据作为网站访问数据。
[0011]为了实现上述目的，根据本发明的一个方面，提供了一种网站数据分析装置，该装置包括:数据获取模块，用于获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态；参数获取模块，用于根据网站运行状态确定属性参数；查询模块，用于根据属性参数查询对应的分析数据；保存模块，用于将网站运行状态、属性参数及分析数据保存在数据表中，生成分析报告。
[0012]进一步地，数据获取模块包括:读取模块，用于从URL数据表中读取与网站访问分析请求对应的URL ;数据获取子模块，用于按照URL获取对应的通过搜索引擎获取的第一数据和通过模拟蜘蛛抓取的第二数据。
[0013]进一步地，参数获取模块包括:类型查询模块，用于根据网站运行状态从预设方案表中查询得到状态类型；参数获取子模块，用于根据状态类型确定网站运行状态的属性参数。
[0014]进一步地，查询模块包括:公式获取模块，用于从预设方案表中获取预设状态公式；计算模块，用于按照预设状态公式计算属性参数的当前状态数据；查询子模块，用于从预设方案表中查询与当前状态数据对应的分析数据。
[0015]进一步地，网站数据分析装置还包括:请求获取模块，用于获取网站访问分析请求；判断模块，用于判断网站访问分析请求中是否包含对关联网站的分析请求；关联数据获取模块，用于在网站访问分析请求中包含对关联网站的分析请求的情况下，获取关联网站的关联网站数据；确定模块，用于将第一数据、第二数据和关联网站数据作为网站访问数据。
[0016]采用本发明，获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态，在根据网站运行状态确定属性参数之后，根据属性参数查询分析数据，然后将网站运行状态、状态来源数据以及分析数据保存在数据表中，生成分析报告。采用该方案，可以将搜索引擎数据和模拟蜘蛛抓取数据共同运用到网站访问分析中，从而可以对网站进行全面的、定量和定性的数据分析，解决了现有技术中由于无法获取完整数据导致对网站出现的问题分析不全面、不准确的问题，实现了采集完整数据并对网站的问题进行完整准确的分析，实现高效的网站监测和优化的效果。
【专利附图】
【附图说明】
[0017]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0018]图1是根据本发明实施例的网站数据分析装置示意图；
[0019]图2是根据本发明实施例的网站数据分析方法的流程图；
[0020]图3是根据本发明实施例的一种可选的网站数据分析方法的流程图；
[0021]图4是根据本发明实施例的解决方案资料库的示意图；以及
[0022]图5是根据本发明实施例的分析结果汇总的示意图。【具体实施方式】
[0023]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0024]图1是根据本发明实施例的网站数据分析装置示意图，如图1所示该装置可以包括:数据获取模块10、参数获取模块30、查询模块50以及保存模块70。
[0025]其中，数据获取模块10，用于获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态。
[0026]参数获取模块30，用于根据网站运行状态确定属性参数。
[0027]查询模块50，用于根据属性参数查询对应的分析数据。
[0028]保存模块70，用于将网站运行状态、属性参数及分析数据保存在数据表中，生成分析报告。
[0029]采用本发明，通过数据获取模块获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态，在通过参数获取模块根据网站运行状态确定属性参数之后，查询模块根据属性参数查询分析数据，然后通过保存模块将网站运行状态、状态来源数据以及分析数据保存在数据表中，生成分析报告。采用该方案，可以将搜索引擎数据和模拟蜘蛛抓取数据共同运用到网站访问分析中，从而可以对网站进行全面的、定量和定性的数据分析，解决了现有技术中由于无法获取完整数据导致对网站出现的问题分析不全面、不准确的问题，实现了采集完整数据并对网站的问题进行完整准确的分析，实现高效的网站监测和优化的效果。
[0030]根据本发明的上述实施例，数据获取模块10可以包括:读取模块，用于从URL数据表中读取与网站访问分析请求对应的URL ;数据获取子模块，用于按照URL获取对应的通过搜索引擎获取的第一数据和通过模拟蜘蛛抓取的第二数据。
[0031 ] 在上述实施例中，网站运行状态可以是网站当前存在的问题，也可以是网站可能存在的问题，还可以是用户需要网站将来的运行模式。具体地，网站访问分析请求可以是用户在发现网站问题后分析网站问题的来源或者原因请求(如关键词排名不好、收录不理想等问题)，也可以是在网站运行正常的情况下，请求分析网站是否存在漏洞或者可能发生的访问问题的请求等等。
[0032]通常来说，网站公开数据中可用到的分析维度包括两大类:从搜索引擎中获取的第一数据以及模拟搜索引擎蜘蛛抓取的第二数据。比如，网站页面是否是收录、关键词的排名等属于从搜索引擎中获取的第一数据；链接锚文本、关键词密度等属于模拟搜索引擎蜘蛛抓取的网站数据。
[0033]在本发明的上述实施例中，根据URL (即网页地址)将第一数据和第二数据进行整合得到网站访问数据，将两类数据之间打通渠道，从而可以对网站进行全面的、定量与定性相结合的数据分析，实现高效的网站监测和优化。
[0034]在本发明的上述实施例中，参数获取模块30可以包括:类型查询模块，用于根据网站运行状态从预设方案表中查询得到状态类型；参数获取子模块，用于根据状态类型确定网站运行状态的属性参数。[0035]具体地，上述实施例中的查询模块50可以包括:公式获取模块，用于从预设方案表中获取预设状态公式；计算模块，用于按照预设状态公式计算属性参数的当前状态数据；查询子模块，用于从预设方案表中查询与当前状态数据对应的分析数据。
[0036]根据本发明的上述实施例，网站数据分析装置还可以包括:请求获取模块，用于获取网站访问分析请求；判断模块，用于判断网站访问分析请求中是否包含对关联网站的分析请求；关联数据获取模块，用于在网站访问分析请求中包含对关联网站的分析请求的情况下，获取关联网站的关联网站数据；确定模块，用于将第一数据、第二数据和关联网站数据作为网站访问数据。
[0037]具体地，可以将用户请求分析的网站的所有页面或主要页面获取的网站访问数据保存在URL数据表(URL_List)中，在获取网站分析请求中的网站运行状态之后，确定需要进行问题分析的页面URL后，从预设方案表(S0luti0n_List)中查询问题(即网站运行状态)对应的问题类型(即上述实施例中的状态类型，如:网站基础数据、收录问题以及关键词排名问题；更具体地获取网站运行分析的具体类型，如:网站平均页面文本数量对页面权重影响、网站收录率以及页面关键词数量对某关键词排名影响分析)，在确定状态类型之后，进一步确定需要分析问题的属性参数(如:网站平均页面文本数量对页面权重影响涉及的属性参数可以包括:编号B3、编号Cl以及编号C3对应的属性参数)，在确定属性参数之后，从URL数据表中获取对应的页面URL的性能参数，然后可以根据属性数据查询、诊断获取对应的分析数据，从而找到网站存在的问题和解决方案。
[0038]在上述装置实施例中的模块均可以使用方法实施例中的方法实现。
[0039]图2是根据本发明实施例的网站数据分析方法的流程图，如图2所示该方法包括如下步骤:
[0040]步骤S102，获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索弓I擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态。
[0041]步骤S104，根据网站运行状态确定属性参数。
[0042]步骤S106，根据属性参数查询对应的分析数据。
[0043]步骤S108，将网站运行状态、属性参数及分析数据保存在数据表中，生成分析报
生口 ο
[0044]采用本发明，获取与网站访问分析请求对应的网站访问数据，其中，网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，网站访问分析请求中携带网站运行状态，在根据网站运行状态确定属性参数之后，根据属性参数查询分析数据，然后将网站运行状态、状态来源数据以及分析数据保存在数据表中，生成分析报告。采用该方案，可以将搜索引擎数据和模拟蜘蛛抓取数据共同运用到网站访问分析中，从而可以对网站进行全面的、定量和定性的数据分析，解决了现有技术中由于无法获取完整数据导致对网站出现的问题分析不全面、不准确的问题，实现了采集完整数据并对网站的问题进行完整准确的分析，实现高效的网站监测和优化的效果。
[0045]在上述实施例中，在获取搜索引擎数据和模拟蜘蛛抓取数据之后，通过这两类数据的整合，实现了通过定量分析的方法，解决网站在搜索优化中遇到的问题，达成网站优化目标。
[0046]在本发明提供的一种优选的实施例中，可以在获取网站访问分析请求之后，先确定属性参数，然后再获取网站访问数据，也即步骤S102可以在步骤S104之后执行，这样可以少处理很多数据，从而可以加快处理速度。
[0047]在上述实施例中，网站运行状态可以是网站当前存在的问题，也可以是网站可能存在的问题，还可以是用户需要网站将来的运行模式。具体地，网站访问分析请求可以是用户在发现网站问题后分析网站问题的来源或者原因请求(如关键词排名不好、收录不理想等问题)，也可以是在网站运行正常的情况下，请求分析网站是否存在漏洞或者可能发生的访问问题的请求等等。
[0048]具体地，获取与网站访问分析请求对应的网站访问数据的步骤可以包括:从URL数据表中读取与网站访问分析请求对应的URL ;按照URL获取对应的通过搜索引擎获取的第一数据和通过模拟蜘蛛抓取的第二数据。
[0049]通常来说，网站公开数据中可用到的分析维度包括两大类:从搜索引擎中获取的第一数据以及模拟搜索引擎蜘蛛抓取的第二数据。比如，网站页面是否是收录、关键词的排名等属于从搜索引擎中获取的第一数据；链接锚文本、关键词密度等属于模拟搜索引擎蜘蛛抓取的网站数据。
[0050]在本发明的上述实施例中，根据URL (即网页地址)将第一数据和第二数据进行整合得到网站访问数据，将两类数据之间打通渠道，从而可以对网站进行全面的、定量与定性相结合的数据分析，实现高效的网站监测和优化。
[0051]在本发明的上述实施例中，根据网站运行状态确定属性参数的步骤可以包括:根据网站运行状态从预设方案表中查询得到状态类型；根据状态类型确定网站运行状态的属性参数。
[0052]具体地，在确定与网站运行状态对应的属性参数之后，可以检测预设类目分类表中是否存在属性参数；在预设类目分类表中不存在属性参数的情况下，将属性参数添加到预设类目分类表中。通过该实施例可以不断地完善预设类目分类表，从而使得预设类目分类表中的数据分类更加完善和准确，从而可以获取更精准的分析结果。
[0053]具体地，可以将用户请求分析的网站的所有页面或主要页面获取的网站访问数据保存在URL数据表(URL_List)中，在获取网站分析请求中的网站运行状态之后，确定需要进行问题分析的页面URL后，从预设方案表(S0luti0n_List)中查询问题(即网站运行状态)对应的问题类型(即上述实施例中的状态类型，如:网站基础数据、收录问题以及关键词排名问题；更具体地获取网站运行分析的具体类型，如:网站平均页面文本数量对页面权重影响、网站收录率以及页面关键词数量对某关键词排名影响分析)，在确定状态类型之后，进一步确定需要分析问题的属性参数(如:网站平均页面文本数量对页面权重影响涉及的属性参数可以包括:编号B3、编号Cl以及编号C3对应的属性参数)，在确定属性参数之后，从URL数据表中获取对应的页面URL的性能参数，然后可以根据属性数据查询、诊断获取对应的分析数据，从而找到网站存在的问题和解决方案。
[0054]根据本发明的上述实施例，根据属性参数查询获取对应的分析数据的步骤可以包括:从预设方案表中获取预设状态公式；按照预设状态公式计算属性参数的当前状态数据；从预设方案表中查询与当前状态数据对应的分析数据。
[0055]在本发明的上述实施例中，在获取与网站访问分析请求对应的网站访问数据之前，方法还包括:获取网站访问分析请求；判断网站访问分析请求中是否包含对关联网站的分析请求；在网站访问分析请求中包含对关联网站的分析请求的情况下，获取关联网站的关联网站数据；将第一数据、第二数据和关联网站数据作为网站访问数据。
[0056]下面结合图3详细介绍本发明:
[0057]步骤S201:获取分析对象的网站访问数据。
[0058]具体地，可以预先建立URL数据(URL_Listl)，可以将分析对象的URL保存在第一URL表中，该表中可以包括页面级别、页面编号以及URL。
[0059]步骤S201:判断是否需要分析关联对象。
[0060]其中，在需要分析关联对象的情况下，执行步骤S203;在不需要分析关联对象的情况下，执行步骤S204。具体地，该步骤可以通过检测网站访问分析请求中是否还具有对关联对象的分析请求来实现，其中，分析对象可以为用户自己的网站，关联对象可以是分析对象的竞争对手的网站。
[0061]步骤S203:获取关联对象的网站访问数据。
[0062]具体地，建立URL_List2，可以将关联对象的URL保存在第一 URL表中，该表中可以包括页面级别、页面编号以及URL。在完成该步骤之后可以将所有对象的数据保存在上述实施例中的URL数据表(URL_Li st)中。
[0063]如表I所示,该表为URL_List的示例表。
[0064]表I
[0065]
【权利要求】
1.一种网站数据分析方法，其特征在于，包括: 获取与网站访问分析请求对应的网站访问数据，其中，所述网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，所述网站访问分析请求中携带网站运行状态； 根据所述网站运行状态确定属性参数； 根据所述属性参数查询对应的分析数据； 将所述网站运行状态、所述属性参数及所述分析数据保存在数据表中，生成分析报告。
2.根据权利要求1所述的网站数据分析方法，其特征在于，获取与网站访问分析请求对应的网站访问数据的步骤包括: 从URL数据表中读取与所述网站访问分析请求对应的URL ； 按照所述URL获取对应的通过搜索引擎获取的第一数据和通过模拟蜘蛛抓取的第二数据。
3.根据权利要求1或2所述的网站数据分析方法，其特征在于，根据所述网站运行状态确定属性参数的步骤包括: 根据所述网站运行状态从预设方案表中查询得到状态类型； 根据所述状态类型确定所述网站运行状态的所述属性参数。
4.根据权利要求3所述的网站数据分析方法，其特征在于，根据所述属性参数查询获取对应的分析数据的步 骤包括: 从所述预设方案表中获取预设状态公式； 按照所述预设状态公式计算所述属性参数的当前状态数据； 从所述预设方案表中查询与所述当前状态数据对应的所述分析数据。
5.根据权利要求4所述的网站数据分析方法，其特征在于，在获取与网站访问分析请求对应的网站访问数据之前，所述网站数据分析方法还包括: 获取所述网站访问分析请求； 判断所述网站访问分析请求中是否包含对关联网站的分析请求； 在所述网站访问分析请求中包含对关联网站的分析请求的情况下，获取所述关联网站的关联网站数据； 将所述第一数据、所述第二数据和所述关联网站数据作为所述网站访问数据。
6.一种网站数据分析装置，其特征在于，包括: 数据获取模块，用于获取与网站访问分析请求对应的网站访问数据，其中，所述网站访问数据包括搜索引擎数据和模拟蜘蛛抓取数据，所述网站访问分析请求中携带网站运行状态； 参数获取模块，用于根据所述网站运行状态确定属性参数； 查询模块，用于根据所述属性参数查询对应的分析数据； 保存模块，用于将所述网站运行状态、所述属性参数及所述分析数据保存在数据表中，生成分析报告。
7.根据权利要求6所述的网站数据分析装置，其特征在于，所述数据获取模块包括: 读取模块，用于从URL数据表中读取与所述网站访问分析请求对应的URL ； 数据获取子模块，用于按照所述URL获取对应的通过搜索引擎获取的第一数据和通过模拟蜘蛛抓取的第二数据。
8.根据权利要求6或7所述的网站数据分析装置，其特征在于，所述参数获取模块包括: 类型查询模块，用于根据所述网站运行状态从预设方案表中查询得到状态类型； 参数获取子模块，用于根据所述状态类型确定所述网站运行状态的所述属性参数。
9.根据权利要求8所述的网站数据分析装置，其特征在于，所述查询模块包括: 公式获取模块，用于从所述预设方案表中获取预设状态公式； 计算模块，用于按照所述预设状态公式计算所述属性参数的当前状态数据； 查询子模块，用于从所述预设方案表中查询与所述当前状态数据对应的所述分析数据。
10.根据权利要求9所述的网站数据分析装置，其特征在于，所述网站数据分析装置还包括: 请求获取模块，用于获取所述网站访问分析请求； 判断模块，用于判断所述网站访问分析请求中是否包含对关联网站的分析请求； 关联数据获取模块，用于在所述网站访问分析请求中包含对关联网站的分析请求的情况下，获取所述关联网站的关联网站数据； 确定模块，用于将所述第一数据、所述第二数据和所述关联网站数据作为所述网站访问数据。
【文档编号】G06F17/30GK103605735SQ201310585758
【公开日】2014年2月26日 申请日期:2013年11月19日 优先权日:2013年11月19日
【发明者】姜世豪, 王晓群, 杨韬 申请人:北京国双科技有限公司