网页处理方法和装置与流程

本发明涉及互联网技术领域，特别是涉及一种网页处理方法和装置。

背景技术：

使用浏览器打开网页时，很多网页往往会显示很多非常规的网页元素，例如，广告、欺诈、虚假、低俗内容等与网页主题无关且具有一定骚扰性的网页元素，这些网页元素在网页中的存在给用户浏览网页带来很大不便。例如，在下载网站下载软件时往往会被误导去下载一个恶意的软件。又如，通过网站提供的链接跳转到某个网站时，往往会被诱导到一个不相关的网站或者欺诈网站。

传统技术中，通常在网页渲染前会对网页中的非常规元素进行过滤。然而，由于是在网页渲染前对非常规元素进行过滤，用户无法感知，且如果过滤的效果不佳时，渲染后的网页中仍然会存在大量的非常规元素。因此，传统技术中，网页中显示的非常规元素无法进行过滤，如果网页中的正常内容和非常规元素随机变化时，传统的这种网页处理方式将导致过滤不精确，从而导致过滤非常规元素的效果不佳。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能使得网页中非常规元素过滤得更精确的网页处理方法和装置。

一种网页处理方法，所述方法包括：

获取待访问网页进行网页渲染后的网页元素；

检测所述网页元素中是否存在非常规元素；

如果所述网页元素中存在非常规元素，则在网页中生成交互入口并显示；

获取对所述交互入口的触发操作，响应所述触发操作将所述非常规元素进行过滤。

一种网页处理装置，所述装置包括：

网页元素获取模块，用于获取待访问网页进行网页渲染后的网页元素；

非常规元素检测模块，用于检测所述网页元素中是否存在非常规元素；

图标生成模块，用于如果所述网页元素中存在非常规元素，则在网页中生成交互入口并显示；

过滤模块，用于获取对所述交互入口的触发操作，响应所述触发操作将所述非常规元素进行过滤。

上述网页处理方法和装置，通过检测网页渲染后的网页元素中是否存在非常规元素，如果网页元素中存在非常规元素，则在网页中生成交互入口并显示，在获取到对交互入口的触发操作时将非常规元素进行过滤。由于在网页渲染后还能对网页中存在的非常规元素进行过滤，并且是在获取到用户操作后进行过滤，因此可以实现对网页中显示的非常规元素进行过滤操作，即使网页中的正常内容和非常规元素经常随机变化，只要网页渲染后非常规元素存在网页中，就可以通过用户操作过滤非常规元素，从而使得网页中的非常规元素的过滤更为精确。

附图说明

图1为一个实施例中网页处理方法的应用环境图；

图2为一个实施例中终端的结构示意图；

图3为一个实施例中网页处理方法的流程示意图；

图4为一个实施例中检测网页元素中是否存在非常规元素的流程示意图；

图5为另一个实施例中网页处理方法的流程示意图；

图6为一个实施例中网页渲染后的界面示意图；

图7为一个实施例中过滤非常规元素的效果图；

图8为一个实施例中网页处理装置的结构框图；

图9为一个实施例中非常规元素检测模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的网页处理方法可应用于如图1所示的环境中。请参考图1所示，终端110通过网络与服务器120进行通信。终端110显示一个网页时需要进行网页加载、网页解析和网页渲染过程。通常，在网页渲染之前，可对一些非常规元素进行拦截。终端110在进行网页渲染之后可再进一步检测得到的网页元素中是否存在非常规元素，如果存在，则在网页中生成一个交互入口，当终端110接收到该交互入口的触发操作时，对网页中存在的非常规元素进行过滤。其中，终端110可以是但不限于是各种可请求并显示网页的个人计算机、笔记本电脑、台式电脑、智能手机、平板电脑、便携式可穿戴设备等。由于终端110在显示网页后还可对网页中存在的非常规元素进行过滤，使得网页中的非常规元素过滤更为精确。

图2为一个实施例中终端的内部结构示意图。该终端包括通过系统总线连接的处理器、非易失性存储介质、网络接口、内存储器、输入装置。其中该终端的非易失性存储介质存储有操作系统，还包括一种网页处理装置，该网页处理装置用于实现一种网页处理方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。终端中的内存储器为非易失性存储介质中的网页处理装置的运行提供环境，网络接口用于与服务器进行通信，如发送URL请求至服务器，接收服务器发送的资源等。输入装置可以是显示屏上覆盖的触摸层，也可以是键盘鼠标或者是终端外壳上设置的轨迹球或触控板等。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用与其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图3所示，在一个实施例中，提供了一种网页处理方法，该方法以应用于如图1和图2所示的终端中进行举例说明，包括：

步骤302，获取待访问网页进行网页渲染后的网页元素。

本实施例中，终端发起URL请求后进行网页加载、网页解析和网页渲染过程。具体的，终端根据请求的URL进行域名解析，向服务器发起请求，接收服务器发送的资源(包括HTML、JS、CSS和图像等)。对加载到的资源进行语法解析，建立相应的内部数据结构(比如HTML的DOM树、JS的对象属性表和CSS的样式规则等)，然后构造渲染树，对各个元素进行位置计算、样式计算等，根据渲染树对页面进行渲染，获取网页渲染后的网页元素。网页渲染后的网页元素包括应正常显示的网页内容，且可能包括一些非常规元素。

步骤304，检测网页元素中是否存在非常规元素。

本实施例中，终端可根据待访问网页所属的域名以及预设的网页元素关键属性来检测网页元素中是否存在非常规元素。具体的，可预设域名和网页元素关键属性的对应关系，设置的域名对应的网页元素关键属性可为非常规元素所具有的关键属性。其中，域名和对应的网页元素关键属性可预先存储在服务器中或者终端本地中。终端可预先根据本地存储的域名和对应的网页元素关键属性来检测网页渲染后的网页元素中是否存在非常规元素，当匹配不到与域名对应的网页元素关键属性时，可进一步在服务器中进行匹配，以提高匹配的准确性。

步骤306，如果网页元素中存在非常规元素，则在网页中生成交互入口并显示。

本实施例中，如果检测到网页渲染后的网页元素中存在非常规元素，例如，广告、欺诈、虚假、低俗内容等与网页主题无关且有一定骚扰性的网页元素。则在网页中生成一个交互入口，该交互入口可响应用户操作实现页面功能交互。进一步的，交互入口可以为一键过滤入口，例如可以是一个一键过滤按键。当用户点击该一键过滤按键，则终端相应用户的点击操作将网页中显示的非常规元素进行过滤。

步骤308，获取对交互入口的触发操作，响应该触发操作将非常规元素进行过滤。

本实施例中，当用户需要对网页中显示的非常规元素进行过滤时，可触发交互入口，例如点击一键过滤按键，终端响应对一键过滤按键的触发操作，从而将在网页中显示的非常规元素进行过滤。

本实施例中，通过检测网页渲染后的网页元素中是否存在非常规元素，如果网页元素中存在非常规元素，则在网页中生成交互入口并显示，在获取到对交互入口的触发操作时将非常规元素进行过滤。由于在网页渲染后还能对网页中存在的非常规元素进行过滤，并且是在获取到用户操作后进行过滤，因此可以实现对网页中显示的非常规元素进行过滤操作，即使网页中的正常内容和非常规元素经常随机变化，只要网页渲染后非常规元素存在网页中，就可以通过用户操作过滤掉非常规元素，从而使得网页中的非常规元素的过滤更为精确。

在一个实施例中，检测网页元素中是否存在非常规元素，包括：查找待访问网页所属的域名是否存在对应的预设的网页元素关键属性，若是，则检测查找到的网页元素关键属性是否有至少一条存在于待访问网页中；如果查找到的网页元素关键属性有至少一条存在于待访问网页中，则网页元素中存在非常规元素，否则网页元素中不存在非常规元素。

进一步的，在一个实施例中，查找待访问网页所属的域名是否存在对应的预设的网页元素关键属性，包括：查找待访问网页的网址的域名是否存在对应的预设的网页元素关键属性，若是，则进入检测查找到的网页元素关键属性是否有至少一条存在于所述待访问网页中的步骤，否则，进一步查找待访问网页的网址的顶级域名是否存在对应的预设的网页元素关键属性，若是，则进入检测查找到的网页元素关键属性是否有至少一条存在于待访问网页的步骤，否则网页元素中不存在非常规元素。

具体的，在一个实施例中，如图4所示，检测网页元素中是否存在非常规元素的步骤，包括：

步骤402，查找待访问网页的网址的域名是否存在对应的预设的网页元素关键属性，若是，则进入步骤406，否则进入步骤404。

本实施例中，预先设置了网页元素关键属性，所设置的网页元素关键属性是非常规元素的属性特征。具体的，所设置的网页元素关键属性包括Class属性和id属性。在其他实施例中，还可包括style属性或其它属性。本实施例中，还预先设置了域名与网页元素关键属性的对应关系，该对应关系表明了该域名下的网址会存在非常规元素。进一步的，该对应关系可存储在服务器(云端)或者终端本地，当服务器有更新时可同步更新至终端。终端可先根据在本地存储的域名与网页元素关键属性的对应关系，查找待访问网页的网址的域名是否存在对应的预设的网页元素关键属性，若查找到则进入步骤404，若查找不到，则可进一步在服务器上进行查找，如果在服务器中查找到则进入步骤404，如果在服务器中查找不到则进入步骤406。

步骤404，查找待访问网页的网址的顶级域名是否存在对应的预设的网页元素关键属性，若是，则进入步骤406，否则进入步骤408。

本实施例中，如果待访问网页的网址的域名不存在对应的预设的网页元素关键属性，则可进一步查找待访问网页的网址的顶级域名是否存在对应的预设的网页元素关键属性。如上所述，预先设置了域名与网页元素关键属性的对应关系，如果待访问网页的网址的顶级域名存在对应的预设的网页元素关键属性，则表明该待访问网页也可能存在非常规元素。具体的，终端也可先在本地查找待访问网页的网址的顶级域名是否存在对应的预设的网页元素关键属性，若查找到则进入步骤406，若查找不到则可进一步在服务器上进行查找，如果在服务器中查找到则进入步骤406，否则进入步骤408。

步骤406，检测查找到的网页元素关键属性是否有至少一条存在于待访问网页中，若是，则进入步骤410，否则进入步骤408。

步骤408，网页渲染后得到的网页元素中不存在非常规元素。

步骤410，网页渲染后得到的网页元素中存在非常规元素。

本实施例中，当待访问网页的网址的域名或顶级域名存在对应的预设的网页元素关键属性，则检测查找到的网页元素关键属性是否有至少一条存在于待访问网页中，即：将查找到的预设的网页元素关键属性与待访问网页进行网页渲染后得到的网页元素中的关键属性进行匹配，如果匹配到至少一条关键属性，则表明根据域名匹配到的非常规元素包含待访问网页中存在的非常规元素，待访问网页存在非常规元素。如果匹配不到至少一条关键属性，则待访问网页不存在非常规元素。

具体的，预设的网页元素关键属性包括Class属性、id属性、style属性和其它属性等，在匹配待访问网页中的网页元素时，则可逐一匹配这些属性。例如，某个网页中的非常规元素代码为：<div id＝“wAdFlyBlttom”class＝“onlyPc”>…</div>，预先设置与域名对应的网页元素关键属性为:div[id＝“wAdFlyBlttom”]或者div[class＝“onlyPc”]，则可以匹配到待访问网页中存在非常规元素。

本实施例中，通过将待访问网页所属的域名与预设的域名匹配，匹配得到非常规元素的网页元素关键属性，然后检测匹配到的网页元素关键属性是否存在于待访问网页中，如果存在，则表明待访问网页中存在非常规元素，否则不存在非常规元素。由于服务器中或终端本地存储的用来匹配的网页元素关键属性有可能过期，通过两次匹配过程可以确保待访问元素中匹配到的关键属性正是预设的确定为非常规元素的关键属性，因此可以确保检测待访问网页中的非常规元素的准确性。

在一个实施例中，如果渲染后得到的网页元素中存在非常规元素，则在网页中生成交互入口并显示，包括：如果网页元素中存在非常规元素，则在待访问网页的页面中注入预设的JS代码，通过JS代码在网页中生成交互入口并显示，该JS代码还用于响应交互入口的触发操作将非常规元素进行过滤。

在一个实施例中，响应触发操作将非常规元素进行过滤，包括：获取非常规元素在网页中的位置大小信息，以及获取交互入口在网页中的位置大小信息；根据非常规元素在网页中的位置大小信息和交互入口在网页中的位置大小信息，将非常规元素按照预设动画效果移动至交互入口对应的位置处直至消失。

如图5所示，在一个实施例中，提供了一种网页处理方法，该方法以应用于如图1或图2中的终端中进行举例说明，包括：

步骤502，获取待访问网页进行网页渲染后的网页元素。

本实施例中，终端发起URL请求后进行网页加载、网页解析和网页渲染过程，当网页内的所有预执行的JS脚本执行过程完成，则整个页面完成加载，用户可以看到完整的网页页面。在进行网页渲染前可对网页中存在的一些非常规元素进行拦截操作，拦截掉一些非常规元素后再进行网页渲染。网页渲染后就即可显示整个网页页面，网页页面中显示了网页元素，这些网页元素除了包含正常显示的网页内容外，还可能包含了一些非常规元素。

步骤504，检测该网页元素中是否存在非常规元素，若是，则进入步骤506，否则结束。

具体的，可通过将待访问网页所属的域名与终端本地存储的域名进行匹配，匹配到域名后，获取预设的与该域名对应的网页元素关键属性。如果匹配不到，则去服务器匹配域名，从而获取到与待访问网页所属的域名对应的预设的网页元素关键属性。其中，待访问网页所属的域名包括待访问网页的网址的域名和顶级域名。在匹配时，首先对待访问网页的网址的域名进行匹配，匹配不到时再进一步对待访问网页的网址的顶级域名进行匹配。

进一步的，匹配到对应的预设的网页元素关键属性后，检测该网页元素关键属性是否有至少一条存在与待访问网页中，若是则表明匹配到的网页元素关键属性包含了待访问网页中的网页元素关键属性，待访问网页存在非常规元素，否则待访问网页不存在非常规元素。

步骤506，在待访问网页的页面中注入预设的JS代码，通过JS代码在网页中生成交互入口并显示。

本实施例中，可在网页浏览器中注入浏览器插件，该浏览器插件可用于当网页渲染后检测渲染后得到的网页元素中是否存在非常规元素，如果存在，则向页面注入预设的JS代码，该JS代码可实现在网页中生成一个交互入口并实现该交互入口的功能交互实现。

具体的，交互入口可以是一个用来过滤网页中的非常规元素的入口，例如，可以是在页面中显示的一个控件，比如是一个一键过滤按钮。如图6所示，网页渲染后显示整个网页页面，该页面中存在一些非常规元素602，非常规元素602可以是广告内容、虚假内容或者其他与网页主题无关的内容。当检测到这些非常规元素602时在页面中生成一个一键过滤按钮604，该一键过滤按钮604可为如图6所示的一个图标。

步骤508，获取对交互入口的触发操作，响应触发操作将网页中的非常规元素移动至交互入口对应的位置处直至消失。

本实施例中，可通过注入到页面中的预设的JS代码实现交互入口的功能交互实现。具体的，当用户触发交互入口时，例如，点击一键过滤按钮604，通过预设的JS代码响应该操作，进而获取到非常规元素在网页中的位置大小信息，以及获取交互入口在网页中的位置大小信息，根据非常规元素在网页中的位置大小信息和交互入口在网页中的位置大小信息，将非常规元素按照预设动画效果移动至交互入口对应的位置处直至消失。

具体的，在检测到待访问网页中存在非常规元素时，可根据匹配的网页元素关键属性获取到这些非常规元素，进而获取到非常规元素的位置大小信息。而交互入口的位置大小信息可根据预设的JS代码获取得到。进一步的，可根据非常规元素的位置大小信息和交互入口的位置大小信息获取到每个非常规元素与交互入口之间的距离，根据该距离将每个非常规元素移动到交互入口的位置处，然后隐藏消失。

进一步的，在移动每个非常规元素到交互入口位置处的过程中，可逐渐缩小非常规元素的大小，直至达到交互入口位置处消失，以实现非常规元素动态移动并且逐渐缩小直至消失的动画效果。具体的，可采用如下方式实现这一动画效果：假设非常规元素为A，大小为Sa，交互入口为B，根据A和B的位置计算得到A与B之间的距离为L，预先设置该动画效果总时间为T，设置定时器的时间间隔为t秒(即每t秒定时器执行1次)。则非常规元素A向交互入口B移动的总次数为n＝T/t。定时器每执行一次，则A向B移动距离L△＝L/n，同时将非常规元素A缩放m倍数：m＝Sa/n，且最后一次执行将A的大小Sa置为0，并将其设置为隐藏。这样，每个非常规元素A平移到交互入口B的位置处则会消失。如图7所示，可通过一定的动画效果实现非常规元素的过滤，非常规元素平移到交互入口位置处并逐渐缩小直至消失在交互入口位置处，在回收非常规元素的过程中，交互入口可以呈现出一种回收的动画效果，从而实现了一种将非常规元素进行回收的显示效果。

本实施例中，通过设置浏览器插件，在检测到网页渲染后得到的网页元素中存在非常规元素，则显示交互入口。由于网页渲染后整个页面加载完毕，用户也可以看到网页中存在的非常规元素，因此可以选择是否将页面中的非常规元素进行过滤。当用户选择过滤时，可通过交互入口一键触发过滤网页中显示的非常规元素。且可通过一定的动画效果来实现将非常规元素平移到交互入口位置处直至消失，实现将网页中显示的非常规元素进行回收的效果。

如图8所示，在一个实施例中，还提供了一种网页处理装置，该装置包括：

网页元素获取模块802，用于获取待访问网页进行网页渲染后的网页元素。

非常规元素检测模块804，用于检测网页元素中是否存在非常规元素。

图标生成模块806，用于如果网页元素中存在非常规元素，则在网页中生成交互入口并显示。

过滤模块808，用于获取对交互入口的触发操作，响应触发操作将非常规元素进行过滤。

在一个实施例中，如图9所示，非常规元素检测模块804包括：

查找模块814，用于查找待访问网页所属的域名是否存在对应的预设的网页元素关键属性。

检测模块824，用于如果待访问网页所属的域名存在对应的预设的网页元素关键属性，则检测查找到的网页元素关键属性是否有至少一条存在于待访问网页中；如果查找到的网页元素关键属性有至少一条存在于待访问网页中，则网页元素中存在非常规元素，否则，网页元素中不存在非常规元素。

在一个实施例中，查找模块814用于查找待访问网页的网址的域名是否存在对应的预设的网页元素关键属性；检测模块824还用于如果查找模块814检测到待访问网页的网址的域名存在对应的预设的网页元素关键属性，则检测网页元素关键属性是否有至少一条存在于待访问网页。本实施例中，查找模块814还用于如果查找不到待访问网页的网址的域名存在对应的网页元素关键属性，则进一步查找待访问网页的网址的顶级域名是否存在对应的预设的网页元素关键属性。本实施例中，检测模块824还用于如果查找到待访问网页的网址的顶级域名存在对应的预设的网页元素关键属性，则检测查找到的网页元素关键属性是否有至少一条存在于待访问网页中，否则网页元素中不存在非常规元素。

在一个实施例中，图标生成模块806用于如果网页元素中存在非常规元素，则在待访问网页的页面中注入预设的JS代码，通过JS代码在网页中生成交互入口并显示，该JS代码还用于响应交互入口的触发操作将非常规元素进行过滤。

在一个实施例中，过滤模块808用于获取非常规元素在网页中的位置大小信息，以及获取交互入口在网页中的位置大小信息，根据非常规元素在网页中的位置大小信息和交互入口在网页中的位置大小信息，将非常规元素按照预设动画效果移动至交互入口对应的位置处直至消失。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。