一种应用于网页的图片提取方法及装置的制造方法
【专利摘要】本申请公开一种应用于网页的图片提取方法及装置。该方法中，获取待处理的网页的原始编程语言；获取原始编程语言的语言标签，根据语言标签，滤除其中与正文无关的内容，得到目标编程语言；根据目标编程语言的语言标签的文字密度，确定文字密度最大的语言标签为目标标签；将目标标签指示的网页区域作为目标区域，选择目标区域中的图片作为待提取的图片。通过本方案，无需预先知悉网页的布局结构，适用范围较宽，从而解决现有技术中第一种图片提取方法具有的通用性差的问题；而且只需对待处理的网页的原始编程语言进行分析处理，与现有技术中第二种图片提取方法相比，需要处理的数据较少，解决该方法所具有的开发测试周期长，计算繁琐复杂的问题。
【专利说明】
一种应用于网页的图片提取方法及装置
技术领域
[0001]本发明实施例涉及互联网技术领域，尤其涉及一种应用于网页的图片提取方法及
目.0
【背景技术】
[0002]网页中通常包含图片和文字，其中，图片往往比文字更直观，表现力更强，能够让用户获取更多信息，因此，有些情况下需要提取网页中的主图片。其中，所述主图片用于展示与网页中正文相关的内容。例如，在QQ和微信等聊天软件中，若聊天内容中包含网址，在聊天软件的显示界面上，通常会显示该网址，以及该网址指示的网页中所包含的主图片，以便用户不用打开该网址，即可根据所述主图片知悉该网址指示的网页描述的内容;在进行信息搜索时，搜索结果页面上通常会显示相应的超链接和该超链接指示的网页中所包含的主图片，以便用户在未打开该超链接之前，即可根据所述主图片知悉该超链接指示的网页描述的内容。
[0003]为了获取主图片，现在通常采用以下两种图片提取方法:在其中一种方法中，需要预先知悉网页的布局结构，当需要获取主图片时，根据所述布局结构确定所述主图片在网页中的位置，然后根据该位置提取主图片；另一种方法主要是基于数据挖掘思想实现，该方法中，需要对大量的网页进行分析，获取网页中各元素的样式属性，然后根据该样式属性确定其中的主图片。
[0004]但是，发明人在本申请的研究过程中发现，第一种图片提取的方法，只能够应用于预先知悉布局结构的网页，通用性较差，第二种图片提取的方法需要对大量数据进行处理，开发测试周期长，计算繁琐复杂。
【发明内容】
[0005]为克服相关技术中存在的问题，本发明实施例提供一种应用于网页的图片提取方法及装置。
[0006]为了解决上述技术问题，本发明实施例公开了如下技术方案:
[0007]根据本发明实施例的第一方面，提供一种应用于网页的图片提取方法，包括:
[0008]获取待处理的网页的原始编程语言；
[0009]获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言；
[0010]根据所述目标编程语言中包括的语言标签的文字密度，确定所述文字密度最大的语言标签为目标标签；
[0011]将所述目标标签指示的网页区域作为目标区域，选择所述目标区域中的图片作为待提取的图片。
[0012]根据本发明实施例的第二方面，提供一种应用于网页的图片提取装置，包括:
[0013]原始编程语言获取模块，用于获取待处理的网页的原始编程语言；
[0014]滤除模块，用于获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言；
[0015]目标标签确定模块，用于根据所述目标编程语言中包括的语言标签的文字密度，确定所述文字密度最大的语言标签为目标标签；
[0016]图片选择模块，用于将所述目标标签指示的网页区域作为目标区域，选择所述目标区域中的图片作为待提取的图片。
[0017]本发明的实施例提供的技术方案可以包括以下有益效果:
[0018]本申请公开的应用于网页的图片提取方法及装置，无需预先知悉网页的布局结构，适用范围较宽，从而解决了现有技术中第一种图片提取方法具有的通用性差的问题;另夕卜，本申请公开的方法只需对待处理的网页的原始编程语言进行分析处理，与现有技术中第二种图片提取方法相比，需要处理的数据较少，处理过程较为简单，从而解决了该方法所具有的开发测试周期长，计算繁琐复杂的问题。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
【附图说明】
[0020]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0021]图1是根据本发明一示例性实施例示出的一种应用于网页的图片提取方法的工作流程示意图；
[0022]图2是根据本发明一示例性实施例示出的一种应用于网页的图片提取方法中语言标签与文字密度的对应关系示意图；
[0023]图3是根据本发明一示例性实施例示出的一种应用于网页的图片提取方法中，选择目标区域中的图片作为待提取的图片的工作流程示意图；
[0024]图4是根据本发明一示例性实施例示出的一种应用于网页的图片提取装置的结构示意图。
【具体实施方式】
[0025]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0026]本申请公开一种应用于网页的图片提取方法及装置，以解决依靠现有技术提取图片时，第一种图片提取方法具有的通用性差，以及第二种图片提取方法所具有的开发测试周期长，计算繁琐复杂的问题。
[0027]本申请的实施例一公开一种应用于网页的图片提取方法。参见图1所示的工作流程示意图，所述应用于网页的图片提取方法包括以下步骤:
[0028]步骤S11、获取待处理的网页的原始编程语言。
[0029]本申请公开的方案能够支持多种类型的原始编程语言。例如，所述原始编程语言可以为html(HyperText Markup Language，超级文本标记语言)。
[0030]步骤S12、获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言。
[0031]其中，语言标签为原始编程语言中的基本单位。若所述原始编程语言为html，则所述语言标签为html标签。
[0032]在原始编程语言中，通常包含多种语言标签，例如，在html标签中，包含有javascript标签、css标签和di V标签等。
[0033]步骤S13、根据所述目标编程语言中包括的语言标签的文字密度，确定所述文字密度最大的语言标签为目标标签。
[0034]在网页中，往往包含正文区域和非正文区域。在非正文区域中，通常包含有广告和网页标志等。而正文区域中，往往包含文字部分和穿插在文字中的一些图片。另外，正文区域中由于包含大量文字，通常文字密度会大于非正文区域。因此，该步骤中通过文字密度确定目标标签，所述目标标签指示的网页区域即为正文区域。
[0035]在步骤S12中，根据语言标签，滤除了原始编程语言中与正文无关的内容。为了避免剩余的原始编程语言中由于语言标签使用错误，仍然存在与正文无关的内容，在步骤S13中，依据文字密度进一步确定目标标签，其中，所述目标标签指示的网页区域即为正文区域，从而提高了获取正文区域的正确率。
[0036]步骤S14、将所述目标标签指示的网页区域作为目标区域，选择所述目标区域中的图片作为待提取的图片。
[0037]其中，所述目标区域指示的区域即为正文区域，所述待提取的图片即为主图片(SP用于展示与网页中正文相关的内容的图片)。在网页中，待提取的图片一般位于正文区域中。本申请中，通过目标标签实现对目标区域的定位，再从所述目标区域中选择待提取的图片。
[0038]本申请的步骤Sll至步骤S14公开一种应用于网页的图片提取方法，该方法中，获取待处理的网页的原始编程语言后，根据所述原始编程语言中包含的语言标签，滤除所述原始编程语言中与正文无关的内容，将剩余的原始编程语言作为目标编程语言，再获取所述目标编程语言中包含的各个语言标签的文字密度，确定文字密度最大的语言标签为目标标签，将所述目标标签指示的网页区域作为目标区域，并从所述目标区域中选择待提取的图片。
[0039]本申请公开的应用于网页的图片提取方法，无需预先知悉网页的布局结构，适用范围较宽，从而解决了现有技术中第一种图片提取方法具有的通用性差的问题;另外，本申请公开的方法只需对待处理的网页的原始编程语言进行分析处理，与现有技术中第二种图片提取方法相比，需要处理的数据较少，处理过程较为简单，从而解决了该方法所具有的开发测试周期长，计算繁琐复杂的问题。
[0040]进一步的，所述获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言，包括以下步骤:
[0041 ]首先，获取所述原始编程语言中包含的语言标签后，生成DOM树，其中，所述DOM树的节点为所述原始编程语言中包含的语言标签;然后，遍历所述DOM树，查找所述DOM树中与正文无关的语言标签，并滤除所述与正文无关的语言标签指示的编程语言，将剩余的编程语言作为目标编程语言。
[0042]本申请中，通常基于DOM树的算法滤除原始编程语言中与正文无关的内容。在网页中，通常由正文内容和非正文内容共同组成，在非正文区域中，往往包含有广告和网页标志等，正文区域中，往往包含文字部分和图片部分。而正文区域和非正文区域对应的原始编程语言中，均包含语言标签。
[0043]在基于DOM树的算法滤除原始编程语言中与正文无关的内容时，会根据原始编程语言中包含的各个语言标签创建DOM树，其中，DOM树中的各个节点为语言标签。然后，对所述DOM树进行遍历，查找所述DOM树中与正文无关的语言标签，并滤除所述与正文无关的语言标签指示的内容。所述与正文无关的语言标签指示的内容，即为所述原始编程语言中与正文无关的内容。
[0044]另外，在本申请的步骤S13中，在根据文字密度确定目标标签时，往往需要确定各语言标签间的等级从属关系。在本申请中，确定不包含其他语言标签的语言标签作为最细粒度语言标签。并且若某一语言标签包含所述最细粒度语言标签，则将该语言标签作为二级语言标签，若某一语言标签包含所述二级语言标签，则该语言标签为三级语言标签，并依此类推。本申请中，若文字密度最大的语言标签为多个，则所述目标标签为其中最低等级的语言标签。
[0045]参见图2所示的各语言标签对应的文字密度的对应关系示意图。该示意图中，横轴表示语言标签，纵轴表示文字密度。在该示意图中，第28至第31个语言标签的文字密度最大，若第28个语言标签中未包含其他语言标签，而且第29个语言标签包含所述第28个语言标签，第30个语言标签包含所述第29个语言标签，第31个语言标签包含所述第30个语言标签，即第28个语言标签为最细粒度语言标签，且第29个语言标签为二级语言标签，第30个语言标签为三级语言标签，第31个语言标签为四级语言标签。这种情况下，由于第28个语言标签为其中等级最低的语言标签，则第28个语言标签为目标语言标签。
[0046]进一步的，本申请的步骤S14中，公开了选择所述目标区域中的图片作为待提取的图片的操作。参见图3所示的工作流程示意图，所述选择所述目标区域中的图片作为待提取的图片，包括以下步骤:
[0047]步骤S21、获取所述目标区域中包含的图片，将所述目标区域中包含的图片作为目标图片；
[0048]步骤S22、将所述目标图片的数量与m作比较，其中，m为待提取的图片的预设值，判断所述目标图片的数量是否大于m，若否，即所述目标图片的数量不大于m，执行步骤S23的操作，若是，即所述目标图片的数量大于m，执行步骤S24的操作。
[0049]步骤S23、若所述目标图片的数量不大于m，确定所述目标图片为所述待提取的图片。
[0050]步骤S24、若所述目标图片的数量大于m，滤除所述目标图片中的图片，根据滤除后的剩余图片确定所述待提取的图片。
[0051]在该步骤中，通常通过各个目标图片的面积进行过滤。这种情况下，在滤除操作中，会滤除所述目标图片中面积小于预设阈值的图片。
[0052]不同应用场景下，可能需要提取不同数量的图片。例如，在进行信息搜索时，搜索结果页面上通常显示相应的超链接，以及从所述超链接指示的网页中提取的图片，该图片用于描述与网页中正文相关的内容，这种情况下，若只需要提取一张图片，则待提取的图片的预设值m为I，另外，若需要在每个超链接处显示两张图片，则待提取的图片的预设值m为2。当然，所述待提取的图片的预设值m也可以为其他数值，本申请对此不做限定。
[0053]若目标图片的数量不大于m，例如，目标区域中只有一张图片，而本次待提取的图片的预设值为I，则直接确定所述目标图片为所述待提取的图片。
[0054]另外，有些网页的正文区域中，包含有多张图片，例如，在赛事点评类的网页中，正文区域通常包含多张比赛过程中的图片。因此，所述目标图片的数量有时会大于m。这种情况下，需要对所述目标图片进行再次过滤，以滤除所述目标图片中的图片，根据滤除后的剩余图片确定所述待提取的图片。再次过滤时，通常会滤除目标图片中面积小于预设阈值的图片。例如，预设阈值为长宽为75*75像素，则再次过滤时，会滤除目标图片中面积小于75*75像素的图片。
[0055]进一步的，所述根据滤除后的剩余图片确定所述待提取的图片，包括以下步骤:
[0056]首先，判断所述滤除后的剩余图片的数量是否大于m，其中，m为待提取的图片的预设值;然后，若所述滤除后的剩余图片的数量不大于m，则确定所述滤除后的剩余图片为所述待提取的图片，若所述滤除后的剩余图片的数量大于m，将所述滤除后的剩余图片的描述信息与所述网页的描述内容进行内容匹配，并根据匹配程度确定所述剩余图片中的m张图片为所述待提取的图片。
[0057]其中，所述剩余图片的描述信息为所述剩余图片的title属性信息和/或alt属性
?目息O
[0058]若目标图片的数量大于m，且在过滤操作之后，滤除后的剩余图片的数量大于m，则进一步根据剩余图片的描述信息与网页的描述内容之间的匹配程度进行过滤。其中，匹配程度较高的m张图片即为所述待提取的图片。
[0059]相应的，本申请的第二实施例公开一种应用于网页的图片提取装置，参见图4所示的结构示意图，所述应用于网页的图片提取装置包括:原始编程语言获取模块100、滤除模块200、目标标签确定模块300和图片选择模块400。
[0060]其中，所述原始编程语言获取模块100，用于获取待处理的网页的原始编程语言。
[0061]所述滤除模块200，用于获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言。
[0062]所述目标标签确定模块300，用于根据所述目标编程语言中包括的语言标签的文字密度，确定所述文字密度最大的语言标签为目标标签。
[0063]在网页中，往往包含正文区域和非正文区域。在非正文区域中，往往包含有广告和网页标志等。而正文区域中，往往包含文字部分和穿插在文字中的一些图片。另外，正文区域中由于包含大量文字，通常文字密度会大于非正文区域。因此，该步骤中通过文字密度确定目标标签，所述目标标签指示的网页区域即为正文区域。
[0064]所述图片选择模块400，用于将所述目标标签指示的网页区域作为目标区域，选择所述目标区域中的图片作为待提取的图片。
[0065]其中，所述目标区域指示的区域即为正文区域，所述待提取的图片即为主图片(SP用于展示与网页中正文相关的内容的图片)。在网页中，待提取的图片一般位于正文区域中。本申请中，通过目标标签实现对目标区域的定位，再从所述目标区域中选择待提取的图片。
[0066]进一步的，所述滤除模块200包括:
[0067]DOM树生成单元，用于获取所述原始编程语言中包含的语言标签后，生成DOM树，其中，所述DOM树的节点为所述原始编程语言中包含的语言标签；
[0068]DOM树遍历单元，用于遍历所述DOM树，查找所述DOM树中与正文无关的语言标签，并滤除所述与正文无关的语言标签指示的编程语言，将剩余的编程语言作为目标编程语言。
[0069]在基于DOM树的算法滤除原始编程语言中与正文无关的内容时，会根据原始编程语言中包含的各个语言标签创建DOM树，其中，DOM树中的各个节点为语言标签。然后，对所述DOM树进行遍历，查找所述DOM树中与正文无关的语言标签，并滤除所述与正文无关的语言标签指示的内容。所述与正文无关的语言标签指示的内容，即为所述原始编程语言中与正文无关的内容。
[0070]进一步的，所述图片选择模块400包括:
[0071]目标图片获取子模块，用于获取所述目标区域中包含的图片，将所述目标区域中包含的图片作为目标图片；
[0072]第一确定子模块，用于若所述目标图片的数量不大于m，确定所述目标图片为所述待提取的图片；
[0073]第二确定子模块，用于若所述目标图片的数量大于m，滤除所述目标图片中的图片，根据滤除后的剩余图片确定所述待提取的图片；
[0074]其中，m为待提取的图片的预设值。
[0075]不同应用场景下，可能需要提取不同数量的图片。例如，在进行信息搜索时，搜索结果页面上通常显示相应的超链接，以及从所述超链接指示的网页中提取的图片，该图片用于描述与网页中正文相关的内容，这种情况下，若只需要提取一张图片，则待提取的图片的预设值m为I，另外，若需要在每个超链接处显示两张图片，则待提取的图片的预设值m为
2。当然，所述待提取的图片的预设值m也可以为其他数值，本申请对此不做限定。
[0076]但是，在有些网页的正文区域中，包含有多张图片，因此，所述目标图片的数量有时会大于m。这种情况下，需要对所述目标图片进行再次过滤，以滤除所述目标图片中的图片，根据滤除后的剩余图片确定所述待提取的图片。再次过滤时，通常会滤除目标图片中面积小于预设阈值的图片。例如，预设阈值为长宽为75*75像素，则再次过滤时，会滤除目标图片中面积小于75*75像素的图片。
[0077]进一步的，所述第二确定子模块包括:
[0078]判断单元，用于判断所述滤除后的剩余图片的数量是否大于m;
[0079]第一确定单元，用于若所述滤除后的剩余图片的数量不大于m，则确定所述滤除后的剩余图片为所述待提取的图片；
[0080]第二确定单元，用于若所述滤除后的剩余图片的数量大于m，将所述滤除后的剩余图片的描述信息与所述网页的描述内容进行内容匹配，并根据匹配程度确定所述剩余图片中的m张图片为所述待提取的图片。
[0081]其中，所述剩余图片的描述信息为所述剩余图片的title属性信息和/或alt属性
?目息O
[0082]本申请公开的应用于网页的图片提取装置，无需预先知悉网页的布局结构，适用范围较宽，从而解决了现有技术中第一种图片提取方法具有的通用性差的问题;另外，本申请公开的方法只需对待处理的网页的原始编程语言进行分析处理，与现有技术中第二种图片提取方法相比，需要处理的数据较少，处理过程较为简单，从而解决了该方法所具有的开发测试周期长，计算繁琐复杂的问题。
[0083]关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0084]本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0085]应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
【主权项】
1.一种应用于网页的图片提取方法，其特征在于，包括: 获取待处理的网页的原始编程语言； 获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言； 根据所述目标编程语言中包括的语言标签的文字密度，确定所述文字密度最大的语言标签为目标标签； 将所述目标标签指示的网页区域作为目标区域，选择所述目标区域中的图片作为待提取的图片。2.根据权利要求1所述的应用于网页的图片提取方法，其特征在于，所述获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言，包括: 获取所述原始编程语言中包含的语言标签后，生成DOM树，其中，所述DOM树的节点为所述原始编程语言中包含的语言标签； 遍历所述DOM树，查找所述DOM树中与正文无关的语言标签，并滤除所述与正文无关的语言标签指示的编程语言，将剩余的编程语言作为目标编程语言。3.根据权利要求1所述的应用于网页的图片提取方法，其特征在于，所述选择所述目标区域中的图片作为待提取的图片，包括: 获取所述目标区域中包含的图片，将所述目标区域中包含的图片作为目标图片； 若所述目标图片的数量不大于m，确定所述目标图片为所述待提取的图片； 若所述目标图片的数量大于m，滤除所述目标图片中的图片，根据滤除后的剩余图片确定所述待提取的图片； 其中，m为待提取的图片的预设值。4.根据权利要求3所述的应用于网页的图片提取方法，其特征在于，所述根据滤除后的剩余图片确定所述待提取的图片包括: 判断所述滤除后的剩余图片的数量是否大于m; 若所述滤除后的剩余图片的数量不大于m，则确定所述滤除后的剩余图片为所述待提取的图片； 若所述滤除后的剩余图片的数量大于m，将所述滤除后的剩余图片的描述信息与所述网页的描述内容进行内容匹配，并根据匹配程度确定所述剩余图片中的m张图片为所述待提取的图片。5.根据权利要求4所述的应用于网页的图片提取方法，其特征在于，所述剩余图片的描述信息为所述剩余图片的t i 11 e属性信息和/或a 11属性信息。6.—种应用于网页的图片提取装置，其特征在于，包括: 原始编程语言获取模块，用于获取待处理的网页的原始编程语言； 滤除模块，用于获取所述原始编程语言中包括的语言标签，并根据所述语言标签，滤除所述原始编程语言中与正文无关的内容，得到目标编程语言； 目标标签确定模块，用于根据所述目标编程语言中包括的语言标签的文字密度，确定所述文字密度最大的语言标签为目标标签； 图片选择模块，用于将所述目标标签指示的网页区域作为目标区域，选择所述目标区域中的图片作为待提取的图片。7.根据权利要求6所述的应用于网页的图片提取装置，其特征在于，所述滤除模块包括: DOM树生成单元，用于获取所述原始编程语言中包含的语言标签后，生成DOM树，其中，所述DOM树的节点为所述原始编程语言中包含的语言标签； DOM树遍历单元，用于遍历所述DOM树，查找所述DOM树中与正文无关的语言标签，并滤除所述与正文无关的语言标签指示的编程语言，将剩余的编程语言作为目标编程语言。8.根据权利要求6所述的应用于网页的图片提取装置，其特征在于，所述图片选择模块包括: 目标图片获取子模块，用于获取所述目标区域中包含的图片，将所述目标区域中包含的图片作为目标图片； 第一确定子模块，用于若所述目标图片的数量不大于m，确定所述目标图片为所述待提取的图片； 第二确定子模块，用于若所述目标图片的数量大于m，滤除所述目标图片中的图片，根据滤除后的剩余图片确定所述待提取的图片； 其中，m为待提取的图片的预设值。9.根据权利要求8所述的应用于网页的图片提取装置，其特征在于，所述第二确定子模块包括: 判断单元，用于判断所述滤除后的剩余图片的数量是否大于m; 第一确定单元，用于若所述滤除后的剩余图片的数量不大于m，则确定所述滤除后的剩余图片为所述待提取的图片； 第二确定单元，用于若所述滤除后的剩余图片的数量大于m，将所述滤除后的剩余图片的描述信息与所述网页的描述内容进行内容匹配，并根据匹配程度确定所述剩余图片中的m张图片为所述待提取的图片。10.根据权利要求9所述的应用于网页的图片提取装置，其特征在于，所述剩余图片的描述信息为所述剩余图片的title属性信息和/或alt属性信息。
【文档编号】G06F17/30GK105868346SQ201610184168
【公开日】2016年8月17日
【申请日】2016年3月28日
【发明人】谢晓静
【申请人】乐视控股（北京）有限公司, 乐视网信息技术（北京）股份有限公司