明中所使用的提取方法是将网页中的干扰数据利用空行替代，因此在网页正文提取过程中不会受限于网页程序编写的规范性。
[0147]3、扩展性好。本发明中的网页提取方法针对不同的网页数据，通过调节重置空行文字个数的数值能够适用不同格式的网页，因此具有较好的扩展性。
[0148]根据本发明的另一方面，还提供了一种网页正文的提取装置。图6示出了网页正文提取装置的结构示意图，如图6所示，网页正文提取装置包括:
[0149]噪声处理单元601，用于读取网页数据，确定网页数据中包含的干扰数据，以及，用空字符替换干扰数据；
[0150]记录单元602，用于记录网页每一行的行号以及对应行内的文字个数；
[0151 ] 网页正文确定单元603，用于利用每一行的行号以及对应行内的文字个数确定网页正文；
[0152]提取单元604，用于提取网页正文。
[0153]作为优选实施例，网页正文确定单元包括:
[0154]数据初始模块，用于确定网页的行号范围X，X = 1?j，j是正整数；以及将网页中空行的文字个数设置为负数；
[0155]数据处理模块，用于根据重新赋值后的每行文字个数，计算以第η行为最后一行的一段连续行的文字个数总和最大值F(η)，η = 1?X ;并根据F(n)与第η行的文字个数a[n]，得到网页正文所处的行区间，以及选择行区间的文字作为网页正文。
[0156]作为另一优选实施例，网页正文确定单元包括:
[0157]数据初始模块，用于确定网页行号范围X，X = 1?j，j是正整数；
[0158]数据处理模块，用于计算前η行的文字个数总和F(n)，其中η = 1?X;并根据F(n)，得到多个连续的正文区间，其中η = 1?X;以及从连续的正文区间中选择一个或多个正文区间的文字作为网页正文。
[0159]作为再一优选实施例，网页正文确定单元包括:
[0160]数据初始模块，用于确定网页行号范围X，X = 1?j，j是正整数；
[0161]数据处理模块，用于逐次计算第η行与第n+h行之间的文字个数之和F(η)，并查找F(l)?F(n)中最大值F(p)，将p行与p+h行之间的文字作为网页正文，其中，η = 1?X-h, p = 1?X-h，h为大于1小于j的自然数。
[0162]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0163]以上所述仅是本发明的【具体实施方式】，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种网页正文的提取方法，其特征在于，所述方法包括: 读取网页数据，确定网页数据中包含的干扰数据，以及，用空字符替换所述干扰数据； 记录网页每一行的行号以及对应行内的文字个数； 利用所述每一行的行号以及对应行内的文字个数确定网页正文； 提取所述网页正文。2.根据权利要求1所述的方法，其特征在于，利用所述每一行的行号以及对应行内的文字个数确定网页正文的步骤包括: 确定网页行号范围X，其中，X = 1?j，j是正整数； 将网页中的空行的文字个数设置为负数； 根据设置后的每行文字个数，计算以第η行为最后一行的一段连续行的文字个数总和最大值F(n)，其中，η = 1?X ; 根据F(n)与第η行的文字个数a[n]，得到网页正文所处的行区间； 选择行区间的文字作为网页正文。3.根据权利要求2所述的方法，其特征在于，所述得到网页正文所处的行区间的步骤包括: 确定最大行号j ; 计算初始行文字个数总和，F(l) =a[l]； 设置当前行号n = i，其中，i = 2?j ;计算以第η行为最后一行的一段连续行的文字个数总和最大值F (n) =F(n-l)+a[n]；如果 F (n-1) ( 0,则 F (η) = a[n],使 η = η+1 ； 如果 F(n-l) >0』jF(n) = F(n_l)+a[n],使 η = η+1 ; 若η古j,则转计算F (η)的步骤继续计算；若n = j时,则结束F (η)的计算； 查找F(l)?F(j)中的最大值，将最大值所在行确定为网页正文所处行区间的终止行；根据所述最大值和每行文字个数a [η]确定网页正文所处行区间的起始行。4.根据权利要求2所述的方法，其特征在于，所述将网页中空行的文字个数设置为负数的步骤包括: 根据网页正文在网页页面中的分散程度对负数的取值进行调整。5.根据权利要求4所述的方法，其特征在于，所述根据网页正文在页面中的分散程度对负数的取值进行调整的步骤包括: 当网页正文在页面中分布集中时，所述负数为小于-10的负整数； 当网页正文在页面中分布分散时，所述负数为[-10，-1]中的任一负整数。6.根据权利要求1所述的方法，其特征在于，利用所述每一行的行号以及对应行内的文字个数确定网页正文的步骤包括: 确定网页行号范围X，其中，X = 1?j，j是正整数； 计算前η行的文字个数总和F (η)，其中，η = 1?X ; 根据F(n)得到多个连续的正文区间，其中，η = 1?X; 从连续的正文区间中选择一个或多个正文区间的文字作为网页正文。7.根据权利要求6所述的方法，其特征在于，所述根据F(η)得到多个连续的正文区间的步骤包括: 确定最大行号j; 确定初始行号i，其中，i = 1?j ; 设置当前行号n=i; 当F(n) = F(n+1)时，确定正文区间为F(i)到F(n)，结束F(n)的计算，或者转确定初始行号i的步骤继续判断；如果 F (η) ^ F (η+1)，使 η = η+1 ； 如果η弇j，则转比较F(n)和F(n+1)的步骤继续判断；如果η = j，则结束F(n)的计笪8.根据权利要求6所述的方法，其特征在于，在所述根据F(η)得到多个连续的正文区间的过程中，将文字个数大于预定数值的正文区间的文字作为网页正文。9.根据权利要求1所述的网页正文的提取方法，其特征在于，利用所述每一行的行号以及对应行内的文字个数确定网页正文的步骤包括: 确定网页行号范围X，其中，X = 1?j，j是正整数； 逐次计算第η行与第n+h行之间的文字个数之和F (η)，其中，η = 1?X_h，h为大于1小于j的自然数； 将F(l)?F(n)中最大值对应的行数与该行之后h行的文字作为网页正文。10.一种网页正文的提取装置，其特征在于，包括: 噪声处理单元，用于读取网页数据，确定网页数据中包含的干扰数据，以及，用空字符替换所述干扰数据； 记录单元，用于记录网页每一行的行号以及对应行内的文字个数； 网页正文确定单元，用于利用所述每一行的行号以及对应行内的文字个数确定网页正文； 提取单元，用于提取所述网页正文。11.根据权利要求10所述的网页正文的提取装置，其特征在于，所述网页正文确定单元包括: 数据初始模块，用于确定网页的行号范围X，其中，X = 1?j，j是正整数；以及将网页中空行的文字个数设置为负数； 数据处理模块，用于根据重新赋值后的每行文字个数，计算以第η行为最后一行的一段连续行的文字个数总和最大值F(n)，其中，η= 1?X;并根据F(n)与第η行的文字个数a[n]，得到网页正文所处的行区间，以及选择行区间的文字作为网页正文； 或者，所述网页正文确定单元包括: 数据初始模块，用于确定网页行号范围X，其中，X = 1?j，j是正整数； 数据处理模块，用于计算前η行的文字个数总和F (η)，其中η = 1?X;并根据F(n)，得到多个连续的正文区间，其中η = 1?X ;以及从连续的正文区间中选择一个或多个正文区间的文字作为网页正文； 或者，所述网页正文确定单元包括: 数据初始模块，用于确定网页行号范围X，其中，X = 1?j，j是正整数； 数据处理模块，用于逐次计算第η行与第n+h行之间的文字个数之和F(n)，并查找F(l)?F(n)中最大值F(p)，将p行与p+h行之间的文字作为网页正文，其中，η = 1?X-h，p = ?χ-h，h为大于1小于j的自然数。
【专利摘要】本申请实施例公开了的一种网页正文提取方法和装置，所述方法包括：读取网页数据，确定网页数据中包含的干扰数据，以及，用空字符替换所述干扰数据；记录网页每一行的行号以及对应行内的文字个数；利用所述每一行的行号以及对应行内的文字个数确定网页正文；提取所述网页正文。与现有技术相比，本发明具有不依赖浏览器环境、不依赖页面结构以及扩展性较好的优点。
【IPC分类】G06F17/30
【公开号】CN105335382
【申请号】CN201410301298
【发明人】王磊
【申请人】优视科技有限公司
【公开日】2016年2月17日
【申请日】2014年6月27日