网络内容过滤方法及装置的制造方法
【技术领域】
[0001]本公开涉及数据处理技术领域，特别涉及一种网络内容过滤方法及装置。
【背景技术】
[0002]随着网络的发展，电子设备上安装的应用程序越来越多，不同的应用程序都会通过连接自己的服务器来请求数据。
[0003]当前，电子设备在将应用程序请求下载的网络数据包从指定的服务器中下载到本地后，直接将该网络数据包传送给该应用程序，该应用程序则将该网络数据包中的各个数据块所对应的网络内容进行展示。
【发明内容】
[0004]本公开提供一种网络内容过滤方法及装置。所述技术方案如下:
[0005]根据本公开实施例的第一方面，提供一种网络内容过滤方法，所述方法包括:
[0006]接收网络数据包；
[0007]提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；
[0008]筛选出关键信息与数据库中关键信息匹配的数据块；
[0009]删除所述网络数据包中被筛选出的所述数据块。
[0010]可选的，所述筛选出关键信息与数据库中关键信息匹配的数据块，包括:
[0011]对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；
[0012]若所述数据库中存在与所述数据块的关键信息匹配的关键信息，则将所述数据块筛选为与所述数据库中关键信息匹配的数据块；
[0013]若所述数据库中不存在与所述数据块的关键信息匹配的关键信息，则将所述数据块的关键信息添加至所述数据库中。
[0014]可选的，所述检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息，包括:
[0015]当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；
[0016]当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；
[0017]当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。
[0018]可选的，所述检测所述数据库中是否存在符合第三匹配条件的关键信息，包括:
[0019]检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；
[0020]若所述数据库中存在符合所述第一条件的关键信息，则检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；
[0021]若符合所述第一条件的关键信息中存在符合所述第二条件的关键信息，则检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。
[0022]可选的，所述方法还包括:
[0023]每隔预定时间间隔清空所述数据库中的关键信息；或，
[0024]接收清空指令，清空所述数据库中的关键信息；或，
[0025]接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。
[0026]根据本公开实施例的第二方面，提供一种网络内容过滤装置，所述装置包括:
[0027]接收模块，被配置为接收网络数据包；
[0028]提取模块，被配置为提取所述接收模块接收的所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；
[0029]筛选模块，被配置为筛选出关键信息与数据库中关键信息匹配的数据块；
[0030]删除模块，被配置为删除所述网络数据包中被所述筛选模块筛选出的所述数据块。
[0031]可选的，所述筛选模块，包括:
[0032]第一检测子模块，被配置为对于所述网络数据包中的每个数据块，检测所述数据库中是否存在与所述数据块的关键信息匹配的关键信息；
[0033]筛选子模块，被配置为当所述第一检测子模块检测到所述数据库中存在与所述数据块的关键信息匹配的关键信息时，将所述数据块筛选为与所述数据库中关键信息匹配的数据块；
[0034]添加子模块，被配置为当所述第一检测子模块检测到所述数据库中不存在与所述数据块的关键信息匹配的关键信息时，将所述数据块的关键信息添加至所述数据库中。
[0035]可选的，所述第一检测子模块，包括:
[0036]第二检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要时，检测所述数据库中是否存在符合第一匹配条件的关键信息，所述第一匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于预定文本相似度阈值；
[0037]第三检测子模块，被配置为当所述数据块的关键信息仅包括文本摘要和图片特征值时，检测所述数据库中是否存在符合第二匹配条件的关键信息，所述第二匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于预定图片相似度阈值；
[0038]第四检测子模块，被配置为当所述数据块的关键信息包括文本摘要、图片特征值和视频展示图片特征值时，检测所述数据库中是否存在符合第三匹配条件的关键信息，所述第三匹配条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值，且所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值，且所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于预定视频展示图片相似度阈值。
[0039]可选的，所述第四检测子模块，包括:
[0040]第五检测子模块，被配置为检测所述数据库中是否存在符合第一条件的关键信息，所述第一条件为所述关键信息的文本摘要与所述数据块的文本摘要之间的文本相似度大于所述预定文本相似度阈值；
[0041]第六检测子模块，被配置为在所述第五检测子模块检测到所述数据库中存在符合所述第一条件的关键信息后，检测符合所述第一条件的关键信息中是否存在符合第二条件的关键信息，所述第二条件为所述关键信息的图片特征值与所述数据块的图片特征值之间的图片相似度大于所述预定图片相似度阈值；
[0042]第七检测子模块，被配置为在所述第六检测子模块检测到符合所述第一条件的关键信息中存在符合所述第二条件的关键信息后，检测符合所述第二条件的关键信息中是否存在符合第三条件的关键信息，所述第三条件为所述关键信息的视频展示图片特征值与所述数据块的视频展示图片特征值之间的视频展示图片相似度大于所述预定视频展示图片相似度阈值。
[0043]可选的，所述装置还包括:
[0044]第一清空模块，被配置为每隔预定时间间隔清空所述数据库中的关键信息；或，
[0045]第二清空模块，被配置为接收清空指令，清空所述数据库中的关键信息；或，
[0046]第三清空模块，被配置为接收备份指令，将所述数据库中的关键信息进行备份，并在成功备份后清空所述数据库中的关键信息。
[0047]根据本公开实施例的第三方面，提供一种网络内容过滤装置，所述装置包括:
[0048]处理器；
[0049]用于存储所述处理器可执行指令的存储器；
[0050]其中，所述处理器被配置为:
[0051]接收网络数据包；
[0052]提取所述网络数据包中各个数据块的关键信息，所述关键信息至少包括所述数据块的文本摘要、图片特征值和视频展示图片特征值中的至少一种；
[0053]筛选出关键信息与数据库中关键信息匹配的数据块；
[0054]删除所述网络数据包中被筛选出的所述数据块。
[0055]本公开的实施例提供的技术方案可以包括以下有益效果:
[0056]通过获取网络数据包，筛选出该网络数据包中关键信息与数据库中的关键信息重复的数据块，并将筛选出的数据块从该网络数据包中删除；由于能够在展示各个数据块所对应的网络内容之前将重复的网络内容删除，因此解决了不同应用程序请求下载的网络数据包中的数据块可能对应相同的网络内容，从而导致展示的网络内容重复的问题；达到了消除重复网络内容对用户造成的困扰，提高网络内容展示的简洁性的效果。
[0057]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
【附图说明】
[0058]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。
[0059]图1是根据一示例性实施例示出的一种网络内容过滤方法的流程图；
[0060]图2A是根据另一示例性实施例示出的一种网络内容过滤方法的流程图；
[0061]图2B是根据一示例性实施例示出的一种检测数据库中是否存在与数据块的关键信息匹配的关键信息的流程图；
[0062]图3是根据一示例性实施例示出的一种网络内容过滤装置