一种同源网站扩展的方法、装置及介质与流程

文档序号:30664048发布日期:2022-07-06 02:22阅读:来源:国知局

技术特征:
1.一种同源网站扩展的方法,其特征在于,包括:获取待扩展网站url和任务相关参数;对所述待扩展网站url发起http或https请求得到响应信息;从所述响应信息中提取待扩展网站对应的网站特征得到网站特征集合;从所述网站特征集合中选取目标网站特征,并将所述目标网站特征转换为网络空间搜索引擎可识别的查询字符串;调用所述网络空间搜索引擎,以便所述网络空间搜索引擎根据所述任务相关参数验证所述目标网站特征的标志性以确定所述待扩展网站对应的同源网站。2.根据权利要求1所述的同源网站扩展的方法,其特征在于,所述从所述响应信息中提取待扩展网站对应的网站特征得到网站特征集合包括:解析所述响应信息得到响应正文;从所述响应正文中提取指定标签中的所述网站特征;其中,所述指定标签为多个;对提取的所有所述网站特征进行过滤以得到所述网站特征集合。3.根据权利要求2所述的同源网站扩展的方法,其特征在于,从所述网站特征集合中选取目标网站特征包括:依据各所述指定标签中所述网站特征对应的价值,对所述网站特征集合中的各所述网站特征进行排序得到排序结果;根据所述排序结果,将价值从高到低的所述网站特征依次选取为所述目标网站特征。4.根据权利要求3所述的同源网站扩展的方法,其特征在于,所述任务相关参数包括目标网站特征组合数和验证次数,其中,所述验证次数的初始值为零,所述目标网站特征组合数的初始值大于零。5.根据权利要求4所述的同源网站扩展的方法,其特征在于,所述网络空间搜索引擎根据所述任务相关参数验证所述目标网站特征的标志性包括:依次将所述目标网站特征加入查询组中与其他所述目标网站特征进行组合的得到最新查询组;每得到一个所述最新查询组,所述网络空间搜索引擎对所述最新查询组中所述目标网站特征组合对应的所述查询字符串进行一次查询得到一个查询结果,且所述目标网站特征组合数减一,所述验证次数加一;判断所述最新查询组中的所述目标网站特征个数是否大于或等于预设值;若大于或等于所述预设值,验证最新预设值次数的各所述查询结果是否相同,若相同,则结束查询,并确定所述预设值次数中的各所述目标网站特征具有标志性;若小于所述预设值,则进入所述依次将所述目标网站特征加入查询组中与其他所述目标网站特征进行组合的得到最新查询组的步骤。6.根据权利要求5所述的同源网站扩展的方法,其特征在于,若最新预设值次数的各所述查询结果不相同,还包括:去除所述最新查询组中价值最高的所述目标网站特征,并加入所述网站特征集合中下一个所述目标网站特征进行组合得到当前所述最新查询组;进入所述判断所述最新查询组中的所述目标网站特征个数是否大于或等于预设值的步骤。
7.根据权利要求6所述的同源网站扩展的方法,其特征在于,在确定所述最新查询组中的所述目标网站特征个数大于或等于预设值之后还包括:判断所述目标网站特征组合数是否等于零;若不等于零,则进入所述验证最新预设值次数的各所述查询结果是否相同的步骤;若等于零,则结束并确定所述待扩展网站扩展失败。8.一种同源网站扩展的装置,其特征在于,包括:获取模块,用于获取待扩展网站url和任务相关参数;请求模块,用于对所述待扩展网站url发起http或https请求得到响应信息;提取模块,用于从所述响应信息中提取待扩展网站对应的网站特征得到网站特征集合;选取模块,用于从所述网站特征集合中选取目标网站特征;转换模块,用于将所述目标网站特征转换为网络空间搜索引擎可识别的查询字符串;调用模块,用于调用所述网络空间搜索引擎,以便所述网络空间搜索引擎根据所述任务相关参数验证所述目标网站特征的标志性以确定所述待扩展网站对应的同源网站。9.一种同源网站扩展的装置,其特征在于,包括存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的同源网站扩展的方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的同源网站扩展的方法的步骤。

技术总结
本申请涉及互联网领域,公开了一种同源网站扩展的方法、装置及介质,包括:获取待扩展网站URL和任务相关参数,对待扩展网站URL发起HTTP或HTTPS请求得到响应信息,从响应信息中提取网站特征得到网站特征集合,并从网站特征集合中选取目标网站特征,并转换为网络空间搜索引擎可识别的查询字符串,网络空间搜索引擎根据任务相关参数验证目标网站特征的标志性以确定待扩展网站对应的同源网站。由此,基于网络空间搜索引擎实现了自动提取待扩展网站的网站特征,并自动将网站特征转换为网络空间搜索引擎可识别的查询语言,以及自动对网站特征进行验证以确定待扩展网站对应的同源网站,避免了人工提取、转换和验证网站特征的低效率。率。率。


技术研发人员:黄旗亮 宓晨希
受保护的技术使用者:杭州安恒信息技术股份有限公司
技术研发日:2022.03.31
技术公布日:2022/7/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1