CDN场景下有效域名的筛选方法、装置、电子设备和介质与流程

本发明涉及域名解析，特别涉及一种cdn场景下有效域名的筛选方法、装置、电子设备和介质。

背景技术：

1、域名泛解析技术是在泛解析的根域名前添加任意的子域名前缀，这样均可访问到相同的web地址。 域名泛解析初衷是好的，网站浏览人员不必担心输入的子域名出错，就可以访问到网站；但是对于安全扫描或者客户做资产排查等业务来说，域名泛解析会导致输入的任意子域名都能得到正常的请求，在做批量扫描和资产盘点时不仅会浪费很多计算资源及网络资源，还会对正常的工作带来巨大的干扰。这样就出现了从泛解析的域名中挑选出有效域名的技术。

2、中国发明专利申请公开文本cn109040346a披露了一种泛域名解析中有效域名的筛选方法，确定泛解析的待筛选子域名后，在对其进行筛选时，首先进行ip地址比对，若当前筛选的子域名的ip地址与已存储的其他子域名的ip地址不同，则确定该子域名为有效域名；若存在与当前筛选的子域名的ip地址相同的子域名，则进一步依据访问子域名时返回的内容信息中除ip地址以外的部分进行比对，在比对结果不同时，确定为有效域名，比对结果相同时，才认为是非有效域名。

3、然而，上述专利方法在域名使用了dns区域解析或者cdn的场景下存在局限性。在域名使用了dns区域解析或者cdn的场景下，由于dns节点ip数量庞大，而每次获取到的解析结果只会有其中几条，重复获取数次（一般3-5次）仍然可能存在获取cdn节点ip不全的情况，导致ip地址对比精确度下降，进而造成有效域名筛选不准确。

4、此外，上述专利方法在进行内容信息比对时，需要进行网站相似度判断，其采用了http响应状态码、服务器特征信息、页面特征提取等方法，但是当域名站点返回非html格式的响应页面时，非html页面（以json格式、xml格式为主）无法有效提取到页面的标签内容，因此难以进行相似度判断，这降低了检测的准确性。

5、因此，需要提供一种cdn场景下有效域名的筛选方法，能够更加准确、高效的筛选出有效域名。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足，本发明提供了一种cdn场景下有效域名的筛选方法、装置、电子设备和介质，以全部或部分的解决上述技术问题。本发明通过使用dnsecs技术扩展，在使用支持该扩展的dns服务器进行域名解析时，可以保证获取到的ip地址属于某个特定区域，从而减少可以获取到的cdn节点ip总数，提高获取域名ip的准确性，以提高ip地址对比准确度。此外，在部分场景下还可以保证每次获取到的解析结果不会发生变化，减少获取dns解析结果的次数，降低使用成本，提高检测效率。

2、本发明的一个方面，提供了一种cdn场景下有效域名的筛选方法，包括：

3、访问待筛选子域名和该待筛选子域名的父域名的随机子域名，获取访问返回的解析成功的内容信息，所述解析成功的内容信息为利用ecs功能进行dns区域解析后得到的解析数据；

4、若所述解析成功的内容信息包含cname记录值，则将随机子域名的cname记录值和待筛选子域名的cname记录值进行对比，若相同则将所述待筛选子域名确定为泛解析域名，若不同则将所述待筛选子域名确定为有效域名；

5、若所述解析成功的内容信息不包含cname记录值且包含ip地址，则查找随机子域名中是否有与待筛选子域名的ip地址相同的子域名的ip地址，否则将待筛选子域名确定为有效域名，是则将待筛选子域名确定为泛解析域名。

6、进一步的，还包括：获取访问返回的未解析成功的内容信息，直接将所述待筛选子域名确定为有效域名。

7、进一步的，所述将随机子域名和待筛选子域名的cname记录值进行对比的步骤包括：

8、对父域名与cname记录值的拼接进行哈希计算，得到第一哈希计算结果；

9、对待筛选子域名进行哈希计算，得到第二哈希计算结果；

10、比较所述第一哈希计算结果和所述第二哈希计算结果，若相同则将待筛选子域名确定为泛解析域名。

11、进一步的，当所述待筛选子域名为泛解析子域名时，获取随机子域名的http响应页面，将其与待筛选子域名的http响应页面进行内容相似度判断，包括：

12、获取http响应页面的响应头中的location字段，若两个域名网站的响应头的location字段不同，则判定所述http响应页面的内容不同；

13、当两个域名网站的响应头的location字段相同时，若http响应头中包含set-cookie字段，则对set-cookie字段中的key值进行排序，并将两个域名网站响应的set-cookie字段中的key值进行比较，若两组key值中相同的数量与两组key值的总数量的商大于等于预设阈值，则判定所述http响应页面的内容不同；

14、当两组key值中相同的数量与两组key值的总数量的商小于预设阈值时，若http响应头中包含content-type字段，则对content-type字段进行对比，若值不相同，则判定所述http响应页面的内容不同；

15、当所述content-type字段的值相同时，则对http响应页面的响应体进行比较，包括：

16、若http响应体为html格式，则解析html获取dom树，并计算dom树的编辑距离，将dom树的编辑距离作为两个http响应体的相似度，若dom树的编辑距离大于等于预设阈值，则判定所述http响应页面的内容不同，否则判定所述http响应页面的内容相同；

17、若http响应体为json格式，则比较json格式结构中每个字段的数值和类型，按照相似程度为json格式结构中的字段赋予差异化权值，将所述权值的方差作为两个json格式的http响应体的相似度，若所述相似度小于预设阈值，则判定所述http响应页面的内容不同，否则判定所述http响应页面的内容相同；

18、若http响应体为xml格式，则将xml转换为所述json格式，再按照所述json格式的http响应体的判断方法进行判断；

19、若所述待筛选子域名的http响应页面和所述随机子域名的http响应页面的比对结果相同，则将所述待筛选子域名确定为非有效域名，若比对结果不同，则将所述待筛选子域名确定为有效域名。

20、本发明的另一方面，还提供了一种cdn场景下有效域名的筛选装置，包括：

21、解析数据获取模块，用于访问待筛选子域名和该待筛选子域名的父域名的随机子域名，获取访问返回的解析成功的内容信息，所述解析成功的内容信息为利用ecs功能进行dns区域解析后得到的解析数据；

22、第一判断模块，用于若所述解析成功的内容信息包含cname记录值，则将随机子域名的cname记录值和待筛选子域名的cname记录值进行对比，若相同则将所述待筛选子域名确定为泛解析域名，若不同则将所述待筛选子域名确定为有效域名；

23、第二判断模块，用于若所述解析成功的内容信息不包含cname记录值且包含ip地址，则查找随机子域名中是否有与待筛选子域名的ip地址相同的子域名的ip地址，否则将待筛选子域名确定为有效域名，是则将待筛选子域名确定为泛解析域名。

24、进一步的，所述解析数据获取模块被进一步用于获取访问返回的未解析成功的内容信息，直接将所述待筛选子域名确定为有效域名。

25、进一步的，所述第一判断模块被进一步用于：

26、对父域名与cname记录值的拼接进行哈希计算，得到第一哈希计算结果；

27、对待筛选子域名进行哈希计算，得到第二哈希计算结果；

28、比较所述第一哈希计算结果和所述第二哈希计算结果，若相同则将待筛选子域名确定为泛解析域名。

29、进一步的，还包括：

30、第三判断模块，用于当所述待筛选子域名为泛解析子域名时，获取随机子域名的http响应页面，将其与待筛选子域名的http响应页面进行内容相似度判断，包括：

31、获取http响应页面的响应头中的location字段，若两个域名网站的响应头的location字段不同，则判定所述http响应页面的内容不同；

32、当两个域名网站的响应头的location字段相同时，若http响应头中包含set-cookie字段，则对set-cookie字段中的key值进行排序，并将两个域名网站响应的set-cookie字段中的key值进行比较，若两组key值中相同的数量与两组key值的总数量的商大于等于预设阈值，则判定所述http响应页面的内容不同；

33、当两组key值中相同的数量与两组key值的总数量的商小于预设阈值时，若http响应头中包含content-type字段，则对content-type字段进行对比，若值不相同，则判定所述http响应页面的内容不同；

34、当所述content-type字段的值相同时，则对http响应页面的响应体进行比较，包括：

35、若http响应体为html格式，则解析html获取dom树，并计算dom树的编辑距离，将dom树的编辑距离作为两个http响应体的相似度，若dom树的编辑距离大于等于预设阈值，则判定所述http响应页面的内容不同，否则判定所述http响应页面的内容相同；

36、若http响应体为json格式，则比较json格式结构中每个字段的数值和类型，按照相似程度为json格式结构中的字段赋予差异化权值，将所述权值的方差作为两个json格式的http响应体的相似度，若所述相似度小于预设阈值，则判定所述http响应页面的内容不同，否则判定所述http响应页面的内容相同；

37、若http响应体为xml格式，则将xml转换为所述json格式，再按照所述json格式的http响应体的判断方法进行判断；

38、若所述待筛选子域名的http响应页面和所述随机子域名的http响应页面的比对结果相同，则将所述待筛选子域名确定为非有效域名，若比对结果不同，则将所述待筛选子域名确定为有效域名。

39、本发明的另一方面，还提供了一种电子设备，包括：

40、一个或多个处理器；

41、一个或多个存储装置，用于存储计算机程序；

42、当所述计算机程序被所述处理器执行时，使得所述处理器实现上述一种cdn场景下有效域名的筛选方法。

43、本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述一种cdn场景下有效域名的筛选方法。

44、本发明提供的一种cdn场景下有效域名的筛选方法、装置、电子设备和介质，具备如下有益效果：

45、（1）通过使用dns ecs扩展，在使用支持该扩展的dns服务器进行域名解析时，可以保证获取到的ip地址属于某个特定区域，从而减少可以获取到的cdn节点ip总数，提高获取域名ip的准确性，以提高ip地址对比准确度；

46、（2）在部分场景下可以保证每次获取到的解析结果不会发生变化，减少获取dns解析结果的次数，降低使用成本；

47、（3）针对cdn的场景，引入cname别名记录作为泛解析域名的判断点，显著提升了cdn场景下泛解析域名的检测效率；

48、（4）在网页内容信息比对时，对于非html页面也可以有效提取页面的标签内容，提升泛解析域名的检测准确性，提高可检测范围。