一种基于DNS流量的网站资产探测方法与流程

本发明属于电数字数据处理的技术领域，特别涉及一种基于dns流量的网站资产探测方法。

背景技术：

随着互联网的发展与普及，网站数量与日俱增，网络安全问题在如今的互联网时代尤为突出与重要，当网站资产遭受黑客攻击，监管人员发现其风险，但可能无法快速定位该资产信息，从而造成更为严重的损失。

越来越多的单位与个人使用网站系统来实现其业务功能。网站资产是指存在于互联网的可访问的网站系统，相对于明确定义的网络资产，网站资产只是其中关于网站系统部分的资产，其作为存在于互联网的可访问的网站系统，对网站资产库进行收录与扩充，在收录网站的基础上归属其单位信息，帮助监管人员及时定位信息，在网站资产遭受攻击或失陷后，可快速对该网站资产进行溯源定位，以减少单位或个人的损失。

然而，网站资产收录方式一般是由网络爬虫实现，而对于网络爬虫而言，存在着以下缺陷：

（1）易受网络影响，容易出现响应超时、ip受限等因素而导致的站点未收录；

（2）网站数量极大，爬虫收录速度相对较慢；

（3）单纯基于爬虫收录网站，无法归属单位或个人信息；

整体来说，存在着很大的效率问题和局限性。

技术实现要素：

本发明解决了现有技术中，网站资产收录方式一般是由网络爬虫实现而导致的一系列效率问题和局限性的缺陷的问题，提供了一种优化的基于dns流量的网站资产探测方法，以dns流量分析结合爬虫的方式进行网站资产探测收录，进而解决目前基于网络爬虫的资产探测收录方式的缺点。

本发明所采用的技术方案是，一种基于dns流量的网站资产探测方法，所述方法包括以下步骤：

步骤1：获取网站数据和icp信息；

步骤2：形成基础网站资产库；

步骤3：获取dns流量；

步骤4：基于基础网站资产库与dns流量进行关联分析，对网站资产库进行扩充。

优选地，所述步骤1中，通过合作渠道和/或网络爬虫获取网站数据和icp信息，获取的所述icp信息形成icp信息库。

优选地，所述步骤1中，网络数据包括域名网站和ip网站。

优选地，所述步骤2中，基础网站资产库包括域名网站资产库和ip网站资产库；所述域名网站资产库包括将网站数据的主域名与icp信息的备案域名关联后形成的集合数据；所述ip网站资产库包括ip网站资产数据。

优选地，所述集合数据包括网站的url、域名、ip、端口、icp信息。

优选地，所述ip网站资产数据包括url、ip、端口。

优选地，所述步骤4中，基于基础网站资产库与dns流量进行关联分析，包括：

a.取dns流量数据的域名与域名网站资产库进行关联分析，若存在关联结果且对应的dns流量的解析ip和域名网站数据的ip不一致，则形成域名网站资产数据，对网站资产库进行扩充；

b.取dns流量数据的ip与域名网站资产库的ip进行关联分析，若存在关联结果且dns流量数据的ip对应的dns域名与域名网站数据的域名不一致，则形成域名网站资产数据，对网站资产库进行扩充；

c.取dns流量数据的ip与域名网站资产库的ip进行关联分析，若同时满足存在关联结果、dns流量数据的ip对应的dns域名与域名网站数据的域名一致、dns流量数据的ip对应的端口与域名网站数据的端口不一致，则形成域名网站资产数据，对网站资产库进行扩充。

优选地，所述a中，当不存在关联结果时，收录dns流量数据的域名，并将归属单位的信息补全。

优选地，对所述b和c获得的域名网站资产数据进行ip网站可达性验证，若使用ip和端口进行http协议访问，可以正常解析，则形成ip网站资产数据，对网站资产库进行扩充。

优选地，所述dns流量以天为周期进行处理。

本发明提供了一种优化的基于dns流量的网站资产探测方法，通过获取网站数据和icp信息，形成基础网站资产库，获取dns流量后与基础网站资产库进行关联分析，对网站资产库进行扩充。

本发明基于数据处理后的dns流量，根据关联分析结果快速丰富网站资产库，增加对网站资产的信息归属，提升收录的效率，使得监管人员在网站资产遭受攻击或失陷时可以进行快速溯源定位，减少单位或个人损失。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种基于dns流量的网站资产探测方法，所述方法包括以下步骤。

步骤1：获取网站数据和icp信息。

所述步骤1中，通过合作渠道和/或网络爬虫获取网站数据和icp信息，获取的所述icp信息形成icp信息库。

所述步骤1中，网络数据包括域名网站和ip网站。

本发明中，合作渠道是指通过第三方购买等方式获得网站数据和icp信息。

本发明中，ip网站是指ip地址访问直接可达的网站。

步骤2：形成基础网站资产库。

所述步骤2中，基础网站资产库包括域名网站资产库和ip网站资产库；所述域名网站资产库包括将网站数据的主域名与icp信息的备案域名关联后形成的集合数据；所述ip网站资产库包括ip网站资产数据。

所述集合数据包括网站的url、域名、ip、端口、icp信息。

所述ip网站资产数据包括url、ip、端口。

本发明中，关联可以被视为匹配的一种；此处将网站数据的主域名与icp信息的备案域名关联后形成集合数据即为将网站数据的主域名与icp信息的备案域名进行匹配，存在匹配结果的形成集合数据。

步骤3：获取dns流量。

所述dns流量以天为周期进行处理。

本发明中，由于dns流量数据量极大且对实时性要求相对较低，故采用hdfs存储dns数据，并使用hive进行离线数据分析。

步骤4：基于基础网站资产库与dns流量进行关联分析，对网站资产库进行扩充。

所述步骤4中，基于基础网站资产库与dns流量进行关联分析，包括：

a.取dns流量数据的域名与域名网站资产库进行关联分析，若存在关联结果且对应的dns流量的解析ip和域名网站数据的ip不一致，则形成域名网站资产数据，对网站资产库进行扩充；

所述a中，当不存在关联结果时，收录dns流量数据的域名，并将归属单位的信息补全。

本发明中，关联是指匹配，关联结果即是匹配结果，当没有匹配结果，即为域名网站资产库中不存在该数据，不存在关联结果的可收录，但无法归属单位，可使用爬虫方式等进行信息补全。

b.取dns流量数据的ip与域名网站资产库的ip进行关联分析，若存在关联结果且dns流量数据的ip对应的dns域名与域名网站数据的域名不一致，则形成域名网站资产数据，对网站资产库进行扩充；

c.取dns流量数据的ip与域名网站资产库的ip进行关联分析，若同时满足存在关联结果、dns流量数据的ip对应的dns域名与域名网站数据的域名一致、dns流量数据的ip对应的端口与域名网站数据的端口不一致，则形成域名网站资产数据，对网站资产库进行扩充。

本发明中，b的关联是指同ip不同域名，c的关联是指同ip、域名但不同端口。

对所述b和c获得的域名网站资产数据进行ip网站可达性验证，若使用ip和端口进行http协议访问，可以正常解析，则形成ip网站资产数据，对网站资产库进行扩充。

本发明中，由于许多域名加端口可达的网站，使用ip加端口进行访问不一定可达，因此若要获取ip网站数据，需要对b和c的数进行ip网站可达性验证，若ip和端口组合后可达，则形成ip网站资产数据。

本发明中，关联分析在积累一定量的资产库数据后进行。

本发明通过获取网站数据和icp信息，形成基础网站资产库，获取dns流量后与基础网站资产库进行关联分析，对网站资产库进行扩充。

本发明基于数据处理后的dns流量，根据关联分析结果快速丰富网站资产库，增加对网站资产的信息归属，提升收录的效率，使得监管人员在网站资产遭受攻击或失陷时可以进行快速溯源定位，减少单位或个人损失。