基于URL多样变化的反扫描检测方法及系统与流程

本发明涉及信息安全技术领域，特别涉及一种基于URL多样变化的反扫描检测方法及系统。

背景技术：

漏洞扫描器是通过模拟黑客攻击手段发现漏洞并进行攻击的产品。漏洞扫描也是黑客攻击的第一步。从攻击防范角度，做好反扫描工作是进行信息安全防护的首要工作。

现有的Web漏洞扫描是检测Web应用程序存在安全隐患的主要方法之一，其核心技术离不开对爬虫技术的研究。网络爬虫能力直接决定了Web应用扫描的漏洞检测能力。网络爬虫在基于网络的Web漏洞扫描器中，是重要的基础功能模块，其获取目录结构及分析HTML源码的效率，将直接影响系统的准确性和执行效率。

传统的扫描器中的爬虫程序，只是简单的在通用爬虫的基础上采用稍作改进的广度优先遍历算法，对HTML的解析则采用确定的有限自动机。而由于这样的爬虫程序并未考虑Web站点中目录结构的特点和动态交互点的分布规律，使得爬虫程序抓取了大量无用的页面，对HTML的解析也并不准确，从而降低了整个扫描器的性能。

表单爬虫程序的功能可分为三个：一个是站内新站点搜集，使用自适应窗口策略；另一个是表单搜集，采用导航链接策略；第三个：HTML解析器，采用正则表达式。表单爬虫的工作流程为：首先从目标站点的根URL开始，使用自适应窗口策略搜索新站点，将其保存。再以保存的新站点为单位，使用导航链接策略搜索每个站点中的有效URL，将其保存。最后依次取出保存的URL，利用HTML解析器提取出表单信息。

图1为现有技术中Web扫描器的工作原理图。其中，Web扫描器依赖于网络爬虫。图2为现有技术中网络爬虫的工作原理图。如图2所示，通过获得一个根节点HTML，然后依次采用不同方法，获得图3所示的结构图。

目前常用的方法：广度优先和深度优先二种方案。在搜索新站点的过程中发现下述规律：即往往沿着包含较多新站点的页面往下搜索，可以搜索到更多的新站点。因此，根据此规律设计自适应的窗口搜索策略，以使得爬虫程序在兼顾页面覆盖率的同时，提高其搜索效率，自适应窗口策略的大致思路是给爬虫程序设置门阀值。如果某些页面中包含新站点的数量小于此门阀值，则停止对其搜索，以节省搜索时间，若大于或等于此门阀值，则沿着这些页面继续搜索，如图4所示。

根据上述扫描器的原理，现有的反扫描方法包括两种：

1)扫描器指纹识别方法：采用该方法如果扫描器抹掉指纹新型，则基于特征的反扫描技术将失效。

2)扫描频率统计方法：基于扫描频率统计的反扫描方法目前被大量设备采用。通过统计服务端返回的错误页面的数量、频率，来决策是否是扫描行为。目前常用的判别方法是判别从服务器返回的404错误页面数量。但是这种方法具备一定局限性。一方面对目标系统攻击持续一段时间可以后才能发现，在此期间，目标系统可能已经被攻破；另一方面，攻击者有意构造返回数据包、延长攻击周期，躲避统计窗口，从而使得统计失效。

技术实现要素：

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于URL多样变化的反扫描检测方法及系统，可以扰乱扫描器的核心模块-爬虫模块，躲避漏洞扫描的检测机制，完全杜绝扫描问题，使得目前扫描器失效，从而尽可能保证目标系统的安全性。

为了实现上述目的，本发明的实施例提供一种基于URL多样变化的反扫描检测方法，包括如下步骤:

步骤S1，获取用户通过Web应用请求访问的原始代码，其中，所述原始代码包括：真实URL地址和访问主题；

步骤S2，当检测到用户第一次访问所述原始代码时，根据预设URL混淆算法对所述原始代码中的真实URL地址和访问主题进行修改，以使得漏洞扫描器无法获得真实URL地址，进而无法获得网页；

步骤S3，当检测到所述用户第二次或多次访问所述原始代码时，继续预设URL混淆算法对所述原始代码中的真实URL地址和访问主题进行修改，以使得漏洞扫描器无法获得真实URL地址，进而无法获得网页；

其中，在所述步骤S2和S3中，根据预设URL混淆算法每次对所述真实URL地址和访问主题的修改结果均不同。

进一步，所述用户通过Wep App向App服务器发起访问请求，通过所述App服务器中的App防御模块实施步骤S1至步骤S3的过程。

进一步，在所述用户通过Wep App向App服务器发起访问请求的过程中，采用action字段指定所述原始代码，其中，所述原始代码指定下一次加载页面的URL地址。

进一步，针对同一个访问的原始代码，根据所述预设URL混淆算法对每次访问的真实URL地址和访问主题进行修改，修改结果随机生成。

本发明还提出一种基于URL多样变化的反扫描检测系统，包括：Web App应用终端和APP服务器，其中，所述Web App应用终端与所述APP服务器进行通信，所述Web App应用终端用于接收用户的访问请求，并发送至所述APP服务器；所述App服务器用于获取所述访问请求中的原始代码，其中，所述原始代码包括：真实URL地址和访问主题，以及所述App服务器在检测到用户第一次访问所述原始代码时，根据预设URL混淆算法对所述原始代码中的真实URL地址和访问主题进行修改，并在检测到用户第二次或多次访问所述原始代码时，继续预设URL混淆算法对所述原始代码中的真实URL地址和访问主题进行修改，以使得漏洞扫描器无法获得真实URL地址，进而无法获得网页，其中，针对所述用户的每次访问，根据预设URL混淆算法每次对所述真实URL地址和访问主题的修改结果均不同。

进一步，所述Web App应用终端采用action字段指定所述原始代码，并发送至所述向App服务器，其中，所述原始代码指定下一次加载页面的URL地址。

进一步，针对同一个访问的原始代码，所述App服务器根据所述预设URL混淆算法对每次访问的真实URL地址和访问主题进行修改，修改结果随机生成。

进一步，所述Web App应用终端为手机或平板电脑，其上安装有Web App应用软件。

根据本发明实施例的基于URL多样变化的反扫描检测方法及系统，通过对请求访问的原始地址进行多次混淆修改，以使得漏洞扫描器无法获取真实的URL地址，从而无法获取正确的网页。本发明每次混淆URL地址，使的现有扫描器无法获得下一条链接，从而无法获得网页，达到躲避漏洞检测的目的。并且对URL地质进行混淆的算法可以时间戳等进行修改，每次访问的修改内容均不同，从而使得扫描器无法预测和追溯，具备高可靠性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为现有技术中Web扫描器的工作原理图；

图2为现有技术中网络爬虫的工作原理图；

图3为现有技术中网络爬虫的工作原理演化图；

图4为现有技术中自适应窗口策略的工作原理图；

图5为根据本发明实施例的基于URL多样变化的反扫描检测方法的流程图；

图6为根据本发明实施例的基于URL多样变化的反扫描检测系统的结构图；

图7为根据本发明实施例的反扫描过程中数据变化示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种基于URL多样变化的发扫描检测方法及系统，可以解决安全漏洞检测所带来的安全问题。

如图5所示，本发明实施例的基于URL多样变化的反扫描检测方法，包括如下步骤:

步骤S1，获取用户通过Web应用请求访问的原始代码。其中，原始代码包括：真实URL地址和访问主题。

在本发明的一个实施例中，用户通过Wep App向App服务器发起访问请求。例如，在用户通过Wep App向App服务器发起访问请求的过程中，采用action字段指定原始代码，其中，原始代码指定下一次加载页面的URL地址。

例如：原始代码为

<h5><li><a

href＝”http://www.cyberxingan.com/index.php？m＝content&c＝index&a＝lists&catid＝42”title＝”安全管理”>安全管理</a><li><h5>

步骤S2，当检测到用户第一次访问原始代码时，根据预设URL混淆算法对原始代码中的真实URL地址和访问主题进行修改，以使得漏洞扫描器无法获得真实URL地址，进而无法获得网页。

具体地，根据预设URL混淆算法将上述原始代码中真实URL地址和访问主题进行修改，例如修改为

<h5><li><a

href＝”http://GLPSDDFDDFDIEEEdUIOND/bacdedf.basedcded.okp.adsfas”

title＝”msdfdfed”>msdfdfed</a><li><h5>

步骤S3，当检测到用户第二次或多次访问原始代码时，继续预设URL混淆算法对原始代码中的真实URL地址和访问主题进行修改，以使得漏洞扫描器无法获得真实URL地址，进而无法获得网页。

<h5><li><a

href＝”http://889dffadsxsdaf3.sdfasfadf/3444bacdedf.basedcded.okp.adsfas”

title＝”opmould”>opmould</a><li><h5>

其中，在步骤S2和S3中，根据预设URL混淆算法每次对真实URL地址和访问主题的修改结果均不同。

在本发明的一个实施例中，针对同一个访问的原始代码，根据预设URL混淆算法对每次访问的真实URL地址和访问主题进行修改，修改结果随机生成。

通过这种方式可以使得漏洞扫描器无法获得真实URL地址，得到的都是混淆后的地址，从而不能获得一跳链接，无法获得网页。

需要说明的是，在本发明中，通过App服务器中的App防御模块实施步骤S1至步骤S3的过程。

如图6所示，本发明实施例还提出一种基于URL多样变化的反扫描检测系统，包括：Web App应用终端1和APP服务器2。其中，Web App应用终端1与APP服务器2进行通信。

具体地，参考图7，Web App应用终端1用于接收用户的访问请求，并发送至APP服务器2。

在本发明的一个实施例中，Web App应用终端1采用action字段指定原始代码，并发送至向APP服务器2，其中，原始代码指定下一次加载页面的URL地址。

在本发明的又一个实施例中，Web App应用终端1为手机或平板电脑，其上安装有Web App应用软件。

APP服务器2用于获取访问请求中的原始代码。其中，原始代码包括：真实URL地址和访问主题。

APP服务器2在检测到用户第一次访问原始代码时，根据预设URL混淆算法对原始代码中的真实URL地址和访问主题进行修改，并在检测到用户第二次或多次访问原始代码时，继续预设URL混淆算法对原始代码中的真实URL地址和访问主题进行修改，以使得漏洞扫描器无法获得真实URL地址，进而无法获得网页。

例如：原始代码为

<h5><li><a

href＝”http://www.cyberxingan.com/index.php？m＝content&c＝index&a＝lists&catid＝42”title＝”安全管理”>安全管理</a><li><h5>

用户第一次访问时，APP服务器2将代码修改为

<h5><li><a

href＝”http://GLPSDDFDDFDIEEEdUIOND/bacdedf.basedcded.okp.adsfas”

title＝”msdfdfed”>msdfdfed</a><li><h5>

用户第二次访问时，APP服务器2将代码修改为

<h5><li><a

href＝”http://889dffadsxsdaf3.sdfasfadf/3444bacdedf.basedcded.okp.adsfas”

title＝”opmould”>opmould</a><li><h5>

可以看出，针对用户的每次访问，根据预设URL混淆算法每次对真实URL地址和访问主题的修改结果均不同。其中，针对同一个访问的原始代码，App服务器根据预设URL混淆算法对每次访问的真实URL地址和访问主题进行修改，修改结果随机生成。

修改结果随机生成。通过这种方式可以使得漏洞扫描器无法获得真实URL地址，得到的都是混淆后的地址，从而不能获得一跳链接，无法获得网页。

根据本发明实施例的基于URL多样变化的反扫描检测方法及系统，通过对请求访问的原始地址进行多次混淆修改，以使得漏洞扫描器无法获取真实的URL地址，从而无法获取正确的网页。本发明每次混淆URL地址，使的现有扫描器无法获得下一条链接，从而无法获得网页，达到躲避漏洞检测的目的。并且对URL地质进行混淆的算法可以时间戳等进行修改，每次访问的修改内容均不同，从而使得扫描器无法预测和追溯，具备高可靠性。

本发明与以往的反扫描方法完全不同，摒弃了以往的处理模式，以固定域的多次变化，从而扰乱扫描器的核心模块-爬虫模块，躲避漏洞扫描的检测机制，完全杜绝扫描问题，使得目前扫描器失效，从而尽可能保证目标系统的安全性。具体地，本发明可以准确的防止当前流行的扫描器产品(IBM AppScan、WVS、HP WebInspect等产品)。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。