专利名称：一种网络设备测试系统及其方法
技术领域：
本发明涉及网络设备测试领域，尤其涉及对网络设备进行测试的网络设备测试系 统和网络设备测试方法。
背景技术：
随着网络的应用日益广泛，在网络上的攻击事件也日益增多。诸如网络入侵防护 系统(NIPS)之类的网络安全设备的应用也日益广泛。由于各个安全厂商所提供的网络入 侵防护系统功能相差较大。目前缺乏有效且直观的评估手段和测试方案来对诸如网络入侵 防护系统(NIPS)之类的网络设备进行有效的评估，也缺乏针对这些网络设备的自动化测
试方案。现有的针对网络安全设备的测试方案通常首先通过手工选择具有一定代表性的 样本来生成样本库，再通过第三方软件利用这些样本对网络安全设备进行手工测试以获得 网络安全设备是否通过样本测试的测试结果。在测试完成之后，利用例如微软公司的EXCEL 之类的表格程序生成最终的测试报告。现有测试方案的问题在于，较多地依赖手工操作。此 外，虽然现有测试方案可以利用大量样本对网络安全设备进行测试，但是由于没有对测试 样本进行分类，所获得的结果也是零散的、独立样本的测试结果，进行测试的用户无法基于 测试结果获得针对该网络安全设备的直观认识。另外整个测试方案没有实现自动化测试， 介入了太多的手工操作，降低了测试效率。因此，需要一种可以让客户基于测试结果在短时间内清楚获悉诸如网络入侵防护 系统之类的网络安全设备的功能，以加快客户对这类设备的认知效率的网络设备测试方 案。利用该网络设备测试方案所提供的测试结果，可以快速定位被测网络安全设备的缺陷 并提供解决该缺陷的方向。此外，还需要一种自动化的测试方案以提高测试效率。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上 述问题的网络设备测试系统及方法。根据本发明的一个方面，提供了一种网络设备测试系统以便提供被测网络设备的 直观且明了的测试结果。该网络设备测试系统包括样本信息存储器，存储适于对网络设备 进行测试的一个或者多个样本以及与一个或者多个样本中的每个相关联的一个或者多个 类别的分类信息；测试器，从样本信息存储器获取一个或者多个样本，并基于一个或者多个 样本中的每个生成测试脚本来对网络设备分别进行测试以便生成与一个或者多个样本相 对应的一个或者多个测试结果；以及报告生成器，基于所述测试器所生成的、针对所述网络 设备的一个或者多个测试结果以及与所述一个或者多个样本中的每个相关联的一个或者 多个类别的分类信息，生成针对所述网络设备的测试结果报告。根据本发明的另一个方面，提供了一种适于在上述网络设备测试系统中执行的网 络设备测试方法，包括步骤获取适于对网络设备进行测试的一个或者多个样本，一个或者多个样本中的每个具有相关联的一个或者多个类别的分类信息；利用一个或者多个样本中 的每个生成测试脚本来对网络设备分别进行测试以便生成与一个或者多个样本相对应的 一个或者多个测试结果；以及基于针对网络设备的一个或者多个测试结果以及与一个或者 多个样本中的每个相关联的一个或者多个类别的分类信息，生成针对所述网络设备的测试
结果报告。可选地，这些一个或者多个类别包括下述五个类别中的多个检测引擎，威胁向 量，目标类型，攻击结果以及厂商分类。可选地，上述测试器为自动测试器，可以自动地从样本信息存储器获取一个或者 多个样本，并基于一个或者多个样本中的每个生成测试脚本来对网络设备分别进行测试以 便生成与一个或者多个样本相对应的一个或者多个测试结果根据。根据本发明的网络设备测试系统和网络设备测试方法利用多维度分类的样本库 和对网络设备进行测试和评估，从不同维度的类别体现网络设备的经过测试的功能，并在 最终的测试结果报告中，根据相应维度的类别进行分析和统计各个测试结果，以展现直观 和有效的测试结论，从而可以便于网络设备测试系统的用户更清楚获悉诸如网络入侵防护 系统之类的网络设备的功能。
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中图1示意性地示出了根据本发明一个实施例的网络设备测试系统的示意图；以及图2示意性地示出了根据本发明另一个实施例的网络设备测试方法的流程图。
具体实施例下面结合附图和具体的实施方式对本发明作进一步的描述。图1示意性地示出了 根据本发明一个实施例的网络设备测试系统100，如图1所示，网络设备测试系统100包括 样本信息存储器110，其中存储了适于对网络设备200进行测试的一个或者多个样本。根据 本发明的实施例，预先基于一个或者多个类别对这些一个和多个样本进行了分类，并且在 样本信息存储器110中，除了存储样本信息之外，还相关联地存储与相应样本相对应的样 本分类信息。可选地，样本根据多个具有相互独立维度的类别进行分类。根据本发明的一 个实施例，当被测网络设备为网络安全设备，而样本为对网络安全设备进行漏洞检测的攻 击测试时，这些类别选自下列五个类别中的多个类别(1)检测引擎，用于指示样本所针对漏洞的严重程度，这包括如果攻击成功会导 致网络安全设备崩溃且能在网络安全设备上执行任意的系统级命令的最严重漏洞攻击；如 果攻击成功导致网络安全设备上的个别服务崩溃但不是能执行任意的系统级命令的次严 重的漏洞攻击是(这个类别包括特定服务的攻击，如SQL注入)；以及如果攻击成功会导致 系统或服务级别的故障并要求管理员操作以重新启动服务或重新启动系统的一般漏洞攻 击，这些一般漏洞攻击不会导致任意的命令被执行。(2)威胁向量，指示基于样本的攻击测试中，攻击发起的对象，包括攻击者发起的攻击和目标发起的。攻击者发起的攻击，是指针对有漏洞的应用程序和/或操作系统，攻击 者远程执行命令来发起攻击；而由目标发起的攻击，是由有漏洞的目标发起的攻击，此时攻 击者有很少或没有控制权。(3)目标类型，指示测试样本所针对的目标类型，包括WEB服务、Samba服务和Ema il服务等。例如在涉及WEB服务的攻击中，包含以下WEB目标类型TOB服务器、WEB浏览 器、ActiveX控件、JavaScript脚本以及浏览器插件。(4)攻击结果，指示样本的攻击结果。攻击结果可以包括任意代码执行，即如果 攻击成功，允许在目标机器或目标进程上选择执行任意的命令；缓冲区溢出，即如果攻击成 功，可以通过不恰当地建立内存边界来改写临近内存并执行命令；代码注入，即如果攻击成 功，这可以在受攻击的应用中引入恶意代码，以改变执行过程；跨站脚本，即如果攻击成功， 则可以在在网页中插入恶意脚本以便该恶意脚本可以被其他用户访问；目录遍历即一种 针对应用程序的安全缺陷的攻击(而不是利用代码中的Bug的攻击)，如果攻击成功，允许 在用户输入中包含“遍历父目录”的字符以便让应用程序访问文件或不打算访问的可执行 文件；以及权限提升，如果攻击成功，则可以访问通常不会没有权项来访问的资源。(5)厂商分类，是指测试样本所针对漏洞来源的厂商。目前大多数漏洞都是源自一 些已知厂商的常用产品。根据厂商对样本进行分类，可以主要考察网络安全设备对各种厂 商漏洞的覆盖程度。应当注意的是，上面针对网络安全而对样本进行的分类仅仅是示意性的，本领域 技术人员可以根据需要改变或者增加其他分类。另外，当被测试设备不是网络安全设备时， 还可以根据被测试设备的属性进行其他的分类。所有这些都在本发明的保护范围之内。在样本信息存储器110中，每个样本和与之相关联的分类信息相关联地存储，这 样，网络设备测试系统100的用户可以根据这些分类信息来选择特定的样本对网络设备进 行测试。网络设备测试系统100还包括测试器120，其从样本信息存储器110中获取样本， 基于样本生成测试脚本以便对被测网络设备200进行测试。可选地，测试器120可以自动地 进行测试，即自动地从样本信息存储器100获取一个或者多个样本，逐个样本地生成相对 应的脚本以便对被测网络设备200进行测试，并且获取与这些样本相对应的测试结果。通 常，在对被测网络设备200进行全面测试期间，测试器120从样本信息存储器110中获取全 部样本并且逐个进行测试，当然，也可以根据样本的分类信息来选择特定的样本以进行测 试ο报告生成器140可以获取测试器的各个测试结果，同时从样本信息存储器110中 获取与每个测试结果所采用的样本相对应的分类信息，并基于这些测试结果和分类信息来 生成针对被测网络设备的测试结果报告。报告生成器140通过根据分类类别对测试结果进 行分类，以向网络设备测试系统的用户提供更为直观的测试结果报告。例如，在网络设备为 网络安全设备的情况下，如果使用了 100个样本对被测网络设备进行了测试，并且根据目 标类型对测试结果进行了分类。这100个样本包括属于WEB服务器的样本25个、属于TOB 浏览器的样本10个、属于ActiveX的样本15个、属于Javascript脚本的样本20个、属于 浏览器插件的样本10个以及其他类型样本20个。例如共有40个样本攻击成功，其中属于 WEB服务器的样本有1个，占该类总样本数的4%，属于TOB浏览器的样本有2个，占该类总样本数的20%，属于ActiveX的样本有10个，占该类总样本数的66. 7%，属于Javascript 脚本的样本有16个，占该类总样本数的80%，以及属于浏览器插件的样本有1个，占该类总 样本数的10%。这可以根据分类结果，直观地发现被测网络安全设备对于javascript脚本 和Active样本的攻击的防御能力较差。可选地，网络设备测试系统100还包括测试结果存储器130，其中存储测试器120 的各个测试结果。而报告生成器140在测试器120针对某个网络设备的测试完成之后，从 测试结果存储器130中获取所有针对该网络设备的测试结果，并且从样本信息存储器110 中获取与每个测试结果所采用的样本相关联的分类信息来生成测试结果报告。根据本发明的网络设备测试系统100对样本进行分类，并且基于样本类别在测试 结果报告中呈现测试结果，使得测试结果报告更有效和更直观，这既易于网络安全设备用 户掌握设备的检测能力，也易于专业人员定位该网络安全设备的缺陷。此外，自动化的测试 方案，提高了开发人员的测试效率，在提供样本分类信息的基础上，测试全程不需要手工的 介入。基于上述的优点，可以提高对网络安全设备所存在问题的定位准确度和效率。图2示意性地示出了根据本发明另一个实施例的网络设备测试方法的流程图。该 网络设备测试方法适于在根据本发明的网络设备测试系统100中执行。如图2所示，该方 法始于步骤S210，其中获取样本信息，例如从样本信息存储器110中获取某个样本信息。在 步骤S220中，例如由测试器120根据所获取的样本信息生成测试脚本，并且利用该测试脚 本对被测网络设备进行测试。可选地，在步骤S230中，存储对测试器120进行测试的测试 结果，该测试结果可以进行暂时存储，或者存储到测试结果存储器130中。在完成针对一个 样本的测试之后，在步骤S240中判断是否还要利用其它样本对被测网络设备进行测试，如 果是，则重新返回到步骤S210以获取新的样本来进行测试。相反，如果没有要进行测试的其他样本，则在步骤S250中，读取暂时缓存的全部 针对网络设备的测试结果或者从测试结果存储器中读取全部针对该网络设备的测试结果。 并且在步骤S260中，获取与每个测试结果所采用的样本相关联的分类信息。如上所述，样 本预先基于一个或者多个类别进行了分类，并且在样本信息存储器110中，除了存储样本 信息之外，还相关联地存储与相应样本相对应的样本分类信息。随后，在步骤S 270中，利 用步骤S250所读取的测试结果以及在步骤S260所获取的分类信息来生成测试结果报告。 可选地，通过根据这些分类信息来对测试结果进行分类来生成测试结果报告。应当注意的是，上述进行测试的方法可以自动地进行，以便提高测试效率。根据本发明的网络设备方法基于样本类别在测试结果报告中呈现测试结果，使得 测试结果报告更有效和更直观，这既易于网络安全设备用户掌握设备的检测性能，也易于 专业人员定位该网络安全设备的缺陷。应当注意的是，在本发明的网络设备测试系统的各个部件中，根据其要实现的功 能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进 行重新划分或者组合，例如，可以将一些部件组合为单个部件，或者可以将一些部件进一步 分解为更多的子部件。 本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行 的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用 微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网络设备测试系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方 法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样 的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形 式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形 式提供。 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领 域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中， 不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在 未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这 样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来 实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件 项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为 名称。
权利要求
1.一种网络设备测试系统，包括样本信息存储器，存储适于对网络设备进行测试的一个或者多个样本以及与所述一个 或者多个样本中的每个相关联的一个或者多个类别的分类信息；测试器，从所述样本信息存储器获取一个或者多个样本，并基于所述一个或者多个样 本中的每个生成测试脚本来对网络设备分别进行测试以便生成与所述一个或者多个样本 相对应的一个或者多个测试结果；以及报告生成器，基于所述测试器所生成的、针对所述网络设备的一个或者多个测试结果 以及与所述一个或者多个样本中的每个相关联的一个或者多个类别的分类信息，生成针对 所述网络设备的测试结果报告。
2.如权利要求1所述的网络设备测试系统，还包括测试结果存储器，存储所述测试器所生成的、针对所述网络设备的一个或者多个测试结果，其中所述报告生成器从所述测试结果存储器中获取与所述网络设备相关的一个或者 多个测试结果。
3.如权利要求1或者2所述的网络设备测试系统，其中所述一个或者多个类别的分类 信息包括多个具有相互独立维度的类别的分类信息。
4.如权利要求3所述的网络设备测试系统，其中所述多个具有相互独立维度的类别包 括下述五个类别中的多个检测引擎，威胁向量，目标类型，攻击结果以及厂商分类。
5.如权利要求1-4中任一个所述的网络设备测试系统，其中在所述报告生成器所生成 的测试结果报告中，根据所述一个或者多个类别对所述一个或者多个测试结果进行分类。
6.一种网络设备测试方法，包括步骤获取适于对网络设备进行测试的一个或者多个样本，所述一个或者多个样本中的每个 具有相关联的一个或者多个类别的分类信息；利用所述一个或者多个样本中的每个生成测试脚本来对所述网络设备分别进行测试 以便生成与所述一个或者多个样本相对应的一个或者多个测试结果；以及基于所述针对所述网络设备的一个或者多个测试结果以及与所述一个或者多个样本 中的每个相关联的一个或者多个类别的分类信息，生成针对所述网络设备的测试结果报生1=1 ο
7.如权利要求6所述的网络设备测试方法，还包括步骤存储所生成的、针对所述网络设备的一个或者多个测试结果，以及其中在所述生成针 对所述网络设备的测试结果报告的步骤中，利用所存储的针对所述网络设备的一个或者多 个测试结果。
8.如权利要求6或者7所述的网络设备测试方法，其中所述一个或者多个类别的分类 信息包括多个具有相互独立维度的类别的分类信息。
9.如权利要求8所述的网络设备测试方法，其中所述多个具有相互独立维度的类别包 括下述五个类别中的多个检测引擎，威胁向量，目标类型，攻击结果以及厂商分类。
10.如权利要求6-9中任一个所述的网络设备测试方法，其中在所述生成针对所述网 络设备的测试结果报告的步骤中，根据所述一个或者多个类别对所述一个或者多个测试结 果进行分类。
全文摘要
本发明公开了一种网络设备测试系统，包括样本信息存储器，存储一个或者多个样本以及与一个或者多个样本相关联的一个或者多个类别的分类信息；测试器，从样本信息存储器获取一个或者多个样本，并基于一个或者多个样本生成测试脚本来对网络设备分别进行测试以便生成相对应的一个或者多个测试结果；以及报告生成器，基于一个或者多个测试结果以及一个或者多个类别的分类信息，生成针对网络设备的测试结果报告。本发明还公开了相应的网络设备测试方法。
文档编号H04L12/26GK102075377SQ20101057244
公开日2011年5月25日 申请日期2010年11月30日 优先权日2010年11月30日
发明者计东 申请人:北京神州绿盟信息安全科技股份有限公司