专利名称：访问统一资源定位符数据库的方法及装置的制作方法
技术领域：
本发明涉及网络安全技术领域，尤其涉及一种访问统 一 资源定位符
(Uniform Resource Locator, URL)数据库的方法及装置。
背景技术：
URL是用于完整地描述因特网(Internet)上网页和其他资源的地址的一 种标识方法。Internet上的每一个网页都具有一个唯一的名称标识，通常称之 为URL地址，这种地址可以是本地f兹盘，也可以是局域网上的某一台计算才几， 更多的是Internet上的站点。简单地说，URL就是Web地址，俗称"网址"。
企业为了避免风险，常常在企业网络出口部署URL过滤网关，避免用户 访问非法网站。参见图1，为过滤URL地址的通信系统示意图，其中，过滤 网关101向URL数据库服务器102 (在具体通信系统中，URL数据库服务器 102可以是全球服务中心的服务器或是区域服务中心的服务器)发送包含URL 地址的请求报文，请求查找URL地址对应的网页信息，URL数据库服务器 102查找URL数据库，获得URL地址对应的网页信息后，向过滤网关101返 回包含网页信息的响应报文，过滤网关利用响应报文中的网页信息，查找过 滤规则，获知该URL地址对应的过滤策略，以此控制用户对网页的访问。
现有技术中，URL数据库可采用专业版本的数据库，也可以采用独立研 发的数据库，对于专业版本的数据库，其中包含的URL地址分类等信息不能 随意修改，很难满足用户的个性化需求，例如，英文网页的URL数据库，内 容很丰富，但是对于中文内容的网页地址很少进行收集和分类，如果国内的 企业采用这种URL数据库，会导致对于中文网页地址的过滤很不准确。对于 用户而言，希望将专业版URL数据库和独立编写的URL数据库融合使用， 以达到对网页进行精准过滤的目的。有鉴于此，本发明提供一种访问URL数据库的方法及装置，以解决现有 方案中无法融合专业版URL数据库和自主研发的URL数据库的问题。为此，本发明实施例采用如下技术方案一种访问URL数据库的方法，过滤URL地址的通信系统包括过滤网关 及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，包 括所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求 报文；所述URL数据库服务器按照预置的各URL数据库的访问优先级顺序， 依次访问各URL数据库，当从任一 URL数据库查找到所述URL地址对应的 网页信息时，即向所述过滤网关反馈包含所述网页信息的响应报文。上述方法还包括当从所有URL数据库均未查找到所述URL地址对应 的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。所述网页信息包括URL地址对应的网页分类信息。上述方法还包括所述过滤网关查找预置的过滤规则，获得所述网页信 息对应的过滤策略，按照所述过略策略，允许或禁止访问所述URL地址对应 的网页。一种访问URL数据库的方法，过滤URL地址的通信系统包括过滤网关 及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，包 括所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求 报文；所述URL数据库服务器对各URL数据库进行访问当仅从一个URL 数据库查找到所述URL地址对应的网页信息时，向所述过滤网关反馈包含所 述网页信息的响应报文；当从多个URL数据库均查找到所述URL地址对应 的网页信息时，按照预置的各URL数据库的选取优先级，向所述过滤网关反 馈包含所述选取优先级最高的URL数据库中的网页信息的响应报文。上述方法还包括当从所有URL数据库均未查找到所述URL地址对应 的网页信息时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。6一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过滤 网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个， 该装置包括请求接收单元，用于接收过滤网关发送的包含URL地址的请求 报文；优先级设置单元，用于设置各URL数据库访问优先级；数据库访问单 元，用于访问URL数据库，查找所述URL地址对应的网页信息；访问控制 单元，用于按照所述优先级设置单元设置的访问优先级，控制所述数据库访 问单元依次对各URL数据库进行访问，当从任一 URL数据库查找到所述URL 地址对应的网页信息时，即控制所述数据库访问单元停止访问下一个URL数 据库；响应单元，用于向所述过滤网关反馈包含所述网页信息的响应报文。上述装置还包括失败通知单元，用于当所述凄t据库访问单元对所有URL 数据库均访问失败时，向所述过滤网关反馈查找失败消息。一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过滤 网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个， 该装置包括请求接收单元，用于接收过滤网关发送的包含URL地址的请求 报文；数据库访问单元，用于访问各URL数据库，查找所述URL地址对应 的网页信息；优先级设置单元，用于设置对各URL数据库网页信息的选取优 先级；响应单元，用于向所述过滤网关反馈包含网页信息的响应才艮文；响应 控制单元当所述数据库访问单元仅从一个URL数据库查找到所述URL地 址对应的网页信息时，控制所述响应单元向所述过滤网关反馈包含该网页信 息的响应报文；当所述数据库访问单元从多个URL数据库均查找到所述URL 地址对应的网页信息时，按照所述优先级设置单元预置的各URL数据库选取URL数据库中的网页信息的响应才艮文。上述装置还包括失败通知单元，用于当所述数据库访问单元对所有URL 数据库均访问失败时，向所述过滤网关反馈查找失败消息。可见，本发明将各类URL数据库进行了融合，与仅采用单URL数据库 的现有方案相比，相当于扩充了 URL数据库内容，并按照各URL数据库访 问优先级或选取优先级对URL数据库进行访问，实现对多个URL数据库的有序控制。
图1为现有技术过滤URL地址的通信系统示意图；图2为本发明过滤URL地址的通信系统示意图；图3为本发明适配层与各URL数据库关系逻辑示意图；图4为本发明方法实施例一流程图；图5为本发明方法实施例一示意图；图6为本发明方法实施例二流程图；图7为本发明方法实施例二示意图；图8为本发明装置实施例一结构示意图；图9为本发明装置实施例二结构示意图。
具体实施方式
本发明提供的方案中，在URL数据库服务器上同时运行多个URL数据 库，例如当同时运行两个URL数据库时， 一个URL数据库是外购的专业版 URL数据库，另一个可以是企业自主研发的满足个性需求的URL数据库。参见图2,为本发明过滤URL地址的通信系统示意图，URL数据库服务 器201中包括外购URL数据库2011和自建URL数据库2012，还包括适配层 2013，过滤网关202通过适配层2013访问外购URL数据库2011或自建URL 数据库2012，并且，适配层2013负责对凄t据库的访问进行控制。需要说明的是，图2中将适配层2013设置在URL数据库服务器201中， 本领域人员容易理解，也可将适配层设置在URL数据库服务器之外，也即， 将适配层和URL数据库组分别设置在不同的设备中。图2中的两个数据库可以运行在不同的操作系统上，例如Mysql、 SQLServer、 Oracle或Sybase等。自建URL数据库2012可以自行设计URL 地址存储表的结构，URL地址更新方式、URL地址的分类信息、URL地址的 手机方法等，自建URL数据库2012只要与外购URL数据库2011保持一致的对外接口即可。需要说明的是，运行多个URL数据库的URL数据库服务 器可以是一个设备实体，也可以是物理上相互独立的多个设备实体参见图3，为图2中适配层2013与外购URL数据库2011和自建URL数 据库2012关系逻辑示意图，其中，"方块"表示外购URL数据库2011包含 的网页信息的范围，"椭圓"表示自建URL数据库2012包含的网页信息的范 围，而适配层2013所能查找到的网页信息范围是二者的集合，也即，过滤网 关202通过适配层2013可查找到外购URL数据库2011和自建URL数据库 2012中网页信息的"合集"。首先介绍本发明方法实施例一 。实施例 一 中，过滤URL地址的通信系统包括过滤网关及包含URL数据 库的URL数据库服务器，此时，实施例一流程图参见图4，包括步骤401:过滤网关向URL数据库服务器发送包含URL地址的请求报文；步骤402: URL数据库服务器按照预置的各URL数据库的访问优先级顺 序，依次访问各URL数据库；步骤403:当从任一 URL数据库查找到所述URL地址对应的网页信息时， 即向所述过滤网关反馈包含所述网页信息的响应报文；上述"网页信息"是指URL地址对应的网页相关信息，包括URL分类以及 相关描述信息等。通过上述步骤401 ~ 403，即可完成"访问"URL数据库。另外，当从所有URL数据库均未查找到所述URL地址对应的网页信息 时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。对于过滤网关，后续还执行以下步骤步骤404:过滤网关查找预置的过滤规则，获得所述网页信息对应的过滤 策略，按照所述过略策略，允许或禁止访问所述URL地址对应的网页。从上述步骤402可以理解，需要设置各URL数据库的访问优先级，在具 体设置中，可将准确率高的数据库的访问优先级设置为最高，例如，如果自建URL数据库是基于中文的URL地址的，则在中国使用时，优先访问自建 URL数据库，如果在国外使用，则优先访问外购URL数据库。用户可以自行定义各URL数据库的优先级，如果在优先级最高的URL 数据库不能查询到URL分类，可以到另外一个优先级次高的URL数据库进 行查询，当从任一个URL数据库查找到URL分类，则URL数据库服务器向 过滤网关返回响应报文，如果在所有URL数据库均未查找到，则发送查找失 败消息告知过滤网关，这里的"查找失败消息"可以是与响应报文不同的消息， 也可以是响应报文，只不过将响应报文中的"网页信息"字段设置为"空"，或者， 通过响应报文中的特殊字段告知过滤网关查找失败。参见图5，为实施例一的示意图，其中，URL数据库服务器501中包括n 个URL数据库，分别为URL数据库1 、 URL数据库2.. .URL数据库n，过滤 网关502通过URL数据库服务器501中的适配层5011访问各URL数据库， 适配层5011除了充当过滤网关502与各URL数据库的通信接口外，还负责 对访问URL数据库进行控制，包括设置各URL数据库的访问优先级，以及， 按照各访问优先级对各URL数据库进行依次访问。图5中，首先执行①过滤网关502将包含URL地址的请求报文发送给 适配层5011,请求访问URL数据库；在②中，适配层5011按照预先设置的各URL数据库的访问优先级，首 先访问优先级最高的URL数据库；假设图5中各URL数据库的访问优先级顺序为URL数据库1〉URL数 据库2>.. .>URL数据库n;也即，在②中，适配层5011首先访问URL数据库1;假设从URL数据库1未查出URL地址对应的URL分类信息，那么通过 ③，URL数据库1告知适配层5011查找失败；此时，适配层5012在@中向访问优先级次高的URL数据库2发起查询；假设在URL数据库2中成功查找到URL地址对应的URL分类信息，则 URL数据库2通过⑤向适配层5011返回查找到的URL分类信息；在⑥中，适配层5011向过滤网关502返回包含从URL数据库2查找到 的URL分类信息的响应报文。在过滤网关502侧，用户可以设定每一类ULR进行过滤规则，根据URL 地址对应的过滤策略，允许或禁止用户访问网页。本发明实施例一将各类URL数据库进行了融合，与仅采用单URL数据 库的现有方案相比，相当于扩充了 URL数据库内容，并按照各URL数据库 访问优先级对URL数据库进行访问，实现对多个URL数据库的有序控制， 并且， 一旦在任一个URL数据库获得网页信息，即停止访问其他URL数据 库，减小信令开销，实现快速向过滤网关反馈响应报文。下面介绍本发明方法实施例二。实施例二中，过滤URL地址的通信系统包括过滤网关及包含URL数据 库的URL数据库服务器，此时，实施例二流程图参见图6，包括步骤601:过滤网关向URL数据库服务器发送包含URL地址的请求报文；步骤602: URL数据库服务器对各URL数据库进行访问，并根据访问情 况为A或B,执行后续步骤A:当仅从一个URL数据库查找到所述URL地址对应的网页信息时，执 行步骤603,;B:当从多个URL数据库均查找到所述URL地址对应的网页信息时，执 行步骤604;步骤603:向所述过滤网关反馈包含所述网页信息的响应才艮文；步骤604:按照预置的各URL数据库的选取优先级，向过滤网关反馈包 含所述选取优先级最高的URL数据库中的网页信息的响应报文。上述"网页信息"是指URL地址对应的网页相关信息，包括URL分类以及 相关描述信息等。通过上述步骤601 ~ 404，即可完成"访问"URL数据库。另外，当从所有URL数据库均未查找到所述URL地址对应的网页信息 时，所述URL数据库服务器向所述过滤网关反馈查找失败消息。对于过滤网关，后续还执行以下步骤步骤605:过滤网关查找预置的过滤规则，获得所述网页信息对应的过滤 策略，按照所述过略策略，允许或禁止访问所述URL地址对应的网页。可见，在实施例二中，如果针对同一个URL地址从多个URL数据库获 得多个不同的URL分类，则按照这多个URL数据库的选取优先级，采用选 取优先级最高的URL数据库中的URL分类。例如如果自建URL数据库是基于中文的URL地址，并且在中国使用 URL过滤数据库，可将自建URL数据库的选取优先级设置为最高，如果从两 个数据库中查询同一个URL地址，得到不同的分类，以自建的URL数据库 分类为准。参见图7，为实施例二的示意图，其中，URL数据库服务器701中包括n 个URL数据库，分别为URL数据库1 、 URL数据库2.. .URL数据库n，过滤 网关702通过URL数据库服务器701中的适配层7011访问各URL数据库， 适配层7011除了充当过滤网关702与各URL数据库的通信接口外，还负责 对访问URL数据库进行控制，包括设置各URL数据库的访问优先级，以及， 按照各访问优先级对各URL数据库进行依次访问。图7中，首先执行q:过滤网关702将包含URL地址的请求报文发送给 适配层7011,请求访问URL数据库；适配层7011依次对各URL数据库进行访问，假设按照URL数据库序号 顺序访问，那么在步骤al中首先访问URL凄丈据库1;假设从URL数据库1未查出URL地址对应的URL分类信息，通过步骤 a2, URL数据库1告知适配层7011查找失败；那么在步骤bl中，适配层7011按照顺序访问下一个URL数据库2,假设在URL数据库2中成功查找到URL地址对应的URL分类信息，则URL数据库2通过步骤b2向适配层7011返回查找到的URL分类信息；适配层依次对各后续各ULR数据库进行查询。假设从URL数据库i中也查找到了 URL地址的URL分类信息。也即，适配层7011共从URL数据库2和URL数据库i中获得了 URL分 类信息；假设URL数据库i的选取优先级大于URL数据库2的选取优先级，则， 适配层7011将从URL数据库i获取的URL分类信息组装到响应报文中，将 响应报文通过步骤r发送给过滤网关702;在过滤网关702侧，用户可以设定每一类ULR进行过滤规则，根据URL 地址对应的过滤策略，允许或禁止用户访问网页。可见，在实施例二中适配层提供各URL数据库的仲裁机制，即负责设 置各URL数据库的选取优先级，并按照选取优先级确定向过滤网关返回哪个 URL数据库的查询信息。与上述方法实施一对应，本发明提供一种控制访问URL数据库的装置， 该装置可以是指URL数据库服务器，或者是位于URL数据库服务器中的功 能实体，或者是独立于所述URL数据库服务器之外的功能实体，可以通过软 件、以硬件或软硬件结合方式实现。如图8,为本发明提供的装置实施例一结构示意图，它包括请求接收单元 801、优先级设置单元802、数据库访问单元803、访问控制单元804和响应 单元805，其中请求接收单元801,用于接收过滤网关发送的包含URL地址的请求报文；优先级设置单元802,用于设置各URL数据库访问优先级；数据库访问单元803,用于访问URL数据库，查找所述URL地址对应的 网页信息；访问控制单元804，用于按照所述优先级设置单元802设置的访问优先级， 控制所述数据库访问单元803依次对各URL数据库进行访问，当从任一 URL数据库查找到所述URL地址对应的网页信息时，即控制所述数据库访问单元 803停止访问下一个URL数据库；响应单元805,用于向所述过滤网关反馈包含所述网页信息的响应报文。优选地，该装置还包括失败通知单元806 ，用于当所述数据库访问单元803对所有URL数据库 均访问失败时，向所述过滤网关反^t贵查找失败消息。与上述方法实施二对应，本发明提供一种控制访问URL数据库的装置， 该装置可以是指URL数据库服务器，或者是位于URL数据库服务器中的功 能实体，或者是独立于所述URL数据库服务器之外的功能实体，可以通过软 件、以硬件或软硬件结合方式实现。如图9,为本发明提供的装置实施例二结构示意图，它包括请求接收单元 901、数据库访问单元902、优先级设置单元903、响应单元904和响应控制 单元905，其中，请求接收单元901,用于接收过滤网关发送的包含URL地址的请求报文；数据库访问单元902，用于访问各URL数据库，查找所述URL地址对应 的网页信息；优先级设置单元903,用于设置对各URL数据库网页信息的选取优先级； 响应单元904，用于向所述过滤网关反馈包含网页信息的响应报文； 响应控制单元905:当所述数据库访问单元902仅从一个URL数据库查找到所述URL地址 对应的网页信息时，控制所述响应单元904向所述过滤网关反馈包含该网页 信息的响应报文；当所述数据库访问单元902从多个URL数据库均查找到所述URL地址 对应的网页信息时，按照所述优先级设置单元903预置的各URL数据库选取 优先级，控制所述响应单元904向所述过滤网关反馈包含所述选取优先级最 高的URL数据库中的网页信息的响应报文。优选地，上述图9所示装置还可包括失败通知单元906,用于当所述数据库访问单元902对所有URL凄史据库 均访问失败时，向所述过滤网关反^t貴查找失败消息。本发明将各类URL数据库进行了融合，与仅采用单URL数据库的现有 方案相比，相当于扩充了 URL数据库内容，并按照各URL数据库访问优先 级或选取优先级对URL数据库进行访问，实现对多个URL数据库的有序控 制。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普 通才支术人员来说，在不脱离本发明原理的前^t是下，还可以^L出若干改进和润 饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1. 一种访问统一资源定位符URL数据库的方法，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数据库至少为两个，包括所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求报文；所述URL数据库服务器按照预置的各URL数据库的访问优先级顺序，依次访问各URL数据库，当从任一URL数据库查找到所述URL地址对应的网页信息时，即向所述过滤网关反馈包含所述网页信息的响应报文。
2、 根据权利要求l所述方法，其特征在于，还包括当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所 述URL数据库服务器向所述过滤网关反馈查找失败消息。
3、 根据权利要求1或2所述方法，其特征在于，所述网页信息包括URL 地址对应的网页分类信息。
4、 根据权利要求3所述方法，其特征在于，还包括所述过滤网关查找预置的过滤规则，获得所述网页信息对应的过滤策略， 按照所述过略策略，允许或禁止访问所述URL地址对应的网页。
5 、 一种访问URL凄i:据库的方法，过滤URL地址的通信系统包括过滤网 关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数据库 至少为两个，包括所述URL数据库服务器接收所述过滤网关发送的包含URL地址的请求 报文；所述URL数据库服务器对各URL数据库进行访问当仅从一个URL数据库查找到所述URL地址对应的网页信息时，向所 述过滤网关反馈包含所述网页信息的响应报文；当从多个URL数据库均查找到所述URL地址对应的网页信息时，按照 预置的各URL数据库的选取优先级，向所述过滤网关反馈包含所述选取优先 级最高的URL数据库中的网页信息的响应报文。
6、根据权利要求5所述方法，其特征在于，还包括当从所有URL数据库均未查找到所述URL地址对应的网页信息时，所 述URL数据库服务器向所述过滤网关反馈查找失败消息。
7、 一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过 滤网关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数 据库至少为两个，该装置包括请求接收单元，用于接收过滤网关发送的包含URL地址的请求报文； 优先级设置单元，用于设置各URL数据库访问优先级； 数据库访问单元，用于访问URL数据库，查找所述URL地址对应的网 页信息；访问控制单元，用于按照所述优先级设置单元设置的访问优先级，控制 所述数据库访问单元依次对各URL数据库进行访问，当从任一 URL数据库 查找到所述URL地址对应的网页信息时，即控制所述数据库访问单元停止访 问下一个URL数据库；响应单元，用于向所述过滤网关反馈包含所述网页信息的响应^JL。
8、 根据权利要求7所述装置，其特征在于，还包括败时，向所述过滤网关反馈查找失败消息。
9、 一种控制访问URL数据库的装置，过滤URL地址的通信系统包括过 滤网关及包含URL数据库的URL数据库服务器，其特征在于，所述URL数 据库至少为两个，该装置包括请求接收单元，用于接收过滤网关发送的包含URL地址的请求才艮文； 数据库访问单元，用于访问各URL数据库，查找所述URL地址对应的 网页信息；优先级设置单元，用于设置对各URL数据库网页信息的选取优先级； 响应单元，用于向所述过滤网关反馈包含网页信息的响应报文； 响应控制单元当所述数据库访问单元仅从一个URL数据库查找到所述URL地址对应 的网页信息时，控制所述响应单元向所述过滤网关反馈包含该网页信息的响 应才艮文；当所述数据库访问单元从多个URL数据库均查找到所述URL地址对应 的网页信息时，按照所述优先级设置单元预置的各URL数据库选取优先级，库中的网页信息的响应才艮文。
10、根据权利要求9所述装置，其特征在于，还包括败时，向所述过滤网关反^t查找失败消息。
全文摘要
本发明公开了一种访问URL数据库的方法及装置，过滤URL地址的通信系统包括过滤网关及包含URL数据库的URL数据库服务器，所述URL数据库至少为两个，其中方法包括URL数据库服务器接收过滤网关向发送的包含URL地址的请求报文；所述URL数据库服务器按照预置的各URL数据库的访问优先级顺序，依次访问各URL数据库，当从任一URL数据库查找到所述URL地址对应的网页信息时，即向所述过滤网关反馈包含所述网页信息的响应报文。本发明将各类URL数据库进行了融合，与仅采用单URL数据库的现有方案相比，相当于扩充了URL数据库内容，并按照各URL数据库优先级，实现对多个URL数据库的有序控制。
文档编号G06F17/30GK101261644SQ200810094460
公开日2008年9月10日 申请日期2008年4月30日 优先权日2008年4月30日
发明者文晋阳 申请人:杭州华三通信技术有限公司