专利名称：一种网站请求队列管理方法
技术领域：
本发明涉及网站服务器系统管理技术领域，具体地，本发明涉及一种 网站请求队列管理方法。
背景技术：
随着网络带宽的不断增加，网络业务也日益成熟。其中，电子商务作 为企业的一种低成本商业运作方式，得到了迅猛的发展。电子商务网站系
统一般包括数据库服务器、应用服务器和WEB服务器，数据库服务器存储 产品信息和用户信息，应用服务器负责电子商务网站的商务逻辑部分，WEB 服务器处理用户请求。
在所有网站的WEB服务器中都需要维护一个请求队列，不能及时处理 的用户请求会M入此请求队列中，等待服务器在有空闲资源时对其进行 相应处理。请求队列的控制一般包括两种算法队列管理算法和队列调度 算法，前者在必要时通过丟弃部^t求来管理队列长度；后者决定之后处 理哪一个请求。
目前的队列管理方法可以分为两大类被动式队列管理(Passive Queue Management, PQM)和主动式队列管理(Active Queue Management, AQM)。 PQM首先为队列设置一个最大队列长度，然后接受请求进入队列， 当请求达到队列长度的最大值时，之后如果有新请求到达，将采用尾丟弃(drop tail)、随机丢弃(random drop)或头丢弃(drop front)的方式来丢 弃部分请求。AQM主要用于路由器中的TCP拥塞控制，通过队列的平均长 度预测拥塞的来临， 一旦发现拥塞逼近，随机选择一些请求丢弃，这样可 以在队列溢出前对拥塞做出反应。可以看出，无论是PQM还是AQM，在丢 弃用户请求时，都没有考虑到被丟弃请求的重要程度。
发明内容
为克服现有技术对网站请求队列中的用户请求随机处理的缺陷，本发 明提出了一种网站请求队列管理方法。 一种网站请求队列管理方法，包括
步骤IO)、确定网站的目标页面，对网站中所有页面定义出对应的页 面模式；
步骤20)、根据统计出的各页面模式的总访问次数和页面模式之间的 跳转次数，计算每个页面模式最终跳转到目标页面的概率，分别赋予所述 每个页面模式不同的优先级；
步骤30)、在请求队列满时，根据用户请求对应的页面模式的优先级 大小，丟弃用户请求。
其中，步骤10)中，目标页面是网站中访问者完成购买或其它诸如注 册的预定操作后ii^的页面。
其中，在电子商务网站中，目标页面是用户生成订单后的订单信息确 i人页面。
其中，步骤10)进一步包括，将网站中由同一个服务器脚本和不同输 入参数生成的动态页面限定为相同页面模式。
其中，步骤20)进一步包括，对WEB服务器的日志逐行分析，将所述行中的URL字段与步骤IO)中定义的页面模式进行匹配，统计所迷页面模 式的总访问次数。
其中，步骤20)进一步包括，对WEB服务器的日志逐行分析，统计用 户从一个页面模式跳转到另 一个页面模式的次数。
其中，步骤20)进一步包括，根据所述页面模式的总访问次数和页面 模式之间的跳转次数，得出页面模式之间的跳转概率。
其中，步骤20)进一步包括，页面模式最终跳转到目标页面的概率越 大，赋予所述页面模式的优先级越高。
其中，步骤30)进一步包括，对所有新的用户请求进行页面模式匹配， 确定所述请求的页面模式，并赋予所述请求与页面模式相应的优先级。
通过应用本发明，使得在需要丟弃用户请求的时候，选择最不可能发 生目标转化的用户请求进行丟弃，从而在相同的资源情况下提高网站的目 标转化量。
图l是本发明的一个实施例中WEB服务器处理用户请求的结构图2是本发明的一个实施例的总体流程图3是本发明的一个实施例的初始化流程图4是本发明的一个实施例的WEB服务器日志文件分析的流程图5是本发明的一个实施例的统计页面访问次数的流程图6是本发明的一个实施例的统计页面之间跳转次数的流释图7是本发明的一个实施例的计算目标转化概率的流程图8是本发明的一个实施例的用户请求丟弃流程具体实施例方式
下面结合附图和具体实施例，对本发明提供的 一种网站请求队列管理 方法作进一步说明。
如图l所示，在根据本发明的一个实施例提供的网站请求队列管理方
法中，涉及两类实体客户端和WEB服务器。
其中，客户端指一种实现HTTP协议的软件实体，代替用户向WEB服务 器发出HTTP请求，并将WEB服务器的处理结果展示给用户，客户端包括 Internet Explorer, Firefox， Opera以及其它用户自己实现的或由第三 方提供的浏览器软件。
WEB服务器指网站中直接为用户提供网页服务的软件实体，WEB服务器 接收客户端的HTTP请求，并将请求的处理结果返回给客户端。在WEB服务 器中包含一个请求队列，用来緩存部分未能及时处理的客户端HTTP请求。
逻辑上，客户端和WEB服务器在IP协议层上是连通的，可以互相交换 数据信息，物理上通过各种无线或有线的方式直接连接，连接方式包括 xDSL(使用电话线方式进行数据通信的^输机制)、无线局域网(WLAN) (802. lla、 802. llb和802. llg等)、无线广域网(WWAN) (802. 16)以及 各种以太网接入方式(10Mbps、 lOOMbps、 1000Mbps以及10Gbps );另夕卜， 客户端和WEB服务器也可以通过因特网上的路由器和交换机间接相连。
如图2所示，根据本发明的实施例的一种网站请求队列管理方法主要 包括初始化过程、WEB服务器日志分析过程、页面业务交互概率计算过程 和请求丢弃过程。
在本实施例中，如图3所示，初始化过程包括以下步骤
11)、定义网站的目标页面目标页面是在网站中只有当访问者完成 购买或其它某项重要操作(例如注册、信息访问)后才能进入的页面，此操作是根据业务内容预先设定或者根据网站功能可以公知确认的，例如，
在电子商务网站中，目标页面是用户生成订单后的订单信息确认页面；
12)、定义相同页面的模式；将网站中由同一个服务器脚本和不同输 入参数生成的动态页面限定为相同页面；另外，如果ll)中定义了多个目 标页面，此时也可以定义页面模式，将多个目标页面限定为一个页面来处 理。通常，WEB服务器日志中的动态网页由脚本文件名和参数表示，如 "/search. php key=xxx，，和"/search, php key=yyy，，。但是某些网站会 通过URL重写手段，将网页URL转化成更适合用户记忆和搜索引擎收录的 形式，如"/search/xxx. html"和"/search/yyy. html"，此时，应该根 据网站的WEB服务器配置属于以上哪一种形式，定义相应的相同页面的模 式。在本实施例中，通过定义一系列正则表达式来表示不同的模式，匹配 同 一个正则表达式的页面^L为同 一个页面。
例如，对于电子商务网站， 一个典型的电子商务网站有几千甚至几十 万个页面，其中很多页面都是由同一个服务器脚本文件加不同的输入参数 生成的，它们在网站中拥有相同的重要性，将此类页面看成同一个页面， 可以大大减少之后计算的复杂度和增加准确度。
如图4所示，WEB服务器日志分析过程包括以下步骤 21)、根据日志文件中的URL字段统计各页面的总访问次数将属于 12)中定义的同一个模式的页面当成同一页面模式，进而统计各同一页面 模式的总访问次数；如图5所示，初始化一个空列表，用来存储每个页面 模式与其访问次数，从WEB服务器日志文件中读取一行，对日志行中的URL 字段进行模式匹配，所述模式根据12)中定义的模式，找到该页面所属的 模式，如果该模式已经存在于列表中，将列表中该模式的访问次数计数加 1;否则，认为是新模式，将该模式加入到列表中，计数设为l，读取下行，直到日志文件结束。
22) 、统计页面之间的跳转关系根据日志文件中的URL字段和推荐 (referrer)字段，统计用户从一个页面跳转到另一个页面的次数；如图6 所示，初始化一个空列表，用来存储从某个页面模式跳转到另一个页面模 式的次数；从日志文件中读取一行，对所读取的日志行中的URL字段和推 荐(referrer)字段进行模式表达式匹配，如果列表中已经存在从推荐页面 模式跳转到URL字段模式的记录，将该相应跳转记录的计数加1;否则， 将该记录认为是新的模式跳转，加入列表，计数设为1，读取下一行，直 到日志文件结束。
23) 、计算用户从某个页面模式离开网站的次数用21)中统计的页 面模式的总访问次数减去22 )中统计的从该页面模式跳转到其它页面模式 的次数和，即为用户从该页面模式离开网站的次数。
如图7所示，页面模式目标转化概率计算过程包括以下步骤
31) 、计算页面模式之间的跳转概率根据WEB服务器日志分析过程 统计出来的页面之间的跳转次数，计算页面之间的跳转概率；例如从页面 模式A到其他页面的总访问次数为a，从页面模式A跳转到页面模式B的 次数为b,则从页面模式A跳转到页面模式B的概率为b/a。
32) 、计算每个页面模式的目标转化概率将用户访问网站时在不同 页面之间跳转的过程看成是用户状态的变化，则用户的最终状态只有两种 到达目标页面或到达目标页面之前离开网站，然后计算出每个页面最终跳 转到目标页面的概率。例如，可以将用户状态看成一个l阶马尔可夫过程， 通过状态转移概率矩阵求取马尔可夫过程的稳定状态，可以得到各页面模 式经过多次跳转最终到达目标页面的概率，即各页面模式的目标转化概率。
33) 、根据页面模式的目标转化概率大小，赋予页面模式不同的优先级目标转化概率越大，赋予的优先级越高，在本实施例中，优先级用正 整数表示，目标转化概率最大的页面模式优先级为1，目标转化概率第二 大的页面模式优先级为2，依此类推，赋予所有页面模式不同的优先级。 优先级数值越小，表明优先级越高。
如图8所示，请求丢弃过程包括如下步骤
41) 、当收到新的用户请求Rnew时，对所述请求进行模式匹配，找到 请求所属的页面模式，赋予请求相应的优先级；
42) 、判断是否需要丟弃部分清求，在本实施例中，采用PQM方式， 当队列满时，则需要丢弃请求，找到请求队列中优先级最低的请求Rmin;
43) 、丟弃新请求或者队列中所有请求中优先级最低的请求，在本实 施例中，比较Rnew和Rmin的优先级，如果Rnew优先级更高，则丢弃Rmin, 将Rnew加入到请求队列中；否则，直接丟弃Rnew,接收下一个用户请求。
本发明针对诸如电子商务的不同业务网站，将用户请求按照最终可能 转化到目标页面的概率赋予不同优先级，这样，在需要丢弃用户请求时， 选择优先级低的请求进行丢弃，因而在相同的条件下网站能完成更多的重 要业务，增加了网站的合理的处理能力。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非对其 限制，并且在应用上可以延伸到其他的修改、变化、应用和实施例，同时 认为所有这样的修改、变化、应用、实施例都在本发明的精神和范围内。
权利要求
1、一种网站请求队列管理方法，包括步骤10)、确定网站的目标页面，对网站中所有页面定义出对应的页面模式；步骤20)、根据统计出的各页面模式的总访问次数和页面模式之间的跳转次数，计算每个页面模式最终跳转到目标页面的概率，分别赋予所述每个页面模式不同的优先级；步骤30)、在请求队列满时，根据用户请求对应的页面模式的优先级大小，丢弃用户请求。
2、 权利要求l的方法，其中，步骤10)中，目标页面是网站中访问者完成购买或者其它诸如注册的预定操作后i^A的页面。
3、 权利要求2的方法，其中，在电子商务网站中，目标页面是用户生 成订单后的订单信息确认页面。
4、 权利要求1的方法，其中，步骤10)进一步包括，将网站中由同 一个服务器脚本和不同输入参数生成的动态页面限定为相同页面模式。
5、 权利要求l的方法，其中，步骤20)进一步包括，对WEB服务器 的日志逐行分析，将所述行中的URL字段与步骤IO)中定义的页面模式进 行匹配，统计所述页面模式的总访问次数。
6、 权利要求l的方法，其中，步骤20)进一步包括，对WEB服务器 的日志逐行分析，统计用户从一个页面模式跳转到另一个页面模式的次数。
7、 权利要求1的方法，其中，步骤20)进一步包括，根据所述页面 模式的总访问次数和页面模式之间的跳转次数，得出页面模式之间的跳转 概率。
8、 权利要求1的方法，其中，步骤20)进一步包括，页面模式最终 跳转到目标页面的概率越大，赋予所述页面模式的优先M高。
9、 权利要求1的方法，其中，步稞30)进一步包括，对所有新的用 户请求进行页面模式匹配，确定所述请求的页面模式，并赋予所述请求与 页面模式相应的优先级。
全文摘要
本发明提出了一种网站请求队列管理方法，针对在缓存队列中丢弃用户请求时，没有考虑被丢弃请求重要性的缺陷，通过WEB服务器日志分析、页面业务交互概率计算和用户请求丢弃等步骤，使得在需要丢弃用户请求的时候，选择最不可能发生业务交互的用户请求进行丢弃，从而在相同的资源情况下提高网站的交易量，增加网站的业务量。
文档编号H04L12/24GK101453361SQ20071017898
公开日2009年6月10日 申请日期2007年12月7日 优先权日2007年12月7日
发明者晔 李, 汤迪斌, 王劲林 申请人:中国科学院声学研究所