用于cdn节点的访问日志处理方法及系统的制作方法
【专利摘要】本公开提供一种用于CDN节点的访问日志处理方法，包括：响应访问请求，并生成访问日志记录；上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。本公开还提供一种用于CDN节点的访问日志处理的系统。通过本公开提供的一种用于CDN节点的访问日志处理的方法及系统，使得所生成的访问日志记录无需占用本地磁盘空间，同时提高了网站的响应速度及系统的运行效率；内容分发中心只需与访问日志服务器进行通信便可分析查询有关访问日志记录信息，减少了访问CDN节点的次数，减缓了CDN节点的压力，同时也保证了内容分发的及时性。
【专利说明】
用于CDN节点的访问日志处理方法及系统
技术领域
[0001]本公开实施例涉及计算机技术领域，尤其涉及一种用于CDN节点的访问日志处理方法及系统。
【背景技术】
[0002]Q)N(Content Delivery Network，内容分发网络)是一种通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。CDN能够实时地根据网络流量和各CDN节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上，其目的是能够选择离用户相对较近的CDN节点向用户发送用户所需的内容，缓解网络拥挤的状况，提高网站的响应速度。
[0003]现有技术中技术方案中，全网的CDN节点在接收到用户的访问请求时除了响应该访问请求外，还将该访问请求以日志的形式进行记录，以用于内容分发中心根据CDN节点的日志分析出该CDN节点存储有哪些内容，需要进一步为该节点分发哪些内容(需要分发的内容为多次访问请求同一内容，但是该CDN节点没有缓存有该被访问的同一内容)等。
[0004]但是在现有技术中，全网的CDN节点接收并响应用户的访问请求，并将所述访问请求以日志的形式进行记录，由于CDN节点每秒钟接收的访问请求的数量是相当大的，因此，就要耗费大量的CDN节点的资源用以记录访问日志，对CDN节点造成计算压力；所述生成的访问日志记录存储于本地磁盘空间，不仅占用本地资源，而且对磁盘内容不断的存入和删除导致磁盘碎片的产生，进而影响系统运行效率;该传统方法需要内容分发中心不断的与所有节点进行通信以访问对应的访问日志，而内容分发中心与所有的CDN节点间的通信质量又是难以保证的，因此也不利于内容分发中心及时的在全网准确及时的进行内容的分发。
【发明内容】
[0005]为了解决现有技术中内容分发中心分析查询用户访问日志信息时需与CDN节点不断进行通信对CDN节点造成的压力问题，以及用户访问日志记录存储于本地磁盘空间占用磁盘内存所导致系统响应速度与运行效率不高的问题，本公开实施例提供一种用于CDN节点的访问日志处理方法，包括:
[0006]响应访问请求，并生成访问日志记录；
[0007]上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。
[0008]另一方面，本公开实施例提供一种用于⑶N节点的访问日志处理系统，包括:
[0009]访问日志生成单元，用于响应访问请求，并生成访问日志记录；
[0010]访问日志上传单元，用于上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。
[0011]本公开实施例通过在CDN节点与内容分发中心之间建立访问日志服务器用以存储用户的访问日志记录，使得所述访问日志记录无需占用本地磁盘空间，节约了系统资源，同时提高了网站的响应速度及系统的运行效率；内容分发中心只需与访问日志服务器进行通信便可分析查询用户访问日志记录，避免了因通信质量不佳不能及时为CDN节点分发内容的情况，保证了内容分发的准确有效性，所述方法同时减少了对CDN节点的访问次数，减缓了CDN节点的压力。
【附图说明】
[0012]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1示出的是本公开实施例的一种用于⑶N节点的访问日志处理方法的流程图；
[0014]图2示出的是图1中所示方法的一种优选实施例方法的流程图；
[0015]图3示出的是图1中所示方法的另一种优选实施例方法的流程图；
[0016]图4示出的是本公开实施例的一种用于⑶N节点的访问日志处理系统的结构示意图；
[0017]图5示出的是图3中所示系统的一种优选实施例系统的结构示意图。
[0018]图6示出的是本公开实施例提供的一种用户设备的结构示意图。
【具体实施方式】
[0019]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0020]参见图1示出的是本公开实施例的一种用于CDN节点的访问日志处理方法的流程图，其中包括:
[0021]SI 10:响应访问请求，并生成访问日志记录；
[0022]S120:上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日
V Lli' 飞己 5^ O
[0023]本公开实施例中，所述访问日志记录至少包含用户的访问信息以及网络信息，所述用户的访问信息至少包含用户的访问时间、访问内容、访问类型等信息;所述网络信息至少包含网络的IP地址、网络界面信息、网络状态(如网络错误信息)等信息。
[0024]所述实施方法中，所述访问日志服务器可以为一个网络服务器，也可以为一个虚拟服务器。
[0025]参见图2示出的是图1中所示方法的一种优选实施例方法的流程图，其中包括:
[0026]SI 10:响应访问请求，并生成访问日志记录；
[0027]SI20 ’:每生成一条访问日志记录，不写入本地磁盘进行存储，直接上传至访问日志服务器。
[0028]本公开实施例中，用户每发出一次访问请求，CDN节点便响应一次所述访问请求，并将所述访问请求以日志形式进行记录。所述访问日志记录不存储于本地磁盘中，而是经由所述⑶N节点使用UDP协议直接上传至访问日志服务器中。
[0029]进一步的，所述访问日志记录经由缓存、压缩后通过⑶N节点使用UDP协议上传至所述访问日志服务器中。其中所述访问日志记录缓存于代理服务器中(比如Nginx服务器)。
[0030]需要说明的是，所述UDP协议提供的是不可靠的传输服务(不需与对方建立连接，不论对方状态如何直接发送，比如QQ、微信)，只是将访问日志记录发送出去，并不能保证它们能够到达目的地(没有重发等机制，传输速度快)，因此当使用UDP协议传输访问日志记录时，用户应用程序需解决数据包丢失、重复、排序、差错确认等问题。
[0031]参见图3示出的是图1中所示方法的另一种优选实施例方法的流程图，其中包括:
[0032]S210:响应访问请求，并生成访问日志记录；
[0033]S220:缓存所述访问日志记录，基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩；
[0034]S230:上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存。
[0035]本公开实施例中，所述访问日志记录经由缓存、压缩后通过⑶N节点使用TCP协议上传至所述访问日志服务器中，当上传完毕后，清空与所述访问日志记录相关的缓存。
[0036]—种实施方式中，所述对缓存后统计的访问日志记录进行压缩之前会定时(设定频率为3m/s)判断所述访问日志记录是否满足压缩条件，所述压缩条件包括预定缓存时间(比如I秒钟上传I次)和/或预定缓存数量(比如每接收1000条访问日志记录后上传I次)。若满足压缩条件，则对缓存后统计的访问日志记录进行压缩操作。比如，系统同时进行计时和统计访问日志记录数量操作，并以3m/s的频率进行判断是否满足压缩条件，当计时达到I秒而所统计到的访问日志记录的数量不足1000条时，为保证日志上传的有效性，⑶N节点会压缩已统计到的访问日志记录并上传所述压缩的访问日志记录；同样的，当计时未达到I秒而统计到的访问日志记录数据已达到1000条时，为避免累计文件过多导致上传失败的情况，⑶N节点会压缩所统计到的访问日志记录并上传操作。
[0037]进一步的，所述对缓存后统计的访问日志记录进行压缩可有效节省50%以上的带宽，节省存储空间，提高日志记录传输速度。
[0038]另一种实施方式中，关于步骤S230的执行，所述⑶N节点使用TCP协议上传所述访问日志记录至访问日志服务器，所述TCP协议存在反馈机制，在上传压缩后的访问日志记录至访问日志服务器后，所述CDN节点会接收访问日志服务器的反馈信息，并根据反馈信息进行相应的操作，所述实施方式包括:
[0039]上传所述压缩后的访问日志记录至访问日志服务器后，接收访问日志服务器的反馈；
[0040]当所述反馈为接收成功时，清空与上传的压缩后的访问日志记录相关的缓存；
[0041]当所述反馈为接收失败时，重新上传压缩后的访问日志记录至访问日志服务器。
[0042]进一步的，所述⑶N服务器会预先设定重新上传所述压缩后的访问日志记录的阈值(例如最多能上传5次)。当CDN服务器接收到反馈信息为接收失败时，首先会比较已经重复上传的次数与系统设定阈值的大小关系，若CDN节点已经重复发送所述压缩后的访问日记记录至所述访问日志服务器的次数小于所述系统设定的重新上传的阈值，则允许⑶N节点重新上传所述压缩后的访问日志记录至访问日志服务器;否则，则停止上传操作，并清空与所述上传失败的压缩后的访问日志记录相关的缓存。
[0043]更进一步的，对上传失败的访问日志记录进行重新发送可有效避免数据的丢失情况;同时，对重新上传次数阈值进行设定，有效避免了服务器接收用户访问信息延时过长所导致的统计信息不准确的情况。
[0044]又一种实施方式中，所述用于⑶N节点的访问日志处理方法还可以包括对所述访问日志记录进行分类处理，所述实施方法包括:
[0045]响应访问请求，并生成访问日志记录；
[0046]缓存所述访问日志记录，对缓存后的访问日志记录分类生成各类访问日志记录，基于预定缓存时间和/或预定缓存数量对缓存后分类后的各类访问日志记录进行压缩；
[0047]上传压缩后的各类访问日志记录至各类访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存。
[0048]本公开实施例中，所述分类为依据访问日志记录的业务进行分类，所述业务不限定类型，可以是直播、点播，也可以是第三方应用(如UC浏览器，QQ)等；相应地，所述用于存储各类访问日志记录的访问日志服务器类型与所述访问日志记录类型相对应，可以是直播、点播，也可以是第三方应用等。
[0049]本公开实施例中，在⑶N节点上传所述访问日志记录至访问日志服务器后，内容分发中心会与所述访问日志服务器进行通信，分析查询所述访问日志记录，并根据所述访问日志信息确定全网CDN节点需要存储哪些文件，以满足用户的访问请求，具体地实施方式包括:
[0050]读取访问日志服务器中存储的日志信息，以分析全网的⑶N节点各自已经存储有哪些内容，需要进一步的分发哪些内容；
[0051]根据所述分析结果向相应的CDN节点下发内容分发指令，以通过调度中心获取能够提供相应于该CDN节点的被访问请求的内容。
[0052]更进一步的，上述实施方式中对所述访问日志记录进行分类处理，并存储于与所述分类相对应的各自的访问日志服务器中，能够方便内容分发中心具有针对性的分析查询所述访问服务器中与所述分析查询相关的内容，及时合理地为CDN节点分发内容。
[0053]本实施例所提供的方法，在⑶N节点与内容分发中心之间建立访问日志服务器用以存储用户的访问日志记录，使得所述访问日志记录无需占用本地磁盘空间，节约了系统资源，同时提高了网站的响应速度及系统的运行效率；内容分发中心只需与访问日志服务器进行通信便可分析查询用户访问日志记录，避免了因通信质量不佳所造成的内容分发中心不能及时为CDN节点分发内容的情况，所述方法同时减少了对CDN节点的访问次数，减缓了 CDN节点的压力，保证了内容分发的及时有效性。
[0054]图4示出的是本公开实施例的一种用于⑶N节点的访问日志处理系统的结构示意图，其中包括:
[0055]访问日志生成单元，用于响应访问请求，并生成访问日志记录；
[0056]访问日志上传单元，用于上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。
[0057]—种实施系统中，所述系统中的访问日志上传单元用于，每生成一条访问日志记录，不写入本地磁盘进行存储，直接上传至访问日志服务器。
[0058]参见图5示出的是图3所示的一种优选实施例系统的结构示意图，所述系统还包括:
[0059]访问日志整理单元，用于在所述访问日志生成单元生成访问日志记录之后，缓存所述访问日志记录，基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩；
[0060]所述访问日志上传单元，用于上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存。
[0061]本公开实施系统中，所述访问日志整理单元用于，只要达到预定缓存时间和预定缓存数量其中之一时，对缓存后统计的访问日志记录进行压缩。
[0062]本公开实施系统中，所述访问日志上传单元用于:
[0063]在上传压缩后的访问日志记录至访问日志服务器后，接收访问日志服务器的反馈；
[0064]当所述反馈为接收成功时，清空与上传的压缩后的访问日志记录相关的缓存；
[0065]当所述反馈为接收失败时，重新上传压缩后的访问日志记录至访问日志服务器。
[0066]本公开实施系统中，所述访问日志上传单元还用于当所述重新上传次数超过预定阈值时，停止上传，清空与上传的压缩后的访问日志记录相关的缓存。
[0067]一种实施系统中，所述访问日志整理单元用于对缓存后的访问日志记录分类后生成各类访问日志记录，基于预定缓存时间和/或预定缓存数量对所述各类访问日志记录进行压缩；
[0068]所述访问日志上传单元用于上传压缩后的各类访问日志记录至各类访问日志服务器。
[0069]参见图6示出的是本公开实施例提供的一种用户设备的结构示意图，本公开实施例并不对用户设备的具体实现做限定。如图6所示，该用户设备可以包括:
[0070]处理器(processor)610、通信接口(Communicat1nsInterface)620、存储器(memory)630、以及通信总线640。
[0071]处理器610、通信接口 620以及存储器630通过通信总线640完成相互间的通信。
[0072]通信接口620，用于比如访问日志服务器与所述内容分发中心等的通信。
[0073]处理器610，用于执行程序631，具体可以执行上述方法实施例中的相关步骤。具体地，程序631可以包括程序代码，所述程序代码包括计算机操作指令。所述处理器610可能是一个中央处理器CPU，或者是特定集成电路ASIC(Applicat1n Specific IntegratedCircuit)，或者是被配置成实施本公开实施例的一个或多个集成电路。
[0074]存储器630，用于存放程序631。存储器630可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个访问日志记录缓存存储器。程序631具体可以用于使得所述用户设备600执行以下操作:
[0075]访问日志生成步骤，用于响应用户的访问请求，依据所述访问请求，生成访问日志记录；
[0076]访问日志上传步骤，用于上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。
[0077]程序631中个步骤的具体实现可以参见上述实施例中的相应步骤和单元中国对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
[0078]本实施例所提供的系统，在CDN节点与内容分发中心之间建立访问日志服务器用以存储用户的访问日志记录，使得所述访问日志记录无需占用本地磁盘空间，节约了系统资源，同时提高了网站的响应速度及系统的运行效率；内容分发中心只需与访问日志服务器进行通信便可分析查询用户访问日志记录，避免了因通信质量不佳所造成的内容分发中心不能及时为CDN节点分发内容的情况，所述方法同时减缓了CDN节点的压力，保证了内容分发的及时有效性。
[0079]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0080]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0081]最后应说明的是:以上实施例仅用以说明本公开的技术方案，而非对其限制;尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
【主权项】
1.一种用于⑶N节点的访问日志处理方法，包括: 响应访问请求，并生成访问日志记录； 上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。2.根据权利要求1所述的方法，其中，所述上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录包括: 每生成一条访问日志记录，不写入本地磁盘进行存储，直接上传至访问日志服务器。3.根据权利要求1所述的方法，其中，在生成访问日志记录后，包括:缓存所述访问日志记录，基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩； 上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录包括: 上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存。4.根据权利要求3所述的方法，其中，所述基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩包括: 只要达到预定缓存时间和预定缓存数量其中之一时，对缓存后统计的访问日志记录进行压缩。5.根据权利要求3所述的方法，其中，所述上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存包括: 在上传压缩后的访问日志记录至访问日志服务器后，接收访问日志服务器的反馈； 当所述反馈为接收成功时，清空与上传的压缩后的访问日志记录相关的缓存； 当所述反馈为接收失败时，重新上传压缩后的访问日志记录至访问日志服务器。6.根据权利要求5所述的方法，其中，当所述重新上传次数超过预定阈值时，停止上传，清空与上传的压缩后的访问日志记录相关的缓存。7.根据权利要求3-6中任一项所述的方法，其中，所述缓存后统计的访问日志记录为对缓存后的访问日志记录分类后生成各类访问日志记录； 所述基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩包括:基于预定缓存时间和/或预定缓存数量对缓存后分类后的各类访问日志记录进行压缩； 所述上传压缩后的访问日志记录至访问日志服务器包括:上传压缩后的各类访问日志记录至各类访问日志服务器。8.一种用于⑶N节点的访问日志处理系统，包括: 访问日志生成单元，用于响应访问请求，并生成访问日志记录； 访问日志上传单元，用于上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。9.根据权利要求8所述的系统，其中，所述访问日志上传单元用于: 每生成一条访问日志记录，不写入本地磁盘进行存储，直接上传至访问日志服务器。10.根据权利要求8所述的系统，其中，所述系统还包括: 访问日志整理单元，用于在所述访问日志生成单元生成访问日志记录之后，缓存所述访问日志记录，基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩； 所述访问日志上传单元，用于上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存。11.根据权利要求10所述的系统，其中，所述访问日志整理单元用于: 只要达到预定缓存时间和预定缓存数量其中之一时，对缓存后统计的访问日志记录进行压缩。12.根据权利要求10所述的系统，其中，所述访问日志上传单元用于: 在上传压缩后的访问日志记录至访问日志服务器后，接收访问日志服务器的反馈； 当所述反馈为接收成功时，清空与上传的压缩后的访问日志记录相关的缓存； 当所述反馈为接收失败时，重新上传压缩后的访问日志记录至访问日志服务器。13.根据权利要求12所述的系统，其中，所述访问日志上传单元用于: 当所述重新上传次数超过预定阈值时，停止上传，清空与上传的压缩后的访问日志记录相关的缓存。14.根据权利要求10-13中任一项所述的系统，其中，所述访问日志整理单元用于:对缓存后的访问日志记录分类后生成各类访问日志记录，基于预定缓存时间和/或预定缓存数量对所述各类访问日志记录进行压缩； 所述访问日志上传单元用于:上传压缩后的各类访问日志记录至各类访问日志服务器。
【文档编号】H04L29/08GK106027595SQ201610262635
【公开日】2016年10月12日
【申请日】2016年4月25日
【发明人】夏彦刚
【申请人】乐视控股（北京）有限公司, 乐视云计算有限公司