基于http的全业务cdn系统及其工作方法
【专利摘要】本发明公开了一种基于HTTP的全业务CDN系统及其工作方法，解决了传统CDN支撑业务单一、调度策略单一以及难以支撑海量数字媒体业务需求的问题，开发了基于HTTP的全业务CDN系统。系统主要由流媒体处理模块、中心节点、边缘加速缓存节点、智能DNS模块组成。流媒体处理模块能将各种类型的媒体流进行处理，统一为能够基于HTTP在CDN上进行分发的流媒体切片文件。中心节点支持CDN系统的主动分发和被动按需下拉。边缘加速缓存节点独有的基于P2P的缓存功能提高了服务器集群的存储效率和命中率。智能DNS模块基于节点负载状态和链路状态进行全局调度，以达到降低用户访问CDN节点的延迟、降低骨干网络数据流量，保证CDN网络高可用高稳定性的目的。
【专利说明】基于HTTP的全业务CDN系统及其工作方法
[0001]
【技术领域】
[0002]本发明涉及计算机网络应用技术，具体是一种基于HTTP的全业务⑶N系统及其工作方法。
【背景技术】
[0003]Q)N的全称是Content Delivery Network,即内容分发网络。其目的是通过在现有的Internet中增加一层智能虚拟网络，将网站的内容发布到最接近用户的网络〃边缘"，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提闻用户访问网站的响应速度，使得原本无序、低效、不可靠的宽带I P网络转变成高效、可靠的智能网络，从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等造成的问题，解决用户访问网站的响应速度慢的根本措施。
[0004]目前的web实现将图形、音/视频信息集合于一体，用户只需通过web浏览器就能获取想要的信息。如今基于HTTP的网络应用已经占网络流量的百分之八十以上，所以基于HTTP的CDN (Content Delivery Network,内容分发网络)加速服务是解决网络优化、内容高效分发最主要的业务。
[0005]然而，传统⑶N解决方案还存在以下一些缺陷:
(1)基于单一业务，技术体系封闭。一套⑶N系统只能对某项业务进行单一加速。(如:网页加速⑶N、视频加速⑶N、文件传输加速⑶N等)；
(2)调度和路由策略单一，分发效率不高。很难根据承载网状态实时动态调整策略实现优化分发。分发过程中未对传输算法进行优化，导致分发过程中的传输效率较低。
[0006](3)难以支撑海量数字媒体业务需求。现有⑶N系统没有一套很好的存储技术和媒体流处理技术来支撑视频加速。
【发明内容】
[0007]本发明所要解决的技术问题是提供一种基于HTTP的全业务⑶N系统及其工作方法，该系统解决了传统CDN支撑业务单一、调度策略单一以及难以支撑海量数字媒体业务需求的问题。
[0008]本发明所述的一种基于HTTP的全业务⑶N系统，包括流媒体处理模块、中心节点、边缘加速缓存节点、智能DNS模块，其中:
流媒体处理模块，该模块部署在CDN系统的最前端，用于接收和处理源站中各种类型的视频源，统一处理成为基于HTTP传输的流媒体，并进行切片；
中心节点:连接流媒体处理模块、源站及各边缘加速缓存节点，负责内容的存储、管理以及全网分发，并处理源站注入的内容；
边缘加速缓存节点:即缓存服务模块，按区域靠近用户部署，用于缓存从中心节点分发下来的内容或者自己主动到源站下拉的内容，并向用户提供服务；边缘缓存节点记录被访问资源的热度，以便从源站下拉缓存资源，同时自行判断内容的存活期，以最近最久最少被访问为依据，删除资源，腾出缓存空间；
智能DNS模块:智能DNS进行主备部署，用户的访问请求由智能DNS解析一个距离用户最近、服务能力最佳的边缘加速缓存节点并将用户请求重定向到此边缘加速缓存节点，并最终由该边缘加速缓存节点提供服务。
[0009]上述中心节点由内容管理、内容存储、内容分发3个功能模块组成，
内容管理模块负责对内容进行增加、删除、更新以及统计内容的热度值；
内容存储模块决定内容的存放方式，提高加速平台的响应效率；
内容分发模块进行内容的主动定制分发和热点内容被动下拉。
[0010]此外，本发明还提供了基于HTTP的全业务⑶N系统的工作方法，其包括以下步骤:
1)在流媒体信息发布前，由流媒体处理模块进行编解码后形成统一的flv文件，之后对flv文件进行切片并生成多个小flv文件和m3u8索引文件；
2)中心节点从流媒体处理模块获取处理后的小flv文件和m3u8索引文件，并基于HTTP协议分发至各个边缘加速缓存节点；
3)边缘缓存节点记录被访问资源的热度，当热度值达到设定的阈值时触发资源拉取功能，直接从源站拉取可以缓存的网页元素并分发至边缘加速缓存节点，保证了节点内容的即时行和节点覆盖范围内用户访问的就近性；同时边缘缓存节点自行判断内容的存活期，以最近最久最少被访问为依据，删除资源，腾出缓存空间；
4)当有用户访问请求时，智能DNS通过判断用户IP地址所属的CDN域，选取距离用户最近的缓存节点作为最终服务节点发送给用户，以达到让用户就近获取资源的目的。
[0011]本发明的有益效果:
1、只需要一套CDN系统便可基于HTTP协议同时对流媒体、网页、文件传输进行加速。
[0012]2、位于系统前端的流媒体处理模块，能够将各种类型的媒体流进行处理，统一为能够基于HTTP在CDN上进行分发的流媒体切片文件，切片文件更利于分发，并能够支持客户端基于HTTP协议进行流式播放。
[0013]3、智能DNS模块能够基于节点负载状态和链路状态进行全局调度，以达到降低用户访问CDN节点的延迟、降低骨干网络数据流量，保证CDN网络高可用高稳定性的目的。
【专利附图】
【附图说明】
[0014]图1:基于HTTP的全业务⑶N系统构成图，
图2:流媒体处理模块工作流程图，
图3:⑶N系统分发资源图，
图4 ADN系统下拉资源图，
图5:⑶N系统主动删除资源图，
图6:CDN系统按需被动删除资源图，
图7:智能DNS工作流程图。
【具体实施方式】
[0015]本发明的⑶N系统系统主要由流媒体处理模块、中心节点、边缘加速缓存节点、智能DNS模块组成，见图1虚线框内所示。
[0016](I)流媒体处理模块
与一般的CDN系统不同，在本发明中，将传统的CDN系统进行了功能拓展，添加了流媒体处理模块，见图2。该模块部署在CDN系统的最前端，添加流媒体处理模块目的是将各种类型的媒体流进行处理，统一为能够基于HTTP在CDN上进行分发的流媒体切片文件。这样，就不用单独开发一套流媒体CDN系统，也可以兼容多种类型的媒体流。传统的CDN进行媒体文件分发时，是将一整个媒体文件一次性缓存至节点后方可提供服务，本发明在分发之前用流媒体处理模块进行编解码后形成统一的flv文件后，对其进行切片，切片文件更利于分发，并能够支持客户端基于HTTP协议进行流式播放。
[0017](2)中心节点
中心节点负责内容的存储、管理以及全网分发，并处理内容提供商(即源站)注入的内容，由内容管理、内容存储、内容分发3个功能模块组成。内容管理模块负责对内容进行增力口、删除、更新以及统计内容的热度值。内容存储模块决定内容的存放方式，提高加速平台的响应效率。内容分发模块进行内容的主动定制分发和热点内容被动下拉。
[0018]内容分发策略分为定制推送和热点拉取两种方式。定制推送由中心节点完成，可以进行及时/定时将单个/多个内容推送到全网/指定节点，见图3。
[0019]热点拉取由各边缘加速缓存节点完成，边缘加速缓存节点通过内容管理模块获取内容热度，当热度值达到设定的阈值时触发资源拉取功能，将内容直接从源站拉取，保证了节点内容的即时行和节点覆盖范围内用户访问的就近性，见图4。
[0020]内容清除策略分为主动清除和被动清除。采用主动清除功能将已分发的内容即时删除，保证网内内容存在的合理性，见图5。
[0021]由于存储空间有限，所以需要在达到设定的缓存剩余空间阈值时由缓存节点调用被动清除功能采用一定的策略自动进行内容清除，以保证新的访问热度高的资源能成功缓存至节点，见图6。
[0022](3)边缘加速缓存节点
边缘加速缓存节点用于缓存从中心节点分发下来的内容或者自己主动到源站下拉的内容，并向用户提供服务；存储节点具备海量的存储能力和高并发的访问能力，保证存储内容的高可靠性。
[0023].通过分布式文件系统技术支撑集群内部存储节点的组织，通过基于P2P对等架构消除集中点扩展性瓶颈，支撑整个内容网络的高度扩展及灵活伸缩
?采用多副本、快照及数据校验技术保证数据的高可靠性?采用元数据集群技术对海量元数据的存储进行合理划分及动态负载均衡?通过内容寻址技术对重复内容进行过滤，通过在业务层动态码流适配消除同一内容源的多份冗余
?通过消除数据冗余有效提升存储利用率
(4)智能DNS模块
传统的CDN调度系统是通过静态配置DNS解析来实现将用户请求重定向至预先认为的最佳节点，这样做的缺点在于没有考虑到该节点的动态负载状况、到达该节点的链路状况以及缓存设备的健康状况。如果事先配置好的DNS解析结果中，某台缓存设备不能正常工作，那么会有部分用户受到影响。智能DNS通过开启访问日志功能，收集用户访问的IP地址，见图7，测量系统需要将访问日志解析，取出用户访问的时间和用户IP，然后测量用户与边缘加速缓存节点的路由距离。同时，测量系统自动检测边缘加速缓存节点存活情况，并能使智能DNS根据边缘加速缓存节点存活情况决定用户域名解析请求的结果。这样可使得智能DNS能够基于节点负载状态和链路状态进行全局调度，以达到降低用户访问⑶N节点的延迟、降低骨干网络数据流量，保证⑶N网络高可用高稳定性的目的。
[0024]以本发明为视频教育网站南瑞学堂进行加速为例。在使用本发明前，南瑞学堂未进行任何的网站加速处理，如果采用目前已经成熟的CDN技术进行加速，那么需要购买两套CDN系统，一套是专门对网站上网页元素进行加速的网页CDN系统，一套是专门用于网站中的视频进行加速的流媒体CDN系统，并且需要源站对视频进行处理以适应流媒体CDN系统。为了不对源站进行任何改造，最终南瑞学堂采用了本发明的基于HTTP的全业务⑶N系统。南瑞学堂的源站位于北京，我们选取北京、上海、天津作为缓存加速节点。
[0025]首先在北京部署流媒体处理模块，接收从南瑞学堂传输到CDN的媒体流，流媒体处理模块实时的对这些传输过来的流进行编解码处理，合成统一的flv文件后，调用流媒体处理模块中的切片单元对flv文件进行切片并生成多个小flv文件和m3u8索引文件。
[0026]在北京部署中心节点，中心节点从流媒体处理模块获取处理过后的文件，并基于HTTP协议分发至各个加速缓存节点。除此之外，中心节点从源站直接获取各类可以缓存的网页元素，分发至加速缓存节点。
[0027]在北京、天津、上海部署边缘加速缓存节点，用于缓存网页元素、可下载资源以及媒体流模块处理过后的flv文件和m3u8索引文件。边缘缓存节点具备web服务器的功能，能直接向用户提供服务。边缘缓存节点记录被访问资源的热度，以便从源站下拉缓存资源。边缘缓存节点自行判断内容的存活期，以最近最久最少被访问为依据，删除资源，腾出缓存空间。
[0028]在北京和上海各部署一台智能DNS，北京智能DNS作为主DNS，对电网用户进行全局负载均衡。智能DNS选取距离用户最近的缓存节点作为最终服务节点发送给用户，以达到让用户就近获取资源的目的。上海智能DNS作为辅DNS，每隔1s向主DNS发送保活消息，实时判断主DNS的健康状况，如果主DNS宕机，辅DNS立即接管全局负载均衡工作。
[0029]本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
【权利要求】
1.一种基于HTTP的全业务⑶N系统，其特征在于包括流媒体处理模块、中心节点、边缘加速缓存节点、智能DNS模块，其中: 流媒体处理模块，该模块部署在CDN系统的最前端，用于接收和处理源站中各种类型的视频源，统一处理成为基于HTTP传输的流媒体，并进行切片； 中心节点:连接流媒体处理模块、源站及各边缘加速缓存节点，负责内容的存储、管理以及全网分发，并处理源站注入的内容； 边缘加速缓存节点:即缓存服务模块，按区域靠近用户部署，用于缓存从中心节点分发下来的内容或者自己主动到源站下拉的内容，并向用户提供服务；边缘缓存节点记录被访问资源的热度，以便从源站下拉缓存资源，同时自行判断内容的存活期，以最近最久最少被访问为依据，删除资源，腾出缓存空间； 智能DNS模块:智能DNS进行主备部署，用户的访问请求由智能DNS解析一个距离用户最近、服务能力最佳的边缘加速缓存节点并将用户请求重定向到此边缘加速缓存节点，并最终由该边缘加速缓存节点提供服务。
2.根据权利要求1所述的基于HTTP的全业务CDN系统，其特征在于，中心节点由内容管理、内容存储、内容分发3个功能模块组成， 内容管理模块负责对内容进行增加、删除、更新以及统计内容的热度值； 内容存储模块决定内容的存放方式，提高加速平台的响应效率； 内容分发模块进行内容的主动定制分发和热点内容被动下拉。
3.一种权利要求1所述基于HTTP的全业务⑶N系统的工作方法，其特征在于包括以下步骤: .O在流媒体信息发布前，由流媒体处理模块进行编解码后形成统一的flv文件，之后对flv文件进行切片并生成多个小flv文件和m3u8索引文件； . 2 )中心节点从流媒体处理模块获取处理后的小flv文件和m3u8索引文件，并基于HTTP协议分发至各个边缘加速缓存节点； .3)边缘缓存节点记录被访问资源的热度，当热度值达到设定的阈值时触发资源拉取功能，直接从源站拉取可以缓存的网页元素并分发至边缘加速缓存节点，保证了节点内容的即时行和节点覆盖范围内用户访问的就近性；同时边缘缓存节点自行判断内容的存活期，以最近最久最少被访问为依据，删除资源，腾出缓存空间； .4)当有用户访问请求时，智能DNS通过判断用户IP所属的CDN域，将用户请求重定向至最近最佳边缘缓存节点。
【文档编号】H04L29/06GK104320410SQ201410629161
【公开日】2015年1月28日 申请日期:2014年11月11日 优先权日:2014年11月11日
【发明者】黄韬, 魏亮, 汪勇, 李林青, 戴云伟, 魏静波, 盛丹, 吴雯娟 申请人:南京优速网络科技有限公司