基于cdn的内容管理系统的制作方法_2

文档序号:8512574阅读:来源:国知局
标区域和运营商计算客户在CDN网络中的加速范围;
[0044]任务执行服务器发送推送指令到一级内容缓存服务器的内容管理客户端上,内容管理客户端推送缓存文件;
[0045]当完成所有的一级内容缓存服务器推送后,再发送指令到二级内容缓存服务器推送文件。
[0046]如上所述,本发明的基于⑶N的内容管理系统,具有以下有益效果:
[0047](I)采用分布式Master-Work架构,部署任意多台Master服务器与Work服务器,多个Master服务器组成分布式调度中心,其中选举一台Master服务器作为中央调度服务器(NameMaster,简称NM),负责全局事务管理,可横向扩展服务器,提高系统吞吐量;
[0048](2)支持预取、推送、文件校验(覆盖率)、图片格式转换、视频转换、直播控制等内容管理请求,且通过增加Work服务器和扩展缓存服务器客户端Beacon的方式,快速添加缓存管理功能;
[0049](3)采用分布式可靠协调系统来管理集群状态,集群内部监听所有机器服务状态,当出现故障时,在Master集群中采用Bully算法选举编号最大的Master服务器接管全局事物协同,在Work集群中采用主备替换与Master智能调度方式相结合,以实现系统高可用性;
[0050](4)Master服务器接收客户请求,并根据负载均衡,调度策略与运营商分解任务并发送到不同Work服务器,从而利用Work服务器所在区域与运营商,可靠、高效地进行发送任务,解决跨运营商网络不可靠的问题;
[0051](5)采用大数据中心保存任务数据,解决日益增长的内容管理需求,且通过大数据中心能够实时统计客户实时运行状态,并对客户的内容管理需求进行挖掘与分析。
【附图说明】
[0052]图1显示为本发明的基于⑶N的内容管理系统的结构示意图;
[0053]图2显示为本发明的Master服务器的结构示意图;
[0054]图3显示为本发明的Master服务器的工作流程图;
[0055]图4显示为本发明的Work服务器的结构示意图;
[0056]图5显示为本发明的Work服务器的工作流程图;
[0057]图6显示为本发明的消息发送模块的工作流程图;
[0058]图7显示为本发明的内容管理客户端Beacon的结构示意图;
[0059]图8显示为本发明中预取操作的一个优选实施例的流程图;
[0060]图9显示为本发明中推送操作的一个优选实施例的流程图。
[0061]元件标号说明
[0062]I分布式调度中心
[0063]2大数据中心
[0064]3任务执行服务器集群
[0065]4分布式可靠协调系统
[0066]5内容缓存服务器
[0067]11系统接口模块
[0068]12任务调度模块
[0069]13策略模块
[0070]14Work负载均衡模块
[0071]15子任务分配模块
[0072]31子任务接收模块
[0073]32任务计算模块
[0074]33消息发送模块
[0075]34任务反馈模块
[0076]35缓存模块
[0077]51协议处理模块
[0078]52任务执行模块
[0079]53任务反馈模块
【具体实施方式】
[0080]以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的【具体实施方式】加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
[0081]需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
[0082]参照图1,本发明的基于⑶N的内容管理系统包括分布式调度中心1、大数据中心2、任务执行服务器集群(Work集群)3、分布式可靠协调系统4和内容缓存服务器(CacheServer)5。
[0083]分布式调度中心I包括多个分布式调度服务器(Master服务器),用于根据客户请求进行任务调度。Master服务器的主要功能是负责任务接收解析和数据存储,负责集群管理,对任务调度并管理任务生命周期。具体地,多台分布式调度服务器通过横向扩展分布,可以增加系统吞吐量并保证高可用性。同时,前端采用反向代理进行负载均衡,使客户请求均匀分布在多个分布式调度服务器上。
[0084]在分布式调度中心I中,选举一台Master服务器作为中央调度服务器(NameMaster)。NameMaster监听集群内所有Master服务器的信息。若发现任意一台Master服务器故障,NameMaster则根据负载情况,选择其他Master接管故障Master服务器的工作;若NameMaster故障,则其他Master采用bully算法进行选举,当完成选举后新NameMaster接管之前的工作。
[0085]大数据中心2用于保存海量的客户任务请求数据,进行任务数据的统计和分析。
[0086]Work集群3部署在不同区域和运营商,用于接收分布式调度服务器发送来的任务转换指令,并经过计算发送任务指令到对应区域和运营商的内容缓存服务器。
[0087]分布式可靠协调系统4用于保存内容管理系统的所有服务器的状态及属性。
[0088]内容缓存服务器5,其上部署有内容管理客户端Beacon,用于缓存客户的文件。
[0089]具体地,内容管理客户端Beacon用于执行Work服务器下发的任务,并反馈任务结果至Work服务器。在一般的CDN网络中,会存在多层缓存架构。本发明中,采用两层架构作为实例,并简称为一级缓存和二级缓存,但是不局限两层缓存架构。内容缓存服务器可根据具体需要包括多层缓存架构。
[0090]参照图2,Master服务器包括系统接口模块11、任务调度模块12、策略模块13、任务执行(Work)负载均衡模块14和子任务分配模块15。其中,任务调度模块12分别与系统接口模块11、策略模块13和Work负载均衡模块14相连,Work负载均衡模块14再与子任务分配模块15相连。
[0091]系统接口模块11用于接收和验证客户内容管理请求,并保存任务数据,同时将任务添加到任务队列中。
[0092]任务调度模块12用于根据当前客户策略与配置,获取任务队列中的任务,初始化任务并调度执行任务。
[0093]策略模块13用于根据业务配置数据和客户类型生成不同的客户策略,供任务调度模块使用。
[0094]具体地,业务配置数据包括但不限于客户区域加速范围、客户级别等;客户类型包括但不限于网页、图片、下载、点播和直播。
[0095]Work负载均衡模块14用于登记Work服务器当前的负载、CPU、内存和任务分发情况,并根据同一区域和运营商优先的原则,选择综合负载最低Work服务器执行任务分发。
[0096]具体地,Master服务器通过Zookeeper登记Work服务器当前的负载、CPU、内存和任务分发情况。其中,ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby —个开源的实现,是Hadoop和Hbase的重要组件。ZooKeeper是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。
[0097]子任务分
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1