基于共享缓存的集群渲染节点数据访问方法
【技术领域】
[0001]本发明涉及集群渲染云计算领域，具体涉及一种基于共享缓存的集群渲染节点数据访问方法。
【背景技术】
[0002]采用图形超算集群对动画、电影场景进行渲染输出已成为动画制作和电影后期的重要支撑。它不仅可实现渲染效率的大幅提升，也可有效地提高昂贵的计算服务器的资源利用效率。为了尽可能地降低单个渲染任务的渲染时间，集群渲染系统常采用一组相似的计算节点并行地渲染某个任务。这样，在渲染任务分配时，需要将同一组渲染素材数据分发至多个渲染节点，将极大地提高物理存储的并发要求，使得存储服务器存取带宽需求成倍上升，同时降低了整个集群渲染系统的可靠性。物理存储服务器在频繁磁盘读写运行中易发生故障，进而造成部分渲染节点产生持续性的渲染数据读取等待，极大地降低了渲染节点的实际利用率。
【发明内容】
[0003]针对现有集群渲染系统在存储服务设计上的不足，本发明研宄提供了一种基于共享缓存的集群渲染节点数据访问方法，实现集群渲染系统效率和成本的双优化。
[0004]为了解决上述技术问题，本发明提供了如下的技术方案:
[0005]一种基于共享缓存的集群渲染节点数据访问方法，在集群渲染系统中设置共享缓存服务器，所述共享缓存服务器采用大容量内存存储最近渲染任务的素材缓存。为渲染计算节点提供快速高效的数据访问服务。
[0006]所述共享缓存服务器设置于渲染计算节点与存储服务器之间。
[0007]所述共享缓存服务器对所述渲染计算节点提供透明服务，所述渲染计算节点仍可以直接基于数据的物理存储地址访问所需的渲染素材数据。
[0008]设置的共享缓存服务器缓存管理对象为渲染任务数据元组，渲染任务数据元组包含全局唯一键值、数据物理存储地址标识集、并行渲染该任务的渲染节点集；
[0009]当第一次分配渲染任务给某个渲染节点时，在缓存服务器中建立渲染任务数据元组，同时将渲染素材数据传递给渲染节点；
[0010]若某个渲染节点访问请求的渲染素材在缓存服务器有对应数据元组，则直接将相应数据从内存中传输给该渲染节点；
[0011]当某个渲染任务的所有并行渲染节点均已获取完所需的渲染素材数据后，删除该任务数据元组，释放相应缓存空间。
[0012]所述共享缓存服务器包括硬件服务器和软件服务器，所述硬件服务器包含一台或多台配置大容量内存及高速网络的服务器，所述软件服务器提供渲染任务数据缓存管理及分发。所述软件服务器的主要功能:从物理存储器中读取渲染任务数据并存放至缓存中；根据特定渲染任务数据请求将相应数据传递给渲染节点；将不再有使用需要的渲染任务数据清理出缓存空间。
[0013]本发明提供的基于共享缓存的集群渲染节点数据访问方法，采用在集群渲染系统中增设大容量内存的共享缓存服务器解决系统的物理存储访问效率及可靠性瓶颈，进而提升整个系统的稳定性和能效比。设置共享缓存服务器后，每个渲染任务的素材数据只需进行一次物理存储读取，这在第一个渲染节点启动渲染素材加载时发生；后续启动的同任务并行渲染节点将可更快速稳定地从缓存服务器中加载所需的素材数据，极大地提高了系统的存储效率及可靠性。所述发明方法采用渲染任务数据的动态缓存管理手段，可较好地适应集群渲染任务分发的特点，及时地清理不需要缓存的渲染任务素材数据，获得较高的缓存资源利用效率。
【附图说明】
[0014]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中:
[0015]图1是本发明方法的主结构图；
[0016]图2是本发明方法的总工作原理图；
[0017]图3是新渲染任务T初次分配给渲染节点的工作方式图；
[0018]图4是渲染任务T分配给并行渲染节点i的工作方式图；
[0019]图5是渲染任务T分配给最后一个并行渲染节点η的工作方式图。
【具体实施方式】
[0020]共享缓存服务器的总工作原理为:
[0021]渲染任务调度器将渲染任务、相应的素材物理存储地址、该任务并行渲染节点情况通知缓存服务器；
[0022]渲染任务调度器将渲染任务分配给空闲的渲染节点；
[0023]渲染节点向缓存服务器请求渲染素材数据；
[0024]若缓存服务器中无该任务的渲染素材缓存，则根据渲染素材的实际物理存储地址载入数据，并新建该任务缓存数据元组，向渲染节点返回素材数据；
[0025]若缓存服务器中有该任务的渲染素材缓存，则直接向渲染节点返回素材数据；
[0026]若某任务缓存的渲染素材已分发至所有并行执行该任务的渲染节点，则删除该缓存渲染素材，释放相应内存空间。
[0027]如图1-5所示，本发明公开一种基于共享缓存的集群渲染节点数据访问方法，在集群渲染系统中设置共享缓存服务器，所述共享缓存服务器采用大容量内存存储最近渲染任务的素材缓存。为渲染计算节点提供快速高效的数据访问服务。
[0028]所述共享缓存服务器设置于渲染计算节点与存储服务器之间。
[0029]所述共享缓存服务器对所述渲染计算节点提供透明服务，所述渲染计算节点仍可以直接基于数据的物理存储地址访问所需的渲染素材数据。
[0030]设置的共享缓存服务器缓存管理对象为渲染任务数据元组，渲染任务数据元组包含全局唯一键值、数据物理存储地址标识集、并行渲染该任务的渲染节点集；
[0031]当第一次分配渲染任务给某个渲染节点时，在缓存服务器中建立渲染任务数据元组，同时将渲染素材数据传递给渲染节点；
[0032]若某个渲染节点访问请求的渲染素材在缓存服务器有对应数据元组，则直接将相应数据从内存中传输给该渲染节点；
[0033]当某个渲染任务的所有并行渲染节点均已获取完所需的渲染素材数据后，删除该任务数据元组，释放相应缓存空间。
[0034]所述共享缓存服务器包括硬件服务器和软件服务器，所述硬件服务器包含一台或多台配置大容量内存及高速网络的服务器，所述软件服务器提供渲染任务数据缓存管理及分发。所述软件服务器的主要功能:从物理存储器中读取渲染任务数据并存放至缓存中；根据特定渲染任务数据请求将相应数据传递给渲染节点；将不再有使用需要的渲染任务数据清理出缓存空间。
[0035]下面结合附图对本发明的【具体实施方式】做进一步说明。
[0036]如图1所示，本发明方法结构为在集群渲染节点与物理存储节点间增设共享缓存服务器。缓存服务器接受渲染节点的渲染素材读取请求，并返回素材数据；缓存服务器从物理存储节点中读取渲染素材数据。
[0037]如图2所示，本发明方法的工作原理为:共享缓存服务器接受渲染任务调度器的渲染任务参数信息，为渲染节点的渲染任务素材请求快速返回数据，从实际物理存储节点中读取渲染任务素材数据，采用渲染素材缓存管理机制对渲染素材数据进行高效管理。
[0038]如图3所示，本发明方法的工作方式中，当渲染任务调度器对新渲染任务T初次分配时，通知缓存服务器该任务的并行渲染节点信息。接受渲染任务T的渲染节点I向缓存服务器请求渲染素材，渲染服务器首先从物理存储节点中载入素材数据，然后向渲染节点I返回素材数据，并新建渲染任务T素材数据的缓存。
[0039]如图4所示，本发明方法的工作方式中，当渲染任务调度器将渲染任务T分配给并行渲染节点i时，渲染节点i向缓存服务器请求渲染素材，渲染服务器直接返回素材数据。
[0040]如图5所示，本发明方法的工作方式中，当渲染任务调度器将渲染任务T分配给最后一个并行渲染节点η时，渲染节点η向缓存服务器请求渲染素材，渲染服务器直接返回素材数据。缓存服务器向渲染节点η传输完渲染任务T的素材数据后，删除渲染任务T的素材数据缓存。
[0041]综上，本发明
[0042]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于共享缓存的集群渲染节点数据访问方法，其特征在于:在集群渲染系统中设置共享缓存服务器，所述共享缓存服务器存储最近渲染任务的素材缓存。
2.根据权利要求1所述的基于共享缓存的集群渲染节点数据访问方法，其特征在于:所述共享缓存服务器设置于渲染计算节点与存储服务器之间。
3.根据权利要求2所述的基于共享缓存的集群渲染节点数据访问方法，其特征在于:所述共享缓存服务器对所述渲染计算节点提供透明服务，所述渲染计算节点仍可以直接基于数据的物理存储地址访问所需的渲染素材数据。
4.根据权利要求1或2所述的基于共享缓存的集群渲染节点数据访问方法，其特征在于:设置的共享缓存服务器缓存管理对象为渲染任务数据元组，渲染任务数据元组包含全局唯一键值、数据物理存储地址标识集、并行渲染该任务的渲染节点集； 当第一次分配渲染任务给某个渲染节点时，在缓存服务器中建立渲染任务数据元组，同时将渲染素材数据传递给渲染节点； 若某个渲染节点访问请求的渲染素材在缓存服务器有对应数据元组，则直接将相应数据从内存中传输给该渲染节点； 当某个渲染任务的所有并行渲染节点均已获取完所需的渲染素材数据后，删除该任务数据元组，释放相应缓存空间。
5.根据权利要求1所述的基于共享缓存的集群渲染节点数据访问方法，其特征在于:所述共享缓存服务器包括硬件服务器和软件服务器，所述硬件服务器包含一台或多台配置大容量内存及高速网络的服务器，所述软件服务器提供渲染任务数据缓存管理及分发。
【专利摘要】本发明提供一种基于共享缓存的集群渲染节点数据访问方法，本发明所述方法考虑在集群渲染系统中，设置由大容量内存构建的共享缓存服务器，并配合基于渲染任务数据内容的缓存管理方法，为渲染计算节点提供快速高效的数据访问服务。本发明方法可应用于集群渲染的框架构建及优化升级，获得集群渲染系统渲染效率、稳定性及能效比的提升。
【IPC分类】H04L29-08, G06T15-00
【公开号】CN104580422
【申请号】CN201410828848
【发明人】杨昕吉, 李宁东, 谢振平
【申请人】赞奇科技发展有限公司
【公开日】2015年4月29日
【申请日】2014年12月26日