文件部署方法及装置、计算机装置及存储介质与流程

文档序号:18899832发布日期:2019-10-18 21:47阅读:176来源:国知局
文件部署方法及装置、计算机装置及存储介质与流程

本发明涉及计算机网络技术领域,具体涉及一种文件部署方法及装置、计算机装置和计算机可读存储介质。



背景技术:

目前,分布式系统中的文件部署方法是通过云服务器将部署任务下发至节点,以增加文件部署到节点上的数量,使节点的服务处于一个合理的负载范围。由于某些节点不能直连,现有的文件部署方法无法获取这些节点的设备信息,因此也就无法获得这些节点的存储信息。现有的文件部署方法只能根据获得的节点列表,尝试向节点发送部署任务,如果节点收到部署任务后会主动去相应的节点获取数据,当磁盘空间不足导致写数据失败时,会导致部署任务失败,此时部署节点只能去寻找新的节点部署。这种方式会导致部署失败率增加,部署时间加长,而且由于无法提前获取设备存储信息,无法避免后续再次向磁盘空间不足的设备部署数据。如何能够获取节点信息,使文件部署时找到存储空间足够的节点,避免节点存储空间不足导致部署失败成为亟须解决的问题。



技术实现要素:

鉴于以上内容,有必要提出一种文件部署方法及装置、计算机装置、计算机可读存储介质和计算机程序产品,其可以根据节点的存储信息将文件部署至存储空间足够的节点中,提高文件部署的效率。

本申请的第一方面提供一种文件部署方法,所述方法包括:

判断是否需要对目标文件进行再部署;

若需要对所述目标文件进行再部署,查询分布式系统中未部署有所述目标文件的第二节点;

判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;

根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;

若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

另一种可能的实现方式中,所述判断是否需要对目标文件进行再部署包括:

判断所述分布式系统中所述目标文件的数量是否小于第一预设阈值;和/或

判断所述第一节点的邻居节点中所述目标文件的数量是否小于第二预设阈值;和/或

判断向所述第一节点请求所述目标文件的请求频率是否大于预设频率。

另一种可能的实现方式中,所述查询分布式系统中未部署有所述目标文件的第二节点包括:

向所述第一节点的路由表中的节点发送对所述目标文件的文件查询请求;

将预设时间内未返回所述目标文件的文件信息的所述第一节点的路由表中的节点确定为所述分布式系统中未部署有所述目标文件的第二节点。

另一种可能的实现方式中,所述判断所述第二节点的ip地址类型包括:

在所述第一节点的路由表中查询所述第二节点的网络地址转换状态;

若所述第二节点的网络地址转换状态为外网状态,则所述第二节点具有外网ip地址;

若所述第二节点的网络地址转换状态为全锥形状态、限制锥形状态或端口限制锥形状态,则所述第二节点具有内网ip地址。

另一种可能的实现方式中,所述将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署包括:

若所述第二节点具有内网ip地址,通过打洞的方式与所述第二节点建立数据传输通道,通过所述数据传输通道将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述数据传输通道拉取所述目标文件进行部署;

若所述第二节点具有外网ip地址,通过tcp连接将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述tcp连接拉取所述目标文件进行部署。

另一种可能的实现方式中,所述方法还包括:

确定所述第一节点的网络地址转换状态;

将所述第一节点的网络地址转换状态发送至所述第一节点的路由表中的节点。

另一种可能的实现方式中,所述方法还包括:

确定所述第一节点的剩余存储量;

根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

本申请的第二方面提供一种计算机装置,所述计算机装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现所述文件部署方法。

本申请的第三方面提供一种文件部署装置,应用于分布式系统中部署有目标文件的第一节点,所述装置包括:

第一判断单元,用于判断是否需要对所述目标文件进行再部署;

查询单元,用于若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点;

获取单元,用于判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;

第二判断单元,用于根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;

部署单元,用于若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

另一种可能的实现方式中,所述判断是否需要对目标文件进行再部署包括:

判断所述分布式系统中所述目标文件的数量是否小于第一预设阈值;和/或

判断所述第一节点的邻居节点中所述目标文件的数量是否小于第二预设阈值;和/或

判断向所述第一节点请求所述目标文件的请求频率是否大于预设频率。

另一种可能的实现方式中,所述查询分布式系统中未部署有所述目标文件的第二节点包括:

向所述第一节点的路由表中的节点发送对所述目标文件的文件查询请求;

将预设时间内未返回所述目标文件的文件信息的所述第一节点的路由表中的节点确定为所述分布式系统中未部署有所述目标文件的第二节点。

另一种可能的实现方式中,所述判断所述第二节点的ip地址类型包括:

在所述第一节点的路由表中查询所述第二节点的网络地址转换状态;

若所述第二节点的网络地址转换状态为外网状态,则所述第二节点具有外网ip地址;

若所述第二节点的网络地址转换状态为全锥形状态、限制锥形状态或端口限制锥形状态,则所述第二节点具有内网ip地址。

另一种可能的实现方式中,所述将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署包括:

若所述第二节点具有内网ip地址,通过打洞的方式与所述第二节点建立数据传输通道,通过所述数据传输通道将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述数据传输通道拉取所述目标文件进行部署;

若所述第二节点具有外网ip地址,通过tcp连接将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述tcp连接拉取所述目标文件进行部署。

另一种可能的实现方式中,所述文件部署装置还包括确定单元,用于确定所述第一节点的网络地址转换状态,将所述第一节点的网络地址转换状态发送至所述第一节点的路由表中的节点。

另一种可能的实现方式中,所述文件部署装置还包括更新单元,用于确定所述第一节点的剩余存储量,根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

本申请的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述文件部署方法。

本申请的第五方面提供一种计算机程序产品,包括计算机指令,当其在计算机装置上运行时,使得计算机装置执行所述文件部署方法。

本发明判断是否需要对目标文件进行再部署;若需要对所述目标文件进行再部署,查询分布式系统中未部署有所述目标文件的第二节点;若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。本发明可以获取节点的存储信息,根据节点的存储信息将文件部署至存储空间足够的节点中,提高文件部署的效率。

附图说明

图1是本发明实施例提供的文件部署方法较佳实施例的流程图。

图2是本发明实施例提供的文件部署装置较佳实施例的流程图。

图3是本发明实施例提供的计算机装置较佳实施例的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。

优选地,本发明的文件部署方法应用在一个或者多个计算机装置中。所述计算机装置是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit,asic)、可编程门阵列(field-programmablegatearray,fpga)、数字处理器(digitalsignalprocessor,dsp)、嵌入式设备等。

所述计算机装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机装置可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述计算机装置可以是组成cdn(contentdeliverynetwork,内容分发网络)网络或者区块链网络的节点。

实施例一

图1是本发明实施例提供的文件部署方法的流程图。所述文件部署方法应用于分布式系统的第一节点中,所述第一节点中部署有目标文件。

参阅1所示,所述文件部署方法具体包括以下步骤:

s101,判断是否需要对所述目标文件进行再部署。

可以重复判断是否需要对所述目标文件进行再部署。例如,按照预设时间间隔判断是否需要对所述目标文件进行再部署。

若不需要对所述目标文件进行再部署,可以结束流程。

分布式系统中可能由于各种原因(例如部分节点下线)需要对目标文件进行再次部署,本发明判断是否满足预定条件,在满足预定条件时对目标文件进行再部署。

本实施例中,判断是否需要对所述目标文件进行再部署包括:

判断所述分布式系统中所述目标文件的数量是否小于第一预设阈值;和/或

判断所述第一节点的邻居节点中所述目标文件的数量是否小于第二预设阈值;和/或

判断向所述第一节点请求所述目标文件的请求频率是否大于预设频率。

若所述分布式系统中所述目标文件的数量小于第一预设阈值,和/或所述第一节点的邻居节点中所述目标文件的数量小于第二预设阈值,和/或所述目标文件的请求频率大于预设频率,则需要对所述目标文件进行再部署。所述第一节点的邻居节点是指在预设跳数内的与所述第一节点有通信记录的节点。

例如,所述第一预设阈值为50,所述分布式系统中已部署有20个所述目标文件(例如视频文件),因此,所述分布式系统中所述目标文件的数量小于所述第一预设阈值,需要对所述目标文件进行再部署。

又如,所述第二预设阈值为10,所述第一节点的邻居节点中已部署有5个所述目标文件,因此,所述第一节点的邻居节点中所述目标文件的数量小于所述第二预设阈值,需要对所述目标文件进行再部署。

再如,所述预设频率为5次/秒,所述第一节点中所述目标文件的请求频率为10次/秒,因此,所述目标文件的请求频率大于所述预设频率,需要对所述目标文件进行再部署。

所述分布式系统中的各个节点可以属于不同的区域和不同的网络运营商,可以结合各个节点所属的区域和网络运营商判断是否需要对所述目标文件进行再部署。例如,判断是否需要对所述目标文件进行再部署包括:

判断所述第一节点所属区域和/或网络运营商的节点中所述目标文件的数量是否小于第一预设阈值;和/或

判断与所述第一节点属于相同区域和/或相同网络运营商的所述第一节点的邻居节点中所述目标文件的数量是否小于第二预设阈值;和/或

判断所述第一节点所属区域和/或网络运营商的节点中所述目标文件的请求频率是否大于预设频率。

若所述第一节点所属区域和/或网络运营商的节点中所述目标文件的数量小于第一预设阈值,和/或与所述第一节点属于相同区域和/或相同网络运营商的所述第一节点的邻居节点中所述目标文件的数量小于第二预设阈值,和/或所述第一节点所属区域和/或网络运营商的节点中所述目标文件的请求频率大于预设频率,则需要对所述目标文件进行再部署。

s102,若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点。

在一具体实施例中,所述查询所述分布式系统中未部署有所述目标文件的第二节点可以包括:

向所述第一节点的路由表中的节点发送对所述目标文件的文件查询请求;

将预设时间内未返回所述目标文件的文件信息的所述第一节点的路由表中的节点确定为所述分布式系统中未部署有所述目标文件的第二节点。

例如,根据udp(userdatagramprotocol,用户数据报协议)或tcp(transmissioncontrolprotocol,传输控制协议)向所述第一节点的路由表中的节点发送对所述目标文件的文件查询请求,将所述预设时间(例如3秒)内未返回所述目标文件的文件请求信息的所述第一节点的路由表中的节点确定为所述分布式系统中未部署有所述目标文件的第二节点。每次查询结束后,可以从所述第一节点的路由表中删除所述未部署有所述目标文件的第二节点。

s103,判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息。

所述第二节点的ip地址类型可以包括外网ip地址或内网ip地址。内网ip地址是指内部网络或主机的ip地址,外网ip地址是指在因特网上全球唯一的ip地址。对于不同ip地址类型的所述第二节点,获取所述第二节点的存储信息的方式不同。

在一具体实施例中,所述判断所述第二节点的ip地址类型可以包括:

在所述第一节点的路由表中查询所述第二节点的网络地址转换(networkaddresstranslation,nat)状态;

若所述第二节点的网络地址转换状态为外网状态,则所述第二节点具有外网ip地址;

若所述第二节点的网络地址转换状态为全锥形状态、限制锥形状态或端口限制锥形状态,则所述第二节点具有内网ip地址。

例如,所述第一节点从所述第一节点的路由表中查询到所述第二节点的网络地址转换状态为限制锥形状态,则所述第二节点具有内网ip地址。所述第二节点可以根据在加入网络时向nat探测服务器请求的所述第二节点的ip地址信息更新所述第一节点的路由表中的所述第二节点的网络地址转换状态。

若所述第二节点具有外网ip地址,则从所述第一节点的路由表中获取具有外网ip地址的第二节点的ip地址和端口,通过具有外网ip地址的第二节点的ip地址和端口向所述第二节点发起tcp连接,获得所述第二节点的密钥,根据所述密钥向所述第二节点请求所述第二节点的存储信息。

若所述第二节点具有内网ip地址,则从所述第一节点的路由表中获取所述第二节点的信令服务器的ip地址和端口,通过所述第二节点的信令服务器的ip地址和端口向所述第二节点的信令服务器发起tcp或udp连接,得到所述第二节点的信令服务器的应答后,向所述第二节点的信令服务器请求所述第二节点的存储信息。

s104,根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件。

在一具体实施例中,所述根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件可以包括:

判断所述存储信息中的剩余存储量是否小于所述目标文件的预设需求存储量;

若所述存储信息中的剩余存储量小于所述目标文件的预设需求存储量,则所述第二节点没有足够的存储空间部署所述目标文件;

若所述存储信息中的剩余存储量大于或等于所述目标文件的预设需求存储量,则所述第二节点有足够的存储空间部署所述目标文件。

s105,若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

在一具体实施例中,若所述第二节点有足够的存储空间部署所述目标文件,则可以进一步判断所述第二节点的剩余存储量与所述第二节点的总存储量的比值是否大于或等于预设比值。若所述第二节点的剩余存储量与所述第二节点的总存储量的比值大于或等于预设比值,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。否则,若所述第二节点的剩余存储量与所述第二节点的总存储量的比值小于预设比值,则不将文件部署任务发送给所述第二节点。

在另一具体实施例中,若有多个第二节点有足够的存储空间部署所述目标文件,则可以确定所述多个第二节点中剩余存储量与总存储量的比值最大的第二节点,将文件部署任务发送给确定的第二节点,使所述确定的第二节点从所述第一节点拉取所述目标文件进行部署。

对第二节点的剩余存储与第二节点的总存储量的比值进行判断,可以筛选出低负荷存储的第二节点,避免由于对高负荷存储的第二节点进行文件部署造成的部署失败,提高所述文件部署的成功率。

在一具体实施例中,若所述第二节点具有内网ip地址,通过打洞的方式与所述第二节点建立数据传输通道,通过所述数据传输通道将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述数据传输通道拉取所述目标文件进行部署。

例如,若所述第二节点具有内网ip地址,向所述第二节点的信令服务器请求向所述第二节点打洞,接收所述第二节点的信令服务器发出的所述第二节点的ip地址和端口,通过所述第二节点的ip地址和端口向所述第二节点发送udp连接请求,收到所述第二节点对udp连接请求返回的应答后,通过打洞的方式与所述第二节点建立数据传输通道完成。通过所述数据传输通道将所述目标文件的文件信息发送给所述第二节点,所述第二节点根据所述目标文件的文件信息向所述第一节点拉取所述目标文件。

若所述第二节点具有外网ip地址,通过tcp连接将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述tcp连接拉取所述目标文件进行部署。

所述第二节点成功部署所述目标文件后,根据所述目标文件的大小确定所述第二节点的剩余存储量,根据确定的所述第二节点的剩余存储量更新所述第二节点的信令服务器中所述第二节点的存储信息。

实施例一的文件部署方法判断是否需要对所述目标文件进行再部署;若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点;判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。实施例一的文件部署方法可以获取节点的存储信息,根据节点的存储信息将文件部署至存储空间足够的节点中,提高文件部署的效率。

在另一实施例中,所述文件部署方法还可以包括:

确定所述第一节点的网络地址转换状态;

将所述第一节点的网络地址转换状态发送至所述第一节点的路由表中的节点。

在一具体实施例中,所述第一节点的信令服务器包括一组ip地址和端口。所述第一节点向所述第一节点的信令服务器的ip地址和端口请求所述第一节点的ip地址和端口,判断所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口是否一致。若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口一致,则所述第一节点的网络地址转换状态为外网状态。否则,若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口不一致,则所述第一节点的网络地址转换状态为内网状态。

在另一具体实施例中,所述第一节点的信令服务器包括两组ip地址和端口:第一ip地址和第一端口、第二ip地址和第二端口。所述第一节点向所述第一节点的信令服务器的第一ip地址和第一端口请求所述第一节点的ip地址和端口,判断所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口是否一致。若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口一致,则所述第一节点的网络地址转换状态为外网状态。

若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口不一致,则向所述第一ip地址和第一端口请求所述第一节点的信令服务器通过所述第二ip地址和第二端口向所述第一节点发送应答,若所述第一节点接收到所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的应答,则所述第一节点的网络地址转换状态为全锥形状态。

若所述第一节点没有接收到所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的应答,则向所述第二ip地址和第二端口请求所述第一节点的ip地址和端口,若所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的ip地址和端口与通过所述第一ip地址和第一端口返回的ip地址和端口一致,则所述第一节点的网络地址转换状态为对称状态。

若所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的ip地址和端口与通过所述第一ip地址和第一端口返回的ip地址和端口不一致,则向所述第一ip地址和第一端口请求所述第一节点的信令服务器通过所述第一ip地址和第二端口向所述第一节点发送应答,若所述第一节点接收到所述第一节点的信令服务器通过所述第一ip地址和第二端口向所述第一节点发送的应答,则所述第一节点的网络地址转换状态为限制锥形状态。

若所述第一节点没有接收到所述第一节点的信令服务器通过所述第一ip地址和第二端口向所述第一节点发送的应答,则所述第一节点的网络地址转换状态为端口限制锥形状态。

在另一实施例中,所述文件部署方法还可以包括:

确定所述第一节点的剩余存储量;

根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

在一具体实施例中,若所述第一节点中成功部署新的文件,第一节点根据所述新的文件的大小确定所述第一节点的剩余存储量,根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

例如,第一节点原来的剩余存储量为a,大小为b的新的文件(例如音乐文件)成功部署至所述第一节点后,所述第一节点的剩余存储量为a-b,第一节点根据剩余存储量a-b更新所述第一节点的信令服务器中所述第一节点的存储信息。

在另一具体实施例中,第一节点按照预设时间间隔(例如1秒)确定所述第一节点的剩余存储量,根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

实施例二

图2为本发明实施例提供的文件部署装置较佳实施例的结构图。所述文件部署装置10应用于分布式系统中部署有目标文件的第一节点,所述第一节点为计算机装置。

如图2所示,所述文件部署装置10可以包括:第一判断单元201、查询单元202、获取单元203、第二判断单元204、部署单元205。

第一判断单元201,用于判断是否需要对所述目标文件进行再部署。

分布式系统中可能由于各种原因(例如部分节点下线)需要对目标文件进行再次部署,本发明判断是否满足预定条件,在满足预定条件时对目标文件进行再部署。

本实施例中,判断是否需要对所述目标文件进行再部署包括:

判断所述分布式系统中所述目标文件的数量是否小于第一预设阈值;和/或

判断所述第一节点的邻居节点中所述目标文件的数量是否小于第二预设阈值;和/或

判断向所述第一节点请求所述目标文件的请求频率是否大于预设频率。

若所述分布式系统中所述目标文件的数量小于第一预设阈值,和/或所述第一节点的邻居节点中所述目标文件的数量小于第二预设阈值,和/或所述目标文件的请求频率大于预设频率,则需要对所述目标文件进行再部署。所述第一节点的邻居节点是指在预设跳数内的与所述第一节点有通信记录的节点。

例如,所述第一预设阈值为50,所述分布式系统中已部署有20个所述目标文件(例如视频文件),因此,所述分布式系统中所述目标文件的数量小于所述第一预设阈值,需要对所述目标文件进行再部署。

又如,所述第二预设阈值为10,所述第一节点的邻居节点中已部署有5个所述目标文件,因此,所述第一节点的邻居节点中所述目标文件的数量小于所述第二预设阈值,需要对所述目标文件进行再部署。

再如,所述预设频率为5次/秒,所述第一节点中所述目标文件的请求频率为10次/秒,因此,所述目标文件的请求频率大于所述预设频率,需要对所述目标文件进行再部署。

所述分布式系统中的各个节点可以属于不同的区域和不同的网络运营商,可以结合各个节点所属的区域和网络运营商判断是否需要对所述目标文件进行再部署。例如,判断是否需要对所述目标文件进行再部署包括:

判断所述第一节点所属区域和/或网络运营商的节点中所述目标文件的数量是否小于第一预设阈值;和/或

判断与所述第一节点属于相同区域和/或相同网络运营商的所述第一节点的邻居节点中所述目标文件的数量是否小于第二预设阈值;和/或

判断所述第一节点所属区域和/或网络运营商的节点中所述目标文件的请求频率是否大于预设频率。

若所述第一节点所属区域和/或网络运营商的节点中所述目标文件的数量小于第一预设阈值,和/或与所述第一节点属于相同区域和/或相同网络运营商的所述第一节点的邻居节点中所述目标文件的数量小于第二预设阈值,和/或所述第一节点所属区域和/或网络运营商的节点中所述目标文件的请求频率大于预设频率,则需要对所述目标文件进行再部署。

查询单元202,用于若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点。

在一具体实施例中,所述查询所述分布式系统中未部署有所述目标文件的第二节点可以包括:

向所述第一节点的路由表中的节点发送对所述目标文件的文件查询请求;

将预设时间内未返回所述目标文件的文件信息的所述第一节点的路由表中的节点确定为所述分布式系统中未部署有所述目标文件的第二节点。

例如,根据udp(userdatagramprotocol,用户数据报协议)或tcp(transmissioncontrolprotocol,传输控制协议)向所述第一节点的路由表中的节点发送对所述目标文件的文件查询请求,将所述预设时间(例如3秒)内未返回所述目标文件的文件请求信息的所述第一节点的路由表中的节点确定为所述分布式系统中未部署有所述目标文件的第二节点。每次查询结束后,可以从所述第一节点的路由表中删除所述未部署有所述目标文件的第二节点。

获取单元203,用于判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息。

所述第二节点的ip地址类型可以包括外网ip地址或内网ip地址。内网ip地址是指内部网络或主机的ip地址,外网ip地址是指在因特网上全球唯一的ip地址。对于不同ip地址类型的所述第二节点,获取所述第二节点的存储信息的方式不同。

在一具体实施例中,所述判断所述第二节点的ip地址类型可以包括:

在所述第一节点的路由表中查询所述第二节点的网络地址转换(networkaddresstranslation,nat)状态;

若所述第二节点的网络地址转换状态为外网状态,则所述第二节点具有外网ip地址;

若所述第二节点的网络地址转换状态为全锥形状态、限制锥形状态或端口限制锥形状态,则所述第二节点具有内网ip地址。

例如,所述第一节点从所述第一节点的路由表中查询到所述第二节点的网络地址转换状态为限制锥形状态,则所述第二节点具有内网ip地址。所述第二节点可以根据在加入网络时向nat探测服务器请求的所述第二节点的ip地址信息更新所述第一节点的路由表中的所述第二节点的网络地址转换状态。

若所述第二节点具有外网ip地址,则从所述第一节点的路由表中获取具有外网ip地址的第二节点的ip地址和端口,通过具有外网ip地址的第二节点的ip地址和端口向所述第二节点发起tcp连接,获得所述第二节点的密钥,根据所述密钥向所述第二节点请求所述第二节点的存储信息。

若所述第二节点具有内网ip地址,则从所述第一节点的路由表中获取所述第二节点的信令服务器的ip地址和端口,通过所述第二节点的信令服务器的ip地址和端口向所述第二节点的信令服务器发起tcp或udp连接,得到所述第二节点的信令服务器的应答后,向所述第二节点的信令服务器请求所述第二节点的存储信息。

第二判断单元204,用于根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件。

在一具体实施例中,所述根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件可以包括:

判断所述存储信息中的剩余存储量是否小于所述目标文件的预设需求存储量;

若所述存储信息中的剩余存储量小于所述目标文件的预设需求存储量,则所述第二节点没有足够的存储空间部署所述目标文件;

若所述存储信息中的剩余存储量大于或等于所述目标文件的预设需求存储量,则所述第二节点有足够的存储空间部署所述目标文件。

部署单元205,用于若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

在一具体实施例中,若所述第二节点有足够的存储空间部署所述目标文件,则可以进一步判断所述第二节点的剩余存储量与所述第二节点的总存储量的比值是否大于或等于预设比值。若所述第二节点的剩余存储量与所述第二节点的总存储量的比值大于或等于预设比值,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。否则,若所述第二节点的剩余存储量与所述第二节点的总存储量的比值小于预设比值,则不将文件部署任务发送给所述第二节点。

在另一具体实施例中,若有多个第二节点有足够的存储空间部署所述目标文件,则可以确定所述多个第二节点中剩余存储量与总存储量的比值最大的第二节点,将文件部署任务发送给确定的第二节点,使所述确定的第二节点从所述第一节点拉取所述目标文件进行部署。

对第二节点的剩余存储与第二节点的总存储量的比值进行判断,可以筛选出低负荷存储的第二节点,避免由于对高负荷存储的第二节点进行文件部署造成的部署失败,提高所述文件部署的成功率。

在一具体实施例中,若所述第二节点具有内网ip地址,通过打洞的方式与所述第二节点建立数据传输通道,通过所述数据传输通道将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述数据传输通道拉取所述目标文件进行部署。

例如,若所述第二节点具有内网ip地址,向所述第二节点的信令服务器请求向所述第二节点打洞,接收所述第二节点的信令服务器发出的所述第二节点的ip地址和端口,通过所述第二节点的ip地址和端口向所述第二节点发送udp连接请求,收到所述第二节点对udp连接请求返回的应答后,通过打洞的方式与所述第二节点建立数据传输通道完成。通过所述数据传输通道将所述目标文件的文件信息发送给所述第二节点,所述第二节点根据所述目标文件的文件信息向所述第一节点拉取所述目标文件。

若所述第二节点具有外网ip地址,通过tcp连接将所述文件部署任务发送给所述第二节点,使所述第二节点通过所述tcp连接拉取所述目标文件进行部署。

所述第二节点成功部署所述目标文件后,根据所述目标文件的大小确定所述第二节点的剩余存储量,根据确定的所述第二节点的剩余存储量更新所述第二节点的信令服务器中所述第二节点的存储信息。

实施例二的文件部署装置10判断是否需要对所述目标文件进行再部署;若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点;判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。实施例二的文件部署装置10可以获取节点的存储信息,根据节点的存储信息将文件部署至存储空间足够的节点中,提高文件部署的效率。

在另一实施例中,所述文件部署装置还包括确定单元,用于确定所述第一节点的网络地址转换状态,将所述第一节点的网络地址转换状态发送至所述第一节点的路由表中的节点。

在一具体实施例中,所述第一节点的信令服务器包括一组ip地址和端口。所述第一节点向所述第一节点的信令服务器的ip地址和端口请求所述第一节点的ip地址和端口,判断所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口是否一致。若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口一致,则所述第一节点的网络地址转换状态为外网状态。否则,若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口不一致,则所述第一节点的网络地址转换状态为内网状态。

在另一具体实施例中,所述第一节点的信令服务器包括两组ip地址和端口:第一ip地址和第一端口、第二ip地址和第二端口。所述第一节点向所述第一节点的信令服务器的第一ip地址和第一端口请求所述第一节点的ip地址和端口,判断所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口是否一致。若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口一致,则所述第一节点的网络地址转换状态为外网状态。

若所述第一节点的信令服务器返回的ip地址和端口与所述第一节点本地存储的ip地址和端口不一致,则向所述第一ip地址和第一端口请求所述第一节点的信令服务器通过所述第二ip地址和第二端口向所述第一节点发送应答,若所述第一节点接收到所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的应答,则所述第一节点的网络地址转换状态为全锥形状态。

若所述第一节点没有接收到所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的应答,则向所述第二ip地址和第二端口请求所述第一节点的ip地址和端口,若所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的ip地址和端口与通过所述第一ip地址和第一端口返回的ip地址和端口一致,则所述第一节点的网络地址转换状态为对称状态。

若所述第一节点的信令服务器通过所述第二ip地址和第二端口返回的ip地址和端口与通过所述第一ip地址和第一端口返回的ip地址和端口不一致,则向所述第一ip地址和第一端口请求所述第一节点的信令服务器通过所述第一ip地址和第二端口向所述第一节点发送应答,若所述第一节点接收到所述第一节点的信令服务器通过所述第一ip地址和第二端口向所述第一节点发送的应答,则所述第一节点的网络地址转换状态为限制锥形状态。

若所述第一节点没有接收到所述第一节点的信令服务器通过所述第一ip地址和第二端口向所述第一节点发送的应答,则所述第一节点的网络地址转换状态为端口限制锥形状态。

在另一实施例中,所述文件部署装置还包括更新单元,用于确定所述第一节点的剩余存储量,根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

在一具体实施例中,若所述第一节点中成功部署新的文件,第一节点根据所述新的文件的大小确定所述第一节点的剩余存储量,根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

例如,第一节点原来的剩余存储量为a,大小为b的新的文件(例如音乐文件)成功部署至所述第一节点后,所述第一节点的剩余存储量为a-b,第一节点根据剩余存储量a-b更新所述第一节点的信令服务器中所述第一节点的存储信息。

在另一具体实施例中,第一节点按照预设时间间隔(例如1秒)确定所述第一节点的剩余存储量,根据确定的所述第一节点的剩余存储量更新所述第一节点的信令服务器中所述第一节点的存储信息。

实施例三

本实施例提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述文件部署方法实施例中的步骤,例如图1所示的s101-s105:

s101,判断是否需要对所述目标文件进行再部署;

s102,若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点;

s103,判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;

s104,根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;

s105,若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

或者,该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能,例如图2中的单元201-205:

第一判断单元201,用于判断是否需要对所述目标文件进行再部署;

查询单元202,用于若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点;

获取单元203,用于判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;

第二判断单元204,用于根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;

部署单元205,用于若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

实施例四

图3为本发明实施例提供的计算机装置的示意图。所述计算机装置1包括存储器20、处理器30、总线50以及存储在所述存储器20中并可在所述处理器30上运行的计算机程序40,例如文件部署程序。所述处理器30执行所述计算机程序40时实现上述文件部署方法实施例中的步骤,例如图1所示的s101-s105:

s101,判断是否需要对所述目标文件进行再部署;

s102,若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点;

s103,判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;

s104,根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;

s105,若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

或者,所述处理器30执行所述计算机程序40时实现上述装置实施例中各模块/单元的功能,例如图2中的单元201-205:

第一判断单元201,用于判断是否需要对所述目标文件进行再部署;

查询单元202,用于若需要对所述目标文件进行再部署,查询所述分布式系统中未部署有所述目标文件的第二节点;

获取单元203,用于判断所述第二节点的ip地址类型,若所述第二节点具有外网ip地址,则链接所述第二节点获取所述第二节点的存储信息,或者若所述第二节点具有内网ip地址,则从所述第二节点的信令服务器获取所述存储信息;

第二判断单元204,用于根据所述存储信息判断所述第二节点是否有足够的存储空间部署所述目标文件;

部署单元205,用于若所述第二节点有足够的存储空间部署所述目标文件,则将文件部署任务发送给所述第二节点,使所述第二节点从所述第一节点拉取所述目标文件进行部署。

示例性的,所述计算机程序40可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器20中,并由所述处理器30执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序40在所述计算机装置1中的执行过程。例如,所述计算机程序40可以被分割成图2中的第一判断单元201、查询单元202、获取单元203、第二判断单元204、部署单元205,各单元具体功能参见实施例二。

所述计算机装置1可以是pc(personalcomputer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备等终端设备。

所称处理器30可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器30也可以是任何常规的处理器等,所述处理器30是所述计算机装置1的控制中心,利用各种接口和线路连接整个计算机装置1的各个部分。

所述存储器20可用于存储所述计算机程序40和/或模块/单元,所述处理器30通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元,以及调用存储在存储器20内的数据,实现所述计算机装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机装置1的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器20可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述总线50以是外设部件互连标准(peripheralcomponentinterconnect,简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,简称eisa)总线等。所述总线50可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

进一步地,计算机装置1还可以包括网络接口,网络接口可选的可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等),通常用于在该计算机装置1与其他电子设备之间建立通信连接。

可选地,该计算机装置1还可以包括用户接口,用户接口可以包括显示器(display)、输入单元比如键盘(keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在计算机装置1中处理的信息以及用于显示可视化的用户界面。

本领域技术人员可以理解,所述示意图3仅仅是计算机装置1的示例,并不构成对计算机装置1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机装置上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机装置可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1