数据分配方法、装置和系统的制作方法_4

文档序号:8412406阅读:来源:国知局
务器将管理节点返回的数据处理后返回给调用者。具体过程为:如果是1:N或者N:N的请求,管理节点将请求发送到所有的比对服务器,比对服务器根据自己的数据范围处理请求后将结果返回到管理服务器,管理服务器等待所有比对服务器的处理结果,所有比对服务器处理完成之后,管理服务器合并所有比对节点的处理结果。管理节点基本可以实现请求平均分发到所有的比对节点,从而减轻服务器压力,并可以提高处理性能。并且确保了所有数据处理的完整性
[0118]4、故障转移
[0119]当主管理节点不可用之后,会进行相应计算注册一个管理节点作为主管理节点。
[0120]管理节点在检测到比对节点不可用时,重新对可用的比对节点进行数据分片分布计算,使得不可用的比对节点上分配的数据分片可以按各节点计算能力均匀的分散到其它可用的节点上。
[0121]具体的,当部署节点出现故障时,管理服务器会将此服务器上加载的数据平均分发到其他的比对服务器上。并且网络连接的监听器会实时监听所有管理节点与比对节点的连接状态。当故障的服务节点恢复或者新增节点之后,监听器会第一时间获得服务器节点的状态,并通知管理节点将恢复的或者新增的节点纳入管理。管理节点动态计算数据分片,并通知比对节点进行数据加载。保证了管理节点以及比对节点的高扩展性和有效性。
[0122]上述机制支持实时动态添加管理节点以及比对节点,而无需停止现有服务器。真正意义上实现了不同服务之间的松耦合以及连接状态无关联性,确保了系统运行的稳定性,大大降低了由于网络或者服务器原因造成的系统问题。
[0123]比对节点功能说明:
[0124]比对节点负责调用生物特征算法对生物特征进行运算。此外为加快运算速度,每个比对节点均缓存部分生物特征数据,所有比对节点缓存的生物特征数据之间无交集,所有比对节点缓存的生物特征数据的合集为当前可管理的所有生物特征。
[0125]每个比对节点缓存哪部分生物特征数据由主管理节点在运行时通过计算给出。各比对节点间不进行通讯,即各比对节点不知道其它比对节点的存在。比对节点接收所有管理节点的生物特征运算请求;仅接收主管理节点的发送的对缓存数据进行管理的请求,非主管理服务器发送的缓存管理请求将被忽略。
[0126]整体的请求的处理流程:
[0127]应用系统接收所有的请求,对需要进行生物特征运算的请求,将其发给管理节点。管理节点根据请求的不同,将请求转发到一个或多个比对节点上,收到比对节点的返回后,将结果响应给应用系统。流程图如图8所示。
[0128]上述介绍中,是以将该系统应用于生物识别领域的,事实上,该系统可以应用于任何数据处理的领域。
[0129]下面对系统的连接匹配机制及工作过程进行描述:
[0130]1.服务器的启动与发现机制
[0131]管理节点启动后监听指定的端口,不主要查找比对节点。
[0132]在比对节点内通过配置文件指定管理节点的地址或地址范围与监听端口,比对服务器在启动后向,不间断的向指定范围或指定地址的管理的服务器广播通知。管理服务器收到广播通知后,响应确认报文给比对节点。
[0133]通过不间断的广播,比对服务器可以随时发现新加入的管理服务器,管理服务器也可以发现新加入的比对服务器。
[0134]2.主管理服务器的确认机制
[0135]比对节点在启动后,向已收到响应的管理服务器发送报文,询问是否是主管理服务器,
[0136]+若还没有设置主管理服务器,向第一台响应的管理服务器发送设置主管理服务器消息。管理服务器收到调整自身状态,并响应新的状态给比对服务器。
[0137]-比对服务器收到管理服务器新的状态后,向其它管理服务器发送消息,设置其它服务器服务器为非主管理服务器(消息中包括当前主管理服务器名字、地址、设置的时间等)O
[0138]-其它管理服务器收到设置为非主管理服务器消息后,若当前非主管理服务器,则不做处理。若当前服务器已经由另外的比对服务器设置为主管理服务器,则比对设置时间与收到的消息中原主管理服务器设置的时间,若小于当前,忽略这个请求,否则调整自身为非主管服务器,并通知给原来发送设置主管理服务器消息的比对服务器。
[0139]-比对服务器在延迟一定时间后,检测主管理服务器的设置是否唯一。不唯一时取第一个为主管理服务器,重复上述过程。
[0140]+若已经设置主管理服务器,或有多个主管理服务器,则取第一个作为主管理服务器,并通知其它作为非主管理服务器。
[0141]-收到所有服务器的响应后,检查主管理服务器是否唯一,不唯一时重复上述过程直至唯一。
[0142]3.确定主管理服务器后,比对服务器向确定的唯一主管理服务器发送当前比对节点的配置、性能等相关信息,将自己注册到主管理服务器。
[0143]+主管理服务器的处理流程
[0144]-主管理服务器收到比对服务器的注册请求后,将注册的比对服务器加入到待处理列表。
[0145]-延时一定时间后,主管理服务器计算待处理列表与已连接的正常的比对服务器的总生物特征处理性能。
[0146]-计算每台比对服务器相对于总处理性能的比例。
[0147]-根据每台服务器的比例,确定每台服务器可处理的数据分片的分片数。
[0148]-比较新的分片数量与现有的已经分配的分片数量,计算是调整的分片数量(增加用正数表示,减小用负数表示)
[0149]-从已经分配的分片数中,采用大数优先的原则,从尾部去除指定数量的分片号,并将分片号加入到可用的分片号列表。
[0150]-去除完成后,将可用的分片号分配到需要增加的分片的比对服务器分片号分配方案中。
[0151]-将新的分片号列表通知比对服务器。
[0152]+比对服务器收到分片调整请求后处理流程
[0153]-比较当前已经加载的分片与新的分片的差异,根据分片号,从数据中移出要去除的分片号,对要增加的,从指定的数据源中加载对应分片号的数据。
[0154]-将加载结果发送给主管理服务器。
[0155]-将新的分片范围通知其它非主管理服务器。
[0156]+非主管理服务器收到分片请求后,用新的分片范围调整本身的分片范围,并检查范围是否完整。
[0157]通过以上步骤,实现了配置过程以及工作过程,并且将可以实现动态增加比对服务器从而动态增加运算能力的目的,且支持增加不同性能配置的服务器,并根据性能的不同达到了均匀分配数据的目的。在完全随机访问的情况下,请求将可以相对均衡的分配到所有的比对服务器上。
[0158]关于故障检测及处理:
[0159]因为未知、网络、BUG等等各种原因,主管理服务器出现异常时,系统可以达到自动调整主管理服务器的目的,具体方案如下:
[0160]1.比对节点上启用状态检查与监测机制
[0161]+比对节点监听网络状态
[0162]+比对节点定时向管理服务器发送检测报文,检查管理服务器的服务状态。
[0163]通过监测与检查,可侦测到管理服务器的异常。
[0164]2.侦测到管理服务器异常后,根据主管理服务器的确认机制,从剩余的管理服务器中选取第一个作为新主管理服务器,并执行主管理服务器确认流程。
[0165]+主管理服务器确认后,向新的主管理服务器注册当前的分片号
[0166]+主管理服务器延时检查分片范围是否完整,分片范围完整时,主管理服务器切换完成。
[0167]+分片范围不完整时,进行一定次数的延时并重新检测分片范围是否完整,仍不完整时,开始进行新的分片分配流程。
[0168]通过上述流程可以达到动态增加主管理服务器、动态调整主管理服务器的目的。
[0169]管理节点在检测到比对节点不可用时,重新对可用的比对节点进行数据分片分布计算,使得不可用的比对节点上分配的数据分片可以按各节点计算能力均匀的分散到其它可用的节点上。
[0170]结合上述两个流程,实现了一种N:N网络下的管理与比对服务器的任意扩展机制。
[0171]本发明在生物识别领域的应用
[0172]现有的生物识别的方式大多是单一生物特征的识别,例如单独用指纹识别、单
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1