数据分配方法、装置和系统的制作方法_2

文档序号:8412406阅读:来源:国知局
器工作负担。
[0048]例如,hash值可以仅由每条用户记录中的用户ID字段经过hash运算计算得到,也可以由每条用户记录中的用户ID字段、网点号(以银行的用户数据为例)这两个字段经过hash运算计算得到。这样做的好处在于,后续在进行1:1认证过程中,可以经过同样的运算过程,得知待认证用户的分片号是多少,然后仅将1:1认证任务分配至对应的那个比对服务器上。
[0049]本步骤中,具体选取几位作为分片号,可以结合比对节点的个数来选择,例如,取hash值的前两位作为分片号,可以最多支持扩展255个比对节点,取hash值的前四位作为分片号,可以最多支持扩展65535个比对节点。
[0050]本发明中,如图2所示,步骤I之前还可以包括:
[0051]步骤10:当比对服务器增加或减少时,执行步骤I。
[0052]本步骤中,可以对比对服务器的运行状态进行实时不间断的监听,及时发现出现故障和新增的比对服务器,从而获得比对服务器最新的工作状态,进而及时调整数据分配比例,重新分配数据。
[0053]依靠上述监听方法,管理服务器可以实时的对比对服务器进行动态调整。当有比对服务器发生故障时,管理服务器可以将发生故障的比对服务器上加载的数据按照处理性能的比例分配给其它比对服务器,而无需停止现有服务器;当发送故障的比对服务器恢复或者有新增的比对服务器,管理服务器会将恢复的或新增的比对服务器纳入管理,管理服务器动态计算数据分片,并通知比对服务器进行数据加载。保证了管理服务器以及比对服务器的高扩展性和有效性。真正意义上解决了不同服务器之间的松耦合以及连接状态无关联性的问题,确保了系统运行的稳定性,大大降低了由于比对服务器原因造成系统问题的可能性。
[0054]本发明中,当管理服务器接到1:1认证比对任务请求时,如图3所示,可以包括:
[0055]步骤4:接收1:1认证比对任务请求,所述1:1认证比对任务请求中携带有用于所述hash运算的字段;
[0056]本步骤中,为后续的hash运算提供输入量。
[0057]步骤5:对所述1:1认证比对任务请求中用于hash运算的字段进行相同的hash运算得到hash值,并对该hash值同样取靠前的一定位数得到分片号;
[0058]本步骤中,采用hash运算对数据进行处理,进而得到分片号,由此判断每个比对服务器的数据处理性能,为后续的数据分配提供依据。
[0059]步骤6:根据得到的分片号,将该1:1认证比对任务请求分配至相应的比对服务器。
[0060]本步骤中,管理服务器能够合理的将1:1认证比对任务请求分发给对应数据范围的比对服务器,避免了分配给无关的比对服务器既得不到期望的比对结果又浪费了比对服务器处理能力的情况。
[0061]本发明中,在执行1:N识别比对任务时,由于各个比对服务器所分得的数据量符合自身的处理能力,极大的加快了各比对服务器的数据处理速度,同时,对于多个比对服务器同时工作的情况,能够保证每个比对服务器的工作进度大致相同,加快了管理服务器进行比对结果汇总的时间,提高了总体的运行速度。
[0062]另一方面,与上述的方法相对应,本发明提供了一种数据分配装置,即管理服务器11,如图4所示,包括:
[0063]获取模块101,用于获取比对服务器的处理性能信息;
[0064]第一计算模块102,用于根据所述处理性能信息,计算所有比对服务器的总处理性能,以及每个比对服务器的处理性能相对于所有比对服务器的总处理性能的占比;
[0065]数据分配模块103,用于根据所述占比,将所有数据分配至每个比对服务器。
[0066]本发明依据比对服务器的处理性能,把数据合理的分配到相应的比对服务器中,避免了比对服务器超负荷运行或者性能得不到充分发挥的情况,有效的解决了大数据量和高并发数据的处理问题,同时有效的解决了处理性能不同的多服务器协同工作的问题,提升了总体的数据处理能力,也加快了数据处理速度。
[0067]本发明中的获取模块101还可以进一步用于接收比对服务器发送的注册请求,其中所述注册请求中包括比对服务器自身的处理性能信息。这样使得管理服务器在获取比对服务器注册请求的同时也能获得比对服务器的处理性能信息,管理服务器可以方便快捷的获取比对服务器的处理性能信息,这些信息被作为管理服务器为比对服务器分配数据的依据,并存储在管理服务器上。
[0068]本发明中的管理服务器11还可以进一步包括:
[0069]对于每条用户记录,预先生成有分片号,其中每条用户记录中的一个或多个字段值经过hash运算计算得到hash值,对该hash值取靠前的一定位数得到所述分片号;同时,数据分配模块103,进一步用于根据所述占比,将分片号分配至每个比对服务器。
[0070]本发明中,采用hash运算对数据进行处理,进而得到分片号,由此判断每个比对服务器的数据处理性能,为后续的数据分配提供依据。hash运算能够使任意长度的数据转换成固定长度的数据,方便数据的统一管理和查询,另外,分片号是通过对hash值靠前一定位数的选取得到的,之后,数据分配模块103按照比对服务器处理性能的占比,把分片号分成与占比相对应的份数,然后将分配好的分片号分发给相应比对服务器。该方法通过分片号方便了数据的分配,没有增加比对服务器工作负担。
[0071]为了避免动态负载对管理服务器产生的影响,如图5所示,管理服务器11还进一步包括:
[0072]跳转模块109,用于当比对服务器增加或减少时,转至获取模块101。
[0073]本发明中,当有比对服务器增加或者减少时,跳转模块109可以使进程跳转至获取模块101,进而及时调整数据分配比例,重新分配数据。保证了管理服务器以及比对服务器的高扩展性和有效性。真正意义上解决了不同服务器之间的松耦合以及连接状态无关联性的问题,确保了系统运行的稳定性,大大降低了由于网络或者服务器原因造成的系统问题的可能性。
[0074]本发明中,如图6所示,管理服务器还可以进一步包括:
[0075]请求接收模块104,用于接收1:1认证比对任务请求,所述1:1认证比对任务请求中携带有用于所述hash运算的字段;
[0076]第二计算模块105,用于对所述1:1认证比对任务请求中用于hash运算的字段进行相同的hash运算得到hash值,并对该hash值同样取靠前的一定位数得到分片号;
[0077]任务分配模块106,用于对所述1:1认证比对任务请求,根据得到的分片号,将该1:1认证比对任务请求分配至相应的比对服务器;
[0078]本发明中,任务分配模块106能够合理的将1:1认证比对任务请求分发给对应数据范围的比对服务器,避免了分配给无关的比对服务器既得不到期望的比对结果又浪费了比对服务器处理能力的情况。
[0079]本发明中,在执行1:N识别比对任务时,由于各个比对服务器所分得的数据量符合自身的处理能力,极大的加快了各比对服务器的数据处理速度,同时,对于多个比对服务器同时工作的情况,能够保证每个比对服务器的工作进度大致相同,加快了管理服务器进行比对结果汇总的时间,提高了总体的运行速度。
[0080]再一方面,与上述的数据分配装置相对应,本发明提供一种数据分配系统,S卩服务器系统,包括应用服务器、上述管理服务器、以及至少两个比对服务器;应用服务器和管理服务器通过网络连接,管理服务器和比对服务器也通过网络连接;应用服务器和管理服务器为相同或不同的服务器。
[0081]本发明中的服务器系统分为应用服务器、管理服务器和比对服务器。其中,应用服务器用于提供系统对外的接口与业务逻辑的实现;管理服务器用于管理比对服务器、接收比对服务器发送的生物特征相关请求和将请求转发给比对服务器等;比对服务器用于进行生物特征相关算法调用与调度、生物特征数据的加载与同步等。该服务器系统中,每个管理服务器连接所有比对服务器,每个比对服务器连接所有管理服务器,多个管理服务器之间通过设置唯一的主管理服务器,可以避免多个管理服务器之间权限的冲突,提高系统的运算效率。
[0082]本发明的系统功能概述
[0083]本发明提供一种动态负载处理方法、装置和系统,包括至少两个管理服务器和至少两个比对服务器,管理服务器和比
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1