基于快照的集群感知系统、方法和装置的制造方法_2

文档序号:9263534阅读:来源:国知局
括独立的检索子系统210、预估子系统220、重排子系统230、推送服务子系统240和路由调度子系统250。检索子系统210、预估子系统220和重排子系统230分别与路由调度子系统250相连;检索子系统210、预估子系统220、重排子系统230和路由调度子系统250分别与推送服务子系统240相连。
[0047]检索子系统210,即retrival+scoring子系统,可根据业务推荐请求中包含的定向信息进行检索资源,并对资源进行初步筛选和评分处理等。资源可为广告资源、新闻资源或物品资源等。该定向信息可包括人群、性别、年龄、地域、时间等条件信息。人群是指资源所针对的人群类型,例如小孩、中青年、老年人等。性别可包括男和女。年龄可分为不同年龄段,如O至3岁,6至12岁等。地域可分为不同国家、地区或同一国家内的不同区域,例如中国广东省、海南省等。时间是指资源投放的时间,分为第一层时间和第二层时间,第一层时间可分为星期一到星期七,第二层时间可分为一天内的多个时间段,如将一天以每半小时为一个时间节点,分为48个时间节点。检索子系统210在进行检索过程中采用推送服务子系统240提供的算法进行检索。
[0048]预估子系统220,即Pctr子系统,用于根据用户历史行为数据和用户的基本画像数据,以及资源位的场景信息构建一个预测模型,根据历史行为数据和预测模型预估出资源的预测点击率。资源位是指资源位置信息,例如广告位置信息。用户的基本画像数据是指用户的个人信息,可包括姓名、性别、年龄、地域等。预估子系统220在工作过程中采用推送服务子系统240提供的算法进行工作。
[0049]重排子系统230,即Reranking子系统,用于根据预设的定向条件筛选资源,并对资源的预测点击率进行修正,根据修正后的预测点击率对资源进行重新排序。具体地,定向条件可根据需要设定,例如可设定人群、年龄、性别、地域等条件。重排子系统230根据实时用户行为数据对预测点击率进行修正。重排子系统230在工作中采用推送服务子系统240提供的算法进行工作。
[0050]推送服务器子系统240,即PushServer子系统,用于为检索子系统210、预估子系统220和重排子系统230分别推送各自所需的算法。此外,还可推送模型服务。
[0051]路由调度子系统250,即Router子系统,用于根据业务推荐请求依次调度检索子系统210、预估子系统220、重排子系统230进行工作,并汇集结果。
[0052]检索子系统210、预估子系统220和重排子系统230分别获取各自的静态快照文件进行更新,该静态快照文件是根据检索子系统210、预估子系统220和重排子系统230各自的运维配置信息生成。
[0053]具体地,运维配置信息可包括子系统配置的机器数、每台机器的网络地址和端口、每台机器要加载的算法信息等。静态快照文件用于描述子系统的运维配置信息,子系统的运维配置信息包括子系统配置的机器数、机器IP (Internet Protocol,网络协议)地址和端口、每台机器要加载的算法信息。机器IP地址即机器的网络地址。算法信息可包括算法版本、算法详情等。算法版本例如可为V1.0、V2.0等。算法详情可用于描述算法的作用和功能等。
[0054]路由调度子系统250用于获取检索子系统210、预估子系统220和重排子系统230的静态快照文件,根据该静态快照文件更新检索子系统210、预估子系统220和重排子系统230的运维配置信息。
[0055]具体地,更新运维配置信息是指可能增加或删除子系统的机器,新添加算法so (即算法动态库)或删除算法动态库等。
[0056]检索子系统210、预估子系统220和重排子系统230分别上报运行状态信息,以根据检索子系统210、预估子系统220和重排子系统230的运行状态信息生成动态快照文件。
[0057]具体地,运行状态信息包括子系统运行时的机器的网络地址和端口、机器状态和已加载的算法信息。机器状态可包括机器运行时的参数等。动态快照文件用于描述子系统运行时的信息,运行时的信息包括子系统运行时的机器的网络地址和端口、机器状态和已加载的算法信息。算法信息可包括算法版本、算法详情等。算法版本例如可为Vl.0、V2.0等。算法详情可用于描述算法的作用和功能等。
[0058]路由调度子系统250用于获取该检索子系统210、预估子系统220和重排子系统230的动态快照文件,根据该动态快照文件更新该检索子系统210、预估子系统220和重排子系统230的算法信息。此外,路由调度子系统250还用于根据动态快照文件更新检索子系统210、预估子系统220和重排子系统230的服务器等。
[0059]上述基于快照的集群感知系统,各个子系统之间功能隔离,不相互依赖,推送服务子系统可根据各子系统的静态快照文件和动态快照文件提供相应的算法推送服务,不用对其他子系统进行改动,路由调度子系统可通过动态快照文件感知各子系统的运维配置信息及运行状态信息,使得整个系统具有极佳的扩展性,路由调度子系统统一调度,为整个系统的路由服务提供了一种通用且简便的实现方式,提升了系统的自动化程度,降低了运维成本。
[0060]图3为另一个实施例中基于快照的集群感知系统的结构框图。如图3所示,该基于快照的集群感知系统包括独立的检索子系统210、预估子系统220、重排子系统230、推送服务子系统240、路由调度子系统250、配置管理服务器260和分布式协调服务器270。检索子系统210、预估子系统220和重排子系统230分别与路由调度子系统250相连;检索子系统210、预估子系统220、重排子系统230和路由调度子系统250分别与推送服务子系统240相连。配置管理服务器260与分布式协调服务器270相连,分布式协调服务器270分别与检索子系统210、预估子系统220、重排子系统230和路由调度子系统250相连。
[0061]配置管理服务器260用于获取检索子系统210、预估子系统220和重排子系统230的运维配置信息,并根据该检索子系统210、预估子系统220和重排子系统230的运维配置信息生成对应的静态快照文件,以及接收该检索子系统210、预估子系统220和重排子系统230上报的运行状态信息,并根据该检索子系统210、预估子系统220和重排子系统230的运行状态信息生成对应的动态快照文件。
[0062]分布式协调服务器270用于记录该检索子系统210、预估子系统220和重排子系统230的静态快照文件和动态快照文件,以及存储该检索子系统210、预估子系统220和重排子系统230的运维配置信息和运行状态信息。分布式协调服务器270中存储有静态快照文件和动态快照文件。
[0063]分布式协调服务器270获取检索子系统210、预估子系统220和重排子系统230上报的运行状态信息,并将检索子系统210、预估子系统220和重排子系统230上报的运行状态信息发送给配置管理服务器260。
[0064]此外,还包括实验子系统280,用于进行实验检测和算法训练等。
[0065]在其他实施例中,配置管理服务器260和分布式协调服务器270可为一个服务器。配置管理服务器260可记录该检索子系统210、预估子系统220和重排子系统230的静态快照文件和动态快照文件,以及存储该检索子系统210、预估子系统220和重排子系统230的运维配置信息和运行状态信息。
[0066]上述基于快照的集群感知系统,各个子系统之间功能隔离,不相互依赖,推送服务子系统可根据各子系统的静态快照文件和动态快照文件提供相应的算法推送服务,不用对其他子系统进行改动,路由调度子系统可通过动态快照文件感知各子系统的运维配置信息及运行状态信息,使得整个系统具有极佳的扩展性,路由调度子系统统一调度,为整个系统的路由服务提供了一种通用且简便的实现方式,提升了系统的自动化程度,降低了运维成本;通过配置管理服务器根据运维配置信息生成静态快照文件,以及根据运行状态信息生成动态快照文件,方便推送服务子系统和路由调度子系统获取静态快照文件及动态快照文件,感知检索子系统、预估子系统和重排子系统的配置变化情况。
[0067]在一个实施例中,路由调度子系统250还用于获取业务推荐请求,根据该业务推荐请求依次调度该检索子系统210、预估子系统220和重排子系统230进行工作,该检索子系统210、预估子系统220和重排子系统230在工作过程中加载该推送服务子系统240推送的相应的算法。该路由调度子系统250还用于获取该检索子系统210、预估子系统220和重排子系统230的静态快照文件,根据该静态快照文件更新该检索子系统210、预估子系统220和重排子系统230的运维配置信息,以及获取该检索子系统210、预估子系统220和重排子系统230的动态快照文件,根据该动态快照文件更新该检索子系统210、预估子系统220和重排子系统230的算法。
[0068]具体地,路由调度子系统250、推送服务子系统240根据动态快照文件可感知到检索子系统210、预估子系统220和重排子系统230的机器分布和算法加载情况。
[0069]为了进一步说明基于快照的集群感知系统的工作过程,以预估子系统220和路由调度子系统250为例进行描述路由调度子系统250感知预估子系统220的过程。图4为路由调度子系统250感知预估子系统220的时序图。如图4所示,路
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1