一种基于CNN网络的数据处理方法及一种路由器与流程

文档序号:16774791发布日期:2019-02-01 18:38阅读:194来源:国知局
本申请属于数据处理领域,具体涉及一种基于cnn网络的数据处理方法及一种路由器。
背景技术
::随着互联网上应有的不断发展变化,基于tcp/ip的现有互联网也逐渐暴露出许多的不适应,当前互联网上暴露出的问题主要有:安全性差,不支持移动,不可靠,缺乏灵活性,有效性限制,对新应用僵化等问题。针对上述问题,提出了信息中心网络,而ccn就属于信息中心网络的范畴。信息中心网络,就是网络中的一切都可以看作是信息,可以说是一个信息互联的网络,而非主机互联,其核心对象是信息,通过信息的名字进行标识每一个信息。对网络来说,其中流动的都是有名字的信息,网络能区别每一个信息,但具体信息意义,网络并不知道,靠信息的生产者和消费者的上层应用解释。整个网络及其终端就在各种信息的驱动下运行起来了,而网络的作用就是管理所有信息的流动和缓存,并用正确的信息快速响应信息请求者。ccn体系结构的外形和当今tcp/ip网络很相似,都是沙漏模型,最大的不同是在“瘦腰”处用内容块代替了ip。从网络的角度看,就是用对数据命名代替了对物理实体的命名。ccn通信由内容消费者驱动,数据可以进行块级传输。ccn有两个包类型:interest(兴趣包)和data(数据包)。在一个路由器内,如果有一个interest包请求某内容,则其他经过该路由器,且对同一内容感兴趣的消费者可以共享该请求。当相应的内容响应时,可以同时响应所有请求。为了请求所需内容,消费者广播interest包,有三个关键数据结构完成转发,分别是:fib(forwardinformationdatabase,转发信息库)、内容缓存(contentstore)、pit(pendinginteresttable,待定兴趣表)。fib类似ip的fib,记录转发已经响应的数据包interest包及其到达接口,允许有一组出口,而不限于是一个。内容缓存可以尽可能长时间的缓存已经转发的数据包,以供其他消费者使用。pit记录已经转发但尚未被响应的interest包及其到达接口,目的是为了让响应数据包能准确到达其请求者,当响应数据包利用某pit条目转发后,或者某pit条目超出时间阈值,该条目被擦除。大多数cnn网络数据的生成与处理是在cnn网络内完成的,效率较低,cnn网络负载过高。技术实现要素:本申请针对现有的cnn网络内部的数据的生成与处理效率低,cnn网络负载过高的问题,提供一种基于cnn网络的数据处理方法及系统。本申请提供一种基于cnn网络的数据处理方法,包括:数据生成模块接收各个携带兴趣包的请求数据;数据生成模块筛选出符合预设条件的请求数据;处理模块对所述符合预设条件的请求数据进行分析,获得用户感兴趣的数据。可选的,所述数据生成模块筛选出符合预设条件的请求数据步骤之后,所述处理模块对所述符合预设条件的请求数据进行分析,获得用户感兴趣的数据步骤之前,还包括:数据生成模块将所述符合预设条件的请求数据发送至存储模块中,以供所述存储模块存储所述符合预设条件的请求数据;处理模块从所述存储模块中获取所述符合预设条件的请求数据。可选的,所述数据生成模块筛选出符合预设条件的请求数据步骤,包括:数据生成模块判断所述请求数据所携带的兴趣包是否存在于待定兴趣表;数据生成模块若判断出所述请求数据所携带的兴趣包不存在于所述待定兴趣表,则将兴趣包不存在于所述待定兴趣表的请求数据作为所述符合预设条件的请求数据。可选的,所述数据生成模块筛选出符合预设条件的请求数据步骤,还包括:数据生成模块解析所述兴趣包的内容名称,获取所述兴趣包的名称字段;数据生成模块判断所述兴趣包的名称字段后缀是否包含-s和数字;数据生成模块若判断出所述兴趣包的名称字段后缀不包含-s和数字,则将兴趣包的名称字段后缀不包含-s和数字的请求数据作为所述符合预设条件的请求数据。可选的,所述处理模块对所述符合预设条件的请求数据进行分析,获得用户感兴趣的数据步骤之后,包括:定制模块根据所述用户感兴趣的数据针对相关主体进行对应的相关数据的订阅。可选的,所述定制模块根据所述用户感兴趣的数据针对相关主体进行对应数据的订阅步骤之后,包括:发布模块通过cnn网络获取与所述相关主体对应的所述相关数据,并将所述相关数据推送至所述相关主体。本申请还提供一种路由器,其特征在于,包括:数据生成模块,用于数据生成模块接收各个携带兴趣包的请求数据;筛选出符合预设条件的请求数据;处理模块,用于对所述符合预设条件的请求数据进行分析,获得用户感兴趣的数据。可选的,所述数据生成模块还用于将所述符合预设条件的请求数据发送至存储模块中,以供所述存储模块存储所述符合预设条件的请求数据;所述处理模块还用于从所述存储模块中获取所述符合预设条件的请求数据。可选的,还包括:定制模块,用于根据所述用户感兴趣的数据针对相关主体进行对应的相关数据的订阅。可选的,还包括:发布模块,用于通过cnn网络获取与所述相关主体对应的所述相关数据,并将所述相关数据推送至所述相关主体。本申请从cnn网络边缘进行数据收集,完成用户感兴趣的数据的收集和分析,保护数据收集功能的独立性的同时也保证了ccn网络的原有功能,提高了数据的生成与处理效率,降低了cnn网络的负载。附图说明图1为本申请第一实施例提供的一种基于cnn网络的数据处理方法的流程图;图2为本申请第二实施例提供的一种基于cnn网络的数据处理方法的流程图;图3为本申请第三实施例提供的一种路由器的结构示意图;图4为本申请第四实施例提供的一种路由器的结构示意图。具体实施方式为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。本申请提供一种基于cnn网络的数据处理方法、系统。以下分别结合本申请提供的实施例的附图逐一进行详细说明。本申请第一实施例提供的一种基于cnn网络的数据处理方法如下:本申请实施例的执行主体是路由器,如图1所示,其示出了本申请实施例提供的一种基于cnn网络的数据处理方法的流程图,包括以下步骤。步骤s101,数据生成模块接收各个携带兴趣包的请求数据。步骤s102,数据生成模块筛选出符合预设条件的请求数据。步骤s103,处理模块对所述符合预设条件的请求数据进行分析,获得用户感兴趣的数据。本申请实施例从cnn网络边缘进行数据收集,完成用户感兴趣的数据的收集和分析,保护数据收集功能的独立性的同时也保证了ccn网络的原有功能,提高了数据的生成与处理效率,降低了cnn网络的负载。本申请第二实施例提供的一种基于cnn网络的数据处理方法如下:本申请实施例的执行主体是路由器,如图2所示,其示出了本申请实施例提供的一种基于cnn网络的数据处理方法的流程图,包括以下步骤。步骤s201,数据生成模块接收各个携带兴趣包的请求数据。为了解决cnn网络内部的数据的生成与处理效率低,导致cnn网络负载过高的问题,本申请实施例在cnn网络边缘的路由器一侧采集用户各个携带兴趣包的请求数据。数据生成模块部署在cnn网络边缘的路由器上,请求数据包括时间戳、数据包类型、路由器id、上下游接口等信息。需要说明的是,在ccn网络中,用户通过发送兴趣包告诉网络自己的需求,网络根据这些信息来找寻用户所需要的内容包。兴趣包是一种数据包类型,拥有一个内容名称,同时该名称被加密签名。用户请求数据时只需要注明数据名称,而不需要声明去哪取,路由的工作交给了网络中的节点。步骤s202,数据生成模块判断所述请求数据所携带的兴趣包是否存在于待定兴趣表,若是,则流程结束;若否,则执行步骤s203。步骤s203,数据生成模块将兴趣包不存在于所述待定兴趣表的请求数据作为所述符合预设条件的请求数据。路由器的数据生成模块接收到各个携带兴趣包的请求数据后,首先判断所述请求数据所携带的兴趣包是否存在于pit(待定兴趣表)中。若是,则说明该face(接口)不久前己经请求过该资源,在一个路由器内,如果有一个兴趣包请求某内容,则其他经过该路由器且对同一内容感兴趣的消费者可以共享该请求。在短时间内再次接收到该请求数据,是ccn网络中的协议自动重传,不能反映用户的真实需求情况,因此不记录该请求数据。若所述请求数据所携带的兴趣包不存在于pit中,则说明该face没有请求过该资源,可以反映用户真实需求情况,将兴趣包不存在于所述pit的请求数据作为所述符合预设条件的请求数据,记录到日志中。在cnn网络边缘节点采集用户数据,利用日志的形式用于用户感兴趣的数据的收集,收集的数据包括数据上下游接口、资源名称、用户签名信息等。日志的收集工作由scribe(日志收集系统)和hadoop(分布式系统基础架构)完成。scribe从cnn边缘节点收集到日志后发送给hadoop,hadoop采用集群的形式,独立于cnn网络之外,并行化处理海量数据。所述符合预设条件的请求数据只是记录到日志中,存储相关的数据还需存储到相应的存储模块,下文予以论述。步骤s204,数据生成模块解析所述兴趣包的内容名称,获取所述兴趣包的名称字段。步骤s205,数据生成模块判断所述兴趣包的名称字段后缀是否包含-s和数字,若是,则流程结束;若否,则执行步骤s206。步骤s206,数据生成模块将兴趣包的名称字段后缀不包含-s和数字的请求数据作为所述符合预设条件的请求数据。路由器的数据生成模块接收到各个携带兴趣包的请求数据后,解析兴趣包的内容名称,获取兴趣包的名称字段,然后判断兴趣包的名称字段后缀是否包含-s和数字。ccn网络中会对数据进行分片,然后对分片的数据进行分发,每个数据片都有一个名称。ccn网络不知道兴趣包最后目的地在哪,不知道兴趣包是谁发送,只通过兴趣包的名称进行转发。-s和数字是携带兴趣包的请求数据是分片请求的标志,若兴趣包的名称字段后缀包含-s和数字,则说明为ccn网络中的分片请求,不记录该请求。若兴趣包的名称字段后缀不包含-s和数字,则说明不是ccn网络中的分片请求,可以反映用户真实需求情况,将兴趣包的名称字段后缀不包含-s和数字的请求数据作为所述符合预设条件的请求数据,记录到日志中。步骤s207,数据生成模块将所述符合预设条件的请求数据发送至存储模块中,以供所述存储模块存储所述符合预设条件的请求数据。步骤s208,处理模块从所述存储模块中获取所述符合预设条件的请求数据。在数据生成模块和存储模块之间还包括数据收集模块,数据生成模块将收集到的符合预设条件的请求数据发送给数据收集模块,再发送至存储模块。数据的传送利用多线程,路由器设置发送数据的端口号、线程数、缓存路径、接收数据的端口号。存储模块是独立于路由器之外的模块,位于云端或服务器,因为在批量处理数据的前提下,会产生大量的数据,需要额外配置独立于路由器的存储模块。在路由器内部只用于数据的缓存或者将数据记录到日志中,并不参与数据的存储。这些数据排成共享队列,等待进入后端的中央服务器上,当数据暂时不可达,节点会将数据暂存于本地,等待对数据批量处理。数据收集模块通过存储路径对数据进行批量处理,将所述符合预设条件的请求数据发送至存储模块中。然后处理模块通过获取存储模块中的符合预设条件的请求数据,从而对数据进行分析。步骤s209,处理模块对所述符合预设条件的请求数据进行分析,获得用户感兴趣的数据。处理模块从存储模块获取到符合预设条件的请求数据,然后进行分析,包含数据过滤、数据统计、数据排序。数据过滤是根据数据内容的唯独进行分析预处理和过滤,例如维度是数据类型、用户类型、内容提供商等。数据统计是读取收集的日志记录,根据过滤条件,按照满足条件数据进行统计,例如某个关键字出现的次数等。数据排序步骤依赖于数据统计的结果,例如根据数据统计的各个关键字出现的次数进行排序,查找排名前n的对象。通过上述分析数据的步骤,得出分析结果,获得用户感兴趣的数据。步骤s210,定制模块根据所述用户感兴趣的数据针对相关主体进行对应的相关数据的订阅。定制模块根据所述用户感兴趣的数据针对相关主体进行对应的相关数据的订阅,定制模块存储着定制内容和定制用户的数据集合。相关主体可以是商家后台等。例如,定制用户a针对卖鞋的商家定制鞋相关的用户感兴趣的数据,则通过路由器的定制模块定制对应的鞋相关的用户感兴趣的数据。步骤s211,发布模块通过cnn网络获取与所述相关主体对应的所述相关数据,并将所述相关数据推送至所述相关主体。发布模块通过cnn网络获取与所述相关主体对应的相关数据,将相关数据或定制用户发送给相关主体,可以用于主体推荐和资源部署。例如,定制用户a针对卖鞋的商家定制鞋相关的用户感兴趣的数据,则通过路由器的定制模块定制对应的鞋相关的用户感兴趣的数据,路由器定向的向卖鞋的商家分发鞋相关的用户感兴趣的数据或定制用户a。本申请实施例设计了一种基于cnn网络的数据处理方法,利用路由器中的数据生成模块,数据收集模块、处理模块、定制模块、发布模块完成用户感兴趣的数据的收集和分析。从cnn网络边缘进行数据收集,保护数据收集功能的独立性的同时也保证了ccn网络的原有功能,提高了数据的生成与处理效率,降低了cnn网络的负载。并且针对定制的内容进行发布,更高效的利用数据资源。同时用户对处理结果的实时性要求不高,数据批量处理,避免了频繁的i/o操作,避免数据丢失,保证了数据安全性。本申请第三实施例提供的一种路由器如下:在上述的第一实施例中,提供了一种基于cnn网络的数据处理方法,与之相对应的,本申请还提供了一种路由器。如图3所示,其示出了本申请实施例提供的一种路由器的结构示意图,包括:数据生成模块11,用于数据生成模块接收各个携带兴趣包的请求数据;筛选出符合预设条件的请求数据;处理模块12,用于对所述符合预设条件的请求数据进行分析,获得用户感兴趣的数据。本申请第四实施例提供的一种路由器如下:可选的,如图4所示,其示出了本申请实施例提供的一种路由器的结构示意图,本申请实施例在上述第三实施例的基础上,所述数据生成模块11还用于将所述符合预设条件的请求数据发送至存储模块15中,以供所述存储模块15存储所述符合预设条件的请求数据。所述处理模块12还用于从所述存储模块15中获取所述符合预设条件的请求数据。需要说明的是,请参看图4,存储模块不属于路由器之中,是独立于路由器之外的设备。可选的,如图4所示,所述路由器还包括:定制模块13,用于根据所述用户感兴趣的数据针对相关主体进行对应的相关数据的订阅。可选的,如图4所示,所述路由器还包括:发布模块14,用于通过cnn网络获取与所述相关主体对应的所述相关数据,并将所述相关数据推送至所述相关主体。可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1