一种考虑分区的边缘缓存替换改进方法与流程

本发明属于无线通信
技术领域：
，具体涉及一种考虑分区的边缘缓存替换改进方法。
背景技术：
：据思科虚拟网络指数的预测，在2018年各种形式的多媒体流量会达到网络流量的90％(参考文献1：cisco,“ciscovisualnetworkingindex:globalmobiledatatrafficforecastupdate,2012-2017,”whitepaper,[online]http://goo.gl/uq0djq,2013.)，随着无线接入上下行速率的激增，智能终端的全球化普及，以及自媒体不断发展的全球环境下，网络视频流量呈现指数增长的趋势。虽然近年来无线通信技术的发展非常迅速，如今的4g接入网可以为移动用户和静止用户分别提供高达100mbps和1gbps的带宽。但是，移动核心网络的发展似乎遇到了瓶颈，从基站经过移动中心网再到internet的这段链路带宽已经远远不能满足用户的需求。为了降低网络面临链路拥塞的风险概率，运营商会采用缓存技术来缩短用户与请求内容的距离。因此在无线接入网中，应用缓存技术被认为是如今最快最有效的解决方法。但是缓存空间是有限的，用户请求内容的流行度也在不断的变化中，当缓存空间被占满之后，就需要按照某种替换规则将缓存中不再具有缓存价值的数据释放出来，腾出空间来缓存新的具有缓存价值的数据，以提高缓存空间的请求命中率和字节命中率。现有的缓存替换算法主要分为四种类型：分别是基于访问对象大小、基于访问内容时间间隔、基于访问内容访问次数、基于访问内容价值。这些替换算法都只考虑了访问内容的访问特性，忽略了最重要的因素——网络终端用户，因此导致缓存的命中率不理想。网络终端用户的访问行为决定着被访问内容的各项访问特性，用户的访问行为具有不确定性、这种不确定性导致了被访问内容的流行度处在不断变化中，如何更准确地把握网络内容的流行度则是提高缓存命中率的关键因素。根据2016中国网络视听发展研究报告，报告的调查结果显示，截止2016年6月，我国网络视频用户规模达5.14亿，每周5天以上观看互联网视频的移动用户占比高达69.9％。来自cnnic网络视频用户调研报告显示，长视频中最受移动用户欢迎的节目类型是电影、电视剧、综艺，分别占比为50.9％、48.8％、33.7％，短视频中最受移动用户欢迎的节目类型是新闻资讯、搞笑视频、娱乐视频，分别占比为30.0％、25.4％、18.2％。而根据大数据统计，一段时间内只有一小部分的视频会被用户频繁的访问，二八定律凸显，并且用户对新网络内容更具偏好性。因此，对于更新速度越快的视频来说，流行度变化速度也就越快，若更新的视频具有相关性，流行度也具有相关性。通过考虑这些因素，本发明将提出一种改进的移动网络中的缓存替换方法。缓存替换算法中最重要的一个因素是流行度指标，流行度指标确定了，则缓存替换算法也就确定了，将缓存区中流行度最低的替换出去即可。经典缓存替换算法中评估一个网络资源的流行度大小，通常采用的指标为时间上和数量上，如当前网络中采用的被动型缓存替换算法主要是lru(leastrecentlyused)和lfu(leastfrequencyused)算法。lru算法以当前访问时间与上一次访问的时间间隔为指标，即以时间间隔越短，流行度就越高的规则来定义流行度。lfu算法根据记录网络内容从产生开始到当前时间被用户访问的总次数来定义当前内容的流行度，即以访问次数越高流行度越高的规则。有学者研究基于内容流行度的mpv(mostpopularvideos)替换算法，该算法需要极大的缓存空间才能获得较高的缓存效益，多应用于cdn(contentdeliverynetwork,内容分发网络)。现有的替换算法在一方面算法自身存在局限性，如lru算法考虑将最近最少使用的内容进行替换，极容易受到访问噪声的干扰，这种干扰是相当严重的，导致该算法的性能不理想。考虑将长时间内最小频率使用的内容进行替换的lfu算法也存在缺陷，该算法不能及时剔除那些在过去短时间内访问量激增而之后没有缓存价值的内容。先进先出fifo替换算法不仅会因为频繁地替换而导致资源浪费，而且不能延长流行度高的资源在缓存区的保存时间而导致缓存命中率较低。此外，一些缓存替换策略则通过延长某些内容在缓存空间中的时间来增加缓存的内容所服务的请求数目，而这并不能稳定保证延长缓存时间的那些内容资源的缓存价值高于未被缓存的内容资源。总之，现有的缓存替换算法除了自身算法的缺陷外，大多方案没有从用户的角度出发、没有考虑用户的行为特性，并且忽略了不同种类的网络内容的流行度趋势存在的差异对缓存产生的影响。技术实现要素：为了提高移动网络中缓存的命中率来提升网络性能，本发明分析现有缓存替换算法导致命中率不理想的因素，提出了一种考虑分区的边缘缓存替换改进方法。本发明提供的考虑分区的边缘缓存替换改进方法，包括以下步骤：步骤1，将缓存区c分为两个区，分别是新资源缓存区c1和旧资源缓存区c2；存储在c1的视频文件需满足三个条件：一是网络中产生的新视频内容，二是新视频的预估流行度高于c中视频的最低流行度，三是在c1中的驻留时间不超过预设时间ts；当视频缓存时间超过ts时，该视频将视为旧视频；c2根据视频的实际流行度来存储视频，并且其中的视频文件均在网络中已存在时间多于ts；步骤2，在用户访问前对新视频的流行度进行预估，在c1和c2中的视频每被访问一次时，更新视频的实际流行度；仅当新视频在缓存区c中存在相关续集时，设置该新视频的预估流行度等于缓存区c中相关续集视频文件的实际流行度；步骤3，缓存区中视频的替换策略，如下：(1)将c1中缓存时间超过ts的视频移出到c2；(2)当c1中某个视频的实际流行度是缓存区c中最低时，优先将该视频替换出去；(3)当用户访问的视频内容未在缓存c中时，计算该视频的实际流行度，如果高于缓存c的最低流行度时，进一步判断缓存区是否有剩余空间存储，如果有，存储该视频，如果没有，则将缓存区中实际流行度最低的文件依次替换出去，直到有足够的存储空间；如果该视频为网络中新产生的视频文件，则将其缓存到c1中，否则缓存到c2中。本发明的优点与积极效果在于：本发明在微蜂窝移动网络架构下，结合现如今网络发展趋势以及移动网络用户的用户行为特征，提出了一种改进的边缘缓存替换方法，通过提高边缘缓存命中率，使小区基站利用有限的缓存空间换取最优的缓存效益，并且能实时适应网络访问资源流行度的快速变化，使得网络性能变得更加稳定。附图说明图1是移动网络边缘缓存模型示意图；图2是本发明的提供的边缘缓存替换改进方法的一个整体流程示意图；图3是本发明方法与现有两种缓存算法在不同缓存空间下的缓存性能对比图；图4是本发明方法与现有两种缓存算法在不同缓存空间下的缓存替换次数对比图；图5是本发明方法与现有两种缓存算法在不同流行度变化跨度下的缓存性能效果图。具体实施方式下面将结合附图和实施例对本发明作进一步的详细说明。为了提高移动网络中缓存的命中率来提升网络性能，本发明分析现有缓存替换算法导致命中率不理想的因素，提出了一种改进的缓存替换方法，一是根据用户行为特性，用户对新网络视频资源的偏好性高于旧视频网络资源，新网络视频资源的流行度变化速度较快，而旧网络视频资源的流行度变化速度相对较慢，从而需要对新旧两类网络视频资源制定不同的流行度指标来减小计算流行度与实际流行度之间的误差，对新网络视频资源采用主动缓存替换策略，对旧网络视频资源采用被动缓存的替换策略，可避免访问噪声的干扰以及短暂式高访问的视频长期占据缓存空间的情况。二是通过引入内容相关度来预估新网络视频资源的流行度。下面结合附图和实施例来具体说明。如图1所示，为一个网络场景，其中的小小区基站(smallcell)都具有边缘缓存的能力，将本地热点视频存储到本地区域的小基站cache中，当小小区用户请求内容时，若小基站中已缓存了相应的内容，则直接由小基站对该用户提供服务，若小基站没有，则从宏基站通过回程链路链接的核心网从internet中的内容服务器中去获取。图中，sgw(servinggateway)为服务网关，pgw(packetdatanetworkgateway)为分组数据网关。由于缓存容量有限，网络中的热点内容随时在发生着变化，因此缓存在小基站的内容需要及时更替来实现最大限度为用户服务的需求。由于视频流量在移动网络中占主导地位，本发明基于此研究提供了一种基于视频的改进的边缘缓存替换方法。如图2所示，为本发明的边缘缓存替换改进方法的流程图，下面对各步骤进行说明。步骤1)对缓存空间进行分区。本发明将缓存空间分为新资源缓存区c1、旧资源缓存区c2两个，两个缓存区的空间总和为缓存总容量c。两缓存区的大小可以自适应调整。其中c1缓存区存储的内容需满足三个条件：一是网络中产生的新视频内容，二是新视频的预估流行度高于缓存区c中视频文件的最低流行度pmin，三是在c1区缓存的时间不能超过时间ts，当c1缓存区的内容的缓存时间超过ts时，将其转移到c2缓存区。ts为一预设的时间长度，在超过该时间长度后，将新视频标记为旧视频。c2缓存区的视频文件都满足的条件是视频文件在网络中已存在时间多于ts。c2根据视频文件的实际流行度来缓存视频文件，视频的实际流行度越高，越优先存入缓存区c2。步骤2)当产生一个新视频内容时，在用户访问前，对新视频的流行度预估。在c1和c2中的视频每被访问一次时，更新视频的流行度。一个新的电影或者电视剧或者综艺的流行度往往与前期的宣传、演员的热度、剧情类型、制作团队等等存在密切的关系。这三类视频也是视频用户最偏爱的视频文件类型。根据用户群体对不同类型的视频文件的偏好度也可以作出大致的流行度预估，随着大数据不断发展，流行度预估误差将不断缩小。事实上，对于每一剧集的视频来说，流行度往往可以通过与之相关的上一剧集的实际流行度来预估，即相关的视频剧集流行度具有延续性，如电视连续剧、综艺周播剧、电影系列片等等。因此本发明引入视频内容相关度r，为了简化算法，当新的视频文件是缓存区c中的视频文件的相关续集时，设定r＝1，该新视频文件的预估流行度值就等于缓存区的相关视频文件实际流行度值。如果新的视频文件在缓存区c中没有视频文件与之相关时，可设定r为0，默认设置预估流行度较低，例如可设置为0，此时该视频不能直接存入c1缓存区，得通过实际用户访问之后的流行度计算值来进行判断是否需要及时存入缓存区。在用户访问前，对新视频内容进行流行度预估，存在两种情形：一是当其流行度预估值高于缓存区最低流行度值时，将其预存在c1缓存区，存入c1缓存区后，再根据用户的实际访问次数计算实际的流行度，若实际流行度低于缓存区最低流行度pmin，则将其删除，反之，则一直缓存在c1缓存区直到超过驻留时间ts后再移入c2缓存区；二是当其预估值低于缓存区最低流行度值时，不进行缓存操作，但当用户对该新视频内容的实际访问频率高于缓存区最低流行度值时，需要将其及时缓存到c1缓存区。在c1和c2中的视频每被访问一次时，更新视频的实际流行度。c1缓存区中视频文件实际流行度p通过以下公式计算：其中，rt表示每个统计窗口里视频文件被访问的次数。s表示视频文件的大小。beg表示统计时间段的开始，cur表示统计时间段的截止。统计窗口是指相同的时间间隔内的流行度统计。c2缓存区中视频文件实际流行度的计算通过ewma(exponentiallyweightedmoving-average，控制图)算法进行计算，如下：tn+1＝(1-α)*tn+α*(tcur-tlast)(2)p＝1/tn+1/s(3)其中，tn+1表示当前被访问视频文件的平均访问时间间隔，tcur表示视频文件当前的访问时间，tlast表示文件上一次被访问的时间，α为加权因子，取值为0到1之间的小数，它表示本次访问对当前流行度的影响，也表示对历史流行度的遗忘度。步骤3)缓存区中视频的替换策略。首先缓存区c1与c2缓存区的缓存空间大小不是固定的，可以自适应调整，以实现缓存命中率的最大化。其次每一次用户对视频文件的访问都会导致缓存区的视频文件的实际流行度发生改变。以下几种情况时会导致缓存区文件内容状态发生变化：一、在缓存区c1中的某个视频，当其实际流行度时缓存区c中最低时，则该视频内容将优先被替换出去。二、在缓存区c1中的视频，当其缓存时间超过驻留周期ts后将移入缓存区c2。三、当用户访问的视频内容原本不在缓存区c1和c2，但是其访问流行度已经高于缓存区部分视频文件的实际流行度，此时需要将缓存区中一部分缓存流行度最低的文件删除出去，腾出空间来缓存该视频文件。若该文件为网络中的新产生的视频文件，则将其及时缓存到c1缓存区中；若该文件不是新视频文件，则直接缓存到缓存区c2中即可。如图3所示，缓存区c1随时将缓存时间超过ts的视频移出。当收到用户请求时，查找所要请求的视频u是否在缓存区c中，若在，则更新视频u的记录项信息，更新计算视频u的实际流行度，将缓存的视频数据传输给用户。如果用户所请求的视频u不在缓存区c中，查询缓冲区c是否有剩余空间，如果有，在缓存区为该视频u创建记录项，并缓存该视频u。如果缓冲区c没有剩余空间，则计算视频u的流行度，当视频u的流行度高于缓存区c中视频的最低流行度pmin时，将缓存区c中流行度最低的视频记录项删除，在缓存区为视频u创建记录项，并缓存视频u。在缓存视频文件u时，从上级网络节点获取视频文件数据，如果该视频是网络中产生的新视频，缓存至c1中，若不是新视频缓存到c2中。为了更高效地缓存，需要对相关文件访问信息以及属性进行记录，便于流行度的计算以及缓存区内容的管理，本发明实现了缓存区记录项，为缓存区中的每个视频建立一个记录项。需要占用34个字节的存储空间，对于一个网络文件来说，它所占据的空间并不显得很大，尤其对于视频大文件来说，牺牲这部分缓存空间是值得的。下面将列出缓存记录项中包含的字段内容表1边缘缓存文件的记录项信息字段符号数据类型占用字节数物理含义tlast整型4文件上一次访问时间tcur整型4文件当前访问时间tbeg整型4文件记录开始时间r整型1文件相关度p长浮点型8当前实际流行度location整型4文件缓存的位置class整型1缓存区号count整型4访问次数size整型2文件大小α浮点2ewma算法流行度加权因子当视频每次被访问时，都会更新记录项，并重新计算视频文件的流行度。缓存区c中视频的最低流行度需要根据视频的实际流行度及时更新。实施例：仿真假设当前有n个网络视频文件可以被用户访问，同时每天会有x个新的视频文件产生，为简化缓存替换过程，根据用户最喜欢的视频文件类型——电影、电视剧、新闻资讯、搞笑视频等，仿真中的每个视频文件大小将在400m、200m、100m、30m这四值取其一，仿真中设置n的值为10000。x的值设置为50，缓存空间大小为c。网络中每个文件被用户访问到的概率并不相同，文件的访问概率大致存在zipf分布的规律，即流行度排第一的视频文件被访问的概率最高，流行度越低访问概率也就越低，呈现指数衰减的趋势，根据zipf分布第i个文件的访问概率pi为:其中n是前面提到的当前可被用户访问到的所有视频文件数，αz为zipf分布的参数，取值为0到1之间，它的大小决定了访问概率随排名降低的快慢，值越大，访问就越集中。根据二八定律，仿真中将αz的值设定为0.8。但是由于用户对网络视频的访问存在随机变化性，流行度的计算也会有一定的误差，因此本实施例假设流行度排名存在e个误差位，因此仿真中流行度排第i位的文件将采用如下的访问概率：其中，random(a,b)表示取a到b之间(不包含a,b)的随机整数。仿真中假定用户访问请求的时间间隔服从泊松分布，用λ表示泊松分布的均值，即平均访问请求间隔，设定λ值为60秒，则可通过泊松分布来产生用户访问时间间隔的随机数，再通过公式(5)的近似zipf分布来确定本次请求所访问的文件，则产生一次访问事件。本次仿真实验一共产生了100万次访问事件，下面的表2将列出仿真中使用到的参数以及参数默认值与参数意义。详细的仿真参数如表2所示：表2仿真参数设置参数字段参数意义及默认值n当前用户能访问到的网络视频文件数(10000个)x每天新增的网络视频文件数(50个)λ用户访问平均时间间隔(60秒)αz流行度zipf分布参数(0.8)c缓存空间大小(40000m)c1c1缓存区空间大小(动态大小、c1+c2＝c)c2c2缓存区空间大小(动态大小、c1+c2＝c)e流行度误差位数(5)αewma算法加权因子(0.6)s视频文件大小(400m、200m、100m、30m)tsc1缓存区缓存期限(48h)hitratio缓存命中率本实施例从不同的角度对本发明提出的改进缓存方法进行了仿真实验，并与传统的lru、lfu算法进行了对比。一方面是在不同的缓存空间大小下的缓存命中率和缓存替换次数的仿真对比，另一方面是在不同流行度变化速度(通过流行度变化跨度的文件数表示)下的缓存命中率的表现。首先，将本发明方法，在图3～图5中记为改进替换算法，与传统的lru、lfu两种缓存替换算法，在不同的缓存空间大小下做了性能对比仿真，仿真结果如图3所示，从图中可以看出，本发明方法明显优于传统缓存算法，尤其是在缓存空间较小时，本发明方法的优势更加凸显，一方面是因为本发明方法能减小访问噪声的干扰，能减小流行度的实际误差。另一方面由于传统替换算法的时间局限性导致缓存性能的不稳定性，会受到访问噪声的严重影响，因此传统替换算法在缓存空间较小时的缓存效率较低。其次，由于影响边缘缓存性能的另一个因素是缓存的替换次数，缓存的替换次数越少，占用的网络资源就越少，能有效提高网络资源的利用率。仿真对比图如图4所示，仿真中用户访问次数为1万次，流行度仍然服从参数为0.8的zipf分布，从图中可以看出本发明方法在任意占比的缓存空间下，缓存替换次数明显比传统lru替换算法替换次数少很多，并且在缓存空间大于百分之十以后也明显优于传统lfu算法，传统的lfu算法在缓存空间较小的情况下，发生替换的次数很少的原因是因为当缓存空间缓存了流行度最高，访问次数最多的文件后就会很难被别的文件替换出去，由此便造成了曾经流行度高的视频文件长时间占用缓存空间使得缓存性能下降。最后从网络视频资源流行度的变化速度出发，已流行度排名变化的跨度为变量，仿真对比出改进替换算法方案与传统替换算法方案的结果如图5所示，可以看出本发明方法随着流行度变化速度越快的情景下仍然能保持较高的缓存命中率，面对如今快餐式的互联网时代，移动网络用户的喜好也发生着快速的变化，因此，在移动网路边缘缓存体系中，采用本发明方法是一种更佳的选择。本发明结合新旧网络资源在流行度趋势上表现出的较大差异，来制定不同的流行度指标，避免短暂式高访问的新视频在一段时间后仍然长期占据缓存空间的情况，同时，还结合网络视频资源的内容延续性，引入内容相关度来预估延续内容的流行度。通过对新旧网络资源分类缓存，新网络资源根据内容相关度计算流行度进行主动型缓存替换，旧网络资源根据实际流行度采用被动型缓存替换。通过验证，本发明能提高边缘缓存命中率，使小区基站利用有限的缓存空间换取最优的缓存效益，实时适应网络访问资源流行度的快速变化。当前第1页12