一种基于马尔可夫决策过程的移动平台能耗优化方法与流程

本发明属于计算机网络通信技术领域，具体涉及一种基于马尔可夫决策过程的移动平台能耗优化方法。

背景技术：

随着科技不断推陈出新，智能移动设备的市场占有额不断提升。与此同时，随着无线接入网络技术的发展与提升，移动互联网成为了继大型机、小型机、个人电脑、桌面互联网之后的第五个发展周期。截至2016年6月，国内手机网民人数已经达到了6.56亿，网民中用手机上网的人数已从2015年底的90.1%提升到了92.5%，仅通过手机上网网民也占到24.5%，人们上网设备更向移动终端集中。

社交网络作为以人类社交为核心的网络服务形式，随着互联网的不断发展，也逐渐成为网络中的主流。在日常生活中，全国每人每天大约花费200分钟在手机使用上，而使用较为频繁的多为社交软件，包括了微信、qq、新浪微博等。自2009年新浪微博进行内测开始，新浪微博就成为了国内最具影响力的社交平台之一。据2011年发布的国内社会化媒体分享排行，新浪微博用户百分比为31.29%，位列第一。新浪微博作为现下最为火爆的社交平台之一，在2012年12月底注册用户已超5亿，直至2015年微博月活跃量用户突破了2.12亿，移动端用户占有86%。微博每天产生10万篇文章，视频上万条，图片2100万张。在微博信息中，图片成为了主要转载方式，为微博中必不可少的一部分。

如新浪微博开放平台中，可以查看到微博中包含的图片格式分为原图、高清图以及缩略图不同类型，实验结果显示，不同格式图片在刷新过程中所需要的能耗是不同的，并有明显差异。而在实际生活中，用户在不同环境状态下，手机下载功率以及下载时长是各不相同的，刷新图片微博所需要的能耗较高。针对上述问题本发明提出手机在不同的网络环境状态下，执行不同的刷新动作，刷新当时环境状态下最佳图片格式，达到最大化能耗优化。

在移动客户端使用过程中，用户所在的网络环境是不断变化的，并且网络信号强度是不断动态变化的，4g和wi-fi网络信号的变化都是相互独立的，下一个信号强度与上一个信号强度没有相互关联关系，为了应对这种动态变化的过程，提出使用马尔可夫决策过程。马尔可夫决策过程是根据每个时刻观察的状态，从可用的动作集合中选用一个行动并做出决策，并且系统下一步的状态是随机变化的。在日常生活中，很多过程与马尔可夫决策过程都是十分相似的，例如排队系统、人口变化过程，本发明中发现4g网络信号和wi-fi网络信号变化过程与上述问题也十分相似，它们状态转化都是随机发生变化的，并通过不同的动作获得不同的奖励值，最终计算得出最优策略决策表。

技术实现要素：

为了克服上述现有技术的不足，本发明的目的是提供一种基于马尔可夫决策过程的移动平台能耗优化方法，针对移动社交应用自身下载内容，在移动社交应用运行过程中，根据当前用户所在的网络信号强度等级值(主要为4g、wi-fi)、所在的环境是不断变化的，时间间隔值、剩余电量值，选择微博中图片的不同格式，包括原图、高清、缩略图以及无图，利用连续时间的mdp模型描述环境状态变化过程，状态转换概率表现状态转移随机性，然后针对用户决策制定过程进行数学建模，仿真优化获取最优策略决策表，降低移动平台能耗，同时减少用户刷新时间。

为了实现上述目的，本发明采用的技术方案是：

一种基于马尔可夫决策过程的移动平台能耗优化方法，包括以下步骤：

1）使用基于新浪微博开放平台提供的api接口自主开发的安卓应用，mix测试app，该应用具备新浪微博移动客户端用户登录、刷新信息、发布信息、翻阅信息以及退出登录等功能；

2）mix测试app自动采集用户所在环境状态值，环境状态值包含网络信号，所述的网络信号为4g或wi-fi网络，4g或wi-fi网络强度等级值、时间间隔值，手机剩余电量值，用户刷新微博频率值，同时，根据网络信号强度等级值设置wi-fi网络断连阈值，移动终端自动切换4g与wi-fi通讯网络；马尔可夫决策过程是一个四元组状态的集合，包括(s，a，p.(.,.)，r.(.))，步骤2）采集到的环境状态值，即为有限状态集合s包含的状态，当用户使用移动终端时，移动终端优先连接wi-fi网络，然后设置网络切换阈值，此方法成为mix网络切换模式，网络信号等级值根据android开源api中定义的lte信号强度等级值划分方式，每个网络信号等级划分为5级，分别为5、4、3、2、1，当wi-fi网络信号强度等级值不大于2时，用户无法完成刷新微博动作，此时达到网络切换阈值，应用自动切换到4g通讯网络；

3）建立连续时间mdp数学模型，根据步骤2）采集到的环境状态值作为mdp模型的状态空间，然后建立mdp模型的动态转移概率，最后建立mdp模型的动作空间，以最优奖励值作为目标函数，仿真mdp模型变化过程，获取最优策略决策表；

4）利用matlab仿真mdp模型，将所有状态集合作为输入值，求解模型获得最优策略决策表；

5）在实际使用过程中，mix测试app根据环境状态值以及步骤4）最优策略决策表，选择最佳通讯网络以及最佳图片格式，完成刷新微博动作。

所述的步骤1）中mix测试app，包含用户登录、刷新信息、发布信息、翻阅信息以及退出登录，在实际刷新信息过程中，需要通过网络连接向服务器端发送请求，根据返回url地址进行下载相关内容，其中内容包含文字信息，图片信息，在优化方法中，通过动态选择图片格式，根据相对应图片格式url地址，选择最佳图片格式，下载刷新微博。

所述的步骤3）将步骤2）采集到的环境状态值整理生成概率集合p，以及相关动作集合a、奖励集合r作为mdp模型输入值，动作集合a中包含网络信号等级值对应的刷新图片格式，将动作集合a细分到4g与wi-fi两种网络动作集合，在4g网络连接下，当信号强度等级值为1时，此时网络将视为无法连接网络，因为此时需要大量能耗下载刷新微博，所以该等级值下无法刷新微博，其它等级值下，从高到低对应下载图片格式为原始图片、高清图片、缩略图以及无图格式，而在wi-fi网络连接下，当信号强度等级值不大于2时视为网络断连，无法下载刷新微博，其它从高到低等级值对应下载图片格式分别为原始图片、高清图片以及缩略图片。

本发明的有益效果是：

该方法核心为根据用户所处环境状态值，不断动态调整用户决策表。在实际使用过程中，使用mix测试app以及mix网络切换模式，使用最佳网络以及选择最佳图片格式，减少网络断连时间以及降低应用自身能耗。

附图说明

图1为本发明社交app模型。

图2为本发明使用场景图

图3为本发明方法的工作流程图。

具体实施方式

下面结合实施例和说明书附图对本发明的技术方案做详细的说明，但不限于此。

如图1所示，用户登录mix测试app，应用自动跳转到新浪微博用户认证界面，输入账号密码获取用户token密令，在一定时间内token密令有效，并下次登入无需再次验证。

用户登入mix测试app以后，应用将自动采集用户所在环境状态值，环境状态值包含网络信号(主要为4g与wi-fi网络)强度等级值、时间间隔值，手机剩余电量值，用户刷新微博频率值，将采集到的环境状态值以数据库设置好的格式进行整理排序，存储到手机本地数据库，并最后将数据以邮件形式发送到指定邮箱。

建立连续时间mdp数学模型，根据步骤2采集到的环境状态值作为mdp模型的状态空间，根据数据计算各环境状态转换间概率值，然后建立mdp模型的动态转移概率矩阵，最后建立mdp模型的动作集合，以最优奖励值作为目标函数，仿真mdp模型变化过程，获取最优策略决策表，输出到本地。一般而言，马尔可夫决策过程是一个四元组状态的集合，包括(s，a，p.(.,.)，r.(.))。步骤2采集到的环境状态值，即为有限状态集合s包含的状态。当用户使用移动终端时，移动终端优先连接wi-fi网络，然后设置网络切换阈值，此方法成为mix网络切换模式。网络信号等级值根据android开源api中定义的lte信号强度等级值划分方式，每个网络信号等级划分为5级，分别为5、4、3、2、1。当wi-fi网络信号强度等级值不大于2时，用户无法完成刷新微博动作，此时达到网络切换阈值，应用自动切换到4g通讯网络，完成微博刷新。

利用matlab仿真mdp模型，求解模型获得最优策略决策表，并将最优策略决策表嵌入到mix测试app手机中，以便用户实际使用时查找最优策略。动作集合a中包含网络信号等级值对应的刷新图片格式，将动作集合a细分到4g与wi-fi两种网络动作集合。在4g网络连接下，当信号强度等级值为1时，此时网络将视为无法连接网络，因为此时需要大量能耗下载刷新微博，所以该等级值下无法刷新微博。其它等级值下，从高到低对应下载图片格式为原始图片、高清图片、缩略图以及无图格式。而在wi-fi网络连接下，当信号强度等级值不大于2时视为网络断连，无法下载刷新微博，其它从高到低等级值对应下载图片格式分别为原始图片、高清图片以及缩略图片。

在实际使用过程中，mix测试app通过获取到的环境状态值，在本地存储的最优策略决策表中查找最优策略，切换最优通讯网络(主要为4g和wi-fi)，下载最佳图片格式，完成刷新微博动作。

如图2所示，本方法使用场景如图所示，用户作为使用者，持有移动终端设备在lte基站以及wi-fi覆盖范围内自由移动，终端设备开启4g与wi-fi网络连接，终端将首先连接wi-fi网络，用户将在区域内根据自身行为习惯查看刷新微博。

用户第一次使用过程时，移动终端设备将自动采集用户所在环境状态值，并将采集到的状态值以数据库内设置格式存储到本地，如图2所示。然后，当数据量达到指定数量级时，终端设备将自动通过邮件方式发送到指定邮箱。当服务器端接收到用户采集到的数据以后，存储到服务器指定位置，运行数据处理程序将数据拟合。数据处理具体过程如下：

将所有可能出现的状态值推导出并记录，并设置各个状态值相互转换的矩阵。

根据实际接收到的数据，分析计算相邻两种状态值出现的次数，并记录到状态转换矩阵中。

统计实际数据中状态值出现的总次数，然后分别将状态转换矩阵中，每个状态转换的次数除以总次数，最终得到状态转换概率矩阵。

通过仿真工具，将处理后的概率矩阵以即设定好的奖励函数作为输入值，建立mdp数学模型，具体过程如下所示：

设置相关奖励函数r,根据奖励函数设置相关奖励值矩阵。

设置动作集合a中包含网络信号等级值对应的刷新图片格式，将动作集合a细分到4g与wi-fi两种网络动作集合。在4g网络连接下，当信号强度等级值为1时，此时网络将视为无法连接网络，因为此时需要大量能耗下载刷新微博，所以该等级值下无法刷新微博。其它等级值下，从高到低对应下载图片格式为原始图片、高清图片、缩略图以及无图格式。而在wi-fi网络连接下，当信号强度等级值不大于2时视为网络断连，图片格式为无法下载刷新微博。网络信号强度等级值从高到低排列，为5、4、3三种有效等级值，此时分别对应最佳其它从高到低等级值对应下载图片格式分别为原始图片、高清图片以及缩略图片。

将状态转换概率矩阵和奖励值矩阵带入到仿真工具中，获得相关最优策略决策表将仿真工具获得的最优策略决策表，通过数据整理程序运行输出mix测试app能够识别的格式，然后将整理后决策表以邮件形式发送到应用，用户此时在4g与wi-fi覆盖范围内自由移动，按照自身使用习惯刷新微博，整体流程图如图3所示，应用此时具体使用过程如下：

用户刷新微博时，移动终端优先连接wi-fi网络，用户自动收集环境状态值。

如果wi-fi网络信号强度等级值低于设定阈值，即信号强度等级值不大于2时，将使用mix网络切换模式，自动切换到4g网络。

如果wi-fi网络未达到切换阈值，根据最优策略决策表，选择最佳图片格式，下载刷新微博。

如果切换到4g网络，如果网络未到达断连阈值，则根据最优策略决策表，选择最佳图片格式，下载刷新微博。如果达到网络连接阈值，则告知用户无法刷新。