一种分布式云环境下的自适应多通道界面选择方法与流程

本发明属于人机交互领域，具体涉及一种分布式云环境下的自适应多通道界面选择方法。

背景技术：

人机交互界面是人与虚拟世界沟通的重要途径，在分布式云环境中，交互界面的显示形式受到网络环境的影响，受限于网络拥塞的交互事件等待往往造成用户无故的等待。大尺度的电子白板具有更多的信息承载能力，并形成了手势、语音、笔式的多通道交互形式，带来新的交互体验。多通道报文在不同的时间判断变化剧烈，根据网络环境判断界面的交互窗口数目，自适应的匹配多通道界面，对提升用户的交互体验有重要意义。

已授权的《能够设置活动区域的触摸屏系统及其控制方法》专利(200410059721.6)提出了一种触摸屏系统及其控制方法，包括显示器、触摸面板、坐标值计算单元、坐标值存储单元，判决单元和控制单元，对于坐标值和活动区域的关系进行了判决，但是针对分布式远程交互的界面响应并没有考虑。

陈小州等《智能终端应用程序界面设计方法》专利(201510200647.3)提供一种针对不同的操作系统只经过一次开发就能兼容不同操作系统的智能终端应用程序界面设计方法，经过该方法开发的应用程序界面在各个操作系统上具有完全相同的外观及操作。白二平《界面框架构建系统和界面框架构建方法》专利(201110448558.2)提供了一种界面框架构建系统，包括配置器、界面引擎装置、ui视图组件等，解决了不同产品的界面配置问题。但是两者对于多个交互界面带来的网络性能影响，造成用户交互体验下降并没有说明。

宋亮等《智能终端界面自适应显示方法》专利(201610069445.4)提供一种智能终端界面自适应显示方法，解决所显示的内容无法根据终端的屏幕尺寸进行自动调整的问题，但是受限于终端尺寸，而且没有考虑网络环境不好时的情景。马宇尘等《即时通信中实现自适应界面的方法及系统》专利(201310360172.5)，旨在通过第三方应用界面和即时通信交互界面的情况下，采集自适应调整的触发消息，需要人工选择触发按钮，并没有考虑多通道环境下的交互范式。

针对于不同的需求，一些用户界面的设计方案被提出，例如高洁《一种用户界面的设计方法及装置》专利(201110402066.x)，查尔斯等《用于用户界面的分布式软件架构》专利(200680001581.4)，但是这些界面仅仅针对不同的业务需求，没有在多通道条件下进行设计，在云端融合的多通道交互框架下显现出一定的局限性。

因此研究一种分布式云环境下的自适应多通道界面选择方法，不仅能有效设计动态的界面，也能促进多通道信息的云端融合，具有实际应用价值。

技术实现要素：

本发明提供一种分布式云环境下的自适应多通道界面选择方法，以解决分布式云环境下多通道交互界面选择的问题。

本发明采取的技术方案是，包括下列步骤：

(1)建立了分布式云环境体系结构，包括云存储设备、分布式服务器、负载调度器，并利用网络和多媒体终端通信，处理用户的交互请求；

(2)确定输入参数和输出参数，输入参数包括：时延判决因子、丢包率判决因子、当前通道数目、当前操作的界面数目，输出参数包括：新界面的模式参数；

(3)利用极限学习机构建神经网络，并建立了输入参数和输出参数的映射关系；

(4)计算当前界面的模式参数，判断当前交互系统是否允许弹出新的界面；

(5)若允许弹出新的界面，则根据模式参数确定操作界面的显示形式，并在多媒体终端生成对应的界面；

(6)若不允许弹出新的界面，则显示拥塞状态，并提示关闭部分已打开的交互界面。

本发明所述步骤(1)中，所述分布式云环境体系结构中：

云存储设备采用mysql数据库，分布式服务器采用了p(p>2)个服务器池，并设置于同一个网关中；负载调度器采用q(q>1)个负载均衡工作站，所述分布式服务器形成硬件和网络载体，用于实现云环境下的信息交互。

本发明所述步骤(2)中所述输入参数包括：

(1)时延判决因子μd

计算初始时刻平均时延，如公式(1)所示：

其中，n≥10，adt(t0)表示初始时刻之前的连续n个数据包的平均时延，t0表示初始时刻，dti表示第i个数据包的时延，tsi表示第i个数据包的发送时间，tri表示第i个数据包的接收时间；

统计n个数据包中的最大时延，如公式(2)所示：

dt(t0)^max＝max(dti|i＝1,...,n)(2)

第t时刻，数据包的加权平均时延可以表示为：

其中，adt(t)表示第t时刻的加权平均时延，dt(t)表示第t时刻的单个数据包时延，α表示交互通道系数：

其中，α∈[0,1]，nk表示当前交互的通道数目，tn表示系统允许的最大的交互通道数目；

时延判决因子为：

其中，dt(t)^max＝max(dtq|q≤t,q∈r)，表示前t个时间片内的最大时延；

(2)丢包率判决因子μl

计算初始时刻平均丢包率，抽样选取初始时刻之前的n个连续的数据包，并计算其平均丢包率，如公式(6)所示：

其中，n≥10，lti表示第i个数据包的丢包率，qsi表示第i个数据包的发送长度，qri表示第i个数据包的接收长度；

统计n个数据包中的最大丢包率，如公式(7)所示：

lt(t0)^max＝max(lti|i＝1,...,n)(7)

第t时刻，数据包的加权平均丢包率可以表示为：

其中，adt(t)表示第t时刻的加权平均丢包率，dt(t)表示第t时刻的单个数据包丢包率，α表示交互通道系数：

其中，α∈[0,1]，nk表示当前交互的通道数目，tn表示系统允许的最大的交互通道数目；

丢包率判决因子为：

其中，dt(t)^max＝max(dtq|q≤t,q∈r)，表示前t个时间片内的最大丢包率；

(3)当前通道数目

确定操作状态的当前通道数目tnnow，通道数目由当前交互的操作形式有关，单一的操作形式则通道数目为1，两种操作形式并存则通道数目为2，以此类推；

(4)前操作的界面数目

确定当前操作状态的界面数目gnnow，当前操作界面只包括正在操作的界面，不包括后台自动运行的界面；

本发明所述步骤(2)中输出参数：

模式参数ms用来区别所有的界面种类，如果ms值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果ms值大于零，则可以弹出新的界面。

本发明所述步骤(3)中神经网络：

采用三层结构的神经网络，输入层为4个节点，隐层4个节点，输出层1个节点，其中，输入单元和隐层单元为全相关连接，隐层单元和输出单元为单相关线性连接；

所有的工况可遍历为n个样本数据为输入层节点数目，此时基本的输入输出关系定义为：

其中，为输入层到隐层之间的权重，为隐层到输出层之间的权重，ap为输入层的权重，bp为输出层的权重，其中，输入层的权重和偏置任意取值，隐层和输出层关系通过线性表征得到；

hβ＝g(15)

其中：

求解h的m-p广义逆，就可以得到参数β；

可以得到：

于是，得到输入参数与输出参数之间的关系：

本发明所述步骤(4)中所述，界面的模式参数：

模式参数ms用来区别所有的界面种类，取值范围离散变化，表达形式为：

ms∈[0,…,2^tn-1](18)

如果ms值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果ms值为1则为笔式交互，以此类推，如果ms值为2^tn-1，则为所有通道共同交互。

本发明所述步骤(5)中所述，在多媒体终端生成对应的界面：

通过判断ms的值，确定是哪种界面形式，生成对应的界面，如果是笔式交互形式，则弹出笔式交互界面，如果是手势交互形式，则弹出手势交互界面，以此类推。

本发明所述步骤(6)中所述，参数模式的拥塞状态判定说明如下：

定义时延因子隶属度函数为：

其中，μd为上文所述时延判决因子，表示判决因子能取到的最大值，μd为时延因子隶属度函数；

定义丢包率因子隶属度函数为：

其中，μl为上文所述时延判决因子，表示判决因子能取到的最大值，μd为时延因子隶属度函数；

确定网络质量判决参数的计算规则：

其中vg表示质量非常好，g表示质量好，c表示质量一般，b表示质量差，vb表示质量非常差；

ms＝0,p∈(vb)(21)

p为当前网络质量判决参数，如果当前网络状态为非常差，则界面的模式参数直接定义为0；

通过分布式服务器网络服务的通信质量，确定了不同的网络状态情况下，用户界面的显示形式。

本发明分别设计了界面功能选择区域和动态显示区域，搭建了分布式服务器网络，建立云环境下的分布式服务器集群，处理用户的交互请求。设计统一界面模板，存储在云环境数据库中。在统一界面模板的基础上，根据动态界面结构特征，设计神经网络结构，结合分布式服务器网络的通信质量参数，判断是否允许弹出新的界面，并确定操作界面的显示形式。本发明充分考虑了分布式云环境下网络服务质量，通过分层设计和动态界面自适应匹配，解决了大尺度环境下多通道交互界面设计问题，为构建支持多感知、多任务下用户界面提供了设计方法。

本发明的优点是：

(1)本发明考虑了分布式云环境体系结构中的时延、丢包率、通道数、当前操作的界面数目等因素，将模糊逻辑引入到多通道用户界面判决中，得到了智能化的判决新界面的模式参数，客观指导工程实践，具有一定的普适性。

(2)利用极限学习机构建神经网络，对输入端的时延判决因子、丢包率判决因子滚动优化，得到了可适应实时交互的输入、输出参数关系。

(3)依托于大尺度的多通道的交互终端，充分考虑了网络服务质量，给出了不同网络条件下的界面选择方法。针对于当前的网络情况，能够自适应的调整界面，增强了远程交互的体验效果，给多通道下的信息融合提供了有益参考。

附图说明

图1是本发明分布式云环境体系结构；

图2是本发明模糊逻辑判决输入；

图3是本发明模糊逻辑判决输出；

图4是本发明神经网络结构图；

图5是本发明极限学习机自适应学习步骤示意图；

图6是本发明大尺度多通道电子白板示意图；

图7是本发明用户界面示意图。

具体实施方式

包括下列步骤：

(1)建立了分布式云环境体系结构，包括云存储设备、分布式服务器、负载调度器，并利用网络和多媒体终端通信，处理用户的交互请求；

(2)确定输入参数和输出参数，输入参数包括：时延判决因子、丢包率判决因子、当前通道数目、当前操作的界面数目，输出参数包括：新界面的模式参数；

(3)利用极限学习机构建神经网络，并建立了输入参数和输出参数的映射关系；

(4)计算当前界面的模式参数，判断当前交互系统是否允许弹出新的界面；

(5)若允许弹出新的界面，则根据模式参数确定操作界面的显示形式，并在多媒体终端生成对应的界面；

(6)若不允许弹出新的界面，则显示拥塞状态，并提示关闭部分已打开的交互界面。

本发明所述步骤(1)中，所述分布式云环境体系结构中：

云存储设备采用mysql数据库，分布式服务器采用了p(p>2)个服务器池，并设置于同一个网关中；负载调度器采用q(q>1)个负载均衡工作站，所述分布式服务器形成硬件和网络载体，用于实现云环境下的信息交互。

本发明所述步骤(2)中所述输入参数包括：

(1)时延判决因子μd

计算初始时刻平均时延，如公式(1)所示：

其中，n≥10，adt(t0)表示初始时刻之前的连续n个数据包的平均时延，t0表示初始时刻，dti表示第i个数据包的时延，tsi表示第i个数据包的发送时间，tri表示第i个数据包的接收时间；

统计n个数据包中的最大时延，如公式(2)所示：

dt(t0)^max＝max(dti|i＝1,...,n)(2)

第t时刻，数据包的加权平均时延可以表示为：

其中，adt(t)表示第t时刻的加权平均时延，dt(t)表示第t时刻的单个数据包时延，α表示交互通道系数：

其中，α∈[0,1]，nk表示当前交互的通道数目，tn表示系统允许的最大的交互通道数目；

时延判决因子为：

其中，dt(t)^max＝max(dtq|q≤t,q∈r)，表示前t个时间片内的最大时延；

(2)丢包率判决因子μl

计算初始时刻平均丢包率，抽样选取初始时刻之前的n个连续的数据包，并计算其平均丢包率，如公式(6)所示：

其中，n≥10，lti表示第i个数据包的丢包率，qsi表示第i个数据包的发送长度，qri表示第i个数据包的接收长度；

统计n个数据包中的最大丢包率，如公式(7)所示：

lt(t0)^max＝max(lti|i＝1,...,n)(7)

第t时刻，数据包的加权平均丢包率可以表示为：

其中，adt(t)表示第t时刻的加权平均丢包率，dt(t)表示第t时刻的单个数据包丢包率，α表示交互通道系数：

其中，α∈[0,1]，nk表示当前交互的通道数目，tn表示系统允许的最大的交互通道数目；

丢包率判决因子为：

其中，dt(t)^max＝max(dtq|q≤t,q∈r)，表示前t个时间片内的最大丢包率；

(3)当前通道数目

确定操作状态的当前通道数目tnnow，通道数目由当前交互的操作形式有关，单一的操作形式则通道数目为1，两种操作形式并存则通道数目为2，以此类推；

(4)前操作的界面数目

确定当前操作状态的界面数目gnnow，当前操作界面只包括正在操作的界面，不包括后台自动运行的界面；

本发明所述步骤(2)中输出参数：

模式参数ms用来区别所有的界面种类，如果ms值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果ms值大于零，则可以弹出新的界面。

本发明所述步骤(3)中神经网络：

采用三层结构的神经网络，输入层为4个节点，隐层4个节点，输出层1个节点，其中，输入单元和隐层单元为全相关连接，隐层单元和输出单元为单相关线性连接；

所有的工况可遍历为n个样本数据为输入层节点数目，此时基本的输入输出关系定义为：

其中，为输入层到隐层之间的权重，为隐层到输出层之间的权重，ap为输入层的权重，bp为输出层的权重，其中，输入层的权重和偏置任意取值，隐层和输出层关系通过线性表征得到；

hβ＝g(15)

其中：

求解h的m-p广义逆，就可以得到参数β；

可以得到：

于是，得到输入参数与输出参数之间的关系：

本发明所述步骤(4)中所述，界面的模式参数：

模式参数ms用来区别所有的界面种类，取值范围离散变化，表达形式为：

ms∈[0,…,2^tn-1](18)

如果ms值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果ms值为1则为笔式交互，以此类推，如果ms值为2^tn-1，则为所有通道共同交互。

本发明所述步骤(5)中所述，在多媒体终端生成对应的界面：

通过判断ms的值，确定是哪种界面形式，生成对应的界面，如果是笔式交互形式，则弹出笔式交互界面，如果是手势交互形式，则弹出手势交互界面，以此类推。

本发明所述步骤(6)中所述，参数模式的拥塞状态判定说明如下：

定义时延因子隶属度函数为：

其中，μd为上文所述时延判决因子，表示判决因子能取到的最大值，μd为时延因子隶属度函数；

定义丢包率因子隶属度函数为：

其中，μl为上文所述时延判决因子，表示判决因子能取到的最大值，μd为时延因子隶属度函数；

确定网络质量判决参数的计算规则：

其中vg表示质量非常好，g表示质量好，c表示质量一般，b表示质量差，vb表示质量非常差；

ms＝0,p∈(vb)(21)

p为当前网络质量判决参数，如果当前网络状态为非常差，则界面的模式参数直接定义为0；

通过分布式服务器网络服务的通信质量，确定了不同的网络状态情况下，用户界面的显示形式。

下面结合附图对本发明进行具体说明：

1、搭建分布式服务器集群，具体形式如图1所示，文件存取数据库采用mysql数据库，采用3个服务器，2个工作站来平衡负载。数据库中存储了界面的元素、属性、事件、路径。界面表和元素表、属性表、事件表都是一对多的关系，采用“引用外键”的方式进行数据库表的维护；

2、设计模板界面，根据模板界面的要求，设计了3个交互通道的功能区域，采用javascript、css技术，实验界面的动态选择，利用超文本标记语言，设计界面的颜色、大小和事件，包括增加、删除、修改、查询、保存；

3、确定神经网络结构

采用三层结构的神经网络，具体形式如图4所示，其中输入层为4个节点，隐层4个节点，输出层1个节点；

其中，输入单元和隐层单元为全相关连接，隐层单元和输出单元为单相关线性连接；

所有的工况可遍历为n个样本数据为输入层节点数目，此时基本的输入输出关系定义为：

其中，为输入层到隐层之间的权重，为隐层到输出层之间的权重，ap为输入层的权重，bp为输出层的权重；

4、极限学习机自适应学习

采用了极限学习机自适应学习机制，具体步骤如图5所示，

步骤一、确定样本范围

i.时延判决因子。

计算初始时刻平均时延，抽样选取初始时刻之前的n个连续的数据包，并计算其平均时延，如公式(1)所示：

其中，n≥10，dti表示第i个数据包的时延，tsi表示第i个数据包的发送时间，tri表示第i个数据包的接收时间。

统计n个数据包中的最大时延，如公式(2)所示：

dt(t0)^max＝max(dti|i＝1,...,n)(2)

第t时刻，数据包的加权平均时延可以表示为：

其中，adt(t)表示t时间片内的加权平均时延，dt(t)表示第t时刻的时延，α表示交互通道系数：

其中，α∈[0,1]，nk表示当前交互的通道数目，tn表示系统允许的最大的交互通道数目，此时tn＝3。

时延判决因子为：

其中，dt(t)^max＝max(dtq|q≤t,q∈r)，表示前t个时间片内的最大时延。可知时延判决因子的取值范围为μd∈[0,1]

ii.丢包率判决因子

计算初始时刻平均丢包率，抽样选取初始时刻之前的n个连续的数据包，并计算其平均丢包率，如公式(6)所示：

其中，n≥10，lti表示第i个数据包的丢包率，qsi表示第i个数据包的发送长度，qri表示第i个数据包的接收长度。

统计n个数据包中的最大丢包率，如公式(7)所示：

lt(t0)^max＝max(lti|i＝1,...,n)(7)

第t时刻，数据包的加权平均丢包率可以表示为：

其中，adt(t)表示t时刻的平均丢包率，dt(t)表示第t时间片内的丢包率，α表示交互通道系数：

其中，α∈[0,1]，nk表示当前交互的通道数目，tn表示系统允许的最大的交互通道数目，此时tn＝3。

丢包率判决因子为：

其中，dt(t)^max＝max(dtq|q≤t,q∈r)，表示前t个时间片内的最大丢包率。可知时延判决因子的取值范围为μl∈[0,1]

iii.通道数目。由于最大的通道数目为tn＝3，可知当前操作状态的通道数目tnnow∈[0,1,2,3]。

iv.前操作的界面数目。

操作状态的界面数目为正整数，极限的取值为10，所以，当前操作状态的界面数目为gnnow∈[0,…,10]。

v.界面的模式参数。

模式参数ms的数值范围为ms∈[0,1,2,3,4,5,6,7]，对应的界面模式的关系如下：

如果ms值为0，则提示为拥塞状态，禁止弹出新的交互界面，如果ms值为1则为笔式交互，ms值为2则为手势交互，ms值为3则为语音交互，以此类推，如果ms值为7，则为三种通道共同交互。

步骤二、将训练数据归一化

利用最大最小归一化方法，公式如下：

其中x^*表示归一化后的值，x代表原来的值，xmin代表原来值的最小值，xmax代表原来值的最大值。

步骤三、计算隐层输出矩阵

其中，输入层的权重和偏置任意取值，隐层和输出层关系通过线性表征得到。

hβ＝g(15)

其中：

求解h的m-p广义逆，就可以得到参数β

步骤四、计算输出权重向量

通过广义逆求解，可以得到：

通过采集样本的学习，得到输入输出间的关系模型：

5、计算当前状态下输入参数：

(1)计算时延因子。

计算初始时刻，采用网络中的ping命令进行时延和丢包率的检测。得到一组时延和丢包率数据：

选取前n个数据包作为初始数据，其中n＝10，计算平均时延为：

计算前10个数据包的最大时延，如公式所示：

dt(t0)^max＝max(dti|i＝1,...,10)＝320ms

在t2时刻，为笔式和语音两个通道进行交互，而一共的通道数为2，时延为280ms，所以此时α＝0.67

数据包的加权平均时延可以表示为：

adt(t2)＝(1-α)adt(t0)+α·dt(t2)

＝(1-0.67)×166+0.67×280＝242.38

时延因子为：

其中，表示前11个时间片内的最大时延；

(2)计算丢包率因子

计算初始时刻，前10个数据包的平均丢包率：

其中，lt2表示第2时刻数据包的丢包率；

计算初始时刻数据包的最大丢包率，如公式所示：

lt(t0)^max＝max(lti|i＝1,...,10)＝0.06

在t2时刻，为笔式和语音两个通道进行交互，而一共的通道数为2，丢包率为0.08，所以此时α＝0.67

alt(t2)＝(1-α)alt(t0)+α·lt(t2)

＝(1-0.67)×0.02+0.67×0.08＝0.0602

丢包率因子为：

其中，表示前11个时间片内的最大丢包率；

可以计算得到延迟因子的隶属度函数为：μd＝0.76，所以延迟为high；

可以计算定义丢包率因子隶属度函数为：μl＝0.7525，所以丢包率为high；

(3)当前通道数目

当前操作状态为笔式、手势、语音三种操作状态，所以确定当前通道数目tnnow＝3；

(4)前操作的界面数目

除去后台正在运行的界面，当前操作的界面数目gnnow＝2；

6、判断当前界面显示形式

通过输入条件和网络参数，可得当前情况用户界面的显示形式参数为0，根据判决要求，提示关闭一些已经打开的窗口。