至少一种，结合屏幕上的元素的关系信息，利用区域划分算法确定用户当前的关注区域，使得该用户当前的关注区域包括目标元素以及扩展元素，即使得用户当前的关注区域包括的元素在功能上是完整的，自动优化用户当前的关注区域的显示，可以提高人机交互效率，改善用户体验。
[0061]可选地，作为另一个实施例，视线信息包括当前视线的焦点位置和视线的移动趋势；手势信息包括当前手势的悬浮位置和手势的移动趋势；根据视线信息和手势信息中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的关注区域，包括:根据当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种，结合元素的关系信息，利用区域划分算法确定用户下一关注的区域，其中确定的用户下一关注的区域包括当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素，其中扩展元素与目标元素具有元素的关系信息所表示的关系。
[0062]具体而言，通过摄像头等设备可以获得用户当前视线的焦点位置，还可以获取用户视线的移动趋势。该视线的移动趋势包括视线的移动方向，优选地还可以包括视线的移动速度或加速度等信息。通过传感器等设备可以获得用户当前手势的悬浮位置，还可以获取用户手势的移动趋势。该手势的移动趋势包括手势的移动方向，优选地还可以包括手势的移动速度或加速度等信息。根据视线和/或手势的以上信息，结合屏幕上的元素的关系信息，通过区域划分算法计算，可以预测用户下一关注的区域，进而对该下一关注的区域的显示进行优化处理，并保证用户下一关注的区域内包括当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种对应的目标元素以及扩展元素。
[0063]除了通过用户当前视线的焦点位置、视线的移动方向、速度等来确定用户下一关注的区域，还可以通过上一刻的移动的历史来预测可能的移动趋势。例如在阅读操作下，上一刻视线是从左移到当前位置，则有一定概率视线会继续右移。而如果当前位置已经是屏幕的最右端，则视线右移的可能性大大下降。同样，手势信息中也还可以包括其它信息，如用户手势的语义等，本发明实施例对此不作限定。
[0064]例如，如图4所示为用户在智能手机上浏览表格的场景。图4A为用户未开始浏览时的情景，表格的所有行均为未优化的原始状态。图4B为用户开始浏览表格，其视线首先移到表格的201行，则行201高亮并且放大加宽显示。此时，如图4C所示，用户视线开始移动，将表格的201行恢复为原始状态。根据用户的视线移动趋势，判断接下来用户可能会阅读表格的202行，则此时，如图4D所示，提前将行202高亮并且放大加宽显示。跟随用户的视线移动，依次优化表格的各行。
[0065]因此，本发明实施例的屏幕显示的方法，通过用户的当前视线的焦点位置和视线的移动趋势，以及当前手势的悬浮位置和手势的移动趋势中的至少一种，结合屏幕上的元素的关系信息，可以提前确定用户的下一关注区域，即可以预测用户的下一关注区域，使得该用户的下一关注区域包括目标元素以及扩展元素，即使得用户的下一关注区域包括的元素在功能上是完整的，从而相应地提前优化该关注区域的显示，能够进一步提高人机交互效率，改善用户体验。
[0066]可选地，作为另一个实施例，方法100还包括:
[0067]获取用户使用习惯，用户使用习惯包括浏览习惯、操作习惯和交互习惯中的至少一种；
[0068]根据用户使用习惯，更新区域划分算法和/或区域优化算法。
[0069]具体而言，获取用户使用习惯包括用户的浏览习惯、操作习惯和交互习惯等。浏览习惯包括:对屏幕上内容的浏览顺序、位置(如新闻是否会看右边的栏目)，浏览速度，平视还是垂视等。操作习惯包括:左手还是右手持机，单手还是双手，主动手等。交互习惯包括:比如新闻网页浏览习惯打开新的标签然后按窗口关闭按钮，还是在原窗口打开后按后退按钮等。获得用户使用习惯，可以通过各种监控或传感设备。例如，用户手势和手持方式的判断可以通过加速度传感器、方向传感器、距离传感器、光线传感器等数据通过机器学习方法对手势进行分类判断，本发明实施例的用户使用习惯及其获取方法并不仅限于此。
[0070]因此，本发明实施例的屏幕显示的方法，通过了解用户的使用习惯，有利于确定用户的关注区域，对于区域优化算法的确定也有一定的参考价值，因此可以根据获取的用户使用习惯相应调整区域划分算法和/或区域优化算法，以进一步提高区域划分的准确性和优化的效率。
[0071]可选地，作为另一个实施例，方法100还包括:
[0072]监测用户做出响应的响应区域；
[0073]在响应区域与关注区域不完全相同时，根据响应区域与关注区域的区别，更新区域划分算法。
[0074]具体而言，通过区域划分算法确定的当前的关注区域或下一关注区域有可能是有偏差的，甚至可能是完全不正确的。继续跟踪用户行为，如用户点击的位置等信息，可以确定用户做出响应的响应区域。
[0075]将该响应区域与通过区域划分算法计算的关注区域进行对比。当响应区域与关注区域不完全相同时，则表明区域划分算法的计算是有偏差的，根据响应区域与关注区域的区别，可以对区域划分算法进行更新，以提高其计算的准确性。其中，对区域划分算法进行更新可以是对某一区域划分算法中的参数进行更新和调整；在区域划分的偏差较大时，说明当前使用的区域划分算法可能是不合适的，可以选择其它的区域划分算法进行区域划分。
[0076]因此，本发明实施例的屏幕显示的方法，通过对响应区域与通过区域划分算法计算的关注区域进行对比，可以根据响应区域与关注区域的区别，更新优化区域划分算法，以进一步提闻区域划分的准确性。
[0077]可选地，作为另一个实施例，方法100还包括:
[0078]计算用户做出响应的响应效率，响应效率包括点击时间、切换速度、和视觉搜索效率中的至少一种；
[0079]根据响应效率，更新区域优化算法。
[0080]其中，视觉搜索效率是指用户在屏幕的众多元素中，定位某一特定元素所花费的时间。如上文所述，对关注区域优化的原则包括保证界面的完整性和美观性，方便用户查看和操作，另外，还可以包括提升点击时间、切换速度、视觉搜索效率等。因此，可以在优化完成后，可以跟踪确定用户做出响应的响应效率，例如包括点击时间、切换速度、和视觉搜索效率中的至少一种。将这些响应效率与用户操作的实际效果和/或之前的优化结果相比较，可以依比较结果更新相应的区域优化算法。其中，对区域优化算法进行更新可以是对某一区域优化算法中的参数进行更新和调整；也可以选择其它的区域优化算法进行优化处理。
[0081 ] 应理解，获取用户使用习惯、用户的响应区域或者用户做出响应的响应效率等信息后，需要对这些信息进行统计分析，以获得可用的数据。例如，通过统计方法，获得用户的惯用手信息、观看屏幕的浏览习惯、查看网页的交互习惯等，本发明实施例对统计分析方法不作限定。
[0082]因此，本发明实施例的屏幕显示的方法，通过用户的点击时间、切换速度、和视觉搜索效率中的至少一种，对区域划分算法和区域优化算法进行更新，能够使得后续的区域划分和区域优化更合理有效，可以进一步提高人机交互效率，改善用户体验。
[0083]应理解，本发明各个实施例中的区域划分算法和区域优化算法，可以视为一种模型。模型的初始化可以是多用户统计模型或者规则模型。例如，区域划分算法可以由函数f(X，Y，Z，M)来表示。其中，X表示屏幕上元素的特征，如元素的大小、颜色、元素可执行的操作等，以及不同交互元素之间的关联性，如顺序、组合、互斥等；Y表示用户的视线信息，如当前视线的焦点位置、视线移动的方向、移动的速度等；Z表示用户的手指悬浮信息，如当前手指悬浮的位置、手指移动的方向、移动的速度等；M表示用户过去相似界面上浏览和操作行为习惯而建立的区域划分算法；函数值f(X，Y，Z，M)表示用户关注的区域的中心位置、区域大小、可能的移动趋势等。同理，区域优化算法也可以由相应的函数表示。
[0084]对区域划分算法和区域优化算法的更新，可以看作是学习的过程。装置通过摄像头、传感器等记录用户的使用习惯等信息，对这些信息进行分析和分类，获取有用信息作为动态的参数输入模型，结合最终的优化结果，对区域划分算法和区域优化算法中的一些基础参数进行更新。根据预测的关注区域与用户做出的响应的差别，也可以对区域划分算法中的基础参数进行更新。
[0085]因此，本发明实施例的屏幕显示的方法，通过用户的使用习惯、用户的响应区域或者用户做出响应的响应效率等信息，对区域划分算法和区域优化算法进行更新，能够使得后续的区域划分和区域优化更合理有效，可以进一步提高人机交互效率，改善用户体验。
[0086]下面将结合图5，以更详细的例子说明本发明实施例的屏幕显示的方法。如图5所示，屏幕显示的方法300包括:
[0087]S301，获取屏幕上的元素的关系信息，包括屏幕上包括元素之间在功能上的包含、顺序、相关或联动关系等。
[0088]S302，获取用户当前的视线焦点位置和当前的手势悬浮位置中的至少一种。其中，用户的视线焦点位置可以通过前置摄像头、远红外摄像头等获取；用户的手势悬浮位置可以通过距离传感器、光线传感器、电磁传感器等各种传感器获取。
[0089]S303，根据获取的用户的视线焦点位置或用户的手势悬浮位置中的至少一种，结合元素的关系信息，通过区域划分算法，确定需要优化显示的用户的当前关注区域，使得该用户当前的关注区域包括目标元素以及扩展元素，即使得用户当前的关注区域包括的元素在功能上是完整的。
[0090]S304，根据区域优化算法，对当前关注区域的显示进行优化处理，如放大镜显示、鱼眼显示、高亮显示、调整元素的位置和调整元素间的间距等。
[0091]S305，获取用户使用习惯、用户的响应区域或者用户做出响应的响应效率等。其中，获取的用户使用习惯和用户的响应区，用于对区域划分算法进行更新。获取的用户使用习惯和用户做出响应的响应效率，用于对区域优化算法进行更新。
[0092]S306，根据S305中获取的信息，判断是否需要更新区域划分算法或区域优化算法。如果需要更新区域划分算法，执行S307 ;如果需要更新区域划分算法，执行S308 ;如果否，在用户视线移动或用户手势移动时执行S309，在用户离开屏幕上显示的当前界面时结束。
[0093]S307,更新区域划分算法，更新后执行S302或S309。
[0094]S308，更新区域优化算法，更新后执行S302或S309。
[0095]S309，在用户视线移动或用户手势移动时，获取用户的当前视线的焦点位置和视线移动趋势，以及用户的当前手势的悬浮位置和手势移动趋势中的至少一种。其中，视线移动趋势包括视线移动的方向和速度；手势移动趋势包括手势移动的方向和速度等。
[0096]S310，根据用户的当前视线的焦点位置和视线移动趋势，以及用户的当前手势的悬浮位置和手势移动趋势中的至少一种，结合元素的关系信息，利用区域划分算法确定用户的下一关注区域，使得该用户的下一关注区域包括目标元素以及扩展元素，即使得用户的下一关注区域包括的元素在功能上是完整的。
[0097]S311，根据区域优化算法，优化下一关注区域的显示。优化完成后，可以执行S306获取相应信息，而后对区域划分算法或区域优