一种显示内容的控制方法、装置及计算机可读介质与流程

本发明涉及通讯技术领域，特别涉及一种显示内容的控制方法、装置及计算机可读介质。

背景技术：

显示内容的控制方法是指对终端显示装置中的显示内容进行控制的方法。目前，显示内容的控制的方法主要分为主动式和被动式。其中，被动式是由终端提供人机交互接口，由用户进行接触式的操作来控制显示；主动式是利用终端中的各种传感器，主动检测用户行为，并根据设定的预置来判断和实现对显示的控制。主动式的显示控制方法由于可以获得更好的用户体验是现在研究的主流方向，被普遍应用于手机、vr终端等产品领域。

其中，在主动式控制方法中，主要的技术差异是对用户行为的检测和分析的方法上，具有代表性的有两类，一类是根据用户头部和身体的运动来控制终端显示，如cn201610527481.0《虚拟现实系统和虚拟现实眼镜的控制方法》；一类是根据对眼球运动方向来控制终端显示，如201510159113.0《带眼球跟踪虚拟现实成像系统和方法》。

cn201610527481.0《虚拟现实系统和虚拟现实眼镜的控制方法》由虚拟现实眼镜和终端两部分构成。其中，虚拟现实眼镜是终端的载体，在使用时，虚拟现实眼镜穿戴在用户的头部，终端被放置并固定在虚拟现实眼镜内部；终端内包含速度传感器和陀螺仪等传感设备，当用户头部运动时，这些传感器会产生终端运动的相关参数，这些参数会传递给处理器计算分析，并最终对终端显示的内容进行控制。因此，相对于手机这样成熟的终端，该虚拟现实系统实际需要实现的就是虚拟现实眼镜，而虚拟现实眼镜只是作为用户头部和终端间的固件。

使用cn201610527481.0实现的终端，虽然可以实现控制显示的效果，但它存在以下缺点：

1.该专利产品需要用户穿戴头盔类设备，这种额外的穿戴设备会影响用户的使用舒适度。

2.该专利产品是依据对用户头部和身体方向的检测结果来控制显示的，这就要求用户在相对空旷的场景中使用，对用户的使用有环境限制。

3.该专利产品只能控制水平和垂直方向的转动效果，仅能控制显示视角的变化。

201510159113.0《带眼球跟踪虚拟现实成像系统和方法》由头盔、眼球扫描仪、眼皮跟踪装置、接收模块、处理模块和显示装置构成。其中，头盔是整个虚拟现实系统的载体，其他的模块和组件都是被安装在头盔上的；眼球扫描模块是用于检测用户眼球的虹膜及视网膜信息；眼皮跟踪装置用于检测用户眼皮动作形态信息；接收模块用于接收眼球扫描仪和眼皮跟踪装置的检测数据；处理模块用于比对和分析眼球运动信息，判断眼球的运动状态；显示装置根据眼球的运动状态进行信息显示。

使用201510159113.0实现的终端，虽然可以实现控制显示的效果，但它存在以下缺点：

1.该专利产品需要用户穿戴头盔类设备，这种额外的穿戴设备会影响用户的使用舒适度。

2.该专利产品只能对水平方向进行检测，无法实现对视角全范围及景深的控制。

上述两类方法，或者需要穿戴设备，影响用户的舒适度；或者只能对水平方向进行检测，无法实现对视角全范围及景深的控制，用户的体验较差。

技术实现要素：

为了无需穿戴设备就能实现对视角全范围及景深的控制，本发明提供了一种显示内容的控制方法、装置及计算机可读介质。

本发明提供的显示内容的控制方法，包括：

分别采集传感器数据和人脸图像；

根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度；

在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号；

根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。

可选的，在本发明所述的显示内容的控制方法中，在根据所述传感器数据，计算人脸与终端屏幕的相对位置之后，还包括：

判断所述传感器数据/传感器数据的变化是否超过预设的门限；

当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。

具体的，在本发明所述的显示内容的控制方法中，计算人脸与终端屏幕的相对位置，包括：

根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；

根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；

根据采集到的人脸图像的多个特征点，得到特征面；

计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。

具体的，在本发明所述的显示内容的控制方法中，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，得到视角调整信号，包括：

根据所述人脸特征数据，计算用户视线相对人脸的角度；

根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；

利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；

根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。

具体的，在本发明所述的显示内容的控制方法中，根据所述人脸特征数据，结合所述人脸与终端屏幕与的相对位置，得到景深调整信号，包括：

分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。

本发明还提供了一种显示内容的控制装置，包括采集模块、相对位置分析模块、数据分析模块、及显示模块：

采集模块，用于分别采集传感器数据和人脸图像；

相对位置分析模块，用于根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度；

数据分析模块，用于在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号；

显示模块，用于根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。

进一步的，在本发明所述的显示内容的控制装置中，所述相对位置分析模块，还用于：

判断所述传感器数据/传感器数据的变化是否超过预设的门限；

当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。

具体的，在本发明所述的显示内容的控制装置中，所述相对位置分析模块具体用于：

根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；

根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；

根据采集到的人脸图像的多个特征点，得到特征面；

计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。

具体的，在本发明所述的显示内容的控制装置中，所述数据分析模块具体用于：

根据所述人脸特征数据，计算用户视线相对人脸的角度；

根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；

利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；

根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。

进一步的，在本发明所述的显示内容的控制装置中，所述数据分析模块具体用于：

分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有显示内容的控制程序，所述显示内容的控制程序被处理器执行时实现如上所述的显示内容的控制方法的步骤。

本发明的有益效果如下：

本发明实施例提供的显示内容的控制方法、装置及计算机可读介质，均能根据人脸图像，结合人脸与终端屏幕的相对位置，得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，同时，本发明实施例提供的显示内容的控制装置，无须进行穿戴，提高了用户体验。

附图说明

图1是本发明方法实施例显示内容控制方法的流程图；

图2是vr终端显示内容控制方法的流程示意图；

图3是本发明装置实施例显示内容控制装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了为了无需穿戴设备就能实现对视角全范围及景深的控制，增加用户体验，本发明提供了一种显示内容的控制方法、装置及计算机可读介质，以下结合附图对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

显示内容的控制方法主要实现的是根据用户的行为、动态的调整显示的视角和景深，实现显示视角和景深向用户预期的目标调整。其中，核心内容是对用户意愿的分析方法。通常，用户头部、身体和眼球的运动，都是对用户意愿的直接反应，此外，用户的表情的变化也是其意愿的反应，因此，通过对用户身体、器官的运动，或者对用户表情的分析，理论上是可以作为显示控制的数据源。

根据本发明的方法实施例，提供了一种显示内容的控制方法，图1是本发明方法实施例显示内容控制方法的流程图，如图1所示，本发明方法实施例的显示内容的控制方法，包括以下步骤：

s101：分别采集传感器数据和人脸图像。

具体的，所述传感器数据包括由加速度计、陀螺仪、距离传感器采集的数据。

s102：根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度。

可选的，在本发明方法实施例中，在根据所述传感器数据，计算人脸与终端屏幕的相对位置之后，还包括：

判断所述传感器数据/传感器数据的变化是否超过预设的门限；

当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。

具体的，计算人脸与终端屏幕的相对位置，包括以下步骤：

根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；

根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；

根据采集到的人脸图像的多个特征点，得到特征面；

计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。

更加具体的，所述人脸的多个特征点可以为人脸的双眼眼角和鼻尖。人类的脸部结构中，双眼眼角和鼻尖可以近似构成一个等腰三角形，因此，当人脸与终端屏幕法线垂直时，也应该是一个三角形，随着用户脸部的运动，这个三角形结构也会随之改变，根据三角形的三边长度的变化，可以计算出在立体空间中，三角形在法向方向和切向方法的偏转角度，以此，可以得到用户直视前方时人脸与终端屏幕的相对角度。

s103：在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号

具体的，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，得到视角调整信号，包括以下步骤：

根据所述人脸特征数据，计算用户视线相对人脸的角度；

根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；

利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；

根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。

具体的，根据所述人脸特征数据，结合所述人脸与终端屏幕与的相对位置，得到景深调整信号，包括以下步骤：

分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。

作为一个实例，所述人脸特征数据包括以下中的一种或几种：双眼眼球相对眼角的距离、眼眶与眼球构成的图形的形态、眉毛的形态、额头肌肉纹理特征、眼眶肌肉纹理特征、鼻子肌肉纹理特征、眉毛与发际线的距离。

基于上述人脸特征数据的一个实例，根据所述人脸特征数据，计算用户视线相对人脸的角度，包括以下步骤：根据双眼眼球相对眼角的距离、及眼眶与眼球构成的图形的形态，计算用户视线相对人脸的角度。

更加具体的，根据双眼眼球相对眼角的距离、及眼眶与眼球构成的图形的形态，计算用户视线相对人脸的角度，包括以下步骤：

根据双眼眼球相对眼角的距离，计算用户视线相对人脸的横向角度；

根据眼眶与眼球构成的图形的形态，计算用户视线相对人脸的垂直角度；

根据所述用户视线相对人脸的横向角度、及所述用户视线相对人脸的垂直角度，得到用户视线相对人脸的角度。

因为在人类眼部结构中，眼球是对称相对居中的，当眼球左右偏转时，双眼眼球相对各自眼角的距离会发生此消彼长的变化，以此可以计算出用户视线相对脸部横向角度。当眼球上下偏转时，眼球和眼眶的形态会发生改变，根据显示眼眶的形态和眼球的显示比例计算用户视线相对脸部的垂直角度。

对景深的控制方法，本发明主要是通过对用户眼部表情分析来实现的。人类的眼部表情主要是有皱眉肌、眼轮匝肌、鼻肌和额肌构成，反映在表情中就是眉毛、眼眶、鼻子和额头的肌肉变化，肌肉的力度趋势。例如，当用户眉毛和额头肌肉向内挤压，眼眶和鼻子肌肉收缩时，保持超过预置时间，则可判定用户有意愿拉近景深。当眉毛和额头肌肉向外挤压，眼眶和鼻子肌肉扩张时，保持超过预置时间，则可判定用户有意愿推远景深。

基于上述人脸特征数据的一个实例，分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号中，人脸特征数据的变化趋势包括以下中的一项或几项：眉毛的形态和额头肌肉纹理的挤压或趋势(或者眉毛肌肉纹理和额头肌肉纹理的挤压或趋势)、眉毛与发际线的距离变化、眼眶肌肉纹理特征和鼻子肌肉纹理特征的收缩或扩张趋势。

s104：根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。

本发明实施例提供的显示内容的控制方法，能根据人脸图像，结合人脸与终端屏幕的相对位置，得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，提供了用户体验。

为了更加详细的说明本发明方法实施例的显示内容的控制方法，给出实例1。在本实例中，景深指虚拟视频显示的远近程度；视角指虚拟视频显示的方向；姿态指在空间中的不同平面的角度。

图2是vr终端显示内容控制方法的流程示意图，如图2所示，本发明vr终端显示内容的控制方法包括下列步骤：

步骤s201：在启动vr视屏播放后，对各传感器进行检查，并采集相关数据，计算终端屏幕与用户脸部的相对位置，并初始化视屏播放的视角和景深。

判断c201：系统检查加速度计、距离传感器和陀螺仪的数据是否超过预置门限，如果超过则触发s202，否则触发s203。

步骤s202：根据传感器数据计算终端屏幕与用户脸部的相对位置，作为景深和视角控制的计算参数。

步骤s203：根据摄像装置采集的图像，提取用户脸部特征数据，包括眼角与鼻尖构成的特征三角形，眼眶与眼球构成的图形，眉毛的形态，眼眶的形态，额头肌肉纹理特征，眉毛与发际线的距离，鼻子肌肉纹理特征等。

步骤s204：根据用户脸部特征参数，计算眉毛和额头肌肉问题的挤压趋势、眉毛与发际线的距离变化、眼眶和鼻子肌肉纹理收缩和扩张趋势，依据预设参数计算景深控制的方向和速度。

步骤s205：根据用户脸部特征参数，计算用户脸部平面与终端屏幕的夹角，再根据双眼相对眼眶的位置，以及眼球和眼眶的形态计算眼睛视线相对用户脸部平面的角度。在结合两个空间角度数据计算用户视线相对显示平面的相对角度，结合终端屏幕与用户脸部的相对位置，计算用户视点在终端显示平面上的位置，依据预设参数，分析视角变化的方向和速度。

步骤s206：将景深和视角的调整参数转换成响应的控制信号，控制显示装置调整显示内容。

判断c202：判断是否检测到退出信号，如果未检测到退出信号则执行c201，否则退出。

目前，显示内容的控制方法主要依靠穿戴方式实现，主要的目的是为了固定终端与用户的位置，并使终端能够跟随用户的运动，以便终端传感器感知用户的运动类型。在本发明中，采用了相对姿态的方法，终端利用加速度计、陀螺仪、摄像装置和距离传感器等传感器装置，测量和分析用户与终端屏幕间的相对位置和姿态，分析用户的相对运动类型，以此来控制终端显示。

与本发明的方法实施例相对应，提供了一种显示内容的控制装置，图3是本发明装置实施例显示内容控制装置的结构示意图，如图3所示，本发明装置实施例的显示内容的控制装置，包括：采集模块30、相对位置分析模块32、数据分析模块34、及显示模块36：

所述采集模块30，用于分别采集传感器数据和人脸图像。

具体的，所述采集模块包括加速度计、陀螺仪、距离传感器及摄像装置。利用距离传感器采集终端与人脸的距离；通过陀螺仪采集终端的姿态信息；通过摄像装置采集人脸图像；通过加速度计采集终端的运动信息。

所述相对位置分析模块32，用于根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度。

进一步的，在本发明所述的显示内容的控制装置中，所述相对位置分析模块32，还用于：

判断所述传感器数据/传感器数据的变化是否超过预设的门限；

当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。

所述数据分析模块34，用于在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号。

具体的，所述数据分析模块34包括人脸分析模块、视角分析控制模块、及景深分析控制模块。

所述人脸分析模块，用于在所述人脸图像中提取人脸特征数据。

所述视角分析控制模块，用于：

根据所述人脸特征数据，计算用户视线相对人脸的角度；

根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；

利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；

根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。

景深分析控制模块，用于：

分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。

所述显示模块36，用于根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。

本发明实施例提供的显示内容的控制装置，无须进行穿戴，仅根据人脸图像，结合人脸与终端屏幕的相对位置，就能得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，提高了用户体验。

与本发明方法实施例相对应，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有显示内容的控制程序，所述显示内容的控制程序被处理器执行时实现如上所述的显示内容的控制方法的步骤。

本发明实施例提供的计算机可读存储介质，根据人脸图像，结合人脸与终端屏幕的相对位置，就能得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，提高了用户体验。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。