一种沉浸式隧道型多媒体交互展示方法、设备及存储介质与流程

本申请涉及多媒体交互的技术领域，尤其是涉及一种沉浸式隧道型多媒体交互展示方法、设备及存储介质。

背景技术：

沉浸式系统是把高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机的结合在一起，产生一个完全沉浸式的虚拟环境，使用者可以通过头盔式、手套式、盔甲式的显示器和传感器与沉浸式的虚拟环境进行交互，让使用者与虚拟环境有很好的交互感，以给人一种身临其境的感觉。

在一些进行多人参与交互的沉浸式展厅中，由于多人同时与虚拟画面交互实现较为复杂，一般都是预先设定一些虚拟画面变化来提高虚拟场景中的参与者的沉浸感，或是参与者通过交互设备来触发虚拟场景产生变化，导致参与者与虚拟场景交互的灵活性较差从而导致沉浸式体验的趣味性较低。

上述中的现有技术方案存在以下缺陷：多人参与时，互动效果差的问题。

技术实现要素：

本申请提供一种沉浸式隧道型多媒体交互展示方法、设备及存储介质，具有交互灵活性更好，增加展示的趣味性的特点。

第一方面，本申请提供一种沉浸式隧道型多媒体交互展示方法，采用如下技术方案：

一种沉浸式隧道型多媒体交互展示方法，包括：

获取若干移动目标与屏幕之间的距离信息；

基于所述距离信息，确定若干移动目标中的目标对象并触发与所述目标对象相关联的虚拟场景画面变化；

获取目标对象的图像信息；

检测图像信息中与目标对象相关联的脸部信息；

基于所述脸部信息，确定是否发出交互请求。

通过采用上述技术方案，实时检测目标对象与屏幕之间的距离信息，当检测到移动目标位于目标区域内时，将移动目标确定为目标对象并且触发虚拟场景的画面变化，使虚拟场景的与目标对象之间有很好的互动效果，当在目标区域没有检测到目标对象时，则虚拟场景的画面没有变化而是处于静止状态，在更具有趣味性的互动效果外，还可更加节能。且当检测到目标对象位于在目标区域内时，还会进一步检测目标对象的脸部信息，根据脸部信息可判断是否需要发出互动消息。

本申请在一较佳示例中可以进一步配置为：所述基于所述距离信息，确定若干移动目标中的目标对象并触发与所述目标对象相关联的虚拟场景画面变化的步骤，包括：

根据所述距离信息判断移动目标与屏幕之间的距离是否在目标区域内；

当所述目标对象位于区域内时，则触发虚拟场景画面变化。

通过采用上述技术方案，当检测到移动目标与屏幕之间的距离后，进一步判断移动目标是否位于目标区域内，并把位于目标区域内的移动目标作为目标对象触发虚拟场景画面变化，即当只有目标区域内存在目标对象时，才触发虚拟场景画面变化。

本申请在一较佳示例中可以进一步配置为：所述检测图像信息中与目标对象相关联的脸部信息的步骤，包括：

基于所述获取的图像信息识别图像中目标对象的脸部位置；

根据脸部位置提取脸部轮廓特征信息；

将获取到的脸部轮廓特征信息与基准图像对比获取脸部轮廓特征信息的偏转角度。

通过采用上述技术方案，当判断获取到的目标对象与屏幕之间的距离在预设范围内时，即触发了虚拟场景的画面变化，同时进一步获取的目标对象的图像信息用于识别目标对象的脸部信息。获取目标图像信息后，识别图像信息中的脸部位置以及提取脸部位置的脸部轮廓特征信息，通过脸部轮廓特征信息与基准图像对比获取脸部轮廓特征的偏转角度，即获取目标对象的脸部相对于屏幕的偏转角度，使虚拟场景画面可更好的与目标对象进行互动。

本申请在一较佳示例中可以进一步配置为：所述将获取到的脸部轮廓特征信息与基准图像对比获取轮廓偏转角度的步骤，包括：

获取脸部位置图像的脸部特征对应的局部二值特征，并对脸部的二值特征进行处理，识别脸部轮廓特征信息；

脸部轮廓特征与基准图像对比，判断获取图像信息中目标对象的脸部轮廓偏转角度。

通过采用上述技术方案，在获取到的图像信息中先识别出目标对象的脸部位置，在识别到脸部位置后，获取脸部位置的局部二值化特征，并对脸部的二值化特征进行处理，提取脸部的轮廓特征信息，用于与基准图像对比，判断获取的图像信息中目标对象的脸部轮廓偏转角度。

本申请在一较佳示例中可以进一步配置为：所述将获取到的脸部轮廓特征信息与基准图像对比获取轮廓偏转角度之后的步骤，包括：

获取图像信息基于屏幕为基准面的偏转角度；

根据图像信息基于屏幕为基准面的偏转角以及脸部轮廓偏转角度获取目标对象脸部实际相对屏幕的偏转角。

通过采用上述技术方案，获取到图像信息中目标对象的偏转角度后，还需结合图像信息基于屏幕为基准面的偏转角度计算得到目标对象相对于屏幕的实际偏转角度，即可根据目标对象脸部的偏转角度判别目标对象是否正在观看屏幕虚拟画面的互动变化。

本申请在一较佳示例中可以进一步配置为：所述基于所述脸部信息，确定是否发出交互请求信息的步骤，包括：

当检测到位于目标区域内的目标对象的脸部偏转角为可观看到屏幕中虚拟场景变化的偏转角度时，虚拟场景画面将持续变化；

当检测到位于目标区域内的目标对象的脸部偏转角处于大于可观看到屏幕中虚拟场景变化的偏转角度时，则发出交互请求信息；

当检测到目标对象离开目标区域时，则停止虚拟场景的画面变化。

通过采用上述技术方案，当目标对象位于目标区域触发了屏幕中的虚拟场景画面变化后，还会进一步判断目标对象的脸部偏转角度，以判别目标对象是否有观看屏幕中虚拟场景画面的互动变化，当判别到目标对象的脸部偏转角度大于可观看到屏幕中虚拟场景变化的偏转角度时，则会触发互动请求消息，邀请目标对象观看屏幕进行互动。当检测到目标对象离开目标区域时，即目标区域中没有目标对象时，则停止虚拟场景的画面变化。

第二方面，本申请提一种沉浸式隧道型多媒体交互展示系统，采用如下的技术方案：

一种沉浸式隧道型多媒体交互展示系统，包括：

获取模块：用于获取若干移动目标与屏幕之间的距离信息；

响应模块：用于基于所述距离信息，确定若干移动目标中的目标对象并触发与所述目标对象相关联的虚拟场景画面变化；

图像获取模块：用于获取目标对象的图像信息；

检测模块：用于检测图像信息中与目标对象相关联的脸部信息；

发送模块：基于所述脸部信息，确定是否发出交互请求。

第三方面，本申请提供一种计算机设备，采用如下技术方案：

一种计算机设备，包括存储器和处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述沉浸式隧道型多媒体交互展示方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述沉浸式隧道型多媒体交互展示方法的步骤。

综上所述，本申请包括以下至少一种有益技术效果：

1.实时检测目标对象与屏幕之间的距离信息，当检测到移动目标位于目标区域内时，将移动目标确定为目标对象并且触发虚拟场景的画面变化，使虚拟场景的与目标对象之间有很好的互动效果，当在目标区域没有检测到目标对象时，则虚拟场景的画面没有变化而是处于静止状态，在更具有趣味性的互动效果外，还可更加节能。且当检测到目标对象位于在目标区域内时，还会进一步检测目标对象的脸部信息，根据脸部信息可判断是否需要发出互动消息；

2.通过距离检测模块实时检测目标对象与屏幕之间的距离信息，并将目标对象与屏幕之间的距离信息与预设的距离范围进行比对判断目标对象与屏幕之间的距离是否在预设距离范围内；

3.在判断到目标对象与屏幕之间的距离在预设范围内时，即触发虚拟场景的画面变化，同时还会实时检测在预设距离范围的目标对象的脸部状态是否为正面屏幕，当检测到预设距离范围内的目标对象的脸部状态没有正面屏幕观看虚拟场景的画面变化时，则或暂停虚拟场景画面的变化并发出提醒消息提醒目标对象正面屏幕观看，当再次检测到目标对象与屏幕之间的距离不在预设距离范围时，则停止虚拟场景画面的变化。

附图说明

图1是本申请其中一实施例的沉浸式隧道型多媒体交互展示方法的流程示意图。

图2是本申请其中一实施例的基于目标信息确定目标对象以及触发虚拟场景画面变化的流程示意图。

图3是本申请其中一实施例的检测图像信息中目标对象相关联的脸部信息流程示意图。

图4是本申请其中一实施例的沉浸式隧道型多媒体交互展示系统的原理框图。

图5是本申请其中一实施例的计算机设备原理框图。

图中，1、获取模块，2、响应模块，3、图像获取模块，4、检测模块，5、发送模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种沉浸式隧道型多媒体交互展示方法，基于以下预先处理步骤：

建立一个脸部特征基准图像库，将脸部状态偏转不同角度的基准图像存储到脸部特征基准图像库中，基准图像的信息包括脸部的轮廓特征信息以及脸部偏转角度信息，脸部偏转角度信息是预设定目标对象脸部偏转角度范围。在本实施例中，采用将采集到的图像信息与基准图像进行对比来判断目标对象脸部偏转角度，具体的，当从图像信息中提取到目标对象的脸部轮廓特征信息后，将提取到的目标对象脸部图像信息与脸部特征基准库中的基准图像进行对比。在预设脸部偏转角度范围内则可认为目标对象的脸部状态为可以观看到虚拟场景中画面变化的正面屏幕的状态，若检测到目标对象的脸部状态的偏转角度不在预设脸部偏转角度范围内，则判断目标对象的脸部状态为无法观看到虚拟场景中画面变化的侧脸状态，则停止虚拟场景画面变化并发出提醒正面观看的提醒消息。需要说明的是，判断目标对象脸部偏转角度是否为观看到虚拟场景画面的实施方式在实际应用中还可以结合实际情况有其他实施方式，在本实施例中不一一列举。

同时，还预设有用于判断是否触发虚拟场景画面变化的目标区域，即可触发虚拟场景画面变化的区域范围，当检测到移动目标与屏幕之间的距离在目标区域内时，则判断目标区域内存在目标对象，则触发虚拟环境画面变化。

沉浸式隧道型多媒体交互展示方法，如图1所示，具体包括：

s1、获取若干移动目标与屏幕之间的距离信息。

具体的：

通过测距设备可实时获取目标对象与屏幕之间的距离，在本实施例中，测距设备可以是测距传感器，实时读取测距传感器检测到的目标对象与屏幕之间的距离的值，通过测距传感器直接检测若干移动目标与屏幕之间的距离，获取距离信息更快，计算量更小。

在本实施例中测距模块还可以是通过双目摄像头，以检测目标对象与屏幕之间的距离，若采用双目摄像头检测目标对象与屏幕之间的距离，由于摄像头光学透镜的特性使得成像存在径向畸变，首先进行双目摄像头标定，标定时，先标定单个摄像头，主要计算出摄像头的内参以及外参，内参包括焦距、成像原点以及畸变参数，外参则包括单个摄像头的世界坐标，然后确定两个摄像头之间的旋转矩阵以及平移向量。标定好两个摄像头的位置之后则根据摄像头标定之后获得的单目的焦距、成像原点以及畸变参数和两个摄像头之间的旋转矩阵和平移向量，分别对左右视图进行消除畸变和行对准，使得双目摄像头获得的左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。

通过上述步骤之后，使得获得的目标对象的图像上的任意一点与在另一幅图像上的任一点必然具有相同的行号，之后把同一场景在左右视图上对应的像点匹配起来得到视图差，最后计算深度信息之后再计算得到若干移动目标与屏幕之间的距离信息。

在本实施例中，可同时检测多个移动目标与屏幕之间的距离，并且检测移动目标与屏幕之间的距离的实施方式在实际应用中可结合实际情况有多种实施方式，在本实施例中不做限定。

s2、基于距离信息，确定若干移动目标中的目标对象并触发与目标对象相关联的虚拟场景画面变化。

具体的，如图2所示，

s21、根据距离信息判断移动目标与屏幕之间的距离是否在目标区域内。具体的，获取到的目标对象与屏幕之间的距离的值与目标区域的范围对比，确认得到的对比结果为目标对象与屏幕之间的距离的值在目标区域内，并将位于目标区域内的移动目标标记为目标对象，且对目标区域内的多个移动目标进行标号区分不同目标对象。

s22、当目标对象位于目标区域内时，触发虚拟场景画面变化。具体的，当确认目标对象与屏幕之间的距离在目标区域内，即目标区域内存在目标对象时，则触发屏幕的虚拟场景的画面变化与目标对象进行互动。

s3、获取目标对象的图像信息。

具体的，当目标对象位于目标区域内，则实时获取目标对象在目标区域内的图像信息。

s4、检测图像信息中与目标对象相关联的脸部信息。

具体的，如图3所示，

s41、基于图像信息识别图像中目标对象的脸部位置。具体的，对获取的图像进行灰度矫正以及噪声处理，然后再对图像进行细致化处理并将检测到的脸部位置提取出来分隔成一定大小的图像，便于后续的识别处理，进行细致化处理以及分割的步骤包括对图像进行光补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波处理以及锐化处理，最终经过处理后得到图像中的脸部位置的图像。

s42、根据脸部位置提取脸部轮廓特征信息。具体的，当识别到图像中目标图像的脸部位置后，再次检测脸部轮廓信息，判断目标对象相对于屏幕的偏转角度，用于确定目标对象是否是处于可观看到屏幕的状态。获取脸部位置图像的脸部特征对应的局部二值特征，并对脸部的二值特征进行处理，识别脸部轮廓特征信息，提取到脸部位置图像中关于脸部特征的局部二值化图像，然后再经过处理得到脸部边缘线性轮廓。

s43、将获取到的脸部轮廓特征信息与基准图像对比获取轮廓偏转角度。

通过检测到脸部轮廓信息，将脸部轮廓特征与基准图像对比，判断获取图像信息中目标对象的脸部轮廓偏转角度；具体的，将提取到的脸部轮廓特征之后，将脸部轮廓特征与脸部特征基准图像库中的基准图像进行对比，判断提取到的图像中脸部轮廓特征的脸部偏转角度。

在提取到图像信息中的脸部轮廓特征偏转角度后，需结合获取的图像信息相对于屏幕的偏转角度，进一步得到目标对象实际相对于屏幕的偏转角度。首先获取图像获取设备的拍摄角度，即获取的图像相对于屏幕的偏转角度，结合世界坐标以及相机坐标得到图像信息的偏转角度。将图像信息中的脸部轮廓特征偏转角度与图像信息基于屏幕的偏转角度进一步计算得到目标对象脸部实际相应对于屏幕的偏转角度，若目标对象的脸部实际相对于屏幕的偏转角度为属于预设脸部偏转角度内，则判断目标对象脸部相对于屏幕的偏转角度为可以观看到屏幕中虚拟场景中画面变化的偏转角度，若目标对象的脸部实际相对于屏幕的偏转角度为大于预设脸部偏转角度，则判断为目标对象脸部相对于屏幕的偏转角度为不能观察到屏幕中虚拟画面的偏转角度，从而发出交互请求，使目标对象与虚拟场景可灵活交互。

检测目标对象的脸部状态的实施方式在实际应用中还可以结合实际情况有其他实施方式，在本实施例中不一一列举。

s5、基于脸部信息，确定是否发出交互请求。

具体的：当检测到位于目标区域内的目标对象的脸部偏转角为可观看到屏幕中虚拟场景变化的偏转角度时，虚拟场景画面将持续变化；在目标区域内检测到存在目标对象时，则触发了虚拟场景中的画面变化进行交互展示，在进行交互展示的过程中，实时检测目标对象相对屏幕的脸部偏转状态，若检测到位于目标区域内的目标对象的脸部偏转角度处于可观看到虚拟场景变化的偏转角度时，则继续保持虚拟场景的的画面变化进行交互展示。

当检测到位于目标区域内的目标对象的脸部偏转角处于大于可观看到屏幕中虚拟场景变化的偏转角度时，则发出交互请求；在虚拟场景进行交互展示的过程中，实时检测到目标对象的脸部相对于屏幕的偏转角度大于可观看到屏幕中虚拟场景变化的偏转角度时，即判断目标对象不能观看到虚拟场景交互展示的变化时，则发出交互的请求信息，交互的请求信息可以是交互语音，或是其他可与目标对象进行交互的信息，使目标对象继续观看虚拟场景的交互展示。

当检测到目标对象离开目标区域时，则停止虚拟场景的画面变化；当目标对象离开目标区域后，则会检测到目标区域内不存在目标对象，停止虚拟场景的画面变化，即停止虚拟场景的交互展示。

在本实施例中，提醒消息的类型可以有多种，如可以是通过在虚拟场景画面中弹出提示显示框并抖动引起目标对象注意，或是设置多样化的交互语音提醒，交互请求信息在实际应用中还可以结合实际情况有其他实施方式，在本实施例中不一一列举。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例还提供一种沉浸式隧道型多媒体交互展示系统，其内部结构图可以如图4所示，该沉浸式隧道型多媒体交互展示系统与实施例中沉浸式隧道型多媒体交互展示方法一一对应。该沉浸式隧道型多媒体交互展示系统包括获取模块1，响应模块2，图像获取模块3，检测模块4，发送模块5。具体的，如图4所示，各功能模块详细说明如下：

一种沉浸式隧道型多媒体交互展示系统，包括：

获取模块1：用于获取若干移动目标与屏幕之间的距离信息。

获取模块可以获取来自测距传感器直接获取的距离信息或是双目摄像头获取立体图像位置信息然后再通过进一步计算得到距离信息。

响应模块2：用于基于所述距离信息，确定若干移动目标中的目标对象并触发与所述目标对象相关联的虚拟场景画面变化。

基于获取到的距离信息判断移动目标是否在目标区域内，若移动目标位于目标区域内，则将在目标区域内的移动目标标记为目标对象，并触发虚拟场景画面变化进行交互展示。

图像获取模块3：用于获取目标对象的图像信息。

当确定目标对象与屏幕之间的距离在目标区域内时，则触发图像获取模块获取目标对象的图像信息，获取的目标对象的图像信息用于检测目标对象的脸部偏转角度是否处于可观看到屏幕中虚拟场景画面变化的状态。

检测模块4：用于检测图像信息中与目标对象相关联的脸部信息。

获取到目标对象的图像信息之后，检测图像中目标对象的脸部信息，如识别图像中目标对象的人脸位置，然后提取脸部外部轮廓，将提取到的脸部轮廓与脸部特征基准图像库中的基准图像进行对比，识别图像信息中目标对象的脸部偏转角度。

发送模块5：基于脸部信息，确定是否发出交互请求。

当检测到目标对象与屏幕之间的距离在目标区域内，同时检测到目标对象的脸部信息为侧脸状态，即没有正面屏幕观看的状态，则可通过发出交互信息与目标对象互动，提醒目标对象观看屏幕中虚拟场景画面的变化。

关于沉浸式隧道型多媒体交互展示方法的具体限定可参见上下文中对沉浸式隧道型多媒体交互展示方法的限定，在此不再赘述。上述沉浸式隧道型多媒体交互展示系统中的各模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备的存储器中，以便于处理器调用执行以上各模块对应的操作。

在实施例中，提供了一种计算机设备，该计算机设备是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的存储器、处理器、网络接口和题库。其中，该电子设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和题库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储沉浸式隧道型多媒体交互展示系统。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种沉浸式隧道型多媒体交互展示方法：

s1、获取若干移动目标与屏幕之间的距离信息。

s2、基于距离信息，确定若干移动目标中的目标对象并触发与目标对象相关联的虚拟场景画面变化。

s3、获取目标对象的图像信息。

s4、检测图像信息中与目标对象相关联的脸部信息。

s5、基于脸部信息，确定是否发出交互请求。

处理器执行时实现上述任意实施例中关于沉浸式隧道型多媒体交互展示方法的步骤。

本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

s1、获取若干移动目标与屏幕之间的距离信息。

s2、基于距离信息，确定若干移动目标中的目标对象并触发与目标对象相关联的虚拟场景画面变化。

s3、获取目标对象的图像信息。

s4、检测图像信息中与目标对象相关联的脸部信息。

s5、基于脸部信息，确定是否发出交互请求。

计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例中沉浸式隧道型多媒体交互展示方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。