一种全景视频信息交互方法及系统与流程

本发明涉及虚拟现实领域，具体涉及全景视频信息交互领域。

背景技术：

虚拟现实技术是一种计算机仿真系统，在该系统中可以创建和体验虚拟世界。本质上，该系统利用计算机生成一种模拟环境，该模拟环境是一种多源信息融合的交互式的三维动态视景和对实体行为的系统仿真，可以达到沉浸式体验。

虚拟现实涉及的多源信息包括实时三维计算机图形技术、广角(宽视野)立体显示技术、对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。除此之外，还涉及双目立体视觉，双目立体视觉起了较大的作用。在双目立体视觉技术中，两只眼睛看到的不同图像是分别产生的，分别显示在两个不同的显示器上。另外，也有虚拟现实系统采用单个显示器，但带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，由于奇、偶帧之间不同即存在视差，从而产生了立体感。

全景图片和全景视频是虚拟现实技术中常见的表现形式，尤其是全景视频，由于其本身的动态特性，能够给用户带来更加真实的沉浸式体验，已经成为虚拟现实设备中常见的信息载体。很多厂家都已经拍摄或正在拍摄自己的全景视频，从而通过全景视频向用户传达更加丰富的信息，如全景视频广告、全景视频旅游宣传片等等。但是目前而言，由于视频时刻处于运动状态，不像图片那样处于静止状态，用户无法很好地实时跟踪视频中的信息载体，进而无法与其形成像全景图片那样的交互，故无法很好地获取动态全景视频上有用的信息。

比如全景视频运动鞋广告中所包含的运动鞋的相关信息。当用户佩戴上虚拟现实设备(如VR眼镜)，全景视频在用户面前动态展开，用户沉浸在全景视频中，此时，用户想了解有关此运动鞋的信息(如售价、颜色、材质等)，于是凝视运动鞋，这时候光标对准运动鞋，但是由于视频中的运动鞋处于不断运动状态，光标无法很好地实时跟踪运动鞋，而要求用户眼睛一直盯着运动鞋从而实现光标对运动鞋的实时跟踪显然是不太现实的。这样一来，运动鞋的相关信息就无法通过光标和运动鞋的交互显示出来，用户便无法得知运动鞋的相关信息，这对于一些想通过全景视频广告来宣传自己产品的经销商是不利的。

技术实现要素：

针对上述存在的现实问题，本发明提供了一种全景视频信息交互方法及系统，用以解决当前全景视频中存在的无法实时跟踪信息载体进而与其形成交互获取信息载体上所包含信息的问题。

本发明提供了一种全景视频信息交互方法，该方法步骤包括：

用户上传全景视频；

采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把全景视频绘制到球体内表面；

将使用曲面函数、球面函数构造且完全适配球体内表面弧度的内嵌模块框选全景视频中的待框选运动目标；

采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，实现内嵌模块对已框选运动目标的实时跟踪；

于内嵌模块中设置或选择点击事件命令；

将资源打包成APK映射到虚拟现实设备中；

激活点击事件命令，针对点击事件命令做出相应交互响应。

本发明提供的方法，首先用户将拍摄的全景视频上传到Unity软件或者浏览器中，Unity软件采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，将用户上传的全景视频绘制到球体内表面；此后用户于球体内的全景视频中拖入若干完全适配球体内表面弧度的内嵌模块，用于框选待框选运动目标。被内嵌模块框选后的运动目标此时为已框选运动目标，由于已框选运动目标处于不间断的运动状态中，而内嵌模块仍处于静止状态，无法对运动目标进行跟踪从而实现交互，所以采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，从而实现内嵌模块对已框选运动目标的实时跟踪，这样便可以在内嵌模块中设置或者选择点击事件命令，从而对全景视频中的运动目标进行信息交互。此后将资源打包成APK映射到需拟现实设备中，用户佩戴上虚拟现实设备，在需拟现实设备中激活所设置或选择的点击事件命令，需拟现实设备针对用户所激活的点击事件命令给出相应的交互响应。

本发明还提供了一种全景视频交互系统，包括全景视频还原系统、目标跟踪系统和全景视频显示系统，其中所述全景视频还原系统包括：

视频接收单元，用于接收、存储全景视频；

视频绘制单元，用于将全景视频绘制与球体内表面；

命令设置单元，用于储存用户设置或选择的点击事件命令；

所述目标跟踪系统包括：

目标框选单元，用于框选全景视频中需要交互的信息载体；

像素匹配单元，用于匹配播放中的全景视频信息载体的移动位置，进行像素匹配和跟踪；

所述全景视频显示系统包括：

命令判断单元，用于判断用户激发的点击事件命令；

显示单元，用于显示用户激发的点击事件命令相应的交互响应。

本发明提供的系统，包括全景视频还原系统、目标跟踪系统和全景视频显示系统，其中全景视频还原系统包括视频接收单元、视频绘制单元和命令设置单元，目标跟踪系统包括目标框选单元和像素匹配单元，全景视频显示系统包括命令判断单元和显示单元。全景视频还原系统用于将全景视频在Unity软件中还原，视频接收单元接收并储存用户上传的全景视频，视频绘制单元将全景视频绘制于球体内表面，然后命令设置单元保存用户设置或选择的点击事件命令。目标跟踪系统用于实现内嵌模块对运动目标的实时跟踪，从而可以实现对运动目标的信息交互，目标框选单元可以实现内嵌模块对待框选运动目标的框选，使其成为已框选运动目标，像素匹配单元可以实现对动态运动目标的实时跟踪。全景视频显示系统用于将Unity软件中还原的全景视频在虚拟现实设备中呈现给用户，并显示用户于内嵌模块中设置或选择的交互信息。因为虚拟现实设备中已经储存有用户所设置或选择的点击事件命令，此时用户佩戴上虚拟现实设备，命令判断单元可以判断用户激发的点击事件命令，显示单元可以显示用户激发的点击事件命令相应的交互响应，从而用户可以感受到Unity软件中所设置或选择的点击事件命令在眼前所给出的相应的点击事件命令交互响应，进而可以获取信息载体上的相应信息。

附图说明

图1是本发明提供的一种全景视频信息交互方法流程图。

图2是本发明提供的一种全景视频信息交互系统结构图。

图3是本发明提供的一种全景视频信息交互应用场景图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的一种全景视频信息交互方法流程图，该方法步骤包括：

步骤S101：用户上传全景视频；

步骤S102：采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把全景视频绘制到球体内表面；

步骤S103：将使用曲面函数、球面函数构造且完全适配球体内表面弧度的内嵌模块框选全景视频中的待框选运动目标；

步骤S104：采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，实现内嵌模块对已框选运动目标的实时跟踪；

步骤S105：于内嵌模块中设置或选择点击事件命令；

步骤S106：将资源打包成APK映射到虚拟现实设备中；

步骤S107：激活点击事件命令，针对点击事件命令做出相应交互响应。

本发明实施例中，在步骤S101中，用户将自己采用全景拍摄设备拍摄的全景视频上传到Unity软件中，Unity软件接收此全景视频并保存。

在步骤S102中，Unity软件采用OpenGL技术，结合全面函数、球面函数计算出球体内表面的曲率，把接收并保存的全景视频绘制到球体内表面。这样一来，用户在使用全景拍摄设备进行拍摄时的立体影像就完全还原在Unity软件中的球体内表面上。试想一下，当用户处于Unity软件中的球体球心处，他可以完全体验到其拍摄全景视频时候的场景.

在步骤S103中，用户对Unity软件中的全景视频设置若干内嵌模块，这些内嵌模块使用同样的曲面函数和球面函数，可以完全适配Unity软件球体内表面的弧度。同时，用户用这些若干内嵌模块对全景视频中的若干待框选运动目标进行框选选中，这些运动目标成为已框选运动目标。

在步骤S104中，由于已框选运动目标处于实时运动状态下，需要采用TLD算法将内嵌模块与已框选运动目标进行像素匹配，于视频每一帧中判断已框选运动目标像素位置，从而实现内嵌模块对已框选运动目标的实时跟踪。

在步骤S105中，用户于内嵌模块中设置点击事件命令，比如可以设置激活此内嵌模块时候读取内嵌模块所框选的运动目标的信息。

在步骤S106中，将上述Unity软件中的资源打包成APK映射到虚拟现实设备中，各种命令操作设置也随着资源打包到虚拟现实设备中。

当然，将APK映射到虚拟现实设备中的方式有多种，如传统的使用数据线进行数据传输。或者将APK上传到互联网，虚拟现实设备可以链接到包含此APK的网址进行下载，或者通过扫描包含此APK网址链接的二维码进行下载。当然，目前还有一些资源共享云应用也可以实现对此APK映射到虚拟现实设备中，如百度云、有道云笔记等，此APK可以上传到网络版的百度云中，然后虚拟现实设备可以通过在手机版的百度云中进行资源共享获取从而得以下载，实现在虚拟现实设备中的重现。

在步骤S107中，此时用户可以佩戴虚拟现实设备，在虚拟现实设备中进行命令设置操作，激活在Unity软件中所设置的点击事件命令，虚拟现实设备针对用户所激活的点击事件命令做出相应的交互响应，从而可以与全景视频中的运动目标进行信息交互。

图2为本发明提供的一种全景视频信息交互系统结构示意图，其中201为全景视频还原系统，202为目标跟踪系统，203为全景视频显示系统，204为视频接收单元，205为视频绘制单元，206为命令设置单元，207为目标框选单元，208为像素匹配单元，209为命令判断单元，210为显示单元。

下面结合图1提出的方法和图2提出的系统对本发明进行详细描述。在全景视频还原系统201中，视频接收单元204接收并存储全景视频拍摄设备拍摄的全景视频，视频绘制单元205采用OpenGL技术结合曲面函数、球面函数计算球体内表面的曲率，把视频接收单元204中的全景视频绘制到球体内表面，命令设置单元206储存用户设置或者选择的点击事件命令，全景视频的还原和相应的点击事件命令在全景视频还原系统201中完成。在目标跟踪系统202中，目标框选单元207可以框选全景视频中需要交互的信息载体，像素匹配单元208可以匹配播放中的全景视频信息载体的移动位置，对信息载体进行像素匹配和实时跟踪。在全景视频显示系统203中，命令判断单元209判断用户激活的点击事件命令，显示单元210可以显示根据命令判断单元209的判断结果所做出的相应的点击事件命令交互响应结果。

图3是本发明提供的一种全景视频信息交互应用场景图，即为一段全景视频运动鞋广告，其中301为全景视频广告，302为运动鞋，303为内嵌模块，304为信息交互结果，“+”为光标。下面结合图3对本发明的应用场景作说明。

在全景视频广告301中，运动鞋302为本实施例中的运动目标，内嵌模块303框选此运动鞋302，将其从待框选运动目标状态转变成已框选运动目标状态。用户可以在内嵌模块303中设置或选择点击事件命令，本实施例中，点击事件命令设置为：当运动鞋302被光标击中，则会在运动鞋302附近的适当位置显示此运动鞋的相关信息，包括价格、颜色、产地等。运动鞋302上的“+”表示光标，意味着运动鞋302被击中，此时点击事件命令被激活，信息交互结果304显示运动鞋302的相关信息。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。