虚拟现实视频弹幕的显示方法、介质和系统与流程

本发明涉及虚拟现实(vr，virtualreality)技术，尤其涉及针对vr视频的弹幕显示方法和系统。

背景技术：

国内的弹幕技术兴起于2007年，以视频网站acfun和bilibili为代表。弹幕是一种很新奇的模式，它可以和观众形成简单的互动性，观众用文字发表对视频此刻的感想，然后文字变从屏幕中飘过。弹幕的形成标志着视频业进入了全新的阶段，是互动视频的雏形。

近几年，虚拟现实(vr，virtualreality)技术蓬勃发展，在视频领域也得到了广泛的应用。vr视频又叫vr全景视频，也是视频的一种。不同的是，vr视频的每一帧画面，都是一张(水平)360度x(垂直)180度的全景图片。用户在观看的时候不再受制于固定的视角范围内，而是可以上下左右转头，选择全空间内任何角度的内容进行观看。配合vr眼镜观看，可以增强体验的真实性和沉浸感。vr视频颠覆了普通视频的观看体验，也给互动视频的进一步发展注入了活力。

在观看vr视频过程中，用户也同样期望通过文字弹幕的方式进行彼此间的沟通交流。但是传统的视频弹幕表现形式存在以下问题：

1)传统的视频弹幕只涉及时间轴信息，如果直接应用到vr视频中，无法满足时间与空间信息并存的问题。

2)传统视频的场景相对屏幕是固定的。用户在某一时刻发送的弹幕文字对应的场景内容也是固定的。但是vr视频的场景是360度的，不同用户在同一时刻看到的场景内容很可能是不一致的。如果用户针对自己看到的内容发布弹幕文字，那没有看到这一方向上场景的用户就无法了解他具体要表达的意思。那么通过弹幕进行沟通的方式，就无法达到最佳效果。

3)传统视频弹幕通常是从屏幕的一端出现，从另一端消失。这种方式如果应用到vr视频中，在使用vr眼镜进行分屏观看时，文字就会被截断，当左右屏幕的内容不一致时，就会出现重影问题。

技术实现要素：

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明提供了一种虚拟现实视频弹幕的显示方法、计算机可读介质和系统，其目的是为了解决传统视频弹幕表现形式在vr视频中应用时产生的问题及缺陷。

本发明的技术方案为：本发明揭示了一种虚拟现实视频弹幕的显示方法，包括：

步骤1：记录弹幕发送时当前虚拟现实视频播放的时间点及当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值，其中pan值表示画面帧水平方向视角范围，tilt值表示画面帧垂直方向视角范围；

步骤2：控制弹幕在当前屏幕中心点的位置上出现；

步骤3：控制弹幕在其发送时的当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值的位置上消失。

根据本发明的虚拟现实视频弹幕的显示方法的一实施例，弹幕是键盘打字输入或者是语音输入后自动转换成文字。

根据本发明的虚拟现实视频弹幕的显示方法的一实施例，在步骤1中，通过手指拖动方式获取当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值。

根据本发明的虚拟现实视频弹幕的显示方法的一实施例，在步骤1中，通过陀螺仪感应方式获取当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值。

本发明还揭示了一种计算机可读介质，存储了计算机可读程序，所述计算机可读程序用于执行前述的步骤。

本发明还揭示了一种计算机系统，包括处理器、计算机可读介质，所述计算机可读介质存储计算机可读程序，所述计算机可读程序在所述处理器中运行以执行前述的步骤。

本发明还揭示了一种虚拟现实视频弹幕的显示系统，包括：

关联模块，记录弹幕发送时当前虚拟现实视频播放的时间点及当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值，其中pan值表示画面帧水平方向视角范围，tilt值表示画面帧垂直方向视角范围；

弹幕出现控制模块，控制弹幕在当前屏幕中心点的位置上出现；

弹幕消失控制模块，控制弹幕在其发送时的当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值的位置上消失。

根据本发明的虚拟现实视频弹幕的显示系统的一实施例，系统还包括：

弹幕输入模块，弹幕是键盘打字输入或者是语音输入后自动转换成文字。

根据本发明的虚拟现实视频弹幕的显示系统的一实施例，在关联模块中，通过手指拖动方式获取当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值。

根据本发明的虚拟现实视频弹幕的显示系统的一实施例，在关联模块中，通过陀螺仪感应方式获取当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值。

本发明对比现有技术有如下的有益效果：本发明将弹幕与时间、空间信息进行关联，基于关联信息控制vr弹幕在屏幕上出现的位置和在屏幕上消失的位置。传统的非vr视频的弹幕显示方法无法应用于vr视频弹幕显示的领域，而在vr视频的现有技术中并不存在弹幕显示，本发明在这一领域中开拓性的设计使得在vr视频中也能完美的显示弹幕。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的虚拟现实视频弹幕的显示方法的实施例的流程图。

图2示出了本发明的虚拟现实视频弹幕的显示系统的实施例的原理图。

图3示出了手指拖动获取屏幕中心点的画面帧的pan和tilt值的示意图。

图4和图5示出了控制弹幕在屏幕上出现和消失的位置的示意图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

虚拟现实视频弹幕的显示方法的实施例

图1示出了本发明的虚拟现实视频弹幕的显示方法的实施例的流程。请参见图1，下面是对本实施例的显示方法的具体实施步骤的详细描述。

步骤s1：vr弹幕与时间、空间信息进行关联。

vr弹幕通常是指文字类的弹幕信息，一般是通过用户键盘输入或者是用户语音输入后自动转换成为文字。

此处的关联操作是指记录弹幕发送时当前vr视频播放的时间点及当前屏幕中心点的vr视频画面帧的pan值和tilt值，其中pan值表示画面帧水平方向视角范围，tilt值表示画面帧垂直方向视角范围。

有多种方式可以实现上述的关联操作，本发明以其中的两种为例进行说明。第一个例子是通过手指拖动的方式获取当前屏幕中心点的vr视频画面帧的pan值和tilt值。

如图3所示，播放vr全景(全景图是水平视角在360度范围内、垂直视角在180度范围内的图片)时，播放窗口中心的pan和tilt值与全景图上的pan和tilt值一一对应。假定播放窗口中心的pan和tilt的当前值分别记为curpan、curtilt，那么当手指在屏幕上按下并移动距离dx、dy时，获知在全景图上移动响应的dpan、dtilt，此时播放窗口中心的pan和tilt新值记为newpan、newtilt，那么：

newpan＝curpan+dpan

newtilt＝curtilt+dtilt

同时更新播放窗口中心的pan和tilt的当前值：

curpan＝newpan

curtilt＝newtilt

一种简单的根据dx、dy计算dpan、dtilt的公式如下：

dpan＝dx*coefficient

dtilt＝dy*coefficient

其中coefficient是和手机屏幕像素密度有关的经验系数，比如取值0.75。

第二个例子是通过陀螺仪感应方式改变屏幕中心点的画面帧的pan和tilt值。陀螺仪又叫角速度传感器，是不同于加速度计(g-sensor)的，其测量物理量是偏转、倾斜时的转动角速度。手机上仅用加速度计没办法测量或重构出完整的3d动作，测不到转动的动作的，g-sensor只能检测轴向的线性动作。但陀螺仪则可以对转动、偏转的动作做很好的测量，这样就可以精确分析判断出使用者的实际动作，而后根据动作对手机做相应的操作。

手机里陀螺仪称为微机械陀螺，也叫做“三轴陀螺仪”，即同时测定6个方向的位置，移动轨迹，加速。

手机转动时，根据手机陀螺仪的测得信息得到其对应的矩阵m：

又根据矩阵和欧拉角的转换关系，算出该矩阵m所对应的欧拉角：

yaw＝atan2(-m20,m00)

pitch＝asin(m10)

roll＝atan2(-m12,m11)

欧拉角yaw和pitch对应全景上的pan、tilt值。

步骤s2：控制弹幕在当前屏幕中心点的位置上出现。

步骤s3：控制弹幕在其发送时的当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值的位置上消失。

如图4和图5所示，弹幕是从屏幕的中心点(图4中的b点，即用户观看vr视频的当前屏幕中心点)出现并飘到文字发送时的位置(图4中的a点)，停顿几秒后消失。在弹幕漂移的过程中，由于vr视频内容本身就是360度多方位多角度的，用户的视线也会随着弹幕漂移的方向从屏幕中心开始进行移动。弹幕停止漂移的位置就是发送弹幕的位置，弹幕的内容和画面帧的内容相符合的位置。观看者通过这样的弹幕显示方式，可以寻找到感兴趣的内容源，满足了有着相同兴趣点用户之间准确获取信息及相互交流需求。

弹幕从屏幕中心点出现的另一个好处是：在vr眼镜中分屏观看时，同一份弹幕从左右屏的屏幕中心同时出现，同时向相同方向移动并同时消失。弹幕移动的范围也是在各自的屏幕区域，双目观看的情况下不会重影。

虚拟现实视频弹幕的显示系统的实施例

图2示出了本发明的虚拟现实视频弹幕的显示系统的实施例的原理。请参见图2，本实施例的显示系统包括：关联模块1、弹幕出现控制模块2和弹幕消失控制模块3。

关联模块1将vr弹幕与时间、空间信息进行关联，即，记录弹幕发送时当前虚拟现实视频播放的时间点及当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值，其中pan值表示画面帧水平方向视角范围，tilt值表示画面帧垂直方向视角范围。

此外，系统还包括弹幕输入模块4，vr弹幕通常是指文字类的弹幕信息，一般是通过用户键盘输入或者是用户语音输入后自动转换成为文字。

有多种方式可以实现上述的关联操作，本发明以其中的两种为例进行说明。第一个例子是通过手指拖动的方式获取当前屏幕中心点的vr视频画面帧的pan值和tilt值。

如图3所示，播放vr全景(全景图是水平视角在360度范围内、垂直视角在180度范围内的图片)时，播放窗口中心的pan和tilt值与全景图上的pan和tilt值一一对应。假定播放窗口中心的pan和tilt的当前值分别记为curpan、curtilt，那么当手指在屏幕上按下并移动距离dx、dy时，获知在全景图上移动响应的dpan、dtilt，此时播放窗口中心的pan和tilt新值记为newpan、newtilt，那么：

newpan＝curpan+dpan

newtilt＝curtilt+dtilt

同时更新播放窗口中心的pan和tilt的当前值：

curpan＝newpan

curtilt＝newtilt

一种简单的根据dx、dy计算dpan、dtilt的公式如下：

dpan＝dx*coefficient

dtilt＝dy*coefficient

其中coefficient是和手机屏幕像素密度有关的经验系数，比如取值0.75。

第二个例子是通过陀螺仪感应方式改变屏幕中心点的画面帧的pan和tilt值。陀螺仪又叫角速度传感器，是不同于加速度计(g-sensor)的，其测量物理量是偏转、倾斜时的转动角速度。手机上仅用加速度计没办法测量或重构出完整的3d动作，测不到转动的动作的，g-sensor只能检测轴向的线性动作。但陀螺仪则可以对转动、偏转的动作做很好的测量，这样就可以精确分析判断出使用者的实际动作，而后根据动作对手机做相应的操作。

手机里陀螺仪称为微机械陀螺，也叫做“三轴陀螺仪”，即同时测定6个方向的位置，移动轨迹，加速。

手机转动时，根据手机陀螺仪的测得信息得到其对应的矩阵m：

又根据矩阵和欧拉角的转换关系，算出该矩阵m所对应的欧拉角：

yaw＝atan2(-m20,m00)

pitch＝asin(m10)

roll＝atan2(-m12,m11)

欧拉角yaw和pitch对应全景上的pan、tilt值。

弹幕出现控制模块2控制弹幕在当前屏幕中心点的位置上出现。

弹幕消失控制模块3控制弹幕在其发送时的当前屏幕中心点的虚拟现实视频画面帧的pan值和tilt值的位置上消失。

如图4和图5所示，弹幕是从屏幕的中心点(图4中的b点，即用户观看vr视频的当前屏幕中心点)出现并飘到文字发送时的位置(图4中的a点)，停顿几秒后消失。在弹幕漂移的过程中，由于vr视频内容本身就是360度多方位多角度的，用户的视线也会随着弹幕漂移的方向从屏幕中心开始进行移动。弹幕停止漂移的位置就是发送弹幕的位置，弹幕的内容和画面帧的内容相符合的位置。观看者通过这样的弹幕显示方式，可以寻找到感兴趣的内容源，满足了有着相同兴趣点用户之间准确获取信息及相互交流需求。

弹幕从屏幕中心点出现的另一个好处是：在vr眼镜中分屏观看时，同一份弹幕从左右屏的屏幕中心同时出现，同时向相同方向移动并同时消失。弹幕移动的范围也是在各自的屏幕区域，双目观看的情况下不会重影。

此外，本发明还公开了一种计算机可读介质，其上存储计算机可读程序，程序用于执行如前述的方法步骤。

本发明还公开了一种计算机系统，包括了处理器、计算机可读介质，计算机可读介质上存储了计算机可读程序，处理器读取介质上的计算机可读程序，运行该程序得以执行如前述的方法步骤。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如dsp与微处理器的组合、多个微处理器、与dsp核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。