基于视频内容检测的动态力反馈映射方法

1.本发明涉及虚拟现实(vr)领域，涉及在vr环境中对受试者触觉的映射，具体为一种基于视频内容检测的动态力反馈映射方法。


背景技术：

2.近年来，虚拟现实(vr)及相关技术发展迅速，其应用涵盖数字娱乐、沉浸式教育、远程医疗、工程设计等诸多领域。在数字娱乐应用中，目前的vr视频主要是通过视觉(例如：用户自主控制观看视角)和听觉(例如：空间音频)为用户营造沉浸感。然而，相关研究发现，在vr体验中，触觉反馈和力反馈可显著提高用户体验的沉浸感和真实感。在此方面，相关研究工作和技术仍不成熟。要实现基于vr视频内容检测与同步的动态力反馈为用户营造更强的沉浸感，还面临如下挑战：首先，当前vr环境中力反馈是在虚拟环境中手动配置的，而不是检测视频内容中导致“力”的元素，如球的运动；其次，普通视频和vr视频的帧率普遍较低，并且vr视频包含多个视角的视觉信息，数据量较大，因此无法实时精确的估计物体运动。此外，目前也缺乏将视频中检测到的“力”，通过不同类型的设备，映射到用户触觉感官的机制。


技术实现要素：

3.本发明提出一种基于vr视频(包括普通2d视频)的动态力反馈映射方法，通过动态力反馈映射，使用户在vr环境中的沉浸感更加强烈，体验更加真实。
4.本发明提供的技术方案如下：
5.一种基于视频内容检测的动态力反馈映射方法，具体包括如下步骤：
6.1)采集vr视频及视频对应的视频信号及事件信号，利用基于视频处理或事件处理的追踪算法对运动的物体进行追踪，获得物体的运动速度向量v(v
x
,vy,vz)；
7.2)利用物体的运动速度向量v和物体质量信息计算出视频中物体运动所产生力的大小和方向，通过一个力反馈向量f(f
x
,fy,fz)表示；
8.3)将动态力以非均匀的方式映射到力反馈设备上。
9.进一步，步骤1)具体为：
10.1-a)基于vr视频中心视图的追踪结果计算获得物体在x方向的运动速度v
x
和y方向的运动速度vy；
11.1-b)vr视频不同视角之间存在一定的视差信息，假设vr视频共有n
×
n个子视图，取第k行中视差最大的子视图k1和kn组成子视图对，则通过下述公式计算物体在z方向上的运动速度：
[0012][0013]
其中f表示相机的焦距，d表示两个虚拟相机的光学中心之间的距离，x
k1
和x
kn
分别为两个子视图中同一特征点在同一时刻的x坐标,δt为时间间隔，d
t-1
表示物体在z方向上
一时刻的位置；
[0014]
1-c)利用卡尔曼滤波器对物体运动速度进行滤波，获得物体像素水平的速度向量v
p
(v
x
,vy,vz)，通过下述映射公式将v
p
转换为物体的真实速度向量v(v
x
,vy,vz)：
[0015][0016]
其中w表示物体的实际宽度，w
p
表示视频中物体的像素宽度。
[0017]
进一步，步骤2)中，通过计算机视觉或元数据获取物体质量信息。
[0018]
进一步，步骤3)中所述力反馈数据设备为力反馈数据手套，具体映射步骤如下：
[0019]
3-a)将力反馈向量f非均匀的分布到用户的手指上，定义用户每根手指上力分布的权重wf:
[0020][0021]
其中r表示物体的半径，x表示横截面上的手指投影到物体中心的距离，θ是物体的速度向量与物体和手指接触面的法向量之间的夹角；
[0022]
3-b)根据得到的用户每根手指力分布的权重,计算用户每根手指的动态力，具体计算公式为:
[0023][0024]
式中f为力反馈向量，w
t
为第t根手指的权重，k＝10为用户手指的个数，f
t
是第t根手指的动态力；
[0025]
3-c)将得到的每根手指上的动态力映射到力反馈数据手套的相应反馈通道上。
[0026]
本发明的技术效果是：
[0027]
本发明首先通过vr视频内容检测获得vr视频中运动物体的速度及质量信息，进而通过计算获得物体运动所产生力的大小和方向，然后将力以非均匀的方式映射到相应的力反馈设备上。用户在体验时，针对不同手指，力反馈设备会提供不同程度的动态力反馈，体验物体落到手中的错觉。同时由于将vr视频内容检测数据通过与视频同步的动态力反馈映射到力反馈设备，可以为观看vr视频的用户营造更强的沉浸感。
附图说明：
[0028]
图1是本发明具体实例中基于视频内容检测动态力反馈映射方法的流程图；
[0029]
图2为本发明具体实例中所采集的3个不同场景的vr视频示意图，其中上排图是采集的不同场景视频的帧图，下排图是与视频的帧相对应的事件信号；
[0030]
图3为本发明具体实例中将力以动态力反馈的方式传递到力反馈设备senseglove手套的的示意图。
具体实施方式
[0031]
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
[0032]
本发明提供了一种基于vr视频(包括普通2d视频)的动态力反馈映射方法。通过本
发明可将vr视频中运动物体所产生的动态力映射到相应的力反馈设备，用户在观看vr视频时，通过力反馈设备所传递的实时动态力，从而可体验视频中物体运动的感觉，增加用户在vr环境中的沉浸感。
[0033]
图1所示为vr视频动态力反馈估计与转化方法处理流程，具体包括：
[0034]
1)为对视频中运动物体所产生的力进行估计，需要对物体进行追踪和速度估计。为达此目的，可使用现有基于2d视频、3d视频和vr视频处理的物体追踪和速度估计方法。该物体追踪和速度估计方法具有低功耗和高时间分辨率(temporal resolution)的优点。
[0035]
首先，需采集vr视频和对应的事件信号。目前有两种方法可实现vr视频的“事件信号”获取，即可在vr视频采集时，同时使用“事件相机”同步采集vr视频的事件信号，或仅仅采集vr视频，通过后处理的方式模拟生成vr视频的事件信号。通过vr视频中多个视角的视觉信息，获得vr视频中物体运动的速度向量v，其中每一个子视图都可单独看作一个普通的2d视频。以图2所采集的3个不同抛球场景为例，具体处理步骤如下：
[0036]
a)基于vr视频中心视图的追踪结果计算获得物体在x方向的运动速度v
x
和y方向的运动速度vy:
[0037]
1-a)针对每个子视图都通过基于事件信号的目标追踪算法追踪视频中运动的球体。在t0时刻取视频的图像帧记作利用角点检测算法获取球体的特征点，以特征点为中心生成宽和高均为14像素的特征片。计算上特征片在x方向和y方向的亮度梯度其中u代表像素位置。基于视频图像帧的亮度增量图像由亮度梯度在一定时间间隔δτ，以速度v
p
移动一段距离生成，计算公式为：
[0038][0039]
其中w代表图像配准的扭曲贴图，p代表配准参数。
[0040]
1-b)在t0后一段时间间隔内，通过在特征片上逐像素累积事件信号可生成事件信号亮度增量图像δl(u)。寻找一组配准参数p与速度v
p
，最大化与δl(u)相似性。假设遵循方差为σ2的零均值加性高斯分布。将生成δl(u)的事件集合ε的似然函数定义为：
[0041][0042]
1-c)对于运动参数p和速度v
p
，最大化上述似然函数可使光度残差l2范数最小化。同时最小化不同特征片p单位范数之间的差异，从而生成目标函数：
[0043][0044]
为了简化过程，只考虑在图像平面中刚体运动所引起的扭曲。优化上述目标函数，迭代更新参数p和v
p
实现运动球体的追踪。
[0045]
1-d)对于某时刻t及其之前的临近时刻t-1，t-2，t-n，通过球移动位置的变化，可估计出球在时刻t的运动速度。即基于vr视频中心视图的追踪结果可计算获得球在x方向的运动速度v
x
和y方向的运动速度vy。z方向的运动速度分量需要综合vr视频中多个视角追踪结果。
[0046]
b)vr视频不同视角之间存在一定的视差信息，假设vr视频共有n
×
n个子视图，取第k行中视差最大的子视图k1和kn组成子视图对，则可通过下述公式计算球在z方向上的运动速度：
[0047][0048]
其中f表示相机的焦距，d表示两个虚拟相机的光学中心之间的距离，x
k1
和x
kn
分别为两个子视图中同一特征点在同一时刻的x坐标,δt为时间间隔，d
t-1
表示球在z方向上一时刻的位置；
[0049]
c)利用卡尔曼滤波器对球运动速度进行滤波，可获得球像素水平的速度向量v
p
(v
x
,vy,vz)。最终通过下述映射公式可进一步将v
p
转换为球的真实速度向量v(v
x
,vy,vz)：
[0050][0051]
其中w表示球的实际宽度，w
p
表示视频中球的像素宽度。
[0052]
2)利用物体的运动速度向量v和物体质量信息计算出视频中球体运动所产生力的大小和方向，通过一个力反馈向量f(f
x
,fy,fz)表示。
[0053]
仍以图2的抛球场景为例：为了进一步估计球运动所产生力的大小和方向，还需获得球的质量信息。因此可通过“计算机视觉”和“元数据获取”的两种方法获得。对于基于计算机视觉的方法，可通过物体的尺寸检测、形状检测、材质检测，综合估算球体的质量。而基于元数据获取的方法通过访问外部数据库获取物体的质量(即“元数据获取”)。例如，基于视频内容的电子商务网站https://thetake.ai包含上百万种视频中出现的商品信息，并可链接到商品厂商数据库获得包括商品质量(此处“质量”指商品的重量)在内的详细信息。
[0054]
通过上述球体速度向量v和球体质量信息，基于动量定理可计算出视频中物体运动所产生力的大小和方向，通过一个力反馈向量f(f
x
,fy,fz)表示:
[0055][0056]
其中m和δv分别是物体的质量和速度变化，δt代表速度变化的持续时间。
[0057]
3)参考图3，将动态力以非均匀的方式映射到力反馈数据手套上，具体为：
[0058]
本发明中使用力反馈数据手套(例如senseglove手套)作为力反馈设备。以senseglove数据手套为例，该手套具有“振动力”和“阻力”两种力反馈类型。可为用户的每个手指施加0.1-40牛顿的阻力和输出级别范围为0-100的振动力(每个手指的力可以设置为不同)。基于力估计模块所计算出的力反馈向量f，进一步通过力转换模块将力以非均匀的方式映射到senseglove数据手套上，具体处理步骤如下：
[0059]
a)对于已估计出的力向量f，将其非均匀的分布到用户的10根手指上。因此定义用户每根手指上力分布的权重wf:
[0060][0061]
其中r表示物体的半径，x表示横截面上的手指投影到球心的距离，θ是物体的速度与物体与手指接触面的法向量之间的夹角。
[0062]
b)根据得到用户每根手指上力分布的权重计算出每根手指上所接收的动态力大
小，具体计算公式为:
[0063][0064]
式中f为估算出的力向量，w
t
为第t根手指的权重，k＝10为用户手指的个数，f
t
是第t根手指所接收的动态力。
[0065]
c)由于senseglove手套所提供力反馈强度范围有限，因此为了实现更合理的映射，根据不同反馈类型的范围，计算生成反馈强度系数k：
[0066][0067]
其中f
smin
为senseglove手套所提供的反馈强度最小值，f
smax
为senseglove手套所提供的反馈强度最大值。
[0068]
基于反馈强度系数k，最终可将每根手指的动态力映射到senseglove手套的不同反馈通道：
[0069]fs
＝kf
smax
[0070]
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。