一种基于视线引导的全景视频传输系统和方法

1.本发明属于全景视频传输技术领域，具体涉及一种基于视线引导的全景视频传输系统和方法。


背景技术：

2.虚拟现实(virtual reality,vr)全景视频传输作为5g及下一代移动通信的重要应用场景，具有推进智慧生活的价值，更具有“高带宽、大存储、低时延、复杂视觉自适应”的特性。全景视频传输会为通信系统带来较高流量负担。分块传输方法可有效降低系统传输流量，它将全景视频画面切分为一系列视频块，而只需传输用户视野(field of view,fov)内的画面。主动式分块传输方法通过预测用户未来的fov，提前传输需要观看的切块，有助于降低全景视频传输的时延[参考文献1:x.wei,c.yang,and s.han,“prediction,communication,and computing duration optimization for vr video streaming,”ieee trans.commun.,vol.69,no.3,pp.1947
–
1959,nov.2020.]。多播技术是一种降低视频点播业务传输流量的有效方法[参考文献2:s.han,x.tan,k.qi,c.yang,a.f.molisch,y.lu,j.zheng,and y.li,“rethinking the gain of multicasting and proactive caching for vod service,”ieee wirel.commun.,vol.27,no.5,pp.133
–
139,oct.2020.]，针对全景视频的分块传输，多播可同时服务针对同一视频画面中同一分块的多个请求。
[0003]
传统的基于全景视频切块的多播传输系统由服务器、通信链路、客户端组成。在服务器端，全景视频画面经过投影后被划分为若干切块。客户端采集和上报用户的观看视点至服务器。服务器根据收到的用户视点，计算用户的视野，提取fov内的视频切块。若多个用户同时观看同一切块，则采用多播传输；否则，将切块单独发送给每个用户。
[0004]
尽管基于视频切块的多播技术具有节约流量的优势，但其性能取决于用户fov的集中度。如果用户观看的fov集中度很低，该方案的优势会大幅减弱。


技术实现要素：

[0005]
面对全景视频传输流量的巨大开销问题，本发明提供了一种基于视线引导的全景视频传输系统和方法，在全景视频传输系统中引入视线引导，通过引导用户的观看视线，提升用户观看视野的集中度，提高多播传输机会，降低全景视频传输流量，同时维护用户的观看偏好。
[0006]
本发明提供的一种基于视线引导的全景视频传输系统，改进基于全景视频切块的多播传输系统，在服务器中新增视线引导点优化和下发模块，在客户端新增视线引导结果呈现模块。客户端实时获取用户当前视点并发送给服务器。
[0007]
服务器的视线引导点优化和下发模块根据用户当前视点、用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型，并计算视线引导后的系统平均传输流量，以及引导后的视点位置偏离未引导时用户视点位置
的程度，然后最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置，将优化的视线引导位置发送给客户端。客户端的视线引导结果呈现模块将从服务器中获取的视线引导位置展示给用户，供用户选择。
[0008]
相应地，本发明提供的一种基于视线引导的全景视频传输方法，包括如下步骤：
[0009]
步骤1，客户端实时获取用户当前视点并发送给服务器；
[0010]
步骤2，服务器计算当前视线引导后用户的视点位置，包括：
[0011]
首先，确定视线引导位置z，设用户k当前的视点为pk，用户k以概率φk接受引导，朝向z移动，设移动后的视点为若不接受引导，用户视点将变至根据pk预测的视点视点和视线引导位置均为复数，实部与虚部分别对应位置的经度坐标和纬度坐标；然后，根据用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型；
[0012]
其中，将全景视频的球形画面投影至平面的画面在经纬度上切分为m块与n块，用n
×
m维度的向量w(pk)记录传输给用户的分块，传输的分块需覆盖用户的视野，向量w(pk)的每一个维度的数值取1时表示传输该分块，取0时表示不传输该分块；将传输给各用户的分块向量加和后得到总传输向量w；w的每一个非零元素表示该分块在当前时段被请求的次数，需要且只需被传输一次；
[0013]
步骤3，计算视线引导后的系统平均传输流量，以及引导后的视点位置偏离未引导时用户视点位置的程度，然后最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置；
[0014]
其中，最小化系统平均传输流量和用户视点偏移的加权和的目标函数如下：
[0015]
min j(z)＝r(z)+λd(z)
[0016]
其中,0≤re(z)≤1，0≤img(z)≤1
[0017]
r(z)表示系统平均传输流量，d(z)表示所有用户的视点偏移距离和，λ为权重，j(z)为系统平均传输流量和用户视点偏移的加权和；re(z)、img(z)分别为z的实部与虚部，对应引导位置的经度和纬度坐标；
[0018]
步骤4，服务器将优化得到的视线引导位置z
*
推送给客户端并展示给用户，以供用户选择。
[0019]
本发明的优点和积极效果在于：本发明的系统和方法结合多播技术，增强用户观看视野的集中度，从而可降低全景视频的传输流量。同时，本发明的系统和方法采用的全景视频传输视线引导位置的优化方案，在兼顾用户观看偏好的同时，综合考虑了视线引导在节约传输流量与维护用户观看偏好上的影响，可有效解决目前全景视频传输流量的巨大开销问题。
附图说明
[0020]
图1是本发明的基于视线引导的全景视频传输方法的一个整体实现流程图；
[0021]
图2是本发明的基于视线引导的全景视频传输方法中求解优化视线引导位置的流程图；
[0022]
图3是本发明方法与现有方法在权重λ的变化下的流量-用户偏好图；
[0023]
图4是本发明方法与现有方法在不同全景视频传输的节约流量和用户偏好偏移的
对比图。
具体实施方式
[0024]
下面结合实施例和附图对本发明做进一步的说明。
[0025]
本发明提出一种基于视线引导的全景视频传输系统，相对于现有基于切块的全景视频传输系统，本发明基于视线引导的全景视频传输系统在服务器中增加了视线引导点优化和下发模块，在客户端增加了视线引导结果呈现模块。其工作模式是：客户端向服务器上报当前视点位置；服务器的视线引导点优化和下发模块根据用户当前和历史视点数据，获取用户的观看特征，然后综合考虑视线引导对传输流量与用户观看偏好的影响，为每个用户优化视线引导点，并将引导点实时下发至客户端；客户端接收到引导点后，视线引导结果呈现模块在头戴显示器中选择可用的引导方式进行呈现，其中引导方式可根据视频内容或应用场景进行设计，例如采用类似游戏场景中的玩家位置地图的形式，在头戴显示器中以小地图的方式标注所有用户的真实位置，或标注期望引导的热点位置，从而达到吸引用户注意力和引导用户视线的目的。
[0026]
服务器中的视线引导点优化和下发模块根据用户当前视点、用户接受视线引导的概率以及用户接收引导后的视线引导习惯，建立视线引导后的用户视点位置的统计模型，并计算视线引导后的系统平均传输流量，以及引导后的视点位置偏离未引导时用户视点位置的程度，然后最小化系统平均传输流量和用户视点偏移的加权和优化视线引导位置。具体地，视线引导点优化和下发模块实现视线引导位置优化的实现方案如下面本发明方法中的第一部分的说明。
[0027]
具体地，客户端的视线引导结果呈现模块，在用户头显中的小地图可选择展现：
[0028]
(1)多个用户的当前注视点，引导用户向当前热门观看区域移动；
[0029]
(2)历史用户下一引导周期的注视点，引导用户向下一秒热门区域移动；
[0030]
(3)综合优化后的引导区域。
[0031]
前两种注视点可根据统计用户视点数据来获取，第三种本发明基于降低流量和维护用户偏好的考虑设计了视线引导位置优化方案。
[0032]
考虑一个全景视频传输系统，k个用户通过接收同一基站传输的数据观看视频。全景视频的每一帧球形画面可投影至平面。投影后的画面可在经纬度上切分为m块与n块，并具有归一化的经纬度坐标。在每一段可用于引导的时间内，首先需根据用户视点pk确定传输给用户k的分块。本发明实施例中，传输的分块需覆盖用户120度的视野。将被传输的观看区域视为若干分块的并集，则可用维度n
×
m的向量w(pk)表示传输给用户k的分块，该向量的每一个维度数值取1则传输该分块、取0则表示不传输该分块。然后，需确定所有被传输的分块。将分块传输用于多播系统，请求相同分块的用户将会收到同一多播数据流，其余被单独请求的分块将以单播的方式传输给相应用户，以保证每一个分块至多被传输一次。对所有用户观看时的向量w(pk)加和后，得到传输向量w，w的每一维度中元素的数值对应了该分块在当前时段被请求的次数，因此传输向量w的每一个非零元素即对应了一个需要且只需被传输一次的分块。
[0033]
本发明提出一种基于视线引导的全景视频传输方法，首先客户端实时获取用户当前视点并发送给服务器，然后在服务器端进行视线引导位置优化，将优化的视线引导位置
推送给客户端，在用户头显地图中进行展示，整体流程如图1所示。其中，第一部分在服务器端实现优化视线引导位置的方法，具体如下步骤1～2所示。
[0034]
步骤1，首先计算视线引导后用户的视点位置。
[0035]
经过视线引导后，用户的视点位置会与用户是否接受引导、用户当前视点、视线引导位置、引导时间、以及用户头动速度等因素有关。令pk表示用户k当前的视点，pk的虚部与实部分别对应当前视点的经度和纬度坐标。令z表示引导点或引导区域中心。若用户接受引导，则用户视点会朝向引导区域移动，其移动模型可根据经验设定或根据用户观看行为进行估计得到；若用户不接受引导，用户视点将变至其位置可借助视点预测获知。引导点或引导区域中心z可统计用户视点数据来获取，或者先随机设置再利用本发明方法优化。
[0036]
具体地，使用预设模型拟合视点受视线引导的移动情况，确定在用户接受引导移动后的视点如使用线性移动模型拟合头动过程，并假设引导持续的δ
t
时间内，用户k会以φk的概率接受引导，则接受引导后用户会以头速度μk朝向引导点或引导区域中心z移动：如果用户接受引导，则移动后的视点满足||.||表示求取复数的模，此处是对向量z-pk做归一化处理，得到表示头动方向的单位向量。若不接受引导，用户视点将变至可借助视点预测获知的因此，视线引导后的用户视点位置具有随机性。视点pk和引导位置z均用复数表示，实部为经度坐标，虚部为纬度坐标，如(经度，纬度)＝(0.2,0.3)就表示为0.2+0.3j，j为虚数单位。
[0037]
根据用户接受视线引导的概率以及用户接收引导后的视线引导习惯，可以建立视线引导后的用户视点位置的统计模型。具体地，使用上述线性移动模型时，可用uk(z)表示用户k观看各分块的概率为：
[0038][0039]
其中uk(z)的每一维度u
km
(z)对应了用户k观看第m个分块的概率，向量分别为根据视点传输给用户k的分块。
[0040]
步骤2，计算视线引导后的系统传输流量，以及引导后的视点位置偏离未引导时用户视点位置的程度，其中后者反映视线引导对用户观看偏好的影响。根据上一步计算得到的视线引导后用户的视点位置以及用户对引导的接受概率，可以计算得到用户的视野fov，进而得到用户观看各视频分块的概率uk(z)，其中uk(z)的每一维度u
km
(z)对应了用户k观看第m个分块的概率。为了计算平均传输流量，首先计算k个用户均不观看第m个分块的概率qm为：
[0041][0042]
则第m个分块至少被其中一个用户观看的概率为(1－qm)。由于系统采用多播传输，因此无论一个分块被多少用户同时观看，基站仅会传输该分块一次。由此可得，系统需要传输的平均传输流量或平均传输切块数r(z)可表示为各个分块观看概率之和：
[0043][0044]
若各个视频分块的大小已知，则系统需要传输的平均传输流量可以表示为：
[0045][0046]
其中，bm表示第m个分块的大小。
[0047]
引导后的视点位置偏离未引导时用户视点位置的程度可以由两点之间的欧式距离进行度量。对于用户k的距离度量可以表示为：
[0048][0049]
则k个用户的视点偏移距离和d(z)可表示为：
[0050][0051]
最后，求解下述问题，优化视线引导位置，来最小化系统平均传输流量和用户视点偏移的加权和，目标函数如下：
[0052]
min j(z)＝r(z)+λd(z)
[0053]
其中,0≤re(z)≤1
[0054]
0≤img(z)≤1
[0055]
其中，re(z)、img(z)分别为z的实部与虚部，对应引导点坐标的经纬度坐标。
[0056]
预先设置λ作为权重，可调节流量节约与用户偏好维护的重要性。设计求解目标函数的方法后，可确定引导位置，并进行视线引导在节约流量与维护用户偏好上的性能评估。
[0057]
目标函数的非凸性为求解提高了难度：一方面r(z)对于u
km
(z)具有非凸性，一方面u
km
(z)对于z具有非凸性，难以求得全局最优解。传统的梯度下降方法借助梯度寻找目标函数下降最快的方向，但是梯度可获取的条件是函数可微，但上述目标函数具有导数极大的点，不满足可微的条件。此外目标函数还具有导数为零的点，难以实现梯度的更新。因此，本方法设计了一种可拟合梯度下降的优化方法，流程如图2所示：
[0058]
步骤a，对目标函数的梯度进行差分拟合。目标函数下降剧烈的位置，即理想的梯度更新方向，具有随机性。
[0059]
首先，随机产生s个方向，本发明实施例取s＝8，第s个方向向量记为其中∈是一个较小的步长，本发明实施例设置∈为0.006，随机相位θs可以服从(0,2π)上的均匀分布。对每一个方向，计算差分ηs(z(i))如下：
[0060][0061]
上面z(i)表示第i次迭代的引导点。
[0062]
然后选取最大的差分值作为拟合梯度，设所对应的方向向量为s
*
对应最优方向的标号，表示方向移动步长为∈的向量。
[0063]
步骤b，设置跳出阈值本发明实施例取当所拟合的梯度小于
跳出阈值时，随机选取方向并以较大的步长∈
′
跳出，从而得到拟合的梯度为：
[0064][0065]
本发明实施例取∈
′
＝0.2。φ(z(i))表示拟合梯度。
[0066]
步骤c，迭代更新视线引导位置。
[0067]
对于第i次迭代的引导点z(i)，更新第(i+1)次引导点z
(i+1)
的公式为：
[0068][0069]
其中，proj(
·
)为投影函数，确保更新后的引导点坐标仍位于全景画面内；投影函数可选择proj(z)＝min(1,max(0,re(z)))+jmin(1,max(0,img(z)))。σ为超参数，对应学习率的系数。ε为给定的超参数，可取ε＝e-8
。m
p
表示梯度下降的动量项，用历史梯度m
′
p
修正当前梯度：
[0070]mp
＝β1m
′
p
+(1-β1)φ(z(i))
[0071]
其中β1用于更新有偏一阶矩估计，可取值β1＝0.9。
[0072]vp
用以实现自适应学习率，用历史学习率v
′
p
修正：
[0073]vp
＝β2v
′
p
+(1-β2)φ(z(i))2[0074]
其中β2作为阻尼因数，更新有偏二阶矩估计，可取值β2＝0.999。m
p
和v
p
初始值均为0。
[0075]
预先设置最大迭代次数，重复步骤a至c，直至迭代次数达到所规定的上限，选取迭代中所达到的使得目标函数最小的位置，作为优化后的引导点位置z
*
。
[0076]
经试验验证，当目标函数权重λ》5，即充分考虑用户偏好的维护时，优化后的引导点能达到与低效率的遍历算法相等的流量节约效果，且与未引入视线引导时的流量相比，其比值可降低至0.7以下。
[0077]
本发明方法第二部分是在将优化后的视线引导点位置z
*
推送给客户端，在用户头显中的小地图中进行展示，以供用户选择，本发明优化的视线引导位置，可以达到降低流量和维护用户偏好的目的。同时，在客户端也可以设置多种视线引导位置策略，如上述根据多个用户的当前注视点，引导用户向当前热门观看区域移动；根据历史用户下一引导周期的注视点，引导用户向下一秒热门区域移动。如此在客户端可根据应用场景中的用户群，设置不同类型的视线引导位置策略，实现个性化支持。
[0078]
将本发明系统和方法与现有的启发式的方法进行试验对比，对比结果如图3和4所示。图中，优化法代表本发明的基于视线引导的全景视频传输方法；热点法是取当前观看热点进行视线引导的全景视频传输的方法；中心法是取画面中心进行视线引导的全景视频传输的方法；平均法是取用户视点坐标平均值进行视线引导的全景视频传输的方法；遍历法是通过在画面上每个0.01
×
0.01的单元作为引导点进行穷举获得最优解的方法。
[0079]
如图3所示，研究λ在更大范围内变化时对流量与偏好距离的影响，改变λ，使用优化法与遍历法等分别寻找引导点，绘制流量-偏好图，观察λ的变化对流量与偏好距离的影响。图3中曲线上相邻两点间λ相差5。当λ＞5后，本发明方法的性能与遍历法几乎相等，曲线几乎与遍历法重合。进一步分析本发明方法性能随λ的变化趋势。由图3可以看出，曲线的斜率随λ的增加逐渐减小，说明：一方面，λ的增加在一定范围内可节约用户偏好距离，但继续
增加λ只会增加传输流量，无法换取用户偏好距离上进一步的降低；但另一方面，在曲线斜率较小的范围，如λ＞25时，减小λ则所对应的数据点左移，说明流量项有所减小，同时数据点没有明显上移，说明偏好项的增加不大，则在此范围中减小λ时，可以显著降低流量，同时不过分增大偏好距离，即用较小的用户偏好损失，换取较大的流量节约，在不过分提高用户偏好距离的同时，为用户提供更清晰、更流畅的观看体验。
[0080]
如图4所示，在三种全景视频传输上进行试验。静止型视频具有roi(感兴趣区域)在画面上所处的位置几乎不随时间变化的特点，例如采访类型视频。动态型视频具有roi在画面上所处的位置随时间有所变化的特点，例如体育类视频。探索型视频的特点是画面上无明确的roi吸引用户的视点，用户的观看倾向于探索，例如街景类视频。图4的左侧图为与不引入视线引导下的流量比值的对比，可以看出，采用本发明方法相比其他方法，更加节约传输流量；右侧图为在不同视频上的用户偏好偏移，可以看出，本发明方法相比其他方法偏移最小，在维护用户偏好上更具有优势。