远程全景图像实时传输和显示方法与流程

本发明涉及全景图像传输领域，更具体地说，涉及一种远程全景图像实时传输和显示方法。

背景技术：

全景显示目前一般采用曲面屏或近眼显示装置营造一个虚拟的三维场景，让使用者不管朝向哪个方向都可以看到虚拟世界中的图像，有较强的沉浸感。全景视频或游戏目前一般是在主机中提前下载好整个文件再播放，很难实现远程实时传输，这是由于目前的网络传输速度存在较大的限制，而全景视频或游戏的传输需要很大的实时数据传输量，这是目前大多数的网络条件难以满足的。一些实时传输的方案采用了降低传输图像画质来节省数据传输量，但这样会造成传输图像质量下降，晶格感严重，严重影响沉浸感。

技术实现要素：

为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本发明提供一种可实时传输而且沉浸感强的远程全景图像实时传输和显示方法。

本发明解决其技术问题所采用的技术方案是：提供一种远程全景图像实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，远程全景图像实时传输和显示的方法包括以下步骤：

S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；

S2：所述处理单元对接收到的检测结果进行处理，并发送请求至所述服务器请求图像数据；

S3：所述服务器传输对应图像数据至所述终端。

优选地，所述终端进一步包括环境模拟单元，所述环境模拟单元与所述处理单元电性连接，所述服务器传输环境信息到所述终端，所述终端传输对应信息至所述环境模拟单元，所述环境模拟单元可以根据所述终端传输的信息模拟对应环境场景。

优选地，所述运动检测单元包括姿态检测装置，所述姿态检测装置可以检测使用者的角度坐标信息。

优选地，所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息。

优选地，通过大量收集实验数据，确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所述极限边界范围确定对应延迟时间内所述传输图像区域。

优选地，所述传输图像区域的计算方法是：

S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α₀，β₀，γ₀)；

S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的角度坐标集合Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}；

S2.13所述处理单元向所述服务器请求集合Ф对应的所述传输图像区域。

优选地，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

优选地，使用者角度坐标最大偏移量为使用者该坐标方向最大运动角速度和延迟时间的乘积。

优选地，所述终端进一步包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间。

优选地，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。

与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。姿态检测装置可以探测使用者的角度坐标信息，实时将相关信息传输至处理单元以确定传输图像区域。固定传输图像区域与延迟时间一一对应可以很方便地确定传输图像区域的范围。通过确定使用者延迟时间内角度坐标的最大偏移量可以更精确传输图像区域的范围，进一步减少数据传输量。设置响应测试装置可以测量使用者的网速情况，同时方便得出延迟时间。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是目前远程图像实时传输和显示方法；

图2是全景图像显示示意图；

图3是本发明远程全景图像实时传输和显示方法结构示意图；

图4是本发明远程全景图像实时传输和显示方法原理示意图；

图5是本发明远程全景图像实时传输和显示方法传输图像区域示意图。

具体实施方式

为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本发明提供一种可实时传输而且沉浸感强的远程全景图像实时传输和显示方法。

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参阅图1。图1是目前远程图像实时传输和显示方法，终端13包括显示单元131，通过终端13向服务器11请求数据，服务器11根据终端13请求的数据传输对应的图像数据到终端13，终端13经过处理后将图像信号传输至显示单元131。这种传输对终端13和服务器11的处理速度以及传输数据的速度都有一定的要求，如果这些速度无法达到要求，视频就会出现卡顿，严重影响使用体验。在目前的远程音像实时传输和显示中，服务器11性能、终端13性能和网络带宽及稳定性成为了制约音像传输的关键因素。因此，在目前高清视频的传输和大型游戏中，性能卓越的终端13和稳定高速的网络配置是不能缺少的。

请参阅图2。图2是全景图像显示示意图。全景图像多通过虚拟现实头盔、增强现实眼镜和全景曲面屏来呈现，需要保证使用者20不管朝向什么方向，都可以感受到如同现实般的图像，因此在非远程虚拟现实显示中，需要制作全方位360度的图像，存储在终端13，待使用者20的运动和位置状态被确定后，终端13传输对应的图像信息到显示单元131中。而在远程实时传输中，无法提前制作全方位360度的图像，只能依靠实时传输360度的图像来保证使用者20不管朝向什么方向都可以感受到如同现实般的图像。但是同时传输如此多的信息需要很大的网络带宽支持，目前的技术无法达到要求，这就使得远程全景图像实时传输和播放遇到很大的难题。一个解决方案是降低图像的画质，当图像的画质降低到一定的标准时，实时传输数据量大为减少，网络带宽可以满足，但这会导致图像非常模糊，晶格感严重，严重影响虚拟现实的沉浸感和体验。在目前网络带宽的条件下，实时传输的情况下增强虚拟现实沉浸感必须寻找其他解决方案。

请参阅图3—图5，在本发明中，完成远程全景音像实时传输和播放需要服务器11、传输系统12和终端13，服务器11和终端13之间通过传输系统12连接并相互传递信息。终端13包括处理单元137、显示单元131、环境模拟单元139和运动检测单元135，处理单元137分别与显示单元131、环境模拟单元139和运动检测单元135电性连接。环境模拟单元139可以根据处理单元137的相关命令模拟环境场景，服务器11可以传输环境信息到终端13，并由处理单元137命令环境模拟单元139进行表达。环境模拟单元139可以配备鼓风机(图未示)模拟风向和配备喷水装置(图未示)模拟喷水、下雨等环境变化。运动检测单元135包括姿态检测装置1353。处理单元137包括响应测试装置1371，响应测试装置1371可以测量网络响应速度。

由于人的视角限制，现实中人不能同时看到360度全景空间的图像，呈现在人面前的是一个“视窗”，图示视窗图像区域31。我们这里以虚拟现实显示为例讲述全景图像显示的原理，全景曲面屏和增强现实显示方法与其类似，此处不再赘述。在非远程虚拟现实显示中，由于设备响应速度较快，在使用者20的角度信息被探测到后，终端13传输对应的视窗图像区域31到显示单元131中，整个过程可以控制到11ms以下，而在这低于11ms的时间内，使用者20的运动状态不会发生太大改变，这部分时间延迟可以忽略。使用者20在显示单元131中看到11ms之前的图像大脑生理上不会产生延迟感，这是非远程虚拟现实显示的基本原理。在这种传输中，每个角度坐标对应唯一的视窗图像区域31。但是在远程虚拟现实显示中，由于网络响应速度远大于11ms，再使用这种方式来传播图像就会产生很大的延迟感。因此我们必须传输大于视窗图像区域31的图像存储在终端13中，再重新测量使用者20的角度坐标，在存储的图像中抓取对应的视窗图像区域31到显示单元131中。这其中，大于视窗图像区域31的图像我们称为缓冲图像区域33，缓冲图像区域33和视窗图像区域31共同构成传输图像区域30。

从使用者20的运动状态和位置信息被探测到，到图像信息传递给使用者，需要一个传递和处理的时间周期。令这个时间周期的起始时刻为T₀，则该时间周期需要：使用者20的运动状态被探测到并传递到处理单元137的时间为探测时间t₁、处理单元137处理的时间为t₂、处理单元137传输数据到服务器11所需时间t₃、服务器11处理时间t₄、服务器11向处理单元137传输对应图像数据的时间t₅。(t₁+t₂+t₃+t₄+t₅)这段时间我们称为延迟时间，记延迟时间为t₁₀。延迟时间t₁₀根据服务器11、终端13的性能以及网络传输速度的不同各有不同。可以很容易得出，响应测试装置1371测量的响应时间为(t₃+t₄+t₅)，由于t₁和t₂对于特定的终端来说是基本是固定不变的，因此延迟时间t₁₀就可以通过响应时间(t₃+t₄+t₅)和固定的时间t₁、t₂计算出来。

本发明远程全景图像实时传输和显示方法的传输和显示过程是：在T₀时刻，使用者20的角度坐标信息被运动检测单元135检测到，经过t₁的时间该信息传递到处理单元137，处理单元137经过t₂时间的处理向服务器11请求传输图像区域30的数据，经过t₃时间数据请求信息传输到服务器11，服务器11经过t₄时间的处理将传输图像区域30对应数据下行传输到终端13，经过t₅的时间到达终端并接收完成，此时记为T₁时刻。同时，运动检测单元135检测使用者20在T₁时刻的角度坐标信息，并将该信息传输至处理单元137，处理单元137经过处理后，在传回的传输图像区域30中抓取对应T₁时刻角度坐标信息的视窗图像区域31并传输至显示单元131。

本发明中，传输图像区域30的范围是比较重要的。传输图像区域30如果过小，使用者20在缓冲时间内的运动可能造成视窗图像区域31超出传输图像区域30的范围，造成黑边的出现；传输图像区域30如果过大，会造成网络传输数据量的增多，在网络不稳定的情况下有可能影响到沉浸感。

本发明第一实施例采用固定传输图像区域30范围的方案。通过大量收集颈部转动能力较强的实验者的相关实验数据，确定对应延迟时间t₁₀内人类视窗图像区域31变化的极限边界，这些极限边界围成的集合就构成了该延迟时间t₁₀对应的传输图像区域30。在本实施例中，传输图像区域30的极限边界与延迟时间t₁₀存在一一对应关系。在响应测试装置1371测定响应时间(t₃+t₄+t₅)后，处理单元137根据响应时间和系统固定的时间t₁、t₂计算出延迟时间t₁₀，并对应得出传输图像区域30的极限边界范围，根据该极限边界范围确定传输图像区域30。

本发明第二实施例采用计算使用者20最大角度偏移量的方式确定传输图像区域30。我们建立虚拟的直角坐标系，使用者此时沿x轴、y轴和z轴的角度坐标为α₀、β₀、γ₀，处理单元137通过计算的方式计算出延迟时间t₁₀内使用者20角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的坐标集合：

Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}；

集合Ф内所有坐标对应的视窗图像区域31围成的图像区域的集合即为传输图像区域30。对应的角度坐标可以由姿态检测装置1353检测得到。

角度坐标的最大偏移量有很多算法，其中一种就是利用使用者20的最大运动角速度来计算。这里，我们令使用者20的最大运动角速度是ω，则使用者20沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α、ω_β、ω_γ，在延迟时间t₁₀内使用者20沿x轴、y轴和z轴各个方向转动的最大角度为ω_αt₁₀、ω_βt₁₀、ω_γt₁₀，角度坐标的变化范围为：

{((α₀-ω_αt₁₀)≤α≤(α₀+ω_αt₁₀))，((β₀-ω_βt₁₀)≤β≤(β₀+ω_βt₁₀))，((γ₀-ω_γt₁₀)≤γ≤(γ₀+ω_γt₁₀))}，

此时，角度坐标的集合为：

Ф＝{((α₀-ω_αt₁₀)≤α≤(α₀+ω_αt₁₀))，((β₀-ω_βt₁₀)≤β≤(β₀+ω_βt₁₀))，((γ₀-ω_γt₁₀)≤γ≤(γ₀+ω_γt₁₀))|α，β，γ}。

与现有技术相比，本发明采用根据运动检测单元135检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域31和缓冲图像区域33的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元139可以模拟环境，对虚拟现实的沉浸感有一定意义。姿态检测装置1353可以探测使用者的角度坐标信息，实时将相关信息传输至处理单元137以确定传输图像区域30。固定传输图像区域30与延迟时间一一对应可以很方便地确定传输图像区域30的范围。通过确定使用者20延迟时间内角度坐标的最大偏移量可以更精确传输图像区域30的范围，进一步减少数据传输量。设置响应测试装置1371可以测量使用者20的网速情况，同时方便得出延迟时间t₁₀。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。