虚拟现实影像传输方法、播放方法及利用此方法的程序与流程

本发明涉及虚拟现实影像传输方法、虚拟现实影像播放方法及利用此方法的程序，更详细而言，涉及一种通过无线通信而执行要求高规格的虚拟现实内容的实时传输及播放的方法或程序。

背景技术：

所谓虚拟现实(VR；Virtual Reality)，作为通过计算机而生成的虚拟的空间，是通过三维视觉效果而赋予现实性的空间。用于体现虚拟现实的技术，作为实时处理使用者的输入而能够获得如同处于现实世界一样的感受的技术，是超越多媒体的下一代技术。

虚拟现实环境不仅能够向使用者提供逼真的投入感，从而模拟实际存在的物体，而且，使人可以体验实际上不存在的物体或状况。这种虚拟现实环境可以应用于多样的领域。例如，从汽车设计或模拟实验等工学领域到医疗领域、文化内容领域，实际应用于多样的领域。

这种虚拟现实(VR)根据观察角度，混用为诸如虚拟环境(Virtual Environment)、虚拟存在(Virtual Presence)、人工世界(Artifical World)、虚拟世界(Virtual World)、网络空间(Cyber space)等术语，但一般向使用者提供由计算机创造的、与现实世界类似的三维虚拟世界，提供能够与该虚拟世界实时自由地操作的输入手段，以及与使用者的操作对应地提供实际感觉的感觉反馈(Sensory feedback)手段，因而堪称使得能够进行人工体验与经验的技术。

技术实现要素：

本发明要解决的技术问题

最近，随着技术发展，能够利用虚拟现实内容的装置也纷纷登场。以往，为了生成高规格的虚拟现实影像，在利用电线把VR播放装置连接于台式电脑等PC的状态下，使用者佩戴并使用。但是，这种情形利用了电线，可以佩戴VR装置并移动的行动半径有限，在佩戴VR装置而无法确认外部的状态下，存在会发生被电线绊倒的事故等问题。另外，存在只有在有PC的情况下，才可以利用VR装置来欣赏虚拟现实影像的不便。

另外，最近出现了一种方式，把移动终端结合于VR装置，移动终端执行生成VR影像所需的信息处理后，向VR装置传递。这种方式是作为执行信息处理的计算机的移动终端与进行播放的VR装置进行有线连接，可以结合于移动终端VR装置，可以解决因电线而发生的问题。但是，移动终端与PC相比，难以驱动高规格的程序，存在难以驱动高规格的VR游戏或播放高分辨率的VR影像的问题。

因此，本发明旨在提供一种虚拟现实影像传输方法、播放方法及利用此方法的程序，使得在信息处理装置与VR装置间，通过无线通信传输影像帧并播放，能够不受场所及行动半径限制，可以从高规格计算机获得提供的VR影像。

技术方案

根据本发明一个实施例的虚拟现实影像传输方法，包括：服务器生成最初影像帧的步骤；判断与所述最初影像帧相应的影像方向数据的步骤；在所述最初影像帧中，把所述影像方向数据结合为元信息，生成最终影像帧的步骤；及把所述最终影像帧通过无线通信传输给客户端的步骤；所述客户端是播放相当于虚拟现实影像的所述最终影像帧的装置，所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据。

另外，还包括：从所述客户端接收播放方向数据的步骤；所述影像方向数据判断步骤的特征在于：是以所述接收的播放方向数据为基础，决定所述影像方向数据；所述客户端的特征在于：测量使用者的颈部移动，并获得播放方向数据；所述播放方向数据，可以是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据。

根据本发明另一实施例的虚拟现实影像传输方法，包括：服务器获得特定时间点的最初全体影像的步骤；从所述客户端接收播放方向数据的步骤；在所述最初全体影像中提取与所述播放方向数据相应的最初影像帧的步骤；把所述播放方向数据决定为影像方向数据，在所述最初影像帧中，把所述影像方向数据结合为元信息，生成最终影像帧的步骤；及把所述最终影像帧通过无线通信传输到客户端的步骤。所述客户端是测量使用者的颈部移动并获得所述播放方向数据的、播放属于虚拟现实影像的所述最终影像帧的装置，所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据，所述播放方向数据是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据。

另外，所述客户端的特征在于：当未借助于所述客户端而接收第2时间点的最终影像帧时，可以算出第1时间点的影像方向数据与所述第2时间点的播放方向数据的差异值，以所述差异值为基础，补正所述第1时间点的最终影像帧；所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。

另外，所述最终影像帧生成步骤可以还包括：把所述最终影像帧变换成各个眼球用影像帧的步骤；及把所述最终影像帧变换为符合所述客户端画面的大小的步骤。

根据本发明又一实施例的虚拟现实影像播放方法，包括：客户端从服务器接收与第1时间点相应的第1最终影像帧的步骤；如果未接收与第2时间点相应的第2最终影像帧，则比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值的步骤；按照所述算出的差异值，补正所述第1最终影像帧，生成替代未接收的所述第2最终影像帧的第2替代影像帧的步骤；及把所述第2替代影像帧显示于画面的步骤。且所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据，所述播放方向数据是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据，所述最终影像帧是借助于所述服务器而把所述影像方向数据包含为元信息的影像帧，所述第2时间点是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。

另外，其特征可以在于，所述第2替代影像帧生成步骤是以所述差异值为基础，使所述第1最终影像帧移动或变换。

另外，其特征可以在于，所述播放方向数据及所述影像方向数据包括高低角数据及方位角数据，所述差异值算出步骤是算出所述第2时间点的播放方向数据与所述第1时间点的影像方向数据之间的高低角及方位角差异。

另外，所述播放方向数据及所述影像方向数据可以包括以佩戴者正面方向为轴的旋转角度的倾斜数据，所述替代影像帧生成步骤可以还包括：以所述第2时间点的播放方向数据与所述第1时间点的影像方向数据之间的所述倾斜数据差异为基础，旋转并补正所述第1最终影像帧的步骤。

另外，可以还包括：如果未接收与第n时间点(n为大于2的自然数)相应的最终影像帧，则比较与所述第n-1时间点相应的影像方向数据和与所述第n时间点相应的播放方向数据，并输出差异值的步骤；及按照所述算出的差异值，补正所述第n-1替代影像帧，生成第n替代影像帧的步骤。

根据本发明又一实施例的虚拟现实影像传输或播放程序，与硬件结合，而运行所述言及的虚拟现实影像传输方法或播放方法，并存储于介质。

发明的效果

根据如上所述的本发明，具有如下多样的效果。

第一，能够弥补无线传输虚拟现实影像帧所导致的特定时间点的影像帧遗漏，具有使用者即使在未接收特定影像帧的情况下，虚拟现实空间的整体时间点也不晃动，可以自然地播放影像的效果。

第二，使用者即使在服务器计算机远离的状态下，也可以利用蜂窝通信或WLAN通信，随时随地欣赏不中断的虚拟现实影像。

第三，能够弥补未接收影像帧的情形，因而能够无线传输虚拟现实影像，具有解决因连接于计算机的电线而行动受限、被电线绊倒而可能发生安全事故的问题的效果。

第四，服务器只提取并传输符合由客户端请求的播放方向数据的全体影像中的一个帧，或只生成并传输符合播放方向数据的方向的帧即可，因而具有能够节省无线通信的网络带宽的效果。

第五，并非以相同的数据容量传输关于所有方向的全体影像，而是只传输一个帧，因而能够在不大量占用通信流量的同时传输高分辨率影像。由此，佩戴客户端的使用者可以在远距离处观看高分辨率的影像。

第六，客户端从服务器只接收要求播放的方向的影像帧，无需为了播放所需的方向而执行客户端在全体影像中提取播放的方向的帧的过程。由此，客户端可以不需要高规格。

附图说明

图1是本发明一个实施例的虚拟现实影像接收发送系统的构成图。

图2是关于本发明一个实施例的虚拟现实影像传输方法的顺序图。

图3是本发明一个实施例的关于以最初全体影像为基础生成的虚拟现实影像帧的传输方法的顺序图。

图4是本发明一个实施例的关于客户端的虚拟现实影像播放方法的顺序图。

图5是显示在第2最终影像帧遗漏、未提供第2替代影像帧的情况下，通过客户端向使用者提供的影像变化的示例图。

图6是根据本发明的一个实施例，客户端以第1时间点的影像方向数据和第2时间点的播放方向数据的差异值为基础生成的第2替代影像帧的示例图。

图7是显示在客户端移动的情况下，最终影像帧无遗漏帧地依次提供时的物体位置变化的示例图。

图8是根据本发明的一个实施例，反映客户端的移动程度，提供在第1最终影像帧中补正各个物体位置的第2替代影像帧的示例图。

符号说明

100：服务器 200：客户端

具体实施方式

下面参照附图，详细说明本发明的优选实施例。如果参照后面与附图一同详细叙述的实施例，本发明的优点、特征以及达成其的方法。但是，本发明并非限定于以下公开的实施例，可以以互不相同的多样形态体现，本实施例只提供用于使得本发明的公开更完全，向本发明所属技术领域的技术人员完全地告知发明的范畴，本发明只由权利要求项的范畴定义。在通篇说明书中，相同参照符号指称相同构成要素。

如果没有不同的定义，则本说明书中使用的所有术语(包括技术及科学术语)可以用作本发明所属技术领域的技术人员可以共同理解的意义。另外，对于一般使用的字典中定义的术语，只要未明确地特别定义，不得过于地或过度地解释。

本说明书中使用的术语用于说明实施例，并非要限制本发明。在本说明书中，只要在语句上未特别提及，单数型也包括复数型。说明书中使用的“包括(comprises)”及/或“包括的(comprising)”，在言及的构成要素之外，不排除一个以上的其它构成要素的存在或额外。

下面参照附图，对本发明实施例的虚拟现实影像接收发送系统进行说明。

图1是本发明一个实施例的虚拟现实影像接收发送系统的构成图。

本发明一个实施例的虚拟现实影像接收发送系统包括服务器100及客户端200。

服务器100是生成虚拟现实(Virtual Reality；VR)影像的计算机。服务器100执行在内部执行信息处理，生成将提供给客户端200的VR影像的功能。例如，当VR影像驱动特定游戏而产生影像时，服务器100可以驱动游戏程序，生成适当的影像帧，通过无线通信传输给客户端200。

另外，服务器100可以执行在生成的VR影像中，把影像方向数据结合成元信息的功能。所述影像方向数据可以是由服务器100生成的影像帧的三维空间上的方向相关数据。

另外，服务器100可以从客户端200接收播放方向数据。服务器100可以把即将结合于影像帧的影像方向数据决定为接收的播放方向数据，生成与播放方向数据(或影像方向数据)相应的VR影像帧。

客户端200是接收并播放属于虚拟现实影像的影像帧(即，后述的最终影像帧)的装置。即，客户端200执行播放从服务器100接收的VR影像帧并提供给佩戴者的功能。客户端200可以为VR装置本身，也可以是移动终端结合于VR装置的状态。例如，当VR装置与移动终端结合而构成客户端200时，移动终端可以从服务器100接收生成的影像帧，将其通过连接的有线电线或近距离无线通信传递给VR装置并显示于画面中。

VR装置可以以多样的形态体现。例如，VR装置可以把包括适合于双眼的各个影像的影像帧显示于一个显示部，借助于各眼球方向的鱼眼镜头而生成为三维影像。另外，在另一实施例中，VR装置可以具备提供符合各个眼球的影像的2个显示部。

另外，客户端200可以执行测量播放方向数据的作用。所述播放方向数据可以是在特定时间点，应在所述客户端200的画面上播放的影像帧的方向相关数据。即，佩戴者可以把客户端200佩戴于眼球，测量观察的方向，将其决定为播放方向数据。例如，播放方向数据可以包括高低角数据、方位角数据或倾斜数据。客户端200可以具备一个以上的传感器(例如，陀螺仪传感器、加速度传感器、地磁传感器等)，测量佩戴客户端200的使用者的头(或颈)的移动，包括高低角数据、方位角数据、倾斜数据等。另外，客户端200可以执行把测量的播放方向数据通过无线通信传输给服务器100的功能。

所述高低角数据可以意味着由水平面(例如，地面线)与客户端200的视线方向构成的角。即，所述高低角数据可以是随着使用者颈部的上下移动而与水平面构成的角。

所述方位角数据作为代表方位的角度，可以意味着在水平面上以特定基准方向为基准旋转的角度。即，所述方位角数据可以因以使用者的身体(或颈部)为轴旋转的颈部移动而变更。

所述倾斜数据可以意味着颈部以使用者的正面方向为轴旋转的角。即，所述倾斜数据可以因使用者向左右方向的颈部移动或使用者身体的整体旋转等而变更。

另外，客户端200也可以测量佩戴者的移动。例如，当执行虚拟模拟训练或游戏时，由于使用者佩戴客户端200进行移动，因而客户端200可以以测量的使用者移动程度为基础，向服务器100请求符合移动的位置的影像帧。另外，如后所述，当未接收使用者移动的特定时间点的影像帧时，客户端200可以反映影像帧传输周期之间的使用者的移动程度，执行影像帧的补正。

另外，客户端200在通过无线通信而接收影像帧的情况下，如果特定影像帧未接收，则可以补正之前接收的影像帧，使得适合于使用者的移动，并显示于画面上。即，客户端200在未接收到第2时间点的最终影像帧时，可以算出第1时间点的影像方向数据与所述第2时间点的播放方向数据的差异值，以所述差异值为基础，补正第1时间点的最终影像帧。所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。

服务器100与客户端200可以通过无线通信而连接。作为无线通信方式，可以利用Wi-Fi方式、蜂窝通信等。例如，当服务器100是配置于使用者所在的特定空间内(例如，家内部、虚拟现实体现空间内等)的计算机时，可以通过无线AP(例如，Wi-Fi AP)执行客户端200与服务器100之间的通信。另外，例如，当服务器100是配置于外部远程的计算机时，远程服务器100可以通过蜂窝通信或LAN通信等，向客户端200传输生成的影像帧。客户端200可以通过蜂窝通信，从基站接收影像帧，或从无线AP，通过WLAN而接收影像帧。由此，如果使用者持有能无线通信的客户端200，那么，即使不在靠近服务器100计算机的位置，也可以接收从服务器100提供的VR影像并利用。

下面参照附图，对本发明实施例的虚拟现实影像传输方法、播放方法及程序进行说明。

当通过无线通信而传输虚拟现实影像(VR影像)时，无线通信网的状态可能会不顺畅，导致可能遗漏特定的影像帧。在这种情况下，佩戴者也可能会感觉如同影像帧内的物体在晃动一样，发生眩晕症状。为了解决这种问题，需要从之前时间点接收的影像帧，生成将替代遗漏的影像帧的替代影像帧，并提供给使用者。

就原有的服务器100与客户端200通过电线的有线连接方式而言，由生成影像的服务器100计算机执行影像补正，因而虽然不需要另外的用于补正的基准，但利用无线通信在服务器100与客户端200之间传输影像帧的方式进行分工，由服务器100生成影像帧，由客户端200弥补遗漏的特定时间点的影像帧，因而需要用于补正影像的基准。因此，下面说明服务器100用于弥补未通过无线通信接收的影像帧，使使用者不会感到影像晃动等不便的虚拟现实影像生成及传输方法和客户端200的虚拟现实影像播放方法。

图2是关于本发明一个实施例的虚拟现实影像传输方法的顺序图。

如果参照图2，本发明一个实施例的虚拟现实影像传输方法包括：服务器100生成最初影像帧的步骤S120；判断与所述最初影像帧相应的影像方向数据的步骤S140；在所述最初影像帧中，把所述影像方向数据结合成元信息，生成最终影像帧的步骤S160；及把所述最终影像帧通过无线通信传输给客户端200的步骤S180。

服务器100生成最初影像帧S120。服务器100可以驱动内部安装的程序，生成最初影像帧。所述最初影像帧意味着向客户端200发送后，当特定影像帧未接收时，未执行弥补所需的信息处理的影像帧。例如，服务器100可以驱动游戏程序，生成游戏影像帧。

服务器100判断与所述最初影像帧相应的影像方向数据S140。所述影像方向数据是由所述服务器100生成的影像帧的三维空间上的方向相关数据。在由服务器100生成影像之前，既可以决定影像方向数据(例如，根据提供特定方向影像的请求而确定将生成的影像方向后，生成对应的最初影像帧)，也可以生成影像帧后，决定对应的影像方向数据。

服务器100在最初影像帧中，把影像方向数据结合成元信息，生成最终影像帧S160。然后，服务器100把最终影像帧通过无线通信传输给客户端200、S180。即，服务器100在客户端200判断与影像帧对应的方向或在下个传输时间点(即，第2时间点)的影像帧未被接收的情况下，可以把在最初影像帧中结合了影像方向数据的最终影像帧传输给客户端200，以便能够通过之前时间点(即，第1时间点)的影像帧补正而弥补。

客户端200在因通信状态不良等而未从服务器100接收第2时间点的最终影像帧时，可以算出第1时间点的影像方向数据与所述第2时间点的播放方向数据的差异值，以所述差异值为基础，补正所述第1时间点的最终影像帧。所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。

另外，可以还包括从所述客户端200接收播放方向数据的步骤S110。例如，如果佩戴者佩戴客户端200进行移动，则客户端200可以获得关于在特定时间点应通过画面将向使用者提供的影像帧方向的数据(例如，关于使用者颈部移动的数据)，传输给服务器100。把借助于客户端200而测量的数据称为播放方向数据，服务器100可以在影像方向数据判断步骤S120中，从客户端200接收的播放方向数据为基础，决定影像方向数据。即，服务器100可以把与从客户端200接收的播放方向数据一致的方向决定为即将生成影像的方向。因此，服务器100可以把从客户端200接收的播放方向数据设置为影像方向数据S120，生成与设置的影像方向数据相符的最初影像帧S100。

另外，所述最终影像帧生成步骤S140可以还包括：把所述最终影像帧变换成各个眼球用影像帧的步骤。为了提供三维影像，左眼用影像与右眼用影像会需要有差异。因此，服务器100可以把将传输给客户端200的最终影像帧分别生成为左眼用最终影像帧及右眼用最终影像帧。

另外，所述最终影像帧生成步骤S140可以还包括：把所述最终影像帧变换为符合所述客户端200画面的大小的步骤。即，服务器100可以符合客户端200画面大小地变换影像帧的大小，以便客户端200可以接收最终影像帧并直接播放。由此，可以使在信息处理所需规格比服务器100低的客户端200中，在变化使得符合画面大小的过程中可能发生的延时(delay)实现最小化。

图3是关于本发明一个实施例的以最初全体影像为基础生成的虚拟现实影像帧的传输方法的顺序图。

本发明另一实施例的虚拟现实影像传输方法包括：服务器100生成特定时间点的最初全体影像的步骤S100；从所述客户端200接收播放方向数据的步骤S110；从所述最初全体影像提取与所述播放方向数据相应的最初影像帧的步骤S121；把所述播放方向数据决定为影像方向数据的步骤S141；在所述最初影像帧中，把所述影像方向数据结合成元信息，生成最终影像帧的步骤S160；及把所述最终影像帧通过无线通信传输给客户端200的步骤S180。下面，省略对已说明步骤的具体说明。

服务器100获得特定时间点的最初全体影像S100。所述最初全体影像可以意味着包括使用者视线朝向的所有方向的影像帧的影像。即，服务器100可以驱动内部的特定程序，生成特定时间点的全体影像，可以在预先生成的既定时间的全体影像(例如，借助于360度摄像头而在既定时间期间拍摄的影像)中，提取特定时间点的全体影像。

服务器100从客户端200接收播放方向数据S110。

服务器100在所述最初全体影像中，提取与所述播放方向数据相应的最初影像帧S121。即，服务器100可以通过从客户端200接收的播放方向数据，判断影像帧请求的方向，在最初全体影像中，提取与所述播放方向数据相应的最初影像帧。

服务器100把所述播放方向数据决定为影像方向数据S141。即，由于提取的最初影像帧是与所述播放方向数据对应方向的影像帧，因而服务器100可以把从客户端200接收的播放方向数据设置为所述提取的最初影像帧的影像方向数据。

服务器100在所述最初影像帧中，把所述影像方向数据结合成元信息，生成最终影像帧S160。服务器100把所述最终影像帧通过无线通信传输给客户端200、S180。

图4是关于本发明一个实施例的客户端200的虚拟现实影像播放方法的顺序图。

本发明又一实施例的虚拟现实影像播放方法包括：客户端200从服务器100接收与第1时间点相应的第1最终影像帧的步骤S200；如果未接收与第2时间点相应的第2最终影像帧，则比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值的步骤S220；按照所述算出的差异值，补正所述第1最终影像帧，生成替代未接收的所述第2最终影像帧的第2替代影像帧的步骤S240；及把所述第2替代影像帧显示于画面的步骤S260。

客户端200从服务器100接收与第1时间点相应的第1最终影像帧S200。即，客户端200可以从服务器100，通过无线通信接收影像方向数据结合为元信息的第1最终影像帧。所述影像方向数据是由所述服务器100获得的影像帧的三维空间上的方面相关数据，所述最终影像帧可以是由所述服务器100把所述影像方向数据包括为元信息的影像帧。

如果客户端200未接收与第2时间点相应的第2最终影像帧，则比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值S220。所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。客户端200接收与第1时间点对应的第1最终影像帧并显示后，经过最终影像帧的传输周期后，在第2时间点，由于通信状态不良等理由，可能无法接收第2最终影像帧。在这种情况下，取代在第2时间点预期的第2最终影像帧，继续显示第1最终影像帧，因此，就使用者而言，相应于第2时间点的播放方向数据与第1最终影像帧的影像方向数据之间的差异，会发生物体晃动的现象。即，在第2时间点，在继续显示与第1时间点相应的第1最终影像帧后，在第3时间点(即，从第2时间点起，经过最终影像帧的传输周期的时间点)，如果接收了新的最终影像帧(即，第3最终影像帧)，则如图5所示，从第1最终影像帧直接变更为第3最终影像帧，因而越过与第2时间点相应的物体的位置，从第1时间点的物体位置移动到第3时间点的物体位置，因而使用者会不自然地感觉到好象有物体移动或晃动的现象。如果这种现象继续发生，则使用者会感觉到眩晕现象。为了解决这种问题，客户端200需要生成将替代遗漏的第2最终影像帧的影像帧。因此，客户端200可以对在第1时间点接收的第1最终影像帧进行修正，生成为第2时间点的影像帧(即，第2替代影像帧)。

客户端200为了把第1最终影像帧变换为符合第2时间点的影像帧，需要决定补正水平。为此，客户端200可以比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值。播放方向数据可以是在特定时间点，应在所述客户端200的画面上播放的影像帧的方向相关数据。播放方向数据可以通过VR装置内配备的传感器(例如，陀螺仪传感器、地磁传感器、加速度传感器等)测量。例如，客户端200在从服务器100接收包括与播放方向数据对应的影像方向数据的影像帧并提供给使用者时，客户端200计算属于影像帧应提供的方向的第2播放方向数据与属于第1最终影像帧的方向的第1影像方向数据的差异，算出为应对第1最终影像帧进行补正的值。

所述播放方向数据及所述影像方向数据可以包括高低角数据及方位角数据。客户端200可以算出第2时间点的播放方向数据与第1时间点的影像方向数据之间的高低角及方位角差异。

另外，所述播放方向数据及所述影像方向数据可以包括以佩戴者正面方向为轴的旋转角度的倾斜数据。客户端200可以算出第2时间点的播放方向数据与第1时间点的影像方向数据之间的倾斜数据差异。

客户端200按照所述算出的差异值，补正所述第1最终影像帧，生成替代未接收的所述第2最终影像帧的第2替代影像帧S240。作为一个实施例，客户端200可以以所述差异值为基础，移动所述第1最终影像帧。即，客户端200可以按照高低角的差异值，使第1最终影像帧向竖直方向移动，可以按照方位角的差异值，使第1最终影像帧向水平方向移动。另外，客户端200可以按照倾斜数据的差异值，旋转第1最终影像帧。如果以使用者正面方向为轴，向特定方向倾斜颈部，那么，向使用者显示的物体进行旋转，因此，可以按照第1时间点的影像方向数据与第2时间点的播放方向数据间的倾斜数据的差异值，旋转第1最终影像帧。

当客户端200按所述差异值补正第1最终影像帧时，在将提供给使用者的第2替代影像帧上，如图6所示，发生空白区域。所述空白区域也可以处理成黑白，或处理成类似颜色的组合，以便佩戴者在视觉上最小限度地认知。

客户端200把所述第2替代影像帧显示于画面S260。即，客户端200可以取代在第2时间点遗漏的第2最终影像帧，把补正第1最终影像帧的第2替代影像帧显示于画面中。

另外，当使用者佩戴客户端200移动时，客户端200掌握使用者的移动程度(例如，移动距离及移动方向、移动步数等)，当第2时间点的最终影像帧未接收时，可以补正第1最终影像帧，使得符合使用者的移动程度。作为一个实施例，在使用者移动的情况下，物体根据距离使用者的距离，位置变化程度有差异。如图7所示，位于近处的物体随着使用者的移动而大幅移动，位于远处的物体随着使用者的移动而以比位于近处的物体小的幅度小幅移动。因此，在虚拟现实影像中，只有反映这种远近导致的物体移动幅的差异，才能够向使用者提供高逼真感。为此，服务器可以把多个物体(即，在影像帧内以各像素的集合而表现的物体)分别距离客户端的距离信息(以下简称深度信息)包含为元信息，生成最终影像帧并传输。当第2时间点的第2最终影像帧遗漏时，客户端可以利用包含的一个以上的传感器(例如，陀螺仪传感器、加速度传感器、地磁传感器等)，算出使用者的移动程度，在第1最终影像帧内的各个物体中反映各物体的深度信息，生成第2替代影像帧。即，如图8所示，客户端可以根据第1时间点与第2时间点的客户端位置(即，佩戴客户端的使用者的位置)差异，按与第1最终影像帧内多个物体相应的像素而执行补正，生成第2替代影像帧。另外，额外地，客户端可以在反映因物体配置的距离导致的物体移动幅度差异而执行像素单位的物体补正后，执行对原来物体在第1最终影像帧配置的区域进行补正的作业。客户端可以反映周边的颜色，以特定的颜色组合，填充原有的物体配置空间。

另外，作为另一实施例，当物体的移动幅度相异时，客户端可以使影像帧与大小最大物体的位置配置相符地移动后，按像素单位调节其余物体。由此，对于大小最大的物体，不执行像素单位作业，因而在第2替代影像帧内，随着像素单位移动而生成的空白空间可以实现最小化。另外，作为另一实施例，当佩戴客户端的使用者只向前方或后方移动时，客户端可以放大或缩小第1最终影像帧，生成替代遗漏的第2最终影像帧的第2替代影像帧。

另外，可以还包括：如果与第n时间点(n为大于2的自然数)相应的最终影像帧未接收，则比较与所述第n-1时间点相应的影像方向数据和与所述第n时间点相应的播放方向数据，并算出差异值的步骤；及按照所述算出的差异值，补正所述第n-1替代影像帧，生成第n替代影像帧的步骤。即，在第2时间点未接收第2最终影像帧，在提供第2替代影像帧后，如果在第3时间点接收了第3最终影像帧，则使用者可以感到影像内的物体顺畅移动。但是，当在第2时间点之后，影像帧未连续接收时，客户端200需要以之前生成的替代影像帧(例如，第2替代影像帧或第n-1替代影像帧)为基础，生成下个替代影像帧(例如，第3替代影像帧或第n替代影像帧)。客户端200可以比较第n-1时间点的第n-1替代影像帧内的影像方向数据(或在第n-1时间点测量的播放方向数据)与在第n时间点测量的播放方向数据，并算出差异值，按照算出的差异值，补正第n-1替代影像帧(例如，移动或变形)，生成第n替代影像帧。由此，客户端200即使在因通信状态不良而未从服务器100连续接收最终影像帧的情况下，也可以向使用者提供自然的虚拟现实影像。

以上叙述的本发明一个实施例的虚拟现实影像传输方法及虚拟现实影像补正方法，为了与作为硬件的服务器100或客户端200结合并运行，可以以程序(或应用程序)来实现并存储于介质。

以上叙述的程序为了供所述计算机读取程序并运行以程序体现的所述方法，包括以所述计算机的处理器(CPU)可以通过所述计算机装置接口而读取的C、C++、JAVA、机械语言等计算机语言进行编码的代码(Code)。这种代码可以包括定义运行所述方法所需的功能的函数等相关功能性代码(FunctionalCode)，可以包括所述计算机的处理器按既定步骤使所述功能运行所需的运行步骤相关控制代码。另外，这种代码可以还包括所述计算机的处理器使所述功能运行所需的额外信息或关于媒体是否应在所述计算机的内部或外部存储器的某个位置(地址代码)参照的存储器参照相关代码。另外，当所述计算机的处理器为了使所述功能运行而需要与处于远程(Remote)的某种其它计算机或服务器等通信时，代码可以还包括关于应利用所述计算机的通信模块而与处于远程的某种其它计算机或服务器等如何通信、通信时需要发送接收何种信息或媒体等的通信相关代码。

所述存储的介质并非诸如寄存器、高速缓冲存储器、存储器等短时存储数据的介质，而是意味着半永久性存储数据、能被机器判读(reading)的介质。具体而言，作为所述存储的介质的示例，有ROM、RAM、CD-ROM、磁带、软肋、光数据存储装置等，但不限定于此。即，所述程序可以存储于所述计算机可接入的多样服务器上的多样记录介质或使用者的所述计算机上的多样记录介质。另外，所述介质可以分布于通过网络连接的计算机系统，以分布方式存储计算机可读的代码。

根据如上所述的本发明，具有如下多样的效果。

第一，能够弥补无线传输虚拟现实影像帧导致的特定时间点的影像帧遗漏，具有使用者即使在未接收特定影像帧的情况下，虚拟现实空间的整体时间点也不晃动，自然地保持的效果。

第二，使用者在服务器计算机远离的状态下，也可以利用蜂窝通信或WLAN通信，随时随地欣赏不中断的虚拟现实影像。

第三，能够弥补未接收影像帧的情形，因而能够无线传输虚拟现实影像，具有解决因连接于计算机的电线而行动受限、被电线绊倒而可能发生安全事故的问题的效果。

第四，服务器只提取并传输符合由客户端请求的播放方向数据的全体影像中的一个帧，或只生成并传输符合播放方向数据的方向的帧即可，因而具有能够节省无线通信的网络带宽的效果。

第五，并非以相同的数据容量传输关于所有方向的全体影像，而是只传输一个帧，因而能够在不大量占用通信流量的同时传输高分辨率影像。由此，佩戴客户端的使用者可以在远距离观看高分辨率的影像。

第六，客户端从服务器只接收要求播放的方向的影像帧，因此无需为了播放所需的方向而执行客户端在全体影像中提取播放的方向的帧的过程。由此，客户端可以不需要高规格。

以上参照附图，说明了本发明的实施例，本发明所属技术领域的技术人员可以理解，本发明可以在不变更其技术思想或必需特征的前提下，以其它具体形态实施。因此，以上记述的实施例在所有方面应理解为只是示例而非限定。