实时播放由多个摄像头输入的虚拟现实影像的装置及方法与流程

1.本发明涉及虚拟现实再生装置及方法。


背景技术：

2.虚拟现实(virtual reality)为通过使用计算机等人工智能技术来提供与实际类似的环境的技术。
3.360vr影像为利用多个摄像头来覆盖360度全方位的影像，欣赏影像的用户可以感受到犹如置身于该影像的拍摄现场的高度沉浸感。
4.360vr影像通过如下方式制作，以拍摄不同方向的方式配置多个摄像头之后，连接各个摄像头拍摄的影像来形成犹如同时拍摄360度全方位的原始影像。在此情况下，将以自然地显示多个摄像头拍摄的不同方向的影像的方式进行连接的编辑过程称为拼接(stitching)。
5.拼接技术是一种根据预定的视野角度和画面大小的标准来修改由多个摄像头拍摄的影像的焦距和失真率之后将其进行连接的技术。为了准确的拼接，需要在相邻的多个影像的边缘匹配所拍摄的图像的颜色信息、位置、角度，需要修改因摄像头的性能差异而发生的图像清晰度或拍摄物的垂直、水平线等。
6.但是，如上所述，为了校正拼接多个影像，修改及编辑将消耗相当长的时间。
7.因此，为了将实况直播的内容作为360vr影像进行流式传输，无法实时播放内容，且发生至少延迟拼接所需时间的问题。
8.对此，本发明的发明人为了解决上述问题，经过长时间的研究且反复进行试验和开发，最终完成了本发明。


技术实现要素：

9.技术问题
10.本发明为了解决上述问题而提供如下装置，即，并不对利用在同一位置中向不同的方向配置的多个摄像头来拍摄的虚拟现实影像进行拼接，而是实时播放所拍摄的虚拟现实影像。
11.另一方面，本发明并未明示的其他目的在可从以下的详细说明及其效果中轻松推论的范围内追加考虑。
12.解决问题的方案
13.本发明的第一实施方式提供用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放装置，其特征在于，包括：多个拍摄部，用于在同一时间拍摄同一位置的不同方向；影像选择部，对多个拍摄部分别覆盖的视角与用户终端的视线方向进行比较，选择多个拍摄部中的拍摄与用户终端的视线方向对应的影像的拍摄部的影像；影像传输部，向用户终端实时传输由影像选择部所选择的拍摄部拍摄的虚拟现实影像；以及视线方向接收部，接收对收看虚拟现实影像的用户终端的视线方向的反馈来向影像选择部传
递，上述实时播放装置并不拼接(stitching)由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。
14.在优选实施例中，多个拍摄部包括用于在同一时间拍摄同一位置的不同方向的n个摄像头部，n个摄像头部用于对拍摄视角进行拍摄，上述拍摄视角是通过在将n个摄像头部所覆盖的总视角分为n个来得到的临时视角的两侧分别加上规定的保护视角来得到的值，从而被设定为一个摄像头部拍摄的视角与在两侧相邻的其他摄像头部所覆盖的视角重叠规定视角。
15.在优选实施例中，视线方向接收部接收能够在用户终端中再生的用户终端固有的再生视角及用户的视线方向，若随着用户终端的视线方向发生变化，再生视角的一端进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角，则影像选择部判断再生视角的一端是否满足规定的切换标准，当再生视角的一端满足规定的切换标准时，切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻拍摄部的影像。
16.本发明第二实施方式提供用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放方法，其为利用第一实施方式所述的虚拟现实影像实时播放装置来实时播放的实时播放方法，其特征在于，包括：步骤(a)，确定由多个拍摄部所包括的摄像头部拍摄的拍摄视角；步骤(b)，向用户终端实时传输由多个拍摄部中的与用户终端的视线方向匹配的拍摄部正在拍摄的影像；步骤(c)，接收用户终端的视线方向及能够在用户终端中再生的用户终端固有的再生视角；步骤(d)，随着用户终端的视线方向发生变化，判断再生视角的一端和当前实时播放中的拍摄部的拍摄视角是否满足规定的切换标准；以及步骤(e)，若满足切换标准，则切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻的拍摄部的影像。
17.在优选实施例中，在步骤(a)中，多个拍摄部被设定为对拍摄视角进行拍摄，上述拍摄视角是通过在将n个摄像头部所覆盖的总视角分为n个来得到的临时视角的两侧分别加上规定的保护视角来得到的值，多个拍摄部包括用于在同一时间拍摄同一位置的不同方向的n个摄像头部，步骤(d)包括：步骤(d-1)，随着用户终端的视线方向发生变化，判断再生视角的一端是否进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角；步骤(d-2)，若再生视角的一端进入到保护视角，则判断再生视角的一端是否满足规定的切换标准；以及步骤(d-3)，若再生视角的一端脱离保护视角，则停止对于是否满足切换标准的判断。
18.在优选实施例中，在步骤(e)中，若开始拍摄部的切换步骤，则仅在拍摄部的影像的关键帧中执行影像的切换，从而实现切换前后影像之间的帧同步。
19.发明的效果
20.本发明具有如下效果，即，并不对利用在同一位置中向不同的方向配置的多个摄像头来拍摄的虚拟现实影像进行拼接，而是实时播放所拍摄的虚拟现实影像。
21.因此，本发明具有可节约拼接多个虚拟现实影像所需要的装置和时间。
22.本发明可以确保实时性，因此，具有能够实况直播传输虚拟现实内容的优点。
23.另一方面，即使是在此并未明示性提及的效果，在通过本发明的技术特征所预期的以下的说明书中记载的效果及其临时效果如在本发明的说明书中记载。
附图说明
24.图1为用于示出本发明的实时播放装置的优选实施例的图。
25.图2为用于示出对于由本发明的多个拍摄部拍摄的拍摄视角的优选实施例的图。
26.图3为示出本发明的实时播放方法的优选实施例的图。
27.图4为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
28.附图是为了理解本发明的技术思想而参照的例示，本发明的发明要求保护范围并不局限于此。
具体实施方式
29.在说明本发明的过程中，在判断为对于相关的公知功能对本发明所属技术领域的普通技术人员是显而易见的且会使本发明的主旨不清楚的情况下，将省略对其的详细说明。
30.图1为用于示出本发明的实时播放装置的优选实施例的图。图2为用于示出对于由本发明的多个拍摄部拍摄的拍摄视角的优选实施例的图。
31.本发明的实时播放装置的特征在于，并不拼接由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。以下，详细说明具体内容。
32.如图1及图2所示，本发明的实时播放装置100包括多个拍摄部110、影像选择部120、影像传输部130、视线方向接收部140。
33.多个拍摄部110包括在同一时间拍摄不同影像的n个摄像头部。在优选实施例中，多个拍摄部110用于在同一时间拍摄同一位置的不同方向。
34.如图2的(a)部分所示，多个拍摄部110可以拍摄并未相互重叠的临时视角。但是，在优选实施例中，多个拍摄部110能够以相互重叠规定保护视角的方式配置。若规定的保护视角重叠，则可以更加轻松地控制实施播放中的拍摄部的切换时间点。
35.如图2的(b)部分所示，多个拍摄部110可包括用于在同一时间拍摄同一位置的不同方向的n个摄像头部。n个摄像头部能够用于对拍摄视角进行拍摄，上述拍摄视角是通过在将n个摄像头部所覆盖的总视角分为n个来得到的临时视角的两侧分别加上规定的保护视角得到的值。若如上配置，则被设定为：一个摄像头部拍摄的视角与在两侧相邻的其他摄像头部所覆盖的视角重叠规定视角。
36.例如，在使用3个摄像头部来传输360vr影像的情况下，各个摄像头部的临时视角可以为120度。但是，若设定为两末端还具有15度的保护视角，则一个摄像头部所覆盖的拍摄视角可以为150度。
37.另一方面，多个拍摄部所包括的摄像头部可包括用于实现3d的一对摄像头。一对摄像头可分别为右眼影像用摄像头及左眼影像用摄像头。
38.影像选择部120对多个拍摄部110分别覆盖的拍摄视角与用户终端的视线方向进行比较，以选择多个拍摄部中的拍摄与用户终端的视线方向对应的影像的拍摄部的影像。
39.影像选择部120选择实时传输的拍摄部的方法可具有多种实施例。
40.用户终端具有用户终端的显示器可覆盖的固有的视角，将其定义为再生视角。并且，将用户终端观察的特定方向定义为视线方向。
41.影像选择部120可利用从视线方向接收部140接收的再生视角及视线方向。
42.在优选实施例中，随着用户终端的视线方向发生变化，影像选择部120判断再生视角的一端是否进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角。若判断为再生视角的一端进入到保护视角，则影像选择部120判断再生视角的一端是否满足规定的切换标准。若判断为再生视角的一端满足规定的切换标准，则影像选择部120切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻拍摄部的影像。规定的切换标准也可具有多种实施例。在优选实施例中，切换标准可以为再生视角的一端1)进入到保护视角的瞬间以及2)到达与保护视角的1/2对应的位置的瞬间等，但并不局限于此。
43.影像传输部130向用户终端实时传输由影像选择部所选择的拍摄部拍摄的虚拟现实影像。
44.视线方向接收部140接收对收看虚拟现实影像的用户终端的视线方向的反馈来向影像选择部传递。视线方向接收部140可接收与能够在用户终端的显示装置中再生的固有的范围对应的用户终端的固有的再生视角及用户的视线方向。
45.图3为示出本发明的实时播放方法的优选实施例的图，图3的实时播放方法通过本发明的实时播放装置实现。
46.如图3所示，实时播放方法执行确定由多个拍摄部所包括的摄像头部拍摄的拍摄视角的步骤s1100。
47.在优选实施例中，对于拍摄视角，当假设为了在同一时间拍摄同一位置的不同方向而具有n个摄像头部时，将n个摄像头部所覆盖的总视角分为n个来得到的值确定为临时视角，拍摄视角可被确定为在临时视角的两侧分别加上规定保护视角而得到的值。
48.若以如上方式确定拍摄视角，则一个摄像头部拍摄的视角与在两侧相邻的其他摄像头部所覆盖的视角重叠规定视角。
49.接着，向用户终端实时传输由多个拍摄部中的与用户终端的视线方向匹配的拍摄部正在拍摄的影像(步骤s1200)。
50.在此情况下，本发明的实时播放方法并不拼接由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。
51.接着，从用户终端接收用户终端的视线方向及可在用户终端中再生的用户终端固有的再生视角(步骤s1300)。
52.接着，随着用户终端的视线方向发生变化，判断再生视角的一端和当前实时播放中的拍摄部的拍摄视角是否满足规定的切换标准(步骤s1400)。
53.在优选实施例中，是否满足切换标准可通过以下方法判断。
54.首先，随着用户终端的视线方向发生变化，判断再生视角的一端是否进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角。
55.若再生视角的一端进入到保护视角，则开始进行再生视角的一端是否满足规定的切换标准的步骤。
56.相反，若再生视角的一端脱离保护视角，则停止对于是否满足切换标准的判断，以减少负荷。
57.若满足切换标准，则切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输
相邻拍摄部的影像(步骤s1500)。
58.切换前后再生影像的帧同步方法
59.若更换实时播放中的拍摄部的影像，则有可能发生在用户终端中再生的影像中断的现象。为了防止这种问题，在本发明优选实施例中，若开始进行拍摄部的切换步骤，则可仅在拍摄部影像的关键帧(key frame)执行影像的切换，从而实现切换前后影像之间的帧同步。
60.如下对其进行更具体的说明。
61.图像组(group of picture：gop)为在mpeg图像处理中包含一张以上的i帧的集合。帧存在i(帧内编码(intra-coded))、p(预测编码(predictive-coded))、b(双向编码(bidirectional-coded))帧。i帧作为关键帧，在不参照其他帧的情况下编码。因此，i帧并不参照其他帧，而是可以独立解码。
62.p帧参照之前的i帧及p帧来编码。b帧均使用之前、之后的i帧和p帧来编码。因此，对b帧进行解码需要很长的时间。
63.因此，在切换后再生影像的帧为b帧的情况下，对其进行解码所需要的时间将大幅度增加，这有可能导致同步失败。
64.对此，本发明仅在关键帧中实现影像间的切换，从而将解码所需要的时间维持在可预测范围内。
65.为此，本发明的优选实施例利用规定的方法来缩减影像的关键帧距离(key frame distance：kfd)。而且，当随着用户的视线发生变化，对再生影像进行切换时，仅在构成影像的帧中的关键帧(key frame)执行影像的切换，从而实现在切换前后影像之间的帧同步。
66.在一实施例中，关键帧距离可通过防止b帧包含在图像组的方法进行缩减。这是因为b帧为了进行解码而需要的时间很长。
67.另一方面，为了仅在关键帧中进行切换而非即刻切换，需要确保规定的延迟时间。换句话说，需要延迟规定的延迟时间来进行切换，且不能发生在延迟时间内再生的画面中断的问题。为此，如上所述，本发明可通过设定规定的保护视角，并轻松设置切换标准来确保上述延迟时间。
68.广域影像、补丁影像等的实时播放
69.在优选实施例中，在本发明中实时传输的虚拟现实影像包含广域影像、补丁影像、分割影像。
70.图4为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
71.利用图4的(a)部分来说明对于本发明的广域影像和补丁影像的概念。当将整个360度的虚拟现实区域10以球表现时，广域影像v0为表现比整个360度的虚拟现实区域10或补丁影像更大的区域的影像。以下，为了便利，以广域影像覆盖整个虚拟现实区域进行说明，但并不局限于此。
72.补丁影像v1～v3为表现360度的虚拟现实影像10的一部分的影像。补丁影像v1～v3所覆盖的区域有可能不同，面积及画质也有可能不同。例如，第一补丁影像v1可以为覆盖前面部的上下一部分区域的高画质的影像。若虚拟现实内容为音乐剧，则第一补丁影像v1可以为覆盖音乐剧的舞台的区域。第二补丁影像v2可以为覆盖后面部上端一部分区域的影像，第三补丁影像v3可以为覆盖后面部下端一部分区域的影像。
73.补丁影像v1～v3通过在广域影像v0上重叠或修补(patched)来再生。因此，即使根据需要关闭(off)再生的补丁影像v1～v3中的一个，在后面再生广域影像v0，因此，影像不会发生空白。
74.补丁影像v1～v3与广域影像v0同步再生。若并未实现补丁影像v1～v3与广域影像v0的同步，则有可能引起用户头晕。
75.异步内容v4意味着与多个虚拟现实影像无关地由制作人员的意图任意插入的内容。异步内容v4可以为视频，也可以为特定事件工作。内容上可以为广告，也可以为与虚拟现实影像有关的事件。
76.异步内容v4并不与多个虚拟现实影像同步。即，与补丁影像v1～v3和广域影像v0的同步无关地，通过单独的触发信息再生或工作。在优选实施例中，触发信息包含与用户的视线是否观察异步内容v4的位置有关的信息。
77.利用图4的(b)部分来说明本发明的分割影像v1～vn的概念。
78.在一实施例中，分割影像v1～vn可以为被分割成并不相互重叠的n个区域的影像。多个分割影像v1～vn可以为不同尺寸，也可以为不同画质。
79.图2中已说明了相互重叠规定保护视角的影像，因此，将省略重复说明。
80.对本发明所属技术领域的普通技术人员来说，在不超出本发明的特征的范围内，本发明可具体化成其他特定形态是显而易见的。因此，上述详细说明在所有方面均是例示性，而并非限定本发明。本发明的范围通过附加的发明要求保护范围的合理解释确定，在本发明的等同范围内的所有变更均属于本发明的范围内。