全景视频制作方法及装置、全景视频播放方法及装置的制造方法
【专利摘要】本发明实施例提供一种全景视频制作方法，包括：环绕同一个视点采集不同角度的图像；将所述不同角度的图像拼接为全景视频数据帧，并将预定视线角度的图像放置于所述全景视频数据帧的预定位置。本发明实施例还提供一种全景视频制作装置、全景视频播放方法及装置。本发明实施例可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容，还可以让用户切换主视野。
【专利说明】
全景视频制作方法及装置、全景视频播放方法及装置
技术领域
[0001]本发明实施例涉及音视频技术领域，尤其涉及一种全景视频制作方法及装置、全景视频播放方法及装置。
【背景技术】
[0002]全景图像通常是指大于双眼正常有效视角或双眼余光视角，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览至360度完整场景范围拍摄的照片。利用图像技术生成全景图像可以在单机或者网络上显示。而利用上述全景图像则可以制作出全景视频，目前的全景视频技术在播放过程中，容易产生由于用户关注的内容或者对象在虚拟空间的位置发生了变化，而需要用户不断转动头部去观看，这样会降低用户的体验。
【发明内容】
[0003]本发明实施例提供一种全景视频制作方法及装置、全景视频播放方法及装置，以解决现有技术中用户需要转动头部观看全景视频的技术问题。
[0004]本发明实施例提供一种全景视频制作方法，包括:
[0005]环绕同一个视点采集不同角度的图像；
[0006]将所述不同角度的图像拼接为全景视频数据帧，并将预定视线角度的图像放置于所述全景视频数据帧的预定位置。
[0007]进一步的，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。
[0008]进一步的，所述预定视线角度的图像为用户于0°视线处的图像。
[0009]本发明实施例还提供一种全景视频播放方法，包括:
[0010]存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像；
[0011 ]播放所述全景视频数据帧。
[0012]进一步的，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。
[0013]进一步的，所述预定视线角度的图像为用户于0°视线处的图像。
[0014]进一步的，所述播放所述全景视频数据帧的步骤之后还包括:
[0015]当接收到用户的校正指令时，根据所述校正指令切换主视野。
[0016]本发明实施例还提供一种全景视频制作装置，包括:
[0017]采集模块，用于环绕同一个视点采集不同角度的图像；
[0018]拼接模块，用于将所述不同角度的图像拼接为全景视频数据帧，并将预定视线角度的图像放置于所述全景视频数据帧的预定位置。
[0019]进一步的，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。
[0020]进一步的，所述预定视线角度的图像为用户于0°视线处的图像。
[0021]本发明实施例还提供另一种全景视频播放装置，包括:
[0022]存储模块，用于存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像；
[0023]播放模块，用于播放所述全景视频数据帧。
[0024]进一步的，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。
[0025]进一步的，所述预定视线角度的图像为用户于0°视线处的图像。
[0026]进一步的，还包括:
[0027]校正模块，用于当接收到用户的校正指令时，根据所述校正指令切换主视野。
[0028]本发明实施例提供的全景视频制作方法及装置、全景视频播放方法及装置，可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容;进一步的，还可以让用户切换主视野。
【附图说明】
[0029]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图为本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本发明实施例全景视频制作方法的流程图；
[0031]图2为本发明实施例全景视频制作方法的在同一视点采集不同角度图像的示意图；
[0032]图3为本发明实施例全景视频制作方法的全景视频数据帧的示意图；
[0033]图4为本发明实施例全景视频图像的播放效果示意图；
[0034]图5为本发明实施例全景视频播放方法一种实施例的流程图；
[0035]图6为本发明实施例全景视频播放方法另一种实施例的流程图；
[0036]图7为本发明实施例一种全景视频制作装置的示意图；
[0037]图8为本发明实施例全景视频播放装置一种实施例的示意图；
[0038]图9为本发明实施例全景视频播放装置另一种实施例的示意图。
【具体实施方式】
[0039]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例为本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]目前的全景视频技术在播放过程中，容易产生由于用户关注的内容或者对象在虚拟空间的位置发生了变化，而需要用户不断转动头部去观看的问题，这样会降低用户的体验。本发明的发明人在经过深入研究后发现，只要在视频的制作程中进行相应的处理，可以不需要用户不断去转动头部，具体方案如下:
[0041 ]图1为本发明实施例全景视频制作方法的流程图。
[0042 ]本发明实施例的全景视频制作方法，包括步骤SI OI和SI 02。
[0043]SlOl:环绕同一个视点采集不同角度的图像；
[0044]可以采用单常规镜头拍摄，比如全景图像拍摄功能的手机;也可以采用多个常规镜头组成的相机，或者单镜头旋转扫描方式;还可以采用鱼眼镜头拍摄。
[0045]如果是鱼眼镜头拍摄到的图像，还需要对图像进校正。对于鱼眼镜头图像校可以采用球面坐标定位法，还可以采用经玮映射法。
[0046]具体采集方式，请参阅图2，图2为本发明实施例全景视频制作方法的在同一视点采集不同角度图像的示意图。
[0047]假设本实施例中，利用全景相机，分别在0°，90°，180°和270°拍摄到了A，B，C，D四张图像，当这只是举例说明，在实际应用中可能会在16个角度拍摄16张图像，拍摄的图像越多则后期拼接出的图像更好，当运算量也会更大。
[0048]S102:将所述不同角度的图像拼接为全景视频数据帧，并将预定视线角度的图像放置于所述全景视频数据帧的预定位置。
[0049]在拼接之前首先需要对进行图像匹配，图像匹配的方式包括与特征无关的图像匹配方式，以及根据特征进行图像匹配方式。
[0050]与特征无关的匹配方式可以是相关性匹配，相关性匹配可用于没有复杂变换的图像拼接的情况，方式计算较为简单，仅进行灰度模板匹配。
[0051]根据特征进行匹配的方式，首先从图像上选取特征信息，然后识别出两幅图像对应的特征信息。特征信息可以是特征轮廓、特征曲线，或者特征点。例如，进行特征点匹配需要提取所有素材图片的局部特征点。由于一张图片所包含的特征点通常为周围含有较大信息量的点，通过周围含有较大信息量的点，就可以推测出整张图片。
[0052]由于特征点由特征向量表示，所以图像中每个特征点显示为一个箭头。形成特征向量之后即可以进行匹配。可以采用最邻近搜索进行匹配，换而言之是找出空间上直线距离最近的特征向量，最近的特征向量则是互相匹配的。
[0053]在进行上述匹配得到图像间的匹配关系之后，即可以根据图像间的匹配关系进行图像的拼接。根据图像匹配的方式，使用对应的拼接方式进行处理。
[0054]对于根据模板匹配的方式，在得到图片的平移参数及缩放参数后，可根据平移参数及缩放参数进行图像拼接。对于根据特征点匹配的方式，则利用匹配的点估算单应矩阵，也就是把其中一张通过个关联性和另一张匹配的方法。通过单应矩阵，可以将原图像中任意像素点坐标转换为新坐标点，转换后的图像即为适合拼接的结果图像。
[0055]图像拼接后，需要对图像重叠部分进行融合处理。对图像进行融合可以提高图像合成质量，可以采用平均叠加法、线性法、加权法、多段融合法等方式进行融合。平均叠加法可直接对图像进行平均叠加，该算法简单效率较高，但融合的图像会出现明显的拼接缝隙。线性法适用于柱面图像的拼接，图像映射到柱面坐标下，图像间经过纯平面平移变换，局部对准后，对重叠区域再使用线性法融合。线性法适合柱面全景图生成，或者仅具有平移变换的两幅图像融合。加权函数法与线性法类似，该方法能有效去除边界缝隙，但在拼合区可能会出现叠影模糊的现象。对于多段融合法，其优点是拼接成的图像既清晰又光滑无缝，能避免缝隙问题和叠影现象;如果选取好的最佳缝隙线，还能处理有轻微运动物体的图像拼接；其缺点是运算量较大。
[0056]具体的拼接方式，请参阅图3，图3为本发明实施例全景视频制作方法的全景视频数据帧的示意图。
[0057]图3中仅为一帧全景视频数据帧的示意图，其是由图2中的A、B、C、D四张图像拼接而成，而且是展开以后的效果。其中，全景相机在0°方向拍摄到的图像A被分割为图像Al和图像A2，因此图像Al与图像A2交接处的图像即为用户于0°视线处的图像，换而言之，用户于0°视线处的图像实质上为图像A的中线处的图像。
[0058]本实施例中，预定位置为所述全景视频数据帧的起始处，在其它实施例中，也可以将预定位置设置于全景视频数据帧中间处或者是末尾处。预定视线角度的图像为用户于0°视线处的图像，当然也可以将其它视线角度处的图像设置于全景视频数据帧的起始处，本发明对此不作限定。
[0059]用户于0°视线处的图像放置于全景视频数据帧的何处，完全取决于全景视频播放器的需要，由于现有主流的全景视屏播放器默认全景视频数据帧的起始处是用户于0°视线处的图像，所以本实施例优选将用户于0°视线处的图像放置于全景视频数据帧的起始处。
[0060]当图3中的全景视频数据帧在经过虚拟现实设备播放之后所展现在用户视野中的图像如图4所示，图4为本发明实施例全景视频图像的播放效果示意图。图4是将A、B、C、D四张图像拼接之后，再通过虚拟现实设备播放及显示之后的效果，其实质是将图2中的场景通过虚拟现实设备还原之后显示于用户眼前，虚拟出的虚拟现实场景。0°方向为用户正前方方向，即为用户0°视线方向。
[0061]本实施例可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容。
[0062]图5为本发明实施例全景视频播放方法一种实施例的流程图。
[0063 ]本发明实施例的全景视频播放方法包括步骤S501及S502。
[0064]S501:存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像。
[0065]本步骤中所存储的全景视频数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC;也可以是H.26X系列，包括Η.261、Η.262、Η.263、Η.263+、Η.263++、Η.264。
[0066]本实施例中，预定位置为所述全景视频数据帧的起始处，在其它实施例中，也可以将预定位置设置于全景视频数据帧中间处或者是末尾处。预定视线角度的图像为用户于0°视线处的图像，当然也可以将其它视线角度处的图像设置于全景视频数据帧的起始处，本发明对此不作限定。
[0067]用户于0°视线处的图像放置于全景视频数据帧的何处，完全取决于全景视频播放器的需要，由于现有主流的全景视屏播放器默认全景视频数据帧的起始处是用户于0°视线处的图像，所以本实施例优选将用户于0°视线处的图像放置于全景视频数据帧的起始处。
[0068]S502:播放所述全景视频数据帧。
[0069]本步骤中，可通过各种全景视频播放器进行播放，该播放器可以是硬件解码，也可以是软件解码。该播放器可设置于虚拟现实系统，例如头盔，等类似产品中。
[0070]本实施例可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容。
[0071 ]图6为本发明实施例全景视频播放方法另一种实施例的流程图。
[0072]本发明实施例的全景视频播放方法包括步骤S601、S602、S603:
[0073]S601:存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像。
[0074]本步骤中所存储的全景视频数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC;也可以是H.26X系列，包括Η.261、Η.262、Η.263、Η.263+、Η.263++、Η.264。
[0075]本实施例中，预定位置为所述全景视频数据帧的起始处，在其它实施例中，也可以将预定位置设置于全景视频数据帧中间处或者是末尾处。预定视线角度的图像为用户于0°视线处的图像，当然也可以将其它视线角度处的图像设置于全景视频数据帧的起始处，本发明对此不作限定。
[0076]用户于0°视线处的图像放置于全景视频数据帧的何处，完全取决于全景视频播放器的需要，由于现有主流的全景视屏播放器默认全景视频数据帧的起始处是用户于0°视线处的图像，所以本实施例优选将用户于0°视线处的图像放置于全景视频数据帧的起始处。
[0077]S602:播放所述全景视频数据帧。
[0078]本步骤中，可通过各种全景视频播放器进行播放，该播放器可以是硬件解码，也可以是软件解码。该播放器可设置于虚拟现实系统，例如头盔，等类似产品中。
[0079]S603:当接收到用户的校正指令时，根据所述校正指令切换主视野。
[0080]对于不断变换场景的全景视频，由于拍摄者想着重展示的内容有所不同，不同时间和情节下主视野的位置和方向会发生变化。由于用户关注的对象或者内容可能是固定不变的，但是由于拍摄想向用户要展现的内容会发生改变，所以用户为了看清楚其所关注的内容或者对象，就需要不时的转动头部，该现象在通过头盔这类虚拟现实系统中更是经常出现，因此会导致用户不断的其转动其头部。由于本实施例已经将主视野固定设置于全景视频数据帧的其实位置，因此可以为在用户观看全景视频时即时校正主视野，观看其所感兴趣的内容。
[0081]对于头盔这一类型的全景视频播放装置，用户可以通过蓝牙手柄或者是蓝牙键盘等外设发出校正指令，当头盔接收到校正指令后开始切换主视野。
[0082]本实施例可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容;进一步的，本实施例还可以让用户切换主视野。
[0083]图7为本发明实施例一种全景视频制作装置的示意图。
[0084]本实施例的全景视频制作装置700可以是全景相机、前景摄影机、手机，或者是计算机等，包括采集模块701和拼接模块702。
[0085]采集模块701，用于环绕同一个视点采集不同角度的图像。采集模块701可以是单常规镜头，比如全景图像拍摄功能的手机;也可以是多个常规镜头组成的相机，或者单镜头旋转扫描方式;还可以是鱼眼镜头拍摄。
[0086]如果是鱼眼镜头拍摄到的图像，还需要对图像进校正。对于鱼眼镜头图像校可以采用球面坐标定位法，还可以采用经玮映射法。
[0087]拼接模块702，用于将所述不同角度的图像拼接为全景视频数据帧，并将预定视线角度的图像放置于所述全景视频数据帧的预定位置。本实施例中，预定位置为所述全景视频数据帧的起始处，在其它实施例中，也可以将预定位置设置于全景视频数据帧中间处或者是末尾处。预定视线角度的图像为用户于0°视线处的图像，当然也可以将其它视线角度处的图像设置于全景视频数据帧的起始处，本发明对此不作限定。
[0088]用户于0°视线处的图像放置于全景视频数据帧的何处，完全取决于全景视频播放器的需要，由于现有主流的全景视屏播放器默认全景视频数据帧的起始处是用户于0°视线处的图像，所以本实施例优选将用户于0°视线处的图像放置于全景视频数据帧的起始处。
[0089]本实施例可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容。
[0090]图8为本发明实施例全景视频播放装置一种实施例的示意图。
[0091 ]本发明实施例全景视频播放装置800包括存储模块801和播放模块802。
[0092]存储模块801，用于存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像;存储模块801所存储的全景视频数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC;也可以是H.26X系列，包括H.261、Η.262、Η.263、Η.263+、Η.263++、H.264。
[0093]播放模块802，用于播放所述全景视频数据帧。
[0094]本实施例中，预定位置为所述全景视频数据帧的起始处，在其它实施例中，也可以将预定位置设置于全景视频数据帧中间处或者是末尾处。预定视线角度的图像为用户于0°视线处的图像，当然也可以将其它视线角度处的图像设置于全景视频数据帧的起始处，本发明对此不作限定。
[0095]用户于0°视线处的图像放置于全景视频数据帧的何处，完全取决于全景视频播放器的需要，由于现有主流的全景视屏播放器默认全景视频数据帧的起始处是用户于0°视线处的图像，所以本实施例优选将用户于0°视线处的图像放置于全景视频数据帧的起始处。
[0096]本实施例可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容。
[0097]图9为本发明实施例全景视频播放装置另一种实施例的示意图。
[0098]本发明实施例全景视频播放装置900包括存储模块901、播放模块902，以及校正模块903。
[0099]存储模块901，用于存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像。存储模块所存储的全景视频数据帧格式，可以是MPEG-1、MPEG-2、MPEG-4或者是Mpeg4 AVC;也可以是H.26X系列，包括H.261、Η.262、Η.263、Η.263+、Η.263++、H.264。
[0100]本实施例中，预定位置为所述全景视频数据帧的起始处，在其它实施例中，也可以将预定位置设置于全景视频数据帧中间处或者是末尾处。预定视线角度的图像为用户于0°视线处的图像，当然也可以将其它视线角度处的图像设置于全景视频数据帧的起始处，本发明对此不作限定。
[0101]用户于0°视线处的图像放置于全景视频数据帧的何处，完全取决于全景视频播放器的需要，由于现有主流的全景视屏播放器默认全景视频数据帧的起始处是用户于0°视线处的图像，所以本实施例优选将用户于0°视线处的图像放置于全景视频数据帧的起始处。
[0102]播放模块902，用于播放所述全景视频数据帧。播放模块902可以是各种全景视频播放器，可以是硬件解码，也可以是软件解码，可设置于虚拟现实系统，例如头盔，等类似产品中O
[0103]校正模块903，用于当接收到用户的校正指令时，根据所述校正指令切换主视野。对于不断变换场景的全景视频，由于拍摄者想着重展示的内容有所不同，不同时间和情节下主视野的位置和方向会发生变化。由于用户关注的对象或者内容可能是固定不变的，但是由于拍摄想向用户要展现的内容会发生改变，所以用户为了看清楚其所关注的内容或者对象，就需要不时的转动头部，该现象在通过头盔这类虚拟现实系统中更是经常出现，因此会导致用户不断的其转动其头部。由于本实施例已经将主视野固定设置于全景视频数据帧的其实位置，因此可以为在用户观看全景视频时即时校正主视野，观看其所感兴趣的内容。
[0104]对于头盔这一类型的全景视频播放装置，用户可以通过蓝牙手柄或者蓝牙键盘等外设发出校正指令，当头盔接收到校正指令后开始切换主视野。
[0105]本实施例可以使得用户不用转动头部去观看其所关注的虚拟现实空间中的对象或者内容;进一步的，本实施例还可以让用户切换主视野。
[0106]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0107]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0108]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种全景视频制作方法，其特征在于，包括: 环绕同一个视点采集不同角度的图像； 将所述不同角度的图像拼接为全景视频数据帧，并将预定视线角度的图像放置于所述全景视频数据帧的预定位置。2.根据权利要求1所述的方法，其特征在于，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。3.根据权利要求1所述的方法，其特征在于，所述预定视线角度的图像为用户于0°视线处的图像。4.一种全景视频播放方法，其特征在于，包括: 存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像； 播放所述全景视频数据帧。5.根据权利要求4所述的方法，其特征在于，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。6.根据权利要求4所述的方法，其特征在于，所述预定视线角度的图像为用户于0°视线处的图像。7.根据权利要求4所述的方法，其特征在于，所述播放所述全景视频数据帧的步骤之后还包括: 当接收到用户的校正指令时，根据所述校正指令切换主视野。8.一种全景视频制作装置，其特征在于，包括: 采集模块，用于环绕同一个视点采集不同角度的图像； 拼接模块，用于将所述不同角度的图像拼接为全景视频数据帧，并将预定视线角度的图像放置于所述全景视频数据帧的预定位置。9.根据权利要求8所述的装置，其特征在于，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。10.根据权利要求8所述的装置，其特征在于，所述预定视线角度的图像为用户于0°视线处的图像。11.一种全景视频播放装置，其特征在于，包括: 存储模块，用于存储全景视频数据帧，所述全景视频数据帧的预定位置放置有预定视线角度的图像； 播放模块，用于播放所述全景视频数据帧。12.根据权利要求11所述的装置，其特征在于，所述预定位置为所述视频数据帧的起始处、中间处或者是末尾处。13.根据权利要求11所述的装置，其特征在于，所述预定视线角度的图像为用户于0°视线处的图像。14.根据权利要求11至13任一项所述的装置，其特征在于，还包括: 校正模块，用于当接收到用户的校正指令时，根据所述校正指令切换主视野。
【文档编号】G03B37/04GK105898139SQ201510992016
【公开日】2016年8月24日
【申请日】2015年12月23日
【发明人】周正
【申请人】乐视致新电子科技（天津）有限公司