一种全景视频图像播放、编码方法及装置的制造方法
【专利摘要】本发明实施例公开了一种全景视频图像播放、编码方法及装置，将全景视频图像映射到其对应球体的内接多面体，得到多个分片，对每个分片进行编码，得到各个分片的编码数据，进而得到该全景视频图像的编码数据。对该全景视频图像进行播放时，根据用户的观看视角，确定目标分片，从该全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
【专利说明】
一种全景视频图像播放、编码方法及装置
技术领域
[0001]本发明涉及多媒体技术领域，特别涉及一种全景视频图像播放、编码方法及装置。
【背景技术】
[0002]随着科技的不断发展，全景视频已在诸多领域发挥出巨大价值和优势。全景视频可以在拍摄角度左右上下360度任意角度观看，让用户有一种身临其境的感觉。
[0003]但是，在播放全景视频图像的过程中，全景视频图像提供的是360度空间的所有观看角度的视频资源，因此，播放全景视频图像会占用大量系统资源、占用很大的带宽，另外，还会弓丨起电量消耗过大等问题。
【发明内容】
[0004]本发明实施例的目的在于提供一种全景视频图像播放、编码方法及装置，减少播放全景视频图像时占用的系统资源、带宽及消耗的电量。
[0005]为达到上述目的，本发明实施例公开了一种全景视频图像播放方法，包括:
[0006]确定用户的观看视角；
[0007]根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
[0008]从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；
[0009]播放所述目标分片的编码数据。
[0010]可选的，所述播放所述目标分片的编码数据，可以包括:
[0011 ]对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理；
[0012]播放平滑处理后的数据。
[0013]为达到上述目的，本发明实施例还公开了一种全景视频图像编码方法，包括:
[0014]根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
[0015]对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
[0016]可选的，在所述根据目标模型，获得待编码全景视频图像的分片之前，还可以包括:
[0017]根据待编码全景视频图像获得目标模型。
[0018]可选的，所述根据待编码全景视频图像获得目标模型，可以包括:
[0019]获得待编码全景视频图像中的感兴趣区域；
[0020]以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
[0021]可选的，所述对所获得的每一分片进行编码，可以包括:
[0022]获得待编码全景视频图像中的感兴趣区域；
[0023]以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
[0024]可选的，所述对所获得的每一分片进行编码，得到各个分片的编码数据，可以包括:
[0025]按照以下方式获得所获得的每一分片的编码数据:
[0026]计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
[0027]判断计算得到的差异程度是否均大于预设阈值；
[0028]若为是，对所述源分片进行编码，得到所述源分片的编码数据；
[0029]否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
[0030]为达到上述目的，本发明实施例还公开了一种全景视频播放装置，包括:
[0031]第一确定模块，用于确定用户的观看视角；
[0032]第二确定模块，用于根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
[0033]第一获得模块，用于从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；
[0034]播放模块，用于播放所述目标分片的编码数据。
[0035]可选的，所述播放模块，具体可以用于:
[0036]对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理;播放平滑处理后的数据。
[0037]为达到上述目的，本发明实施例还公开了一种全景视频图像编码装置，包括:
[0038]第二获得模块，用于根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
[0039]第一编码模块，用于对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
[0040]可选的，还可以包括:
[0041 ]第三获得模块，用于根据待编码全景视频图像获得目标模型。
[0042 ]可选的，所述第三获得模块，具体可以用于:
[0043]获得待编码全景视频图像中的感兴趣区域；
[0044]以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
[0045]可选的，所述第一编码模块，具体可以用于:
[0046]获得待编码全景视频图像中的感兴趣区域；
[0047]以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
[0048]可选的，还可以包括:
[0049]计算模块，用于计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
[0050]判断模块，用于判断所述计算模块计算得到的差异程度是否均大于预设阈值，若为是，触发第二编码模块，否则，触发第三确定模块；
[0051 ]第二编码模块，用于对所述源分片进行编码，得到所述源分片的编码数据；
[0052]第三确定模块，用于从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
[0053]由上述技术方案可见，应用本发明实施例，将待播放全景视频图像映射到其对应球体的内接多面体，得到多个分片，根据用户的观看视角，确定目标分片，从待播放全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
【附图说明】
[0054]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0055]图1为本发明实施例提供的一种全景视频图像播放方法的流程示意图；
[0056]图2为本发明实施例中提供的目标模型示意图；
[0057]图3为本发明实施例提供的一种全景视频图像编码方法的流程示意图；
[0058]图4为本发明实施例提供的一种全景视频图像播放装置的结构示意图；
[0059]图5为本发明实施例提供的一种全景视频图像编码装置的结构示意图。
【具体实施方式】
[0060]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]为了解决现有技术问题，本发明实施例提供了一种全景视频图像播放、编码方法及装置。下面首先对本发明实施例提供的全景视频图像播放方法进行详细说明。
[0062]图1为本发明实施例提供的一种全景视频图像播放方法的流程示意图，包括:
[0063]SlOl:确定用户的观看视角。
[0064]在一定时间内人头部转动只能是一段范围的转动，因此，可以针对当前头部位置、以及未来t时间内的转动范围R，确定用户的观看视角。
[0065]本领域技术人员可以理解的是，全景视频图像一般展示在一个球体的球体表面，确定用户的观看视角也就是确定用户能观看到的图像区域在该球体表面上的位置。
[0066]S102:根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面。
[0067]在本发明实施例中，将待播放全景视频图像对应球体的内接多面体确定为目标模型，该目标模型可以如图2所示，每一表面为三角面。将待播放全景视频图像映射到该目标模型上，每一个三角面对应一小块图像区域，每小块图像区域即为一个分片。将曲面上的图像区域映射到三角面上，得到的分片会不平滑。如图2所示，目标模型中的三角面面积越大，也就是目标模型中包含的三角面越少，目标模型与球体之间的误差越大，待播放全景视频图像映射得到的分片越不平滑，失真情况越强；相反，目标模型中的三角面面积越小，也就是目标模型中包含的三角面越多，目标模型与球体之间的误差越小，越接近于球体，待播放全景视频图像映射得到的分片与球体上原有图像区域差别越小，越平滑。
[0068]另外，目标模型所包含的三角面的大小可以全部相同，也可以不全部相同。
[0069]根据上述确定的用户的观看视角，也即用户能观看到的图像区域在该球体上的位置，确定该位置对应的分片，即确定目标分片。具体过程可以为，将用户能观看到的图像区域在该球体表面上的位置对应到目标模型上，便能确定对应的多个三角面，将对应的三角面上的映射图像区域确定为目标分片。
[0070]S103:从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的。
[0071]在本发明实施例中，待播放全景视频图像对应的所有分片的编码数据构成该待播放全景视频图像的编码数据。因此，能从该待播放全景视频图像的编码数据中获得目标分片的编码数据。
[0072]S104:播放所述目标分片的编码数据。
[0073]在本实施例中，S104可以包括:
[0074]对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理;播放平滑处理后的数据。
[0075]如前所述，将全景视频图像映射到目标模型中，映射到三角面的图像区域会出现不平滑甚至失真的情况，因此，在对目标分片的编码数据进行解码处理后，可以对解码后的数据进行平滑处理，播放平滑处理后的数据，以提高视频观看效果。
[0076]应用本发明图1所示实施例，将待播放全景视频图像映射到其对应球体的内接多面体，得到多个分片，根据用户的观看视角，确定目标分片，从待播放全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
[0077]相对应的，本发明实施例还提供一种全景视频图像编码方法，如图3所示，包括:
[0078]S201:根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像。
[0079]本领域技术人员可以理解的是，全景视频图像一般展示在一个球体的球体表面，该球体的内接多面体可以如图2中所示，每一表面为三角面。将该内接多面体确定为目标模型，将待编码全景视频图像映射到目标模型上，每一个三角面对应一小块映射图像，每小块映射图像即为一个分片。
[0080]作为本发明的一种实施方式，目标模型可以是预先设定的，针对每一帧待编码全景视频图像都应用设定好的目标模型。
[0081]在本实施例中，目标模型中的每个三角面的面积可以相同，也可以不同。目标模型中的三角面面积越大，也就是目标模型中包含的三角面越少，目标模型与球体之间的误差越大，待播放全景视频图像映射得到的分片越不平滑，失真情况越强;相反，目标模型中的三角面面积越小，也就是目标模型中包含的三角面越多，目标模型与球体之间的误差越小，越接近于球体，待播放全景视频图像映射得到的分片与球体上原有图像区域差别越小，越平滑。
[0082]另外，对于用户而言，图像可以分为感兴趣区域和非感兴趣区域，一般用户对感兴趣区域的图像质量比较敏感、关注度较高，而对非感兴趣区域的图像质量不是很敏感、关注度较低。基于上述情况，为提高用户体验，可以将单位面积的感兴趣区域划分为较多的三角面，也就是将感兴趣区域划分为面积较小的三角面，以使得感兴趣区域的图像质量较佳，比如，可以认为图像中心区域为感兴趣区域，图像中心区域对应的三角面的面积可以比图像其他区域对应的三角面的面积小。也就是说，可以对图像中心区域使用更多的三角面进行细分，以实现在播放该全景视频图像时，在图像中心区域获得更高的清晰度。
[0083]作为本发明的另一种实施方式，可以根据待编码全景视频图像获得目标模型:
[0084]首先获得待编码全景视频图像中的感兴趣区域；
[0085]然后以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
[0086]在本实施例中，感兴趣区域的获得可以采用复杂度算法获得，可以认为复杂度较高的区域为感兴趣区域。感兴趣区域对应的目标模型区域的三角面的面积比非感兴趣区域对应的目标模型区域的三角面的面积要小，也就是说，可以对感兴趣区域使用更多的三角面进行细分，以实现在播放该全景视频图像时，在感兴趣区域获得更高的清晰度。
[0087]S202:对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
[0088]编码技术为现有技术，在此不做赘述。
[0089]在本实施例中，对所获得的每一分片进行编码时，也可以获得待编码全景视频图像中的感兴趣区域；以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
[0090]如前所述，感兴趣区域的获得可以采用复杂度算法，可以认为复杂度较高的区域为感兴趣区域。当然也可以采用预先设定的方法，比如将图像中心区域设定为感兴趣区域。
[0091]针对感兴趣区域采用的编码码率高于针对非感兴趣区域采用的编码码率，以实现在播放该全景视频图像时，在感兴趣区域获得更高的清晰度。
[0092]作为本发明的一种实施方式，对所获得的每一分片进行编码，得到各个分片的编码数据，可以按照以下方式获得所获得的每一分片的编码数据:
[0093]计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
[0094]判断计算得到的差异程度是否均大于预设阈值；
[0095]若为是，对所述源分片进行编码，得到所述源分片的编码数据；
[0096]否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
[0097]上述预设时段对应的时长可以根据实际应用情况确定，例如，40毫秒、80毫秒、100毫秒等等。另外，上述预设时段可以理解为:当前时刻之前一定时长，相应的，上述预设时段内已编码全景视频图像可以包含一张全景视频图像也可以包含多张全景视频图像，本申请并不对此进行限定。
[0098]作为本发明的一种实施方式，预设时段内已编码全景视频图像根据相同的目标模型获得分片，多张已编码全景视频图像映射到该目标模型的同一三角面上的分片之间存在空间对应关系。因此，可以在预设时段内的多张已编码全景视频图像中，将与源分片映射到目标模型的同一三角面上的分片确定为源分片对应的目标分片。
[0099]作为本发明的另一种实施方式，也可以在预设时段内已编码全景视频图像包含的分片中进行查找，查找与源图片差异程度最小的分片，将查找到的分片确定为源分片对应的目标分片。
[0100]需要说明的是，源分片为所获得分片中的任一分片，为了与目标分片进行区分，将其称之为源分片。
[0101]利用计算机视觉的相关算法，计算源分片与源分片对应的目标分片之间的差异程度，并判断计算得到的差异程度是否均大于预设阈值。如果是，说明在预设时段内源分片发生了明显的变化，对源分片进行常规编码。如果否，说明在预设时段内源分片未发生明显的变化，为节省编码时间，提高编码效率，可以不再对源分片进行常规编码，而是从差异程度不大于所述预设阈值的目标分片中选择一个分片，根据所选择分片的标识信息生成源分片的编码数据。
[0102]可以理解的是，当对源分片进行解码播放时，首先根据源分片的编码数据获得上述所选择分片的标识信息，然后根据所获得的标识信息从已解码数据中获得所选择分片的解码后数据，这表示源分片的解码后数据为所选择分片的解码后数据，对所选择分片的解码后数据进行播放。由于在编码过程中已确认上述源分片与上述所选择分片之间的差异程度较小，所以采用上述所选择分片的解码后数据作为上述源分片的解码后数据一般不会影响图像的主观质量。
[0103]举例来说，假设全景视频拍摄的是舞台表演的画面，可以理解的是，在该画面中，天花板及观众区域基本处于静止状态，而舞台区域的画面内容变化较大。也就是说，对于预设时段内的多张全景视频图像来说，天花板及观众区域对应的分片未发生明显的变化，而舞台区域对应的分片发生的变化较明显。因此，对舞台区域对应的分片进行常规编码，而对天花板及观众区域对应的分片，可以只对预设时段内的一张全景视频图像中的分片进行常规编码，该预设时段内的其他全景视频图像中天花板及观众区域对应的分片的编码数据均根据上述常规编码的分片的标识信息生成。也就是说，当对其他全景视频图像中天花板及观众区域对应的分片进行解码播放时，将上述常规编码的分片的解码后数据确定为其他全景视频图像中天花板及观众区域对应的分片的解码后数据，播放上述常规编码的分片的解码后数据。也可以理解为，直接使用单张图片来代替多张全景视频图像中天花板及观众区域对应的分片。
[0104]应用这种方案，对于预设时段内变化不大的源分片，直接将差异程度小的分片的解码后数据确定为源分片的解码后数据，减少了对这些源分片进行运动搜索、运动估计等过程，简化了编码过程;另一方面，这些源分片的编码数据仅仅为根据差异程度小的分片的标识信息生成的数据，这样减小了源分片的编码数据所包含的数据量，进而在进行视频传输时，可以占用较少的网络资源;再一方面，对上述源分片进行解码播放时，由于上述差异程度小的分片已完成解码，所以可以直接将上述差异程度小的分片的解码后数据确定为源分片的解码后数据，简化了解码过程，提高了解码速度，同时也减少了解码过程所需要的硬件资源。
[0105]应用本发明图3所示实施例，将待编码全景视频图像映射到其对应球体的内接多面体，得到多个分片，对每一分片进行编码，得到各个分片的编码数据，进而得到待编码全景视频图像的编码数据，从而实现播放该全景视频图像时，仅对用户观看视角范围内的部分分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
[0106]与上述的方法实施例相对应，本发明实施例还提供一种全景视频图像播放、编码
目.ο
[0107]图4为本发明实施例提供的一种全景视频图像播放装置的结构示意图，包括:
[0108]第一确定模块301，用于确定用户的观看视角；
[0109]第二确定模块302，用于根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面；
[0110]第一获得模块303，用于从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的；
[0111]播放模块304，用于播放所述目标分片的编码数据。
[0112]在本发明所示实施例中，播放模块304，具体可以用于:
[0113]对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理;播放平滑处理后的数据。
[0114]应用本发明图4所示实施例，将待播放全景视频图像映射到其对应球体的内接多面体，得到多个分片，根据用户的观看视角，确定目标分片，从待播放全景视频图像的编码数据中获得目标分片的编码数据，也就是说，当播放该全景视频图像时，仅对目标分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
[0115]图5为本发明实施例提供的一种全景视频图像编码装置的结构示意图，包括:
[0116]第二获得模块401，用于根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；
[0117]第一编码模块402，用于对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。
[0118]在本发明所示实施例中，还可以包括:
[0119]第三获得模块(图中未示出)，用于根据待编码全景视频图像获得目标模型。
[0120]在本发明所示实施例中，第三获得模块，具体可以用于:
[0121]获得待编码全景视频图像中的感兴趣区域；
[0122]以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。
[0123]在本发明所示实施例中，第一编码模块402，具体可以用于:
[0124]获得待编码全景视频图像中的感兴趣区域；
[0125]以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。
[0126]在本发明所示实施例中，还可以包括:计算模块、判断模块第二编码模块和第三确定模块(图中未示出)，其中，
[0127]计算模块，用于计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片；
[0128]判断模块，用于判断所述计算模块计算得到的差异程度是否均大于预设阈值，若为是，触发第二编码模块，否则，触发第三确定模块；
[0129]第二编码模块，用于对所述源分片进行编码，得到所述源分片的编码数据；
[0130]第三确定模块，用于从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
[0131]应用本发明图5所示实施例，将待编码全景视频图像映射到其对应球体的内接多面体，得到多个分片，对每一分片进行编码，得到各个分片的编码数据，进而得到待编码全景视频图像的编码数据，从而实现播放该全景视频图像时，仅对用户观看视角范围内的部分分片的编码数据进行播放，而不是播放360度空间的所有观看角度的视频资源，减少了播放全景视频图像时占用的系统资源、带宽及消耗的电量。
[0132]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0133]本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0134]本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如:R0M/RAM、磁碟、光盘等。
[0135]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
【主权项】
1.一种全景视频图像播放方法，其特征在于，包括: 确定用户的观看视角； 根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面； 从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的； 播放所述目标分片的编码数据。2.根据权利要求1所述的方法，其特征在于，所述播放所述目标分片的编码数据，包括: 对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理； 播放平滑处理后的数据。3.一种全景视频图像编码方法，其特征在于，包括: 根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像； 对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。4.根据权利要求3所述的方法，其特征在于，在所述根据目标模型，获得待编码全景视频图像的分片之前，还包括: 根据待编码全景视频图像获得目标模型。5.根据权利要求4所述的方法，其特征在于，所述根据待编码全景视频图像获得目标模型，包括: 获得待编码全景视频图像中的感兴趣区域； 以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。6.根据权利要求3所述的方法，其特征在于，所述对所获得的每一分片进行编码，包括: 获得待编码全景视频图像中的感兴趣区域； 以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。7.根据权利要求3所述的方法，其特征在于，所述对所获得的每一分片进行编码，得到各个分片的编码数据，包括: 按照以下方式获得所获得的每一分片的编码数据: 计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片； 判断计算得到的差异程度是否均大于预设阈值； 若为是，对所述源分片进行编码，得到所述源分片的编码数据； 否则，从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。8.一种全景视频播放装置，其特征在于，包括: 第一确定模块，用于确定用户的观看视角； 第二确定模块，用于根据所述观看视角确定待播放全景视频图像的目标分片，其中，分片为所述待播放全景视频图像在目标模型的各个三角面上的映射图像，所述目标模型为所述全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面； 第一获得模块，用于从所述待播放全景视频图像的编码数据中获得所述目标分片的编码数据，其中，所述待播放全景视频图像的编码数据是由分片的编码数据构成的； 播放模块，用于播放所述目标分片的编码数据。9.根据权利要求8所述的装置，其特征在于，所述播放模块，具体用于: 对所述目标分片的编码数据进行解码处理，并对解码后的数据进行平滑处理;播放平滑处理后的数据。10.一种全景视频图像编码装置，其特征在于，包括: 第二获得模块，用于根据目标模型，获得待编码全景视频图像的分片，其中，所述目标模型为所述待编码全景视频图像对应球体的内接多面体，所述多面体的每一表面为三角面，所述分片为所述待编码全景视频图像在所述目标模型的各个三角面上的映射图像；第一编码模块，用于对所获得的每一分片进行编码，得到各个分片的编码数据，进而得到所述待编码全景视频图像的编码数据。11.根据权利要求10所述的装置，其特征在于，还包括: 第三获得模块，用于根据待编码全景视频图像获得目标模型。12.根据权利要求11所述的装置，其特征在于，所述第三获得模块，具体用于: 获得待编码全景视频图像中的感兴趣区域； 以第一类三角形构建所述感兴趣区域对应的目标模型区域，并以第二类三角形构建所述待编码全景视频图像的非感兴趣区域对应的目标模型区域，其中，所述第一类三角形的面积小于所述第二类三角形的面积。13.根据权利要求10所述的装置，其特征在于，所述第一编码模块，具体用于: 获得待编码全景视频图像中的感兴趣区域； 以第一编码码率对所获得的分片中对应于所述感兴趣区域的分片进行编码，并以第二编码码率对所获得的分片中对应于所述待编码全景视频图像非感兴趣区域的分片进行编码，其中，所述第一编码码率大于所述第二编码码率。14.根据权利要求10所述的装置，其特征在于，还包括: 计算模块，用于计算源分片与所述源分片在预设时段内已编码全景视频图像中对应的目标分片之间的差异程度，其中，所述源分片为所获得分片中的任一分片； 判断模块，用于判断所述计算模块计算得到的差异程度是否均大于预设阈值，若为是，触发第二编码模块，否则，触发第三确定模块； 第二编码模块，用于对所述源分片进行编码，得到所述源分片的编码数据； 第三确定模块，用于从差异程度不大于所述预设阈值的目标分片中选择一个分片，并将所选择分片的解码后数据确定为所述源分片的解码后数据，并根据所选择的分片获得所述源分片的编码数据。
【文档编号】H04N21/845GK106060570SQ201610512251
【公开日】2016年10月26日
【申请日】2016年6月30日
【发明人】闻磊, 朱洲, 王巍
【申请人】北京奇艺世纪科技有限公司