全景媒体文件推送方法及装置的制造方法
【专利摘要】本发明公开了一种全景媒体文件推送方法及装置。其中，该方法包括：获取待推送的全景媒体文件，其中，全景媒体文件中包括一帧或多帧全景图像帧；按照预定条件分别对每帧全景图像帧进行划分，其中，划分后的每帧全景图像帧中包括多个视图区；在每帧全景图像帧的多个视图区上获取中心视图区，其中，中心视图区所占区域大于等于一个视图区所占区域；根据中心视图区对全景图像帧进行编码；推送编码后的全景图像帧。本发明解决了采用现有的全景媒体文件的推送方式所导致的推送准确性较低的技术问题。
【专利说明】
全景媒体文件推送方法及装置
技术领域
[0001 ]本发明设及计算机领域，具体而言，设及一种全景媒体文件推送方法及装置。
【背景技术】
[0002] 由于全景媒体文件能提供给用户区别于传统有限视野更为逼真的沉浸观看体验， 因而逐渐成为虚拟现实领域主要的内容之一。然而全景媒体文件相对于传统媒体文件，在 工程技术上有着巨大困难与挑战。
[0003] 目前，针对全景媒体文件的播放，常用的技术手段是利用四菱锥。具体来说，是将 全景球内置于一个四菱锥体内，并使观看者的视野中屯、垂直对齐于锥体底面中屯、，通过投 影几何变换，将所要播放的画面投影到四菱锥面上。运样通过投影到锥体底面将把画面高 清保留在观看者的视野内，而视野外的其余内容由于被投影到锥体侧面，将被迅速压缩，从 而大大降低了推送全景媒体文件时的带宽压力。
[0004] 然而，由于全景媒体文件需要提供360度全景画面，如果只传输一个固定的预定义 视角的画面内容，当观看者的视野中屯、发生移动的话，在新视野里就有一部分画面由于压 缩而无法正常呈现，所W上述运种仅仅针对一个预定义视角，推送全景媒体文件的方式，将 使得所推送的全景媒体文件不准确，从而导致全景媒体文件播放时出现失真的问题。
[0005] 针对上述的问题，目前尚未提出有效的解决方案。
【发明内容】
[0006] 本发明实施例提供了一种全景媒体文件推送方法及装置，W至少解决采用现有的 全景媒体文件的推送方式所导致的推送准确性较低的技术问题。
[0007] 根据本发明实施例的一个方面，提供了一种全景媒体文件推送方法，包括:获取待 推送的全景媒体文件，其中，上述全景媒体文件中包括一帖或多帖全景图像帖;按照预定条 件分别对每帖上述全景图像帖进行划分，其中，划分后的每帖上述全景图像帖中包括多个 视图区；在每帖上述全景图像帖的上述多个视图区上获取中屯、视图区，其中，上述中屯、视图 区所占区域大于等于一个上述视图区所占区域;根据上述中屯、视图区对上述全景图像帖进 行编码;推送编码后的上述全景图像帖。
[000引根据本发明实施例的另一方面，还提供了一种全景媒体文件推送装置，包括:第一 获取单元，用于获取待推送的全景媒体文件，其中，上述全景媒体文件中包括一帖或多帖全 景图像帖;划分单元，用于按照预定条件分别对每帖上述全景图像帖进行划分，其中，划分 后的每帖上述全景图像帖中包括多个视图区；第二获取单元，用于在每帖上述全景图像帖 的上述多个视图区上获取中屯、视图区，其中，上述中屯、视图区所占区域大于等于一个上述 视图区所占区域;编码单元，用于根据上述中屯、视图区对上述全景图像帖进行编码;推送单 元，用于推送编码后的上述全景图像帖。
[0009]在本发明实施例中，在获取待推送的全景媒体文件中的一帖或多帖全景图像帖 后，按照预定条件分别对每帖全景图像帖进行划分，划分后的每帖全景图像帖中包括多个 视图区，在上述多个视图区上获取中屯、视图区，并根据该中屯、视图区对全景图像帖进行编 码，W推送编码后的全景图像帖。也就是说，通过利用在全景图像帖上划分的多个视图区获 取中屯、视图区，从而实现了利用多个视图区准确定位中屯、视图区，保证所获取的中屯、视图 区的画面的准确性，W克服相关技术中只能获取到被高度压缩失真的画面的技术问题。进 一步，利用多个视图区快速获取中屯、视图区，还将大大提高获取效率，进而实现提高全景媒 体文件的推送效率的效果。
【附图说明】
[0010] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0011] 图1是根据本发明实施例的一种可选的全景媒体文件推送方法的应用环境示意 图；
[0012] 图2是根据本发明实施例的一种可选的全景媒体文件推送方法的流程图；
[0013] 图3是根据本发明实施例的一种可选的全景媒体文件推送方法的示意图；
[0014] 图4是根据本发明实施例的另一种可选的全景媒体文件推送方法的示意图；
[0015] 图5是根据本发明实施例的又一种可选的全景媒体文件推送方法的示意图；
[0016] 图6是根据本发明实施例的又一种可选的全景媒体文件推送方法的示意图；
[0017] 图7是根据本发明实施例的一种可选的全景媒体文件推送装置的示意图；W及
[0018] 图8是根据本发明实施例的一种可选的全景媒体文件推送终端的示意图。
【具体实施方式】
[0019] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的 附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是 本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人 员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范 围。
[0020] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语"第一"、"第 二"等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解运样使用 的数据在适当情况下可W互换，W便运里描述的本发明的实施例能够W除了在运里图示或 描述的那些W外的顺序实施。此外，术语"包括"和"具有及他们的任何变形，意图在于覆 盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于 清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于运些过程、方法、产品 或设备固有的其它步骤或单元。
[0021] 实施例1
[0022] 在本发明实施例中，提供了一种上述全景媒体文件推送方法的实施例。作为一种 可选的实施方式，该全景媒体文件推送方法可W但不限于应用于如图1所示的应用环境中， 终端106通过网络104从服务器102获取待推送的全景媒体文件，其中，该全景媒体文件中包 括一帖或多帖全景图像帖；按照预定条件分别对每帖全景图像帖进行划分，得到与每个全 景图像帖对应的多个视图区，在每帖全景图像帖的多个视图区上获取中屯、视图区，并根据 该中屯、视图区对全景图像帖进行编码，w推送编码后的全景图像帖。
[0023] 作为另一种可选的实施方式，该全景媒体文件推送方法还可W但不限于应用于另 一应用环境中，如仅应用于终端中，在终端内实现对全景媒体文件中的全景图像帖的划分、 编码、推送操作，具体可参照上述实施方式，本实施例中在此不再寶述。
[0024] 在本实施例中，在获取待推送的全景媒体文件中的一帖或多帖全景图像帖后，按 照预定条件分别对每帖全景图像帖进行划分，划分后的每帖全景图像帖中包括多个视图 区，在上述多个视图区上获取中屯、视图区，并根据该中屯、视图区对全景图像帖进行编码，W 推送编码后的全景图像帖。也就是说，通过利用在全景图像帖上划分的多个视图区获取中 屯、视图区，从而实现了利用多个视图区准确定位中屯、视图区，保证所获取的中屯、视图区的 画面的准确性，W克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用 多个视图区快速获取中屯、视图区，还将大大提高获取效率，进而实现提高全景媒体文件的 推送效率的效果。
[0025] 可选地，在本实施例中，上述终端可W包括但不限于W下至少之一:手机、平板电 脑、笔记本电脑、台式PC机、智能眼镜及其他用于播放全景媒体文件的硬件设备。上述网络 可W包括但不限于W下至少之一:广域网、城域网、局域网。上述只是一种示例，本实施例对 此不做任何限定。
[0026] 根据本发明实施例，提供了 一种全景媒体文件推送方法，如图2所示，该方法包括：
[0027] S202,获取待推送的全景媒体文件，其中，全景媒体文件中包括一帖或多帖全景图 像帖；
[0028] S204,按照预定条件分别对每帖全景图像帖进行划分，其中，划分后的每帖全景图 像帖中包括多个视图区；
[0029] S206,在每帖全景图像帖的多个视图区上获取中屯、视图区，其中，中屯、视图区所占 区域大于等于一个视图区所占区域；
[0030] S208,根据中屯、视图区对全景图像帖进行编码；
[0031] S210,推送编码后的全景图像帖。
[0032] 可选地，在本实施例中，上述全景媒体文件的推送方法可W但不限于应用于虚拟 现实(Virtual Reality,VR)过程中，其中，虚拟现实VR可W但不限于是一种综合利用计算 机图形系统和各种现实际控制等接口设备，在计算机上生成的、可交互的Ξ维环境中提供 沉浸感觉的技术。如将上述方法应用于V則艮镜中，通过对全景媒体文件进行视图区的划分 及编码处理，W实现在播放全景媒体文件的过程中，可W快速提供更加准确清晰的全景媒 体文件。其中，上述全景媒体文件可W包括但不限于W下至少之一:全景图像、全景视频等。 上述仅是一种示例，本实施例中对此不做任何限定。
[0033] 需要说明的是，在获取待推送的全景媒体文件中的一帖或多帖全景图像帖后，按 照预定条件分别对每帖全景图像帖进行划分，划分后的每帖全景图像帖中包括多个视图 区，在上述多个视图区上获取中屯、视图区，并根据该中屯、视图区对全景图像帖进行编码，W 推送编码后的全景图像帖。也就是说，通过利用在全景图像帖上划分的多个视图区获取中 屯、视图区，从而实现了利用多个视图区准确定位中屯、视图区，保证所获取的中屯、视图区的 画面的准确性，W克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用 多个视图区快速获取中屯、视图区，还将大大提高获取效率，进而实现提高全景媒体文件的 推送效率的效果。
[0034] 可选地，在本实施例中，按照预定条件分别对每帖全景图像帖进行划分可W包括 但不限于:按照预先配置的规格条件将每帖均匀分布在全景球上的全景图像帖划分为相同 大小的多个矩形视图区。
[0035] 例如，W全景球中屯、为原点，因为球面到中屯、（原点）距离为全景球半径长度，因而 可W用极坐标系统来表示观全景图像帖上的各个位置，例如，（θχ，θγ)"θχ表示W水平正前方 为零，保持水平方向逆时针绕行的角度;表示W水平正上方为零，保持与水平垂直方向逆 时针绕行的角度。进一步，如图3所示，将一帖全景图像帖划分为A视图区-P视图区。即W全 景球中屯、为原点，水平方向逆时针旋转360度等分为6份，每份60度;与水平垂直方向逆时针 旋转180度等分为3份，每份60度。则每个视图区的角度范围定义可W为：
[0036]
[0037] 其中，x，y为18个视图区分别在X方向和y方向上的编号，xe[l，6]，ye[l，3]。
[0038] 此外，在本实施例中，在上述多个视图区上获取的中屯、视图区可W但不限于为观 看者的观看视野形成的视图区。需要说明的是，在全景图像帖划分的多个视图区可W但不 限于根据中屯、视图区确定，如在全景图像帖上所划分的每个视图区所占区域的大小，可W 但不限于小于等于中屯、视图区所占区域的大小，大于四分之一的中屯、视图区所占区域的大 小。上述仅是一种示例，本实施例中对此不做任何限定。
[0039] 可选地，在本实施例中，在每帖全景图像帖的多个视图区上获取中屯、视图区可W 包括但不限于W下至少之一：
[0040] 1)根据传感器检测到的运动数据确定第一中屯、视图区的坐标；
[0041] 2)获取全景媒体文件的播放模式;根据全景媒体文件的播放模式及第一中屯、视图 区的坐标确定预定时间段后多个视图区上第二中屯、视图区的坐标。
[0042] 可选地，在本实施例中，在上述方式1)中可W但不限于根据传感器检测到的运动 数据确定第一中屯、视图区的坐标之后，利用该第一中屯、视图区的坐标快速获取第一中屯、视 图区在多个视图区中的目标视图区，其中，第一中屯、视图区包含在目标视图区中，进一步， 从上述目标视图区中提取第一中屯、视图区的画面。也就是说，在本实施例中，可W利用终端 上的传感器检测到的运动数据快速获取当前时间第一中屯、视图区的坐标，进而利用该坐标 确定第一中屯、视图区所占的目标视图区，W实现快速从目标视图区中提取并推送第一中屯、 视图区中的画面，进而达到提高全景媒体文件的推送效率的目的。例如，如图4所示，根据第 一中屯、视图区的坐标获取到第一中屯、视图区所在目标视图区包括:A视图区、B视图区、E视 图区及F视图区（如图4阴影所示），进一步，从上述目标视图区中提取第一中屯、视图区的画 面，此外，还可W便于对第一中屯、视图区所在目标视图区按照高于其他视图区的分辨率进 行编码推送。
[0043] 可选地，在本实施例中，在上述方式2)中可W但不限于预测第二中屯、视图区的坐 标，也就是说，根据全景媒体文件的播放模式及第一中屯、视图区的坐标，预测预定时间段t 后第二中屯、视图区的坐标。从而实现通过预测推送预定时间段t后将播放的画面，W克服网 络通信的延时所导致的播放过程中出现画面延时的问题，进而达到提高推送效率的目的。
[0044] 可选地，在本实施例中，上述根据中屯、视图区对全景图像帖进行编码可W包括但 不限于:根据不同的视图区提供不同分辨率等级进行编码，如中屯、视图区所在视图区的分 辨率等级高于全景图像帖的多个视图区中其他视图区的分辨率等级。需要说明的是，在本 实施例提供的编码过程中，可W但不限于是W视图区为单位分别进行编码W得到所要推送 的码流，从而实现针对不同的视图区按照对应不同的分辨率等级进行编码，W达到节省带 宽，减轻传输开销的效果。
[0045] 可选地，在本实施例中，上述编码后的视图区的码流可W但不限于按照时间进行 切片。例如，在服务器端响应每个播放请求，每次总是推送一个全景媒体文件的时间切片。 可W但不限于采用各种经典的运动图像专家组(Moving PicUire Experts Group,MPEG)视 频分片技术对一个视图区进行切片，再根据自适应的码流推送策略进行流服务。
[0046] 通过本申请提供的实施例，通过利用在全景图像帖上划分的多个视图区获取中屯、 视图区，从而实现了利用多个视图区准确定位中屯、视图区，保证所获取的中屯、视图区的画 面的准确性，W克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用多 个视图区快速获取中屯、视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推 送效率的效果。
[0047] 作为一种可选的方案，在每帖全景图像帖的多个视图区上获取中屯、视图区包括： [004引S1，根据传感器检测到的运动数据确定第一中屯、视图区的坐标；
[0049] S2,利用第一中屯、视图区的坐标从多个视图区中获取目标视图区，其中，第一中屯、 视图区包含在目标视图区中；
[0050] S3，从目标视图区中提取第一中屯、视图区对应的画面。
[0051] 可选地，在本实施例中，利用第一中屯、视图区的坐标从多个视图区中获取目标视 图区包括:获取第一中屯、视图区的坐标所在的视图区标识;利用视图区标识所指示的视图 区拼接得到目标视图区。
[0052] 可选地，在本实施例中，上述传感器检测到的运动数据可W包括但不限于W下至 少之一：头部转动的角度、眼球转动参数。上述仅是一种示例，上述运动数据还可W包括其 他用于检测观看者的视野范围的运动数据，本实施例中对此不做任何限定。
[0053] 具体结合W下示例进行说明，根据传感器检测到的运动数据确定第一中屯、视图区 的坐标，利用上述坐标获取到第一中屯、视图区所在目标视图区的视图区标识，该视图区标 识包括:A视图区、B视图区、E视图区及F视图区（如图4阴影所示），如图4所示，主要在F视图 区，同时涵盖相邻的A/B/E视图区的一部分，第一中屯、视图区中的画面内容是由A/B/D/ Eviewport四个区的画面拼接得到。
[0054] 在播放上述第一中屯、视图区中的画面时，可W根据全景球图像投影方法将解码后 的A/B/D/E四个视图区中的画面展开拼接得到目标视图区，然后根据第一中屯、视图区的相 对位置从该目标视图区中快速提取出第一中屯、视图区中的画面。
[0055] 需要说明的是，在本实施例中，在第一中屯、视图区所占区域的大小等于每一个视 图区所占区域的大小的情况下，上述第一中屯、视图区可W包含在多个视图区构成的目标视 图区中，也可W与其中一个视图区严格重合，从而实现直接获取该第一中屯、视图区中的画 面。
[0056] 通过本申请提供的实施例，根据传感器检测到的第一中屯、视图区的坐标从多个视 图区中获取第一中屯、视图区所在的目标视图区，从而实现快速从目标视图区中提取该第一 中屯、视图区的画面，并推送播放该画面，w达到提高推送全景媒体文件的推送效率的效果。
[0057]作为一种可选的方案，根据中屯、视图区对全景图像帖进行编码包括：
[005引S1，按照第一分辨率编码第一中屯、视图区所在目标视图区，按照第二分辨率编码 全景图像帖中除目标视图区之外的其他视图区，其中，第一分辨率高于第二分辨率。
[0059] 可选地，在本实施例中，对每一个划分的视图区可W但不限于进行多尺度编码，W 得到多个分辨率等级的码流。其中，对于全景图像帖中的多个视图区，中屯、视图区的分辨率 (用分辨率等级标识)可W但不限于高于其他视图区的分辨率。从而使被关注的中屯、视图区 的画面可W被清晰真实地播放，而对于其他视图区的画面模糊播放，W达到减少传输开销， 节省带宽的目的。
[0060] 通过本申请提供的实施例，通过针对全景图像帖中的不同的视图区按照不同的分 辨率进行编码，不仅可W突出清晰地播放中屯、视图区中的画面，而且对其他视图区的画面 模糊处理，将达到节省带宽的目的。
[0061] 作为一种可选的方案，在每帖全景图像帖的多个视图区上获取中屯、视图区包括：
[0062] S1，获取全景媒体文件的播放模式；
[0063] S2,根据全景媒体文件的播放模式及第一中屯、视图区的坐标确定预定时间段后多 个视图区上第二中屯、视图区的坐标。
[0064] 可选地，在本实施例中，根据全景媒体文件的播放模式及第一中屯、视图区的坐标 确定预定时间段后多个视图区上第二中屯、视图区的坐标包括：
[00 化]
[0066] 其中，（xo，yo)用于表示第一中屯、视图区的坐标，（xt，yt)用于表示预定时间段t后 第二中屯、视图区的坐标;V mod用于表示播放模式，V modx(t)用于表示在播放模式下预定 时间段t后X方向上的偏移角度，V mody(t)用于表示在播放模式下预定时间段t后y方向上 的偏移角度。
[0067] 可选地，在本实施例中，上述播放模式可W包括但不限于W下至少之一：用于播放 第一中屯、视图区中的画面的第一播放模式、用于捜索第Ξ中屯、视图区的第二播放模式、用 于播放第Ξ中屯、视图区中的画面的第Ξ播放模式。上述仅是一种示例，本实施例中对此不 做任何限定。
[0068] 需要说明的是，在本实施例中，上述播放模式可W但不限于将影响在预定时间段t 后的偏移角度。例如，对于第一播放模式（也可称作观看主模式），长时间保持一个视野角 度，即长时间停留在第一中屯、视图区，则可W根据该播放模式预测预定时间段t后偏移角度 为0,则可W预测预定时间段后第二中屯、视图区的坐标与第一中屯、视图区的坐标相同，即xt = xo，yt = yo。运里对于第二播放模式需要说明的是，捜索过程中的捜索运动可W为匀速运 动，则偏移角度可W为移动速度V与移动时间t的乘积，也可W为非匀速运动，根据相关计算 方式获取在该播放模式下的偏移角度。本实施例中对此不做任何限定。
[0069] 具体结合上述公式进行说明，假设获取第一中屯、视图区的坐标(xo，yo)，当前播放 模式为V mod的情况下，先根据播放模式V mod获取分别在x，y方向上在预定时间段t后相对 当前位置的偏移角度:v modx(t)，v mody(t)。然后，利用上述公式预测预定时间段t第二中 屯、视图区的坐标(Xt，y t)。
[0070] 通过本申请提供的实施例，根据全景媒体文件的播放模式及第一中屯、视图区的坐 标确定预定时间段后多个视图区上第二中屯、视图区的坐标，从而实现对预定时间段后被关 注的视野范围的准确预测，W保证提前及时获取到所要推送的第二中屯、视图区的画面，进 一步，还可W避免网络传输延时导致的播放延时的问题。
[0071] 作为一种可选的方案，获取全景媒体文件的播放模式包括：
[0072] 1)在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阔值时，贝U 确定为第一播放模式，其中，第一播放模式用于播放第一中屯、视图区中的画面；
[0073] 2)在传感器检测到的运动数据指示在预定周期内的摆动幅度大于等于预定阔值 时，则确定为第二播放模式，其中，第二播放模式用于捜索第Ξ中屯、视图区；
[0074] 3)在传感器检测到的运动数据指示在预定周期内的摆动幅度小于预定阔值，且上 一个播放模式为第二播放模式时，则确定为第Ξ播放模式，其中，第Ξ播放模式用于播放第 Ξ中屯、视图区中的画面。
[0075] 具体结合W下示例进行说明，假设第一播放模式W微摆动观看主模式(ma)表示， 第二播放模式W新内容捜索模式(ms)表示，第Ξ播放模式W新内容聚焦模式(mf)表示。其 中，上述播放模式具体如图5所示可W包括：
[0076] 1)微摆动观看主模式(ma):该模式停留在第一中屯、视图区所播放的画面，且用于 观看的硬件设备（如眼镜终端)会相对静止，或是有微小摆动（即在预定周期内的摆动幅度 小于预定阔值），但不会实际离开第一中屯、视图区；
[0077] 2)新内容捜索模式(ms):该模式将离开微摆动观看模式，用于快速运动捜索新视 野(如第Ξ中屯、视图区）里新的内容，且用于观看的硬件设备(如眼镜终端)会快速移动，偏 离原来运动轨道(即在预定周期内的摆动幅度大于等于预定阔值）；
[0078] 3)新内容聚焦模式(mf):该模式可能将短暂停留第Ξ中屯、视图区后离开再进入新 内容捜索模式，也可能真实进入微摆动观看主模式停留在第Ξ中屯、视图区（即在传感器检 测到的运动数据指示在预定周期内的摆动幅度小于预定阔值，且上一个播放模式为第二播 放模式）。
[0079] 也就是说，在本实施例中，根据在预定周期(如时间窗T)内的移动轨迹来判断其运 动模式。一种仅有短距离来回摆动，则是微摆动观看主模式(ma);另一种大距离较快速的移 动，则是新内容捜索模式(ms);再一种上一个模式是新内容捜索模式，过去预定周期（如时 间窗T)内相对静止或者微小摆动，则是新内容聚焦模式(mf)。
[0080] 需要说明的是，上述第Ξ中屯、视图区可W但不限于为第二中屯、视图区，也可W但 不限于为多个视图区中除第一中屯、视图区及第二中屯、视图区之外的其他视图区。
[0081] 通过本申请提供的实施例，通过获取全景媒体文件的播放模式，W利用该播放模 式来预测预定时间段内视野范围的偏移角度，从而实现根据第一中屯、视图区的坐标及偏移 角度来确定预定时间段后的第二中屯、视图区的坐标。
[0082] 作为一种可选的方案，根据中屯、视图区对全景图像帖进行编码包括：
[0083] S1，重复执行W下步骤，直至遍历在预定时间段后全景图像帖中的多个视图区：
[0084] S12,从多个视图区中获取当前视图区中划分的多个子视图区；
[0085] S14,获取多个子视图区的参考值，其中，参考值为子视图区的显著性特征所指示 的显著性等级与第二中屯、视图区落在子视图区的概率二者中的最大值；
[0086] S16,根据多个子视图区的参考值中的最大值确定当前视图区的第Ξ分辨率；
[0087] S18,按照第Ξ分辨率对当前视图区进行编码。
[0088] 可选地，在本实施例中，获取多个子视图区的参考值包括:重复执行W下步骤，直 至遍历多个子视图区：从多个子视图区中获取当前子视图区；获取当前子视图区的显著性 特征所指示的显著性等级及第二中屯、视图区落在当前子视图区的概率;将显著性等级与概 率二者中的最大值作为当前子视图区的参考值。
[0089] 可选地，在本实施例中，对多个视图区中的每个视图区可W但不限于划分为大小 相同的四个子视图区，如图6所示，当前视图区包括子视图区a、子视图区b、子视图区C、子视 图区d。
[0090] 可选地，在本实施例中，获取当前子视图区的参考值可W包括但不限于获取当前 子视图区的显著性特征所指示的显著性等级及第二中屯、视图区落在当前子视图区的概率 二者中的最大值。
[0091] 需要说明的是，在本实施例中，上述显著性特征可W但不限于用于表示一种视觉 显著性区域分布，如舞台中央等，被关注概率较高的区域，可被配置为高显著性等级的视觉 显著性区域。而如偏暗区域，观众席，天空等被关注概率较低的区域，可被配置为低显著性 等级的视觉显著性区域。其中，上述显著性等级可W但不限于用Sa(t，0x，0y)表示，其中，θχ e [0,360° )9ye [-90°，90° ]，上述显著性等级可W但不限于根据经典视觉显著性检测算法 先验的计算出。根据Sa(t，0x，0y)可W统计出每个子视图区的显著性等级，如RSa(t，sx，sy) 表示预定时间段t后子视图区（sx，sy)的显著性等级。作为一种可选的计算方式：
[0092]
[0093] 其中，子视图区X方向编号SX的范围为sxe[l，12]，子视图区y方向编号sy的范围 为 sye[l，6]。
[0094] 需要说明的是，在本实施例中，W当前视图区为例，落在一个子视图区的概率用Pi (t，sx，sy)表示，则上述当前视图区中包括的四个子视图区的参考值可W通过W下方式标 识：
[0095] 子视图区a的参考值为：
[0096] aPi(t,x,y) =max(RSa(t,2χ-1,2厂1) ,Pi(t,2χ-1,2厂1))
[0097] 子视图区b的参考值为：
[009引 bPi(t,X,y) =max(RSa(t, 2x, 2y-l),Pi(t, 2x, 2y-l))
[0099] 子视图区c的参考值为：
[0100] cPi(t,x,y)=max(RSa(t,2χ-1,2y),Pi(t,2x-l,2y))
[0101] 子视图区d的参考值为:dPi (t, X,y) =max(RSa(t, 2x, 2y),Pi (t, 2x, 2y))
[0102] 进一步，根据上述四个参考值中的最大值mPi(t，x，y)确定当前视图区的分辨率， 其中：
[0103] mPi(t,x,y)=max(aPi(t,x,y),bPi(t,x,y),cPi(t,x,y),dPi(t,x,y))) (4)
[0104] 也就是说，将当前视图区的分辨率按照参考值最大的子视图区的分辨率进行更新 调整，w保证被关注内容的高清晰度。
[0105] 通过本申请提供的实施例，获取视图区所包括的多个子视图区中的参考值中的最 大值，根据该最大值确定该视图区的分辨率，从而实现在预定时间段后针对不同视图区配 置不同的分辨率进行编码，W达到节省带宽的目的。此外，根据显著性特征所指示的显著性 等级及第二中屯、视图区落下的概率来预测预定时间段t后被推送可能性最大的子视图区， 进而将该子视图区所在视图区中其他子视图区的分辨率均调整为最高分辨率，W保证被关 注内容的播放清晰度。
[0106] 作为一种可选的方案，根据多个子视图区的参考值中的最大值确定当前视图区的 第Ξ分辨率包括：
[0107] S1，通过W下公式计算当前视图区的第Ξ分辨率所在的分辨率等级：
[010 引 S(t，x，y) = l+(n-l)*mPi(t，x，y)*G!net (5)
[0109] 其中，（x，y)为当前视图区的坐标，S(t，x，y)用于表示在预定时间段t后全景图像 帖中当前视图区的第Ξ分辨率所在的分辨率等级，mPi(t，x，y)用于表示在预定时间段t后 在当前视图区中多个子视图区的参考值的最大值，化et用于表示当前网络带宽等级，η用于 表示分辨率等级，其中，Qnete [0,1]，S(t，x，y) e {1,2，···，η};
[0110] S2,根据第Ξ分辨率所在的分辨率等级确定第Ξ分辨率。
[0111] 需要说明的是，Qnet表示当前的网络带宽等级，等级越高，越倾向于推送高画质版 本内容，越差越倾向于推送低分辨率版本内容，从而确保观看流杨性的体验。此外，S( t，X， y)表示第Ξ分辨率所在的分辨率等级，等级越高，推送的分辨率版本越高，如最高分辨率版 本η，反而反之，如最低分辨率版本1。
[0112] 通过本申请提供的实施例，通过按照不同分辨率编码多个视图区中的画面，W确 保在中屯、视图区所占区域可W看到最清晰的画面，而在其他视图区所在区域看到相对模糊 的画面，W保证在播放全景图像帖的同时，实现区别播放，从而达到减少传输开销，节省带 宽，提高推送效率的目的。
[0113] 作为一种可选的方案，获取第二中屯、视图区落在当前子视图区的概率包括：
[0114] P(t,sx,sy)=exp(-((sx-xt)2+(sy-yt)2)) (6)
[0115] 其中，（sx，sy)用于表示当前子视图区的坐标，P(t，sx，sy)用于表示在预定时间段 t后第二中屯、视图区落在当前子视图区的概率，（xt，yt)用于表示预定时间段t后第二中屯、视 图区的坐标。
[0116] 需要说明的是，上述公式为We为底的反向指数函数，也就是说，在当前子视图区 距离第二中屯、视图区的位置越近，函数值越大，对应概率越大，反而反之。
[0117] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列 的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为 依据本发明，某些步骤可W采用其他顺序或者同时进行。其次，本领域技术人员也应该知 悉，说明书中所描述的实施例均属于优选实施例，所设及的动作和模块并不一定是本发明 所必须的。
[0118] 通过W上的实施方式的描述，本领域的技术人员可W清楚地了解到根据上述实施 例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可W通过硬件，但很多 情况下前者是更佳的实施方式。基于运样的理解，本发明的技术方案本质上或者说对现有 技术做出贡献的部分可ww软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用W使得一台终端设备(可W是手机，计算 机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0119] 实施例2
[0120] 根据本发明实施例，还提供了一种用于实施上述全景媒体文件推送方法的全景媒 体文件推送装置，如图7所示，该装置包括：
[0121] 1)第一获取单元702,用于获取待推送的全景媒体文件，其中，全景媒体文件中包 括一帖或多帖全景图像帖；
[0122] 2)划分单元704,用于按照预定条件分别对每帖全景图像帖进行划分，其中，划分 后的每帖全景图像帖中包括多个视图区；
[0123] 3)第二获取单元706,用于在每帖全景图像帖的多个视图区上获取中屯、视图区，其 中，中屯、视图区所占区域大于等于一个视图区所占区域；
[0124] 4)编码单元708,用于根据中屯、视图区对全景图像帖进行编码；
[0125] 5)推送单元710,用于推送编码后的全景图像帖。
[0126] 可选地，在本实施例中，上述全景媒体文件的推送装置可W但不限于应用于虚拟 现实(Virtual Reality,VR)过程中，其中，虚拟现实VR可W但不限于是一种综合利用计算 机图形系统和各种现实际控制等接口设备，在计算机上生成的、可交互的Ξ维环境中提供 沉浸感觉的技术。如将上述装置应用于V則艮镜中，通过对全景媒体文件进行视图区的划分 及编码处理，W实现在播放全景媒体文件的过程中，可W快速提供更加准确清晰的全景媒 体文件。其中，上述全景媒体文件可W包括但不限于W下至少之一:全景图像、全景视频等。 上述仅是一种示例，本实施例中对此不做任何限定。
[0127] 需要说明的是，在获取待推送的全景媒体文件中的一帖或多帖全景图像帖后，按 照预定条件分别对每帖全景图像帖进行划分，划分后的每帖全景图像帖中包括多个视图 区，在上述多个视图区上获取中屯、视图区，并根据该中屯、视图区对全景图像帖进行编码，W 推送编码后的全景图像帖。也就是说，通过利用在全景图像帖上划分的多个视图区获取中 屯、视图区，从而实现了利用多个视图区准确定位中屯、视图区，保证所获取的中屯、视图区的 画面的准确性，W克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用 多个视图区快速获取中屯、视图区，还将大大提高获取效率，进而实现提高全景媒体文件的 推送效率的效果。
[0128] 可选地，在本实施例中，按照预定条件分别对每帖全景图像帖进行划分可W包括 但不限于:按照预先配置的规格条件将每帖均匀分布在全景球上的全景图像帖划分为相同 大小的多个矩形视图区。
[0129] 例如，W全景球中屯、为原点，因为球面到中屯、(原点)距离为全景球半径长度，因而 可W用极坐标系统来表示观全景图像帖上的各个位置，例如，（θχ，θγ)"θχ表示W水平正前方 为零，保持水平方向逆时针绕行的角度;表示W水平正上方为零，保持与水平垂直方向逆 时针绕行的角度。进一步，如图3所示，将一帖全景图像帖划分为A视图区-P视图区。即W全 景球中屯、为原点，水平方向逆时针旋转360度等分为6份，每份60度;与水平垂直方向逆时针 旋转180度等分为3份，每份60度。则每个视图区的角度范围定义可W为： J e[60%v--lM*6())
[0130] E [60 * (_ ]) _ w). * 60 _ t)〇) ( 7 )
[0131 ] 其中，x，y为18个视图区分别在X方向和y方向上的编号，xe [1,6] ,y e [1,3]。
[0132] 此外，在本实施例中，在上述多个视图区上获取的中屯、视图区可W但不限于为观 看者的观看视野形成的视图区。需要说明的是，在全景图像帖划分的多个视图区可W但不 限于根据中屯、视图区确定，如在全景图像帖上所划分的每个视图区所占区域的大小，可W 但不限于小于等于中屯、视图区所占区域的大小，大于四分之一的中屯、视图区所占区域的大 小。上述仅是一种示例，本实施例中对此不做任何限定。
[0133] 可选地，在本实施例中，在每帖全景图像帖的多个视图区上获取中屯、视图区可W 包括但不限于W下至少之一：
[0134] 1)根据传感器检测到的运动数据确定第一中屯、视图区的坐标；
[0135] 2)获取全景媒体文件的播放模式;根据全景媒体文件的播放模式及第一中屯、视图 区的坐标确定预定时间段后多个视图区上第二中屯、视图区的坐标。
[0136] 可选地，在本实施例中，在上述方式1)中可W但不限于根据传感器检测到的运动 数据确定第一中屯、视图区的坐标之后，利用该第一中屯、视图区的坐标快速获取第一中屯、视 图区在多个视图区中的目标视图区，其中，第一中屯、视图区包含在目标视图区中，进一步， 从上述目标视图区中提取第一中屯、视图区的画面。也就是说，在本实施例中，可W利用终端 上的传感器检测到的运动数据快速获取当前时间第一中屯、视图区的坐标，进而利用该坐标 确定第一中屯、视图区所占的目标视图区，W实现快速从目标视图区中提取并推送第一中屯、 视图区中的画面，进而达到提高全景媒体文件的推送效率的目的。例如，如图4所示，根据第 一中屯、视图区的坐标获取到第一中屯、视图区所在目标视图区包括:A视图区、B视图区、E视 图区及F视图区（如图4阴影所示），进一步，从上述目标视图区中提取第一中屯、视图区的画 面，此外，还可W便于对第一中屯、视图区所在目标视图区按照高于其他视图区的分辨率进 行编码推送。
[0137] 可选地，在本实施例中，在上述方式2)中可W但不限于预测第二中屯、视图区的坐 标，也就是说，根据全景媒体文件的播放模式及第一中屯、视图区的坐标，预测预定时间段t 后第二中屯、视图区的坐标。从而实现通过预测推送预定时间段t后将播放的画面，W克服网 络通信的延时所导致的播放过程中出现画面延时的问题，进而达到提高推送效率的目的。
[0138] 可选地，在本实施例中，上述根据中屯、视图区对全景图像帖进行编码可W包括但 不限于:根据不同的视图区提供不同分辨率等级进行编码，如中屯、视图区所在视图区的分 辨率等级高于全景图像帖的多个视图区中其他视图区的分辨率等级。需要说明的是，在本 实施例提供的编码过程中，可W但不限于是W视图区为单位分别进行编码W得到所要推送 的码流，从而实现针对不同的视图区按照对应不同的分辨率等级进行编码，W达到节省带 宽，减轻传输开销的效果。
[0139] 可选地，在本实施例中，上述编码后的视图区的码流可W但不限于按照时间进行 切片。例如，在服务器端响应每个播放请求，每次总是推送一个全景媒体文件的时间切片。 可W但不限于采用各种经典的运动图像专家组(Moving Pierre Experts Group,MPEG)视 频分片技术对一个视图区进行切片，再根据自适应的码流推送策略进行流服务。
[0140] 通过本申请提供的实施例，通过利用在全景图像帖上划分的多个视图区获取中屯、 视图区，从而实现了利用多个视图区准确定位中屯、视图区，保证所获取的中屯、视图区的画 面的准确性，W克服相关技术中只能获取到被高度压缩失真的画面的问题，进一步，利用多 个视图区快速获取中屯、视图区，还将大大提高获取效率，进而实现提高全景媒体文件的推 送效率的效果。
[0141] 作为一种可选的方案，第二获取单元包括：
[0142] 1)第一确定模块，用于根据传感器检测到的运动数据确定第一中屯、视图区的坐 标；
[0143] 2)第一获取模块，用于利用第一中屯、视图区的坐标从多个视图区中获取目标视图 区，其中，第一中屯、视图区包含在目标视图区中；
[0144] 4)提取模块，用于从目标视图区中提取第一中屯、视图区对应的画面。
[0145] 可选地，在本实施例中，第一获取模块包括：（1)获取子模块，用于获取第一中屯、视 图区的坐标所在的视图区标识；（2)拼接子模块，用于利用视图区标识所指示的视图区拼接 得到目标视图区。
[0146] 可选地，在本实施例中，上述传感器检测到的运动数据可W包括但不限于W下至 少之一：头部转动的角度、眼球转动参数。上述仅是一种示例，上述运动数据还可W包括其 他用于检测观看者的视野范围的运动数据，本实施例中对此不做任何限定。
[0147] 具体结合W下示例进行说明，根据传感器检测到的运动数据确定第一中屯、视图区 的坐标，利用上述坐标获取到第一中屯、视图区所在目标视图区的视图区标识，该视图区标 识包括:A视图区、B视图区、E视图区及F视图区（如图4阴影所示），如图4所示，主要在F视图 区，同时涵盖相邻的A/B/E视图区的一部分，第一中屯、视图区中的画面内容是由A/B/D/ Eviewport四个区的画面拼接得到。
[0148] 在播放上述第一中屯、视图区中的画面时，可W根据全景球图像投影方法将解码后 的A/B/D/E四个视图区中的画面展开拼接得到目标视图区，然后根据第一中屯、视图区的相 对位置从该目标视图区中快速提取出第一中屯、视图区中的画面。
[0149] 需要说明的是，在本实施例中，在第一中屯、视图区所占区域的大小等于每一个视 图区所占区域的大小的情况下，上述第一中屯、视图区可W包含在多个视图区构成的目标视 图区中，也可W与其中一个视图区严格重合，从而实现直接获取该第一中屯、视图区中的画 面。
[0150] 通过本申请提供的实施例，根据传感器检测到的第一中屯、视图区的坐标从多个视 图区中获取第一中屯、视图区所在的目标视图区，从而实现快速从目标视图区中提取该第一 中屯、视图区的画面，并推送播放该画面，W达到提高推送全景媒体文件的推送效率的效果。 [0151 ]作为一种可选的方案，编码单元包括：
[0152] 1)第一编码模块，用于按照第一分辨率编码第一中屯、视图区所在目标视图区，按 照第二分辨率编码全景图像帖中除目标视图区之外的其他视图区，其中，第一分辨率高于 第二分辨率。
[0153] 可选地，在本实施例中，对每一个划分的视图区可W但不限于进行多尺度编码，W 得到多个分辨率等级的码流。其中，对于全景图像帖中的多个视图区，中屯、视图区的分辨率 (用分辨率等级标识)可W但不限于高于其他视图区的分辨率。从而使被关注的中屯、视图区 的画面可W被清晰真实地播放，而对于其他视图区的画面模糊播放，W达到减少传输开销， 节省带宽的目的。
[0154]通过本申请提供的实施例，通过针对全景图像帖中的不同的视图区按照不同的分 辨率进行编码，不仅可W突出清晰地播放中屯、视图区中的画面，而且对其他视图区的画面 模糊处理，将达到节省带宽的目的。
[01W]作为一种可选的方案，第二获取单元包括：
[0156] 1)第二获取模块，用于获取全景媒体文件的播放模式；
[0157] 2)第二确定模块，用于根据全景媒体文件的播放模式及第一中屯、视图区的坐标确 定预定时间段后多个视图区上第二中屯、视图区的坐标。
[0158] 可选地，在本实施例中第二确定模块包括：
[0159]
[0160] 其中，（xo，yo)用于表示第一中屯、视图区的坐标，（xt，yt)用于表示预定时间段t后 第二中屯、视图区的坐标;V mod用于表示播放模式，V modx(t)用于表示在播放模式下预定 时间段t后X方向上的偏移角度，V mody(t)用于表示在播放模式下预定时间段t后y方向上 的偏移角度。
[0161] 可选地，在本实施例中，上述播放模式可W包括但不限于W下至少之一：用于播放 第一中屯、视图区中的画面的第一播放模式、用于捜索第Ξ中屯、视图区的第二播放模式、用 于播放第Ξ中屯、视图区中的画面的第Ξ播放模式。上述仅是一种示例，本实施例中对此不 做任何限定。
[0162] 需要说明的是，在本实施例中，上述播放模式可W但不限于将影响在预定时间段t 后的偏移角度。例如，对于第一播放模式（也可称作观看主模式），长时间保持一个视野角 度，即长时间停留在第一中屯、视图区，则可W根据该播放模式预测预定时间段t后偏移角度 为0,则可W预测预定时间段后第二中屯、视图区的坐标与第一中屯、视图区的坐标相同，即xt = xo，yt = yo。运里对于第二播放模式需要说明的是，捜索过程中的捜索运动可W为匀速运 动，则偏移角度可W为移动速度V与移动时间t的乘积，也可W为非匀速运动，根据相关计算 方式获取在该播放模式下的偏移角度。本实施例中对此不做任何限定。
[0163] 具体结合上述公式进行说明，假设获取第一中屯、视图区的坐标(x〇，y〇)，当前播放 模式为V mod的情况下，先根据播放模式V mod获取分别在x，y方向上在预定时间段t后相对 当前位置的偏移角度:v modx(t)，v mody(t)。然后，利用上述公式预测预定时间段t第二中 屯、视图区的坐标(xt，y t)。
[0164] 通过本申请提供的实施例，根据全景媒体文件的播放模式及第一中屯、视图区的坐 标确定预定时间段后多个视图区上第二中屯、视图区的坐标，从而实现对预定时间段后被关 注的视野范围的准确预测，W保证提前及时获取到所要推送的第二中屯、视图区的画面，进 一步，还可W避免网络传输延时导致的播放延时的问题。
[0165] 作为一种可选的方案，第二获取模块式包括：
[0166] 1)第Ξ确定子模块，用于在传感器检测到的运动数据指示在预定周期内的摆动幅 度小于预定阔值时，则确定为第一播放模式，其中，第一播放模式用于播放第一中屯、视图区 中的画面；
[0167] 2)第四确定子模块，用于在传感器检测到的运动数据指示在预定周期内的摆动幅 度大于等于预定阔值时，则确定为第二播放模式，其中，第二播放模式用于捜索第Ξ中屯、视 图区；
[0168] 3)第五确定子模块，用于在传感器检测到的运动数据指示在预定周期内的摆动幅 度小于预定阔值，且上一个播放模式为第二播放模式时，则确定为第Ξ播放模式，其中，第 Ξ播放模式用于播放第Ξ中屯、视图区中的画面。
[0169] 具体结合W下示例进行说明，假设第一播放模式W微摆动观看主模式(ma)表示， 第二播放模式W新内容捜索模式(ms)表示，第Ξ播放模式W新内容聚焦模式(mf)表示。其 中，上述播放模式具体如图5所示可W包括：
[0170] 1)微摆动观看主模式(ma):该模式停留在第一中屯、视图区所播放的画面，且用于 观看的硬件设备（如眼镜终端)会相对静止，或是有微小摆动（即在预定周期内的摆动幅度 小于预定阔值），但不会实际离开第一中屯、视图区；
[0171] 2)新内容捜索模式(ms):该模式将离开微摆动观看模式，用于快速运动捜索新视 野(如第Ξ中屯、视图区）里新的内容，且用于观看的硬件设备(如眼镜终端)会快速移动，偏 离原来运动轨道(即在预定周期内的摆动幅度大于等于预定阔值）；
[0172] 3)新内容聚焦模式(mf):该模式可能将短暂停留第Ξ中屯、视图区后离开再进入新 内容捜索模式，也可能真实进入微摆动观看主模式停留在第Ξ中屯、视图区（即在传感器检 测到的运动数据指示在预定周期内的摆动幅度小于预定阔值，且上一个播放模式为第二播 放模式）。
[0173] 也就是说，在本实施例中，根据在预定周期(如时间窗T)内的移动轨迹来判断其运 动模式。一种仅有短距离来回摆动，则是微摆动观看主模式(ma);另一种大距离较快速的移 动，则是新内容捜索模式(ms);再一种上一个模式是新内容捜索模式，过去预定周期（如时 间窗T)内相对静止或者微小摆动，则是新内容聚焦模式(mf)。
[0174] 需要说明的是，上述第Ξ中屯、视图区可W但不限于为第二中屯、视图区，也可W但 不限于为多个视图区中除第一中屯、视图区及第二中屯、视图区之外的其他视图区。
[0175] 通过本申请提供的实施例，通过获取全景媒体文件的播放模式，W利用该播放模 式来预测预定时间段内视野范围的偏移角度，从而实现根据第一中屯、视图区的坐标及偏移 角度来确定预定时间段后的第二中屯、视图区的坐标。
[0176] 作为一种可选的方案，编码单元包括：
[0177] 1)处理模块，用于重复执行W下步骤，直至遍历在预定时间段后全景图像帖中的 多个视图区：
[0178] S1，从多个视图区中获取当前视图区中划分的多个子视图区；
[0179] S2,获取多个子视图区的参考值，其中，参考值为子视图区的显著性特征所指示的 显著性等级与第二中屯、视图区落在子视图区的概率二者中的最大值；
[0180] S3,根据多个子视图区的参考值中的最大值确定当前视图区的第Ξ分辨率；
[0181] S4,按照第Ξ分辨率对当前视图区进行编码。
[0182] 可选地，在本实施例中，处理模块通过W下步骤实现获取多个子视图区的参考值： 重复执行W下步骤，直至遍历多个子视图区：从多个子视图区中获取当前子视图区；获取当 前子视图区的显著性特征所指示的显著性等级及第二中屯、视图区落在当前子视图区的概 率;将显著性等级与概率二者中的最大值作为当前子视图区的参考值。
[0183] 可选地，在本实施例中，对多个视图区中的每个视图区可W但不限于划分为大小 相同的四个子视图区，如图6所示，当前视图区包括子视图区a、子视图区b、子视图区C、子视 图区d。
[0184] 可选地，在本实施例中，获取当前子视图区的参考值可W包括但不限于获取当前 子视图区的显著性特征所指示的显著性等级及第二中屯、视图区落在当前子视图区的概率 二者中的最大值。
[0185] 需要说明的是，在本实施例中，上述显著性特征可W但不限于用于表示一种视觉 显著性区域分布，如舞台中央等，被关注概率较高的区域，可被配置为高显著性等级的视觉 显著性区域。而如偏暗区域，观众席，天空等被关注概率较低的区域，可被配置为低显著性 等级的视觉显著性区域。其中，上述显著性等级可W但不限于用Sa(t，0x，0y)表示，其中，θχ e [0,360° )9ye [-90°，90° ]，上述显著性等级可W但不限于根据经典视觉显著性检测算法 先验的计算出。根据Sa(t，0x，0y)可W统计出每个子视图区的显著性等级，如RSa(t，sx，sy) 表示预定时间段t后子视图区（sx，sy)的显著性等级。作为一种可选的计算方式：
[0186]
[0187] 其中，子视图区X方向编号SX的范围为sxe[l，12]，子视图区y方向编号sy的范围 为 sye[l，6]。
[0188] 需要说明的是，在本实施例中，W当前视图区为例，落在一个子视图区的概率用Pi (t，sx，sy)表示，则上述当前视图区中包括的四个子视图区的参考值可W通过W下方式标 识：
[0189] 子视图区a的参考值为：
[0190] aPi(t,x,y) =max(RSa(t,2χ-1,2厂1) ,Pi(t,2χ-1,2厂1))
[0191] 子视图区b的参考值为：
[0192] bPi (t, X,y) =max(RSa(t, 2x, 2y-l),Pi (t, 2x, 2y-l))
[0193] 子视图区c的参考值为：
[0194] cPi(t,x,y)=max(RSa(t,2χ-1,2y),Pi(t,2x-l,2y))
[0195] 子视图区d的参考值为:dPi(t,X,y) =max(RSa(t, 2x, 2y),Pi(t, 2x, 2y))
[0196] 进一步，根据上述四个参考值中的最大值mPi(t，x，y)确定当前视图区的分辨率， 其中：
[0197] mPi(t,x,y)=max(aPi(t,x,y),bPi(t,x,y),cPi(t,x,y),dPi(t,x,y))) (10)
[0198] 也就是说，将当前视图区的分辨率按照参考值最大的子视图区的分辨率进行更新 调整，W保证被关注内容的高清晰度。
[0199] 通过本申请提供的实施例，获取视图区所包括的多个子视图区中的参考值中的最 大值，根据该最大值确定该视图区的分辨率，从而实现在预定时间段后针对不同视图区配 置不同的分辨率进行编码，W达到节省带宽的目的。此外，根据显著性特征所指示的显著性 等级及第二中屯、视图区落下的概率来预测预定时间段t后被推送可能性最大的子视图区， 进而将该子视图区所在视图区中其他子视图区的分辨率均调整为最高分辨率，W保证被关 注内容的播放清晰度。
[0200] 作为一种可选的方案，处理模块通过W下步骤实现根据多个子视图区的参考值中 的最大值确定当前视图区的第Ξ分辨率：
[0201] S1，通过W下公式计算当前视图区的第Ξ分辨率所在的分辨率等级：
[0202] S(t，x，y) = l+(n-l)*mPi(t，x，y)*G!net (11)
[0203] 其中，（x，y)为当前视图区的坐标，S(t，x，y)用于表示在预定时间段t后全景图像 帖中当前视图区的第Ξ分辨率所在的分辨率等级，mPi(t，x，y)用于表示在预定时间段t后 在当前视图区中多个子视图区的参考值的最大值，化et用于表示当前网络带宽等级，η用于 表示分辨率等级，其中，Qnete [0,1]，S(t，x，y) e {1,2，···，η};
[0204] S2,根据第Ξ分辨率所在的分辨率等级确定第Ξ分辨率。
[0205] 需要说明的是，Qnet表示当前的网络带宽等级，等级越高，越倾向于推送高画质版 本内容，越差越倾向于推送低分辨率版本内容，从而确保观看流杨性的体验。此外，S( t，X， y)表示第Ξ分辨率所在的分辨率等级，等级越高，推送的分辨率版本越高，如最高分辨率版 本η，反而反之，如最低分辨率版本1。
[0206] 通过本申请提供的实施例，通过按照不同分辨率编码多个视图区中的画面，W确 保在中屯、视图区所占区域可W看到最清晰的画面，而在其他视图区所在区域看到相对模糊 的画面，W保证在播放全景图像帖的同时，实现区别播放，从而达到减少传输开销，节省带 宽，提高推送效率的目的。
[0207] 作为一种可选的方案，处理模块通过W下步骤实现获取第二中屯、视图区落在当前 子视图区的概率：
[020引 P(t,sx,sy)=exp(-((sx-xt)2+(sy-yt)2)) (12)
[0209] 其中，（sx，sy)用于表示当前子视图区的坐标，P(t，sx，sy)用于表示在预定时间段 t后第二中屯、视图区落在当前子视图区的概率，（xt，yt)用于表示预定时间段t后第二中屯、视 图区的坐标。
[0210] 需要说明的是，上述公式为We为底的反向指数函数，也就是说，在当前子视图区 距离第二中屯、视图区的位置越近，函数值越大，对应概率越大，反而反之。
[0別。实施例3
[0212] 根据本发明实施例，还提供了一种用于实施上述全景媒体文件推送方法的全景媒 体文件推送终端，如图8所示，该终端包括：
[0213] 1)通讯接口802,设置为获取待推送的全景媒体文件，其中，全景媒体文件中包括 一帖或多帖全景图像帖;还设置为推送编码后的全景图像帖；
[0214] 2)处理器804,与通讯接口 802连接，设置为按照预定条件分别对每帖全景图像帖 进行划分，其中，划分后的每帖全景图像帖中包括多个视图区;还设置为在每帖全景图像帖 的多个视图区上获取中屯、视图区，其中，中屯、视图区所占区域大于等于一个视图区所占区 域;还设置为根据中屯、视图区对全景图像帖进行编码；
[0215] 3)存储器806,与通讯接口 802及处理器804连接，设置为存储全景媒体文件及获取 到的中屯、视图区。
[0216] 可选地，本实施例中的具体示例可W参考上述实施例1和实施例2中所描述的示 例，本实施例在此不再寶述。
[0217] 实施例5
[0218] 本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可 W位于网络中的多个网络设备中的至少一个网络设备。
[0219] 可选地，在本实施例中，存储介质被设置为存储用于执行W下步骤的程序代码：
[0220] S1，获取待推送的全景媒体文件，其中，全景媒体文件中包括一帖或多帖全景图像 帖；
[0221] S2,按照预定条件分别对每帖全景图像帖进行划分，其中，划分后的每帖全景图像 帖中包括多个视图区；
[0222] S3,在每帖全景图像帖的多个视图区上获取中屯、视图区，其中，中屯、视图区所占区 域大于等于一个视图区所占区域；
[0223] S4,根据中屯、视图区对全景图像帖进行编码；
[0224] S5,推送编码后的全景图像帖。
[0225] 可选地，存储介质还被设置为存储用于执行W下步骤的程序代码：
[02%] S1，根据传感器检测到的运动数据确定第一中屯、视图区的坐标；
[0227] S2,利用第一中屯、视图区的坐标从多个视图区中获取目标视图区，其中，第一中屯、 视图区包含在目标视图区中；
[022引S3,从目标视图区中提取第一中屯、视图区对应的画面。
[0229] 可选地，存储介质还被设置为存储用于执行W下步骤的程序代码:按照第一分辨 率编码第一中屯、视图区所在目标视图区，按照第二分辨率编码全景图像帖中除目标视图区 之外的其他视图区，其中，第一分辨率高于第二分辨率。
[0230] 可选地，存储介质还被设置为存储用于执行W下步骤的程序代码：
[0231] S1，获取全景媒体文件的播放模式；
[0232] S2,根据全景媒体文件的播放模式及第一中屯、视图区的坐标确定预定时间段后多 个视图区上第二中屯、视图区的坐标。
[0233] 可选地，存储介质还被设置为存储用于执行W下步骤的程序代码:重复执行W下 步骤，直至遍历在预定时间段后全景图像帖中的多个视图区：从多个视图区中获取当前视 图区中划分的多个子视图区；获取多个子视图区的参考值，其中，参考值为子视图区的显著 性特征所指示的显著性等级与第二中屯、视图区落在子视图区的概率二者中的最大值;根据 多个子视图区的参考值中的最大值确定当前视图区的第Ξ分辨率;按照第Ξ分辨率对当前 视图区进行编码。
[0234] 可选地，在本实施例中，上述存储介质可W包括但不限于:U盘、只读存储器(ROM， Read-Only Memoir)、随机存取存储器（RAM,Random Access Memoir)、移动硬盘、磁碟或者 光盘等各种可W存储程序代码的介质。
[0235] 可选地，本实施例中的具体示例可W参考上述实施例1和实施例2中所描述的示 例，本实施例在此不再寶述。
[0236] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0237] 上述实施例中的集成的单元如果W软件功能单元的形式实现并作为独立的产品 销售或使用时，可W存储在上述计算机可读取的存储介质中。基于运样的理解，本发明的技 术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可软 件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用w使得一 台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所 述方法的全部或部分步骤。
[0238] 在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有 详述的部分，可W参见其他实施例的相关描述。
[0239] 在本申请所提供的几个实施例中，应该理解到，所掲露的客户端，可通过其它的方 式实现。其中，W上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一 种逻辑功能划分，实际实现时可W有另外的划分方式，例如多个单元或组件可W结合或者 可W集成到另一个系统，或一些特征可W忽略，或不执行。另一点，所显示或讨论的相互之 间的禪合或直接禪合或通信连接可W是通过一些接口，单元或模块的间接禪合或通信连 接，可W是电性或其它的形式。
[0240] 所述作为分离部件说明的单元可W是或者也可W不是物理上分开的，作为单元显 示的部件可W是或者也可W不是物理单元，即可W位于一个地方，或者也可W分布到多个 网络单元上。可W根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0241] 另外，在本发明各个实施例中的各功能单元可W集成在一个处理单元中，也可W 是各个单元单独物理存在，也可W两个或两个W上单元集成在一个单元中。上述集成的单 元既可W采用硬件的形式实现，也可W采用软件功能单元的形式实现。
[0242] W上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可W做出若干改进和润饰，运些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种全景媒体文件推送方法，其特征在于，包括： 获取待推送的全景媒体文件，其中，所述全景媒体文件中包括一帧或多帧全景图像帧； 按照预定条件分别对每帧所述全景图像帧进行划分，其中，划分后的每帧所述全景图 像帧中包括多个视图区； 在每帧所述全景图像帧的所述多个视图区上获取中心视图区，其中，所述中心视图区 所占区域大于等于一个所述视图区所占区域； 根据所述中心视图区对所述全景图像帧进行编码； 推送编码后的所述全景图像帧。2. 根据权利要求1所述的方法，其特征在于，所述在每帧所述全景图像帧的所述多个视 图区上获取中心视图区包括： 根据传感器检测到的运动数据确定第一中心视图区的坐标； 利用所述第一中心视图区的坐标从所述多个视图区中获取目标视图区，其中，所述第 一中心视图区包含在所述目标视图区中； 从所述目标视图区中提取所述第一中心视图区对应的画面。3. 根据权利要求2所述的方法，其特征在于，所述利用所述第一中心视图区的坐标从所 述多个视图区中获取目标视图区包括： 获取所述第一中心视图区的坐标所在的视图区标识； 利用所述视图区标识所指示的视图区拼接得到所述目标视图区。4. 根据权利要求2所述的方法，其特征在于，所述根据所述中心视图区对所述全景图像 帧进行编码包括： 按照第一分辨率编码所述第一中心视图区所在所述目标视图区，按照第二分辨率编码 所述全景图像帧中除所述目标视图区之外的其他视图区，其中，所述第一分辨率高于所述 第二分辨率。5. 根据权利要求2所述的方法，其特征在于，所述在每帧所述全景图像帧的所述多个视 图区上获取中心视图区包括： 获取所述全景媒体文件的播放模式； 根据所述全景媒体文件的所述播放模式及所述第一中心视图区的坐标确定预定时间 段后所述多个视图区上第二中心视图区的坐标。6. 根据权利要求5所述的方法，其特征在于，所述根据所述全景媒体文件的所述播放模 式及所述第一中心视图区的坐标确定预定时间段后所述多个视图区上第二中心视图区的 坐标包括：其中，（XQ，y〇)用于表示所述第一中心视图区的坐标，（Xt，yt)用于表示预定时间段t后所 述第二中心视图区的坐标;v mod用于表示所述播放模式，v modx(t)用于表示在所述播放 模式下所述预定时间段t后X方向上的偏移角度，v mody(t)用于表示在所述播放模式下所 述预定时间段t后y方向上的偏移角度。7. 根据权利要求5所述的方法，其特征在于，所述获取所述全景媒体文件的播放模式包 括： 在所述传感器检测到的所述运动数据指示在预定周期内的摆动幅度小于预定阈值时， 则确定为第一播放模式，其中，所述第一播放模式用于播放所述第一中心视图区中的画面； 在所述传感器检测到的所述运动数据指示在所述预定周期内的摆动幅度大于等于所 述预定阈值时，则确定为第二播放模式，其中，所述第二播放模式用于搜索第三中心视图 区； 在所述传感器检测到的所述运动数据指示在所述预定周期内的摆动幅度小于所述预 定阈值，且上一个所述播放模式为所述第二播放模式时，则确定为第三播放模式，其中，所 述第三播放模式用于播放所述第三中心视图区中的画面。8. 根据权利要求5所述的方法，其特征在于，所述根据所述中心视图区对所述全景图像 帧进行编码包括： 重复执行以下步骤，直至遍历在所述预定时间段后所述全景图像帧中的所述多个视图 区： 从所述多个视图区中获取当前视图区中划分的多个子视图区； 获取所述多个子视图区的参考值，其中，所述参考值为所述子视图区的显著性特征所 指示的显著性等级与所述第二中心视图区落在所述子视图区的概率二者中的最大值； 根据所述多个子视图区的所述参考值中的最大值确定所述当前视图区的第三分辨率； 按照所述第三分辨率对所述当前视图区进行编码。9. 根据权利要求8所述的方法，其特征在于，所述获取所述多个子视图区的参考值包 括： 重复执行以下步骤，直至遍历所述多个子视图区： 从所述多个子视图区中获取当前子视图区； 获取所述当前子视图区的所述显著性特征所指示的所述显著性等级及所述第二中心 视图区落在所述当前子视图区的概率； 将所述显著性等级与所述概率二者中的最大值作为所述当前子视图区的所述参考值。10. 根据权利要求8所述的方法，其特征在于，所述根据所述多个子视图区的所述参考 值中的最大值确定所述当前视图区的第三分辨率包括： 通过以下公式计算所述当前视图区的所述第三分辨率所在的分辨率等级： S(t，x，y) = l+(n_l)*mPi(t，x，y)*Qnet， 其中，（x，y)为所述当前视图区的坐标，S(t，x，y)用于表示在所述预定时间段t后所述 全景图像帧中所述当前视图区的所述第三分辨率所在的分辨率等级，mPi(t，x，y)用于表示 在所述预定时间段t后在所述当前视图区中所述多个子视图区的所述参考值的最大值， Qnet用于表示当前网络带宽等级，η用于表示分辨率等级，其中，Qnete [〇，l]，S(t，x，y)e {1,2, ··· ,η}； 根据所述第三分辨率所在的分辨率等级确定所述第三分辨率。11. 根据权利要求9所述的方法，其特征在于，获取所述第二中心视图区落在所述当前 子视图区的概率包括： P(t,sx,sy) = exp(-((sx-xt)2+(sy-yt)2)), 其中，（sx, sy)用于表示所述当前子视图区的坐标，P(t, sx, sy)用于表示在所述预定时 间段t后所述第二中心视图区落在所述当前子视图区的概率，（Xt，yt)用于表示所述预定时 间段t后所述第二中心视图区的坐标。12. -种全景媒体文件推送装置，其特征在于，包括： 第一获取单元，用于获取待推送的全景媒体文件，其中，所述全景媒体文件中包括一帧 或多帧全景图像帧； 划分单元，用于按照预定条件分别对每帧所述全景图像帧进行划分，其中，划分后的每 帧所述全景图像帧中包括多个视图区； 第二获取单元，用于在每帧所述全景图像帧的所述多个视图区上获取中心视图区，其 中，所述中心视图区所占区域大于等于一个所述视图区所占区域； 编码单元，用于根据所述中心视图区对所述全景图像帧进行编码； 推送单元，用于推送编码后的所述全景图像帧。13. 根据权利要求12所述的装置，其特征在于，所述第二获取单元包括： 第一确定模块，用于根据传感器检测到的运动数据确定第一中心视图区的坐标； 第一获取模块，用于利用所述第一中心视图区的坐标从所述多个视图区中获取目标视 图区，其中，所述第一中心视图区包含在所述目标视图区中； 提取模块，用于从所述目标视图区中提取所述第一中心视图区对应的画面。14. 根据权利要求13所述的装置，其特征在于，所述第一获取模块包括： 获取子模块，用于获取所述第一中心视图区的坐标所在的视图区标识； 拼接子模块，用于利用所述视图区标识所指示的视图区拼接得到所述目标视图区。15. 根据权利要求13所述的装置，其特征在于，所述编码单元包括： 第一编码模块，用于按照第一分辨率编码所述第一中心视图区所在所述目标视图区， 按照第二分辨率编码所述全景图像帧中除所述目标视图区之外的其他视图区，其中，所述 第一分辨率高于所述第二分辨率。16. 根据权利要求13所述的装置，其特征在于，所述第二获取单元包括： 第二获取模块，用于获取所述全景媒体文件的播放模式； 第二确定模块，用于根据所述全景媒体文件的所述播放模式及所述第一中心视图区的 坐标确定预定时间段后所述多个视图区上第二中心视图区的坐标。17. 根据权利要求16所述的装置，其特征在于，所述第二确定模块包括：其中，（XQ，y〇)用于表示所述第一中心视图区的坐标，（xt，yt)用于表示预定时间段t后所 述第二中心视图区的坐标;v mod用于表示所述播放模式，v modx(t)用于表示在所述播放 模式下所述预定时间段t后X方向上的偏移角度，v mody(t)用于表示在所述播放模式下所 述预定时间段t后y方向上的偏移角度。18. 根据权利要求16所述的装置，其特征在于，所述第二获取模块式包括： 第三确定子模块，用于在所述传感器检测到的所述运动数据指示在预定周期内的摆动 幅度小于预定阈值时，则确定为第一播放模式，其中，所述第一播放模式用于播放所述第一 中心视图区中的画面； 第四确定子模块，用于在所述传感器检测到的所述运动数据指示在所述预定周期内的 摆动幅度大于等于所述预定阈值时，则确定为第二播放模式，其中，所述第二播放模式用于 搜索第三中心视图区； 第五确定子模块，用于在所述传感器检测到的所述运动数据指示在所述预定周期内的 摆动幅度小于所述预定阈值，且上一个所述播放模式为所述第二播放模式时，则确定为第 三播放模式，其中，所述第三播放模式用于播放所述第三中心视图区中的画面。19. 根据权利要求16所述的装置，其特征在于，所述编码单元包括： 处理模块，用于重复执行以下步骤，直至遍历在所述预定时间段后所述全景图像帧中 的所述多个视图区： 从所述多个视图区中获取当前视图区中划分的多个子视图区； 获取所述多个子视图区的参考值，其中，所述参考值为所述子视图区的显著性特征所 指示的显著性等级与所述第二中心视图区落在所述子视图区的概率二者中的最大值； 根据所述多个子视图区的所述参考值中的最大值确定所述当前视图区的第三分辨率； 按照所述第三分辨率对所述当前视图区进行编码。20. 根据权利要求19所述的装置，其特征在于，所述处理模块通过以下步骤实现获取所 述多个子视图区的参考值： 重复执行以下步骤，直至遍历所述多个子视图区： 从所述多个子视图区中获取当前子视图区； 获取所述当前子视图区的所述显著性特征所指示的所述显著性等级及所述第二中心 视图区落在所述当前子视图区的概率； 将所述显著性等级与所述概率二者中的最大值作为所述当前子视图区的所述参考值。21. 根据权利要求19所述的装置，其特征在于，所述处理模块通过以下步骤实现根据所 述多个子视图区的所述参考值中的最大值确定所述当前视图区的第三分辨率： 通过以下公式计算所述当前视图区的所述第三分辨率所在的分辨率等级： S(t，x，y) = l+(n_l)*mPi(t，x，y)*Qnet， 其中，（x，y)为所述当前视图区的坐标，S(t，x，y)用于表示在所述预定时间段t后所述 全景图像帧中所述当前视图区的所述第三分辨率所在的分辨率等级，mPi(t，x，y)用于表示 在所述预定时间段t后在所述当前视图区中所述多个子视图区的所述参考值的最大值， Qnet用于表示当前网络带宽等级，η用于表示分辨率等级，其中，Qnete [〇，l]，S(t，x，y)e {1,2, ··· ,η}； 根据所述第三分辨率所在的分辨率等级确定所述第三分辨率。22. 根据权利要求20所述的装置，其特征在于，所述处理模块通过以下步骤实现获取所 述第二中心视图区落在所述当前子视图区的概率： P(t,sx,sy) = exp(-((sx-xt)2+(sy-yt)2)), 其中，（sx, sy)用于表示所述当前子视图区的坐标，P(t, sx, sy)用于表示在所述预定时 间段t后所述第二中心视图区落在所述当前子视图区的概率，（xt，yt)用于表示所述预定时 间段t后所述第二中心视图区的坐标。
【文档编号】H04N13/04GK106060515SQ201610557007
【公开日】2016年10月26日
【申请日】2016年7月14日
【发明人】袁梓瑾
【申请人】腾讯科技（深圳）有限公司