虚拟现实终端及其视频的处理方法和装置的制造方法
【专利摘要】本发明实施例提供了一种虚拟现实终端及其视频的处理方法和装置，虚拟现实终端上视频的处理方法包括：获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理；对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理，类似批处理的过程，在所有截取播放内容指令执行完毕之后，统一对截取的播放内容进行批量编码，以及批量下载，如果播放内容为视频视频内容，相比现有技术中在视频处理时，截取多次、重复多次编码和下载，避免了效率延迟，实现了在视频播放过程中截取视频又不会影响播放的流畅性。
【专利说明】
虚拟现实终端及其视频的处理方法和装置
技术领域
[0001]本发明实施例涉及虚拟现实技术领域，尤其涉及一种虚拟现实终端及其视频的处理方法和装置。
【背景技术】
[0002]虚拟现实技术是一种计算机仿真系统，在该系统中可以创建和体验虚拟世界。本质上，该系统利用计算机生成一种模拟环境，该模拟环境是一种多源信息融合的交互式的三维动态视景和对实体行为的系统仿真，可以达到沉浸式体验。
[0003]虚拟现实涉及的多源信息包括实时三维计算机图形技术、广角(宽视野)立体显示技术、对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。除此之外，还涉及双目立体视觉，双目立体视觉起了较大的作用。在双目立体视觉技术中，两只眼睛看到的不同图像是分别产生的，分别显示在两个不同的显示器上。另夕卜，也有虚拟现实系统采用单个显示器，但带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，由于奇、偶帧之间不同即存在视差，从而产生了立体感。
[0004]现有技术中，在虚拟现实终端上显示视频时，在对视频内容进行处理时，对于每一次视频的截取，以及对每一次截取视频的编码以及对编码后每一次视频的下载等，如果要截取多次，则要重复多次编码和下载，这种过于频繁的处理过程导致效率延迟，影响了视频播放过程中流畅性。
【发明内容】
[0005]本发明实施例的目的在于提供一种虚拟现实终端及其视频的处理方法和装置，用以解决现有技术中在视频处理时，截取多次，则要重复多次编码和下载导致的效率延迟以及对视频播放过程中流畅性的影响。
[0006]本发明实施例采用的技术方案如下:
[0007]本发明实施例提供一种虚拟现实终端上视频的处理方法，其包括:
[0008]获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理；
[0009]对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
[0010]优选地，在本发明的任一实施例中，获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理包括:
[0011 ]获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理；
[0012]所述对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理包括:
[0013]对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。
[0014]优选地，在本发明的任一实施例中，所述获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理包括:获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理。
[0015]优选地，在本发明的任一实施例中，还包括:获取分享内容事件并根据所述分享内容事件，触发截取播放内容指令的生成。
[0016]优选地，在本发明的任一实施例中，对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理包括:对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器中。
[0017]优选地，在本发明的任一实施例中，对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器存中包括:对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象中。
[0018]优选地，在本发明的任一实施例中，还包括:获取下载请求指令，根据所述下载请求指令，下载已缓存的所有截取的播放内容。
[0019]本发明实施例提供一种虚拟现实终端上视频的处理装置，其包括:
[0020]截取单元，用于获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理；
[0021]缓存单元，用于对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
[0022]优选地，在本发明的任一实施例中，所述截取单元进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理；
[0023]所述缓存单元进一步用于对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。
[0024]优选地，在本发明的任一实施例中，所述截取单元进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理。
[0025]优选地，在本发明的任一实施例中，还包括获取单元，用于获取分享内容事件并根据所述分享内容事件，触发截取播放内容指令的生成。
[0026]优选地，在本发明的任一实施例中，所述缓存单元进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器中。
[0027]优选地，在本发明的任一实施例中，所述缓存单元进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象中。
[0028]优选地，在本发明的任一实施例中，还包括下载单元，用于获取下载请求指令，根据所述下载请求指令，下载已缓存的所有截取的播放内容。
[0029]本发明实施例提供一种虚拟现实终端，其包括硬件处理器，所述硬件处理用于获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理；以及缓存单元，用于对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
[0030]本发明实施例的技术方案具有以下优点:
[0031 ]在虚拟现实终端上播放内容时，通过获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理;再对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理，类似批处理的过程，在所有截取播放内容指令执行完毕之后，统一对截取的播放内容进行批量编码，以及批量下载，如果播放内容为视频视频内容，相比现有技术中在视频处理时，截取多次、重复多次编码和下载，避免了效率延迟，实现了在视频播放过程中截取视频又不会影响播放的流畅性。
【附图说明】
[0032]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本发明实施例一虚拟现实终端上视频的处理方法流程示意图；
[0034]图2为本发明实施例二虚拟现实终端上视频的处理方法流程示意图；
[0035]图3为本发明实施例三虚拟现实终端上视频的处理装置结构示意图；
[0036]图4为本发明实施例四虚拟现实终端上视频的处理装置结构示意图；
[0037]图5为本发明实施例五虚拟现实终端的结构示意图。
【具体实施方式】
[0038]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]本发明下述实施例中，在虚拟现实终端上播放内容时，通过获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理;再对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理，类似批处理的过程，在所有截取播放内容指令执行完毕之后，统一对截取的播放内容进行批量编码，以及批量下载，如果播放内容为视频视频内容，相比现有技术中在视频处理时，截取多次、重复多次编码和下载，避免了效率延迟，实现了在视频播放过程中截取视频又不会影响播放的流畅性。
[0040]图1为本发明实施例一虚拟现实终端上视频的处理方法流程示意图；如图1所示，本实施例中的技术方案具体包括:
[0041 ] SlOl、获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理；
[0042]本实施例中，以虚拟现实终端上播放视频内容为例，步骤SlOl中，在获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理时，可以具体包括:获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理。优选地，本实施例中，根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理，比如球面全景视频、立方体全景视频、柱面全景视频、平面全景视频等进行截取处理。
[0043]本实施例中，截取视频内容指令可以通过进入视频截取模式，在进行截取时，可以通过时间戳的方式进行，即记录截取起始时间以及截取结束时间，这两个时间内的视频内容即形成截取的视频内容。
[0044]S102、对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
[0045]本实施例中，如前所述，以虚拟现实终端播放全景视频为例，因此，步骤S102中，在对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理时可以具体包括:对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。比如，在播放全景视频的过程中，完成了多次视频内容的截取，将该多次截取的内容统一进行编码处理如JPG编码处理，形成多个JPG格式的图片以缓存。
[0046]需要说明的是，对所有截取的视频内容的编码方式也可以灵活选定，也可以有除了 JPG以外的编码方式，详细不再赘述。另外，也可以进一步对形成的多个JPG格式的图片进行拼接处理，形成一个全景图片，比如球面全景图片、立方体全景图片或者柱面全景图片。
[0047]优选地，本实施例中，S102中，在对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理时可以将编码后的所有截取的播放内容缓存在图形管理器GPU中。具体地，可以直接将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象中(Frame Buffer Object，简称FBO)，由于该帧缓存对象中FBO类似显卡的缓存，可以实现较快捷的进行加载显示。
[0048]需要说明的是，并不局限于将编码后的所有截取的播放内容缓存帧缓存对象中FB0，在本发明实施例的启发下，本领域普通技术人员无须创造性劳动，也可以将编码后的所有截取的播放内容缓存在其他存储位置上，详细不再赘述。
[0049]图2为本发明实施例二虚拟现实终端上视频的处理方法流程示意图；如图2所示，本实施例中的技术方案具体包括:
[0050]S201、获取分享内容事件并根据所述分享内容事件，触发截取播放内容指令的生成。
[0051 ]本实施例中，以在观看全景视频内容过程中，要将视频中的一些内容分享给其他用户为例，分享内容事件可以通过在视频观看过程中，对视点的控制操作视频播放页面上的分享图标生成分享内容事件，从而触发截取播放内容指令的生成。另外，也可以通过在虚拟现实终端上设置物理操作按键，通过操作物理操作按键的操作，生成分享内容事件。
[0052]S202、获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理。
[0053]本实施例中，截取视频内容指令可以通过一旦有分享内容事件生成即进入视频截取模式，即在视频播放的过程中，通过视点的控制可以设置视频截取的起始时间点和结束时间点，从而根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理，比如球面全景视频、立方体全景视频、柱面全景视频、平面全景视频等进行截取处理。
[0054]S203、对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
[0055]与上述实施例一相同，本实施例中仍然以虚拟现实终端播放全景视频为例，因此，步骤S203中，在对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理时可以具体包括:对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。比如，在播放全景视频的过程中，完成了多次视频内容的截取，将该多次截取的内容统一进行编码处理如JPG编码处理，形成多个JPG格式的图片以缓存。
[0056]需要说明的是，本实施例中，对所有截取的视频内容的编码方式也可以灵活选定，也可以有除了 JPG以外的编码方式，详细不再赘述。另外，也可以进一步对形成的多个JPG格式的图片进行拼接处理，形成一个全景图片，比如球面全景图片、立方体全景图片或者柱面全景图片。
[0057]本实施例中，类似上述实施例一，在步骤S203中对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理时可以将编码后的所有截取的播放内容缓存在图形管理器GPU中。具体地，可以直接将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象FBO中，由于该帧缓存对象中FBO类似显卡的缓存，可以实现较快捷的进行加载显示。
[0058]需要说明的是，本实施例中，也并不局限于将编码后的所有截取的播放内容缓存帧缓存对象中FB0，在本发明实施例的启发下，本领域普通技术人员无须创造性劳动，也可以将编码后的所有截取的播放内容缓存在其他存储位置上，详细不再赘述。
[0059]在上述图1或者图2所示实施例的基础上，在缓存之后还可以包括:获取下载请求指令，根据所述下载请求指令，下载已缓存的所有截取的播放内容。下载请求指令可以通过视点移动操作播放界面中的软家功能图标触发生成，也可以通过操作虚拟现实终端上的物理按键触发生成，在本发明实施例的启发下，本领域普通技术人员还可以想到其他多种替代方式，在此不再赘述，不如手势操作的方式等等。
[0060]图3为本发明实施例三虚拟现实终端上视频的处理装置结构示意图；如图3所示，其包括:
[0061 ]截取单元301，用于获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理；
[0062]缓存单元302，用于对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
[0063]优选地，本实施例中，所述截取单元进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理;进一步地，所述缓存单元进一步用于对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。
[0064]优选地，本实施例中，所述截取单元进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理。
[0065]优选地，本实施例中，所述缓存单元进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器中。具体地，所述缓存单元进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象中。
[0066]图4为本发明实施例四虚拟现实终端上视频的处理装置结构示意图；如图4所示，其包括上述图3中的截取单元301以及缓存单元302，还可以包括:获取单元300和下载单元303，获取单元300用于获取分享内容事件并根据所述分享内容事件，触发截取播放内容指令的生成。下载单元303用于获取下载请求指令，根据所述下载请求指令，下载已缓存的所有截取的播放内容。
[0067]本实施例中，参考上述实施例，下载请求指令可以通过视点移动操作播放界面中的软家功能图标触发生成，也可以通过操作虚拟现实终端上的物理按键触发生成，在本发明实施例的启发下，本领域普通技术人员还可以想到其他多种替代方式，在此不再赘述，不如手势操作的方式等等。
[0068]图5为本发明实施例五虚拟现实终端的结构示意图；如图5所示，其包括硬件处理器501、显示器502以及缓存单元503，所述硬件处理器用于获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的显示器502上播放内容进行截取处理;缓存单元503用于对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
[0069]本实施例或其他实施例中，所述硬件处理器进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理；
[0070]本实施例或其他实施例中，所述硬件处理器进一步用于对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。
[0071]本实施例或其他实施例中，所述硬件处理器进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理。
[0072]本实施例或其他实施例中，所述硬件处理器进一步用于获取分享内容事件并根据所述分享内容事件，触发截取播放内容指令的生成。
[0073]本实施例或其他实施例中，所述硬件处理器进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器中。
[0074]本实施例或其他实施例中，所述硬件处理器进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象中。
[0075]本实施例或其他实施例中，所述硬件处理器进一步用于获取下载请求指令，根据所述下载请求指令，下载已缓存的所有截取的播放内容。
[0076]图1-图4实施例中，虚拟现实终端可以是虚拟现实头盔，也可以是虚拟现实眼镜，其可以包括2个显示器，也可以包括I个显示器，以进行播放内容如全景视频的播放。
[0077]另外，需要说明的是，上述图1-图4实施例的技术方案也可以适用于播放内容为全景图片的情形或其他播放内容如文档浏览，以在播放全景图片的过程中为例，根据截取指令对全景图片进行内容截取处理，其详细处理过程类似全景视频内容的情形，详细不再赘述。
[0078]本实施例或者其他任意实施例中，虚拟现实终端可以为虚拟现实头盔，也可以是虚拟现实眼镜，其中的显示单元可以配置两个，也可以配置一个。
[0079]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0080]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0081]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种虚拟现实终端上视频的处理方法，其特征在于，包括: 获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理； 对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。2.根据权利要求1所述的处理方法，其特征在于，获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理包括: 获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理； 所述对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理包括: 对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。3.根据权利要求1所述的处理方法，其特征在于，所述获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理包括: 获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理。4.根据权利要求1所述的处理方法，其特征在于，还包括:获取分享内容事件并根据所述分享内容事件，触发截取播放内容指令的生成。5.根据权利要求1所述的处理方法，其特征在于，对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理包括: 对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器中。6.根据权利5所述的处理方法，其特征在于，对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器存中包括: 对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象中。7.根据权利要求1-6任一项所述的处理方法，其特征在于，还包括: 获取下载请求指令，根据所述下载请求指令，下载已缓存的所有截取的播放内容。8.一种虚拟现实终端上视频的处理装置，其特征在于，包括: 截取单元，用于获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理； 缓存单元，用于对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。9.根据权利要求8所述的处理装置，其特征在于，所述截取单元进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的视频内容进行截取处理； 所述缓存单元进一步用于对所有截取的视频内容进行编码，并对编码的所有截取的视频内容进行缓存处理。10.根据权利要求8所述的处理装置，其特征在于，所述截取单元进一步用于获取截取视频内容指令，并根据所述截取视频内容指令对当前时刻视点方向上播放的全景视频内容进行截取处理。11.根据权利要求8所述的处理装置，其特征在于，还包括获取单元，用于获取分享内容事件并根据所述分享内容事件，触发截取播放内容指令的生成。12.根据权利要求8所述的处理装置，其特征在于，所述缓存单元进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器中。13.根据权利5所述的处理装置，其特征在于，所述缓存单元进一步用于对所有截取的播放内容进行编码，将编码后的所有截取的播放内容缓存在图形管理器的帧缓存对象中。14.根据权利要求8-13任一项所述的处理装置，其特征在于，还包括下载单元，用于获取下载请求指令，根据所述下载请求指令，下载已缓存的所有截取的播放内容。15.一种虚拟现实终端，其特征在于，包括硬件处理器，所述硬件处理用于获取截取播放内容指令，并根据所述截取播放内容指令对当前时刻视点方向上的播放内容进行截取处理；以及缓存单元，用于对所有截取的播放内容进行编码，并对编码的所有截取的播放内容进行缓存处理。
【文档编号】H04N21/234GK105898359SQ201610272174
【公开日】2016年8月24日
【申请日】2016年4月27日
【发明人】许小飞
【申请人】乐视控股（北京）有限公司, 乐视致新电子科技（天津）有限公司