一种全景3d视频图像的处理方法和装置的制造方法
【专利摘要】本发明公开了一种全景3D视频图像的处理方法和装置。该方法包括：在虚拟现实场景中构建大小、形状和位置相同的左右虚拟显示球体；获取全景3D视频图像，确定全景3D视频图像的格式，并顺序地将全景3D视频图像的每帧图像中左右眼全景图像相应的绘制到左右虚拟显示球体的内表面上；判断是否发生视角旋转的触发事件，在发生触发事件时，同步旋转左视角和右视角，或者同步旋转左右虚拟显示球体；将视角旋转后的左右视角范围内的左右虚拟显示球体内表面上的球面全景图像绘制为相应于左眼的左眼图像和相应于右眼的右眼图像，以分屏显示左右眼图像。本发明的技术方案能够实现全景3D视频图像的720°全景3D展示，有效改善了用户的视觉体验。
【专利说明】
一种全景3D视频图像的处理方法和装置
技术领域
[0001]本发明涉及图像处理技术领域，特别涉及一种全景3D视频图像的处理方法和装置。
【背景技术】
[0002]如今，随着智能手机的普及以及智能手机性能的发展，智能手机已经具备了运行各种大型游戏以及软件的条件。虚拟现实也基于此原因悄然兴起。
[0003]现今运行于智能手机上的虚拟现实游戏或者软件大部分只能达到普通的3D效果，无法实现720°的全景3D效果，即普通3D效果只能使用户看到眼前具有深度的虚拟现实场景，无法产生身临其境，位于虚拟现实场景中的沉浸感。
【发明内容】
[0004]鉴于上述问题，本发明提供了一种全景3D视频图像的处理方法和装置，以解决现有技术无法实现全景展现的问题。
[0005]为达到上述目的，本发明的技术方案是这样实现的:
[0006]一方面，本发明实施例提供了一种全景3D视频图像的处理方法，该方法包括:
[0007]在虚拟现实场景中构建大小、形状和位置相同的左虚拟显示球体和右虚拟显示球体，其中左虚拟显示球体的左视角与右虚拟显示球体的右视角间的视差由构成全景3D视频图像每帧图像的两张全景图像间的视差确定；
[0008]获取全景3D视频图像，确定全景3D视频图像的格式；
[0009]根据全景3D视频图像的格式，顺序地将全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上；
[0010]判断是否发生视角旋转的触发事件，在发生触发事件时，同步旋转左视角和右视角，或者同步旋转左虚拟显示球体和右虚拟显示球体；
[0011]将视角旋转后的左视角范围内的左虚拟显示球体内表面上的球面全景图像绘制为相应于左眼的左眼图像，将视角旋转后的右视角范围内的右虚拟显示球体内表面上的球面全景图像绘制为相应于右眼的右眼图像，以分屏显示左右眼图像。
[0012]优选地，左虚拟显示球体的球心和右虚拟显示球体的球心重合于左视角与右视角的中心点。
[0013]优选地，所述判断是否发生视角旋转的触发事件包括:
[0014]检测方向传感模组的传感信号，在所述方向传感模组的传感信号发生变化时，判断发生视角旋转的触发事件。
[0015]优选地，所述确定全景3D视频图像的格式包括:
[0016]截取所述全景3D视频图像的一帧图像，若构成该帧图像的左右两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为左右格式;若构成该帧图像的上下两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为上下格式。
[0017]优选地，所述顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上具体为:
[0018]顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像和相应于右眼的右眼全景图像处理为纹理图像，将左眼全景图像的纹理图像中每个纹理像素一一映射到左虚拟显示球体内表面相应像素点位置处，右眼全景图像的纹理图像中每个纹理像素--映射到右虚拟显示球体内表面相应像素点位置处。
[0019]另一方面，本发明实施例还提供了一种全景3D视频图像的处理装置，该装置包括:
[0020]虚拟显示球体构件单元，用于在虚拟现实场景中构建大小、形状和位置相同的左虚拟显示球体和右虚拟显示球体，其中左虚拟显示球体的左视角与右虚拟显示球体的右视角间的视差由构成全景3D视频图像每帧图像的两张全景图像间的视差确定；
[0021]视频图像获取单元，用于获取全景3D视频图像，确定所述全景3D视频图像的格式；
[0022]球体绘制单元，用于根据所述全景3D视频图像的格式，顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上；
[0023]旋转控制单元，用于判断是否发生视角旋转的触发事件，在发生所述触发事件时，同步旋转左视角和右视角，或者同步旋转左虚拟显示球体和右虚拟显示球体；
[0024]左右眼图像绘制单元，用于将视角旋转后的左视角范围内的左虚拟显示球体内表面上的球面全景图像绘制为相应于左眼的左眼图像，将视角旋转后的右视角范围内的右虚拟显示球体内表面上的球面全景图像绘制为相应于右眼的右眼图像，以分屏显示左右眼图像。
[0025]优选地，所述左虚拟显示球体的球心和所述右虚拟显示球体的球心重合于所述左视角与所述右视角的中心点。
[0026]优选地，所述旋转控制单元包括判断模块；
[0027]所述判断模块，用于检测方向传感模组的传感信号，在所述方向传感模组的传感信号发生变化时，判断发生视角旋转的触发事件。
[0028]优选地，所述视频图像获取单元包括:视频图像格式判断模块；
[0029]所述视频图像格式判断模块，用于截取所述全景3D视频图像的一帧图像，若构成该帧图像的左右两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为左右格式;若构成该帧图像的上下两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为上下格式。
[0030]优选地，所述球体绘制单元，具体用于顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像和相应于右眼的右眼全景图像处理为纹理图像，将左眼全景图像的纹理图像中每个纹理像素--映射到左虚拟显示球体内表面相应像素点位置处，右眼全景图像的纹理图像中每个纹理像素--映射到右虚拟显示球体内表面相应像素点位置处。
[0031]本发明实施例的有益效果是:本发明通过在第一次图像绘制中，将全景3D视频图像中每帧图像的左右全景图像相应绘制到大小、形状和位置相同的左右虚拟显示球体的内表面上，得到球面全景图像；以及在第二次图像绘制中，通过视角旋转的触发事件同步调节第二次图像绘制过程中的左右眼视角，以得到各个视角方向上的左右眼图像。本发明通过两次图像绘制过程即可实现全景3D视频图像的处理，达到720°的全景3D效果，加强用户体验。
【附图说明】
[0032]图1为实施例一提供的全景3D视频图像的处理方法流程图；
[0033]图2为实施例二提供的全景3D视频图像的处理装置结构框图。
【具体实施方式】
[0034]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0035]实施例一:
[0036]图1为本实施例提供的全景3D视频图像的处理方法流程图，本实施例的方法尤其适用于Android平台。如图1所示，该方法包括:
[0037]S110，在虚拟现实场景中构建大小、形状和位置相同的左虚拟显示球体和右虚拟显示球体。
[0038]其中，左虚拟显示球体的左视角与右虚拟显示球体的右视角间的视差由构成全景3D视频图像每帧图像的两张全景图像间的视差确定，即左虚拟显示球体的左视角和右虚拟显示球体的右视角间的视差等于全景3D视频图像每帧图像的两张全景图像间的视差，以保证全景3D视频图像展现时的3D效果。
[0039]本实施例优选地，左虚拟显示球体的球心和右虚拟显示球体的球心重合于左视角与右视角的中心点。
[0040]需要说明的是，本步骤可以利用先进的Unity3D游戏引擎，借助Unity3D引擎的跨平台技术，结合Unity 3D与Android平台，以达到简化3D场景的构筑与搭建的目的，从而更加效率地实现对全景3D视频图像的处理。且由于Android平台对于多媒体播放器VLC的全面支持，使得本来对多媒体格式有诸多限制的智能终端(如智能手机)，变得更加开放、兼容。[0041 ] S120，获取全景3D视频图像，确定全景3D视频图像的格式。
[0042]本步骤所述的“确定全景3D视频图像的格式”具体为:
[0043]截取全景3D视频图像的一帧图像，若构成该帧图像的左右两部分子图像的相似度达到设定的相似度阈值，确定全景3D视频图像为左右格式;若构成该帧图像的上下两部分子图像的相似度达到设定的相似度阈值，确定全景3D视频图像为上下格式。例如，可以截取全景3D视频图像的某一帧图像，将该帧图像划分为左右两半，对这两半图像进行分析对比，若相似度达到90%以上，则确认该全景3D视频图像为左右格式，若相似度不够90%，则将该帧图像(也可以再截取全景3D视频图像的另一帧图像)划分为上下两半，对这两半图像进行分析对比，若相似度达到90%以上，则确认该全景3D视频图像为上下格式，若相似度不够90%，则确认该视频图像不是3D资源。
[0044]实际上由于全景图的宽度本身就比较大，如果采用左右排列，一张全景3D图像的宽度将会非常大，所以一般不会采用此种方式来制作全景3D视频图像。基于此，本实施例优选地先判断全景3D视频图像是否为上下格式，再判断全景3D视频图像是否为左右格式。
[0045]SI 30，根据全景3D视频图像的格式，顺序地将全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上。
[0046]本实施例优选采用纹理映射的技术手段将左右眼全景图像映射到左右虚拟显示球体的内表面，以达到较佳的3D效果。
[0047]具体的，顺序地将全景3D视频图像的每帧图像中相应于左眼的左眼全景图像和相应于右眼的右眼全景图像处理为纹理图像，将左眼全景图像的纹理图像中每个纹理像素一一映射到左虚拟显示球体内表面相应像素点位置处，右眼全景图像的纹理图像中每个纹理像素--映射到右虚拟显示球体内表面相应像素点位置处。
[0048]S140，判断是否发生视角旋转的触发事件，在发生触发事件时，同步旋转左视角和右视角，或者同步旋转左虚拟显示球体和右虚拟显示球体。
[0049]本实施例中的触发事件可以理解为:当由运行在虚拟显示头戴设备、智能手机等智能终端中虚拟显示播放器执行本实施例的上述方法步骤时，该视角旋转的触发事件可以响应于智能终端的方向传感模块的传感信息，即检测方向传感模组的传感信号，在方向传感模组的传感信号发生变化时，判断发生视角旋转的触发事件。本实施例所述的方向传感模块包括陀螺仪等方向传感器。
[0050]需要说明的是，本实施例中“同步旋转左视角和右视角”应理解为同时同向转动左视角和右视角相同角度，“同步旋转左虚拟显示球体和右虚拟显示球体”应理解为控制左虚拟显示球体和右虚拟显示球体同时同向转动相同角度。
[0051]S150，将视角旋转后的左视角范围内的左虚拟显示球体内表面上的球面全景图像绘制为相应于左眼的左眼图像，将视角旋转后的右视角范围内的右虚拟显示球体内表面上的球面全景图像绘制为相应于右眼的右眼图像，以分屏显示左右眼图像。
[0052]本实施例通过建立两个大小、形状、位置相同的虚拟显示球体分别显示全景3D视频图像中每帧图像的左右全景图像，以将平面全景图像映射为球面全景图像，并在接收到视角旋转的触发事件时，通过同步旋转两个虚拟显示球体或同步旋转两个虚拟显示球体的视角进行视角调节，从而在分屏显示左右眼图像时，能够达到全景3D的视觉效果。
[0053]实施例二:
[0054]基于与实施例一相同的构思，本实施例提供了一种全景3D视频图像的处理装置。
[0055]图2为本实施例提供的全景3D视频图像的处理装置结构框图，如图2所示，该装置包括:
[0056]虚拟显示球体构建单元21，用于在虚拟现实场景中构建大小、形状和位置相同的左虚拟显示球体和右虚拟显示球体，其中左虚拟显示球体的左视角与右虚拟显示球体的右视角间的视差由构成全景3D视频图像每帧图像的两张全景图像间的视差确定。
[0057]本实施例优选地，左虚拟显示球体的球心和所述右虚拟显示球体的球心重合于所述左视角与所述右视角的中心点。
[0058]视频图像获取单元22，用于获取全景3D视频图像，确定全景3D视频图像的格式。
[0059]优选地，视频图像获取单元22包括:视频图像格式判断模块，用于截取所述全景3D视频图像的一帧图像，若构成该帧图像的左右两部分子图像的相似度达到设定的相似度阈值，确定全景3D视频图像为左右格式;若构成该帧图像的上下两部分子图像的相似度达到设定的相似度阈值，确定全景3D视频图像为上下格式。
[0060]球体绘制单元23，用于根据全景3D视频图像的格式，顺序地将全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上。
[0061]球体绘制单元23，具体用于顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像和相应于右眼的右眼全景图像处理为纹理图像，将左眼全景图像的纹理图像中每个纹理像素一一映射到左虚拟显示球体内表面相应像素点位置处，右眼全景图像的纹理图像中每个纹理像素--映射到右虚拟显示球体内表面相应像素点位置处。
[0062]旋转控制单元24，用于判断是否发生视角旋转的触发事件，在发生触发事件时，同步旋转左视角和右视角，或者同步旋转左虚拟显示球体和右虚拟显示球体。
[0063]优选地，旋转控制单元24，包括判断模块;该判断模块，用于检测方向传感模组的传感信号，在所述方向传感模组的传感信号发生变化时，判断发生视角旋转的触发事件。
[0064]左右眼图像绘制单元25，用于将视角旋转后的左视角范围内的左虚拟显示球体内表面上的球面全景图像绘制为相应于左眼的左眼图像，将视角旋转后的右视角范围内的右虚拟显示球体内表面上的球面全景图像绘制为相应于右眼的右眼图像，以分屏显示左右眼图像。
[0065]本实施例的上述单元模块可以运行在Android操作平台中，如Android智能手机平台。
[0066]本发明装置实施例的各单元的具体工作方式可以参见本发明的方法实施例。
[0067]综上所述，本发明公开了一种全景3D视频图像的处理方法和装置，通过在第一次图像绘制中，将全景3D视频图像中每帧图像的左右全景图像相应绘制到大小、形状和位置相同的左右虚拟显示球体的内表面上，得到球面全景图像；以及在第二次图像绘制中，通过视角旋转的触发事件同步调节第二次图像绘制过程中的左右眼视角，以得到各个视角方向上的左右眼图像。本发明通过两次图像绘制过程即可实现全景3D视频图像的处理，达到720°的全景3D效果，加强用户体验。
[0068]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
【主权项】
1.一种全景3D视频图像的处理方法，其特征在于，所述方法包括: 在虚拟现实场景中构建大小、形状和位置相同的左虚拟显示球体和右虚拟显示球体，其中左虚拟显示球体的左视角与右虚拟显示球体的右视角间的视差由构成全景3D视频图像每帧图像的两张全景图像间的视差确定； 获取全景3D视频图像，确定所述全景3D视频图像的格式； 根据所述全景3D视频图像的格式，顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上； 判断是否发生视角旋转的触发事件，在发生所述触发事件时，同步旋转左视角和右视角，或者同步旋转左虚拟显示球体和右虚拟显示球体； 将视角旋转后的左视角范围内的左虚拟显示球体内表面上的球面全景图像绘制为左眼图像，将视角旋转后的右视角范围内的右虚拟显示球体内表面上的球面全景图像绘制为右眼图像，以分屏显示左右眼图像。2.根据权利要求1所述的方法，其特征在于，所述左虚拟显示球体的球心和所述右虚拟显示球体的球心重合于所述左视角与所述右视角的中心点。3.根据权利要求1所述的方法，其特征在于，所述判断是否发生视角旋转的触发事件包括: 检测方向传感模组的传感信号，在所述方向传感模组的传感信号发生变化时，判断发生视角旋转的触发事件。4.根据权利要求1所述的方法，其特征在于，所述确定全景3D视频图像的格式包括: 截取所述全景3D视频图像的一帧图像，若构成该帧图像的左右两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为左右格式;若构成该帧图像的上下两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为上下格式。5.根据权利要求4所述的方法，其特征在于，所述顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上具体为: 顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像和相应于右眼的右眼全景图像处理为纹理图像，将左眼全景图像的纹理图像中每个纹理像素一一映射到左虚拟显示球体内表面相应像素点位置处，右眼全景图像的纹理图像中每个纹理像素一一映射到右虚拟显示球体内表面相应像素点位置处。6.一种全景3D视频图像的处理装置，其特征在于，该装置包括: 虚拟显示球体构件单元，用于在虚拟现实场景中构建大小、形状和位置相同的左虚拟显示球体和右虚拟显示球体，其中左虚拟显示球体的左视角与右虚拟显示球体的右视角间的视差由构成全景3D视频图像每帧图像的两张全景图像间的视差确定； 视频图像获取单元，用于获取全景3D视频图像，确定所述全景3D视频图像的格式；球体绘制单元，用于根据所述全景3D视频图像的格式，顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像绘制到左虚拟显示球体的内表面上，相应于右眼的右眼全景图像绘制到右虚拟显示球体的内表面上； 旋转控制单元，用于判断是否发生视角旋转的触发事件，在发生所述触发事件时，同步旋转左视角和右视角，或者同步旋转左虚拟显示球体和右虚拟显示球体； 左右眼图像绘制单元，用于将视角旋转后的左视角范围内的左虚拟显示球体内表面上的球面全景图像绘制为左眼图像，将视角旋转后的右视角范围内的右虚拟显示球体内表面上的球面全景图像绘制为右眼图像，以分屏显示左右眼图像。7.根据权利要求6所述装置，其特征在于，所述左虚拟显示球体的球心和所述右虚拟显示球体的球心重合于所述左视角与所述右视角的中心点。8.根据权利要求6所述的装置，其特征在于，所述旋转控制单元包括判断模块； 所述判断模块，用于检测方向传感模组的传感信号，在所述方向传感模组的传感信号发生变化时，判断发生视角旋转的触发事件。9.根据权利要求1所述的装置，其特征在于，所述视频图像获取单元包括:视频图像格式判断模块； 所述视频图像格式判断模块，用于截取所述全景3D视频图像的一帧图像，若构成该帧图像的左右两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为左右格式;若构成该帧图像的上下两部分子图像的相似度达到设定的相似度阈值，确定所述全景3D视频图像为上下格式。10.根据权利要求9所述的装置，其特征在于，所述球体绘制单元，具体用于顺序地将所述全景3D视频图像的每帧图像中相应于左眼的左眼全景图像和相应于右眼的右眼全景图像处理为纹理图像，将左眼全景图像的纹理图像中每个纹理像素一一映射到左虚拟显示球体内表面相应像素点位置处，右眼全景图像的纹理图像中每个纹理像素--映射到右虚拟显示球体内表面相应像素点位置处。
【文档编号】G06T3/00GK106097245SQ201610597684
【公开日】2016年11月9日
【申请日】2016年7月26日 公开号201610597684.7, CN 106097245 A, CN 106097245A, CN 201610597684, CN-A-106097245, CN106097245 A, CN106097245A, CN201610597684, CN201610597684.7
【发明人】卢念
【申请人】北京小鸟看看科技有限公司