一种在移动设备上实现播放全景视频的系统和方法

文档序号:10515986阅读:320来源:国知局
一种在移动设备上实现播放全景视频的系统和方法
【专利摘要】本发明涉及一种在移动设备上实现播放全景视频的方法和系统,包括:感测用户通过对视频应用的触发操作获取所选定的视频画面后,使用OpenGL ES创建一个虚拟环境中的三维球体;将三维世界中的摄像机放置于球体内部;视频获取和转换步骤,以预定的速度读取所述视频画面,获取每一帧视频图像,将视频图像转换为纹理信息;纹理信息映射步骤,将被转换的纹理信息映射到上述球体的内部;视角计算步骤,根据三维球体的旋转角度以及摄像机视角进行四元矩阵计算,获得实际显示的画面矩阵;重复所述视频获取和转换步骤、纹理信息映射步骤以及视角计算步骤,获得全景视频画面。由此实现了移动设备上的360度全景视频播放,提高了视频观看效果。
【专利说明】
一种在移动设备上实现播放全景视频的系统和方法
技术领域
[0001]本发明涉及数字媒体技术领域,特别涉及一种在移动设备上实现播放全景视频的系统和方法。
【背景技术】
[0002]随着移动视频用户数量的激增,移动视频应用市场的竞争也越发激烈,用户对于移动视频应用的要求也越来越高。在现有的移动视频应用中,通过播放m3u8或者mp4地址获取到一个正规的矩形视频画面并将它播放到应用界面中,但这要求上述视频画面的内容必须是一个正常的平铺开的矩形画面。
[0003]正如人们所熟知的那样,全景视频是在360全景技术上发展延伸而来,将静态的全景图片转化为动态的视频图像,让视频观看者有一种真正意义上身临其境的感觉,其不受时间、空间和地域的限制。简单的说,传统的视频只可以看到一个面,全景视频可以看到周围正在发生的景象。因此,随着全景视频技术的日趋发展完善,为了增强移动用户的视听体验,在移动设备中进行全景视频播放成为用户日益强烈的实际需求。然而,在现有的视频播放中,为了进行全景视频播放,如果将一个未平铺到球面的全景视频放置于一个普通的播放器中进行播放,则用户所看到的将会是一个扭曲的未经处理的画面,难以实现用户满意的视听体验。

【发明内容】

[0004]为了解决上述问题,本发明的目的旨在提供一种基于现有的视频播放器平台使用OpenGL ES技术在移动设备上实现播放全景视频的系统和方法。
[0005]本发明的第一方面,提供一种在移动设备上实现播放全景视频的方法,其包括:
[0006]全景视频创建步骤,用于在360度范围内从不同方向采集视频帧以产生多路视频流,并对所述多路视频流进行处理,生成全景视频流;
[0007]中央控制步骤,指示在所述全景视频创建步骤中处理多路视频流,所述全景视频创建步骤根据该指示进行处理以实时生成全景视频;以及
[0008]视频调整步骤,根据所述中央控制步骤中对用户操作的应答指令来调整所述全景视频在移动设备显示器上的显示内容。
[0009]优选地,根据本发明的全景视频播放方法,所述视频调整步骤进一步包括:根据用户指令对全景视频进行对象追踪。
[0010]优选地,根据本发明的全景视频播放方法,所述视频调整步骤进一步包括:对全景视频进行防抖运算。
[0011 ]优选地,根据本发明的全景视频播放方法,所述全景视频创建步骤进一步包括:球体生成步骤、视频获取和转换步骤、纹理信息映射步骤、视角计算步骤、以及视频画面更新步骤,其中
[0012]所述球体生成步骤感测用户通过对视频应用的触发操作获取到所选定的视频画面后,使用OpenGL ES创建一个虚拟环境中的三维球体;
[0013]将假想的摄像机放置到上述三维球体内部后,所述视频获取和转换步骤以预定的视频读取速度读取所述视频画面,获取每一帧图像,将所读取出的视频图像转换为纹理信息;
[0014]所述纹理映射步骤在所述视频画面的播放过程中获取每一帧图像作为纹理信息,通过三维转换将纹理信息映射到虚拟环境中的所述三维球体上,通过投影变换将所述纹理信息从三维世界映射到移动设备的显示器上显示出来;
[0015]所述视角计算步骤根据所述三维球体的旋转角度以及摄像机视角进行四元矩阵计算,从而获得实际显示的画面矩阵;
[0016]所述视频画面更新步骤控制所述视频获取转换步骤、所述纹理信息映射步骤、所述视角计算步骤进行反复循环动作,不断刷新视频画面,从而获得360度的全景视频画面。
[0017]进一步地,根据本发明的全景视频播放方法,将假想的摄像机放置到所述三维球体内部后与所述视频获取和转换步骤之前,还包括:所述摄像机随着所述三维球体的旋转每隔一定时间间隔采集视频图像,将即时采集的每帧视频图像进行预处理。
[0018]优选地,根据本发明的全景视频播放方法,所述预定的视频读取速度为每秒20次以上。
[0019]进一步地,根据本发明的全景视频播放方法,通过视图变换、映射变换将所述纹理信息转换为移动设备显示器上的坐标后显示出来。
[0020]进一步地,根据本发明的全景视频播放方法,所述图像预处理包括对视频帧进行模式化的先期处理,该先期处理包括:修改视频帧的色彩模式、视频帧的大小或者进行滤波、畸变校正。
[0021 ]本发明的第二方面,提供一种在移动设备上实现播放全景视频的系统,其包括:
[0022]全景视频创建装置,用于在360度范围内从不同方向采集视频帧以产生多路视频流,并对所述多路视频流进行处理,生成全景视频流;
[0023]中央控制装置,向所述全景视频创建装置发出处理多路视频流的指令,使所述全景视频创建装置根据该指令进行处理以实时生成全景视频;以及
[0024]视频调整装置,根据所述中央控制装置对用户操作的应答指令来调整全景视频在移动设备显示器上的显示内容。
[0025]优选地,根据本发明的全景视频播放系统,所述视频调整装置进一步配置为根据用户指令对全景视频进行对象追踪。
[0026]优选地,根据本发明的全景视频播放系统,所述视频调整装置进一步配置为对全景视频进行防抖运算。
[0027]优选地,根据本发明的全景视频播放系统,所述全景视频创建装置进一步包括球体生成单元、视频获取和转换单元、纹理信息映射单元、视角计算单元和视频画面更新单元,其中
[0028]所述球体生成单元感测用户通过对视频应用的触发操作获取到所选定的视频画面后,使用OpenGL ES创建一个虚拟环境中的三维球体;
[0029]将假想的摄像机放置到上述三维球体内部后,所述视频获取和转换单元以预定的视频读取速度读取所述视频画面,获取每一帧图像,将所读取出的视频图像转换为纹理信息;
[0030]所述纹理映射单元在所述视频画面的播放过程中获取每一帧图像作为纹理信息,通过三维转换将纹理信息映射到虚拟环境中的上述三维球体上,通过投影变换将上述纹理信息从三维世界映射到移动设备的显示器上显示出来;
[0031]所述视角计算单元根据所述三维球体的旋转角度以及摄像机视角进行四元矩阵计算,从而获得实际显示的画面矩阵;
[0032]所述视频画面更新单元控制所述视频获取转换单元、所述纹理信息映射单元、所述视角计算单元进行反复循环动作,不断刷新视频画面,从而获得360度的全景视频画面。
[0033]优选地,根据本发明的全景视频播放系统,所述预定的视频读取速度为每秒20次以上。
[0034]优选地,根据本发明的全景视频播放系统,所述纹理映射单元还用于通过视图变换、映射变换将所述纹理信息转换为移动设备显示器上的坐标后显示出来。
[0035]通过上述技术手段的运用,实现了移动设备上的360度全景视频播放,提高了视频观看效果。
【附图说明】
[0036]图1为本发明的在移动设备上实现播放全景视频的方法的流程图。
[0037]图2示出了球体旋转与用户所在视角的位置关系变化的状态图,图2(a)示出了初始化OpenGL之后的三维世界中球体和用户所在视角的位置;图2(b)示出了当用户使用手指从手机屏幕左侧滑到屏幕右侧时,球体相应向右侧旋转的情形;图2(c)示出了当用户使用手指从手机屏幕上方滑到屏幕下方时,摄像机相应地向上旋转的情形;图2(d)示出了当用户使用两个手指分别向屏幕两侧滑动时,摄像机相应地向后移动的情形。
[0038]图3为本发明的在移动设备上实现播放全景视频的系统的框图。
[0039]图4为本发明的全景视频播放系统中的全景视频创建装置的结构示意图。
【具体实施方式】
[0040]目前,用户常用的视频播放器例如PPTV、快播、百度影音、windows自带播放器、暴风影音、MicrosoftDirectShow等。本发明就是在现有的上述视频播放器的基础之上,使用OpenGL ES技术来播放全景视频,增强了观看视频的用户体验。
[0041 ] OpenGL ES(0penGL for Embedded Systems)是OpenGL三维图形API (Applicat1nProgramming Interface,应用程序编程接口)的子集,针对手机、PDA和游戏主机等嵌入式设备而设计,能够实现非常丰富的动画效果。
[0042]概括地讲,本发明的全景视频播放原理为:用户触发移动设备上的视频应用获取到视频画面之后,使用OpenGL ES技术建立一个球体,将所获取到的视频画面通过纹理贴合的方式贴合到球体内部,同时将摄像机(即,进行视频播放的终端设备的显示屏)放置在球体内部,让用户在视频应用内所观看到的视频画面就是身处在球体内部的全景画面,这时通过用户的手指或者移动设备的陀螺仪来旋转上述球体的角度,由此用户就能够观看到全景视频内的其它视角。
[0043]为了对本发明的全景视频播放原理及播放过程进行清楚明了的描述,下文中将用于进行视频播放的移动设备的显示器假想为摄像机。
[0044]另外,在本发明中,全景视频的视频画面的缩放通过在上述球体内部移动摄像机的前后位置来加以实现。
[0045]本发明所提供的在移动设备上实现播放全景视频的方法,其主要包括:全景视频创建步骤,用于在360度范围内从不同方向采集视频帧以产生多路视频流,并对所述多路视频流进行处理,生成全景视频流;中央控制步骤,指示在所述全景视频创建步骤中处理多路视频流,所述全景视频创建步骤根据该指示进行处理以实时生成全景视频;以及视频调整步骤,根据所述中央控制步骤中对用户操作的应答指令来调整所述全景视频在移动设备显示器上的显示内容。
[0046]下面,以打开一个用户点播的全景视频为例,具体阐述本发明中如何实现全景视频的播放。
[0047]如图1所示,为本发明的在移动设备上实现播放全景视频的方法的流程图,其主要包括以下步骤S11-S16的操作。具体地,
[0048]步骤Sll:感测用户通过对视频应用的触发操作获取到所选定的视频画面后,使用OpenGL ES创建一个虚拟环境中的三维球体(可称为‘三维球体创建步骤’)。
[0049]用户对移动设备上的视频应用进行点击操作从而获得所选定的视频画面,系统感测到这一信息后,首先,对OpenGL ES进行初始化。
[0050]在本发明中,初始化OpenGL ES可以分成四步:
[0051 ] 第一步:调用egllnitializeO来初始化egl库,
[0052]第二步:采用eglChooseConfig()来选择适当的framebuffer,
[0053]第三步:调用eglCreateWindowSurface来创建 EGLSurface,
[0054]第四步:米用eglCreateContext来创建RenderContext(RC)。
[0055]其次,利用初始化后的OpenGLES创建一个虚拟环境中的三维球体。
[0056]具体而言,用户借助于OpenGL ES通过绘制三角形来构造几何图形,并通过增加正多面体的边数,从而构造出一个虚拟环境中的三维球体。
[0057]步骤S12:在构造出三维球体后,将三维世界中的摄像机放置于球体内部(在本实施方式中,摄像机的初始位置为球心位置,用户在视频应用内所观察到的图像就是身处于球体内部的全景画面)。
[0058]步骤S13:以预定的速度读取视频画面,获取每一帧图像,将所读取出的视频图像转换为纹理信息,其中所述视频画面为在步骤Sll中用户触发移动设备上的视频应用所获取到的视频画面(可称为‘视频获取和转换步骤’)。
[0059]本发明中,优选以每秒30次的速度读取所获得的视频画面。但本发明的视频读取速度并不限定于每秒30次,也可以是每秒60次,但是为了满足视频观看者的视觉连贯性,上述视频读取速度至少应该在每秒20次以上。
[0060]步骤S14:将被转换的纹理信息映射到上述球体的内部(可称为‘纹理信息映射步骤,)。
[0061]其中在上述步骤S13和步骤S14中,在视频画面的播放过程中获取每一帧图像作为纹理信息,通过三维转换将纹理信息映射到虚拟环境中的三维球体上,通过投影变换将纹理信息从三维世界映射到移动设备的显示器上(例如,通过视图变换、映射变换等将纹理信息转换为显示器上的坐标后显示出来)。
[0062]步骤S15:根据球体的旋转角度以及摄像机视角进行四元矩阵计算,从而获得实际显示的画面矩阵(可称为‘视角计算步骤’)。
[0063]为了获取并浏览身处于球体内部的全景画面,例如,用户可以通过对移动设备的液晶屏幕进行触摸操作,使上述球体发生旋转。由于球体自身绕其旋转轴进行360度的旋转,故用户就能够观看全景视频内的其他视角。
[0064]另外,本领域技术人员均熟知,万向节死锁有时又被简称为万向节锁或者万向锁,是指当三个万向节其中两个的轴发生重合时,会失去一个自由度的情形。万向节死锁会导致位置上连续变化,造成给定的图像的两个关键帧之间无法平滑过渡。因此,在上述播放全景视频的操作过程中,为了避免出现万向节死锁(Gimbal Lock),在旋转球体视角时,优选沿水平方向旋转球体,沿垂直方向旋转摄像机。
[0065]图2示出了球体旋转与用户所在视角的位置关系变化的状态图,如图2(a)所示,示出了初始化OpenGL之后的三维世界中球体和用户所在视角的位置,其中左图为立体图,右图为平面图。在该图2(a)中,为了便于说明,以球心所在位置为视点,摄像机位于球体的大致球心位置,而用户所在的视角范围,即可视区域为以图2(a)中所示的目视正前方所在直线为对称轴的扇形区域。将该图2(a)中所示出的球体和用户所在视角的位置作为初始状态的位置。
[0066]如图2(b)所示,当用户使用手指触摸移动设备的显示器,例如手机屏幕从左侧滑到屏幕右侧时,响应于用户的该触摸操作,上述球体相应地向右侧旋转一定角度,该图2(b)中左图为立体图,右图为平面图。此时,如右图所示,随着摄像机位置的变动,用户的视角范围变成以图中用户的目视正前方所在直线为起始位置的扇形区域。
[0067]如图2(c)所示,当用户使用手指触摸移动设备的显示器,例如从手机屏幕上方滑到屏幕下方时,摄像机相应地向上侧旋转若干角度,该图2(c)中左图为立体图,右图为平面图。此时,如右图所示,用户的视角范围变成以图中用户的目视正前方为中心线的扇形区域。
[0068]如图2(d)所示,当用户使用手指触摸移动设备的显示器,例如使用两个手指分别向屏幕两侧滑动时,摄像机相应地发生向后移动,该图2(d)中左图为立体图,右图为平面图。此时,如右图所示,用户的视角范围(即,可视区域)变成以图中用户的目视正前方为中心线的扇形区域,但是,该可视区域所在扇形的圆心,即摄像机位置发生向下偏移若干距离,由此可实现全景视频画面的放大和缩小。
[0069]在上述球体的旋转过程中,摄像机随着球体的旋转每隔一定时间间隔采集视频图像,将即时采集的每帧视频图像进行预处理,实时地合成全景视频图像,并进行计算、拼接。其中所述图像预处理是指诸如对视频帧进行模式化的先期处理,诸如修改视频帧的色彩模式、视频帧的大小或者进行滤波、畸变校正等。
[0070]优选地,本发明的全景视频的每个帧都是可编辑的,并且能够在生成全景视频的同时实时地对全景视频的帧进行编辑。类似地,可以在采集视频帧期间以及在对视频帧进行处理之后实时地响应来自于用户的控制指令。
[0071]继而,根据球体的实际旋转角度以及摄像机视角进行四元数矩阵计算,从而获得实际显示的画面矩阵。
[0072]本领域技术人员都知道,三角度系统无法表现任意轴的旋转,只要一开始旋转,物体本身即失去对任意轴的自主性。而四元数是复数的不可交换延伸,如果将四元数的集合考虑成多维实数空间的话,四元数就代表着一个四维空间,相对于复数为二维空间。为了简单而方便地取出球体旋转轴与旋转角度等要素特征,本发明使用四元数对要素特征进行表示,并根据球体的实际旋转角度以及摄像机视角进行四元数矩阵计算,从而获得实际显示的视频画面。
[0073]步骤S16:重复上述步骤S13-S15的操作,不断刷新视频画面,从而获得360度的全景视频显示画面。
[0074]通过以上步骤S11-S16的操作,就能够实现在移动设备中播放流畅的全景视频,获得满意的视听体验。
[0075]本发明的另一实施方式为提供一种在移动设备上实现播放全景视频的系统。如图3所示,为本发明的在移动设备上实现播放全景视频的系统的框图。本发明的全景视频播放系统1包括:
[0076]全景视频创建装置11,用于在360°范围内从不同方向采集视频帧以产生多路视频流,并对所述多路视频流进行处理,生成全景视频流;
[0077]中央控制装置12,向全景视频创建装置11发出处理多路视频流的指令,使上述全景视频创建装置11根据该指令进行处理以实时生成全景视频;以及
[0078]视频调整装置13,根据所述中央控制装置(12)对用户操作的应答指令来调整全景视频在移动设备显示器上的显示内容。
[0079]具体地,移动设备可以通过其自身配置的显示器等来接收用户调整显示内容的调整指令,此时,所述视频调整装置13根据用户输入的调整指令来相应地调整移动设备显示器的显示内容。譬如,调整视频的亮度、对比度、色调等等或者改变全景视频的大小、观看角度等。如上文所述,全景视频包括360°范围内的场景信息,用户可以根据自身的实际需要自由地选择其所希望观看的场景。
[0080]可选地,上述视频调整装置103进一步配置为根据用户指令对全景视频进行对象追踪。具体地,
[0081]在本发明中,移动设备可以通过其自身配置的显示器等来接收用户追踪对象的指令。此时,上述视频调整装置103可以首先根据用户的指令检测待追踪的对象,即目标对象。具体的检测过程就是从全景视频的视频帧序列中将感兴趣的区域,即目标对象区域从背景图像中提取出来,形成目标模板后,上述视频调整装置103在视频帧序列中寻找与上述目标模板最相似的图像的位置以追踪对象。
[0082]优选地,上述视频调整装置103可以使用基于对象特征点、对象模板或对象运动信息的对象追踪方法来追踪对象。
[0083]可选地,上述视频调整装置103可以进一步配置为对全景视频进行防抖运算。
[0084]优选地,上述对所述多路视频流的处理可以是利用并行计算和拼接多路视频流的同步视频帧来实时生成全景视频。
[0085]如图4所示,为本发明的全景视频播放系统中的全景视频创建装置的结构示意图。上述全景视频创建装置11进一步包括球体生成单元111、视频获取和转换单元112、纹理映射单元113、视角计算单元114和视频画面更新单元115,其中
[0086]上述球体生成单元111感测用户通过对视频应用的触发操作获取到所选定的视频画面后,使用OpenGL ES创建一个虚拟环境中的三维球体。
[0087]将假想的摄像机放置到上述三维球体内部后,上述视频获取和转换单元112以预定的速度读取视频,获取每一帧图像,将所读取出的视频图像转换为纹理信息,其中所述视频画面为用户触发移动设备上的视频应用所获取到的视频画面。
[0088]如上文所述,本发明中,优选以每秒30次的速度读取视频画面。但本发明的视频读取速度并不限定于每秒30次,也可以是每秒60次。但是为了满足视频观看者的视觉连贯性,上述视频读取速度应该在每秒20次以上。
[0089]上述纹理信息映射单元113在视频画面的播放过程中获取每一帧图像作为纹理信息,通过三维转换将纹理信息映射到虚拟环境中的上述三维球体上,通过投影变换将上述纹理信息从三维世界映射到移动设备的显示器上显示出来。
[0090]上述视角计算单元114根据球体的旋转角度以及摄像机视角进行四元矩阵计算,从而获得实际显示的画面矩阵。
[0091]上述视频画面更新单元115控制上述视频获取和转换单元112、上述纹理信息映射单元113、上述视角计算单元114进行反复循环动作,不断刷新视频画面,从而获得360度的全景视频画面。
[0092]本发明采用如上所述的全景视频播放方法和播放系统,用户能够借助于移动设备的显示屏沉浸在360度的动态全景的世界中,享受身临其境的视觉体验,无论是实时直播或是点播,用户都能够自由地连续选取视角,实现非凡的互动体验。
[0093]所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
【主权项】
1.一种在移动设备上实现播放全景视频的方法,其特征在于包括: 全景视频创建步骤,在360度范围内从不同方向采集视频帧以产生多路视频流,并对所述多路视频流进行处理,生成全景视频流; 中央控制步骤,指示在所述全景视频创建步骤中处理多路视频流,所述全景视频创建步骤根据该指示进行处理以实时生成全景视频;以及 视频调整步骤,根据所述中央控制步骤中对用户操作的应答指令来调整所述全景视频在移动设备显示器上的显示内容。2.根据权利要求1所述的全景视频播放方法,其特征在于,所述视频调整步骤进一步包括:根据用户指令对全景视频进行对象追踪。3.根据权利要求1所述的全景视频播放方法,其特征在于,所述视频调整步骤进一步包括:对全景视频进行防抖运算。4.根据权利要求1-3中任意一项所述的全景视频播放方法,其特征在于,所述全景视频创建步骤进一步包括:球体生成步骤、视频获取和转换步骤、纹理信息映射步骤、视角计算步骤、以及视频画面更新步骤,其中 所述球体生成步骤感测用户通过对视频应用的触发操作获取到所选定的视频画面后,使用OpenGL ES创建一个虚拟环境中的三维球体; 将假想的摄像机放置到上述三维球体内部后,所述视频获取和转换步骤以预定的视频读取速度读取所述视频画面,获取每一帧图像,将所读取出的视频图像转换为纹理信息; 所述纹理映射步骤在所述视频画面的播放过程中获取每一帧图像作为纹理信息,通过三维转换将纹理信息映射到虚拟环境中的所述三维球体上,通过投影变换将所述纹理信息从三维世界映射到移动设备的显示器上显示出来; 所述视角计算步骤根据所述三维球体的旋转角度以及摄像机视角进行四元矩阵计算,从而获得实际显示的画面矩阵; 所述视频画面更新步骤控制所述视频获取转换步骤、所述纹理信息映射步骤、所述视角计算步骤进行反复循环动作,不断刷新视频画面,从而获得360度的全景视频画面。5.根据权利要求4所述的全景视频播放方法,其特征在于,将假想的摄像机放置到所述三维球体内部后与所述视频获取和转换步骤之前,还包括: 所述摄像机随着所述三维球体的旋转每隔一定时间间隔采集视频图像,将即时采集的每帧视频图像进行预处理。6.根据权利要求4或5所述的全景视频播放方法,其特征在于,所述预定的视频读取速度为每秒20次以上。7.根据权利要求4或5所述的全景视频播放方法,其特征在于,在所述纹理映射步骤中,还包括: 通过视图变换、映射变换将所述纹理信息转换为移动设备显示器上的坐标后显示出来。8.根据权利要求5所述的全景视频播放方法,其特征在于,所述视频图像的预处理包括对视频帧进行模式化的先期处理,该先期处理包括:修改视频帧的色彩模式、视频帧的大小或者进行滤波、畸变校正。9.一种在移动设备上实现播放全景视频的系统,其特征在于包括: 全景视频创建装置,用于在360度范围内从不同方向采集视频帧以产生多路视频流,并对所述多路视频流进行处理,生成全景视频流; 中央控制装置,向所述全景视频创建装置发出处理多路视频流的指令,使所述全景视频创建装置根据该指令进行处理以实时生成全景视频;以及 视频调整装置,根据所述中央控制装置对用户操作的应答指令来调整全景视频在移动设备显示器上的显示内容。10.根据权利要求9所述的全景视频播放系统,其特征在于,所述视频调整装置进一步配置为根据用户指令对全景视频进行对象追踪。11.根据权利要求9所述的全景视频播放系统,其特征在于,所述视频调整装置进一步配置为对全景视频进行防抖运算。12.根据权利要求9-11中任意一项所述的全景视频播放系统,其特征在于,所述全景视频创建装置进一步包括球体生成单元、视频获取和转换单元、纹理信息映射单元、视角计算单元和视频画面更新单元,其中 所述球体生成单元感测用户通过对视频应用的触发操作获取到所选定的视频画面后,使用OpenGL ES创建一个虚拟环境中的三维球体; 将假想的摄像机放置到上述三维球体内部后,所述视频获取和转换单元以预定的视频读取速度读取所述视频画面,获取每一帧图像,将所读取出的视频图像转换为纹理信息; 所述纹理映射单元在所述视频画面的播放过程中获取每一帧图像作为纹理信息,通过三维转换将纹理信息映射到虚拟环境中的所述三维球体上,通过投影变换将所述纹理信息从三维世界映射到移动设备的显示器上显示出来; 所述视角计算单元根据所述三维球体的旋转角度以及摄像机视角进行四元矩阵计算,从而获得实际显示的画面矩阵; 所述视频画面更新单元控制所述视频获取转换单元、所述纹理信息映射单元、所述视角计算单元进行反复循环动作,不断刷新视频画面,从而获得360度的全景视频画面。13.根据权利要求12所述的全景视频播放系统,其特征在于,所述预定的视频读取速度为每秒20次以上。14.根据权利要求12所述的全景视频播放系统,其特征在于,所述纹理映射单元还用于通过视图变换、映射变换将所述纹理信息转换为移动设备显示器上的坐标后显示出来。
【文档编号】H04N21/414GK105872353SQ201510938176
【公开日】2016年8月17日
【申请日】2015年12月15日
【发明人】张艺麟
【申请人】乐视网信息技术(北京)股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1