一种基于全景视频的台标插入方法与流程

文档序号:14360222阅读:325来源:国知局

本发明涉及视频播放技术领域,尤其涉及一种基于全景视频的台标插入方法。



背景技术:

全景视频是虚拟现实(vr,virtualreality)的一种表现形式,它能将360°或720°的场景呈现给观众,使观众得到沉浸式的观赏体验。目前全景视频一般采用柱面投影(如图1所示)或球面投影的方式(如图2所示)。具体,当有柱面显示设备时,采用柱面投影方式的全景视频可以在柱面显示设备上直接播放;当有球面显示设备时,采用球面投影方式的全景视频可以在球面显示设备上直接播放。当没有柱面或球面显示设备、只有平面显示设备时,可以采用一种折中的播放方法,即假设平面播放设备是一个窗口(在图1和图2中离人较近的框),用户通过该窗口看到全景视野中的一部分(在图1和图2中离人较远的框)。以此,用户可通过鼠标拖动等方式控制自己在全景视野中的视角。显然,离人较近框中所显示的内容是较远框中像素点向圆心或球心汇聚的光学投影。视窗式全景视频播放器即采用了该原理进行工作,例如utovr播放器等。

目前,全景视频一般采用矩形平面的方式来表示和存储,即在制作全景视频时将柱面或球面映射为矩形平面进行存储。图3所示为球面映射为矩形平面示意图,从图中可以看出,经过从“球面→矩面”的映射之后图像呈现出了较为严重的畸变;在球面播放器上播放时,畸变会自动消失。若该视频通过“视窗式全景播放器”播放,那么播放器将根据用户选定的观察视角,将全景视频中的某个子区域投影到视窗平面上,这一过程称为反畸变,图4所示为图3中一个子区域反畸变的结果。

全景视频制作时的“球面/柱面→矩面”映射过程和播放时的“球面/柱面→视窗”映射过程造成了台标插入的困难。在现有技术中,在全景视频中插入台标的方法与普通视频中插入台标的一样,即直接在全景视频对应的矩形平面的右上角直接插入台标,如图3所示,从图中可以看出,在该矩形平面中,台标是正常的,没有出现畸变,但是该全景视频在播放过程中,无论是使用球面/柱面显示设备播放还是使用视窗式全景播放器播放,所呈现的台标都存在严重的畸变。



技术实现要素:

针对上述问题,本发明旨在提供了一种基于全景视频的台标插入方法,有效解决了现有技术中采用球面/柱面投影方式制作的全景视频播放时出现的台标畸变的问题。

本发明提供的技术方案如下:

一种基于全景视频的台标插入方法,所述全景视频采用球面/柱面投影方式制作,包括:

s1建立全景视频对应矩形平面的坐标系,同时设定台标在该坐标系中的插入位置;

s2根据矩形平面的尺寸得到全景视频对应球面/柱面中各像素点的坐标;

s3采用投影几何的方法将球面/柱面上各像素点的坐标投影到台标所在平面,并根据预设条件筛选出台标对应的各点坐标;

s4采用二维插值的方法得到步骤s3中台标对应各坐标点的像素值,并基于此将其插入全景视频对应矩形平面。

进一步优选地,在步骤s2中具体包括:

s21根据矩形平面的尺寸得到球面/柱面对应的球半径/柱半径;

s22根据球面/柱面的球半径/柱半径得到球面/柱面中各像素点的球坐标/柱坐标;

s23将球面/柱面中各像素点的球坐标/柱坐标变换为欧几里得空间坐标;

s24将球面/柱面中各像素点的欧几里得空间坐标进行旋转,使得旋转后的z轴正对台标中心;

步骤s3具体为:采用投影几何的方法将旋转后球面/柱面上各像素点的欧几里得空间坐标投影到台标所在平面,并根据预设条件筛选出台标对应的各点坐标。

进一步优选地,在步骤s21中根据矩形平面的尺寸得到球面/柱面对应的球半径/柱半径r,具体为:

其中,col为步骤s1矩形平面中像素点的列数。

进一步优选地,在步骤s22中,球面中各像素点的球坐标为(x,y,r),其中,(x,y)为步骤s1矩形平面中任意一点的坐标,r为球半径;

在步骤s23中,将球面中各像素点的球坐标(x,y,r)变换为欧几里得空间坐标(x',y',z'),具体为:

其中,r为球半径。

进一步优选地,在步骤s22中,柱面中各像素点的柱坐标为(x,y,r),其中,(x,y)为步骤s1矩形平面中任意一点的坐标,r为柱半径;

在步骤s23中,将柱面中各像素点的柱坐标(x,y,r)变换为欧几里得空间坐标(x/,y/,z/),具体为:

其中,r为柱半径。

进一步优选地,在步骤s24中,将球面/柱面中各像素点的欧几里得空间坐标进行旋转,使得旋转后的z轴正对台标中心,具体为:

(x//,y//,z//)t=rβrα(x/,y/,z/)t

其中,

若(x/,y/,z/)t为球面坐标点,则

为欧几里得空间坐标中x轴旋转角度;

为欧几里得空间坐标中y轴旋转角度,

若(x/,y/,z/)t为柱面坐标点,则

为欧几里得空间坐标中x轴旋转角度;

为欧几里得空间坐标中y轴旋转角度。

(xl,yl)为台标在步骤s1中矩形平面的插入位置坐标,(x/,y/,z/)为球面/柱面中各像素点的欧几里得空间坐标,(x//,y//,z//)为球面/柱面中各像素点的欧几里得空间坐标旋转后的坐标。

进一步优选地,在步骤s3中,采用投影几何的方法将旋转后球面/柱面上各像素点的欧几里得空间坐标投影到台标所在平面,具体为:

其中,(x//,y//,z//)为球面/柱面中各像素点的欧几里得空间坐标旋转后的坐标,(x///,y///,z///)为球面/柱面中各像素点投影到台标所在平面各点坐标,r为球半径/柱半径。

进一步优选地,在步骤s3中,根据预设条件筛选出台标对应的各点坐标,具体为:

其中,q为筛选出的台标对应的各点坐标集合,预设条件包括:及z///>0,其中,cl为台标中像素点的列数,rl为台标中像素点的行数。

进一步优选地,在步骤s4中,采用二维插值的方法得到步骤s3中台标对应各坐标点的像素值,具体为:

其中,interp2d为二维插值函数,i表示台标各像素坐标及各点对应的像素值集合,为台标各点坐标插值得到的像素值。

在本发明提供的台标插入方法中,采用球面/柱面投影方式及台标的插入位置对台标进行预畸变,再将其插入全景视频中,这样,在播放过程中,不管是在球面播放器中播放,还是在柱面播放器中播放,亦或是在视窗式全景播放器中进行播放,台标都不会出现畸变,以此给人们带来便利,而无需担心播放过程中台标出现畸变的问题。

附图说明

下面将以明确易懂的方式,结合附图说明优选实施方式,对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为现有技术中柱面投影的全景示意图;

图2为现有技术中球面投影的全景示意图;

图3为现有技术中将球面映射为矩形平面示意图;

图4为现有技术中对图3所示矩形平面某一子区域反畸变示意图;

图5为本发明中球面全景视频转换为柱面全景视频的方法一种实施方式流程示意图;

图6为本发明中球面全景视频转换为柱面全景视频的方法另一种实施方式流程示意图;

图7为本发明中球面全景视频的球面对应的矩形平面的坐标系;

图8为本发明中投影几何方法坐标点变换示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。

如图5所示为本发明提供的基于全景视频的台标插入方法一种实施方式示意图,具体该全景视频采用球面/柱面投影方式制作,从图中可以看出,在该台标插入方法中包括:s1建立全景视频对应矩形平面的坐标系,同时设定台标在该坐标系中的插入位置;s2根据矩形平面的尺寸得到全景视频对应球面/柱面中各像素点的坐标;s3采用投影几何的方法将球面/柱面上各像素点的坐标投影到台标所在平面,并根据预设条件筛选出台标对应的各点坐标;s4采用二维插值的方法得到步骤s3中台标对应各坐标点的像素值,并基于此将其插入全景视频对应矩形平面。

对上述实施方式进行改进得到本实施方式,如图6所示,从图中可以看出,在本实施方式中,该台标插入方法中包括:s1建立全景视频对应矩形平面的坐标系,同时设定台标在该坐标系中的插入位置;s21根据矩形平面的尺寸得到球面/柱面对应的球半径/柱半径;s22根据球面/柱面的球半径/柱半径得到球面/柱面中各像素点的球坐标/柱坐标;s23将球面/柱面中各像素点的球坐标/柱坐标变换为欧几里得空间坐标;s24将球面/柱面中各像素点的欧几里得空间坐标进行旋转,使得旋转后的z轴正对台标中心;s3采用投影几何的方法将旋转后球面/柱面上各像素点的欧几里得空间坐标投影到台标所在平面,并根据预设条件筛选出台标对应的各点坐标;s4采用二维插值的方法得到步骤s3中台标对应各坐标点的像素值,并基于此将其插入全景视频对应矩形平面。

具体来说,在上述实施方式中,在步骤s1中建立的矩形平面的坐标系如图7所示,且设定台标在该坐标系中的插入位置为(xl,yl)。假定该矩形平面视频中有row行像素点,col列像素点,且包含了水平360°的场景信息。则在一种实施方式中,假定全景视频采用球面投影方式制作,在步骤s21中根据矩形平面的尺寸得到的球半径为在另一种实施方式中,假定全景视频采用柱面投影方式制作,在步骤s21中根据矩形平面的尺寸得到的柱半径同样为

基于此,在一种实施方式中,假定采用球面投影方式制作的全景视频的矩形平面中任意一点的坐标为(x,y),则球面中各像素点的球坐标为(x,y,r),以此在步骤s23中,将球面中各像素点的球坐标(x,y,r)变换为欧几里得空间坐标(x',y',z'),具体为:

在另一种实施方式中,假定采用柱面投影方式制作的全景视频的矩形平面中任意一点的坐标为(x,y),则柱面中各像素点的柱坐标为(x,y,r),以此在步骤s23中,将柱面中各像素点的柱坐标(x,y,r)变换为欧几里得空间坐标(x',y',z'),具体为:

在上述实施方式中,基于上述公式得到欧几里得空间坐标(x',y',z')之后,在步骤s24中,将球面/柱面中各像素点的欧几里得空间坐标进行旋转,使得旋转后的z轴正对台标中心,具体为:

(x//,y//,z//)t=rβrα(x/,y/,z/)t

其中,

若(x/,y/,z/)t为球面坐标点,则

为欧几里得空间坐标中x轴旋转角度;

为欧几里得空间坐标中y轴旋转角度,

若(x/,y/,z/)t为柱面坐标点,则

为欧几里得空间坐标中x轴旋转角度;

为欧几里得空间坐标中y轴旋转角度。

(xl,yl)为台标在步骤s1中矩形平面的插入位置坐标,(x/,y/,z/)为球面/柱面中各像素点的欧几里得空间坐标,(x//,y//,z//)为球面/柱面中各像素点的欧几里得空间坐标旋转后的坐标。

对欧几里得空间坐标系进行旋转之后,如图8所示,在步骤s3中,采用投影几何的方法将旋转后球面/柱面上各像素点的欧几里得空间坐标投影到台标所在平面,具体为:

其中,(x//,y//,z//)为球面/柱面中各像素点的欧几里得空间坐标旋转后的坐标,(x///,y///,z///)为球面/柱面中各像素点投影到台标所在平面各点坐标(台标所在平面与z///轴垂直),r为球半径/柱半径。

由此,经过上述坐标旋转和几何投影步骤之后,台标正好出现在与坐标原点距离为r,且与z///轴垂直的平面上。由台标的位置只是该平面中的一小块,以此,在步骤s3中,根据预设条件筛选出台标对应的各点坐标,即将集合(x///,y///,z///)中满足预设条件的像素点筛选出来形成新的坐标点集合q,具体为:

其中,q为筛选出的台标对应的各点坐标集合,预设条件包括:及z///>0,其中,cl为台标中像素点的列数,rl为台标中像素点的行数。

由球面/柱面投影到台标所在平面得到的坐标点不一定是整像素点的位置,因而,将步骤s3中筛选出来的坐标点集合q={(x///,y///,z///)}作为插值查询点,并在步骤s4中,采用二维插值的方法得到各插值查询点的像素值,具体为:

其中,interp2d为二维插值函数,i=(x,y,f<x,y>)表示台标各像素坐标及各点对应的像素值集合,为台标各点坐标插值得到的像素值。

基于上述描述可知,(x///,y///,z///)与采用球面/柱面上各像素点(x,y,r)是一一对应的,即将上式左侧的(x///,y///,z///)替换为(x,y,r)就可得到{(x,y,r,f<x,y,r>)},即台标到球面/柱面投影方式制作的全景视频的畸变图像,最后,将得到的畸变图像叠加到矩形平面中即完成了台标的插入。在一种实施方式中,对于有多个通道的彩色图像来说,每个通道的像素值分别使用上式进行插值得到,完成台标的插入。

以上通过分别描述每个过程的实施场景案例,详细描述了本发明,本领域的技术人员应能理解。在不脱离本发明实质的范围内,可以作修改和变形。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1