立体影像串流处理装置与立体影像串流处理处理方法与流程

文档序号:14655421发布日期:2018-06-12 03:02阅读:210来源:国知局

本发明与影像串流处理相关,尤与立体影像串流处理相关。



背景技术:

在一般的立体影像串流处理程序中,立体影像串流会先透过解压缩器解压缩以获得一系列影像帧。为了获得较好的影像品质,在进行一运动估计程序与运动补偿程序前,该系列影像帧会先经过缩放处理至最后显示所需的解析度(亦即显示器解析度),换句话说,经过该运动估计程序与该运动补偿程序所产生的一系列补偿帧则不会再进行缩放处理。

然而,每幅影像帧均为包含多张色彩像素的图片,因此该系列的影像帧的数据量很大,经过缩放处理后一般会让数据量变得更大,造成在施行运动估计程序与运动补偿程序时,大量占用频宽使用量。因此,如何降低频宽使用量便成为业界所努力的目标之一。



技术实现要素:

因此,本发明的目在于提供一种能降低频宽使用量的立体影像串流处理装置。

本发明揭示一种立体影像串流处理装置,包含一解压缩器,解压缩该立体影像串流以获得一系列影像帧、一合并帧格式以及一影像解析度;一运动估计与运动补偿模组,基于该系列影像帧施行一运动估计程序与一运动补偿程序以获得一系列补偿帧,并根据该合并帧格式与该影像解析度将该系列补偿帧划分为一系列左影像帧与一系列右影像帧;一缩放率决定器,根据该合并帧格式、该影像解析度以及一显示器解析度决定一水平缩放率与一垂直缩放率;以及一缩放器,根据该水平缩放率与该垂直缩放率缩放该系列左影像帧与该系列右影像帧,以获得一系列左缩放帧与一系列右缩放帧。

本发明另揭示一种立体影像串流处理方法,包含解压缩一立体影像串流以获得一系列影像帧、一合并帧格式以及一影像解析度;基于该系列影像帧施行一运动估计程序与一运动补偿程序以获得一系列补偿帧,并根据该合并帧格式与该影像解析度将该系列补偿帧划分为一系列左影像帧与一系列右影像帧;根据该合并帧格式、该影像解析度以及一显示器解析度决定一水平缩放率与一垂直缩放率;以及根据该水平缩放率与该垂直缩放率缩放该系列左影像帧与该系列右影像帧,以获得一系列左缩放帧与一系列右缩放帧。

有关本发明的特征、实作与功效,兹配合附图作较佳实施例详细说明如下。

附图说明

图1显示本发明实施例一立体影像串流处理装置的方块图;

图2显示本发明实施例一立体影像串流处理方法的流程图;

图3显示合并帧格式的示意图;

图4显示本发明实施例一运动估计与运动补偿模组的方块图;以及

图5显示本发明本发明实施例一缩放率决定器的方块图。

符号说明

10 立体影像流处理装置

110 解压缩器

120 运动估计与运动补偿模组

130 缩放率决定器

140 缩放器

SIS 立体影像流

MFF 合并帧格式

IR 影像解析度

VF 影像帧

CF 补偿帧

LIF 左影像帧

RIF 右影像帧

Fi-1 在前帧

Fi+1 在后帧

MV 运动向量

Fi内插帧

DR 显示器解析度

SRH水平缩放率

SRV垂直缩放率

LSF 左缩放帧

RSF 右缩放帧

S210~S250 步骤

具体实施方式

图1为本发明实施例一立体影像串流处理装置10的方块图。立体影像串流处理装置10包含有一解压缩器110、一运动估计与运动补偿(motion estimation and motion compensation;MEMC)模组120、一缩放率决定器130以及一缩放器140。实作上,解压缩器110、运动估计与运动补偿模组120与缩放器140可由一特殊应用集成电路(Application-Specific Integrated Chip;ASIC)来实现,缩放率决定器130可由一或多个处理器执行一存储器中储存的指令来实现,然而本发明并不以此为限。图2为本发明实施例一立体影像串流处理方法20的流程图,请一并参考图1与图2。

影像数据包含一系列影像帧VF,为了加速储存或传输,影像数据通常会根据一影像压缩标准被压缩以降低其数据大小,一立体影像串流SIS包含压缩后的影像数据以及相关于该影像数据的资讯,例如合并帧格式MFF以及影像解析度IR,解压缩器110用来解压缩立体影像串流SIS以获得一系列影像帧VF、合并帧格式MFF以及影像解析度IR(步骤S210)。解压缩器110例如可为一MPEG-4或H.264解压缩器,但本发明不以此为限。合并帧格式MFF例如可为一并排模式(side by side)或一上下模式(top and bottom)。举例来说,并排模式下的影像帧VF的左半部分为左眼影像,右半部分为右眼影像,如图3所示,在其他实施例中,并排模式下的影像帧VF的左半部分亦可为右眼影像,右半部分可为左眼影像;另举例来说,下上模式下的影像帧VF的上半部分为左眼影像,下半部分为右眼影像,如图3所示,在其他实施例中,上下模式下的影像帧VF的上半部分亦可为右眼影像,下半部分可为左眼影像。影像解析度IR例如为SD(720*480)、HD(1280*720)、Full HD(1920*1080)、4K(2840*2160),但本发明不以此为限。

运动估计与运动补偿模组120自解压缩器110接收该系列影像帧VF与合并帧格式MFF,并基于该系列影像帧VF施行一运动估计程序与一运动补偿程序以获得一系列补偿帧CF(步骤S220),并根据合并帧格式MFF与影像解析度IR将该系列补偿帧CF划分为一系列左影像帧LIF与一系列右影像帧RIF(步骤S230)。详细来说,请参考图4,图4为本发明实施例一运动估计与运动补偿模组120的方块图。运动估计与运动补偿模组120包含一运动估计模组122、一运动补偿模组124与一划分模组126。运动估计模组122先进行一运动估计程序以决定该系列影像帧VF中一在前帧Fi-1与一在后帧Fi+1的一运动向量MV,运动补偿模组124则根据运动向量MV施行一运动补偿程序,以由该在前帧Fi-1与该在后帧、Fi+1合成一内插帧Fi,并插入该内插帧Fi至该系列影像帧VF中以获得该系列补偿帧CF。其中,该运动估计程序与该运动补偿程序为已知技术,在此不多赘述。

接着,划分模组126根据合并帧格式MFF与影像解析度IR将该系列补偿帧CF划分为一系列左影像帧LIF、RIF与一系列右影像帧RIF。举例来说,当合并帧格式MFF为并排模式且影像解析度IR为fx*fy时,划分模组126将一补偿帧CFi划分为一解析度为(fx/2)*fy的左影像帧LIFi以及一解析度为(fx/2)*fy的右影像帧RIFi。举例来说,当合并帧格式MFF为并排模式且影像解析度IR为1920*1080时,在一实施例中,划分模组126将一补偿帧CFi的左半部分划分为一解析度为960*1080的左影像帧LIFi,划分模组126另将补偿帧CFi的右半部分划分为一解析度为960*1080的右影像帧RIFi;在另一实施例中,划分模组126将一补偿帧CFi的右半部分划分为一解析度为960*1080的左影像帧LIFi,划分模组126另将补偿帧CFi的左半部分划分为一解析度为960*1080的右影像帧RIFi。

另举例来说,当合并帧格式MFF为上下模式且影像解析度IR为fx*fy时,划分模组126将一补偿帧CF划分为一解析度为fx*(fy/2)的左影像帧LIFi以及一解析度为fx*(fy/2)的右影像帧RIFi。举例来说,当合并帧格式MFF为上下模式且影像解析度IR为1920*1080时,在一实施例中,划分模组126将一补偿帧CFi的上半部分划分为一解析度为1920*540的左影像帧LIFi,划分模组126另将补偿帧CFi的下半部分划分为一解析度为1920*540的右影像帧RIFi;在另一实施例中,划分模组126将一补偿帧CFi的上下部分划分为一解析度为1920*540的左影像帧LIFi,划分模组126另将补偿帧CFi的上半部分划分为一解析度为1920*540的右影像帧RIFi。

接着,缩放率决定器130根据合并帧格式MFF、影像解析度IR以及显示器解析度DR决定一水平缩放率SRH与一垂直缩放率SRV(步骤S240)。详细来说,请参考图5,图5为本发明实施例一缩放率决定器130的方块图。缩放率决定器130包含一水平缩放率决定单元132与一垂直缩放率决定单元134。在一实施例中,当合并帧格式MMF为并排模式时,根据影像解析度IR=fx*fy与显示器解析度DR=dx*dy,水平缩放率决定单元132得出水平缩放率SRH为2*dx/fx;垂直缩放率决定单元134得出垂直缩放率SRV为dy/fy。举例来说,当合并帧格式MMF为并排模式,影像解析度IR为1920*1080,显示器解析度DR为=1920*1080时,水平缩放率决定单元132据以得出水平缩放率SRH=2*1920/1920=2;垂直缩放率决定单元134据以得出垂直缩放率SRV=1080/1080=1;另举例来说,当合并帧格式MMF为并排模式,影像解析度IR为1920*1080,显示器解析度DR为=3840*2160时,水平缩放率决定单元132据以得出水平缩放率SRH=2*3840/1920=4;垂直缩放率决定单元134据以得出垂直缩放率SRV=2160/1080=2。在另一实施例中,当合并帧格式MMF为上下模式时,根据影像解析度IR=fx*fy与显示器解析度DR=dx*dy,水平缩放率决定单元132得出水平缩放率SRH为dx/fx;垂直缩放率决定单元134得出垂直缩放率SRV为2*dy/fy。举例来说,当合并帧格式MMF为上下模式,影像解析度IR为1920*1080,显示器解析度DR为=3840*2160时,水平缩放率决定单元132据以得出水平缩放率SRH=3840/1920=2;垂直缩放率决定单元134据以得出垂直缩放率SRV=2*2160/1080=4。

最后,缩放器140根据水平缩放率SRH与该垂直缩放率SRV缩放左影像帧LIFi与右影像帧RIFi,以获得一系列左缩放帧LSF与一系列右缩放帧RSF(步骤S250),例如利用上下两列像素值内插出中间一列像素值,或利用左右两行像素值内插出中间一行像素值,由于缩放技术为已知技术,在此不多赘述。

综上所述,相较于已知技术中,在进行一运动估计程序与运动补偿程序前,影像帧会先经过缩放处理至最后显示所需的解析度(亦即显示器解析度),本发明在进行完一运动估计程序与运动补偿程序后,影像帧才会经缩放处理至最后显示所需的解析度,如此一来,可大幅降低频宽使用量。请注意,在另一实施例中,在进行完一运动估计程序与运动补偿程序前,影像帧亦可经过第一次缩放,在进行完该运动估计程序与运动补偿程序后,影像帧再经过第二次缩放至最后显示所需的解析度,以获得较佳的影像品质。举例来说,在一实施例中,当合并帧格式MMF为并排模式,影像解析度IR为1920*1080,显示器解析度DR为=3840*2160时,影像帧VF可先经一第一缩放器放大至1920*2160,再经过运动估计与运动补偿模组被划分为一解析度为960*2160的左影像帧LIFi与右影像帧RIFi,左影像帧LIFi与右影像帧RIFi再经过一第二缩放器640放大成解析度为3840*2160的左缩放帧LSF与右缩放帧RSF。在另一实施例中,当合并帧格式MMF为上下模式,影像解析度IR为1920*1080,显示器解析度DR为=3840*2160时,影像帧VF可经第一缩放器放大至1920*4320,再经过运动估计与运动补偿模组被划分为一解析度为1920*2160的左影像帧LIFi与右影像帧RIFi,左影像帧LIFi与右影像帧RIFi再经过第二缩放器放大成解析度为3840*2160的左缩放帧LSF与右缩放帧RSF。

以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1