用于创建和重建视频流的装置和方法_3

文档序号:8516315阅读:来源:国知局
,对 所述闭塞使用的替代像素可以是决定性的。作为例子,可参照编码视频流CVS的产生使用 以上公开的算法。
[0117] 图2以示意性的方式示出由本发明提出的方法之后的立体视频流。在这种示图 中,前进的时间从左到右。在图2的情况下,在时间tl,向编码器传送帧Ll并且并行地传送 深度地图D1,而在时间t2,之后是R2与地图D2,等等。在上述的第一时间基准TLi中包含 时间tl、t3、...;在上述的第二时间基准TRi中包含时间t2、t4、...。
[0118] 假定包含左视图和右视图的图像以及有关地图(或差异或深度)的交替帧的序列 对产生器是已知的;作为例子,作为关于右的左视图(深度左)和关于左的右视图(右深 度)的深度地图给出所述地图。
[0119] 一般地,在立体拍摄中通过适当的捕获仪器(TV照相机)实时地或者通过从mV图 形借用的计算技术和仪器以离线的方式获得与左视图和右视图相关的图像序列。可通过从 两个视图的图像和/或从图像的拍摄条件的知识开始的任何已知的技术或者通过适当的 计算仪器以人工的方式计算差异/深度地图。
[0120] 图3以示例性的方式示出根据本发明的立体视频流产生器3的实施例的框图。
[0121] 这种产生器3示意性地产生图2所示的流。
[0122] 如所述的那样,假定产生器具有输入序列L、R的图像和相关的地图。
[0123] 适当的视图选择器从设定两个输入视图、例如从左视图开始交替帧。这种情况下, 依次选择时间周期tl、t2、t3、t4的视图图像1^1、1?2、1^3、1?4等,从而获得根据图2的上部的 立体流。与第一个协作的第二地图选择器替代性地操作相对于左视图的右视图的地图和相 对于右视图的左视图的地图。特别地,第一地图D(L - R)关于左视图L的相应图像包含关 注帧时间的右图像R的信息,而地图D(R - L)关于另一视图R的相应图像包含关注帧时间 的左图像R的信息。假定从左视图开始,那么如图2的下部所示,通过序列Dl (LI - Rl)、 D2 (R2 - L2)、D3 (L3 - R3)、D4 (R4 - L4)等,在选择器的输出处产生在顺序上一致的数据 流。
[0124] 地图D1、D3、...属于上述的第一多个地图Dli。地图D2、D4、...属于上述的第二 多个地图D2i。
[0125] 视图图像和交替地图的两个序列分别通过可考虑包含于其它编码器的输入处的 信息和由其它编码器采用的编码技术以协作的方式动作的视图编码器和深度编码器被编 码。
[0126] 两个编码器可以为已知的类型,例如,它们可采用公知的视频代码标准,诸如 MPEG-2、MPEG-4 AVC、VC-1等,以使用设备的已存在的仪器以压缩图像。作为替代方案,它 们可根据仍符合标准的将来的代码系统,诸如具有包含深度地图、HEVC所需要的适当的扩 展和相对扩展的MPEG-4/AVC/SVC/MVC。
[0127] 分别包含交替视图和地图、均被压缩、从其它的编码器退出的两个流编码视图流 和编码深度流通过多路复用器在立体视频编码流CVS中被合并,从而提供两个输入流的并 行-串行转换。
[0128] 编码视频流CVS将可能与诸如音频流和/或数据(副标题、元数据等)的其它信 息流协调并且存储于存储装置以供随后在被设计为允许显示的系统中播放或者通过电缆、 无线电、卫星、IP(因特网协议)等根据技术状态被传送。
[0129] 应当注意,图3的示图根本是示例性的,并且,是体现根据本发明的立体流的产生 器的可能的方式之一。事实上,能够在两个视图和地图选择器的下游配置多路复用器,从而 仅在一个流中提供两个视图和地图选择器的并行-串行转换。这种替代性的统一流仅通过 一个视图和地图编码器被编码,从而产生图3的编码视频流CVS。
[0130] 图9表示实现两个输入序列的合成的产生装置1'的可能的实施例的框图。
[0131] 产生装置P与图Ia所示的装置1类似:明显的不同在于图1的装置1仅接收序 列URO作为输入并且独立地产生地图D,而图9的装置1'接收序列URO和地图D作为输 入。
[0132] 在图9中,图3的块"视图选择器"被块"视图合成和视图选择器"替代。这最后一 个给出三个输入:左视图、右视图和从用于选择深度地图的块深度选择器退出的深度地图。
[0133] 输入以两个视图中的一个(例如,右视图)从深度地图并且从其它视图开始被合 成并然后取代原始的一个被传送而另一个(例如,左视图)以原始形式被传送的方式被处 理。以这种方式,减少存在于相邻的帧中的亮度和色差。通过在第一视野上使用存在于深度 地图中的差异信息和其它视图实现合成;而从同一原始立体视图获得识别之后的闭塞。实 质上,它是与重建装置用于从接收视图开始获得错失视图的帧的过程类似的过程。
[0134] 图IOa~IOd表示合成的必要步骤:特别地,图IOa和IOb指的是左视图取为参照 的情况,而IOc和IOd指的是右视图取为参照的情况。
[0135] 图IOa和图IOc表示流的第i个帧的合成算法的第一步骤;从视图Li以及从深度 地图Di (Li - Ri),通过也可与在重建步骤中使用的类型相同的已知类型的视图合成块计 算视图ROi 帧ROi *在不能从视图合成算法获得的闭塞区域上包含一些未知的像素。 与重建(图Ilb和图lld,后面描述)相反,在产生侧,相应的原始视图ROi是可用的,由此, 例如通过从ROi *中的ROi复制由视图合成算法识别的闭塞像素的值,使得获得用于形成 形成从视图合成和视图选择器块退出的立体流的两个序列L、R的第二序列R的虚拟重建视 图,它可被直接利用以获得未知的像素。可有利地对视图序列的所有帧实施该过程。
[0136] 在右视图被取为参照的情况下,从序列R、LO开始实施相同的步骤,从而计算不完 整的视图LOi *,并且从这些计算用于产生从视图合成和视图选择器块退出的立体流的重 建虚拟视图Li (图IOc和图IOd)。
[0137] 如上所述,为了在后面向能够重建初始视频流以允许使用它的装置提供,编码视 频流CVS可被传送和/或存储于适当的存储支撑上。
[0138] 这种用于重建视频流的装置或解码器装置在附图中由附图标记2表示。
[0139] 首先,重建装置2(图Ib)包含用于接收编码视频流CVS作为输入的输入接口 20。
[0140] 这种编码视频流CVS具有上述的结构。在合成中,编码视频流CVS至少包含:第一 输入序列L的第一图像L1、与这种第一图像Ll关联的第一地图D1、第二输入序列R的第二 图像R2和与这种第二图像R2关联的第二地图序列。
[0141] 重建装置2还包括被配置为一般实施与以上参照视频流的产生步骤描述的步骤 相同的步骤。
[0142] 特别地,操作模块21根据第一输入序列L的第一图像Ll和与其关联的第一地图 Dl重建第二输入序列R的第一图像Rl ;以这种方式,获得第一重建图像RP。
[0143] 操作模块21还根据第二输入序列R的第二图像R2和与其相关的第二地图D2重 建第一输入序列L的第二图像L2 ;以这种方式,获得第二重建图像L2'。
[0144] 在上述的步骤之后,操作模块21可由此准备经解码的立体视频流DVS作为输出; 这种解码视频流DVS包含:
[0145] -包含第一输入序列L的第一图像Ll和第二重建图像L2'的第一输出序列U ; 和
[0146] -包含第一重建图像RP和输入序列R的第二图像R2的第二输出序列W。
[0147] 特别地,在第一输出序列L'中,第二重建图像L2'是跟随第一输入序列L的第一 图像Ll的时间和与其相邻的时间;在第二输出序列W中,第二输入序列R的第二图像R2 是跟随第一重建第一图像RP的时间和与其相邻的时间。
[0148] 第一和第二输出序列L'、R'分别代表解码立体视频流DVS的第一和第二视图。
[0149] 因此,通过将重建装置2与适当的显示装置关联为例如具有3D显示功能的电视 机,能够显示解码视频流DVS,从而给予用户这种流的内容的适当的深度表现。
[0150] 如上所述,通过重建装置2接收的编码视频流CVS -般包含属于第一输入序列L 的第一多个图像Li、分别与所述第一多个图像Li的各图像关联的第一多个地图Dli、属于 第二输入序列R的第二多个图像Ri和分别与第二多个图像Ri的各图像关联的第二多个地 图 D2i。
[0151] 参照关于产生装置1描述的内容,第一多个图像Li包含第一输入序列L的第一图 像Li,第一多个地图Dli包含第一地图D1,第二多个图像Ri包含第二输入序列R的第二图 像R2,并且,第二多个地图D2i包含第二地图D2。
[0152] 优选地,每一个第一多个图像Li与各第一时间基准TLi关联,并且,各第二多个图 像Ri与各第二时间基准TRi关联。
[0153] 有利地,第一时间基准TLi与第二时间基准TRi时间交替。
[0154] 在实践中,第一多个图像Li的图像与第二多个图像Ri时间交替。
[0155] 为了重建错失图像并且产生解码视频流DVS作为输出,一旦输入接口 20接收这种 编码立体视频流CVS,操作模块21就参照第一图像Ll和第二图像R2以上述的方式在形成 这种流的图像上动作。
[0156] 特别地,操作模块21被配置为根据第一多个图像Li和第一多个地图Dli重建第 二输入序列R的图像,从而获得相应的第一重建图像RW。
[0157] 操作模块21还根据第二多个图像Ri和第二多个地图D2i重建第一输入序列L的 图像,从而获得相应的第二重建图像Li'。
[0158] 输出解码视频流DVS将由此包含:
[0159] -包含第一多个图像Li和第二重建图像LW的第一输出序列U ;和
[0160] -包含第二多个图像Ri和第一重建图像RW的第二输出序列W。
[0161] 第一和第二输出序列L'、R'分别代表解码立体视频流DVS的第一和第二视图。
[0162] 操作模块21优选被配置为根据第一输入序列L的第一图像Ll和第一重建图像 RP的有关第一地图Dl管理可例如防止完整重建的一个或更多个闭塞像素的有无。
[0163] 特别地,根据第一输入序列L的第一图像Ll和有关第一地图D1,操作模块21关于 第二输入序列R的相应的第一图像Rl识别一个或更多个闭塞像素。操作模块21还根据第 二输入序列R的一个或更多个确定图像确定用于替代一个或更多个闭塞像素的一个或更 多个替代像素。
[0164] 更详细地,被操作模块21用于确定所述替代像素的第二输入序列R的图像是属于 包含于编码视频流CVS中的上述的多个图像Ri的图像。
[0165] 优选地,考虑紧挨着重建之前的图像。除此以外,或者,作
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1