空间自适应视频编码的制作方法_2

文档序号:9308634阅读:来源:国知局
局域网)和/或移动蜂窝网络。
[0019]第一终端12包括计算机可读存储介质14,诸如闪速存储器或其他电子存储器、磁性存储设备和/或光学存储设备。第一终端12还包括以具有一个或多个执行单元处理器或CPU形式的处理装置16 ;收发器,诸如至少具有发射器18的有线或无线调制解调器;以及视频摄像机15,其可以或者可以不容纳在与终端12的其余部分相同的外壳中。存储介质14、视频摄像机15和发射器18各自在操作上耦合到处理装置16,并且发射器18经由有线或无线链路在操作上耦合到网络32。类似地,第二终端22包括计算机可读存储介质24,诸如电子、磁性和/或光学存储设备;以及以具有一个或多个执行单元的CPU形式的处理装置26。第二终端包括诸如至少具有接收器28的有线或无线调制解调器之类的收发器;以及屏幕25,其可以或可以不容纳在与终端22的其余部分相同的外壳中。第二终端的存储介质24、屏幕25和接收器28各自在操作上耦合到相应处理装置26,并且接收器28经由有线或无线链路在操作上耦合到网络32。
[0020]第一终端12上的存储装置14至少存储视频编码器,其被布置成在处理装置16上执行。当执行时,编码器从视频摄像机15接收未编码的视频流,对视频流进行编码以便将其压缩到较低比特率流中,并且输出编码视频流以用于经由发射器18和通信网络32而传送到第二终端22的接收器28。第二终端22上的存储装置24至少存储视频解码器,其被布置成在其自身的处理装置26上执行。当执行时,解码器从接收器28接收编码视频流,并且对其进行解码以用于输出到屏幕25。可以用于指代编码器和/或解码器的通用术语是编解码器。
[0021]图3给出将从运行于发射终端12上的编码器传送到运行于接收终端22上的解码器的编码比特流33的示意性表示。比特流33包括对于每一帧的多个编码样本34,其包括任何运动矢量。在一个应用中,比特流可以作为诸如发射和接收终端12、22之间的VoIP呼叫(VoIP呼叫还可以包括视频)之类的实况(实时)视频电话呼叫的一部分而被传送。
[0022]图4是示意性地图示了诸如可能在发射终端12上实现的编码器侧系统的高水平框图。系统包括编码器,其包括:离散余弦变换(DCT)模块51、量化器53、逆变换模块61、逆量化器63、帧内预测模块41、帧间预测模块43、切换装置47以及减法阶段(_)49。系统还包括耦合到编码器的输入的预处理阶段50。这些模块或阶段中的每一个可以被实现为代码部分,其存储在发射终端的存储介质14上并且被布置用于在其处理装置16上执行,但是不排除这些模块或阶段中的一些或全部整体地或部分地在专用硬件电路系统中实现的可能性。
[0023]减法阶段49被布置成接收包括多个帧(F)内的多个块(b)的输入视频信号实例。从经由预处理阶段50耦合到减法阶段49的输入的摄像机15接收输入视频流,所述预处理阶段耦合在在摄像机15与减法阶段49的输入之间。如将在下文更详细讨论的,输入到编码器的帧已经通过预处理阶段50扭曲,以在编码之前使得感兴趣区域(ROI)的大小相对于一个或多个其他区域而增大。然后,编码器(元件41、43、47、49、51、53、61、63)继续对扭曲的输入帧进行编码,就像它们是任何其他输入信号那样一编码器本身不需要具有对于扭曲的任何知识。
[0024]相应地,在扭曲之后,帧内或帧间预测基于从另一个已编码的块或其他这样的部分的预测而生成要编码的输入信号中的当前(目标)块的预测版本。预测版本被供应到减法阶段49的输入,其中将该预测版本从输入信号中减去以产生表示块的预测版本与输入信号中的对应块之间的差的残差信号。
[0025]在帧内预测模式中,帧内预测41模块基于从相同帧中的另一已编码的块的预测(典型地基于预定的相邻块)而生成要编码的当前(目标)块的预测版本。当执行帧内编码时,其思想在于仅编码和传送帧内的图像数据的一部分与该相同帧内的另一部分如何不同的度量。然后,该部分可以在解码器处被预测(给出一些绝对数据以开始),并且因此仅需要传送预测与实际数据之间的差而不是实际数据本身。差信号典型地在幅度方面更小,因此花费更少的比特进行编码。
[0026]在帧间预测模式中,帧间预测模块43基于被帧间预测模块43所预测的运动矢量偏移的、从与当前块不同的帧中的另一已编码的区域的预测,而生成要编码的当前(目标)块的预测版本(帧间预测还可以被称为运动预测)。在该情形中,帧间预测模块43由切换装置47切换到反馈路径中,代替帧内预测阶段41,并且所以,反馈回路因而被创建在一帧和另一帧的块之间,以便相对于先前帧的那些块对帧间进行编码。这典型地花费比帧内甚至更少的比特进行编码。
[0027]残差信号(包括从输入信号减去预测之后的残差块)的样本从减法阶段49输出通过在其中它们的残差值被转换到频域中的变换(DCT)模块51 (或其他适当的变换),并且然后到达其中已变换的值被转换为离散量化索引的量化器53。通过变换和量化模块51、53所生成的已量化、已变换的残差索引34,以及在预测模块41、43中使用的预测的指示和由帧间预测模块43生成的任何运动矢量全部被输出以用于包括在编码视频流33中(参见图3中的元素34);其典型地经由另外的无损编码阶段,诸如熵编码器(未示出),其中预测值和已变换、已量化的索引还可以使用本领域已知的无损编码技术来压缩。
[0028]已量化、已变换的信号实例还通过逆量化器63和逆变换模块61而馈送回来以生成块的预测版本(如将在解码器处所看到的),其用于由所选预测模块41或43在预测要编码的后续块时使用。类似地,基于先前编码块的逆量化且逆变换版本来预测所编码的当前目标块。切换装置47被布置成酌情将逆量化器63的输出传递到帧内预测模块41或帧间预测模块43的输入,以用于当前正编码的帧或块的编码。
[0029]图5是示意性地图示了诸如可能在接收终端22上实现的解码器侧系统的高水平框图。系统包括解码器,其包括逆量化阶段83、逆DCT变换阶段81、切换装置70和帧内预测阶段71和运动补偿阶段73。系统还包括耦合到解码器的输出的后处理阶段90。这些模块或阶段中的每一个可以实现为代码部分,其存储在接收终端的存储介质24上并且被布置用于在其处理装置26上执行,但是不排除这些中的一些或全部整体地或部分地在专用硬件电路系统中实现的可能性。
[0030]逆量化器81被布置成经由接收器28 (以及经由诸如未示出的熵解码器之类的任何无损解码阶段)而从编码器接收编码信号33。逆量化器81将编码信号中的量化索引转换成残差信号(包括残差块)的去量化样本,并且将去量化样本传递到逆DCT模块81,其中它们从频域被变换回到空间域。切换装置70然后以适用于正在被解码的当前帧或块的预测模式而酌情将去量化的空间域残差样本传递到帧内或帧间预测模块71或73,其中帧内或帧间预测分别用于解码各块(酌情使用编码比特流33中所接收的预测的指示和/或任何运动矢量)。DCT模块51 (或其他适当的变换)的输出是已变换的残差信号,其包括对于每一帧的多个已变换的块。已解码的块经由后处理阶段90输出到接收终端22处的屏幕25。
[0031]如所提及的,在编码器侧处,在输入到编码器之前,通过预处理阶段50使视频信号的帧扭曲。未扭曲的源帧是从摄像机15供应到预处理阶段50的那些源帧,但是要注意,这未必就排除如下情况,即:在摄像机的图像感测元件与通过预处理阶段50的扭曲之间的分辨率或初始量化方面已经存在某种初始(均匀)减小一如本文所使用的“源”未必限于绝对源。将了解到,现代摄像机可以典型地以比通过网络传送所需要(或实际合期望)的更高的分辨率和
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1