用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法_6

文档序号:9794463阅读:来源:国知局
5] 图23是用于提供内容分发服务的内容供应系统11000的整体结构的示图。将通信 系统的服务区域划分成预定尺寸的小区,并将无线基站11700、11800、11900和12000分别安 装在运些小区中。
[0406] 内容供应系统11000包括多个独立装置。例如,诸如计算机12100、个人数字助理 (PDA) 12200、视频相机12300和移动电话12500的多个独立装置经由互联网服务提供器 11200、通信网络11400和无线基站11700、11800、11900和12000连接到互联网11100。
[0407] 然而,内容供应系统11000不限于如图24中所示,并且装置可选择性地被连接到内 容供应系统11000。多个独立装置可不经由无线基站11700、11800、11900和12000而直接连 接到通信网络11400。
[0408] 视频相机12300是能够捕捉视频图像的成像装置,例如,数字视频相机。移动电话 12500可利用各种协议(例如,个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))中的至少一种通信方法。
[0409] 视频相机12300可经由无线基站11900和通信网络11400连接到流服务器11300。流 服务器11300允许经由视频相机12300从用户接收到的内容经由实时广播被流传输。可使用 视频相机12300或流服务器11300来对从视频相机12300接收到的内容进行编码。通过视频 相机12300捕捉到的视频数据可经由计算机12100被发送到流服务器11300。
[0410] 通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服务器 11300。与数码相机类似,相机12600是能够捕捉静止图像和视频图像两者的成像装置。可使 用相机12600或计算机12100对通过相机12600捕捉到的视频数据进行编码。可将对视频执 行编码和解码的软件存储在可由计算机12100访问的计算机可读记录介质(例如,CD-ROM 盘、软盘、硬盘驱动器、SSD或存储卡)中。
[0411] 如果视频数据通过内置在移动电话12500中的相机被捕捉到,则可从移动电话 12500接收视频数据。
[0412] 还可通过安装在视频相机12300、移动电话12500或相机12600中的大规模集成电 路化SI)系统来对视频数据进行编码。
[0413] 根据一些示例性实施例的内容供应系统11000可对由用户使用视频相机12300、相 机12600、移动电话12500或另一成像装置所记录的内容数据(例如,在音乐会期间记录的内 容)进行编码,并将编码后的内容数据发送到流服务器11300。流服务器11300可将编码后的 内容数据W流传输内容的类型发送到请求内容数据的其它客户端。
[0414] 客户端是能够对编码后的内容数据进行解码的装置,例如,计算机12100、PDA 12200、视频相机12300或移动电话12500。因此,内容供应系统11000允许客户端接收并再现 编码后的内容数据。此外,内容供应系统11000允许客户端实时接收编码后的内容数据并对 编码后的内容数据进行解码和再现,从而能够进行个人广播。
[0415] 包括在内容供应系统11000中的多个独立装置的编码和解码操作可类似于本发明 构思的视频编码设备和视频解码设备的编码和解码操作。
[0416] 现在将参照图24和图25更加详细地描述包括在根据实施例的内容供应系统11000 中的移动电话12500。
[0417] 图24示出根据一些示例性实施例的应用本发明构思的视频编码方法和视频解码 方法的移动电话12500的外部结构。移动电话12500可W是智能电话,所述智能电话的功能 不受限,并且所述智能电话的大多数功能可被改变或扩展。
[0418] 移动电话12500包括可与图21的无线基站12000交换射频(RF)信号的内部天线 12510,并包括用于显示由相机12530捕捉到的图像或经由天线12510接收到的并被解码的 图像的显示屏12520(例如,液晶显示器化CD)或有机发光二极管(OLED)屏幕)。移动电话 12500包括包含有控制按钮和触摸面板的操作面板12540。如果显示屏12520是触摸屏,则操 作面板12540还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声 音的扬声器12580或另一类型的声音输出单元、W及用于输入语音和声音的麦克风12550或 另一类型的声音输入单元。移动电话12500还包括用于捕捉视频和静止图像的相机12530, 诸如电荷禪合器件(CCD)相机。移动电话12500还可包括:存储介质12570,用于存储通过相 机12530捕捉到的、经由电子邮件接收到的、或根据各种方式获取的编码/解码数据(例如, 视频或静止图像);插槽12560,存储介质12570经由插槽12560被装入移动电话12500中。存 储介质12570可W是闪存,例如,包括在塑料壳中的安全数字(SD)卡或电可擦除可编程只读 存储器化EPROM)。
[0419] 图25示出移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面 板12540的移动电话12500的部件,供电电路12700、操作输入控制器12640、视频编码单元 12720、相机接口 12630、LCD控制器12620、图像解码单元12690、复用器/解复用器12680、记 录/读取单元12670、调制/解调单元12660和声音处理器12650经由同步总线12730被连接到 中央控制器12710。
[0420] 如果用户操作电源按钮,并从"电源关闭"状态设置为"电源开启"状态,则供电电 路12700从电池组向移动电话12500的所有部件供电,从而将移动电话12500设置为处于操 作模式。
[0421] 中央控制器12710包括中央处理器(CPU)、R0M和RAM。
[0422] 在移动电话12500将通信数据发送到外部的同时,在中央控制器12710的控制下, 由移动电话12500产生数字信号。例如,声音处理器12650可产生数字声音信号,视频编码单 元12720可产生数字图像信号,并且消息的文本数据可经由操作面板12540和操作输入控制 器12640被产生。当数字信号在中央控制器12710的控制下被传送到调制/解调单元12660 时,调制/解调单元12660对数字信号的频带进行调制,并且通信电路12610对频带调制后的 数字声音信号执行数模转换化AC)和频率转换。从通信电路12610输出的发送信号可经由天 线12510被发送到语音通信基站或无线基站12000。
[0423] 例如,当移动电话12500处于通话模式时,在中央控制器12710的控制下,经由麦克 风12550获取的声音信号通过声音处理器12650被变换成数字声音信号。数字声音信号可经 由调制/解调单元12660和通信电路12610被变换成发送信号,并可经由天线12510被发送。
[0424] 当文本消息(例如,电子邮件)在数据通信模式下被发送时,文本消息的文本数据 经由操作面板12540被输入,并经由操作输入控制器12640被发送到中央控制器12610。在中 央控制器12610的控制下,文本数据经由调制/解调单元12660和通信电路12610被变换成发 送信号,并经由天线12510被发送到无线基站12000。
[0425] 为了在数据通信模式下发送图像数据,由相机12530捕捉到的图像数据经由相机 接口 12630被提供给视频编码单元12720。捕捉到的图像数据可经由相机接口 12630和LCD控 制器12620被直接显示在显示屏12520上。
[0426] 视频编码单元12720的结构可与上述视频编码设备100的结构相应。视频编码单元 12720可根据上述视频编码方法,将从相机12530接收到的图像数据变换为压缩和编码后的 图像数据,并随后将编码后的图像数据输出到复用器/解复用器12680。在相机12530的记录 操作期间,由移动电话12500的麦克风12550获取的声音信号可经由声音处理器12650被变 换成数字声音数据,并且数字声音数据可被发送到复用器/解复用器12680。
[0427] 复用器/解复用器12680对从视频编码单元12720接收到的编码后的图像数据与从 声音处理器12650接收到的声音数据一起进行复用。对数据进行复用的结果可经由调制/解 调单元12660和通信电路12610被变换成发送信号,然后可经由天线12510被发送。
[04%]当移动电话12500从外部接收到通信数据时,可对经由天线12510接收到的信号执 行频率恢复和ADCW将信号变换成数字信号。调制/解调单元12660对数字信号的频带进行 调制。根据频带调制后的数字信号的类型,将所述数字信号发送到视频解码单元12690、声 音处理器12650或LCD控制器12620。
[0429] 在通话模式下,移动电话12500对经由天线12510接收到的信号进行放大,并通过 对放大后的信号执行频率转换和ADC来获取数字声音信号。在中央控制器12710的控制下, 接收到的数字声音信号经由调制/解调单元12660和声音处理器12650被变换成模拟声音信 号,并且模拟声音信号经由扬声器12580被输出。
[0430] 当在数据通信模式下时,接收在互联网网站上访问的视频文件的数据,经由调制/ 解调单元12660将经由天线12510从无线基站12000接收到的信号输出为复用数据,并将复 用数据发送到复用器/解复用器12680。
[0431] 为了对经由天线12510接收到的复用数据进行解码,复用器/解复用器12680将复 用数据解复用成编码后的视频数据流和编码后的音频数据流。经由同步总线12730,编码后 的视频数据流和编码后的音频数据流分别被提供给视频解码单元12690和声音处理器 12650。
[0432] 图像解码单元12690的结构可与上述视频解码设备200的结构相应。根据由上述的 视频解码设备200或图像解码器500采用的视频解码方法,图像解码单元12690可对编码后 的视频数据进行解码来获取重建的视频数据,并经由LCD控制器12620将重建的视频数据提 供给显示屏12520。
[0433] 因此,可将在互联网网站上访问的视频文件的数据显示在显示屏12520上。同时, 声音处理器12650可将音频数据变换成模拟声音信号,并将模拟声音信号提供给扬声器 12580。因此,也可经由扬声器12580再现在互联网网站上访问的视频文件中包含的音频数 据。
[0434] 移动电话12500或另一类型的通信终端可W是包括本发明构思的视频编码设备和 视频解码设备两者的收发终端,可W是仅包括视频编码设备的收发终端,或者可W是仅包 括视频解码设备的收发终端。
[0435] 根据本发明构思的通信系统不限于W上参照图24描述的通信系统。例如,图26示 出根据一些示例性实施例的采用通信系统的数字广播系统。根据一些示例性实施例的图26 的数字广播系统可通过使用本发明构思的视频编码设备和视频解码设备来接收经由卫星 或地面网络发送的数字广播。
[0436] 具体地,广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫 星12900。广播卫星12900发送广播信号,广播信号经由家用天线12860被发送到卫星广播接 收器。在每个房屋中,可通过TV接收器12810、机顶盒12870或其它装置对编码后的视频流进 行解码和再现。
[0437] 当本发明构思的视频解码设备被实现在再现设备12830中时,再现设备12830可对 记录在存储介质12820(诸如盘或存储卡)上的编码后的视频流进行解析和解码,W重建数 字信号。因此,可在例如监视器12840上再现重建的视频信号。
[0438] 在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的线 缆天线12850的机顶盒12870中,可安装本发明构思的视频解码设备。从机顶盒12870输出的 数据也可被再现在TV监视器12880上。
[0439] 作为另一示例,可将本发明构思的视频解码设备安装在TV接收器12810中,而不是 机顶盒12870中。
[0440] 具有合适的天线12910的汽车12920可接收从图23的卫星12900或无线基站11700 发送的信号。可在安装在汽车12920中的汽车导航系统12930的显示屏上再现解码后的视 频。
[0441] 视频信号可由本发明构思的视频编码设备来编码,然后可被存储在存储介质中。 具体地,可由DVD记录器将图像信号存储在DVD盘12960中,或可由硬盘记录器12950将图像 信号存储在硬盘中。作为另一示例,可将视频信号存储在SD卡12970中。如果硬盘记录器 12950包括根据一些示例性实施例的本发明构思的视频解码设备,则记录在DVD盘12960、SD 卡12970或另一存储介质上的视频信号可在TV监视器12880上被再现。
[0442] 汽车导航系统12930可不包括图26的相机12530、相机接口 12630和视频编码单元 12720。例如,计算机12100和TV接收器12810可不包括在图26的相机12530、相机接口 12630 和视频编码单元12720中。
[0443] 图27是示出根据一些示例性实施例的使用视频编码设备和视频解码设备的云计 算系统的网络结构的示图。
[0444] 云计算系统可包括云计算服务器14000、用户数据库(DB) 14100、多个计算资源 14200和用户终端。
[0445] 响应于来自用户终端的请求,云计算系统经由数据通信网络(例如,互联网)提供 多个计算资源14200的点播外包服务。在云计算环境下,服务提供商通过使用虚拟化技术组 合位于不同的物理位置的数据中屯、处的计算资源,为用户提供想要的服务。服务用户不必 将计算资源(例如,应用、存储器、操作系统(OS)和安全软件)安装在他/她自己的终端中W 使用它们,但可在想要的时间点在通过虚拟化技术产生的虚拟空间中从服务中选择和使用 想要的服务。
[0446] 指定的服务用户的用户终端经由包括互联网和移动电信网络的数据通信网络被 连接到云计算服务器14000。可从云计算服务器14000向用户终端提供云计算服务,特别是 视频再现服务。用户终端可W是能够被连接到互联网的各种类型的电子装置,例如,桌上型 PC 14300、智能TV 14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(PMP) 14700、平板 PC 14800 等。
[0447]云计算服务器14000可组合分布在云网络中的多个计算资源14200,并向用户终端 提供组合的结果。所述多个计算资源14200可包括各种数据服务,并可包括从用户终端上载 的数据。如上所述,云计算服务器14000可通过根据虚拟化技术组合分布在不同区域中的视 频数据库来向用户终端提供想要的服务。
[044引将关于已经订购云计算服务的用户的用户信息存储在用户DB 14100中。用户信息 可包括用户的登陆信息、地址、姓名和个人信用信息。用户信息还可包括视频的索引。运里, 所述索引可包括已经被再现的视频的列表、正在被再现的视频的列表、之前正在被再现的 视频的暂停点等。
[0449] 可在用户装置之间共享存储在用户DB 14100中的关于视频的信息。例如,当响应 于来自笔记本计算机14600的请求将视频服务提供给笔记本计算机14600时,视频服务的再 现历史被存储在用户DB 14100中。当从智能电话14500接收到用于再现此视频服务的请求 时,云计算服务器14000基于用户DB 14100捜索并再现此视频服务。当智能电话14500从云 计算服务器14000接收到视频数据流时,通过对视频数据流进行解码来再现视频的处理与 W上参照图24描述的移动电话12500的操作类似。
[0450] 云计算服务器14000可参考存储在用户DB 14100中的想要的视频服务的再现历 史。例如,云计算服务器14000从用户终端接收用于再现存储在用户DB 14100中的视频的请 求。如果此视频被再现过,则由云计算服务器14000执行的对此视频进行流传输的方法可根 据来自用户终端的请求(即,根据是将从视频的起点还是从视频的暂停点开始再现视频)而 不同。例如,如果用户终端请求从视频的起点开始再现视频,则云计算服务器14000将从视 频的第一帖开始的视频的流数据发送到用户终端。如果用户终端请求从视频的暂停点开始 再现视频,则云计算服务器14000将从与暂停点相应的帖开始的视频的流数据发送到用户 终端。
[0451] 在此情况下,用户终端可包括W上参照图Ia至图20描述的本发明构思的视频解码 设备。作为另一示例,用户终端可包括W上参照图Ia至图20描述的本发明构思的视频编码 设备。可选地,用户终端可包括W上参照图Ia至图20描述的本发明构思的视频解码设备和 视频编码设备两者。
[0452] W上参照图21至图27描述了 W上参照图Ia至图20描述的根据一些示例性实施例 的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而,根据一 些示例性实施例的将视频编码方法和视频解码方法存储在存储介质中的方法或者将视频 编码设备和视频解码设备实现在装置中的方法不限于W上参照图21至图27描述的实施例。
[0453] 本领域的普通技术人员将理解,在不脱离由权利要求限定的本发明构思的精神和 范围的情况下,可作出形式和细节上的各种改变。实施例应仅被看作描述性意义,而不是限 制的目的。因此,本发明构思的范围不由本发明构思的详细描述来限定,而由权利要求来限 定,在所述范围内的所有不同将被解释为包括在本发明构思中。
【主权项】
1. 一种层间视频解码方法,包括: 从比特流获得关于深度图像的当前块的预测模式信息; 基于获得的预测模式信息产生当前块的预测块; 通过使用预测块的与特定位置相应的像素值来对预测块的均值进行预测; 通过使用预测块的均值对深度图像进行解码。2. 如权利要求1所述的层间视频解码方法,其中,对预测块的均值进行预测的步骤包 括:通过使用预测块的左上像素值、右上像素值、左下像素值和右下像素值来对产生的预测 块的均值进行预测。3. 如权利要求2所述的层间视频解码方法,其中,对预测块的均值进行预测的步骤包 括:通过对预测块的左上像素值、右上像素值、左下像素值和右下像素值进行加权求和来对 产生的预测块的均值进行预测。4. 如权利要求1所述的层间视频解码方法,其中,对预测块的均值进行预测的步骤包 括: 确定是否存在关于深度图像的深度查找表; 如果存在深度查找表,则通过使用预测块的左上像素值、右上像素值、左下像素值和右 下像素值来对产生的预测块的均值进行预测。5. 如权利要求1所述的层间视频解码方法,其中,预测块在DC模式、平面模式、角模式和 深度建模模式(DMM)预测模式中的一种预测模式下被预测。6. 如权利要求1所述的层间视频解码方法,其中,通过使用预测块的均值对深度图像进 行解码的步骤包括: 通过使用深度查找表来确定与预测块的均值相应的预测索引; 通过使用从比特流获得的索引残差值来确定与关于当前块的恢复块的均值相应的恢 复索引; 通过使用深度查找表来确定与恢复索引相应的恢复块的均值; 通过使用关于预测块的均值和关于恢复块的均值来对深度图像进行解码。7. 如权利要求1所述的层间视频解码方法,还包括: 通过使用当前块的至少一个邻近像素值来对预测块的均值进行预测。8. -种层间视频解码设备,包括: 预测模式确定器,被配置为从比特流获得关于深度图像的当前块的预测模式信息; 预测块产生器,被配置为基于获得的预测模式信息产生当前块的预测块; 均值计算器,被配置为通过使用预测块的与特定位置相应的像素值来对预测块的均值 进行预测; 解码器,被配置为通过使用预测块的均值对深度图像进行解码。9. 如权利要求8所述的层间视频解码设备,其中,预测模式确定器通过使用预测块的左 上像素值、右上像素值、左下像素值和右下像素值来对产生的预测块的均值进行预测。10. 如权利要求9所述的层间视频解码设备,其中,预测模式确定器通过对预测块的左 上像素值、右上像素值、左下像素值和右下像素值进行加权求和来对产生的预测块的均值 进行预测。11. 如权利要求8所述的层间视频解码设备,其中,预测模式确定器确定是否存在关于 深度图像的深度查找表,如果存在深度查找表,则预测模式确定器通过使用预测块的左上 像素值、右上像素值、左下像素值和右下像素值来对产生的预测块的均值进行预测。12. 如权利要求8所述的层间视频解码设备,其中,预测块在DC模式、平面模式、角模式 和深度建模模式(DMM)预测模式中的一种预测模式下被预测。13. 如权利要求8所述的层间视频解码设备,其中,解码器通过使用深度查找表来确定 与预测块的均值相应的预测索引,通过使用从比特流获得的索引残差值来确定与关于当前 块的恢复块的均值相应的恢复索引,通过使用深度查找表来确定与恢复索引相应的恢复块 的均值,通过使用关于预测块的均值和关于恢复块的均值来对深度图像进行解码。14. 如权利要求8所述的层间视频解码设备,其中,均值计算器通过使用当前块的至少 一个邻近像素值来对预测块的均值进行预测。15. -种记录有实现权利要求1所述的层间视频解码方法的计算机程序的非暂时性计 算机可读记录介质。
【专利摘要】根据本发明的实施例的层间视频解码方法可包括以下步骤:从比特流获得深度图像的当前块的预测模式信息;基于获得的预测模式信息创建当前块的预测块;通过使用预测块的指定位置的像素值来对预测块的均值进行预测;通过使用预测块的均值对深度图像进行解码。
【IPC分类】H04N19/59, H04N19/597
【公开号】CN105556972
【申请号】CN201480051588
【发明人】李振荣, 沈东圭, 林雄, 赵炫镐, 崔秉斗, 朴慜祐, 曹容振
【申请人】三星电子株式会社, 光云大学校产学协力团
【公开日】2016年5月4日
【申请日】2014年7月18日
【公告号】EP3024240A1, US20160156932, WO2015009113A1
当前第6页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1