使用多边形的3d网格和对应纹理对图像进行编码的制作方法
【技术领域】
[0001 ] 一般来说，本发明涉及编码。更具体来说，本发明涉及编码深度信息。
【背景技术】
[0002]在图像捕获期间，存在用来捕获与图像纹理信息关联的深度信息的各种技术。深度信息通常用来产生具有三维(3D)多边形网格(其定义图像中的3D对象的形状)的点云或深度图。
[0003]原始或者未压缩深度信息可由照相装置来捕获，并且然后发送给处理单元供进一步处理。深度信息可按照多种格式的任一种发送给处理单元。深度信息也可使用立体对或者多视图立体重构方法从2D图像来得出。此外，深度信息可从大量直接深度感测方法(包括结构光、飞行时间传感器和许多其它技术)来得出。
[0004]在处理之后，深度信息可按照若干格式来表示，包括但不限于3D空间中的X、Y和Z点云、2D深度图图像或者三角形或四边形的3D表面网格。用于表示深度信息的其它格式包括XML编码格式、文本格式或者图形格式(例如OpenGL)。
【附图说明】
[0005]图1是可按照实施例使用的计算装置的框图；
图2A是按照实施例的多边形网格；
图2B是按照实施例的施加纹理的多边形网格；
图3是示出按照实施例、用于再现3D图像的方法的过程流程图；
图4是按照实施例、M帧、T帧和C帧中存储的数据的简图；
图5是按照实施例的帧序列；
图6是示出按照实施例、用于使用网格和纹理对图像进行编码的方法的过程流程图；图7是示出按照实施例、存储用于使用网格和对应纹理对图像进行编码的代码的有形非暂时计算机可读介质的框图；
图8是按照实施例、用于使用多边形的3D网格和对应纹理对图像进行编码的示范系统的框图；
图9是按照实施例、可实施图8的系统的小形状因数装置900的示意图；以及图10是示出按照实施例、用于在打印装置中打印使用多边形的3D网格和对应纹理所编码的图像的方法的过程流程图。
[0006]相同标号在本公开和附图中通篇用来表不相似组件和特征。100系列中的标号表示最初见于图1的特征；200系列中的标号表示最初见于图2的特征；依此类推。
【具体实施方式】
[0007]如上所述，深度信息可连同关联图像纹理信息一起发送给处理单元供进一步处理。在实施例中，可使用提取深度信息的任何技术。深度信息可按照多种格式的任一种发送给处理单元。例如，结构光图案可广播到画面中，以及深度信息可通过检测图案的大小来重构，因为结构光图案随距离而变化。在其它示例中，飞行时间(TOF)传感器可用来通过测量红外光从传感器到对象并且返回的往返飞行时间来采集信息。
[0008]如上所述，深度信息也可使用立体对或者多视图立体重构方法从2D图像来得出，或者深度信息可从大量直接深度感测方法(包括结构光、飞行时间传感器和许多其它方法)来得出。但是，当前2D图像捕获系统不产生深度图。此外，深度信息没有经过标准化。缺乏发送深度信息和关联图像纹理信息的标准化方法会防止深度信息在多种应用中使用。相应地，本文所述的实施例涉及对深度信息和关联图像纹理信息进行编码。编码信息可与任何媒体CODEC格式配合使用。通过组合标准媒体CODEC格式对信息进行编码，实现真实视频图像与合成3D图形的融合。
[0009]在以下描述和权利要求书中，可使用术语“耦合”和“连接”及其派生。应当理解，这些术语并不是要作为彼此的同义词。相反，在具体实施例中，“连接”可用来表示两个或更多元件相互直接物理或电气接触。“耦合”可表示两个或更多元件直接物理或电接触。但是，“耦合”也可表示两个或更多元件不是相互直接接触，但是仍然相互配合或交互。
[0010]一些实施例可通过硬件、固件和软件其中之一或者它们的组合来实现。一些实施例还可作为机器可读介质上存储的指令来实现，所述指令可由计算平台读取和运行以执行本文所述的操作。机器可读介质可包括用于存储或传送机器、例如计算机可读形式的信息的任何机制。例如，机器可读介质可包括:只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质；光存储介质；闪速存储器装置；或者电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号或者传送和/或接收信号的接口 )等。
[0011]一实施例是实现或示例。本说明书中提到“一实施例”、“一个实施例”、“一些实施例”、“各个实施例”或“其它实施例”表示组合这些实施例所述的特定特征、结构或特性包含在本发明的至少部分实施例但不一定是全部实施例中。出现“一实施例”、“一个实施例”或“一些实施例”的各种情况不一定都表不相同实施例。来自一实施例的兀件或方面能够与另一个实施例的元件或方面相组合。
[0012]并非本文所述和所示的所有组件、特征、结构、特性等都需要包含在具体实施例中。例如，如果本说明书陈述组件、特征、结构或特性“可”、“可能”或者“能够”被包含，则不要求包含那个特定组件、特征、结构或特性。如果本说明书或权利要求书提到“一”或“一个”元件，则并不表示只有一个这种元件。如果本说明书或权利要求书提到“一个附加”元件，则不排除存在一个以上这种附加元件的情况。
[0013]要注意，虽然一些实施例参照具体实现来描述，但是按照一些实施例，其它实现是可能的。另外，附图所示和/或本文所述的电路元件或其它特征的布置和/或顺序无需按照所示和所述的特定方式来设置。按照一些实施例，许多其它布置是可能的。
[0014]在附图所示的各系统中，一些情况下的元件各可具有相同的参考标号或者不同的参考标号，以暗示所表示的元件可能是不同的和/或相似的。但是，元件可以足够灵活，以便具有不同实现，并且与本文所示或所述的系统的部分或全部配合工作。附图所示的各种元件可以是相同或不同的。哪一个称作第一元件和哪一个称作第二元件是任意的。
[0015]图1是可按照实施例使用的计算装置100的框图。计算装置100可以是例如膝上型计算机、台式计算机、平板计算机、移动装置或服务器等等。计算装置100可包括中央处理单元(CPU) 102 (其配置成运行所存储指令)以及存储器装置104 (其存储由CPU 102可执行的指令)。CPU可经过总线106耦合到存储器装置104。另外，CPU 102能够是单核处理器、多核处理器、计算集群或者任何数量的其它配置。此外，计算装置100可包括一个以上CPU 102。由CPU 102运行的指令可用来使用多边形的3D网格和对应纹理对图像进行编码。
[0016]计算装置100还可包括图形处理单元(GPU) 108。如所示，CPU 102可经过总线106耦合到GPU 108。GPU 108可配置成执行计算装置100中的任何数量的图形操作。例如，GPU 108可配置成再现或操纵图形图像、图形帧、视频等，以便向计算装置100的用户显示。在一些实施例中，GPU 108包括多个图形引擎(未示出)，其中各图形引擎配置成执行特定图形任务或者运行特定类型的工作负荷。
[0017]存储器装置104能够包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器或者任何其它适当存储器系统。例如，存储器装置104可包括动态随机存取存储器(DRAM)。存储器装置104可包括装置驱动器110，其配置成运行用于对深度信息进行编码的指令。装置驱动器110可以是软件、应用程序、应用代码等。
[0018]计算装置100包括图像捕获机构112。在实施例中，图像捕获机构112是照相装置、立体照相装置、红外传感器等。图像捕获机构112用来捕获深度信息和图像纹理信息。相应地，计算装置100还包括一个或多个传感器114。在示例中，传感器114可以是深度传感器，其用来捕获与图像纹理信息关联的深度信息。传感器114也可以是用来捕获图像纹理信息的图像传感器。此外，图像传感器可以是电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、芯片上系统(SOC)图像传感器、具有光敏薄膜晶体管的图像传感器或者它们的任何组合。装置驱动器110可按照当前存在或者将来开发的任何标准化媒体CODEC、使用3D网格以及来自图像纹理信息的对应纹理对深度信息进行编码。
[0019]CPU 102可经过总线106连接到输入/输出(I/O)装置接口 116，其配置成将计算装置100连接到一个或多个I/O装置118。I/O装置118可包括例如键盘和指针装置，其中指针装置可包括触摸板或触摸屏等等。I/O装置118可以是计算装置100的内置组件，或者可以是外部连接到计算装置100的装置。
[0020]CPU 102也可经过总线106链接到显示器接口 120，其配置成将计算装置100连接到显示装置122。显示装置122可包括显示屏幕，其是计算装置100的内置组件。显示装置122还可包括计算机监视器、电视机或投影仪等等，其外部连接到计算装置100。
[0021]计算装置还包括存储装置124。存储装置124是物理存储器，例如硬盘驱动器、光驱动器、拇指盘驱动器、驱动器阵列或者它们的任何组合。存储装置124还可包括远程存储驱动器。存储装置124包括任何数量的应用126，其配置成运行于计算装置100。应用126可用来组合媒体和图形，包括用于立体显示器的3D立体照相装置图像和3D图形。
[0022]在示例中，应用126可用来对深度信息和图像纹理信息进行编码。此外，在示例中，应用126可将真实视频图像与合成3D计算机生成图像相组合。可通过对媒体流或文件进行编码，然后对媒体流或文件进行解码供再现，来处理组合的媒体流或文件。此外，应用126可用来使用顶点和纹理单元在标准图形流水线中对媒体进行解码。此外，应用126可用来在运行时将“化身”引入真实视频画面中。如本文所使用的“化身”可以是合成人类图像。在实施例中，其它3D对象可代入3D视频中。在实施例中，光源可实时地添加到媒体流中。可改变光源的各个方面，包括但不限于照明的位置、颜色和距离。相应地，编码网格和对应纹理可采用合成图像的添加、照明、遮蔽、对象置换、化身引入或者它们的任何组合中的至少一个来改变。
[0023]计算装置100还可包括网络接口控制器(NIC) 128，其可配置成经过总线106将计算装置100连接到网络130。网络130可以是广域网(WAN)、局域网(LAN)或因特网等等