自适应深度感测的制作方法
【技术领域】
[0001]本发明一般涉及深度感测。更具体来说，本发明涉及在各种深度平面的自适应深度感测。
【背景技术】
[0002]在图像捕获期间，存在用来捕获与图像信息关联的深度信息的各种技术。深度信息通常用来产生图像中包含的深度的表示。深度信息可采取点云、深度图或三维(3D)多边形网格的形式，其可用来指示图像中的3D对象的深度。深度信息也能够使用立体像对或者多视图立体重构方法从二维(2D)图像来得出，并且还能够从包括结构化光、飞行时间传感器和许多其他方法的大量直接深度感测方法来得出。在所设置深度平面来捕获固定深度分辨率值的深度。
【附图说明】
[0003]图1是可用来提供自适应深度感测的计算装置的框图；
图2是具有不同基线的两个景深的图示；
图3是具有MEMS装置的图像传感器的图示；
图4是3个振动网格的图示；
图5是跨网格的振动移动的图不；
图6是示出沿基线轨的MEMS控制传感器的简图；
图7是示出基于两个传感器之间的基线的变化的视场的变化的简图；
图8是移动装置的图示；
图9是用于自适应深度感测的方法的过程流程图；
图10是用于提供自适应深度感测的示范系统的框图；
图11是可实施图10的系统的小形状因数装置的示意图；以及图12是示出存储用于自适应深度感测的代码的有形非暂时计算机可读介质1200的框图。
[0004]相同标号在本公开和附图中通篇用来表不相似组件和特征。100系列中的标号表示最初见于图1的特征；200系列中的标号表示最初见于图2的特征；依此类推。
【具体实施方式】
[0005]深度和图像传感器在很大程度上是静态的预设装置，在各种深度平面捕获具有固定深度分辨率值的深度和图像。深度分辨率值和深度平面因深度传感器的预设光学视场、传感器的固定光圈和固定传感器分辨率而是固定的。本文的实施例提供自适应深度感测。在一些实施例中，深度表示可基于深度图的使用或者深度图中的感兴趣面积来调整。在一些实施例中，自适应深度感测是基于人类视觉系统的可缩放深度感测。自适应深度感测可使用微机电系统(MEMS)来实现，以调整光圈和光学中心视场。自适应深度感测还可包括在各种位置的一组振动模式。
[0006]在以下描述和权利要求书中，可使用术语“耦合”和“连接”及其派生。应当理解，这些术语并不是要作为彼此的同义词。在具体实施例中，“连接”而是可用来表示两个或更多元件相互直接物理或电接触。“耦合”可表示两个或更多元件直接物理或电接触。但是，“耦合”也可表示两个或更多元件不是相互直接接触，但是仍然相互配合或交互。
[0007]一些实施例可通过硬件、固件和软件其中之一或者它们的组合来实现。一些实施例还可作为机器可读介质上存储的指令来实现，所述指令可由计算平台读取和运行以执行本文所述的操作。机器可读介质可包括用于存储或传送机器、例如计算机可读形式的信息的任何机制。例如，机器可读介质可包括:只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质；光存储介质；闪速存储器装置；或者电、光、声或其他形式的传播信号(例如载波、红外信号、数字信号或者传送和/或接收信号的接口 )等。
[0008]一实施例是实现或示例。本说明书中提到“一实施例”、“一个实施例”、“一些实施例”、“各个实施例”或“其他实施例”表示结合这些实施例所述的特定特征、结构或特性包含在本发明的至少部分实施例但不一定是全部实施例中。出现“一实施例”、“一个实施例”或“一些实施例”的各种情况不一定都表示相同实施例。来自一实施例的元件或方面能够与另一个实施例的元件或方面相结合。
[0009]并非本文所述和所示的所有组件、特征、结构、特性等都需要包含在具体实施例中。例如，如果本说明书陈述组件、特征、结构或特性“可”、“可能”或者“能够”被包含，则不要求包含那个特定组件、特征、结构或特性。如果本说明书或权利要求书提到“一”或“一个”元件，则并不表示只有一个这种元件。如果本说明书或权利要求书提到“一个附加”元件，则不排除存在一个以上这种附加元件的情况。
[0010]要注意，虽然一些实施例参照具体实现来描述，但是按照一些实施例，其他实现是可能的。另外，附图所示和/或本文所述的电路元件或其他特征的布置和/或顺序无需按照所示和所述的特定方式来设置。按照一些实施例，许多其他布置是可能的。
[0011]在附图所示的各系统中，一些情况下的元件各可具有相同的参考标号或者不同的参考标号，以暗示所表示的元件可能是不同的和/或相似的。但是，元件可以足够灵活，以便具有不同实现，并且与本文所示或所述的系统的部分或全部配合工作。附图所示的各种元件可以是相同或不同的。哪一个称作第一元件和哪一个称作第二元件是任意的。
[0012]图1是可用来提供自适应深度感测的计算装置100的框图。计算装置100可以是例如膝上型计算机、台式计算机、平板计算机、移动装置或服务器等等。计算装置100可包括中央处理单元(CPU) 102 (其配置成运行所存储指令)以及存储器装置104 (其存储由CPU102可执行的指令)。CPU可经过总线106耦合到存储器装置104。另外，CPU 102能够是单核处理器、多核处理器、计算集群或者任何数量的其他配置。此外，计算装置100可包括一个以上CPU 102。由CPU 102来运行的指令可用来实现自适应深度感测。
[0013]计算装置100还可包括图形处理单元(GPU) 108。如所示，CPU 102可经过总线106耦合到GPU 108。GPU 108可配置成执行计算装置100中的任何数量的图形操作。例如，GPU108可配置成渲染或操纵图形图像、图形帧、视频等，以便向计算装置100的用户显示。在一些实施例中，GPU 108包括多个图形引擎(未示出)，其中各图形引擎配置成执行特定图形任务或者运行特定类型的工作负荷。例如，GPU 108可包括控制传感器的振动的引擎。图形引擎也可用来控制光圈和视场(FOV)的光学中心，以便调整深度分辨率和景深线性度。在一些实施例中，分辨率是特定面积中的数据点的量度。数据点能够是深度信息、图像信息或者传感器所测量的任何其他数据点。此外，分辨率可包括不同类型的数据点的组合。
[0014]存储器装置104能够包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器或者任何其他适当存储器系统。例如，存储器装置104可包括动态随机存取存储器(DRAM)。存储器装置104包括驱动器110。驱动器110配置成运行用于操作计算装置100中的各种组件的指令。装置驱动器110可以是软件、应用程序、应用代码等。驱动器还可用来操作GPU以及控制传感器的振动、光圈和视场(FOV)的光学中心。
[0015]计算装置100包括一个或多个图像捕获装置112。在一些实施例中，图像捕获装置112能够是照相装置、立体照相装置、红外传感器等。图像捕获装置112用来捕获图像信息和对应深度信息。图像捕获装置112可包括传感器114，例如深度传感器、RGB传感器、图像传感器、红外传感器、X射线光子计数传感器、光传感器或者它们的任何组合。图像传感器可包括电荷耦合器件(CXD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、芯片上系统(SOC)图像传感器、具有光敏薄膜晶体管的图像传感器或者它们的任何组合。在一些实施例中，传感器114是深度传感器114。深度传感器114可用来捕获与图像信息关联的深度信息。在一些实施例中，驱动器110可用来操作图像捕获装置112中的传感器、例如深度传感器。深度传感器可通过调整振动、光圈或者传感器所观测的FOV的光学中心的形式，来执行自适应深度感测。MEMS 115可调整一个或多个传感器114之间的物理位置。在一些实施例中，MEMS 115用来调整两个深度传感器114之间的位置。
[0016]CPU 102可经过总线106连接到输入/输出(I/O)装置接口 116，其配置成将计算装置100连接到一个或多个I/O装置118。I/O装置118可包括例如键盘和指针装置，其中指针装置可包括触摸板或触摸屏等等。I/O装置118可以是计算装置100的内置组件，或者可以是外部连接