自适应深度感测的制作方法_2

文档序号:9264922阅读:来源:国知局
到计算装置100的装置。
[0017]CPU 102也可经过总线106链接到显示器接口 120,其配置成将计算装置100连接到显示装置122。显示装置122可包括显示屏幕,其是计算装置100的内置组件。显示装置122还可包括计算机监视器、电视机或投影仪等等,其外部连接到计算装置100。
[0018]计算装置还包括存储装置124。存储装置124是物理存储器,例如硬盘驱动器、光驱动器、拇指盘驱动器、驱动器阵列或者它们的任何组合。存储装置124还可包括远程存储驱动器。存储装置124包括任何数量的应用126,其配置成运行于计算装置100。应用126可用来组合媒体和图形,包括用于立体显示器的3D立体照相装置图像和3D图形。在示例中,应用126可用来提供自适应深度感测。
[0019]计算装置100还可包括网络接口控制器(NIC) 128,其可配置成经过总线106将计算装置100连接到网络130。网络130可以是广域网(WAN)、局域网(LAN)或因特网等等。
[0020]图1的框图并不是要表示计算装置100将包括图1所示的全部组件。此外,计算装置100可包括图1中未示出的任何数量的附加组件,这取决于具体实现的细节。
[0021]自适应深度感测可按照与人类视觉系统(其包括两只眼睛)相似的方式改变。每只眼睛与另一只眼睛相比,因眼睛的不同位置而捕获不同图像。人眼使用瞳孔来捕获图像,瞳孔是眼睛中心的开口,其能够响应进入瞳孔的光量而改变大小。各瞳孔之间的距离可称作基线。通过一双人眼所捕获的图像偏移这个基线距离。偏移图像引起深度感知,因为大脑能够使用来自偏移图像的信息来计算视场(FOV)中的对象的深度。除了使用偏移图像来感知深度之外,人眼还将使用扫视运动在感兴趣区域的FOV的中心周围振动。扫视运动包括绕FOV的中心或焦点的快速眼睛运动。扫视运动还使人类视觉系统能够感知深度。
[0022]图2是具有不同基线的两个景深的图示。景深包括景深202和景深204。景深202使用来自3个光圈的信息来计算。光圈是图像捕获装置的透镜中心的孔,并且能够执行与人类视觉系统的瞳孔相似的功能。在示例中,光圈206A、光圈206B和光圈206C的每个可形成图像捕获装置、传感器或者它们的任何组合的一部分。在示例中,图像捕获装置是立体照相装置。光圈206A、光圈206B和光圈206C用来捕获3个偏移图像,其能够用来感知图像中的深度。如所示,景深202具有在整个景深的深度的高可变粒度。具体来说,在光圈206A、光圈206B和光圈206C附近,景深202中的深度感知是精细的,如景深202的网格中的较小矩形面积所示。离光圈206A、光圈206B和光圈206C最远,景深202中的深度感知是粗略的,如景深202的网格中的较大矩形面积所示。
[0023]景深204使用来自11个光圈的信息来计算。光圈208A、光圈208B、光圈208C、光圈208D、光圈208E、光圈208F、光圈208G、光圈208H、光圈2081、光圈208和光圈208K的每个用来提供11个偏移图像。图像用来计算景深204。相应地,与景深202相比,景深204在各种基线位置包括更多图像。因此,与深度表示202相比,景深204在整个FOV具有更一致的深度表示。景深204中的一致深度表示通过景深景深202的网格中的相似大小的矩形面积所示。
[0024]景深可表示深度信息的表示,例如点云、深度图或三维(3D)多边形网格,其可用来指示图像中的3D对象的深度。虽然本文中使用景深或深度图来描述技术,但是能够使用任何深度表示。变化精确度的深度图能够使用一个或多个MEMS装置来创建,以改变图像捕获装置的光圈大小以及改变FOV的光学中心。变化精确度的深度图产生可缩放深度分辨率。MEMS装置也可用来振动传感器,并且增加帧率以获得增加的深度分辨率。通过振动传感器,最大振动的面积中的点与具有较小振动的面积相比可具有增加的深度分辨率。
[0025]MEMS控制传感器精度振动使用子传感器单元大小MEMS运动来实现增加深度分辨率,以增加分辨率。换言之,振动运动能够小于像素大小。在一些实施例中,这种振动创建对各像素将要捕获的若干子像素数据点。例如,在X-Y平面中使传感器振动半传感器单元增量实现创建一组4个子像素精确度图像,其中四个振动帧的每个可用于子像素分辨率、集成或者组合在一起,以增加图像的精度。MEMS装置可通过调整一个或多个图像捕获装置的FOV来控制光圈形状。例如,窄FOV可实现较长范围深度感测分辨率,以及较宽FOV可实现短范围深度感测。MEMS装置还可通过实现一个或多个图像捕获装置、传感器、光圈或者它们的任何组合的移动,来控制FOV的光学中心。例如,传感器基线位置能够加宽,以优化远深度分辨率线性度的深度线性度,以及传感器基线位置能够缩短,以优化近范围深度线性度的深度感知。
[0026]图3是具有MEMS装置304的传感器302的图示300。传感器302可以是图像捕获装置的组件。在一些实施例中,传感器302包括用于捕获图像信息、深度信息或者它们的任何组合的光圈。MEMS装置304可与传感器302相接触,使得MEMS装置304能够在整个X-Y平面移动传感器302。
[0027]相应地,MEMS装置304能够用来沿4个不同方向移动传感器,如箭头306A、箭头306B、箭头306C和箭头306D所示。
[0028]在一些实施例中,深度感测模块能够结合MEMS装置304,以便快速振动传感器302以模仿人眼扫视运动。这样,在图像传感器的光电二极管单元积聚光的时间期间,以子光电二极管单元粒度来提供图像的分辨率。这是因为多个偏移图像在各种偏移位置提供单光电单元的数据。包括图像传感器的振动的图像的深度分辨率可增加图像的深度分辨率。振动机构能够以光电二极管大小的部分来振动传感器。
[0029]例如,MEMS装置304可用来按照传感器单元大小的部分量、例如以对各单元大小尺寸的I μ m来振动传感器302。MEMS装置304可在图像平面中振动传感器302以增加深度分辨率,与人眼扫视运动相似。在一些实施例中,图像捕获装置的传感器和透镜可共同移动。此外,在一些实施例中,传感器可随透镜而移动。在一些实施例中,传感器可在透镜下移动,而透镜是固定的。
[0030]在一些实施例中,能够设计或选择MEMS装置的可变扫视振动模式,从而产生可编程扫视振动系统。使用图像振动来得到的偏移图像能够按照特定序列来捕获,并且然后共同集成到单个高分辨率图像中。
[0031]图4是3个振动网格的图示。振动网格包括振动402、振动网格404和振动网格406。振动网格402是3X3网格,其包括以3X3网络的中心点为中心的振动模式。振动模式依次绕网格的边缘行进,直到在中心停止。类似地,振动网格404包括振动模式,其以3X3网络的中心点为中心。但是,振动模式跨振动网格404依次地从右到左、到右行进,直到在网格的右下方停止。在振动网格402和振动网格404中使用网格的总大小是图像传感器光电单元大小的部分的网格。通过振动以得到光电单元的部分的不同视图,深度分辨率可增加。
[0032]与振动网格402和振动网格404相比,振动网格406使用甚至更精细网格分辨率。粗线408表示传感器图像单元大小。在一些实施例中,传感器图像单元大小对各单元为IUmo细线410表示作为振动间隔的结果所捕获光电单元大小的部分。
[0033]图5是跨网格的振动移动的图示500。网格502可以是如针对图4所述的振动网格406。各振动使偏移图像504被捕获。具体来说,各图像504A、504B、504C、504D、504E、504F、504G、504和5041相互偏移。各振动图像504A-504I用来计算以参考标号506所示的最终图像。因此,最终图像能够使用9个不同图像来计算在各振动图像的中心的分辨率。
[0034]图像中处于振动图像的边缘处或附近的面积可少至一个图像、多达9个不同图像,以计算图像的分辨率。通过使用振动,与使用固定传感器位置相比,得到更高分辨率图像。单独振动图像可共同集成到较高分辨率图像中,以及在一实施例中可用来增加深度分辨率。
[0035]图6是示出沿基线轨602的MEMS控制传感器的简图。除了如上所述振动传感器之外,传感器还可沿基线轨移动。这样,采用传感器所提供的深度
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1