三维物体成像设备的制作方法

专利名称：三维物体成像设备的制作方法
技术领域：
本发明涉及三维物体成像设备，更具体地，涉及从由复眼成像装置捕获 的多个单位图像重建三维物体的图像的三维物体成像设备。
背景技术：
已有从多个单位图像经图像处理重建单一图像的设备，其中所述多个单 位图像是由具有多个微透镜的复眼照相机捕获的(参照，例如日本特开专利公布2005-167484)。复眼照相机的优势在于它可以被制造得很薄，并可容 易得获得明亮的图像。然而，它也有缺点，即每个捕获的单位图像的清晰度 低。为了在从多个单位图像重建单一图像的图像处理中提高图像的清晰度， 己开发了例如算术平均、伪逆矩阵和像素重排等各种方法。算术平均的方法 使用每个单位图像的重心作为参考以重叠图像。在另一方面，伪逆矩阵的方 法使用向量来表达待成像物体和单位图像，并使用矩阵来描述光学系统的点 像分布函数，使得数学计算点像分布函数的逆矩阵，从而形成重建图像。日本特开专利公布2005-167484公开了像素重排的方法，其为从多个单 位图像重建具有高清晰度的单一图像的方法之一。参考图16和图17简述曰 本特开专利公布2005-167484中介绍的成像设备，其中图16为该专利公布所 示成像设备的示意性框图，而图17为示出由该成像设备执行的用以重建图 像的过程的示意性视图。如图16所示，其中所描述的成像设备100包括具 有多个光学透镜的复眼照相机101，以及用于处理由复眼照相机101捕获的 图像的处理器102。如图17所示，处理器102在同一区域M重排由复眼照相机101捕获的 单位图像Q1、 Q2、 Q3的像素，，单位图像Q1、 Q2、 Q3的像素之间存在由 于多个光学透镜中的位置差异引起的视差，这使得单位图像Q1、 Q2、 Q3的 像素均从其它的像素轻微偏移对应于偏移量的量(各单位图像间相对位置的 偏移)，以纠正其间的视差。更具体地，为了在同一区域M重排各单位图像Ql、 Q2、 Q3的像素，成像设备100基于单位图像Q1、 Q2、 Q3之间的相关 函数计算偏移量。在这种已知设备或方法中存在一些问题需要解决。日本特开专利公布 2005-167484所示的成像设备使用像素重排的方法从物体的多个单位图像中 重建二维图像，使得其相比使用算术平均法、伪逆矩阵法等方法可获得具有 更高清晰度的重建图像。然而，为了在该设备上重建二维图像，多个单位图 像的像素均在重排平面上被重排，其中重排平面是设置在距离复眼照相机预 定距离(物体的位置如最初放置)的固定平面。因此，如果待捕获的物体是具有深度的三维物体，就很难获得具有高清 晰度的重建图像。而且，这种设备具有以下缺点，即只能用于复眼照相机到 物体的距离已知的情况。注意，作为第二发明，日本特开专利公布 2005-167484描述了，从偏移量以及例如复眼照相机的透镜到透镜距离和透 镜焦距等已知参数，推导出物体和复眼照相机之间的距离。然而，这存在以 下问题，即需要在图像处理之外的过程中预先得到各种参数值，而且并没有 公开推导距离的特定方法。另一方面，已有三维形状提取设备，其根据照相机相对物体移动时捕获 的多个图像推导相对物体(待成像的)的距离分布，并基于推导出的距离分 布生成二维图像(参照，例如日本特开平专利公布9-187038)。然而，日本 特开平专利公布9-187038中所述的设备使用单眼照相机而不是复眼照相机 作为成像装置，其中快门随着单眼照相机移动而开和关多次，以从不同视角 获得多个图像。因此，物体和成像装置间的距离在每次捕获图像时都不同， 从而使得无法获得物体的高清晰重建图像。还有其他已知的方法和设备，例如日本专利3575178公开的方法，其利 用物体图像间的视差基于三角原理来推导相对物体的距离，从而检测物体的 存在范围。进一步，日本特开专利公布2001-167276公开的成像设备，其使 用测量距离分布的距离传感器，使得根据测量到的距离分布为每个距离划分 电荷耦合器件(Charge Coupled Device, CCD)成像设备所捕获物体图像的 图像区域，以生成预定的合成图像。然而，根据这些专利公布所公开的方法 和设备，无法通过简单处理轻松获得具有高清晰度的物体重建图像。发明内容本发明目的是提供一种三维物体成像设备，用以从由复眼成像装置捕获 的多个单位图像中重建三维物体的图像，其中可通过简单处理获得具有高清晰度的重建图像。为了实现上述目的，本发明相应公开了一种三维物体成像设备，该设备 包含复眼成像装置以及图像重建装置，所述图像重建装置基于具有所述复眼 成像装置所捕获像素的多个单位图像重建三维物体的图像。其中，所述图像 重建装置包括距离计算装置，用于对形成所述单位图像的每个像素计算所 述三维物体与所述复眼成像装置之间的距离(以下称为"像素距离")；以及重建图像生成装置，用于通过在位于所述像素距离的平面上逐像素重排所述 多个单位图像来生成重建图像。如此构造的三维物体成像设备使得，可为由所述复眼成像装置捕获的多 个单位图像的每个像素计算所述三维物体与所述复眼成像装置之间的像素 距离，同时在位于所述像素距离的平面上逐像素重排每个单位图像。因此， 可通过简单的过程轻松获得具有高清晰度的重建图像。所述三维物体成像设备可被设计为，所述距离计算装置包括临时重建 图像生成装置，用于(a)执行临时重建图像生成过程，以在与所述单位图像的像素相距多个预定距离的多个平面中的每个平面上生成所述多个单位 图像的临时重建图像，其中对于所述多个预定距离中的第一个预定距离(以 下称为"第一临时距离")，在位于所述第一临时距离的多个平面中的第一个平面(以下称为"第一临时距离平面")上逐像素重排所述多个单位图像；以 及(b)对位于其它所述预定距离(以下称为"后续临时距离")的其它所述平 面(以下称为"后续临时距离平面")重复所述临时重建图像生成过程，从而 生成多个临时重建图像；反向投影图像生成装置，用于(a)执行反向投影 图像生成过程，以在所述第一和后续临时距离平面中的每个平面上、对应于 各所述单位图像且在数量上与所述单位图像相一致地生成反向投影图像，其 中对于所述第一临时距离，所述多个单位图像均被逐像素地反向投影到所述 第一临时距离平面上；以及(b)对位于所述后续临时距离的所述后续临时 距离平面重复所述反向投影图像生成过程，从而为每个所述单位图像生成多 个反向投影图像；比较装置，用于在所述第一和后续临时距离平面中的每个平面上，基于各所述单位图像的所述临时重建图像和所述反向投影图像，比较所述第一和后续临时距离；以及像素距离确定装置，用于基于所述比较装 置的比较结果确定所述像素距离。优选地，所述重建图像生成装置包括高频分量单位图像生成装置，用于通过从所述多个单位图像中的每个单位图像中提取高频分量来生成多个高频分量单位图像；低频分量单位图像生成装置，用于通过从所述多个单位 图像中的每个单位图像中提取低频分量来生成多个低频分量单位图像；高频 分量重建图像生成装置，用于通过在位于所述像素距离的所述平面上重排由 所述高频分量单位图像生成装置生成的所述多个高频分量单位图像，来生成 高频分量重建图像；图像选择装置，用于从由所述低频分量单位图像生成装 置生成的所述多个低频分量单位图像中选择具有较低噪声的低频分量单位 图像；低频分量反向投影图像生成装置，用于通过将由所述图像选择装置选 择的所述低频分量单位图像逐像素地反向投影到位于所述像素距离的所述 平面上，来生成低频分量反向投影图像；累加装置，用于将由所述高频分量 重建图像生成装置生成的所述高频分量重建图像与由所述低频分量反向投 影图像生成装置生成的所述低频分量反向投影图像相加，从而获得重建图 像。如此构造的所述三维物体成像设备将由所述复眼成像装置捕获的多个 单位图像分成高频分量和低频分量。这两个分量用来生成高频分量重建图像 和低频分量反向投影图像。然后，将所述高频分量重建图像与所述低频分量 反向投影图像中具有最低噪声的那个低频分量反向投影图像相加，从而获得 重建图像。因此，所述三维物体成像设备可降低例如边缘暗化或较低频率噪 声的影响，从而可获得具有更高清晰度的重建图像，其中使用复眼成像单元 很容易产生所述边缘暗化或较低频率噪声的影响。尽管在所附权利要求书阐明了本发明的新颖性特征，本发明通过以下结 合附图的详细描述将得到更好的理解。


将参照附图描述本发明如下。请注意，所有附图均出于说明本发明或其 实施例的技术概念的目的而被示出，其中图1是根据本发明第一实施例的三维物体成像设备的示意性视图，部分 采用框图形式；图2A是示意性透视图，用于解释该三维物体成像设备中物体、光学透 镜阵列和单位图像之间的位置关系；而图2B是示意性平面图，用于解释该 物体、该光学透镜阵列和作为该单位图像代表性示例的2单位图像之间的位 置关系；图3是示出由该三维物体成像设备执行的生成重建图像的过程的流程图；图4是示出由该三维物体成像设备执行的计算像素距离的步骤的流程图；图5是示意性透视图，用于解释该三维物体成像设备中生成重建图像的 原理；图6是示例性视图，用于解释该三维物体成像设备中生成重建图像的原理；图7是示意性透视图，用于解释该三维物体成像设备中生成反向投影图 像的原理；图8是示例性视图，用于解释该三维物体成像设备中生成反向投影图像 的原理；图9是示例性视图，用于解释存储在存储器中的估计值组；周10是示出由该三维物体成像设备中复眼成像单元所捕获单位图像的 示例的示意性视图；图11是示出当在该三维物体成像设备中设置一个临时距离时重建图像 的示例的示意性视图；图12是示出在该三维物体成像设备中推导出的距离图像的示例的示意 性视图；图13是示出在该三维物体成像设备中基于该距离图像生成的重建图像 的示例的示意性视图；图14是示意性透视图，用于解释该三维物体成像设备中对3个三维物 体生成重建图像的原则；图15是示出由根据本发明第二实施例的三维物体成像设备执行的生成重建图像的过程的流程图；图16是传统成像设备的示意性框图；以及图17是示出由传统成像设备执行的用以重建图像的过程的流程图。
具体实施方式
下面将参照附图描述作为实现本发明的最佳模式的本发明实施例。本发 明涉及三维物体成像设备。应理解，在此描述的实施例并无限制或覆盖本发 明整个范围的意图。并注意，在所有附图中，通过类似的数字、字母或符号 标明类似的部件。 (第一实施例)将参考图1至图14描述根据本发明第一实施例的三维物体成像设备1。图1是本实施例的三维物体成像设备1的示意性视图，部分采用框图形式。如图1所示，三维物体成像设备1包括复眼成像单元2 (对应于权利要求 中的"复眼成像装置")；以及主要包括微处理器4的图像重建单元5 (对应 于权利要求中的"图像重建装置，，)，其中微处理器4用于通过模/数转换器(Analog-to-Digital， A/D) 3接收由复眼成像单元2捕获的图像信息、并基 于接收到且数字化的图像信息逐像素计算从(待成像的)三维物体到复眼成 像单元2 (更具体地，下述光学透镜阵列6)的距离(以下称为"像素距离") 以及进一步基于计算出的像素距离生成重建图像。微处理器4用作权利要求中的"距离计算装置"、"重建图像生成装置"、"临 时重建图像生成装置"、"反向投影图像生成装置"、"比较装置"、"像素距离 确定装置"、"高频分量单位图像生成装置"、"低频分量单位图像生成装置"、 "高频分量重建图像生成装置"、"图像选择装置"、"低频分量反向投影图像生 成装置"和"累加装置"。两个不同尺寸的球形物体Sbl、 Sb2和一个立方体物 体Sc分别以不同的距离dl、 d2、 d3放置在复眼成像单元2 (更具体地，光 学透镜阵列6)之前。图2A是示意性透视图，用于解释物体A、光学透镜阵列6和单位图像 kl至k9之间的位置关系。参考图1和图2A，复眼成像单元2包括光学透 镜阵列6，其由以三行三列的矩阵阵列排列在同一平面上的9个光学透镜L(在本实施例中为9的光学透镜个数实际上优选为更大)形成；以及固态成像元件7，其由互补金属氧化物半导体(Complementaiy Metal Oxide Semiconductor, CMOS)图像传感器组成，用于捕获形成在各光学透镜L的 焦点上的9个单位图像kl至k9。如图1所示，图像重建单元5包括微处 理器4; ROM (Read Only Memory,只读存储器)8，其存储例如用于微处 理器4的操作程序；RAM (Random Access Memory,随机存储器)9，其临 时存储例如图像数据；以及大容量存储器ll。微处理器4基于从复眼成像单 元2收到的单位图像kl至k9的图像信息生成重建图像，并通过如液晶面板 的显示单元10显示重建图像。图2B是示意性平面图，用于解释物体A、光学透镜阵列6和两个单位 图像k5和k6之间的位置关系，k5和k6是单位图像kl至k9的代表性示例。 参考图2A和2B，将描述光学透镜阵列6、放置在光学透镜阵列6前的物体 A、以及通过各透镜L形成于固态成像元件7上的单位图像kl至k9之间包 括位置关系的关系。为了描述方便，在图2A中，假定物体A是平行于XY 平面(二维平面)放置的板，且其上绘制有倒置的字符"A"。光学透镜阵列6 和固态成像元件7也平行于XY平面放置。9个光学透镜L在固态成像元件7上收集来自物体A的光线，以分别形 成三行三列矩阵中的9个单元图像kl至k9。这里具有关系式h-Hxf/D，其 中D是物体A到光学透镜阵列6的距离、f是光学透镜阵列6到固态成像元 件7的距离(焦距)、H是物体A的垂直长度(尺寸)、以及h是每个单位 图像kl至k9的垂直长度(尺寸)。实际上，复眼成像单元2的焦距f具有 非常小的值，使得每个单位图像的尺寸h也具有小的值。更进一步，单位图像kl至k9是其间存在视差的图像。例如，由中央光 学透镜L形成的单位图像k5与单位图像k4和k6有不同的视角(偏左/偏右)， 偏差值分别是光学透镜L间的距离d，这是因为单位图像k4、 k6是由与中央 光学透镜L左和右相距距离d的光学透镜L形成。显然，图2B代表性示出 单位图像k6与单位图像k5的关系，单位图像k4、 k6均相对单位图像k5分 别有左视差角和右视差角0，其满足关系式tane:d/D。这9个单位图像kl至 k9均具有基于这种关系的视差。由于视差效应，物体A的图像在单位图像 kl至k9的位置上有不同的偏移。下面将讨论，在重排单位图像kl至k9以 形成重建图像时纠正视差效应。接下来，将参考图3和图4的流程图描述生成重建图像的过程，其由第 一实施例中三维物体成像设备1的微处理器4执行。如图3的流程图所示， 微处理器4从由固态成像元件7捕获的单位图像获得9个单位图像kl至k9 作为数字图像信息(步骤S1);并为每个单位图像kl至k9的每个像素计算 像素距离(以生成如下详细描述的距离图像)(步骤S2);以及进一步基于 距离图像逐像素重排单位图像kl至k9，从而生成重建图像(步骤S3)。对 在上述步骤S2中计算像素距离的步骤，将参考图4、图5和图9做更详尽地 描述。注意，为了描述简单，在此假设待成像物体是置于未知距离D (参考 图2)的二维物体A，并可将具有深度的三维物体认为是许多连续的置于不 同未知距离(D)的二维物体。首先，微处理器4从多个预设的临时距离Dl至Dn中读取第一临时距 离D1 (第一预定距离)，并设置临时距离D1 (对应于权利要求中的"第一临 时距离")(步骤Sll)。这里，临时距离D1到Dn是光学透镜阵列6到物 体的距离D的候选，并以离散值的形式预先准备或存储在ROM 8或存储器 11中。物体(待捕获的)离光学透镜阵列6越远，视差角e会越小，使得根 据单位图像之间的偏移确定距离变得越困难。因此，实际上，对离光学透镜 阵列6较近的范围(近距离区域)以相对短的间隔设置相对多的临时距离； 反之，对离光学透镜阵列6较远的范围(远距离区域)以相对长的间隔设置 相对少的临时距离。例如，距离Dl至Dn可为由指数函数u二aV定义的离散 值u。接下来，根据上面设置的临时距离D1，微处理器4从9个被存储的单 位图像kl至k9生成一个重建图像(步骤S12)。生成重建图像的过程，可 通过类似于日本特开专利公布2005-167484所述的图像重排方法来实现。现 在将参考图5和图6描述生成重建图像的过程。图5和图6是示意性透视图 和解释性视图，用于解释三维物体成像设备1生成重建图像的原理。如图5 和图6所示，在与光学透镜阵列6相距临时距离Dl的平面(以下称为"临时 距离平面"，对应于权利要求中的"第一临时距离平面")上，微处理器4以位 于每个单位图像kl至k9的xy坐标平面上相同坐标位置的像素g的数字值 被投影到临时距离平面的区域G (对应于每个像素g)上的方式，将9个单 位图像kl至k9逐像素重排到一个重建图像Adl中。在下面的描述中，由xy坐标表示每个单位图像kl至k9的坐标，以区别于二维XY平面。更具体地，微处理器4如下生成重建图像Adl。微处理器4执行第一像 素重排步骤，使得各单位图像kl至k9的位于坐标(x-l， y-l)处的像素g(l， l)在位于临时距离Dl的临时距离平面上被重排；根据上述关系式tane=d/D 纠正单位图像kl至k9中的视差，关系式tane-d/D在此可相应表示为 tanei=d/Dl，这就像，来自物体A的光线，其沿通过各光学透镜L的光收集 路径被收集在固态成像元件7上以形成单位图像kl至k9，分别沿相同的光 收集路径返回至物体A。下一步，微处理器执行第二像素重排步骤，使得各 单位图像kl至k9的位于坐标(x=2，y=l)处的像素g(2， l)在位于临时距离 Dl的临时距离平面上被重排，使用与像素g(l, l)相同的方法纠正单位图像 kl至k9中的视差。通过重复后续像素重排步骤直到所有的像素g(x， y)都用 这种方法在临时距离平面上进行了重排，生成重建图像Adl 。如图6所示，在如此生成的重建图像中，形成对应于像素g(x,y)的区域 G(x，y)。更具体地，区域G(x，y)的图像是由像素g(x,y)形成的，反映了基于 临时距离D1的视差角01 (tan ei=d/Dl)的视差纠正，以补偿单位图像kl 至k9中的偏移量(视差)。将如此生成的重建图像Adl存储于例如存储器 11。注意，图5通过虚线显示重建图像Ad，其中Ad重建在位于未知距离D 之处的平面上。如果临时距离Dl等于未知距离D，所获得的重建图像具有 高清晰度；而如果临时距离与未知距离存在偏移，重建图像Adl的清晰度比 重建图像Ad的低。接下来，基于临时距离D1，微处理器4从被存储的9个单位图像kl至 k9生成9个反向投影图像(步骤S13)。将参考图7和图8描述生成反向投 影图像的过程。图7和图8是示意性透视图和解释性视图，用于解释三维物 体成像设备1中生成反向投影图像的原理，其中中央单位图像k5被用作代 表性示例。如图7和图8所示，在与光学透镜阵列6相距临时距离Dl的临 时距离平面上，微处理器4以将像素的数字值逐像素投射到临时距离平面上 的方式，生成单位图像k5的反向投影图像Ard。更具体地，微处理器4按下面的描述生成单位图像k5的反向投影图像 Ard。如图8所示，微处理器4执行第一像素投影步骤，使得位于单位图像 k5的坐标(x=l，y=l)处的像素g(l， l)被放大至重建图像Adl的尺寸并被投影到位于临时距离D1的临时距离平面上，这就像，来自物体A的光线，其 沿通过各光学透镜L的光收集路径被收集在固态成像元件7上以形成单位图 像k5，分别沿相同的光收集路径返回至物体A。接下来，微处理器4执行第 二像素投影步骤，使得位于单位图像k5的坐标(x=2,y=l)处的像素g(2,1) 通过与像素g(l， l)相同的方法被放大并投影到临时距离平面上。通过重复后续像素投影步骤直到单位图像k5的所有像素g(x， y)都用这 种方法在临时距离平面上进行了放大和投影，生成反向投影图像Ard。在如 此生成的反向投影图像Ard中，由一个像素g(x, y)形成对应于像素g(x， y)的 区域G(X, Y)。微处理器4对所有单位图像kl至k9重复上述生成投影图像 的过程，从而生成9个反向投影图像Ard;尽管未示出，下面将把这9个反 向投影图像指定为Ardl至Ard9。上述单位图像k5的反向投影图像可指定为 Ard5。将如此生成的9个反向投影图像Ardl至Ard9存储于例如存储器11。接下来，基于如上生成的一个重建图像Adl和9个反向投影图像Ardl 至Ard9，微处理器4计算xy坐标平面上每个像素的估计值(步骤S14)。 更具体地，估计值SSD(x,y)是由下面的公式给出的-S幼(x,力t(斷x,力-5(x,力)2在这个公式中，i表示单位图像的序号(如第i个单位图像ki) ， Ri(x, y)表 示像素G在第i个单位图像ki的反向投影图像Ardi的xy坐标位置的数字值， 而B(x， y)表示像素G在重建图像Adl的xy坐标位置的数字值，以及n为单 位图像的个数，n在本实施例中为9。更具体地，微处理器4对xy坐标平面上的每个像素g计算重建图像Adl 和第一单位像素kl的反向投影图像Ardl之间差的平方，从而计算第一单位 图像kl的反向投影图像Ardl相对重建图像Adl的偏差。以同样的方法，微 处理器4计算重建图像Adl和第二单位图像k2的反向投影图像Ard2之间差 的平方，从而计算第二单位图像k2的反向投影图像Ard2相对重建图像Adl 的偏差。通过对所有反向投影图像Ard3至Ard9以同样的方法重复后续计算， 微处理器4获得9个偏差。微处理器4将这9个偏差相加以计算估计值SSD(x, y)，随后将估计值SSD(x， y)存储于例如存储器11 。接下来，微处理器4判断是否已利用临时距离平面(对应于权利要求中的除Dl的"第一临时距离平面"之外的"后续临时距离平面")完成每个临时距离Dl到Dn (对应于权利要求中的除"第一预定距离"之外的"后续预定义 距离")的步骤Sll至步骤S14，其中临时距离是在步骤Sll设置的(步骤 S15)。如果没有完成(步骤S15中的"否")，则过程再次返回到步骤Sll， 以更新临时距离Di (步骤Sll)。 一般地，按临时距离的大小次序执行该过 程，从而通常从Di到D(i+l)地进行临时距离Di的更新。这种情况下，在比 重建图像Adi离光学透镜阵列6更远的位置生成重建图像Ad(i+1)(步骤 S12)。然后，在临时距离平面(对应于权利要求中的一个"后续临时距离平 面")上生成临时距离D(i+1)的9个反向投影图像Ardl至Ard9 (步骤S13)。 基于这9个反向投影图像Ardl至Ard9，计算临时距离D(i+l)的估计值SSD(x, y)，并将估计值SSD(x，y)存储于例如存储器ll。微处理器4重复这些步骤， 直到所有临时距离D1至Dn都完成了步骤Sll至步骤S14，从而获得在数量 上与临时距离Dl至Dn相一致的n个估计值SSD(x, y)，并将这组n个估计 值SSD(x, y)存储于例如存储器11。图9示意性示出了这组例如存储在存储 器11中的估计值；如图9所示，对应于各xy坐标位置存储估计值SSD。此后，如果微处理器4确定每个临时距离Dl至Dn都完成了步骤Sll 至步骤S14，以至可对所有临时距离Dl至Dn计算估计值SSD(x， y)(步骤 S15中的"是")，微处理器4则确定在位于xy坐标位置的像素g(x，y)的估 计值SSD(x， y)中，哪个临时距离Dl至Dn给出最小的估计值SSD(x, y)。微 处理器4还确定给出最小估计值SSD(x， y)的临时距离Di就是位于每个xy坐 标位置的像素g(x, y)的像素距离D (步骤S16)。换句话说，微处理器4在 z方向从图9所示估计值组中为xy坐标平面上每个像素g搜索估计值SSD， 从而检测到像素距离D作为xy坐标平面上每个像素g的临时距离Di。最后， 微处理器4生成由屏幕亮度/暗度差异形成的距离图像PD，其中通过将在步 骤S16中为xy坐标平面上每个像素g确定的像素距离D转化为屏幕亮度/暗 度的差异来获得具体图像PD (步骤S17)。图10是示出由三维物体成像设备1中复眼成像单元2捕获的单位图像 kl至k9的示例的示意性视图，其中，如图1所示与复眼成像单元2 (光学 透镜阵列6)相距不同距离dl、 d2、 d3的两个球形物体SM、 Sb2和一个立 方体物体Sc被用作待捕获的三维物体。图11是示出三维物体成像设备1中设置一个临时距离Di时的重建图像Adi的示例的示意性视图，其中，球形 物体Sbl的距离dl是53cm、球形物体Sb2的距离d2是23cm、以及立方体 物体Sc的距离d3是3cm，而临时距离Di是23cm。进一步，图12是示出 在三维物体成像设备1中于上述步骤S17推导出的距离图像PD的示例的示 意性视图。图11中的重建图像Adi显示了这样一种情况，其中临时距离Di设置在 与复眼成像单元2 (光学透镜阵列6)相距等于球形物体Sb2的距离(23cm) 的位置。因此，球形物体Sb2的图像被以高清晰度重建，然而球形物体Sbl 和立方体物体Sc的图形被以低清晰度重建。更进一步，在图12所示的距离 图像PD中，位于远处的球形物体Sbl被显示为暗色，表示dl二53cm。另一 方面，位于中间位置的球形物体Sb2被显示为浅色，表示d2:23cm;而位于 非常近处的立方体物体Sc被显示为白色，表示d3二3cm。这样，颜色的明/ 暗表示xy坐标平面上每个像素的像素距离D(x， y)。接下来，基于如上推导出的距离图像PD，微处理器4在位于特定位置 (像素距离)的临时距离平面上为每个像素g重排9个单位图像kl至k9， 从而生成重建图像(步骤S3)。下面将通过一个示例描述该重建过程，其中， 通过忽略形成每个物体Sbl、 Sb2和Sc的像素之间像素距离的差异，也即假 定物体Sbl、 Sb2和Sc均为没有深度的二维物体，上述3个物体Sbl、 Sb2 和Sc被用作三维物体。图14是示意性透视图，用于解释三维物体成像设备 1中为这3个三维物体生成重建图像的原理。如图14概念性所示，微处理器 4基于距离图像PD，在与光学透镜阵列6距离为dl (像素距离)53cm的临 时距离平面上，重排球形物体Sbl的图像PSbl;以及进一步，微处理器4 基于距离图像PD，在与光学透镜阵列6距离为d2 (像素距离)23cm的临时 距离平面上，重排球形物体Sb2的图像PSb2;同时，微处理器4还基于距 离图像PD，在与光学透镜阵列6距离为d3 (像素距离)3cm的临时距离平 面上，重排立方体物体Sc的图像PSc。图13是示意性视图，用于示出三维物体成像设备1中基于距离图像PD 生成重建图像的示例。综上所述，微处理器4在位于距离图像PD所确定特 定像素距离D(x, y)之处的临时距离平面上重排单位图像kl至k9的每个像 素，从而生成如图13所示的重建图像RP。因此，可以说，在如上生成的重建图像RP中，所有物体Sbl、 Sb2和Sc的图像都被适当调焦，并被以高清 晰度重建。微处理器4在显示单元10显示这样的重建图像RP。注意，在本 实施例计算像素距离的步骤(步骤S2)中，基于估计值SSD计算像素距离 D(x, y)，就像从重建自单位图像kl至k9的重建图像Ad与反向投影自单位 图像kl至k9的反向投影图像Ard之间的偏差计算像素距离D(x, y)—样。然 而，可用另一方法计算像素距离。(第二实施例)接下来，参考图15的流程图，将描述根据本发明第二实施例的三维物 体成像设备l中微处理器4执行的生成重建图像的过程。第二实施例的三维 物体成像设备1具有和第一实施例相同的结构。第二实施例中的微处理器4 执行步骤S21 (获得单位图像kl至k9的步骤)和步骤S22 (为每个像素计 算像素距离D(x， y)以获得距离图像PD的步骤)，其中步骤S21和步骤S22 与执行在第一实施例中的步骤Sl和步骤S2相同，所以在此略去步骤S21和 步骤S22的详细描述，且下面将描述从步骤S23开始的过程。微处理器4将从步骤S21获得的单位图像kl至k9应用于公知的平滑滤 波器以提取每个单位图像的低频分量，从而生成低频分量单位图像kll至k19(步骤S23)。接下来，微处理器4从原始单位图像kl至k9中分别减去低 频分量单位图像kll至k19，以生成高频分量单位图像khl至kh9(步骤S24)。 将如此生成的低频分量单位图像kll至k19和高频分量单位图像khl至kh9 存储于例如存储器ll。基于从计算像素距离的步骤(步骤S22)获得的距离 图像PD，微处理器4在位于每个像素距离D(x， y)的临时距离平面上进一步 逐像素重排高频分量单位图像khl至kh9，从而生成一个高频分量重建图像(步骤S25)。与第一实施例中生成重建图像的步骤相类似，生成高频分量 重建图像的步骤S25在位于特定像素位置D(x， y)的临时距离平面上为每个像 素重排高频分量单位图像khl至kh9。将如此生成的高频分量重建图像存储 于例如存储器ll。接下来，从在步骤S23生成的低频分量单位图像kll至k19中，微处理 器4选择一个具有较低噪声的低频分量单位图像，例如，具有比预定阈值低 的亮度的那个低频分量单位图像，或者在一个低频分量单位图像中具有大灰度的那个低频分量单位图像(步骤S26)。 一般地，复眼成像单元2的光学 透镜阵列6具有这样一种结构，其中边缘或外围的单位图像(例如，单位图 像kl、 k3、 k7和k9)比中央的单位图像(例如，单位图像k5)暗，这称作 边缘或外围暗化。因此，通常在步骤S26中，微处理器4参考亮度值、灰度 等级等选择最亮的和低噪声的低频分量单位图像，例如kl5。其后，基于在像素距离计算的步骤(步骤S22)获得的距离图像PD，微 处理器4将如此选出的低频分量单位图像(例如，k15)逐像素地反向投影到 位于像素距离D(x， y)的临时距离平面上，从而生成低频分量反向投影图像 (步骤S27)。将如此生成的低频分量反向投影图像存储于例如存储器ll。 最后，微处理器4读取存储在例如存储器11中的高频分量重建图像和低频 分量反向投影图像，并将它们相加以生成重建图像(步骤S28)。这里，在 步骤S28的相加步骤之前，微处理器4可将高频分量重建图像的每个像素的 数字值乘以等于或大于1的系数，从而强调高频分量重建图像，使得可锐化 该图像。如前所述，第二实施例中的三维物体成像设备1将由复眼成像单元2捕 获的多个单位图像kl至k9分成高频分量和低频分量。这两个分量用于生成 高频分量重建图像和低频分量单位图像。其后，高频分量重建图像与低频分 量反向投影图像相加，其中低频分量反向投影图像是从低频分量单位图像中 具有最低噪声的那个低频分量单位图像(例如，k15)生成的，从而获得重建 图像。这样，三维物体成像设备l可降低例如边缘暗化的影响，从而可获得 具有更高清晰度的重建图像，其中使用复眼成像单元2很容易产生边缘暗化。已利用前面的优选实施例描述本发明如上，但该描述不应解释为对本发 明的限制。对于已阅读该描述的本领域普通技术人员来说，各种修改将变得 明显、显然、或显而易见。因此，所附权利要求书应被解释为覆盖落入本发 明原理和范围内的所有修改和变型。本发明以2007年3月26日提交的日本专利申请2007-080172为基础，且该申请的内容通过引用合并于此。
权利要求
1.一种三维物体成像设备，包括复眼成像装置和图像重建装置，所述图像重建装置基于具有所述复眼成像装置所捕获像素的多个单位图像重建三维物体的图像；其中，所述图像重建装置包括距离计算装置，用于对形成所述单位图像的每个像素计算所述三维物体与所述复眼成像装置之间的距离，作为像素距离；以及重建图像生成装置，用于通过在位于所述像素距离的平面上逐像素重排所述多个单位图像，来生成重建图像。
2. 根据权利要求1所述的三维物体成像设备，其中所述距离计算装置 包括临时重建图像生成装置，用于执行临时重建图像生成过程，以在与所述 多个单位图像的像素相距多个预定距离的多个平面中的每个平面上生成所 述多个单位图像的临时重建图像，其中对于所述多个预定距离中作为第一临 时距离的第一个预定距离，在位于所述第一临时距离的多个平面中作为第一临时距离平面的第一个平面上逐像素重排所述多个单位图像；以及用于对位 于其它所述预定距离的其它所述平面重复所述临时重建图像生成过程，从而 生成多个临时重建图像，其中其它所述预定距离作为后续临时距离、且其它 所述平面作为后续临时距离平面；反向投影图像生成装置，用于执行反向投影图像生成过程，以在所述第 一和后续临时距离平面中的每个平面上、对应于各所述单位图像且在数量上 与所述单位图像相一致地生成反向投影图像，其中对于所述第一临时距离， 所述多个单位图像均被逐像素地反向投影到所述第一临时距离平面上；以及 用于对位于所述后续临时距离的所述后续临时距离平面重复所述反向投影 图像生成过程，从而为每个所述单位图像生成多个反向投影图像；比较装置，用于在所述第一和后续临时距离平面中的每个平面上，基于 各所述单位图像的所述临时重建图像和所述反向投影图像，比较所述第一和 后续临时距离；以及像素距离确定装置，用于基于所述比较装置的比较结果确定所述像素距离。
3. 根据权利要求2所述的三维物体成像设备，其中所述重建图像生成 装置包括-高频分量单位图像生成装置，用于通过从所述多个单位图像中的每个单 位图像中提取高频分量来生成多个高频分量单位图像；低频分量单位图像生成装置，用于通过从所述多个单位图像中的每个单 位图像中提取低频分量来生成多个低频分量单位图像；高频分量重建图像生成装置，用于通过在位于所述像素距离的所述平面 上重排由所述高频分量单位图像生成装置生成的所述多个高频分量单位图 像，来生成高频分量重建图像；图像选择装置，用于从由所述低频分量单位图像生成装置生成的所述多 个低频分量单位图像中选择具有较低噪声的低频分量单位图像；低频分量反向投影图像生成装置，用于通过将由所述图像选择装置选择 的所述低频分量单位图像逐像素地反向投影到位于所述像素距离的所述平 面上，来生成低频分量反向投影图像；以及累加装置，用于将由所述高频分量重建图像生成装置生成的所述高频分 量重建图像与由所述低频分量反向投影图像生成装置生成的所述低频分量 反向投影图像相加，从而获得所述重建图像。
4. 根据权利要求1所述的三维物体成像设备，其中所述重建图像生成 装置包括高频分量单位图像生成装置，用于通过从所述多个单位图像中的每个单 位图像中提取高频分量来生成多个高频分量单位图像；低频分量单位图像生成装置，用于通过从所述多个单位图像中的每个单 位图像中提取低频分量来生成多个低频分量单位图像；高频分量重建图像生成装置，用于通过在位于所述像素距离的所述平面 上重排由所述高频分量单位图像生成装置生成的所述多个高频分量单位图 像，来生成高频分量重建图像；图像选择装置，用于从由所述低频分量单位图像生成装置生成的所述多 个低频分量单位图像中选择具有较低噪声的低频分量单位图像；低频分量反向投影图像生成装置，用于通过将由所述图像选择装置选择 的所述低频分量单位图像逐像素地反向投影到位于所述像素距离的所述平面上，来生成低频分量反向投影图像；以及累加装置，用于将由所述高频分量重建图像生成装置生成的所述高频分 量重建图像与由所述低频分量反向投影图像生成装置生成的所述低频分量 反向投影图像相加，从而获得所述重建图像。
全文摘要
本发明公开了一种三维物体成像设备。根据本发明一实施例，该三维物体成像设备包括复眼成像单元和图像重建单元，其中图像重建单元基于由复眼成像单元捕获的多个单位图像重建三维物体的图像。基于由复眼成像单元获得的多个单位图像，图像重建单元对形成单位图像的每个像素计算物体与复眼成像单元之间的距离(即“像素距离”)，并在位于像素距离的平面上逐像素地重排单位图像，以生成重建图像。优选地，图像重建单元将从多个单位图像生成的高频分量重建图像与选自从多个单位图像生成的低频分量单位图像中具有较低噪声的低频分量单位图像相加，从而形成三维物体的重建图像。本发明使得，可通过简单过程轻松获得具有高清晰度的重建图像。
文档编号G06T1/00GK101276460SQ20081008669
公开日2008年10月1日 申请日期2008年3月26日 优先权日2007年3月26日
发明者中尾良纯, 政木康生, 谷田纯, 豊田孝 申请人:船井电机株式会社;国立大学法人大阪大学