专利名称：用于生成立体图像的图像传感器的制作方法
技术领域：
本发明涉及用于生成立体图像的图像传感器，更具体地涉及一种用于生成立体图像的晶片级图像传感器，从而方便进行机械对准并且适合小型化。
背景技术：
立体视觉源于双眼像差，即使在观察同一个物体的时候，左侧/右侧眼睛的不同位置(差别为6. 5cm)也会导致在两个眼睛的视网膜上的两个不同投影。一般情况下，需要立体摄像机系统来生成立体图像，其中立体摄像机系统机械地对准两个2维(2D)摄像机，并且光学系统被加入到单独制造的两个图像传感器中的每一个中。根据对准两台摄像机的方法，立体摄像机系统分为平行的、会聚的以及水平移动的立体摄像机系统。图1例示了平行立体摄像机系统。参照图1，无论对象的位置在哪里，两台摄像机总是被固定在同一个位置，并且平行设置。这种构造在可制造行和成本方面是有优势的。根据平行立体摄像机系统，图像处理装置被加入到摄像机的后端用来控制视角和根据焦距进行机械对准的修正。采用平行立体摄像机，如果对象很接近以至于两个图像之间的差别很大，则发生会聚。如果对象远离以至于两个图像之间的差别很小，则立体效果变差。为了控制视角，左侧/右侧图像被存储在存储器中，并且找出(find)左侧/右侧图像中相应点之间的距离。 当左侧/右侧图像中相应点之间的空间大于参考值时，两个图像之间的空间变窄；当左侧 /右侧图像中相应点之间的空间小于参考值时，两个图像之间的空间变大，因此防止了会聚并且提升了立体效果。虽然两个摄像机非常精细地被机械对准，但是在Y轴方向(垂直方向)、X轴方向 (水平方向)和Z轴方向(对象的方向)也会出现误差。因此，左侧/右侧图像被存储在存储器中，找出左侧/右侧图像的相应点，然后仅将左侧/右侧图像的公共部分显示在显示装置上。然而，无论何种图像处理，都不能解决以下限制。具体来讲，当同一个对象被左侧/右侧摄像机捕捉，但是X轴、Y轴、Z轴方向的三维对准并不完美时，Z轴方向不能被捕捉。因此，对于大规模生产会有很多困难并且立体效果也被减弱。此外，因为只有公共部分被显示，所以发生了图像丢失并且图像尺寸变得更小。图2例示了会聚立体摄像机系统。会聚立体摄像机系统是一种控制到对象的中心部分的摄像机方向(Z轴方向)的方案，如同人眼一样。这种方案几乎不被采用，因为图像而不是主要对象具有很大的左侧/ 右侧图像差异，以至于图像不能表示在现有的立体显示装置中。更具体地，只有当注视特定对象的时候，人眼才能够感知特定的对象。然而，因为监视器应当显示特定对象以外的区域，并且对象根据注视着监视器的人而不同，所以应当给出所有图像的视觉深度。会聚立体摄像机不能对所有区域输出给出视觉深度的数据，因此不能作为立体摄像机方案被广泛采用。图3例示了水平移动立体摄像机系统。参见图3，水平移动立体摄像机类似于平行立体摄像机，只不过是一种根据对象的距离来水平移动摄像机的方案。也就是说，当对象靠近的时候，扩大左侧/右侧摄像机之间的距离，而当对象远离的时候，缩小左侧/右侧摄像机之间的距离，以便机械地进行视角控制。考虑到视觉深度，水平移动立体摄像机优于水平立体摄像机，但是在成本、大小、可靠性和产量方面都存在不足，因此该方案仅在价格高昂的产品中采用。此外，水平移动立体摄像机通常用于广播，因为立体摄像机是根据变焦距离/焦距水平移动的。图4例示了在典型的立体摄像机中被采用的具有相互分离的结构的两个图像传感器。图5例示了用于驱动图4中的具有相互分离结构的两个图像传感器的驱动装置。图 6例示了驱动图4中的具有相互分离结构的两个图像传感器的过程中出现的图像丢失。参见图4到6，典型的立体摄像机系统通常具有两个2D摄像机，这两个2D摄像机具有相互分离的结构并且被机械地对准和使用。这会导致以下的限制在对准过程中出现误差；制造成本和可造性存在问题，因为需要在两个2D摄像机之间进行时间同步的装置； 立体摄像机系统具有大尺寸以致立体摄像机系统难于应用到移动终端、便携式立体摄像机或者立体摄像放像机中。
发明内容
本发明要解决的问题本发明提供了一种用于生成立体图像的图像传感器，其可应用于移动终端、便携式立体摄像机或者立体摄像放像机中。本发明还提供了一种用于生成立体图像的图像传感器，其适合于大量生产、小型化及低价格。本发明还提供了一种用于生成立体图像的图像传感器，其可以在X轴、Y轴、Z轴方向方便地进行机械对准。本发明还提供了一种用于生成立体图像的图像传感器，其中不必形成额外的电路用来在晶片外部调节时间同步。解决问题的手段为了达到以上的技术目标，根据本发明实施方式的用于生成立体图像的图像传感器包括左侧图像传感器，其生成对象的左侧眼睛图像；右侧图像传感器，其与左侧图像传感器分离设置并且生成对象的右侧眼睛图像；以及驱动电路单元，其驱动左侧图像传感器和右侧图像传感器，其中，左侧图像传感器、右侧图像传感器、驱动电路单元形成在一个晶片上。驱动电路单元的至少一部分可以设置在左侧图像传感器与右侧图像传感器之间的空间中。左侧图像传感器和右侧图像传感器可以在晶片级上自动对准，而不需要晶片外部的对准补偿电路。
左侧图像传感器与右侧图像传感器中读取的电信号之间的时间同步可以在晶片级上自动实现，而不需要额外的时间同步电路。左侧图像传感器和右侧图像传感器的宽度可以大于立体图像所输出到的显示器。图像传感器可以是互补金属氧化物半导体(CMOS)或者电荷耦合器件(CXD)。本发明的效果根据本发明的用于生成立体图像的图像传感器具有这样的结构，其中两个图像传感器形成在一个晶片上，因此显著地提升了立体效果，并且即使在晶片外部没有额外的对准补偿电路也可以方便地对两个图像传感器进行机械对准。因此，不需要在晶片外部形成用于调节时间同步的额外电路。此外，能够实现立体摄像机的大量生产、小型化和低价格。提供了一种用于生成立体图像的图像传感器，其可应用于移动终端、便携式立体摄像机或者立体摄像放像机。
本发明的其它目的、特征和优点将从以下的本发明的一些实施方式的详细描述中出现，其中将参照附图更详细地描述本发明的一些实施方式，其中图1是平行立体摄像机的对准方法的示意图；图2是会聚立体摄像机的对准方法的示意图；图3是水平移动立体摄像机对准方法的示意图；图4是在典型立体摄像机中使用的具有相互分离结构的两个图像传感器的示意图；图5是用于驱动具有图4中相互分离结构的两个图像传感器的驱动装置的示意图；图6是在驱动具有图4中的相互分离结构的两个图像传感器过程中发生的图像丢失的示意图；图7是根据本发明实施方式的用于生成立体图像的图像传感器的示意图；图8是一个结构的示意图，其中图7中的图像传感器被设置在印刷电路板上；图9是具有包含在根据本发明实施方式的用于生成立体图像的图像传感器中的左侧和右侧图像传感器的构造，以及用于驱动图像传感器的电路的示意图；图10是根据本发明实施方式的用于生成立体图像的图像传感器的驱动概念的示意图；图11是根据本发明的实施方式，根据驱动用于生成立体图像的图像传感器的有效图像区域的示意图。附图标记10:图像传感器12:左侧图像传感器14:右侧图像传感器 16:驱动电路单元18:晶片20:印刷电路板22 导线
具体实施例方式
以下将结合附图来描述本发明的优选实施方式。图7是根据本发明实施方式的用于生成立体图像的图像传感器的示意图。图8是这样一个结构的示意图，其中图7中的图像传感器被设置在印刷电路板上。参见图7和8，根据本发明的实施方式，用于生成立体图像的图像传感器10包括左侧图像传感器12、右侧图像传感器14和驱动电路单元16，其中图像传感器10利用导线22 采用倒装芯片结合方式设置在印刷电路板20上。应用于本发明实施方式中的图像传感器可以是互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器或者接触式图像传感器。在下文中，将示例性描述采用多种图像传感器中的CMOS图像传感器的情况。虽然在以下进行了描述，但是CMOS 图像传感器能够以大约3. 3V的单独电源来工作，比如通常的CMOS大型集成电路(LSI)，因此具有节能和内置信号处理功能的优点。这点将在驱动电路单元16的描述中进行详尽描述。左侧图像传感器12是用于生成对象的左侧眼睛图像的装置。左侧图像传感器12 中的每个像素都可以具有一个、三个或者四个晶体管和一个用于接收来自对象的光的光电
二极管。右侧图像传感器14设置在单独的晶片18上，并且和左侧图像传感器12分开设置。右侧图像传感器14是用来生成对象右侧眼睛图像的装置。也就是说，左侧图像传感器12和右侧图像传感器14形成在同一个晶片18上，并且彼此分离设置，因此表现出立体效果。下面将要对比现有技术进行更详尽的描述。参见图1到3，在现有技术中，立体摄像机是用两个2D摄像机来构造的，仅捕捉平面图像。根据典型的构造，2D摄像机分别具有如图4所示彼此分开发两个图像传感器。两个图像传感器物理地分开，形成在不同的晶片上，这会引起对准和时间同步的问题，如下文所述。然而，根据本发明的实施方式，用于生成立体图像的图像传感器10的构造是，两个图像传感器12和14安装在一个晶片18上。通过在图像传感器中加入光学系统，形成能够实现时间同步和在X、Y、Z轴机械对准的立体摄像机。进一步地，立体摄像机典型地通过分别制造左侧和右侧摄像机并且机械地对准它们而实现。这导致实现的立体摄像机的尺寸增大。此外，即使左侧和右侧摄像机被精细地对准，左侧和右侧摄像机也不能像人眼一样聚焦在同一个点上，这是因为对准过程中固有的限制。另外，如图5所示，还必须提供一个额外的摄像机对准补偿电路。根据本发明的实施方式的用于生成立体图像的图像传感器10具有这种构造，其中，两个图像传感器12和14安装在单个晶片18上。也就是说，两个图像传感器12和14安装在单个晶片18上，并且一个光学系统和驱动电路单元被加入其中，因此显著地减小了立体摄像机的尺寸。由于两个图像传感器12和14形成在单个晶片18上，所以X和Y轴上的对准误差能够控制在纳米量级，并且Z轴上的对准误差显著地减小，如图7中所示。因此，左侧和右侧图像传感器12和14总是能够聚焦在同一个点上，因此相比现有技术，进一步提高了立体效果。通过仅匹配构成光学系统的透镜的光轴(Z轴)，3维对准就能够容易地实现， 因此能够实现立体摄像机的大规模生产、小型化和低价格，并且显著地提升了立体效果。
此外，采用两个2D摄像机的典型立体摄像机必须需要一个额外电路，用来调节左侧和右侧摄像机之间的时间同步。然而，根据本发明的实施方式的用来生成立体图像的图像传感器10具有这种结构，其中左侧图像传感器12和右侧图像传感器14集成在单个晶片 18上，因此在左侧图像传感器12和右侧图像传感器14中读取的电信号之间的时间同步可以在晶片级上自动实现，而不需要额外的时间同步电路。因此，不需要在晶片外部形成用来调节时间同步的额外电路。根据本发明的实施方式，参见图5和10，可以看到依赖于图像传感器结构的驱动电路的改变。驱动电路单元16被设置在左侧图像传感器12和右侧图像传感器14之间的晶片 18上。驱动电路单元16是用来驱动左侧图像传感器和右侧图像传感器14的装置。这点将对比现有技术进行更详细的描述。参照图4，在现有技术中，彼此分开设置的图像传感器120和140的都具有这样的构造，其中图像传感区域设置在它们的中心，驱动电路，比如模数转换器(ADC)和图像信号处理器(ISP)设置在图像传感区域的外部的边缘。可是这种典型的结构减小了光接收区域。然而，参见图7到9，根据本发明实施方式的用于生成立体图像的图像传感器10具有这样的构造，其中左侧图像传感器12和右侧图像传感器14设置在单个晶片18上，并且彼此分开设置；驱动电路单元16设置在两个图像传感器12和14之间的晶片18的空区域上。也就是说，两个图像传感器12和14彼此分离设置，因此增强了立体效果，并且包含ADC 和ISP的驱动电路单元16设置在它们中间，因此在不减小光接收区域尺寸的情况下，显著地减小了导电的图像传感器的尺寸。上面以驱动电路单元16被设置在左侧图像传感器12与右侧图像传感器14之间的晶片18上的构造为例进行了描述。然而，这仅仅是作为示例，因此驱动电路单元16可以设置在左侧和右侧图像传感器12和14的外围区域的一部分或者全部上。如上所述，CMOS图像传感器可以通过一般的CMOS LSI制造工序形成。因此，CMOS 图像传感器可以形成在具有多种功能的一个芯片上，比如具有信号处理功能和输入输出功能，以及图像传感功能。CMOS图像传感器在单个芯片内具有摄像机的所有功能。也就是说， COMS图像传感器使“芯片上摄像机”得以实现，因此使得摄像机模块小型化。通常，由于对准误差和采用两个图像传感器生成立体图像的过程中的视角控制， 出现了图像丢失。然而，采用本发明实施方式中的图像传感器不会生成这种图像丢失。这点将对比现有技术进行更详细的描述。参见图6，在现有技术中，由视角控制过程引起的图像丢失加入到由两个图像传感器的对准误差造成的图像丢失。图6例示了一种情况，其中原始图像的对比度由 1280X1024 下降到 1080X924。然而，参见图11，根据本发明的实施方式，通过设置左侧图像传感器12和右侧图像传感器14来形成图像传感器10，使其具有大于立体图像所输出到的显示器的宽度，能够避免这种图像丢失。更具体地，首先，根据本发明实施方式的左侧图像传感器12和右侧图像传感器14 被机械地固定在单个晶片18上，因此不会发生由于对准误差生成的图像丢失。其次，如上所述，左侧图像传感器12和右侧图像传感器14被设置为具有大于可购买得到的显示器的宽度，因此也不会发发生由视角控制引起的图像丢失。也就是说，现有技术图像传感器仅支持具有标准尺寸(640X480,720X480,800X600、1280X 1024、1024X768、1280X720、 1920X1080)的TV/PC监视器，而根据本发明实施方式的图像传感器被设置为具有大于标准监视器的水平轴向(X轴)区域，因此能够补偿在视角控制过程中丢失的左侧和右侧图像，并且仅采用透镜进行水平的移动。图11例示了这样一种情况，其中显示器尺寸为 1280X1024像素，左侧图像传感器12和右侧图像传感器14具有1480X1024个像素，在显示器上不会发生图像丢失。采用现有技术图像传感器的立体摄像机在外部存储器中存储左侧和右侧眼睛图像，并且找出左侧和右侧眼睛图像中相应的位置。典型的立体摄像机通过改变存储在外部存储器中的左侧和右侧眼睛图像的读取起点来进行视角控制，使得如果左侧/右侧图像中相应点之间的距离大于参考值，则减小两个图像之间的空间，如果左侧/右侧图像中相应点之间的距离小于参考值，则增加两个图像之间的空间，其中该两个图像存储在外部存储器中。因此，左侧眼睛和右侧眼睛图像延迟了大约一帧(33毫秒)。然而，根据本发明的实施方式，在两个图像传感器12和14被设置在单个晶片18 上，并且通过驱动电路单元16驱动图传感器12和14的情况下，不必在存储器内存储左侧和右侧眼睛图像，就能通过改变左侧和右侧图像传感器12和14的读取点来控制视野。因此，不需要外部存储器，也不会发生图像延迟。如上面详细描述的，根据本发明的实施方式，用来生成立体图像的图像传感器10 具有这样的构造，其中两个图像传感器12和14设置在单个晶片18上。在立体摄像机中采用这种图像传感器10能够显著提升立体效果，并且不需要额外的对准补偿电路就能进行机械对准。因此，也不需要在晶片外部形成用于调节时间同步的额外电路。进一步地，能够实现大量生产和低价格的立体摄像机。根据本发明的实施方式，用于生成立体图像的图像感应器10广泛适用于各种立体图像生成的领域。比如，根据本发明的实施方式，具有轻、薄、短和小结构的立体摄像机可以通过在用于生成立体图像的图像传感器10上加入包含透镜的光学系统而实现。也可以应用到采用立体摄像机的立体摄像机、腹腔镜和移动终端中。立体摄像机还可以作为人机交互界面应用到空间探测装置中。结合附图描述了本发明的发明概念，然而，上述公开的内容仅是示例性的，并不作为限制。本领域技术人员应当理解，在不脱离本发明主旨和范围的情况下，可以有多种变型。
权利要求
1.一种用于生成立体图像的图像传感器，该图像传感器包括 左侧图像传感器，其生成对象的左侧眼睛图像；右侧图像传感器，其与所述左侧图像传感器分离设置，并且生成所述对象的右侧眼睛图像；以及驱动电路单元，其驱动所述左侧图像传感器和所述右侧图像传感器； 其中，所述左侧图像传感器、所述右侧图像传感器和所述驱动电路单元形成在单个晶片上。
2.根据权利要求1所述的图像传感器，其中，所述驱动电路单元的至少一部分设置在所述左侧图像传感器与所述右侧图像传感器之间的空间中。
3.根据权利要求1所述的图像传感器，其中，所述左侧图像传感器和所述右侧图像传感器的宽度大于所述立体图像所输出到的显示器。
4.根据权利要求1所述的图像传感器，其中，所述图像传感器是互补金属氧化物半导体CMOS或者电荷耦合器件CXD图像传感器。
全文摘要
本发明涉及一种用于生成立体图像的图像传感器。根据本发明，这种用于生成立体图像的图像传感器包括左侧眼睛图像传感器，其被设置为生成将要拍摄的对象的左侧眼睛图像；右侧眼睛图像传感器，其与左侧眼睛图像传感器分离设置以生成对象的右侧眼睛图像；驱动电路单元，其驱动左侧眼睛图像传感器和右侧眼睛图像传感器。左侧眼睛图像传感器、右侧眼睛图像传感器和驱动电路单元都布置在单个晶片上。根据本发明，用于生成立体图像的图像传感器能够应用在诸如移动终端、便携式立体摄像机或者立体摄像放像机之类的设备中。
文档编号H04N13/02GK102461188SQ200980159700
公开日2012年5月16日 申请日期2009年8月13日 优先权日2009年4月6日
发明者姜熙敏, 朴垠华 申请人:Asic银行股份有限公司