专利名称：Cmos图像传感器及使用该图像传感器的立体成像系统的制作方法
技术领域：
本实用新型一般地涉及立体成像系统，并且更具体地涉及由两个CMOS图像传感 器构成的立体成像系统。
背景技术：
由于人的双眼相距大约6-7厘米，两只眼睛看物体时是从不同角度看到的两个稍 有差别的图象，大脑将这两个具有视察的图象合成后形成立体的感觉，因此“立体图像”通 俗的讲就是利用人们两眼视觉差别和光学折射原理在一个平面内使人们可直接看到一幅 三维立体图，画中事物既可以凸出于画面之外，也可以深藏其中。随着光学、微电子学以及 计算机技术的发展，根据人眼“双目视差立体成像”原理，形成了多种三维立体成像与立体 显示技术。常见的做法是，在摄像时用两个镜头模仿人眼双目视差立体成像过程同时摄像， 然后分别存储获得的两幅图像，最后经诸如计算机等处理设备将这两幅图像的数据合成得 到立体影像输出。在目前图像系统的数字摄像技术中，CMOS (互补金属氧化物场效应管)图像传感 器是近些年来发展较快的新型图像传感器。采用CMOS技术，可将图像采集单元和信号处理 单元集成到同一块芯片上。CMOS图像传感器具有体积小、集成度高、功耗低、抗干扰能力强 和易于控制等优点，所以广泛应用于摄像头、扫描仪、可视电话、视频会议和视频监控等领 域中。20世纪80年代，英国爱丁堡大学成功地制造出了世界上第一块单片CMOS图像传感 器件。目前，CMOS图像传感器正在得到广泛的应用，具有很强的市场竞争力和广阔地发展 前景。因此，可将CMOS图像传感器用在立体成像系统中，即用两个CMOS图像传感器同 时捕获图像。但是，在将现有的CMOS图像传感器用于拍摄立体图像或视频时，由于两个图 像传感器很难做到完全同步，通常需要借助外部的影像控制处理芯片来保证左右图像是同 时拍摄的，或者左右视频的拍摄是同步进行的，以此达到最佳的拍摄效果。另外，利用现有的独立无关的CMOS传感器分别拍摄左右影响之后，需要专门的软 件或硬件平台对影像进行处理来获得不同格式的立体影像输出，这将使系统结构复杂，并 且使制造成本增加，或无法实时获得立体影像数据。
发明内容本实用新型的目标是解决用现有的CMOS图像传感器拍摄立体影像时两个传感器 同步控制困难的问题。本实用新型的另一目标是解决现有的图像传感器无法直接输出立体 影像的问题。为实现上述目标，本实用新型提供了用于立体成像的CMOS图像传感器，所述CMOS 图像传感器包括感光阵列、行列译码单元、像素控制及时序生成单元、模拟信号处理单元、 模数转换单元以及数字图像处理及合成单元。所述数字图像处理及合成单元接收所述模数 转换单元产生的第一数字影像数据，并且所述CMOS图像传感器从外部成像装置接收第二数字影像数据和对应的同步信号。随后，所述数字图像处理及合成单元响应所述同步信号 将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像输出。在一些实施例中，所述数字图像处理及合成单元被实现为包括数字图像处理模块 以及立体影像合成模块。在一些实施例中，所述数字图像处理及合成单元还内置存储器。所述存储器被用 于缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一数字影像 数据与所述第二数字影像数据同步。在一些实施例中，所述CMOS图像传感器还包括子控制接口。所述子控制接口用 于与所述外部成像装置通信。一般情况下，所述外部成像装置也是CMOS图像传感器，其可 以是通用的CMOS图像传感器，也可以是专门设计的CMOS图像传感器。 在一些实施例中，如果所述第二数字影像数据的格式与所述第一数字影像数据的 格式不同，则通过所述数字图像处理及合成单元对所述第一或第二数字影像数据进行色彩 空间变换使两者的格式一致。本实用新型所提供的CMOS图像传感器可以按红蓝格式、左右格式 (side-by-side)、点对点格式(dot-by-dot)和逐帧格式(frame-by-frame)中的一种格式 产生立体影像输出。本实用新型还提供了立体成像系统，该立体成像系统包括第一 CMOS图像传感器 和第二 CMOS图像传感器。所述第一 CMOS图像传感器包括感光阵列、行列译码单元、像素控 制及时序生成单元、模拟信号处理单元、模数转换单元以及数字图像处理及合成单元。在使 用中，所述第一 CMOS图像传感器通过所述数字图像处理及合成单元接收所述模数转换单 元产生的第一数字影像数据，并且从所述第二 CMOS图像传感器接收第二数字影像数据和 对应的同步信号。所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数 据与所述第二数字影像数据合成而得到立体影像输出。在一些实施例中，所述第一 CMOS图像传感器在所述数字图像处理及合成单元中 包括数字图像处理模块以及立体影像合成模块。所述立体成像系统中的第一和第二 CMOS 图像传感器可以共用所述数字图像处理模块。在一些实施例中，所述第一 CMOS图像传感器在所述数字图像处理及合成单元中 包括存储器，第一 CMOS图像传感器通过所述存储器缓存所述第一数字影像数据和所述第 二数字影像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步。在一些实施例中，所述第一 CMOS图像传感器具有子控制接口，并且所述第一 CMOS 图像传感器通过所述子控制接口与所述第二 CMOS图像传感器进行通信。通过所述子控制 接口进行通信包括所述第一 CMOS图像传感器通过所述子控制接口向所述第二 CMOS传感器 发送控制信号，所述控制信号可用于启动所述第二 CMOS图像传感器以及用于设置所述第 二 CMOS图像传感器的参数，例如曝光时间等。所述第二 CMOS图像传感器在产生所述第二 数字影像数据之后通过所述子控制接口向所述第一 CMOS传感器发送所述同步信号，并且 所述第一 CMOS图像传感器基于所述同步信号来调整向所述第二 CMOS图像传感器发送所述 控制信号的时间以使所述第一数字影像数据与所述第二数字影像数据同步。在另一些实施例中，对所述第一 CMOS图像传感器的控制与对第二 CMOS图像传感 器的控制相互独立，即在所述第一和第二 CMOS图像传感器之间没有相互通信而由同一个
4外部设备来控制这两个CMOS图像传感器的操作，诸如启动、复位等。仅由所述第二 CMOS图 像传感器单向地向所述第一 CMOS图像传感器发送数字影像数据和同步信号。与现有技术相比，本实用新型提供的CMOS图像传感器以及使用其的立体成像系 统结构简单，操作灵活，并且能够很好地解决立体成像时左右影像同步问题。在使用所述立 体成像系统时，可以根据所用的显示装置来配置对应的立体影像输出格式，实时驱动显示 装置或录制立体影像。由于集成了立体影像合成功能，不需要外接复杂的控制处理电路，因 而可以做到即插即用。构成所述立体成像系统的两个CMOS图像传感器可以形成类此主从 设备的关系，从而使其中一个CMOS图像传感器的结构大大简化，例如可以在其中一个CMOS 图像传感器中省去数字图像处理模块，而由另一个CMOS图像传感器对合成立体图像所需 的全部影像信号进行处理。在简化设备的同时，这也有利于两路影像信号的同步并且显著 地节省存储空间。值得注意的是，本实用新型所提供的设备及系统除了输出立体的三维影像外，也 可以根据需要输出二维影像，容易地实现二维影像与三维影像的切换。下面将结合具体实施例来描述本实用新型的方法。
图1是常规的CMOS图像传感器的结构框图；图2是根据本实用新型的CMOS图像传感器的结构框图；图3示出根据本实用新型的立体成像系统的实施例；以及图4a、4b和如示出根据本实用新型的立体成像系统的另一实施例，其中图如是 根据本实用新型的立体成像系统的框图，图4b是其中的CMOS图像传感器2的结构框图，而 图4c是其中的CMOS图像传感器1中的数字图像处理及合成单元的结构框图。
具体实施方式
为使本实用新型的上述目的、特征和优点更加明显易懂，
以下结合附图和具体实 施例进一步详细描述本实用新型。需要说明的是，附图中的各结构只是示意性的而不是限 定性的，以使本领域普通技术人员最佳地理解本实用新型的原理，其不一定按比例绘制。图1示出了常规的CMOS图像传感器100的结构框图。参照图1，CMOS图像传感 器100包括像素控制及时序生成单元11、行列译码单元12、感光阵列13、模拟信号处理单元 14、模数转换单元15以及数字图像处理单元16。在使用中，外界光照射感光阵列13，发生光 电效应，由此在像素单元内产生相应的电荷。行列译码单元12根据需要，选通相应的行像 素单元。行像素单元内的图像信号通过各自所在列的信号总线传输到对应的模拟信号处理 单元14以及模数转换单元15，转换成数字影像数据输出。模拟信号处理单元14的主要功 能是对信号进行放大处理，并且提高信噪比。另外，为了获得质量合格的实用成像装置，一 般的CMOS图像传感器芯片中必须包含各种控制电路，如曝光时间控制、自动增益控制等。 为了使芯片中各部分电路按规定的节拍动作，必须使用多个时序控制信号。为了便于成像 装置的应用，还要求该芯片能输出一些时序信号，如同步信号、行起始信号、场起始信号等。 这些功能一般都在像素控制及时序生成单元11中执行。—般地，在采用CMOS图像传感器进行取像之后，通常把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y (即 U)、B-Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这 种色彩的表示方法就是所谓的YUV色彩空间表示，亦称YcrCb。就CMOS图像传感器100而 言，其在进行模数转换之后得到RGB格式的影像信号，再通过数字图像处理单元14进行色 彩空间变换最后输出YUV格式的影像信号。采用YUV色彩空间的重要性是它的亮度信号Y 和色度信号U、V是分离的。如果只有Y信号分量而没有U、V信号分量，那么这样表示的图 像就是黑白灰度图像。采用YUV空间正是为了用亮度信号Y解决彩色显示与黑白显示的相 容问题，使黑白显示设备也能接收彩色影像信号。当然，CMOS图像传感器100也可以根据 需要输出数字RGB信号，而不一定输出数字YUV信号。CMOS图像传感器100通常包括控制寄存器(未示出)以接受外部的控制信息并且 响应该控制信息进行操作。例如，CMOS图像传感器可与便携式终端的主控制模块相连接， 从该主控制模块接收控制信号，诸如启动时间、曝光时间长度、像素复位等等。图2是根据本实用新型的CMOS图像传感器200的结构框图。类似于CMOS图像传 感器100，CMOS图像传感器200也具有像素控制及时序生成单元21、行列译码单元22、感光 阵列23、模拟信号处理单元M以及模数转换单元15。除此以外，CMOS图像传感器200还 包括数字图像处理及合成单元26，可在该单元中实现与CMOS图像传感器100的数字图像处 理单元16相同的功能，更重要地，可在该单元中执行任何现有技术中已知的立体影像合成 技术。一方面，所述数字图像处理及合成单元26从模数转换单元25接收CMOS图像传感 器200本身所获取的影像的数据并对其进行必要的处理。另一方面，所述数字图像处理及 合成单元沈对CMOS图像传感器200从外部接收另一路数字影像数据进行处理，这一路数 字影像数据可以是任何格式的，包括RGB和YUV格式。同时，CMOS图像传感器200从外部 接收与该另一路数字影像数据对应的同步信号，该同步信号可例如指示所述单元可以开始 接收对应于一帧影像的外部数据。所述数字图像处理及合成单元沈响应所述同步信号而 接收外部数字影像数据，并根据所需的输出格式，将所述两路信号合成。类似于CMOS图像传感器100，根据本实用新型的CMOS图像传感器200也包括控制 寄存器(未示出)以接受外部的控制信息并且响应该控制信息进行操作。所述另一路数字影像数据可以来自于外部的成像装置，优选地其也是CMOS图像 传感器。所述CMOS图像传感器200可以容易地与另一 CMOS图像传感器一起协作获得立体 影像输出。一般地，该另一 CMOS图像传感器可以是如图1所示的CMOS图像传感器100。在 这种情况下，CMOS图像传感器100和200可例如受同一便携式终端的主控制模块控制，响 应于该主控制模块的命令大体上同时从不同角度获取同一对象的影像，从而得到两路数字 影像数据。如上所述，CMOS图像传感器100将其产生的数字影像数据传送至所述CMOS图 像传感器200中的数字图像处理及合成单元，最后由CMOS图像传感器200产生合成的立体 影像输出，这将在下面结合图3进一步说明。另外，所述CMOS图像传感器200也可以与专门设计的CMOS图像传感器一起协作 获得立体影像输出。这种专门设计的CMOS图像传感器可以在结构上大大简化。在这种情 况下，例如便携式终端的主控制模块控制可以仅与所述CMOS图像传感器200连接并向其 发送控制信号。可以在所述CMOS图像传感器200上添加子控制接口(如图2中的虚箭头 所示)，以使所述CMOS图像传感器200可以通过该子控制接口向所述专门设计的CMOS图像传感器发送相应的控制信号，并根据其的反馈来调整该控制信号。所述专门设计的CMOS 图像传感器在所述CMOS图像传感器200的控制下获取影像。随后，按先前所描述的过程 由CMOS图像传感器200产生合成的立体影像输出。所述子控制接口可以是本领域中已知 的任何通信接口，诸如串行总线，不需要将其实现为非常快速的信号接口。将在下面结合图 4a-4c进一步说明这样构成的立体成像系统。在一些实施例中，所述数字图像处理及合成单元沈包括的独立的数字图像处理 模块与立体影像合成模块。优选地，所述数字图像处理及合成单元26包括存储器(未示 出)，以缓存所述两路数字影像数据中的一个来同步例如两帧图像。由于直接在CMOS图像 传感器200中合成两路信号，减少了许多额外的传输和处理过程，因此大大改善了两路信 号之间的同步，从而使得该存储器的存储容量可以非常小。最差情况下不超过一帧，而通常 情况下只需要若干行数据的存储容量。图3示出根据本实用新型的立体成像系统的实施例。应注意的是，以下对系统的 描述中也包含了对根据本实用新型的方法的说明，因此为了清楚起见不再重复对方法的说 明。系统10包括了 CMOS图像传感器1和2。其中，CMOS图像传感器2可以是市场上可买 到的任何常规的CMOS图像传感器，而CMOS图像传感器1是根据本实用新型的图像传感器， 其具有可直接得到立体影像输出的数字图像处理及合成单元36。在该实施例中，CMOS图像 传感器1和2之间没有相互通信，仅由CMOS图像传感器2向CMOS图像传感器1传送数字 影像数据及同步信号。在使用中，由例如便携式设备的主控制模块(未示出)将诸如启动时间和曝光时 间的控制信息分别写入CMOS图像传感器1和2的控制寄存器。所述CMOS图像传感器1和 2被布置为相距大约6-7厘米，由CMOS图像传感器1响应所述控制信息而获取左影像，而 由CMOS图像传感器2响应所述控制信号获取右影像，并且各自对所获取的影像进行处理。 CMOS图像传感器1可在其数字图像处理及合成单元36中根据所接收的同步信号及其内部 的数据完成指示信号来判断两个图像传感器产生的数字影像数据的先后，并将先完成的数 字影像数据缓存在所述存储器中，以等待另一路数字影像数据的到来。接着，经同步的两路 数字影像数据在数字图像处理及合成单元36中合成。所谓合成，即将两路数字影像数据的 顺序调整为符合特定输出格式要求。常见的立体影像输出格式包括红蓝格式、左右格式、点 对点格式或逐帧格式。如果不要求输出立体影像，也可以直接输出二维影像。在这个过程中，数字图像处理及合成单元36还可以对从CMOS图像传感器2接收 的数字影像数据的格式进行判断。例如，传感器2直接将其模数转换单元输出的RGB信号 传送至传感器1，而传感器1已产生YUV格式的信号，则该数字图像处理及合成单元36可利 用其数字图像处理功能对RGB信号进行色彩空间变换来使两者一致以便于合成立体影像 输出。在立体成像系统10中，由于通过两个CMOS图像传感器中的一个直接输出立体影 像输出，从而避免了许多不必要的信号传输和处理步骤，使得信号之间的同步性能更好，对 信号的处理更直接和灵活。也使得立体成像系统的结构更加简单紧凑，利于小型化的设计。图如、仙和如示出根据本实用新型的立体成像系统的另一实施例。在这个实施 例中，立体成像系统20中的CMOS图像传感器2是专门设计的CMOS图像传感器，其结构被 大大简化，这在图4b中被示出。CMOS图像传感器1是根据本实用新型的CMOS图像传感器，其具有与外部成像装置通信的子控制接口，从而可以向CMOS图像传感器2发送控制信息， 并从其接收反馈信号。在使用中，由例如便携式设备的主控制模块(未示出)将诸如启动时间和曝光时 间的控制信息写入CMOS图像传感器1的控制寄存器。CMOS图像传感器1根据所收到的控 制信息而在像素控制及时序生成单元41中生成对应的用于CMOS图像传感器2的控制信 息。在一些情况下，可在CMOS图像传感器1的控制寄存器中预存CMOS图像传感器2的性 能参数，以便于产生适当的控制信息。更优选地，CMOS图像传感器1可利用CMOS图像传感 器2的反馈信号来调整向传感器2发送的控制信息。举例来说，传感器1在收到外部的启 动命令之后立即向传感器2发送启动命令并等待传感器2传送回的同步信号及其内部的数 据完成指示信号。基于同步信号及内部数据完成指示信号，传感器1可判断两个传感器之 间的延迟，从而可以在下次向传感器2发送启动命令时相应地提前或滞后。通过这样的操 作，可以非常有利地实现两个传感器的操作之间的同步，从而大大减小所需要的存储器容 量，特别是在传感器的影像解析度提高的情况下。立体成像系统20的其他成像步骤与参照 图3所描述的大体相同，为了简洁起见不在此重复。在图4b中示出了 CMOS图像传感器2的例子500。不同于常规的CMOS图像传感 器，该传感器500去除了数字图像处理单元，仅通过模数转换单元55产生RGB格式的数字 影像数据。在图4c中示出了根据本实用新型的CMOS图像传感器1中的数字图像处理及合 成单元46的一种实现。其具有独立的数字图像处理模块和立体影像合成模块，并具有存储 器。在与图4b所示的传感器500 —起构成立体成像系统时，这两个传感器可以共用图如 所示的数字图像处理模块，从而大大节省了成本。根据实际需要，该数字图像处理模块可以 将两路数字RGB信号都转换到YUV色彩空间，或者直接输出数字RGB信号而不进行转换。在立体成像系统20中，由于通过两个CMOS图像传感器中的一个传感器直接控制 另一个传感器，从而大大提高了两个传感器操作的同步性，非常有利于立体成像，即可以节 省成本也大大提高了成像质量和操作的方便性。另外，这样构成的立体成像系统可以容易 地实现模块化，由于接口简单而可以方便地被嵌入各种成像设备中。应当说明的是，以上具体实施方式
仅用以说明本实用新型的技术方案而非对其 进行限制。尽管参照上述具体实施方式
对本实用新型进行了详细的说明，本领域的普通技 术人员应当理解，依然可以对本实用新型的具体实施方式
进行修改或对部分技术特征进行 等同替换而不脱离本实用新型的实质，其均涵盖在本实用新型请求保护的范围中。
权利要求1.一种用于立体成像的CMOS图像传感器，所述CMOS图像传感器包括感光阵列、行列译 码单元、像素控制及时序生成单元、模拟信号处理单元和模数转换单元，其特征在于，所述 CMOS图像传感器还包括数字图像处理及合成单元，其中所述数字图像处理及合成单元接收所述模数转换单元产生的第一数字影像数据，并且 所述CMOS图像传感器从外部成像装置接收第二数字影像数据和对应的同步信号；以及所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第 二数字影像数据合成而得到立体影像输出。
2.如权利要求1所述的CMOS图像传感器，其特征在于，所述数字图像处理及合成单元 包括数字图像处理模块以及立体影像合成模块。
3.如权利要求1所述的CMOS图像传感器，其特征在于，所述数字图像处理及合成单元 还包括用于缓存所述第一数字影像数据和所述第二数字影像数据中的一个以使所述第一 数字影像数据与所述第二数字影像数据同步的存储器。
4.如权利要求1所述的CMOS图像传感器，其特征在于，所述CMOS图像传感器还包括用 于与所述外部成像装置通信的子控制接口。
5.如权利要求1所述的CMOS图像传感器，其特征在于，其中所述立体影像输出被配置 为红蓝格式、左右格式、点对点格式和逐帧格式中的一种格式。
6.一种立体成像系统，所述立体成像系统包括第一 CMOS图像传感器，所述第一 CMOS图 像传感器包括感光阵列、行列译码单元、像素控制及时序生成单元、模拟信号处理单元、模 数转换单元，所述立体成像系统还包括第二 CMOS图像传感器，其特征在于所述第一 CMOS图 像传感器包括数字图像处理及合成单元，其中所述第一 CMOS图像传感器在所述数字图像处理及合成单元中接收所述模数转换单元 产生的第一数字影像数据，并且从所述第二 CMOS图像传感器接收第二数字影像数据和对 应的同步信号；以及所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第 二数字影像数据合成而得到立体影像输出。
7.如权利要求6所述的立体成像系统，其特征在于，所述第一CMOS图像传感器在所述 数字图像处理及合成单元中包括数字图像处理模块以及立体影像合成模块。
8.如权利要求6所述的立体成像系统，其特征在于，其中所述第一和第二CMOS图像传 感器共用所述数字图像处理模块。
9.如权利要求6所述的立体成像系统，其特征在于，其中所述第一CMOS图像传感器在 所述数字图像处理及合成单元中包括用于缓存所述第一数字影像数据和所述第二数字影 像数据中的一个以使所述第一数字影像数据与所述第二数字影像数据同步的存储器。
10.如权利要求6所述的立体成像系统，其特征在于，其中所述第一CMOS图像传感器具 有用于与所述第二 CMOS图像传感器进行通信的子控制接口。
11.如权利要求6所述的立体成像系统，其特征在于，其中所述第一CMOS图像传感器和 所述第二 CMOS图像传感器两者连接到共同的控制设备。
12.如权利要求6所述的立体成像系统，其特征在于，其中所述立体影像输出被配置为 按红蓝格式、左右格式、点对点格式和逐帧格式中的一种格式。
专利摘要本实用新型提供了一种用于立体成像的CMOS图像传感器以及利用该CMOS图像传感器的立体成像系统。所述CMOS图像传感器包括感光阵列、行列译码单元、像素控制及时序生成单元、模拟信号处理单元、模数转换单元以及数字图像处理及合成单元。所述数字图像处理及合成单元接收所述模数转换单元产生的第一数字影像数据，并且所述CMOS图像传感器从外部成像装置接收第二数字影像数据和对应的同步信号；以及所述数字图像处理及合成单元响应所述同步信号将所述第一数字影像数据与所述第二数字影像数据合成而得到立体影像。该CMOS图像传感器可与常规的或者专门设计的另一CMOS图像传感器一起构成立体成像系统。
文档编号H04N13/00GK201893879SQ20102063966
公开日2011年7月6日 申请日期2010年12月2日 优先权日2010年12月2日
发明者何光彩, 钟雄光 申请人:上海立体数码科技发展有限公司