专利名称：多镜头和多传感器成像系统性能的提高的制作方法
技术领域：
本发明涉及到多个镜头和多个传感器的数字相机来产生一个或多个图像。具体的 是关于数字相机使用多个镜头和多种图像传感器，以纠正镜头本身和不良和缺陷以及光路 的上误差以产生高质量的图像。
背景技术：
该图像采集系统包括镜头和图像传感器即光学分系统和电子分系统。关于多镜头 和多传感器系统中在美国专利6611289号(2003年8月26日发表，发明人Yu et al)进行 过描述。专利的题目是“使用多个传感器相机比多镜头的数字相机”。和一个传感器的数 字相机相比传感器收到的噪音将有压制效果，其结果是接收图像的动态范围和质量得以改 善。在本发明中收到的图像质量得到进一步改善和提高。光学系统，即包括镜头和光通路。由于制造的镜头本身的过程不一致和误差、温度 变化甚至是镜头表面上的一些灰尘，所以造成镜头的不完善。有一以前的发明可以利用数 字手段来弥补缺陷，在美国专利第20050068452题目为“数字相机内置的镜头校准表”有所 介绍。然而，这种方法都是基于单镜头相机，摄像机将遭受低信噪比和低灵敏度的限制。所 以，这些优点和优势不能直接被多镜头和多传感器的相机所利用的。由于新型产品不断发展、技术快速进步并出现了互联网、电子邮件、无线通信等， 这些新技术都有助于使数字相机和移动设备具有相机功能而成为最热门的新一类的消费 电子产品。但是，图像质量、图像的像素数和图像的动态范围等还有待于进一步提高。本发 明中数字相机使用多个图像传感器与多个镜头，改善了各种数字相机图像质量，而不会带 来成本增加。本发明已考虑了数字相机的现有问题和需要，并特别是考虑了如何进一步满足数 字相机的进一步要求，以生产高品质的数字图像。本发明以改进的数字相机可用四个图像 传感器为例，每个传感器有自己的镜头，其中两个图像传感器是接受两个原基颜色，红色和 蓝色，而第三和第四次是接受的是所有可见光的信息。使用一个嵌入数字图像处理数处理 芯片，图像由两个彩色图像传感器处理参照图片从黑白图像传感器，产生出高质量真彩色 数字图像。美国专利6611289中提到了镜头和传感器独特的配置，它有许多显而易见的好处 和优势。首先，图像传感器的解相度可以充分利用的。第二，每个图像传感器只负责接受一 种颜色；从而那种昂贵的把微型彩色滤波器叠加的每一像素的工艺就可以取消了，后续的 微型镜片工艺也不是必要的。应该注意到这种具有这种微型选择性彩色滤波的传感器仍然 可以使用，第三，图像从黑白(亮度)图像传感器捕捉的信息，可以包括所有的细节。这两 个彩色图像传感器可能已经错过了黑白细节。此外，因为这些图像传感器解像度可充分利 用，为在同一解像度的彩色图像，该图像传感器可使用相对较小的像素数量，或同样数量像 素的会有更高分辨率，这通常会导致传输速率高，灵敏度高，少串拢，同一空间分辨率采用 低时钟速度。此外，图像的传感器面积可以较小，因此可以使用较小的光学镜头，这特别有利于镜头的制造，安装和校准和改正。详细的程序稍后说明。
发明内容
本发明是一种改进的数字相机。如下是其中具体显的描述所述的数字相机系统 包括四个紧密安装在一个共同平台上的图像传感器，共有4个镜头每一个分别安装在四个 图像传感器的前面；头两个图像传感器可接收两个可见颜色谱的原基色；第三个和第四个 传感器图像可接受全面的可见颜色谱；四个模拟数字转换电路将四个图像传感器的信号转 换成数字化的四个强度图像；它们分别是与头两个数字图像相应的头两个图像数据和第三 个和第四个数字图像对应相应的第三个和第四个图像数据；所述的数字相机还有在模拟数 字转换电路之后的处理电路可以把图像数据进行存储和记忆，然后进行数字图像处理生产 生最后的完整的彩色图像。本发明步骤可部分体现在一个程序或布置上。该程序检测和纠正所获图像的数 据。这种程序可以全面审查所有区域中的所有镜头像素对象和数据。本项发明在下列将具 体描述并体现如随附的说明图。图1 多镜头和多传感器的数字相机两个全光谱传感器图2 —个可能的测试图像可用于发现和纠正示意图。图3 从不同的传感器得到一维检测的比较数据，。
为了能更好地理解本发明的优势及其他功能，本人将在以下几列方面做出说明， 并附在声明和标注在相应的图纸上。图型1 体现了本发明的基本想法本图显示了所述多镜头和传感器数字相机采 用的方框图；它也表明多个图像传感器被置于紧密的平台。两个传感器能够接收所有的可 见光，他们可能没有或可能有一些镶嵌彩色滤光片。如果采用了一些色素过滤器，这些过滤 器的设计应能使图像传感器感光的像素接收其全部考虑的光谱。图型2 表明了一个有代表性测试图像，它有许多鲜明的黑白边缘和不同的颜色。图型3 显示一个一维的典型示例，以表示体现缺陷可以得到纠正。它表明了本发 明以比较从不同的传感器的不同图像数据同样的机制可以容易地适用于二维的传感器情 况。下面的详细说明本发明具体的细节，以便进一步透彻的了解本发明。然而，它将不 描述那些明显的和已知的工艺。描述是具有代表性并均为常见的手段，即使用了有经验或 技能的工艺最有效地传达的实质内容。在其他情况下，众所周知的方法，程序，组件和电路 没有详细说明，以避免不必要的混淆或冗余。图1 描述了图像采集系统。即使用多个镜头和多个传感器的数字照相机。摄影 对象是101。镜头是102，104，106和108。图像镜头中也同时显示在116，117，118和119。 相机机身是如115所描绘。该图像传感器也如103号，105号，107和109所示。图像数据 的微型处理器是114通过传输电缆110，111，112和113接受到数据。图像数据经过处理器 进行处理。处理过程包括对图像传感器和镜头的检测和相互校正。图2 描述一些典型用于错误检测和校正的测试图像。201代表绿色块是主要组成部分亮度。202是黑色(暗色)块，所对应的传感器应当具有较低的数据输出。203是红色 块和204表明蓝块。应当指出的区块有尖锐的颜色之间的过渡块。图3 描绘的过程中发现镜头或在光路的缺陷。301原始图像数据中的一个层面。 302是坐标轴，可横向或纵向。303是数据强度的轴。同样，305，305，308，311，314表示坐标 轴。306，309，312，315所代表的图像数据的特定颜色组成部分强度。301显示原始数据中 的一个强度断面。304显示接收从一个完美的镜头和传感器的数据。307表明从传感器2 收到其中有一些有缺陷的区域的数据。210表明没有任何缺陷的数据。313是一个所收到 的蓝色传感器的数据，它有一些有缺陷的区域。316和317是一个被本发明发现的缺陷的位 置的说明。
具体实施例方式数字摄影是一个出现在20世纪后半期最激动人心的技术，使用适当的硬件和软 件，几乎任何人都可以使用数字摄影。最近由于的产品引进、技术进步并价格不短降低，同 时最重要的是出现了高速无线通信和互联网，这有助于使数字相机成为最炙手可热的新一 类的消费电子产品。大多数数字相机的图像传感器使用或感光器材，如电荷耦合器件(CCD)或互补金 属氧化物(CMOS)技术半导体感知到场景。感光器件把现场转化成电信号然后转换成数字， 光线通过红、绿、蓝过滤器，例如，由此可以看出每个单独的彩色光谱。当数据是通过合并和 处理，相机能够确定每个部分的图片的具体的颜色。由于图像实际上是一个数字数据的集 合，它就可以轻松地下载到电脑和产生更多的艺术效果。然而，有许多情况下，由于数字相机的性能有限，所以相机可能根本无法使用。相 比之下人的肉眼仍然有许多优点，有更多的自适应处理能力，更高的分辨率。动态范围的相 机，由于大脑的力量，加上眼(传感器)的自适应，人眼的缺陷可以大大限制和和改善。例 如，一对近视眼可优于任何单一的一只眼，在非常低的光照明的情况下，人眼视觉系统会自 动变成一个单一颜色或接近单色彩模式，以提取认为最重要的信息。在一个典型的多光学镜头和多种图像传感器或感光芯片的数字相机中，感光芯片 包括一个两维的光电转换细胞数组，即像素。有选择性地交织在一起的彩色滤光片是叠加 在每个像素。这样，分别第一次和第二次选择一批光电感作出的红色和蓝色一系列可见光 谱，光电感光芯片通常有一定的各项解像能力，由此产生的水平分辨率是由若干像素连续 在行的排列所决定和垂直分辨率是由一些像素在列的排列所决定。由于彩色和亮度感光像 素交替排列，实际上的图像解像素已被减少。虽然我们清楚地认识到还有许多其他质量因素限制了数字相机的性能，数字相机 的图像采集有许多限制。例如，由于众所周知的光学绕射的效果，孔径不能任意设置和此参 数将反过来会极大地影响到图像质量。当光圈值设置为低一些，这样可以得到更多的灯光 和改善衍射效应，但镜头质量缺陷可以更暴露和最终图像质量受到影响。当光圈值设置为 高，衍射效应将成为影响图像质量的主要因素。当采用多个镜头和多传感器相机，一个传感器缺失可以用其他传感器的数据得到 补偿和纠正。一般来说一个位置只有一个缺陷，造成镜或灰尘的缺陷检测和纠正程序。其 程序如下
5 应该注意到本发明及步骤应在获得初步的结果图像之后进行，不同传感器的数据 可能有座标的缩放和对齐已保证位置的严格匹配。参考文献[1]美国专利6611289号(2003年8月26日发表，发明人Yu et al) “使用多个 传感器相机比多镜头的数字相机”。[2] “数字图像处理”拉.冈塞雷斯.理.伍兹，1992，ISBN 0-201-508 03-6
权利要求
多镜头和多传感器的数码采集和处理系统(相机)其多个图像传感器密切安装在一个平台上并且其图像数据共用一个单独的处理器，此数码相机至少有一个全频谱传感器，并且此数码相机可以获取并处理从如上所述的多个传感器采集的图像数据。
2.如(1)所上述的图像采集和处理系统，两个全光谱图像传感器数据进行线性相对比 较和相关，没有进一步的非线性处理，只是一些基本的线性处理。
3.如(1)所上述的图像采集和处理系统，两个全光谱图像传感器数据进行非线性处理 及非线性和线性混合处理。
4.如(1)所上述的图像采集和处理系统，不同传感器或不同方式的传感器应用一些带 有丰富的空间频率(和丰富的颜色)的图片被用来作为比较的对象来采集数据，如类似于 国际象棋棋盘的图像。
5.如上述的图像采集和处理系统，利用从不同的传感器图像采集的数据，使镜头的缺 陷，镜头安装的误差，以及尘埃或其他不良材料所造成的光学接收路径上的图像误差得到 纠正和弥补或将其减少到最低限度。
6.在上述表示图像采集与处理系统，从不同的传感器的图像数据数值以及其一阶导数 和二阶导数的进行了比较以确定相对坐标点。
7.在上述的图像采集与处理系统，不同的传感器和所对应的镜头可以有不同的参数， 例如焦距、光圈和快门的速度。
8.在上述的图像采集与处理系统，不同传感器的数据可有座标的缩放和对齐已保证位 置的严格匹配。
全文摘要
本发明是基于已经发明的多传感器多透镜系统的图像采集与处理系统。这种系统可用于提高信号的信噪比(SNR)，动态范围和其他接收图像信号的参数。在本发明中通过多镜头和多传感器的基本原理和一些运算来校正的原来光学系统(镜头)局限性误差和缺陷以提高性能。
文档编号H04N5/217GK101860760SQ20091008176
公开日2010年10月13日 申请日期2009年4月10日 优先权日2009年4月10日
发明者张冬云 申请人:张冬云