专利名称：具有共享处理的多图像传感器系统的制作方法
技术领域：
本发明涉及成像系统，且更明确地说涉及具有多个图像传感器及共享处理的成像 系统。
背景技术：
许多移动及手持式装置为用户提供多种特征和功能，包含图像捕获。所述移动或 手持式装置的实例包含蜂窝式电话和个人数字助理。图1A是根据现有技术的蜂窝式电话 的正面透视图。蜂窝式电话100包含标准显示器102、小键盘104(数字0-9、#及*)、扬声 器106、麦克风108及用户输入装置110。用户输入装置110可用于存取或选择蜂窝式电话 100的各种特征和功能。内置式数码相机112 (见图1B)用于捕获静止及视频图像。通常，小显示器114位 于蜂窝式电话100的外侧116上以显示日期、时间以及例如电池电量及信号强度的各种状 况图标。数码相机112通常包含单个图像传感器，例如电荷耦合装置(CCD)或互补金属氧 化物半导体(CMOS)图像传感器。由于大多数移动及手持式装置(例如蜂窝式电话100)包含单个图像传感器，因此 难以实施一些应用，例如视频会议。相机112聚焦于定位于相机112前方的对象上而显示 器102位于蜂窝式电话100的内侧118上(图1A)。此意味着用户不能看着相机112捕获 他或她的图像而同时看着显示器102上的图像。因此，一些成像系统已考虑或实施使用多个图像传感器或多个标准显示器。然而， 假定一些成像装置的大小受到限制，这些解决方案更为昂贵且实施起来具有挑战性。此外， 当利用多个图像传感器时，一图像传感器中所包含的组件中的许多组件在每一图像传感器 中完全相同。
发明内容
一种多图像传感器系统包含以操作方式连接到一个或一个以上辅助图像传感器 的主集成式图像传感器。在根据本发明的一个实施例中，所述主集成式图像传感器包含与 图像信号处理电路、读出电路、数字串行接口、存储装置、定时电路、模/数转换器及双向数 字输入/输出电路一起集成到半导体衬底上的像素阵列。所述一个或一个以上辅助图像传 感器包含像素阵列、读出电路、数字串行接口、定时电路及输出电路。辅助图像传感器上 的输出电路可实施为模拟输出电路或数字输出电路。当辅助图像传感器包含数字输出电路 时，所述辅助图像传感器进一步包含模/数转换器。由所述主集成式图像传感器及每一辅助图像传感器捕获的图像由所述主集成式 图像传感器上的图像信号处理电路处理以产生再现图像。由每一辅助图像传感器捕获的图 像传输到所述主集成式图像传感器以用于由图像信号处理电路进行处理。由图像信号处理 电路执行的处理功能的实例包含(但不限于)色彩内插、白色平衡及色彩与伽马校正。在根据本发明的实施例中，每一辅助图像传感器通过数字串行接口将物理及操作数据传输到主集成式图像传感器。主集成式图像传感器存储此数据并基于所述物理及操作 数据调节与辅助图像传感器所捕获的图像相关联的一个或一个以上输出信号。仅以实例方 式，辅助图像传感器可将其分辨率传输到主集成式图像传感器。主集成式图像传感器接着 基于从那个辅助图像传感器接收的分辨率数据产生同步信号，例如帧、线及像素时钟信号 作为响应。在审阅实施例的以下详细描述及所附权利要求书并参考附图，将更清楚地理解及 了解本发明的这些及其它方面、目标、特征及优点。本发明的有利效应本发明包含使图像信号处理电路及相关联存储器集成于多图像传感器成像系统 中的单个主图像传感器上的优点。集成式图像信号处理电路接收并处理来自所述集成式图 像传感器上的像素阵列的图像信号以及来自一个或一个以上外部辅助图像传感器的图像 信号。成像系统的成本因图像信号处理电路及相关联存储器包含于仅一个图像传感器上而 并非所有图像传感器上而减小。另外，采用不同分辨率的图像传感器的成像系统的开发成 本可因集成式图像信号处理电路可使用每一图像传感器特有的物理及操作数据产生定制 的再现图像而减小。
图1A是根据现有技术的蜂窝式电话的正面透视图；图1B是图1A中所示的蜂窝式电话的背面透视图；图2是根据本发明的实施例中的第一传感器系统的框图；图3是根据本发明的实施例中的第二传感器系统的框图；图4A是根据本发明的实施例中的蜂窝式电话的正面透视图；图4B是图4A中所示的蜂窝式电话的背面透视图；且图5是根据本发明的实施例中的成像系统的框图。
具体实施例方式在整个说明书及权利要求书中，除非上下文另外清楚规定，否则以下术语取用本 文中明确相关联的含义。“一(幻”、“皿(一)”及“所述(the)”的含义包含复数参考，且 “在……中(in)”的含义包含“在……中(in)”及“在……上(on)”。术语“连接的”意指所 连接物项之间的直接电连接，或通过一个或一个以上无源或有源中间装置的间接连接。术 语“电路(circuit)”意指连接在一起以提供所要功能的有源或无源的单个组件或大量组 件。术语“信号(signal)”意指至少一个电流、电压或数据信号。参考图式，相同编号在所 有视图中指示相同部件。现参考图2，其显示根据本发明的实施例中的第一传感器系统的框图。传感器系统 200包含以操作方式连接到辅助图像传感器204的主集成式图像传感器202。辅助图像传 感器204在主集成式图像传感器202的外部。在根据本发明的实施例中，主集成式图像传 感器202实施为CMOS图像传感器。主集成式图像传感器202包含像素阵列206以用于捕获静止或视频图像。像素阵 列206中的每一像素包含光敏点位(未显示)，所述光敏位点捕获来自感兴趣场景的光并产生表示入射光的量的电荷。每一像素进一步包含至少一个输出结构(未显示)，例如晶 体管或放大器，以将所述电荷转换为电压图像信号。接着使用读出电路208来从像素阵列 206读出图像信号。读出电路208包含(但不限于)行及列解码器、列取样与保持电路以 及模拟信号处理电路。定时电路210产生由主集成式图像传感器202使用的定时信号，包含由读出电路 208使用的定时信号。从像素阵列206读出的图像信号由模/数转换器(ADC)212转换为数 字图像信号。所述数字图像信号接着由图像信号处理(ISP)电路214进行处理。由ISP电 路214执行的图像处理功能的实例包含(但不限于)色彩内插、白色平衡及色彩与伽马校 正。数字输入/输出电路216经由双向信号线218输出图像、定时及控制信号并作为 输入接收。定时及控制信号的实例包含(但不限于)帧、线及像素时钟信号。在根据本发 明的实施例中，双向信号线218表示共同数据总线，其可用于将已完成或再现图像信号或 原始(即，未经处理的)图像信号从主集成式图像传感器202或辅助图像传感器204输出 到移动或手持式装置。在根据本发明的其它实施例中，信号线218可实施为一个或一个以 上单向信号线。辅助图像传感器204包含像素阵列220，其用于捕获静止或视频图像；及读出电 路222，其用以从像素阵列220读出信号。在根据本发明的实施例中，辅助图像传感器204 实施为CMOS图像传感器。在根据本发明的另一实施例中，辅助图像传感器204实施为组合 有外部定时及ADC装置的(XD图像传感器。当辅助图像传感器204实施为CMOS图像传感器时，定时电路224产生由辅助图像 传感器204使用的定时信号，包含由读出电路222使用的定时信号。从像素阵列220读出 的信号由模/数转换器226转换为数字信号。数字输出电路228在信号线230上输出原始 数字图像信号。所述原始数字图像信号接着经由双向信号线218输入到主集成式图像传感 器202。所述原始数字图像信号由图像信号处理214进行处理。数字输入/输出电路216 经由双向信号线218输出再现图像。在根据本发明的实施例中，辅助图像传感器204经由从数字串行接口 232传输物 理及操作数据而经由数据总线236传输到数字串行接口 234。数字串行接口 232、234还可 以操作方式连接到成像系统237内的一个或一个以上组件。由辅助图像传感器204传输的 物理及操作数据的实例包含(但不限于)行及列的数目、固定图案校正数据、缺陷位置、白 色平衡及色彩校正系数以及感兴趣的窗口。在根据本发明的其它实施例中，由辅助传感器204传输的物理及操作数据可使用 在双向信号线218上或通过使用专用定时引脚(未显示)传输的数字图像信号数据串流中 的经编码信号传输到主集成式图像传感器202。主集成式图像传感器202将物理及操作数 据存储在存储装置238中。在根据本发明的实施例中，存储装置238实施为一组暂存器。在 根据本发明的其它实施例中，可以不同方式实施存储装置238。主集成式图像传感器202上的ISP电路214基于从辅助图像传感器204接收的物 理及操作数据调节一个或一个以上经处理的图像信号。仅以实例的方式，辅助图像传感器 204将分辨率数据、色彩校正矩阵系数或透镜阴影校正传输到主集成式图像传感器202。主 集成式图像传感器202基于从辅助图像传感器204接收的物理及操作数据产生并输出定制的图像信号或同步信号，例如帧、线及像素时钟信号。图3是根据本发明的实施例中的第二传感器系统的框图。传感器系统300包含以 操作方式连接到外部辅助图像传感器302、304的主集成式图像传感器202。在根据本发明 的实施例中，辅助图像传感器302、304中的至少一者实施为CMOS图像传感器。在根据本发 明的另一实施例中，辅助图像传感器302、304中的一者或两者实施为CCD图像传感器及单 独的定时及数字接口芯片。当辅助图像传感器302、304实施为CMOS图像传感器时，每一辅助图像传感器302、 304包含来自图2的像素阵列220、读出电路222、定时电路224及数字串行接口 232。模拟 输出电路306经由信号线308将模拟图像信号传输到主集成式图像传感器202。主集成式 图像传感器202上的ADC 212将所述模拟图像信号转换为数字图像信号。ISP 214处理所 述数字图像信号且数字输入/输出电路216接着输出最终或再现的图像信号。在根据本发明的实施例中，每一辅助图像传感器302、304经由其数字串行接口 232传输物理及操作数据而经由数据总线310传输到数字串行接口 234。物理及操作数据 被存储在存储装置238中。主集成式图像传感器202基于从辅助图像传感器302、304接收 的物理及操作数据产生定制的图像信号或同步信号，例如帧、线及像素时钟信号。在根据本发明的实施例中，辅助图像传感器204(图2)及辅助图像传感器302、 304 (图3)实施为较低分辨率的图像传感器，例如VGA或1. 3MP图像传感器，而主集成式图 像传感器202实施为较高分辨率的图像传感器。ISP电路214通常实施在主集成式图像传 感器202上，因为ISP电路214使用较小百分比的裸片面积。通常在不增加用于主集成式 图像传感器202的裸片的大小的情况下，可在裸片的可用或未使用区域中制造形成ISP电 路214的组件。辅助图像传感器204的裸片的大小因辅助图像传感器204不包含ISP电路 而减小。主集成式图像传感器202上的ISP电路214用于处理图像信号。类似地，辅助图 像传感器302、304的裸片的大小甚至减小得更多，因为ADC电路212及ISP电路214仅包 含于主集成式图像传感器202上，但由传感器系统300中的所有图像传感器202、302、304 用来处理图像信号。移除ADC电路212还可显著减小引脚计数，此可导致低分辨率传感器 的更小的裸片大小。现参考图4A，其显示根据本发明的实施例中的蜂窝式电话的正面透视图。蜂窝式 电话400仅是可采用图2或图3中所示的传感器系统的成像系统的一个实例。蜂窝式电话 400包含参考图1A至1B描述的显示器102、键盘104、扬声器106、麦克风108、用户输入装 置110及显示器114。内置式数码相机装置402聚焦于定位于蜂窝式电话400的内侧404 上的对象上，而内置式数码相机装置406聚焦于位于蜂窝式电话400的外侧408上的对象 上。在根据本发明的实施例中，相机装置406包含主集成式图像传感器(例如，图2中的传 感器202)，而相机装置402使用辅助图像传感器(例如，图2中的传感器204)。图5是根据本发明的实施例中的成像系统的框图。成像系统500包含蜂窝式电话 502及计算装置504。数码相机电话502产生被存储于存储器506中的数字图像，所述存储 器506可为(例如)内部快闪EPR0M存储器或可拆卸存储器卡。另一选择为，可使用其它 类型的数字图像存储媒体(例如磁性硬驱动器、磁带或光盘)来实施存储器506。数码相机电话502使用透镜508将来自场景(未显示)的光聚焦于主集成式图像 传感器510上。数码相机电话502使用透镜512将来自场景(未显示)的光聚焦于辅助图像传感器514上。从主集成式图像传感器510输出的再现图像存储于缓冲器存储器516中 且随后由数字处理器518进行处理。数字处理器518由存储于固件存储器520中的固件控 制，所述固件存储器可为快闪EPR0M存储器。数字处理器518包含实时时钟522，其甚至在 蜂窝式电话502及数字处理器518处于低功率状态时保持日期及时间。经处理的数字图像 文件存储于存储器506中。存储器506还可存储其它类型的数据，诸如，例如音乐文件(例 如，MP3文件)、铃声音调、电话号码、日历及待办事项列表。在根据本发明的实施例中，蜂窝式电话502使用主集成式图像传感器510来捕获 静止图像并使用辅助图像传感器514来捕获视频图像。数字处理器518将静止图像及视频 图像压缩并作为图像文件存储于存储器506中。仅以实例方式，可按照JPEG格式来压缩图 像数据，JPEG格式使用已知的“Exif”图像格式。所述格式包含使用各种TIFF标签存储特 定图像元数据的Exif应用程序段。例如，可使用单独的TIFF标签来存储捕获图片的日期 及时间、透镜f/数及其它相机设定，且存储图像标题。在根据本发明的实施例中，数字处理器518产生由用户选择的不同的图像大小。 一个所述大小为低分辨率“拇指指甲，，大小的图像。所述拇指指甲图像存储于RAM存储器 524中并被供应到显示器526，所述显示器526可为(例如)有源矩阵IXD或有机发光二极 管(0LED)。产生拇指指甲大小图像允许在彩色显示器526上快速查阅所捕获的静止图像。音频编解码器528连接到数字处理器518且从麦克风(Mic) 530接收音频信号。音 频编解码器528还将音频信号提供到扬声器532。所述组件既用于电话会谈又用来记录并 重放音频曲目以及视频序列或静止图像。在根据本发明的实施例中，扬声器532还用于通知用户入局电话呼叫。此可使用 存储于固件存储器520中的标准铃声音调或通过使用从移动电话网络534下载并存储于存 储器506中的定制铃声音调来完成。另外，可使用振动装置(未显示)来提供入局电话呼 叫的无声(例如，不发声)通知。数字处理器518连接到无线调制解调器536，其使得蜂窝式电话502能够经由射 频(RF)频道538传输及接收信息。无线调制解调器536使用例如3GSM网络的另一 RF链 路(未显示)与移动电话网络534通信。移动电话网络534与照相服务提供者540通信， 所述照相服务提供者存储从蜂窝式电话502上载的图像。其它装置(包含计算装置504) 经由因特网542存取所述图像。在根据本发明的实施例中，移动电话网络534还连接到标 准电话网络(未显示)以便提供正常电话服务。图形用户接口(未显示)显示于显示器526上并由用户控制件544控制。在根据 本发明的实施例中，用户控制件544包含专用按钮(例如，电话小键盘)，其用以拨打电话 号码；控制件，其用以设定模式(例如，“电话”模式、“日历”模式、“相机”模式)；操纵杆控 制器，其包含4路控制(上、下、左、右)及按钮中心“0K”或“选择”开关。坞站546为蜂窝式电话502中的电池(未显示)再充电。坞站546经由坞站接口 548将蜂窝式电话502连接到计算装置504。在根据本发明的实施例中，坞站接口 548实施 为有线接口，例如USB接口。另一选择为，在根据本发明的其它实施例中，坞站接口 548实施 为无线接口，例如蓝牙或IEEE 802. lib无线接口。坞站接口 548用于将图像从存储器506 下载到计算装置504。坞站接口 548还用于将日历信息及其它数据从计算装置504传送到 存储器506。
已参考特定实施例(即，蜂窝式电话)描述了本发明。然而，根据本发明的其它实 施例并不局限于此实施方案。本发明可实施于采用两个或两个以上图像传感器的任何成像 系统中。所述成像系统的实例包含(但不限于)个人数字助理、数码照相机及数码摄像机。部件列表100蜂窝式电话
102标准显示器104键盘106扬声器108麦克风110用户输入装置112内置式数码相机114小显示器116蜂窝式电话的外侧118蜂窝式电话的内侧200传感器系统202主集成式图像传感器204辅助图像传感器206像素阵列208读出电路210定时电路212模/数转换器(ADC)214图像信号处理电路(ISP)216数字输入/输出电路218双向信号线220像素阵列222读出电路224定时电路226模/数转换器228数字输出电路230信号线232数字串行接口234数字串行接口236数据总线237成像系统238存储装置300传感器系统302辅助图像传感器304辅助图像传感器306模拟输出电路0080]308信号线0081]310数据总线0082]400蜂窝式电话0083]402具有辅助图像传感器的内置式数码相机装置0084]404蜂窝式电话的内侧0085]406具有主集成式图像传感器的内置式数码相机装置0086]408蜂窝式电话的外侧0087]500成像系统0088]502蜂窝式电话0089]504计算装置0090]506存储器0091]508透镜0092]510主集成式图像传感器0093]512透镜0094]514辅助图像传感器0095]516缓冲器存储器0096]518数字处理器0097]520固件存储器0098]522实时时钟0099]524RAM存储器0100]526显不器0101]528音频编解码器0102]530麦克风(Mic)0103]532扬声器0104]534移动电话网络0105]536无线调制解调器0106]538射频(RF)频道0107]540照相服务提供者0108]542因特网0109]544用户控制件0110]546坞站0111]548坞站接口
权利要求
一种成像系统，其包括主集成式图像传感器，其包括第一像素阵列，其用于捕获图像；第一定时电路，其用于产生定时信号，其中所述定时信号包含用于从所述第一像素阵列读出所捕获的图像的信号；图像信号处理电路，其用于处理所捕获的图像；及双向数字输入/输出电路，其用于输出所述经处理的图像；及辅助图像传感器，其以操作方式连接到所述主集成式图像传感器，所述辅助图像传感器包括第二像素阵列，其用于捕获图像；第二定时电路，其用于产生定时信号，其中所述定时信号包含用于从所述第二像素阵列读出所捕获的图像的信号；及输出电路，其中所述第二像素阵列所捕获的图像被作为输入提供到所述主集成式图像传感器上的所述图像信号处理电路。
2.如权利要求1所述的成像系统，其中所述主集成式图像传感器进一步包括模/数转 换器。
3.如权利要求2所述的成像系统，其中所述辅助图像传感器进一步包括模/数转换器 且所述辅助图像传感器中的所述输出电路包括数字输出电路。
4.如权利要求1所述的成像系统，其中所述辅助图像传感器中的所述输出电路包括模 拟输出电路。
5.如权利要求1所述的成像系统，其中所述主集成式图像传感器及所述辅助图像传感 器各自进一步包括数字串行接口 ；及一个或一个以上存储电路，其可操作以存储所述辅助图像传感器使用所述数字串行接 口所传输的物理及操作信息。
6.如权利要求5所述的成像系统，其中所述主集成式图像传感器的所述定时电路及双 向输入/输出电路作为响应而输出所述所存储的从所述辅助图像传感器接收的物理及操 作信息特有的信号。
7.一种成像系统，其包括 主集成式图像传感器，其包括 第一像素阵列，其用于捕获图像；第一定时电路，其用于产生定时信号，其中所述定时信号包含用于从所述第一像素阵 列读出所捕获的图像的信号；图像信号处理电路，其用于处理所捕获的图像；及 双向输入/输出电路，其用于输出所述经处理的图像；及一个或一个以上辅助图像传感器，其各自以操作方式连接到所述主集成式图像传感 器，其中每一辅助图像传感器包括 第二像素阵列；第二定时电路，其用于产生定时信号，其中所述定时信号包含用于从所述第二像素阵列读出所捕获的图像的信号；及输出电路，其中每一第二像素阵列所捕获的所述图像被作为输入提供到所述主集成式 图像传感器上的所述图像信号处理电路。
8.如权利要求7所述的成像系统，其中所述一个或一个以上辅助图像传感器包括将图 像信号交替地提供到所述图像信号处理电路的两个辅助图像传感器。
9.如权利要求7所述的成像系统，其中所述主集成式图像传感器进一步包括模/数转 换器。
10.如权利要求9所述的成像系统，其中至少一个辅助图像传感器进一步包括模/数转 换器且所述至少一个辅助图像传感器中的所述输出电路包括数字输出电路。
11.如权利要求9所述的成像系统，其中至少一个辅助图像传感器中的所述输出电路 包括模拟输出电路。
12.如权利要求7所述的成像系统，其中所述主集成式图像传感器及至少一个辅助图 像传感器各自进一步包括数字串行接口 ；及一个或一个以上存储电路，其可操作以存储所述至少一个辅助图像传感器使用所述数 字串行接口所传输的物理及操作信息。
13.如权利要求12所述的成像系统，其中所述主集成式图像传感器的所述定时电路及 双向输入/输出电路作为响应而输出所述所存储的从所述至少一个辅助图像传感器接收 的物理及操作信息特有的信号。
14.一种操作包括主集成式图像传感器的成像系统的方法，所述主集成式图像传感器 以操作方式连接到一个或一个以上辅助图像传感器，其中所述主集成式图像传感器包含图 像信号处理电路，所述方法包括用所述一个或一个以上辅助图像传感器中的至少一者来捕获图像，其中所述图像包括 图像信号；将所述图像信号传输到所述主集成式图像传感器上的所述图像信号处理电路； 处理所述图像信号；及将所述经处理的图像信号传输到所述成像系统内的一个或一个以上组件。
15.如权利要求14所述的方法，其中将所述图像信号传输到所述主集成式图像传感器 包括将模拟图像信号传输到所述主集成式图像传感器。
16.如权利要求15所述的方法，其进一步包括将所述模拟图像信号转换为数字图像信号。
17.如权利要求14所述的方法，其进一步包括 将物理及操作信息传输到所述主集成式图像传感器；及作为响应而基于所述物理及操作信息从所述主集成式图像传感器输出一个或一个以上信号。
18.如权利要求17所述的方法，其进一步包括存储所述物理及操作信息。
全文摘要
本发明揭示一种主集成式图像传感器，其以操作方式连接到一个或一个以上辅助图像传感器。所述主集成式图像传感器包含像素阵列，所述像素阵列连同图像信号处理电路、读出电路、数字串行接口、存储装置、定时电路、模/数转换器及双向数字输入/输出电路中的一者或一者以上者一起集成到半导体衬底上。每一辅助图像传感器可实施为互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器并包含像素阵列连同读出电路、数字串行接口、定时电路、输出电路及任选模/数转换器中的一者或一者以上。所述主集成式图像传感器及每一辅助图像传感器所捕获的图像由所述主图像传感器处理。每一辅助图像传感器还可将物理及操作数据传输到所述主集成式图像传感器。
文档编号H04N5/272GK101849408SQ200880114509
公开日2010年9月29日 申请日期2008年11月12日 优先权日2007年11月30日
发明者罗伯特·迈克尔·吉达什 申请人:柯达公司