用于电子器件的照相机的制作方法

专利名称：用于电子器件的照相机的制作方法
技术领域：
本发明涉及一种用于电子器件的照相机，例如^A在用于视频电话的琉通 信终端中的照相机。更特别地，本发明涉及一种用于调整带有显示器的电子器件 的照相机的观看方向的解决方案。
背景技术：
在过去的几十年间，全球的蜂窝电话行业已经有了巨大的发展。从最初的模 拟系统，例如由AMPS (高级移动电话系统)禾PNMT (北欧移动电话)标准定义 的系统，近些年来所述发展近乎专门聚焦于用于蜂窝職网络系统的数字解决方 案的标准，例如D-AMPS(例如，^EIAmA-IS-54-B禾口IS-136中所详细说明的)和 GSM (^J斜多动通信系统)。当前，蜂窝技术正fflil例如WCDMA的通信系繊 入戶刑胃的第3代(3G)，其相比于上面擬啲第2代数字系统提供了若干优点。
在移动电话技术上作出的很多进步涉及到功離争征，例如更好的显示器、更 有效的和更长持续时间的电池以及产^^铃信号的^fi。 ^A照相机是一个变得 越来越普及的功育战寺征。当前，具有视频相机功能的照相机在多种移动电话中是 可用的。随着高比特率服务的引入，例如EDGE (用TCSM的增^i^率)和3G 的引入，视频相关服务的可用性和实用性也随之增加。特别地， 同时传输声 音和运动图像的移动视频电话变得可以商业使用。
对于固定的使用，视频会议系统通常包括安装在通信终端一例如个人电脑 (PC) —上或者旁 體鹏允剤顿因特网协议(IP)的电话中的照相机。这
种系统的4顿可以是非常直截了当的，因为用户位于终端it^并^aM相纟舰着该
用户。但是，移动视频会i义就稍微有些麻烦。终端可以定位在桌面上的支撑单元
内，在该单元中的照相机从中对准要获取的感兴趣目标，典型地是用户。用于面 对面传输的视步絵议的一种禾佣移动电话的更普遍的方式是当其被保持时，使得
嵌入照相机被手动地对准用户。当通过移动手持终端通信时，用户因此可以保持
该终端稳定部之前，使得接收方育嫩看到该用户一即发送方一的脸部。
关于采用无线终端的视频的一个问题是由以下事实弓胞的，即照相 机典型地位于与显示器相邻并且平纟于的^立置，也就是照相机的光轴垂直于显示器 表面。因此，终端必须成大约9(对准脸部，以便获得用户的飽图像。但是，
很多用户发现这种拿着终端的方式不舒服。，对于大多数移动电话设计，当
其被方爐在没有附加支撑娱置的桌面上时，难以柳该终端，因为它可能要求将 用户的脸部保持在终端的上方。 一个相关的问题是该终端还可能包括平行于照相 禾M准的小灯，以便给获得的目标衛共光。当照相机和灯以9(T的角准用 户的脸部时，还存在显示器平面上的用户脸部的RI刊各会妨碍呈现显示器上的 图像的风险。
甚至在照相机被配置成使得可以以相对于要获得目标的一定角保持的情
况下，所述目标例如照相用户的脸部，也会发生图失视失真的问题。这会在
目标尺寸的真实再现非常重要时导致问题。对于视频电话的情况而言，如果以相 对于脸部倾斜的角度保持照相机，男获得的用户脸部的图働絵显示出下颌部 分比脸部上部宽一些。

发明内容
本发明的总体目的是劍共一种用于数字成像的解决方案，其中照相机可以以 相对于目标慨斜的角度保持从而获得图像，而通常这会导致失真的图像。
根据第一方面，所述目的M31数字照相ttt实现，该数字照相机包括支撑 结构；镜头，其由该支撑结构承载并且具有光轴；探测器，镜头下面由该支 撑结构承载并且包括多个相邻的像素行，其中每一^H象素行包括多个像素，并且 每一个像素包括图像传麟；以及连接到检测器的图像信号鹏器单元，其包括
配置为通过不同于相邻行像素的縮放因子放每一行像素的图像縮放器。
在一个实施例中，该图像缩放器皮配置为以大小与起始行和结束行之间的行 的4體成比例的縮放因TMI放每一行像素。
在一个实施例中，该图缩放器配置为响应起始缩放因子和结束缩放
因子的输入，并且包括被配置为计算起始行和结束行之间的每一行的縮放因子的 计算器功能。
在一个实施例中，该图^fl放器皮配置为^^f象素行的输入行长度计算为所 有像素行的公共的期望输出行长度与该行的縮放因子的比值，以及
被配置为将谢亍像素检测至啲并且裕俞入像素行长度内的图像信号縮放为期 望的输出行长度。
在一个实施例中，该图JM放^I皮配置为产生具有居中行的输出图像 在一个实施例中，该图it^l放^l皮配置为利用以下公式计算来自检测器的每
一个输入行的中心起始点
<formula>formula see original document page 8</formula>其中加气是在行n中第一个要处理的像素；/是 ^行中的像素数量；而/ 是在
行n中要处理的像素的M:。
在一个实施例中，照相柳莫块由支撑结构形成，并且其中图像信号处理器包 括在照相机模块中。
在一个实施例中，该图l缩放器皮配置为确定某个像素行的输出像素在预定
图像格式中的位置，禾'J用用于所述某一行的縮放因子MM3Bi方J^确定在检测的 图像中的对应位置，以及M由与检测的图像中的所m应位置相邻的像素检测 的强度值的内插为输出像素确定强度值。
在一个实施例中，图i魏放器皮配置为根据予跌设置的在检测器的图像平面 和将取得其图像的目标之间的期望的慨斜角来计算縮放因子。
在一个实施例中，M:检测器的表面工作区縱义照相机的Wgj，其相对于 镜头的光轴偏离中心禾對立。
在一个实施例中，该图J魏放^l皮Sfig为3131函数^ =附+""来计算每一行
n的缩放因子&，其中m和k是常数。
根据第二方面，所述目的S51电子器件来实现，该电子器^m括外壳以及数
字照相机模块，所述数字照相机模i^括支撑结构；镜头，其由支撑结构承载 并且具有光轴；检测器，^E镜头下面由支撑结构承载，包括多个相邻的像素行， 其中每一个像素行包括多个像素，并且每一个像素包括图像传感器；连接到该检 测器的图像信号处理器单元，其包括配置为以不同于相邻行像素的缩放因子缩放 每一行象素的图像缩放器。
在一个实施例中，该电子器f袍括琉信号收发器和配置为从数字照相机模 块向 信号收发器掛共缩放的视频信号的控制单元。
在一个实施例中，该电子器件包括配置为呈itt字照相mt莫i，供的缩放的
图像的显示器。
根据第三方面，所述目的ffl31—种用于禾拥数字照相机获取图像的方^妹实
现，该方跑鄉骤 将照相机对准目标；
在包括多个相邻像素行的检测器中检观鹏像信号，其中每一^H象素行包括多 个像素，并且每一刊象素包括图像传自，
舰禾拥不同于相邻像素行的缩放因子缩放每一行像素来处理检测到的图像 信号从而掛共縮放的图像；
输出縮放的图像。
在一个实施例中，i妨》跑跡骤
以大小与起始行和结束行之间的行的J體成比例的縮放因T^缩放每一行像素。
在一个实施例中，该方纟跑鄉骤 定烦始fi^放因子和结束fi^l放因子；以及 计算4^始行和结束行之间的每一行的縮放因子。 在一个实施例中，该方纟跑 涉骤
将某像素行的输入行长度计算为所有像素行公共的期望输出行长度与该行的 縮放因子的比值，以及
将由该行像素检测至拼且招俞入像素行长度之内的图像信号縮方妙溯望的输 出行长度。
在一个实施例中，该方、 跑f狱骤
提供具有居中行的縮放的图像。
在一个实施例中，该方' 飽鄉骤
禾,以下公式计算来自检测器的每一^Nt入行的中心起始点
<formula>formula see original document page 9</formula>其中加《是在行n中第一个要处理的像素；l是整行中的像素数量；而ln是在 行n中要处理的像素的数量。
在一个实施例中，该方法包括步骤
通过与电子器件的照相柳莫块中的数字照相机结合的图像信号处理器来处理
检测到的图像。
在一个实施例中，该方法包括步骤
利用无线通信终端的收发器将縮放的图像发送给远程接收器。
在一个实施例中，该方法包括步骤
在显示器上呈现该缩放的图像.
在一个实施例中，该法包括步骤
定义图像格式；
确定某个像素行的输出像素在图像格式中的位置；
通过利用所述某行的縮放因子进行逆缩放来确定检测到的图像中的对应位
置；
通过由与检测的图像中的所述对应位置相邻的像素检测的强度值的内插为输出像素确定值。
在一个实施例中，该法包括步骤
根据预先设置的在检测器的图像平面和将取得其图像的目标之间的期望的倾 斜角来计算缩放因子。


通过下面参考附图对优选实施例的描述，本发明的特征和优点将会变得更力口 清楚，其中
附图1A和lB示意性地标出了一个根据本发明一些实施例的包括数字照相机 和显示器的手持无线通信终端；
附图2示出了根据本发明一些实施例的当用于视频会议时的附图1的终端； 附图3示意性地给出出了如何以相对于用户的脸部成一角度来保持终端的照相机；
附图4示意性地标出了根据本发明一些实施例的数字照相继模块；
附图5示意性地给出了一个常规可拍照电话；
附图6示意性示出了根据本发明一些实施例的可拍照电话的一些方面；
附图7示意性地示出了根据本发明另外的实施例的可拍照电话的一些方面；
附图8和9示意性ite出了根据本发明一些实施例的数字照相柳莫块；
附图10和11示意性i标出了根据本发明另夕卜的实施例的数字照相机模块；
附图12示意性ite出了由于照相机被与矩形目标成一定角度保持而弓胞的
失真图像；
附图13和14示意性i标出了根据本发明一个实施例的舰图像和失真图像；
附图15示意性地示出了对与照相m^测器表面成慨斜的角度保持的矩形目
标拍摄的图像。
具体实施例方式
现在将在下面参考示出了本发明实施例的附图对本发明的实施例做更加充分 的描述。但是，本发明可以被实施为多种不同的形式，并且不应该MI军释为限于 这里提出的实施例。相反地，提供这些实施例是为了让公开充分和完整，并且向 本领域技术人员完全转达本发明的范围。在全文中對以的附图梳己^^类似的元件。
应当理解，尽管术语第一、第二等可能 匕使用以描述各种元件，但是这些
元件不应该受限于这些术语。这些术igMXffi于区别一个元件和其他元件。例如， 第一元件可以被称之为第二元件，并且类似地，第二元件可以被称之为第一元件， 而不超出本发明的范围。当在本文中4顿时，术语"和/或'包括一个棘多个相关 列出的项目的任意一个及全部的组合。
在此〗顿的术语仅仅是用于描述特定实施例的目的而不是限制本发明。当在 本文中使用时，单数形式'一"、"一个"和"该'也旨在包括复数形式除非上下文有其 他明确说明。JSS当进一步理解的是， 匕4顿的术语"包含"、"包括"和/或'具有' 表明了所述特征、整数、步骤、操作、元件和减部件的存在，但是不排除存在或 附加一个或者多个其他的特征、微、步骤、操作、元件、部件和/或它们的^H且。
除非另有其他定义，^!t匕使用的所有术语(包括技斜卩科学术语)都具有与 本发明所属领域的技术人员通常理解的相同的含义。财卜，还应当翻早， 匕使 用的术语应当被解释为具有与本说明书上下文以及相关领域中的含义相一致的含
义，并且不应当以理想化的,于形式化的意义^itfi^率释，除一tq&tb明确地进
行了这样的定义。
本说明书涉及包括照相机和用于呈现由照相机获取的图像的显示器的电子器
件领域，其被配置为使得在照相机对准用户的同时，该用户可以观看显示器。本 发明的一些实施例涉及为视频电话配置的通信终端。这种通信终端例如可以是能
够利用塞绳(cord)与PSTN (公共交换电话网)壁装插座连接的DECT (欧洲数 字无绳电话)电话，或者具有包括显示器和照相机的外壳的IP电话。在一些实施 例中，通信终端是无线通信终端，例如可以通过无线基站和/或直接与另一无线终端通信的移动电话。
下面每参考附图描述实施例。
附图1 A示出了根据本发明一些实施例的便携式通信终端10形式的电子器件， 例如移动电话。终端10包括具有外壳的支撑结构11，以及包键区或者键盘12 和显示器13的用户接口。该终端10还可以包括具有麦克风和扬声器的音频接口、 无线收发电路、天线、电池以及具有用于職通信的娜存储器和相关软件的微
处理器系统，所有这些都被支撑结构11承载并且包括在外壳内。除了这些原件外，
器件10还包括数字照相机14，附图1A中指示了该相机的光圈。
如在附图1A中所示，照相机14的光圈和显示器13可以被设置为从通常的观看位置都能够看到。例如，照相机14的光圈和显示器13都可以被设置外壳11 的同Hi。以这种方式，照相机14可以在用户观看显示器13的同时对准用户。 因此，通信终端10可以用于视频电话。
参考附图1B中示出的通信终端10的示意性说明可以进一步描述本发明的实 施例。现在参考附图1B，根据本发明一些实施例的一个示例通信终端10包括 键区12、显示器13、收发器26、存储器16、麦克风15、扬声器19以及与控制 单元或处理器20通信的照相机14。该，收发器26典型地包括发射器电路27、 接收器电路28和调制解调器29，其协作通过天线 25 发射和接收到远程收发器的 射频信号。在通信终端10和远程收发器之间传输的射劍言号包括业务和控制信号
(例如用于到来的呼叫的寻呼信号/消息)，其被用于建立和保持与另一方或者目的
地的通信。
存储器16可以题用存储器，其被用于存储用于处理器20的辦指令和数 据，例如音频数据、视频数据、结构数据和/或其他能够被处理器20访问和/或使 用的数据。该存储器16可以包括非挥发性读/写存储器、只读存储器和/或挥发性 读/写存储器。
参考附图2，示出了用于视频电话的通信终端10的使用。典型地，在视频电
话^i义中，远程方的图像21发想終端10并且在专用框22内呈现顿示器13 上。在同一时间，由照相机14获得的终端10的用户的较小的图像23也可以在框 24内呈现，示器13上。框24可以显示在终端10的3te的敏显示器内和/或作 为画中画显示^M示器13的子框内。以这种方式，用户可以接收到照相机14如 何对准的视觉反馈，并且可以将终端10保持在^g朝向。
已经描述了关于视频电话的问题，也就是说相对用户30以一定角度(在附图 3中标为角度e)来保持终端10可能更为舒服，而不是平行于用户的脸部来保持 终端10。将终端10定位于与纟 成像的目标一典型地是用户的脸^~成{恥斜的 角度，还可以使得M31将终端放在支撑一例如桌面上来将终端10用于视频电话更 为容易。但是，对常规终端的慨斜可能导致获得的图像的偏移效果，因为照相机 可能没有正确i顿准。获得的图像在其专用图像框内的偏移a絵顿示器上看到， 并且当然对于接收获得的图像的远程方也是如此。随着角度的勺增加，用户的脸部 将会在框中下降。在某点上，脸部将会脱离照相机的视场，所述视场典型地在 50。-70°的全角度范围之内。参考附图1—14，现招鄉iW^相机和包括照相机的 终端形式的电子器件的各种实施例，其被配置为以附图3所示的慨斜角获取图像。 更具体地，首先将描述被配置^UAi，臓获取图像的照相机，所胜,臓与照相 机的光轴成一定角度。此外，a繊述一种照相机和方法，用于M^i周整获得 的图像的视点，该图像由于慨斜角而产生失真。
附图4示意性地示出了一个根据本发明一些实施例的用于诸如终端10之类的 电子器件中的数字照相机模块14。该照相抛對央14包括光学镜头41 ，该光学镜 头41具有一个或者多个制蚰勺由例如塑料棘游離'腊的镜头，并且具有由点划 线指示的光轴45。具有上鹏测器表面43的检测器42 fflil支撑部件44定位于 距镜头41 一超巨离且平行于镜头41的位置，所述支撑部件44可以包括密封的塑 料-外壳。该照相机模块还可以包括图像信号处理器(ISP) 46，其可以连接至啦测 器42的背面。可替换地，齒SP46可以ilil例如排线(flex cable)的导^^接到 检测器42。照相机模块14的几何结构，包括镜头41的焦距和孔径以及由检测器 表面43定义的图像平面的大小及其相对于镜头41的位置，定义了照相柳莫块14 的船汤。为了清楚地描述本发明，术语主,鹏将被用于^131镜头41至iHOT的 图像区域的中央的主要，。典型地，检测器表面43被定位在镜头41的中央下 方，并且照相机14的主视线因此与光轴45重合。该检测器表面43大体上可以是
矩形或者甚至是正方形，并且可以关于光轴45对称。
附图5示出了一个常规终端210，其包括照相机214和显示器213。在附图5 中，轴251指示显示器213的法线方向，即垂直于显示器213的表面的轴。itW卜， ^照相t几214的主视线的光轴245被g为基本平行于法线方向251 。
附图6—7以简化侧视图示出了根据本发明一些实施例的终端10A、 IOB，其 中只示出了显示器23和照相机14。附图6示出了终端10A，其中照相机14被倾 斜，使得其光轴和主字臓45相对于法线方向51成一"tl兌角^在一些实施例中， 照相机14可以被慨斜角度伊，其对应于附图3示出的期望的操作角度e。以这种 方式，当保持与用户成一角度时终端IOA可以被用于视频电话，而不会偏移所获 得图像。但是，在这些实施例中，由于照相机14劍鹏站勺，其可能占用终端10A 内的更多空间。此外，在终端IOA内将照相机14以慨斜的取向固定至,如PCB(印 刷电路板)上，可能需要附力啲安装设备，例如中间楔形元件。
附图7示出了根据本发明另夕卜的实施例的终端IOB，其中附图标ci己51彰于显 示器13的法线，即垂直于显示器B表面的轴。itW卜，照相机71的光轴45被表 示为基本平行于法线方向51。照相机71可以例如通过焊接g其他类型的结合 以及到公期CB的连接基本平行于显示器13地被固定在终端10B内。但是，具有 主冬臓72的照相机71的,妙汤是由检测器表面43的工作区定义的，其可能相对于 镜头的光轴45偏离中心(参见附图4)。该工作区可以是检测器表面43的全部区 域，其中齡检测器表面是偏离中心的。可替换地，该工作区可以是其j鹏中的 检测器表面43的非中心部分，在这种情况下照相机71就示出的元件来说可以基 本對以于照相机14。不同点在于检测器表面的哪對象素l細于读出图像。
附图8和9示意性地示出了根据本发明一些实施例的照相机71的一些方面。 在附图4中使用的附图,斜己在附图8和9中同样用于对应的元件。ISP46在附图8 和9中省略，因为其无需在1 ±直接连接到照相机模块71上。附图8是照相机 71的侧视图，而附图9是照相机71的透视图，其中支撑部件44为了简单起见而 被省略。
检测器42可以包括具有在由长JtA和宽度C定义的区域内的齡检测器表面 43大小的图像传感器，并且可以包括多像素，例如400x400、 640x480 #任 何其他的矩阵设置。但是，在该实施例中，定义了检测器表面43的工作区91， 其仅包括全部像素的賴。在示出的这4i列子中，区域91 (虚线区域)是矩形并
且具有度B<A和宽度D<=C。此外，工作区91可以相对于检测器表面43的中心 被偏离中心，其中镜头41的光轴45与检测器表面43相交。可义定义区域91沿 着附图9中所示的x和y轴中;lM扁离。但是，在示出的这个实施例中，区域91仅仅 沿着x轴中心扁离，并且在沿着Y轴方向位于中心。工作区91可以朝着右羽则边 缘^fx轴中"扁离，并且可以占有所有超出右侧驗的像素而未占有所有朝着检 测器表面43的左侧M^的像素。可替换地，所述工作区可以偏离中心小一些，并 且可以不包括检测器表面43的右侧影卜面的像素。沿着y轴，工作区域91可以是 比检测器表面43的全宽C窄的D，如在附图中举例说明的。
工作区91的中心可以是传感图像平面的中心，并_&±视线72可以根据工作 区91的中心和镜头41的光学中心定义。这一主视线可以以与光轴45成锐角^延 伸，其中角度^的大小可以 于工作区91的中心和光轴45之间的距离。由于 是锐角，角度^根据定义大于0。且小于90。。但是，由于实际应用的原因，该角度 可以在5-20°或者甚至5-10°的范围内。
举例而言，检测器表面43可以包括400400图像传lf^像素矩阵。但是，出 于视频会议的目的，该像素驢可育敏多了。 QCIF (四分之一公共中间格式)是 一种视频^i义格式，其规定每秒30帧(扭)的数据率，每一帧包括144行并且每 一行176个象素。这是定义了QCIF的分辨率的四分之一，其为355x288 4M象素。 ITU H.261视频会议标准需郷IF支持，并且因而只需要176x144像熬巨阵。这 小于在每一个方向上可访问的像素数量的一半。出于增强图像质量的目的，因而 可育^会使用两倍的行数量且每一行具有两倍数量的像素，即CIF，其仍然适合于 400x400矩阵。
在一些实施例中，包括355"88像素的可操作区91被定义在包括400x400 像素的检测器表面43上，,AM中检测器表面43的H则纖向内部延伸，并且位 于 據该侧纖的中心，如在附图9中所示。具有像素间距为3.6拜的3.2x3.2mm 检测器42具有大约1.44x1.44mm的检测器表面(AxC)，并且该可操作区具有 288/400x 1.44=1.037mm的长度B。该可操作区的中心随后可以被定位为距离检测 器表面43的中心1.44/2-1.037/2=0.2腿。假设镜头41位于距离检测器表面43 1.5mm的高度，那么主冬臓72则具有与光轴45成大约为伊二arctan(0.2/1.5)(大约 7.6° )的角度。仅仅利用QCIF矩阵，对应的角度将会是 arctan(1.44*(l-144/400)/(2*1.5》，藏大约17.1。。但是，即使使用QCIF图像，也可
以利用全CIF图像平面来增强图像质量。
还可能通过后向计算的方式定3a:作区。例如，假设以例如10。的角度使用照相机，并且使用QCIF矩阵。工作区91的必要的中"扁移A，当到镜头的距离 为1.5mm时则是A:1.5tan(10。)，或者近似于0.26mm。对于这种结构，工作区91 将不会完全向夕卜延伸到检测器表面43的边界；相反，将会在检测器表面43的顶 部有大约55个不用的像素行。
应当理解，上面提供的M仅仅是作为可能的例子而给出，而樹共检测器表 面的中心偏离可操作区用于获得具有与照相机镜头的光轴成一定角度的主，鹏的 M^的目的，可以应用于招可照相机几何结构，如在附图4中示意f标出的。检 测器42可以是例如CMOS检测器或私CD检测器，并且可以是黑白、總或者彩 色图像检测器。此外，可操作区91可以在用于照相抓SP的硬件中或者固件中指 定为感兴趣的中A、偏离区知M者感兴趣的窗口。在一些实施例中，可操作区91的 大小和位置可以被设置为默认值，并且因此一直使用，除非例如通过输入接口12 给出改变这一设置的用户命令。
附图10示出了可以作为参考附图8和9描述的实施例的割戈物而跑共的離 可以与附图8和9的实施例结合的实施例。對以于附图4示出的照相机14，附图 10的照相机101包括镜头41和具有检测器表面43的检测器42以及潜在的附加 飾SP (未示出)，所述检测器42il31支撑部件44平行悬挂并且与镜头41间隔一 超巨离。为镜头41定义光轴45。该检测器表面43具有长A。但是，在这种情 况下，检测器42可以不位于镜头41的下方中心。相反，检测器42相对于镜头 41横向偏移，使得镜头41的光轴45相对于检测器表面43中心扁离。在附图10 中，fflil在支撑部件44中横向偏移的检测器42示出了这点。备iMk，镜头41可 以替代地在支撑部分44中横向偏移。
通过这一特征，从检测器表面43的中心延伸的照相机101的视场的主视线102可以以与光轴45成锐角p地延伸，其中角度^的大小与arctan(AA/h)成比例， 其中AA是相对横向平移而h是镜头41禾口检测器表面43之间的距离。樹列而言， 如果检测器42的横向偏离AA是0.2mm，如在附图10中指示的，并且镜头41和 检测器表面43之间的距离是1.5mm，则主IK将具有大约7.6°的角度。
如图所示，可以将附图8和9的实施例与附图10的实施例相结合，其中可操 作区被定义在检测器42的右侧，并且其中检测器42也相对于镜头41横向平移到
右边。举例而言，考虑针对附图9的实施例描绘的例子，其具有像素间距为3.6拜
的设置在镜头41下1.5mm处的400x400像素检测表面43，并毋匕外利用附图10 指示的0.2mm的检测器42的横向偏离。
对TCIF实施例而言，可操作区91可以从检测器表面43的离光轴45最远的 侧边缘向内延伸288行。可操作区的中心于是被定位在距离光轴 1.44/2-1.037/2+0.2=0.4咖的位置处，其意瞎与光轴45駄约a:arc加(0.4/1.5) 或微似于15'的角度。对刊CIF矩阵而言，其可能具有甚至更大的角度，或者 可替代地4OTCIF图像并且将其缩放为QCIF。
对于其中检测器表面43相对于光轴45横向偏移的实施例而言，MM也将每 一个像素单元适应于这一中"扁移的光学几何结构可以获得改进的照相机。附图 H示意性i标出了根据本发明一些实施例的照相机110的某些元件。附图11示出 了照相机镜头41和检测器42的三个像素"0、 120、 130。垂;M线114在像素 110和120之间示出，指示检测器42的检测器表面43的中心，而光轴45与镜头 41的中心相交。通常，检测器表面43的中心和光轴45可以鍾合的，但是根据 参考附图10描述的实施例，它们新了距离AA。
为了正确地弓瞎入射光到达检测器42的传繊元件上，每一个像素可以包括 具有光传感元件m、 121、 131 (例如光电二极管)和'微聚光t^竟头112、 122、 132的传感器。利用微镜头作为图像传 的一部分是用于增强传^^性能的常 用技术，例如在美国专禾ijNo.5,251,038中示出的。因此，检测器42的每一^H象素 者阿以包括在传S^元件顶部的微聚光镜头以便引导光线SA传皿元件。
微镜头的布置和形成可能取决于^5传感器的光束的主光线的角度。该角度 可以随图像高度而不同，即随与照相机镜头41的中心光轴45的距离而不同。典 型地，传^l位于距离光轴45,的，，聚光器镜头的焦距必须越短。在一个 典型结构中，当移离检测器表面43的中心时，微镜头的焦距增大，对于镜头122 而言，焦距可能按照三角法则1繊于到检测器表面43的中心114的距敲。但是， 在根据附图10的具有偏移AA的实施例的情况下，微镜头可以适应于仍然如光轴 45定义的光学中心，该中心不再是检测器表面43的中心。因此，在本发明的一 些实施例中，期望的用于检测器表面43的光学中心45被定义，其可以与检测器 表面43的物理中心114不重合，并且当其与镜头41结合时，将是真实的光学中 心。
检测器表面43的每一^H象素的微镜头随后可以被小心地参考定义的光学中 心来设计，其典型地具有随着到光学中心距离的增加而增大的焦距。镜头122的
焦距可以按照三角法则依赖于到光学中心(即光轴45)的距離(^F+AA)。特 定的关系依赖于照相机的总体设计，并且需要的考虑因素对于本领i^术人员是 公知的。
如在附图3中所示，将例如移动电话用于视步^i义的通常方法是以与用户的 脸部成微小的角度。但是，由于用户脸部和照相机光轴之间的慨斜角度， 成失真的透视亂实际上，甚至例如在参考附图7—11描述的实施例中当照相机 被配置为获取具有与照相机的光轴成一定角度的主l臓的视场内的图像时，这一 缺点也是可以应用的。由于照相机没有以平行于用户的脸部保持，脸，下面的 区域要比在上面的区i^t像得更宽。附图12中的图像清慰"fe^出了当通过利用根 据附图7—9的实施例配置的具有偏离中心图像区域的照相机获取图像时用户在 其脸部前手!教巨形纸张的这一效果。3M常称为"梯形畸变(keystone)效应，。
在传统的专业摄影技术中，这一梯形畸^^应可以ii31JOT特定的光学器件 (例如位移利鹏糇头)^1寺殊设计的具有位移和慨斜特征的照相IW3S免。在 数字图像处理领域中，透视M是公知的特征。例如Adob⑩Photoshop的工具提 供了这4寺征。这样的特征也可以用棚于视^i义的电子器件(例如具有1tA 照相机的移动电话)中，以用于图像的后处理。但是，该透视M^t计算能力要 求很高。这尤其对于每秒具有许多需要处理的帧的运动图像(即视频)是一个问 题。因此，后处理不适合在移动电话的主处理器20同时用于视频编码和其他任务 的系统中实现。
同样期望处理具有比最终图像更大的^f摔和角度S^的图像，以用于增强 图像质量的目的。逸就使得需要从照相机向主机传输更大的图像，也就是更多数 据。主机也必须处理一財示准图像大小并且将^$封矣为期望的格式。
一个实施例包 Ml照相机的图像t^it和图像信号处理器(ISP)来执fi^t视
校正的特征。这一设计具有^H尤点，下翻^a行描述。还期望4顿驢比根
据最终图像期望的稍微大的视角的图像传/fH和光学器件。
如从附图12中所看到的，该图像在底部比顶部显得太宽。为了对^iE，应 用透视校正的原理，其中像素的底漸于被收缩。在我们考虑像素的每一行时，随 着劍门在图像中向上移动会应用更小的收縮。最后，顶部行被最小地收縮，赫
一点都没有收縮。产生的图像 部要比在顶部窄。为了避免这种情况，需要裁 减图像，或者作为一个替代方案，禾,过尺寸图像来开始。在后一种情况下，透 视校正处理于是在图像的底部比在顶部工作于图像数据的较长行。结果是乂AISP输 出具有方角的图像。
透视校正机制的一4^a实现方式在照相机的硬件赫固件中实现。用于具
有集逾SP的移动照相机的典Mm字照相机模i央具有縮放功能。该縮放功能可以实
现为数字硬件功能块，或者实现为处理tlm行的计穀几代码，或者实现为硬件和
计tm代码的结合。但是，如先前所述，集逾SP单元不^^、须的，其也可以有 线连接到照相机模块的支撑部件或者外壳。在这个意处，该数字照相机包摘SP 单元，其包括处理器和与之相关的ISP软件。典型的縮放器可以被设置^^平和垂
直縮放图像。其可以被配置为3fcttMI放这两^H隹度。因此，图像可以仅仅在一
个维度上被收縮而保留其他维度不动。该缩放器还可以被配置为以因,缩放图
像，其中n是浮点数，例如l丄2等等。在一刊她实施例中，禾佣内插算法(例 如线性内插) 放各行，以便禾,在讨论的行的两个相邻像素中检测的信号值 来为对应特定像素的输出信号值。
根据1，实施例，图像的每一行以不同于先前的和接下来的行的縮放因子缩
放。tt^t也，ISP根据起始和结束縮放因子的输入值计算每一行的缩放因子，戶腿
起始和结束缩放因子例如第一和最后一行的缩放因子。这些縮放因子可以g为 由以像素数^的输入行长度和期望的输出行长度给出的比值。
在一^M，实施例中，4OT縮放因子的固定值，因为顿频电话的使用场合被
很好地定义并且用户脸部和电话之间的角度可以被十分精确地估算。由于用户观 看其上显示了由所述电子器件的照相机获得的41ll^t她自己的图像的显示器，该
用户将自动手，射亥电子器件，使得脸部的图iM多^W:也^M示器上垂皿中。
必须介绍的縮放器的另一个重要^M是行的居中。因而 地，图像以下面
地方式縮放 1输入图像的中心垂直线被保持 出图像内。这可以通过计算
每一^hf俞入行的起始点实现。在每一行的起始点之前的像素如同ISM像素那样被
忽略。在一个实施例中，根据下面的等式计算每一行的起始点
<formula>formula see original document page 19</formula>
其中* 是在行11中第一个要处理的像素;堤^^M亍中的像素M:;而/ 是
在行n中要处理的像素的数量。
设计成缩放垂直维度的縮放器^^于保持两行或者更多行的图像数据的 存储器。设计成仅缩方J17JC平维度的缩放器仅需要保持少量像素或者最多整行图像 娜的翻存储器。因此，为了作出駄有效的设计，如果垂直缩方树于其他目 的是不必要的，那么，的用于二维的缩放器是不必要的。
为了实现好的图像质量，传感器可以被设计为具有至少四倍于输出图像所需
^f摔的高^)f摔，即两倍Tx禾ny两个方向上的像素M。因此，一^H列子是利 用先tt^啲用刊CIF输出图像格式的400x400检测器。在这种情况下，垂直缩 放器可以被简化，因为其仅需要两行图像 以用于垂直縮放。
附图13示出了由用户以对应于附图3的照相机光轴和用户脸部成慨斜角度e
而获得的用户的图像。甚至不认识该人，也可以注意到示出的用户的下颌部分与 fM员部分相比比真实的要宽，因为整个图像對鹏斗的。
但是在附图14的图像中，由于慨糾见角弓跑的失真效果根据本发明M^卖
地将每一行或魏一排像MI方妙J与慨斜角e对应的禾號而被舰了。因此，尽管
附图14的图像慰阮斜的，该透视图得到了校正。
在本发明的一个实施例中，以相对于照相+;i^测器的慨斜角保持的已知比例
的矩形目标的图像可以被用^i十穀n设置縮放因子。缩放因子的这种设置可以在
生产中进行，并且随后用作默认设置。作为替换方案，用户可以fflffi作戶，器
件10的键区12的方式来启动设置序列，其上矩形目标保持在用户的脸部之前并 与脸部平行。tt^i也，该设辦列JI/示用户保持己知比例的目标，例如A4型纸张
或者信纸，并M31键区i2来魁iH顿了何种^的目标。该照相机随后Mi虫发
以获得目标的图像，并且由处理器20执行软件轮廓检测应用禾聘从而i，泪标的 图像，如在附图15中所示。不管是否缩放因子的计穀B设置在生产中離在销售 后由用户执行，在轮廓图像被定义之后仍然需要进一步的计算，如下面参考附图 15所描述的。
附图15示出了A4纸张的图像。在这一示例性实施例中，照相机的检测器具 有40(^400像素，其意味着具有用于355x288像素的CIF图像的空间。但是，要产 生的输出图像是176x144像素的QCIF，但是割戈仅利用检测器表面的QCIF大小部 分的是，CIF图像被读出并且以因子2在高度和宽^i:都縮小为QCIF以便获得较 高的图像质量。A4纸张具有的高度是纸张宽度的根号2倍。如在附图15中指示 的，对TCIF图像而言，A4纸张的图像是b像素行高，其M^始行之上的d行开始。
此外，该图像在下ii^占有c1M象素，^± 占有3^(象素。为了计算缩放因子，
几个常離当首先被定义
6 a
对于行n，缩放因子&将会是 & 二 w +
在雌实施例中，只有对QCIF图像有贡献的像素被读出禾口縮放，以便最小化 计算，这非常有利于视频成像。在这样的实施例中，每一行的期望输出长度是176 像素。这意歸4艘被缩放的行n的长度；是
￡ =艮
举例而言，假设下面的值已经在附图15的图像中检测到，对于b和d以行的数
量计算，并皿于ac以每行的像素M:计算
a=150,
c=200， d=5.
禾,上面的公式，我们获得了以下结果 S。 = 0.448 ， S287 = 0.616 ， 丄o =393,
为了验证，我们可以计算纸^h边缘的缩放的宽度a'和纸张下纖的缩放的 宽度c',期每会是
因此是一个矩形图像。因此，对于如在附图15中4顿慨斜角度舶勺成像方案而言，计辭n设置了对于每一^i的缩放因子，并且为每一行确定了要处s^i放
图像的像素的类爐。imt也，当f顿所述器件时，不测量赫检测慨斜角，相反，
^^一^H顷斜角e定义为当用户操作该器件时要被使用的期望慨斜角。典型地，该
倾斜角可以小于2(T，例如1(T。
对于樹可由照相机14获得的后续图像，每一行n被縮放为176个目标像素， 其是相对于垂直中心轴X^尔的2x88 W象素。对于ffn，第一目标像素是从中心轴 开始的88 W象素，并且在检测的图像中对应〗體因而是88" 。这—體可以不 乡舰精确地为检测器表面的一M寺定像素，可以从中获取图像信号值。相反，该 位置的图像像素衝腿地根据招可已知技术从相邻像素内插。tti&t也，離等级 值和色彩值被独立地内插。获得的图像信号值随后船舒膽織出图像中的第一目 标像素。然后，要分配图像信号值的下一个目标像素是87" ，以此離，直至哒 到垂直中心轴。中心轴的另一侧也以对应的方式处理，因为图像是关于该轴^JI尔 缩放的。然后，这一縮放处理一行接一^%处理，直到目标图像的所有288 4彌 处理完。
通过利用照相机的图像信号处理 ^豫些步骤，节约了计算能力并且器件 10的数字信号处理器20因而可被用于其他目的。本发明所给出的适于校正图像
透视失真的实施例与先frm出的依赖于图像后处理的解决方案的不同之处在于，
提出的这一方法建议涉及照相机图像管路/ISP中的处理。，设计将直接^IE透视
而无需麻烦运行于多任务环境中的主机处理器。这使得本发明尤其适^f便携式
器件，例如可拍照电话，其中SM和紧凑的大小都是重要的市场需求。所提出
的设计的优选实施例与通常的縮放器解决方案的不同之处还在于，像素 的每
一行都可以以不同于图像阵列中其他行的因TM放。其设计也可以无需招可或
者需要非常少的附加硬件(例如门电路)，但是最重要的是，不需要很多昂贵的4亍 衝中器。
该设计也是独特的，因为縮放器可以使图像自动地居中，雜视步:^i她用
中劍腿的。提出的解决方割mt也利用用T3t视舰的固定i體，因为视频电 话^顿场合被良好地定义。
在附图和说明书中，公开了本发明的典型实施例，并且尽管使用了特定的术 语，但是它们仅仅在一般和描述性的意义下^f顿而不是用于限制的目的，本发明 的范围在附力啲权利要求书中加以描述。
权利要求
1、数字照相机，包括 支撑结构， 镜头，其由该支撑结构承载并且具有光轴， 检测器，其在镜头下面由该支撑结构承载，包括多个相邻的像素行，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器， 连接到检测器的图像信号处理器单元，其包括配置为通过不同于相邻像素行 的缩放因子来缩放每一行像素的图像缩放器。
2、 根据权利要求1的数字照相机，其中图像縮放器皮配置为以大小与起始行和结束行之间的行的j體成比例的缩放 因^ 放每—行像素。
3、 根据权利要求1的数字照相机，其中图4M放器皮配置为响繊始纟彌放因子和结束，彌放因子的输入，并且包括被配置为计算起始行和结束行之间的每一行的缩放因子的计離功能。
4、 根据权利要求1的数字照相机，其中该图l缩放器被配置为^^个像素行的输入行长度计算为对所有像素行公共 的期望输出行长度和用于该行的缩放因子的比值，并且被配置为将由该行像素检测至啲并且M^入像素行长度内的图像信号縮放为期望输出行长度。
5、 根据权利要求1的数字照相机，其中 该图像縮放點皮配置为产生具有居中行的输出图像。
6、 根据权利要求5的数字照相机，其中该图像缩放器皮配置为利用以下公式计算来自检测器的每一4it入行的中心起始点<formula>formula see original document page 2</formula>其中^^是在行n中第一个要处理的像氣堤^H亍中的像素M;而/ 是在 行n中要处理的像素的fcM。
7、 根据权利要求1的数字照相机，其中照相柳莫块由支撑结构形成，并且其中图像信号处理器包括^1照相机模±央中。
8、 根据权利要求1的数字照相机，其中 该图像缩放器被配置为确定某个像素行的输出像素在预定图像格式中的位置、ilil利用用于所述某一行的缩放因子进fi^方j^确定在检测的图像中的对应位置以及m由与检测的图像中的所舰应隨相邻的像素检测的纟艘值的内 插为输出像素确定强度值。
9、 根据权利要求1的数字照相机，其中图f繊放^l皮配置为根据予跌體的 在检测器的图像平面和将取得其图像的目标之间的期望的倾斜角来计算縮方义因子。
10、 根据权利要求1的数字照相机，其中通过检测器表面的工作区定义照相 机的视场，所述工作区相对于镜头的光轴樹立偏离了中心。
11、 根据权利要求i的数字照相机，其中该图i^,放豁皮配置为M:函数& = w + w 1来计算每一行n的缩放因子^ ，其中m禾Pk是常数。
12、 电子器件，包括 外壳；数字照相,央，包括 支撑结构，镜头，其由支撑结构承载并且具有光轴，检测器，，镜头下面由支撑结构承载，包括多个相邻的像素行，其中 每一刊象素行包括多个像素，并且每一刊象素包括图像传 ，连接到该检测器的图像信号处理器单元，其包括隨为以不同于相令職 素行的縮放因子縮放每一行像素的图{ 放器。
13、 根据权利要求12的电子器件，包括无线信号收发器，配置为从数字照相机模块向无线信号收发器提供缩放的视频信号的控制单元。
14、 根据权利要求12的电子器件，包括显示器，其配置为呈现数字照相机模i，供的縮放的图像。
15、 一种用于禾佣数字照相机获取图像的方法，包J涉骤 将照相t/l^准目标；在包括多个相邻像素行的检测器中检测图像信号，其中每一刊象素行包括多 个像素，并且每一啊象素包括图像传 ， M利用不同于相邻行像素的縮放因子縮放每一行像素来处理检测到的图像 信号从而劍共缩放的图像； 输出縮放的图像。
16、 根据权利要求15的方法，包鄉骤以大小与起始行和结束行之间的行的《M成比例的缩放因子^I放每一行像素。
17、 根据权利要求15的方法，包J渉骤 定魏始4彌放因子和结刺彌放因子；以及 计算起始行和结束行之间的每一行的縮放因子。
18、 根据权利要求15的方法，包 膝骤将某个像素行的输入行长度计算为对所有像素行公共的期望输出行长度禾口用 于该行的缩放因子的比值，以及将由该行像素检测到的并且鄉入像素行长度之内的图像信号縮方城期望输 出行长度。
19、 根据权利要求15的方法，包括步骤衛共具有居中行的缩放的图像。
20、 根据权利要求15的方法，包括步骤禾蹄以下公式计算来自检测器的每一^f俞入行的中心起始点<formula>formula see original document page 4</formula>其中逾w,，是在行n中第一个要处理的像素；/是 ^行中的像素 ;而/。是在 行n中要处理的像素的M。
21、 根据权利要求15的方法，包 骤舰与电子器件的照相机模块中的数字照相机是一个衝本的图像信号处理器 来处理检测到的图像。
22、 根据权利要求15的方法，包 骤 禾拥職通信终端的无线收发器将缩放的图像^^^程接收器。
23、 根据权利要求15的方法，包括步骤 ^EM示器JlM现该缩放的图像。
24、 根据权利要求15的方法，包 骤 定义图像格式； 确定某个像素行的输出像素在图像格式中的位置；通过利用所述某行的縮放因子进行逆縮放来确定检测到的图像中的对应位置；ffiil由与检测的图像中的所舰劍體相邻的像素检测的纟贩值的内插为输 出像素确定强度值。
25、根据权利要求15的方法，包括步骤根据预先设置的在检测器的图像平面和将取得其图像的目标之间的期望的倾 斜角来计算縮放因子。
全文摘要
一种数字照相机包括支撑结构；镜头，其由该支撑结构承载并且具有光轴；检测器，其在镜头下面由该支撑结构承载并且包括多个相邻的像素行，其中每一个像素行包括多个像素，并且每一个像素包括图像传感器；以及连接到检测器的图像信号处理器单元，其包括配置为通过不同于相邻行像素的缩放因子来缩放每一行像素的图像缩放器。该图像缩放器因此被配置为补偿照相机检测器和获得其图像的目标之间的倾斜角。合并了数字照相机的照相机模块优选地还包括嵌入图像信号处理器，使得照相机模块被配置为产生缩放的输出图像。
文档编号H04N5/232GK101366269SQ200680051326
公开日2009年2月11日 申请日期2006年8月11日 优先权日2006年1月20日
发明者M·沃纳森 申请人:索尼爱立信移动通讯股份有限公司