专利名称：对来自摄像机中的鱼眼镜头的图像进行校正的方法和装置的制作方法
技术领域：
本发明涉及一种用于操作包括鱼眼镜头的摄像机系统的装置和方法，更具体地，涉及用于操作包括鱼眼镜头的汽车后视摄像机系统(automotive rear view camera system)的装置和方法。
背景技术：
汽车后视摄像机经常使用光学鱼眼镜头。鱼眼镜头是一种产生非常宽的半球图像的广角透镜。类似于所有的超广角透镜，鱼眼镜头也有桶形畸变(barrel distortion)的问题，特别是对于极广视角，这导致外形凸起。经汽车后视摄像机捕获的畸变图像的例子示于图1中。如鱼眼镜头所产生的典型畸变，视野在图像的顶部比图像的底部宽得多，例如大约3倍宽。产生这种差异的原因可能是图像顶部的目标比图像底部的目标距离透镜更远。通过使用具有SDRAM的视频数字信号处理器(DSP)有可能去除由鱼眼镜头引起的畸变。但是，这样使用完善的DSP将会是一种昂贵的方案因此可能被认为过分。因此，从现有技术既无法预期又非显而易见的是一种给与观看者从利用鱼眼镜头捕获的图像中去除畸变的选择并且以不昂贵的方式来这样做的方法。
发明内容
本发明提供一种通过与畸变量成比例地“伸展(stretch out) ”图像顶部的中间部分来校正鱼眼畸变的方法。“伸展”的程度，或者在伸展期间消除的图像外缘的宽度可以从图像顶部到图像底部稳定地减小，直到整个捕获图像被包含在图像的底部。在一个实施例中，视频先进先出(FIFO)存储器被用于去除鱼眼镜头引起的畸变， 这通过与畸变程度成比例地调节FIFO存储器的时钟来实现。在本发明的一种形式中，本发明包括一种操作视频系统的方法，该方法包括接收使用鱼眼镜头捕获的图像。该图像被分成多个水平图像行。每个水平图像行的相应片段 (fraction)以不同的相应采样频率被采样。每个采样频率与被采样片段的大小逆相关 (inversely related)。被采样片段的大小随着从图像顶部前进到图像底部的每个水平图像行增大。被采样片段的大小(因此采样频率)可以是透镜特性(例如畸变特性)的函数。本发明的另一种形式包括一种操作视频系统的方法，该方法包括接收使用鱼眼镜头捕获的第一模拟图像。该模拟图像被转换成数字图像数据。该图像数据被分成多个图像行。每个图像行的相应中间部分以不同的相应采样频率被采样。每个采样频率与所述中间部分所占据的相应图像行的一个片段逆相关。从图像的第一边缘前进到图像的第二边缘， 中间部分所占据的图像行的片段随着每个图像行增加。采样的数字图像行被转换成第二模拟图像。本发明的另一种形式包括一种操作视频系统的方法，该方法包括接收使用鱼眼镜头捕获的第一图像。该图像被分成多个水平图像行。每个图像行具有一中间部分和两个旁边部分(lateral portion)。中间部分相对于旁边部分的大小，随着从图像顶部到图像底部的每个水平图像行增加。图像行的旁边部分被丢弃。每个中间部分由基本上相等数目的样本表示。形成包括那些样本的第二图像。本发明的优点是鱼眼镜头产生的图像畸变可以廉价地被校正。
通过参考本发明的实施例的下列描述以及结合附图，本发明的以上和其他特性和目的以及实现这些特性和目的的方式将更加显而易见并且本发明将更好理解，其中图1是现有技术的鱼眼镜头捕获的示范性的畸变图像；图加是根据本发明方法的一个实施例的显示在视频屏幕上的图1的图像的顶行和底行的部分的示意图；图2b是根据本发明方法的一个实施例的，在视频屏幕上显示该图像时使用的作为图加中的图像的水平行的函数的视频时钟频率的示意图；图3是本发明的视频系统的一个实施例的方块图；图4是图3中的视频系统的时钟调节器的一个实施例的方块图；图5是本发明的用于操作视频系统的方法的一个实施例的流程图；图6是本发明的用于操作视频系统的方法的另一实施例的流程图。
具体实施例方式后面公开的实施例不是用来穷尽或将本发明限制到下面的说明书中公开的特定形式。相反，这些实施例的选择和说明是为了本领域的技术人员可以利用这些教导。在一个实施例中，本发明的方法包括时钟调节，即对图像采样以便在屏幕或监视器上再现的频率的调节。在一个特定实施例中，捕获的图像经国家电视系统委员会(NTSC) 模拟电视系统视频(水平行频率(Fh) = 15，734. 266Hz,以13. 5MHz采样)在屏幕上再现。 以此速率，视频屏幕的整个行上将有858个(即13. 5MHz/15, 734. 266Hz)样本，包括水平消隐间隔。在活动行(即视频行的可见部分)之内，将可以有858个样本中的720个。如果增加时钟速率，每行可以捕获更多样本，或者更重要的，720个样本可以在给定行的更小部分之内捕获。例如，考虑应用于给定视频图像的顶行的大约40MHz的原始最大时钟速率。以此速率，视频屏幕的整个顶行上将有2，542个(即40MHz/15，734. 266Hz)样本，包括水平消隐间隔。在活动行(即视频行的可见部分)之内，将可以有2，542个样本中的2，133个。根据本发明的一个实施例，720个样本，即2，133样本视频行的大约三分之一，可以从中间部分(例如顶部视频行的中间三分之一)被捕获到先进先出(FIFO)存储器中，如图加所示。对于向下的每个后续行，可以减小时钟速率，使得需要的720个样本捕获增加比例的视频行，如图2b所示。在图像的底部，达到13. 5Hz的最小时钟频率，720个样本捕获整个行。在图像的不位于720个时钟脉冲之内的三角形角落部分10a，IOb期间，采样时钟可以被禁止。采样时钟的禁止导致这些角落部分10a，IOb被丢失和/或丢弃。在一个实施例中，时钟既作为模拟-数字转换时钟，也作为FIFO输入时钟。在图
52b的图像的顶部，时钟可以被禁止到恰当的时间，例如当处于经过了顶行的大约三分之一的位置时，然后如所示的，从图像的中心以高频率(大约40Hz)捕获720个样本。对于从顶部到底部的每一行转换时钟频率减小，直到到达底行时，频率为13. 5MHz。另一时钟，既作为FIFO输出时钟又作为数字-模拟转换时钟，以13. 5MHz的恒定速率运行。由于每个视频行包括720个时钟脉冲，以40MHz捕获的顶行的部分在整个视频屏幕上被伸展，如以减小的速率捕获的每个相继行那样。因此，每行的采样的中间部分可以组合以在矩形屏幕上形成图像。本发明的视频系统12的一个实施例显示于图3中。系统12包括具有鱼眼镜头的摄像机14。同步锁相(genlock)时钟发生器16使用摄像机14的视频输出来产生主时钟信号18和水平同步信号H。时钟调节器20产生FIFO输入时钟信号22，后者被传送到模拟-数字转换器M和FIFO存储器26。主时钟信号18被馈送到FIFO存储器沈作为FIFO 输出时钟信号，并馈送到数字-模拟转换器观。虽然摄像机14输出具有鱼眼畸变的视频， 视频系统12，具体地是数字-模拟转换器观输出没有鱼眼畸变的视频。能够将除了摄像机 14之外的整个系统12包括在单个针对特定应用的集成电路(ASIC)中。图4显示了用于接收主时钟信号18和水平同步信号H并输出FIFO输入时钟信号 22的时钟调节器20的一个具体实施例。数字行计数器30可以基于接收到的水平同步信号H来计数例如从图像的顶部到底部的视频行。最大时钟速率可以除以一个值，该值与行计数值成比例。更具体地，在图4的实施例中，与来自计数器30的行计数值成比例的值“η” 在32产生。主时钟信号18由锁相环34接收。锁相环34的输出信号36的频率可以大约为主时钟信号18的频率的3倍。分频器38可以输出FIFO输入时钟信号22，该信号的频率等于输出信号36的频率除以量值η。时钟调节器20还可以包括数字像素计数器40，后者计数主时钟信号18上的主时钟周期，并且禁止采样时钟的开始，即FIFO输入时钟22的开始，直到恰当的时间。在一个实施例中，“恰当的时间”选择为使得图像的中心部分在任何给定行之内被捕获。例如，在图像的顶部，采样时钟被禁止大约该行的三分之一，使得该顶行的大约中心的三分之一被捕获；在顶行到底行的中间的行，采样时钟被禁止大约该行的六分之一，使得该行的大约中心的三分之二被捕获；在图像的底行，采样时钟根本不被禁止，整个行都被捕获。采样时钟的上述禁止可以由时钟禁止模块42实施，时钟禁止模块42从分频器38 接收原始的FIFO输入时钟信号44，从像素计数器40接收禁止信号46。禁止信号46可以是二进制信号，当对应于要禁止的图像的结束部分时其值为0，而当对应于不被禁止的图像的中间部分时其值为1。时钟禁止模块42可以对来自分频器38的原始FIFO输入时钟信号 44和来自像素计数器40的禁止信号46进行逻辑“与”，以产生FIFO输入时钟信号22。在一个实施例中(未示出)，像素计数器40接收来自行计数器30的输出的当前行信息。这样，对于随着行数变化的一定数目的像素，像素计数器40可以禁止FIFO输入时钟信号22。在上面公开的实施例中，FIFO输入时钟信号22的频率与计数器30产生的行计数有特定的关系。但是，应理解，本发明更广义地包括FIFO输入时钟信号22的频率随着计数器30产生的行计数的增加而减小的任何实施例。用于操作视频系统的本发明的方法500的一个实施例示于图5中。在第一步骤502，接收使用鱼眼镜头捕获的第一图像。例如，摄像机14可以包括捕获图1和加所示的图像的鱼眼镜头。在步骤504，该图像被分成多个水平图像行，每个图像行具有中间部分和两个旁边部分，中间部分相对于旁边部分的大小随着从图像顶部到图像底部的每个水平图像行而增加。也就是说，图加所示的图像可以由一组平行的水平图像行组成，或者可以分成一组平行的水平图像行，每个图像行在图像的左手侧和右手侧之间延伸。如图加所示，图像可以包括两个旁边部分IOa和IOb以及置于其间的梯形中间部分。从图加可以看到，中间部分在图像的顶部是最小的，并且随着接近图像底部，相对于旁边部分逐渐变大。在下一步骤506中，图像行的旁边部分被丢弃。在一个实施例中，时钟禁止模块42 防止旁边部分IOa和IOb的采样，仅仅允许图像的中间部分被采样。这样，图像行的旁边部分从来不被数字化、存储到存储器中、或者做其他的处理，因此被有效地丢失或丢弃。接下来在步骤508中，用基本上相等数目的样本表示每个中间部分。例如，如上述实施例中描述的，从图像的每个水平行的中间部分取720个样本，而不管中间部分的长度如何。这720个样本有效地代表了从中采样的相应的中间部分。为了补偿中间部分的不同长度，在中间部分的长度上，采样频率可以变化以便保持720个时钟脉冲，即720个样本。中间部分的大小，即被采样的片段的大小，可以取决于镜头的畸变特性。因此采样频率也可以随着镜头的畸变特性而改变。在最后的步骤510中，形成包括样本的第二图像。也就是说，步骤508中取得的所有样本可以放置到一起来形成非畸变的图像。用于操作视频系统的本发明的方法600的另一实施例示于图6。在第一步骤602 中，接收使用鱼眼镜头捕获的第一模拟图像。例如，摄像机14可以包括可以捕获图1和加所示的模拟图像的鱼眼镜头。在步骤604，模拟图像被转换成数字图像数据。在一个实施例中，模拟-数字转换器M将来自摄像机14的模拟图像转换成数字图像数据，后者被存储到FIFO存储器沈中。在下一步骤606中，图像被分成多个水平图像行。也就是说，图加所示的图像可以由一组平行的水平图像行组成，或者可以分成一组平行的水平图像行，每个图像行在图像的左手侧和右手侧之间延伸。接下来在步骤608，每个图像行的相应中间部分以不同的相应采样频率被采样，每个采样频率与中间部分所占据的相应像行的片段逆相关，中间部分所占据的图像行的该片段随着从图像的顶缘前进到图像的底缘的每个图像行而增加。例如，在上述的实施例中， 旁边部分IOa和IOb之间的图像行的中间部分以从图像顶部处的40MHz到图像底部处的 13. 5MHz的范围的采样频率被采样。采样频率与作为整个图像行的百分比的中间部分的大小逆相关。例如，在采样频率为40MHz的图像顶部，中间部分大约是整个图像行的三分之一。当采样频率逐渐从40MHz减小到13. 5MHz时，中间部分的大小从图像行的三分之一逐渐增加到图像底部的整个图像行。在最后的步骤610中，采样的数字图像行被转换成第二模拟图像。在上述的实施例中，存储在FIFO存储器沈中的采样的数字图像行被数字-模拟转换器观转换成模拟图像。虽然作为示范性设计已经说明了本发明，但是本发明还可以在此说明书公开的精神和范围内做出进一步修改。因此本申请旨在包括利用本发明总原理的任何的改变、使用或适应性变化。此外，本申请旨在包括此发明相关的技术领域公知或惯用的实践范围内的本公开未涉及的方案。
权利要求
1.一种操作视频系统的方法，包括以下步骤接收使用鱼眼镜头捕获的图像；将该图像分成多个水平图像行；以及以不同的相应采样频率采样每个水平图像行的相应片段，每个采样频率与被采样片段的大小逆相关，被采样片段的大小随着从图像的顶部前进到图像的底部的每个水平图像行而增加。
2.根据权利要求1所述的方法，其中，每个所述片段包括每个所述图像行的相应中间部分。
3.根据权利要求1所述的方法，其中，被采样片段的大小在图像的顶部包括图像行的大约三分之一，在图像的底部包括整个图像行。
4.根据权利要求1所述的方法，其中，该图像包括模拟图像，该方法还包括步骤将该模拟图像转换成数字图像数据；以及将该采样的数字图像行转换成第二模拟图像。
5.根据权利要求1所述的方法，其中，图像顶部处的目标比图像底部处的目标距离镜头更远。
6.根据权利要求1所述的方法，还包括步骤丢弃每个水平行的位于被采样片段之外的部分。
7.根据权利要求1所述的方法，还包括步骤计数水平图像行；计数每个所述图像行中的像素数；以及确定开始和结束每个图像行的采样的时间，该确定是基于每个计数步骤。
8.一种操作视频系统的方法，包括以下步骤接收使用鱼眼镜头捕获的第一模拟图像；将该模拟图像转换成数字图像数据；将该图像数据分成多个图像行；以不同的相应采样频率采样每个图像行的相应中间部分，每个采样频率与由中间部分所占据的相应图像行的片段逆相关，由中间部分所占据的图像行的片段随着从图像的第一边缘前进到图像的第二边缘的每个图像行而增加；以及将采样的数字图像行转换为第二模拟图像。
9.根据权利要求8所述的方法，其中，每个所述采样频率大约在主时钟频率的一倍到三倍之间，并且取决于镜头的畸变特性。
10.根据权利要求8所述的方法，其中，被采样的中间部分的大小在该图像的第一边缘处包括该图像行的大约三分之一，在该图像的第二边缘处包括整个图像 行。
11.根据权利要求8所述的方法，还包括步骤将采样的数字图像行存储在FIFO存储器装置中。
12.根据权利要求8所述的方法，其中，图像的第一边缘处的目标比图像的第二边缘处的目标距离镜头更远。
13.根据权利要求8所述的方法，还包括步骤丢弃每个水平行的位于中间部分之外的部分。
14.根据权利要求8所述的方法，还包括步骤 计数图像行；计数每个所述图像行中的像素数；以及确定开始和结束每个行的采样的时间，该确定是基于每个计数步骤。
15.一种操作视频系统的方法，包括以下步骤 接收使用鱼眼镜头捕获的第一图像；将该图像分成多个水平图像行，每个图像行具有中间部分和两个旁边部分，中间部分相对于旁边部分的大小随着从图像的顶部到图像的底部的每个水平图像行而增加； 丢弃图像行的旁边部分；用基本上相等数目的样本表示每个中间部分；以及形成包括样本的第二图像。
16.根据权利要求15所述的方法，其中，所述第二图像仅包括样本。
17.根据权利要求15所述的方法，其中，所述表示步骤包括以不同的相应采样频率采样每个图像行的相应的所述中间部分，每个采样频率与中间部分占据的相应图像行的片段逆相关。
18.根据权利要求17所述的方法，还包括步骤 计数水平图像行；计数每个所述图像行中的像素数；以及确定开始和结束每个行的采样的时间，该确定是基于每个计数步骤。
19.根据权利要求17所述的方法，其中，被采样的中间部分的大小在该图像的顶部处包括该图像行的大约三分之一，在该图像的底部处包括整个图像行。
20.根据权利要求15所述的方法，还包括步骤使鱼眼镜头定位成使得图像顶部的目标比图像底部的目标距离镜头更远。
全文摘要
一种操作视频系统的方法，包括接收使用鱼眼镜头捕获的图像。该图像被分成多个水平图像行。每个水平图像行的相应片段以不同的相应采样频率被采样。每个采样频率与被采样片段的大小逆相关。从图像的顶部到图像的底部，被采样片段的大小随着每个水平图像行而增加。
文档编号G06K9/40GK102292733SQ201080005406
公开日2011年12月21日 申请日期2010年1月29日 优先权日2009年1月30日
发明者D·D·海克森 申请人:松下北美公司美国分部松下汽车系统公司