以硬件方式进行图像处理的图像传感器的制造方法
【专利说明】
[0001] 本发明是申请号为201080040059. 3 (国际申请号为PCT/KR2010/004415)、申请日 为2010年7月7日的发明申请的分案申请。
技术领域
[0002] 本发明涉及从安装有以光轴为中心的旋转对称式广角透镜的照相机获得的图像 中能够提取复合图像的数学上精确的图像处理方法及利用它的成像系统以及以硬件方式 进行图像处理的图像传感器。
【背景技术】
[0003] -般来讲，在景色优美的旅游地等将360°全景捕捉到一张相片中的全景照相 机（panoramic camera)是全方位成像系统的一例。全方位成像系统是指观察者在原地转 一圈时所能看得见的景色全部捕捉到一张相片中的成像系统。与此相反，将在观察者的 位置所能看得见的全景捕捉到一张图像中的系统称之为全景成像系统（omnidirectional imaging system)。在全景成像系统中，不仅包括观察者在原地转一圈时所能看得见的 全部景色还包括仰头或低头时所能看得见的全部景色。从数学角度来讲，是指以成像 系统能够捕捉的区域的立体角（solid angle)为4π球面度（steradian)的情况。全 方位成像系统或全景成像系统不仅为了适用于如拍摄建筑物、自然景观、天体等的传统 的领域，而且为了 适用于利用了 CCD(charge_coupled device)或 CMOS(complementary metal-oxide-semiconductor:互补金属氧化物半导体）照相机的安保、监视系统、房地产 或饭店、旅游地等的虚拟旅游（virtual tour)、或者移动机器人或无人驾驶飞机等领域而 在进行着很多研究和开发。
[0004] 得到全方位图像的一种方法是采用视场角宽的鱼眼透镜（fisheye lens)。例如， 若使视场角为180°的鱼眼透镜垂直地朝向天空，则可将天上的星座到地平线都捕捉到一 张图像中。基于这种理由，鱼眼透镜也被称之为全天空透镜（all-sky lens)。尤其，尼康 (Nikon)公司的一种鱼眼透镜（6mm f/5. 6 Fisheye-Nikkor)是视场角达到220°，因而若 将它安装到照相机上，则尽管是一部分但也能将照相机后方的景色包含到图像中。这样，对 使用鱼眼透镜得到的图像进行图像处理（image processing)就能得到全方位图像。
[0005] 在多数情况下，成像系统安装垂直于的壁面。例如，为了监视建筑物周边将成像系 统设置在建筑物的外壁上，或者旨在监视汽车后尾的后方照相机就属于这种情况。在这种 情况下，在水平方向的视场角远大于180°的情况下效率反而降低。这是因为监视的必要性 较少的壁面较多地占有了画面，因而图像显得枯燥且浪费像素之故。因此，在这种情况下， 水平方向的视场角为180°左右的情况比较理想。但为了这种目的而照原样使用视场角为 180°的鱼眼透镜却不可取。这是因为，鱼眼透镜产生桶形畸变（barrel distortion)因而 诱发审美上的不快感，从而消费者不理会之故。
[0006] 参考文献1至2提出有从具有给出的视点（viewpoint)以及投影方式 (projection scheme)的图像中提取具有其它视点或投影方式图像的核心技术。具体地讲， 参考文献2提出有立方体全景（cubic panorama)。简言之，立方体全景是指假设观察者位 于用玻璃制作的立方体的中心时将透过玻璃墙向外所能看到的全景描绘在玻璃墙上，而所 有风景是以在立方体的中心所观察的视点描绘的。但不存在是使用通过光学透镜而得到的 实际风景，而是使用以无畸变的虚拟的透镜即针孔照相机捕捉的图像的缺点。
[0007] 另一方面，包括人类在内的所有动植物因重力而被约束生存在地球表面，因而需 要注意或关注的大部分事件发生在地平线附近。因此，即便有监视地平线周边的360°所 有方向的必要，垂直于方向上监视到那种高度即天顶（zenith)或天底（nadir)的必要性却 很少。但为了在二维的平面上描绘360°全景，需要进行畸变别无他法。在用于将作为球 (sphere)的表面的地球上的地理表现在平面二维地图上的地图制作法中存在同样的难点。
[0008] 地球上的所有动植物和建筑物等无生物在重力的影响下，重力的方向为站直的方 向即垂直线。然而在所有畸变中人们最感到不自然的畸变是垂直线看成曲线的畸变。因此 重要的是，即便有其它畸变也不能有这种畸变。然而，地面虽然大体上垂直于重力的方向， 但在倾斜处当然不垂直。因此，从严格的意义上讲，应当以平面为基准，垂直方向是垂直于 水平面的方向。
[0009] 参考文献3中记载有在多种地图制作法中也广为人知的投影方式即等矩形投 影（equi-rectangular projection)、墨卡托投影（Mercator projection)以及圆柱投影 (cylindrical projection)，参考文献4中简述有多种投影方式历史。其中，等矩形投影方 式是我们在为了表现地球上的地理或显示星座而描绘天球时最为熟悉的地图制作法之一。
[0010] 参照图1，假设地表面或天球（celestial sphere)为半径为S的球面时，地表面上 的任意点Q以地球的中心N为基准具有经度值Φ和炜度值δ。另一方面，图2是按照等矩 形投影法制作的地表面或天球的平面地图的概念图。具有地表面的经度值Φ和炜度值S 的一点Q在根据等矩形投影法的平面地图235上具有对应的点Ρ"。该对应的点的直角坐 标给出为（X"，y")。而且，具有经度0°与炜度0°的赤道上的基准点在平面地图上具有 对应的一点0"，该对应点0"是直角坐标系的原点。此时，根据等矩形投影法，经度上的相 同的间距在平面地图上具有相同的横向间距。换言之，平面地图235上的横坐标X"与经度 成比例。
[0011] 数学式1
[0012] X" = c Φ
[0013] 这里，c是比例常数。而且，纵坐标y"与炜度成比例，具有与横坐标相同的比例常 数。
[0014] 数学式2
[0015] y" = c δ
[0016] 考虑到地表面近似于球面，这种等矩形投影方式可成为自然的投影方式，但存在 使地表面的面积严重地畸变的缺点。例如，在北极点附近彼此相隔很近的两点在等矩形投 影方式地图上有可能给人以似乎位于地球相反侧的印象。
[0017] 另一方面，在墨卡托投影方式在中，纵坐标给出为如数学式3那样复杂的函数。
[0018] 数学式3 CN 105139332 A 兄明书 3/49 页
[0019]
[0020] 另一方面，图3是圆柱投影（cylindrical projection)或全景投影（panoramic perspective)的概念图。在圆柱投影中，观察者位于半径为S的天球331的中心N，要在以 该观察者为中心的天球将除了天顶（zenith)与天底（nadir)之外的大部分区域描绘在二 维平面上。换言之，经度包括从一 180°到+180°的360°，而炜度包括包含赤道的仅仅一 部分亦可。具体地讲，炜度角的范围可假设为从一 A到+Δ，此时，Δ应小于90°。
[0021] 在这种投影方式中，假设在赤道303与天球331相接的圆柱334,接着，对于在天 球上具有规定的经度值Φ和炜度值δ的点Q(i])，δ )，使从上述天球的中心N连至上述一 点Q的线段延伸直至与上述圆柱面相交。该交点称之为Ρ(Φ，S)。利用这种方式得到与 天球面331上的上述炜度范围内的所有点Q对应的圆柱面334上的点P之后，切开上述圆 柱并展开成平面则可得到具有圆柱投影的地图。因此，所展开的圆柱面上的一点P的横坐 标X"由数学式4给出，纵坐标y"由数学式5给出。
[0022] 数学式4
[0023] X" =Sit
[0024] 数学式5
[0025] y" = S tan δ
[0026] 这种圆柱投影是用于照相机沿水平旋转而得到全景图像的全景照相机上的投影 方式。尤其在安装于旋转的全景照相机上的透镜为无畸变的直线像差修正透镜的情况下得 到的全景图像精确地符合圆柱投影方式。虽然从原理上讲这种圆柱投影是最为精确的全景 投影方式但炜度的范围较宽时图像看起来不自然，因而实际上不常用。
[0027] 在参考文献5和6中描述有具有视场角190°的鱼眼透镜的实施例，在参考文献7 中提出有包括赤平投影方式的折射式和反射折射式鱼眼透镜的多种广角透镜的实施例。
[0028] 另一方面，在参考文献8中描述有从使用包括鱼眼透镜的旋转对称式广角透镜而 获得的图像获得符合圆柱投影方式或等矩形投影方式以及墨卡托投影方式的全方位图像 的多种实施例。在上述文献中所提出的大部分实施例可参照图4至12简述如下。
[0029] 图4是包括鱼眼透镜的旋转对称式广角透镜412的的实际投影方式的概念图。描 述由广角透镜而捕捉的被摄体（object)的世界坐标系的Z轴与广角透镜412的光轴401 一致。对于该Z轴具有天顶角Θ的入射光405在由透镜412折射后作为折射光406会聚 到焦点面（focal plane) 432上的像点（image point) P。从上述透镜的节点N到上述焦点 面的距离大致与透镜的有效焦距（effective focal length) -致。在上述焦点面中形成 有实际像点的部分为图像面（image plane)433。为了得到清晰图像，上述图像面433与照 相机主体414内部的图像传感器面413应当一致。上述焦点面和上述图像传感器面垂直于 光轴。从该光轴401与图像面433的交点0(下面称之为第一交点）到上述像点P的距离 是r〇
[0030] 通常的广角透镜中的像大小r如数学式6给出。
[0031] 数学式6
[0032] r = r ( Θ )
[0033] 这里，入射角Θ的单位为弧度（radian)，上述函数r ( θ )是对于入射光的天顶角 Θ 的单调递增函数（monotonicalIy increasing function) 〇
[0034] 这种透镜的实际投影方式可以利用实际透镜以实验方式进行测定，或者能够以透 镜的设计图利用Code V或Zemax等透镜设计程序进行计算。例如，若在Zemax使用REAY 运算符，则能够具有计算已给出的水平方向和垂直方向的入射角的入射光的在焦点面上的 y轴方向的坐标y，与此类似地使用REAX运算符即可计算X轴方向的坐标X。
[0035] 图5是Paul Bourke教授以计算机制作的虚拟的室内风景，假设使用具有理想 的等距投影方式的视场角180°的鱼眼透镜。该图像具有横向和竖向大小均为250像素 的正方形的形状。因此，光轴的坐标为（125. 5,125. 5)，天顶角为90°的入射光的像大小 r'（ π /2) = 125. 5 - 1 = 124. 5.这里，r'不是实际物理上距离而是以像素距离测定的像 大小。由于该虚拟的鱼眼透镜满足等距投影方式，因而该透镜的投影方式如数学式7给出。
[0036] 数学式7
[0037]
[0038] 图6至8表示记载在参考文献7中的多种广角透镜的实施例。图6是赤平投影方 式的折射式鱼眼透镜，图7是赤平投影方式的反射折射式鱼眼透镜，图8是直线像差修正投 影方式的反射折射式全方位透镜。这样，现有的实施例和本发明的广角透镜包括以光轴为 中心的旋转对称式的所有广角透镜而并不限定于等距投影方式的鱼眼透镜。
[0039] 参考文献8的发明的要点是，提供一种对于使用这种旋转对称式广角透镜得到的 图像适用数学上精确的图像处理算法而得到全方位图像的方法。参考文献8中记载的多种 实施例可参照图9简述如下。图9是现有发明中的世界坐标系（world coordinate system) 的概念图。
[0040] 上述发明的世界坐标系为以旋转对称式广角透镜的节点N为原点，并以通过上述 原点的垂直线作为Y轴。这里，垂直线是垂直于地平面、更准确地讲是垂直于水平面917的 直线。世界坐标系的X轴与Z轴包括在地平面。一般来讲，上述广角透镜的光轴901不与 Y轴一致，可包括在地面（即、可以平行于地面），还可不平行于地面。此时，将包括上述Y 轴和上述光轴901的平面904称之为基准面（reference plane)。该基准面904与地平面 917的相交线（intersection line)902与世界坐标系的Z轴一致。另一方面，来自具有世 界坐标系中的直角坐标（X，Y，Z)的一物点Q的入射光905对于地面具有仰角δ，对于基准 面具有方位角Φ。包括上述Y轴和上述入射光905的平面为入射面906。上述入射光与上 述基准面所成的横向入射角Φ如数学式8给出。
[0041] 数学式8
[0042]
[0043] 另一方面，上述入射光与X-Z平面所成的竖向入射角（即、仰角）δ如数学式9给 出。
[0044] 数学式9
[0045]
[0046] 上述入射光的仰角（elevation angle) μ如数学式10给出，这里，x是大于一 90°且小于90°的任意角度。
[0047] 数学式10
[0048] μ = δ -X
[0049] 图10是全方位成像系统的概念图，大致包括图像获得单元（image acquisition means) 1010、图像处理单元（image processing means) 1016 以及图像显不单元（image display means) 1015、1017。图像获得单元1010包括具有旋转对称式形状的广角透镜1012 和其内部具有图像传感器1013的照相机主体1014。上述广角透镜可以是具有等距投影方 式的视场角180°以上的鱼眼透镜，但并非限定于这种鱼眼透镜，可以使用反射折射式鱼眼 透镜等多种旋转对称式广角透镜。便于说明起见，下面将广角透镜称之为鱼眼透镜。上述 照相机主体具备CCD或CMOS等图像传感器，能够获得静止图像或影像。物体面1031的图 像由上述鱼眼透镜1012而形成在焦点面1032上。为了得到清晰图像，图像传感器面1013 应与上述焦点面1032 -致。在图10中符号1001表示光轴。
[0050] 存在于上述物体面1031上的被摄体的通过鱼眼透镜1012的实像（real image) 在由图像传感器1013而转换成电信号之后，以修正前图像面（uncorrected image plane) 1034显示在图像显示单元1015,该修正前图像面1034是由鱼眼透镜而畸变的图像。 该被畸变的图像通过图像处理单元1016而修正畸变之后，从如计算机监视器或CCTV监视 器的图像显示单元1017显示到修正后图像面（processed image plane) 1035上。上述图像 处理可以是通过计算机的软件图像处理，也可以是通过在现场可编程门阵列（FPGA:Field Programmable Gate Array)或 CPLD(Complex Programmable Logic Device)、ARM core processor、ASIC、或数字信号处理器（DSP:Digital Signal Processor)上动作的嵌入式软 件（embedded software)的图像处理。
[0051] 包括鱼眼透镜在内的任意旋转对称式透镜不能提供上面所述的全方位图像或无 畸变的直线像差修正图像。因此，为了得到理想的图像就必须执行图像处理过程。图11是 与图像传感器面1013对应的图像处理前的修正前图像面1134的概念图。若假设图像传感 器面1013的横边长为B，且竖边长为V，则修正前图像面的横边长为gB，且竖边长为gV。这 里，g是比例常数。
[0052] 修正前图像面1134可认为是显示于图像显示单元的未修正畸变的画面，是以倍 率g放大了成像于图像传感器面的图像的图像。例如，在为1/3-inch CCD的情况下，是图 像传感器面的横边长为4. 8_，且竖边长为3. 6_的长方形的形状。另一方面，若假设监视 器的大小是横边长为48cm，且竖边长为36cm，则倍率g成为100。更为理想的是，在数字化 的数字图像中将像素的长度假设为1。若是VGA级的1/3-inch CCD传感器，则像素以横向 640列且竖向480行的矩阵的形态存在。因此，一个像素为横向和竖向均为4. 8mm/640 = 7. 5 μ m正方形的形状，在该情况下，放大倍数g是lpixel/7. 5 μ m = 133. 3pixel/mm。换言 之，修正前图像面1134是将成像于图像传感器面的畸变的图像转换为电信号而得到的被 畸变的数字图像。
[0053] 图像传感器面上的第一交点0是光轴与传感器面的交点。因此，沿着光轴入射的 光线在上述第一交点〇形成像点。根据定义，与图像传感器面上的第一交点〇对应的修正前 图像面上的一点0'（下面称之为第二交点）相当于沿着光轴入射的入射光所产生的像点。
[0054] 假设以通过修正前图像面上的第二交点0'且平行于修正前图像面的横边的轴为 X'轴，并以通过上述第二交点且平行于上述修正前图像面的竖边的轴为y'轴的第二直角 坐标系。正（+)的X'轴的方向为从左边朝向右边的方向，正的y'轴的方向为从上端朝向 下端的方向。此时，修正前图像面1134上的任意一点的横坐标X'具有最小值乂' 1=8乂1至 最大值x'2=gx2(即、gx#x'彡gx 2)。与此相同地、上述一点的纵坐标y'具有最小值 =gyi至最大值 y' 2= gy 2 (即、gyi彡 y' 彡 gy 2)。
[0055] 图12是修正了本发明的图像显示单元的畸变的画面，即修正后图像面1235的概 念图。修正后图像面1235具有四边形形状，横边长为W，竖边长为H。而且，假设平行于修 正后图像面的横边的轴为X"轴，且平行于竖边的轴为y"轴的第三直角坐标系。第三直角 坐标系的z"轴的方向与第一直角坐标系的z轴和第二直角坐标系的z'轴的方向一致。上 述z"轴与修正后图像面的交点0"(下面称之为第三交点）的位置可具有任意值，甚至还 可位于修正后图像面的外部。这里，正的X"轴的方向为从左边朝向右边的方向，正的y" 轴的方向为从上端朝向下端的方向。
[0056] 第一交点和第二交点为光轴的位置。但第三交点不是与光轴的位置对应，而是与 主视方向（principal direction of vision)对应。主视方向可与光轴一致，但不必一定 与光轴一致。主视方向是理想的全方位或与直线像差修正图像对应的虚拟的全方位或直线 像差修正照相机的光轴的方向。便于论述起见，下面将主视方向称之为光轴方向。
[0057] 修正后图像面1235上的第三点P"的横坐标X"具有最小值X" 1至最大值 X" 2(即、X" iSx"彡X" 2)。根据定义，横坐标的最大值与最小值之差与修正后图像面 的横边长一致（即、X" 2-x" i=W)。与此相同地、第三点P"的纵坐标y"具有最小值 y":至最大值y" 2(即、y" iSy"彡y" 2)。根据定义，纵坐标的最大值与最小值之差 与修正后图像面的竖边长一致（即、y" 2-y" i=H)。
[0058] 下面的表1将在物体面与传感器面、修正前/后图像面上的对应的变量汇总在一 个表中。
[0059] 表 1
[0060]
[0061] 另一方面，若假设与具有上述世界坐标系中的坐标（X，Y，Z)的一物点对应的已被 图像处理的画面1235上的像点P"的坐标为（X"，y")，则上述图像处理单元进行图像处 理使得由来自上述物点的入射光所产生的像点显示在上述画面上的坐标（X"，y")，而上 述像点的横坐标X"如数学式11给出。
[0062] 数学式11
[0063] X" = c Φ
[0064] 这里，c是比例常数。
[0065] 而且，上述像点的纵坐标y"由数学式12给出。
[0066] 数学式12
[0067] j" = cF(y)
[0068] 这里，F(y)是通过原点的单调递增函数。从数学角度讲，是指满足数学式13和 14〇
[0069] 数学式13
[0070] F(O) = 0
[0071] 数学式14
[0072]
[0073] 上述函数FU)可具有任意方式，但最佳方式由数学式15至18给出。
[0074] 数学式15
[0075] F ( μ ) = tan μ
[0076] 数学式16
[0077]
[0078] 数学式17
[0079] F(y) = μ
[0080] 数学式18
[0081]
[0082] 图13是旨在便于理解根据现有发明的一实施例的全方位成像系统的视场角和投 影方式的图。假设本实施例的全方位成像系统附着在垂直于地面的一壁面1330上。壁面 与X-Y平面一致，Y轴从地面（即、X-Z平面）朝向天顶。坐标系的原点位于透镜的节点Ν， 透镜的光轴1301的方向与Z轴一致。从严格的意义上讲，光轴的方向是世界坐标系的负的 Z轴的方向。这是由于，根据成像光学系统的规定，从被摄体（或物点）朝向像面（或像 点）的方向为正方向之故。尽管事实如此，便于说明起见下面就以光轴的方向与世界坐标 系的Z轴一致来进行描述。这是由于，本发明不是对于透镜设计的发明而是利用透镜的发 明，从使用者的立场来看，将光轴的方向理解成本发明的实施例是更方便之故。
[0083] 图像传感器面1313是横边长为B且竖边长为V的长方形的形状，而且图像传感器 面是垂直于光轴的平面。在本实施例中，世界坐标系的X轴与第一直角坐标系的X轴平行， 且方向也相同。另一方面，世界坐标系的Y轴与第一直角坐标系的y轴平行，但方向相反。 因此，在图13第一直角坐标系的X轴的正方向为自左向右的方向，正的y轴的方向为自上 向下的方向。
[0084] -般来讲，第一直角坐标系的Z轴与传感器面1313的交点0( 即、第一交点）不位 于传感器面1313的中心，甚至还可位于传感器面外部。这种情况在为了得到视场角在垂直 方向或水平方向非对称的图像而故意使图像传感器的中心脱离透镜的中心（即、光轴）的 情况下可能发生。
[0085] 符合圆柱投影方式的全方位照相机在垂直方向上符合直线像差修正投影方式 (rectilinear projection scheme)，在水平方向上符合等距投影方式（equidistance projection scheme)。这种投影方式相当于假设以Y轴为旋转对称轴的半径S的半圆柱物 体面1331，物体面1331上的任意一点Q(下面称之为物点（object point))的图像成为上 述传感器面1313上的某一点即像点（image point) P。根据本实施例的优选投影方式，存在 于半圆柱形状的物体面1331上的被摄体的图像以依旧保存了竖向比率的状态捕捉到传感 器面1313,该像点的横坐标X与上述物体面上的对应的物点的水平方向的弧（arc)长成比 例，由物体面1331上的所有物点带来的图像传感器面上的像点形成实像（real image)。
[0086] 图14表示图13的物体面在X-Z平面上的截面，图15表示图13的物体面在Y-Z 平面上的截面。从图13至图15能够得到由数学式19给出的方程式。
[0087] 数学式19
[0088] CN 105139332 A 说明书 9/49 页
[0089] 因此，在进行理想的修正后设定图像面的大小与视场角时，应满足数学式19。
[0090] 若图12的修正后图像面满足上面所述的投影方式，则与上述修正后图像面上的 第三点P"的横坐标X"对应的入射光的横向入射角由数学式20给出。
[0091] 数学式20
[0092]
[0093] 与此相同地、与具有纵坐标y"的第三点对应的入射光的竖向入射角从数学式19 如数学式21给出。
[0094] 数学式21
[0095]
[0096] 因此，具有优选投影方式的修正后图像面上的第三点的信号值应为来自