专利名称：鱼眼图像校正及减轻透视变形的图像处理方法及相关装置的制作方法
技术领域：
本发明涉及用于一种可节省暂存存储器空间并降低透视变形(Perspective Distortion)的鱼眼图像校正及减轻透视变形的图像处理方法及相关图像处理装置，尤其 涉及一种可减少暂存存储器空间，降低透视变形，减少装置成本的鱼眼图像校正及减轻透 视变形的图像处理方法及相关图像处理装置。
背景技术：
随着数字图像处理系统的计算能力的增进，鱼眼摄像机所拍摄的图像已经能够以 即时的速度加以处理，使鱼眼摄像机所拍摄的图像能够清晰地显示在使用者面前，供使用 者辨认图像中的人、事、物。例如，在倒车摄像系统、大厦门口对讲机系统(Door Phone)以 及一般监视系统等应用中，鱼眼摄像机及其相关的数字图像处理系统的使用已经愈来愈普 遍。此外，存储于数字存储媒介或拍摄自数字照相机的图像，也有部分系经由鱼眼镜头所拍 摄的图像，其亦可经由相似的方式加以处理并显像。然而，正因为鱼眼图像包含有非常大视 角的图像信息，鱼眼图像中的相关景物必然受到不同程度的挤压与变形，使用者在面对未 经还原处理的鱼眼图像时，常对鱼眼图像中的景物感到困惑，可能使得其中的图像也变得 难以辨识，甚至遗漏或误解图像中的重要信息。因此，将鱼眼图像经由数字图像处理系统执 行还原处理便显得必要。 然而，在已知技术中的鱼眼图像还原处理方式，需耗费庞大的暂存存储器空 间，因而增加实际建置数字图像处理系统的成本，并且有严重的视角失真以及透视变形 (Perspective Distortion)的问题，造成图像呈现景物比例不均的现象。
发明内容
因此，本发明的主要目的即在于提供一种用于可节省暂存存储器空间，降低透视 变形(Perspective Distortion)以及保留水平及垂直方向的视角的一鱼眼图像处理方法 及相关鱼眼图像处理装置。 本发明公开一种可节省暂存存储器空间并降低透视变形的鱼眼图像校正及减轻
透视变形的鱼眼图像处理方法，包含有根据一鱼眼校正图像及一鱼眼原始图像之间的一坐
标转换函数，该鱼眼校正图像包含有多个像素，依序对该多个像素的每一像素，计算相对于
该像素的一鱼眼原始坐标值；以及根据该鱼眼原始坐标值，在该鱼眼原始图像中，经由一内
插法(interpolation)，计算该鱼眼校正图像的每一像素的像素值；其中，该坐标转换函数
包含有一鱼眼坐标校正转换、一减轻透视变形坐标转换及一图像裁切放大縮小坐标转换。 本发明另公开一种可节省暂存存储器空间并降低透视变形的鱼眼图像校正及减
轻透视变形的鱼眼图像处理装置，包含有一坐标计算单元，根据一鱼眼校正图像及一鱼眼
原始图像之间的一坐标转换函数，该鱼眼校正图像包含有多个像素，依序对该多个像素的
每一像素，计算相对于该像素的一鱼眼原始坐标值；以及一图像计算单元，根据该鱼眼原始
坐标值，在该鱼眼原始图像中，经由一内插法，计算该鱼眼校正图像的每一像素的像素值；其中，该坐标转换函数包含有一鱼眼坐标校正转换、一减轻透视变形坐标转换及一图像裁 切放大縮小坐标转换。
图1为本发明实施例用于鱼眼图像处理方法的一流程的示意图。 图2A为本发明根据步骤102用于鱼眼图像的坐标转换的示意图。 图2B为本发明根据步骤102用于鱼眼图像的坐标转换及相关图像的示意图。 图3为一鱼眼原始图像及一图像感测芯片的一相对关系示意图。 图4A中的图像为一鱼眼镜头所拍摄的原始图像。 图4B中的图像为一经过鱼眼坐标校正变换处理完毕后的图像。 图4C中的图像是经过一图像切割步骤处理完毕后的图像。 图5A是一未经减轻透视变形坐标转换的图像。 图5B是一经过减轻透视变形坐标转换处理完毕后的图像。 图6A是一未经本发明的图像裁切方法所裁切的图像。 图6B是一经过本发明的图像裁切方法所裁切的图像。 图7A是一未经本发明的鱼眼图像处理的图像。 图7B是一经过本发明的鱼眼图像处理完毕后的图像。 图8所示为根据本发明的一种可以节省暂存存储器空间的鱼眼图像处理装置'
主要元件符号说明
10 流程 100、102、104、106、202、204、206 步骤 200 使用者接口 80 鱼眼图像处理装置 800 坐标计算单元 802 图像计算单元
具体实施例方式
本发明利用鱼眼校正图像及鱼眼原始图像之间的坐标转换，计算鱼眼校正图像的 每个像素的像素值， 一次性的完成鱼眼图像还原，以达到节省暂存存储器空间及降低透视 变形的效果。兹将本发明的实施方法、原理及构成要件叙述于下。 关于本发明的鱼眼图像处理方法的运作方式，请参考图1，图1为本发明实施例用 于鱼眼图像处理方法的一流程10的示意图。流程10包含以下步骤
步骤100 :开始。 步骤102 :根据一鱼眼校正图像及一鱼眼原始图像之间的一坐标转换函数，该鱼 眼校正图像包含有多个像素，依序对该多个像素的每一像素，计算相对于该像素的一鱼眼 原始坐标值。
步骤104:根据该鱼眼原始坐标值，在该鱼眼原始图像中，经由一内插法 (interpolation)，计算该鱼眼校正图像的每一像素的像素值。
步骤106 :结束。
简言之，流程10根据鱼眼校正图像中的每一像素，逐个计算该像素在鱼眼原始图像中相对应的坐标值，并根据鱼眼图像中的坐标值，在该鱼眼原始图像中，经由内插法，计算出一图像估计值，并以此图像估计值，作为鱼眼校正图像中该像素的像素值。此外，鱼眼校正图像经过本发明的坐标转换后，亦能同时降低透视变形的现象，并根据不同的图像显示装置，输出成不同的解析度。 为进一步说明流程10的详细运作方式，请继续参考图1。在步骤102中，为节省数字图像处理系统所需的暂存存储器空间，本发明利用多个坐标转换，反向推导出一鱼眼校正图像像素位于鱼眼原始图像中相对应的坐标值。请参考图2A，图2A为步骤102中所用的坐标转换示意图。其中，包含有鱼眼坐标校正变换202、减轻透视变形坐标转换204以及图像裁切放大縮小坐标转换206等。鱼眼原始图像经由鱼眼坐标校正变换202、减轻透视变形坐标转换204以及图像裁切放大縮小坐标转换206等坐标转换执行完成后，可得到适合一般使用者判读的鱼眼校正图像。此外，本发明包含有一使用者接口 200，一般使用者可在判读图像时，调整坐标转换202、204、206中所包含的坐标转换系数，以增进图像判读的便利性。 请继续参考图2B，图2B为步骤102中用于鱼眼原始图像的坐标转换及相关图像的示意图。当接收到鱼眼原始图像后，先由鱼眼坐标校正变换202将鱼眼原始图像转换成初步还原图像。紧接着，减轻透视变形坐标转换204将初步还原图像转换成减轻透视变形后图像。然后，图像裁切放大縮小坐标转换206将减轻透视变形后图像转换成鱼眼校正图像。步骤102根据鱼眼校正图像中某一像素的二维坐标值(pxr，pyr)，经由对鱼眼校正图像中所有的像素逐个进行反向推导，依序找出的减轻透视变形后图像的二维坐标值(pxn， py》，再依序找出初步还原图像的二维坐标值(px。，py。)，并最后于鱼眼原始图像中找到相对应的鱼眼坐标值(pxd， pyd)。并根据步骤104，将该鱼眼原始坐标值(pxd， pyd)，在该鱼眼原始图像中，经由内插法(interpolation)，执行图像估计以得到相对应的图像估计值，计算该鱼眼校正图像的每一像素的像素值。因此，经过反向的坐标转换计算，就可以于鱼眼原始图像中找到相对应的坐标落点，并可在鱼眼原始图像中进行图像估计的动作，进而得到所需的图像估计值。如此一来，便可完成鱼眼校正图像的整体还原动作。 为进一步解释鱼眼坐标校正变换202，请参考图3，图3为一鱼眼原始图像及一图像感测芯片的一相对关系示意图。 一般而言，鱼眼原始图像包含有大视角的图像信息。较精确的定义是，鱼眼原始图像涵盖一个半球体角度的图像(水平及垂直的视角皆可达180度)，而且这个广角的图像必须集中投射到一个相对狭小的图像感测芯片上。其中，图像感测芯片300与鱼眼摄像镜头所涵盖的半球体302之间的坐标变换，可以由下列方程式表
示<formula>formula see original document page 6</formula>
<formula>formula see original document page 7</formula> 其中，(px。，py。)表示初步还原图像的二维坐标值；(pxd，pyd)表示鱼眼原始图像的二维坐标值；r表示初步还原图像中(px。， py。)与初步还原坐标原点的距离；而Radius表示鱼眼原始图像中，(pxd，pyd)与鱼眼坐标原点的距离。另外，F是鱼眼镜头的焦距(FocalLength)。反正切函数atan()及atan2 ()分别用来算出9及小的角度值。
经由上述公式，可在初步还原图像的二维坐标值(px。， py。)及鱼眼原始图像的二维坐标值(pxd，pyd)之间进行坐标变换。此项转换主要的目的是使原始图像中，将被鱼眼镜头所挤压与扭曲变形的图像加以拉直。请参考图4A至图4B，图4A中的图像为一鱼眼镜头所拍摄的原始图像，而图4B中的图像为一经鱼眼坐标校正坐标变换处理完毕后的图像。
请继续参考图4B ，经过鱼眼坐标校正坐标变换的图像须经过 一 个图像切割(Cropping)的步骤。图像切割的目的是，在鱼眼坐标校正坐标变换的步骤完成后，在所得到的图像中，切割出一个长方形的图像，以方便在一般通用具长方形屏幕的显示器上显像。图4B中的长方框显示经鱼眼坐标校正坐标变换后的图像中一长方形的一切割区域。图4C中的图像是经过一图像切割步骤处理完毕后的图像。其次，经图像切割的长方形区域的宽高比(Aspect Ratio)再经由一图像縮放(Scaling)的步骤，调整成显示器屏幕的宽高比。如此一来，鱼眼原始图像经由数字图像处理系统执行还原处理的步骤，将被鱼眼镜头所挤压及扭曲的图像加以拉直，并按照显示器屏幕的宽高比显像。 此外，本发明所公开的减轻透视变形坐标转换204为了降低透视变形(Perspective Distortion)的现象而设立，其主要功能于经过鱼眼坐标校正变换202后的初步还原图像中，从图像的中间部分到边缘部分，逐渐增加压縮量。如此一来，使靠近图像中心的部分比例改变较小，而越靠近图像边缘的部分压縮比例较大，较佳地，此减轻透视变形坐标转换204是一二维非线性坐标转换，并可以用下的方程式执行
pxn = pxc* (1_ o x氺pXc氺pXc)
pyn = pyc* (1_ o y*pyc*pyc) 其中，(px。，py。)是初步还原图像的二维坐标值，(pxn，pyn)是经非线性坐标转换后的视角校正后图像的二维坐标值。o,及Oy分别是控制水平及垂直方向压縮量的补偿系数。减轻透视变形坐标转换204，可进一步增进鱼眼校正图像的边缘部分及中间部分景物大小的一致性，以方便使用者判读图像中的有用信息。此二维非线性坐标转换方程式中所包含的补偿系数、及。y，可经由预设方式，将其中补偿系数、及Oy设定在一预设值。亦可根据使用者观察鱼眼校正图像时的主观需求，亦可经由使用者接口 200，调整补偿系数、及Oy的大小，达到使用者最满意的状态。关于减轻透视变形坐标转换204的转换效果，请参考图5A至图5B，图5A是一未经减轻透视变形坐标转换204的图像，而图5B是一经减轻透视变形坐标转换204处理完毕后所得的图像。其中，图5B中的边缘部分经适当压縮，可增加边缘部分及中间部分景物大小的一致性。 此外，本发明另采用一能够最大限度保留图像信息的图像裁切方法。请参考图6A至图6B，图6A是一未经本发明的图像裁切方法所裁切的图像，而图6B是一经本发明的图像裁切方法所裁切的图像。本发明的图像裁切方法尽可能的在水平与垂直方向裁切出一包含最多图像信息的矩形面积。在一般情况下，经由本发明的图像裁切方法所得的矩形的宽高比不会等于显示器的宽高比，然而，本发明可利用图像裁切放大縮小坐标转换206中可对图像进行放大縮小的功能，使裁切所得的矩形经由水平或垂直方向的放大縮小，使其符合显示器的宽高比，并以此最大限度地保留图像信息。 此外，根据步骤104，相对于鱼眼校正图像中的一个鱼眼校正图像坐标值，经由鱼眼坐标校正变换202、减轻透视变形坐标转换204以及图像裁切放大縮小坐标转换206，所计算出的一个位于鱼眼原始图像坐标中的鱼眼原始坐标值通常不会刚好座落在鱼眼原始图像的某一像素上。为计算相对于此鱼眼原始坐标值的图像估计值，本发明采用一内插法。此内插法经由落点所在位置的周遭像素，以近似内插方式，推算出相对于此落点的图像估计值。 关于鱼眼坐标校正变换202、减轻透视变形坐标转换204以及图像载切放大縮小坐标转换206的综合效果，请参考图7A至图7B，图7A是一未经本发明的鱼眼原始图像处理的图像，而图7B是一经本发明的鱼眼原始图像处理完毕后的图像。 值得注意的是，如果不采用本发明的一次性坐标转换，反而分别执行鱼眼坐标校正变换202、减轻透视变形坐标转换204以及图像裁切放大縮小坐标转换206等上述步骤，则需要多个图像暂存存储器空间，以存储各步骤在执行过程中及完成后所得的图像。例如，鱼眼镜头所拍摄的鱼眼原始图像、经由鱼眼坐标校正变换202后的图像、再经由减轻透视变形坐标转换204后的图像，以及图像裁切放大縮小后的图像，都各需要有足够的暂存存储器空间。因此，如果采用逐个坐标变换演算的方式，系统需要庞大的暂存存储器空间，因而增加实际建置数字图像处理系统的成本。本发明几乎免除所有计算过程中所需的暂存存储器空间，先经由对一个虚拟而不占存储器空间的鱼眼校正图像中所有的像素逐个进行反向推导其于鱼眼原始图像中所对应的鱼眼原始图像坐标值，进行图像估计以得到相对应的图像估计值，便可直接完成鱼眼校正图像的整体还原动作。 关于流程10的实现方式，请参考图8，图8所示为本发明实施例一鱼眼图像处理装置80的示意图。鱼眼图像处理装置80可以节省暂存存储器空间，其包含有一坐标计算单元800及一图像计算单元802。坐标计算单元800可根据一个虚拟鱼眼校正图像中任何一个像素的二维坐标值，经由反向的坐标转换，推导出该像素位于鱼眼原始图像中相对的坐标值。如前所述，此多个坐标转换包含有鱼眼坐标校正变换202、减轻透视变形坐标转换204以及图像裁切放大縮小坐标转换206等变换。图像计算单元802则根据坐标计算单元800所计算出的鱼眼原始图像的坐标值，利用近似内插法，在鱼眼原始图像中进行图像估计的动作，进而得到一图像估计值，由落点所在位置的周遭像素的图像值，推算出相对于此落点的图像估计值。鱼眼图像处理装置80用以实现流程10，各元件详细运作方式可参考前述说明，在此不赘述。 值得注意的是，本发明以反向推导鱼眼校正图像的像素位于鱼眼原始图像中相对的坐标值，直接计算相对于此落点坐标值的图像估计值，因此可以节省暂存存储器空间。较佳地，针对鱼眼校正图像中每一像素的二维坐标值，反向推导出该像素位于鱼眼原始图像中相对应的坐标值，由该坐标计算单元800实时地加以计算，并由该图像计算单元802，实时地计算出相对于该落点坐标值的图像估计值，因此可以节省存储器空间。此外，减轻透视变形坐标转换204所包含的水平及垂直的非线性坐标转换，用来减少透视变形，让鱼眼校正后的图像整体比例看起来更显自然。
8
此外，为方便不同的使用者判读图像，本发明中的减轻透视变形坐标转换204的二维非线性坐标转换方程式中所包含的补偿系数，可以是一预设值，也可以经由简易的使用者接口 ，较佳地，经由图形化使用者接口 ，向上或向下调整此补偿系数值。其目的在方便使用者于观察鱼眼校正图像时，能够直接调整这些非线性方程式中的补偿系数值，以满足不同使用者的图像判读习性。只要拍下鱼眼扭曲的照片，使用者便可以通过图形化接口调整参数，不需要复杂而成本昂贵的实验室环境对鱼眼原始图像进行严格的校正。并且，校正后的图像可以是使用者指定的大小，并由图像裁切放大縮小坐标转换完成此项需求。
总而言之，本发明利用一种反向的演算方式，针对虚拟鱼眼校正图像中任何一个像素的二维坐标值，推导出该像素位于鱼眼原始图像中相对的坐标值，免除计算过程中所需绝大部分的暂存存储器空间，增进计算效率，以达到节省实际建置数字图像处理系统成本的目的。并且，提供使用者可因个人喜好，通过图形化接口调整图像中用已降低视角失真的补偿系数，进而增进使用时的便利性。 以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。
权利要求
一种可节省暂存存储器空间并降低透视变形的鱼眼图像校正及减轻透视变形的鱼眼图像处理方法，包含有根据一鱼眼校正图像及一鱼眼原始图像之间的一坐标转换函数，该鱼眼校正图像包含有多个像素，依序对该多个像素的每一像素，计算相对于该像素的一鱼眼原始坐标值；以及根据该鱼眼原始坐标值，在该鱼眼原始图像中，经由一内插法，计算该鱼眼校正图像的每一像素的像素值；其中，该坐标转换函数包含有一鱼眼坐标校正转换、一减轻透视变形坐标转换及一图像裁切放大缩小坐标转换。
2. 如权利要求1所述的鱼眼图像处理方法，其中根据该鱼眼校正图像及该鱼眼原始 图像之间的该坐标转换函数，该鱼眼校正图像包含有多个像素，依序对该多个像素的每一 像素，计算相对于该像素的该鱼眼原始坐标值，是对该鱼眼校正图像所包含的多个像素的 鱼眼校正坐标值，依序执行该鱼眼坐标校正转换、该减轻透视变形坐标转换及该图像裁切 放大縮小坐标转换，以计算该鱼眼校正坐标值对应于该鱼眼原始坐标中的该二维鱼眼坐标 值。
3. 如权利要求1所述的鱼眼图像处理方法，其中根据该鱼眼原始坐标值，在该鱼眼原 始图像中，经由该内插法，计算该鱼眼校正图像的每一像素的像素值，在该鱼眼原始图像 中，邻近于该二维鱼眼原始坐标值的多个像素，执行一内插法，以计算相对于该二维鱼眼校 正图像的每一像素的坐标值的该图像估计值。
4. 如权利要求1所述的鱼眼图像处理方法，其中该减轻透视变形坐标转换根据一减轻 透视变形的方程式组执行。
5. 如权利要求4所述的鱼眼图像处理方法，其中该减轻透视变形的方程式组所包含的 多个系数为多个预设值。
6. 如权利要求4所述的鱼眼图像处理方法，其中该减轻透视变形的方程式组所包含的 多个系数为多个外部输入值。
7. —种可节省暂存存储器空间并降低透视变形的鱼眼图像校正及减轻透视变形的鱼 眼图像处理装置，包含有一坐标计算单元，根据一鱼眼校正图像及一鱼眼原始图像之间的一坐标转换函数，该 鱼眼校正图像包含有多个像素，依序对该多个像素的每一像素，计算相对于该像素的一鱼 眼原始坐标值；以及一图像计算单元，根据该鱼眼原始坐标值，在该鱼眼原始图像中，经由一内插法，计算 该鱼眼校正图像的每一像素的像素值；其中，该坐标转换函数包含有一鱼眼坐标校正转换、一减轻透视变形坐标转换及一图 像裁切放大縮小坐标转换。
8. 如权利要求7所述的鱼眼图像处理装置，其中该坐标计算单元，对该鱼眼校正图像 所包含的多个像素的鱼眼校正坐标值，依序执行该鱼眼坐标校正转换、该减轻透视变形坐 标转换及该图像裁切放大縮小坐标转换，以计算该鱼眼校正坐标值对应于该鱼眼原始坐标 中的该二维鱼眼坐标值。
9. 如权利要求7所述的鱼眼图像处理装置，其中该图像计算单元，在该鱼眼原始图像 中，邻近于该二维鱼眼原始坐标值的多个像素，执行一内插法，以计算相对于该二维鱼眼校正图像的每一像素的坐标值的该图像估计值。
10. 如权利要求7所述的鱼眼图像处理装置，其中该减轻透视变形坐标转换根据一减 轻透视变形的方程式组执行。
11. 如权利要求io所述的鱼眼图像处理装置，其中该减轻透视变形的方程式组所包含的多个系数为多个预设值。
12. 如权利要求10所述的鱼眼图像处理方法，其中该减轻透视变形的方程式组所包含 的多个系数为多个外部输入值。
全文摘要
鱼眼图像校正及减轻透视变形的图像处理方法及相关装置。该鱼眼图像处理方法用于一可节省暂存存储器空间并降低透视变形(PerspectiveDistortion)的鱼眼图像校正及减轻透视变形，包含有根据一鱼眼校正图像及一鱼眼原始图像之间的一坐标转换函数，该鱼眼校正图像包含有多个像素，依序对该多个像素的每一像素，计算相对于该像素的一鱼眼原始坐标值；以及根据该鱼眼原始坐标值，在该鱼眼原始图像中，经由一内插法(interpolation)，计算该鱼眼校正图像的每一像素的像素值；其中，该坐标转换函数包含有一鱼眼坐标校正转换、一减轻透视变形坐标转换及一图像裁切放大缩小坐标转换。
文档编号H04N5/262GK101742125SQ20081017745
公开日2010年6月16日 申请日期2008年11月27日 优先权日2008年11月27日
发明者吴明洋, 宋栢安, 游启昌 申请人:义晶科技股份有限公司