利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置与流程

本发明涉及一种图像获取装置及方法，尤其涉及一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置。

背景技术：

游戏机是现代人家庭娱乐不可或缺的电子产品之一。为了增加玩家与游戏内容的互动，许多游戏机已摒除传统手把的控制模式，加入了体感检测的元素。通过红外线等传感器检测使用者于空间中的移动或动作，并反应于游戏内容的操控，而大幅增加游戏的娱乐性。

除了早期的红外线感测定位技术之外，近期的游戏机更导入了光球检测技术，当使用者手持光球遥杆在空间中挥舞时，游戏机会通过配置其上的双镜头拍摄光球的图像，并根据光球在图像中的位置计算光球在空间中的位置。

然而，由于传统镜头的视野(fieldofview，fov)有限，此将使得上述双镜头的拍摄范围会受到限制，连带使得使用者的移动空间也受到限制。而若将此镜头替换成视野较广的鱼眼镜头，则因为鱼眼镜头所获取的图像会有变形，需要进行鱼眼校正后才能用来定位，但校正过程需要经过几何转换(geometrytransformation)，此将降低视频图像的管线期间(pipelineduration)，而有可能需要通过增加图框率(framerate)来解决。

技术实现要素：

本发明提供一种利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置，可在不进行几何转换的情况下，使用双鱼眼图像计算出物体于空间中的三维坐标。

本发明的利用双鱼眼图像计算所摄物体坐标的方法适用于具有第一鱼眼镜头及第二鱼眼镜头的图像获取装置。其中，第一鱼眼镜头及第二鱼眼镜头之间具有基线距离。所述方法是利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像。接着，检测此物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标，然后根据此第一坐标及第二坐标，计算物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角，之后则利用第一鱼眼镜头及第二鱼眼镜头的镜头曲线，分别将第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角。最后，根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算物体的三维坐标。

在本发明的一实施例中，所述的物体包括发光装置，而所述检测物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标的步骤包括分别检测第一鱼眼图像及第二鱼眼图像中亮度或颜色分量大于预设值的多个像素，而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为所述的第一坐标及第二坐标。

在本发明的一实施例中，所述物体所发出的光在第一鱼眼镜头上的入射角与此光在第一鱼眼镜头的图像传感器上的投影半径呈正比，以及所述物体所发出的光在第二鱼眼镜头上的入射角与此光在第二鱼眼镜头的图像传感器上的投影半径呈正比。

在本发明的一实施例中，假设所述第一方位角为第二方位角为第一入射角为θl、第二入射角为θr以及基线距离为b，物体的三维坐标为(x,y,z)，其中

以及

或

在本发明的一实施例中，所述第一鱼眼镜头的光轴及第二鱼眼镜头的光轴具有一夹角，使得第一鱼眼镜头的视野与第二鱼眼镜头的视野包括重叠区域及非重叠区域。其中，当所述物体出现在重叠区域时，根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的三维坐标；以及当所述物体出现在非重叠区域时，根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的二维坐标。

本发明的图像获取装置包括图像获取模块、物体检测模块、方位角计算模块、入射角计算模块及坐标计算模块。图像获取模块是利用第一鱼眼镜头及第二鱼眼镜头分别获取包括一物体的第一鱼眼图像及第二鱼眼图像。物体检测模块是检测所述物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标。方位角计算模块是根据所述的第一坐标及第二坐标，计算所述物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角。入射角计算模块是利用第一鱼眼镜头及第二鱼眼镜头的镜头曲线，分别将第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角。坐标计算模块是根据所述的第一方位角、第二方位角、第一入射角、第二入射角以及第一鱼眼镜头与第二鱼眼镜头之间的基线距离，利用三角函数计算所述物体的三维坐标。

在本发明的一实施例中，所述的物体包括发光装置，而所述物体检测模块包括分别检测第一鱼眼图像及第二鱼眼图像中亮度或颜色分量大于预设值的多个像素，而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为第一坐标及第二坐标。

在本发明的一实施例中，所述的物体所发出的光在第一鱼眼镜头上的入射角与此光在第一鱼眼镜头的图像传感器上的投影半径呈正比，以及所述的物体所发出的光在第二鱼眼镜头上的入射角与此光在第二鱼眼镜头的图像传感器上的投影半径呈正比。

在本发明的一实施例中，假设所述的第一方位角为第二方位角为第一入射角为θl、第二入射角为θr以及基线距离为b，物体的三维坐标为(x,y,z)，其中

以及

或

在本发明的一实施例中，所述的第一鱼眼镜头的光轴及第二鱼眼镜头的光轴具有一夹角，使得第一鱼眼镜头的视野与第二鱼眼镜头的视野包括重叠区域及非重叠区域，其中当物体出现在重叠区域时，坐标计算模块包括根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算物体的三维坐标；以及当物体出现在重叠区域时，坐标计算模块包括根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算物体的二维坐标。

基于上述，本发明的利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置利用双鱼眼镜头获取物体图像，并在不进行几何转换的情况，直接使用物体在双鱼眼图像中的坐标计算由物体发射的光在鱼眼镜头上的入射角以及在镜头平面上的方位角，最后利用三角定位的方式，计算该物体在空间中的三维坐标。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所显示的双摄像头图像获取装置的方块图；

图2是依照本发明一实施例所显示的双摄像头图像获取装置的摄像方法的流程图；

图3a至图3b是依照本发明一实施例所显示的双摄像头图像获取装置20的摄像方法的范例；

图4是依照本发明一实施例所显示的双摄像头图像获取装置的方块图。

附图标号说明：

10：图像获取装置

12：第一鱼眼镜头

14：第二鱼眼镜头

16：存储装置

161：图像获取模块

162：物体检测模块

163：方位角计算模块

164：入射角计算模块

165：坐标计算模块

18：处理器

32：鱼眼镜头

34：图像传感器

36：鱼眼图像

θ、θl、θr：入射角

方位角

o、ol、or：鱼眼中心

p：投影点

r：有效投影平径

r：投影平径

t、t’：物体

m：p点在基线上的投影点

s202～s210：本发明一实施例的利用双鱼眼图像计算所摄物体坐标的方法步骤

具体实施方式

由于鱼眼镜头采用等距镜头(equi-distancelens)，其自物体(例如光球)接收的光的入射角会与此光在图像传感器上的投影半径呈近乎线性的关系。据此，本发明即通过检测物体在鱼眼图像中的位置，利用上述关系反推物体发光的入射角，结合物体在镜头平面上的方位角，利用三角定位的方式，即可计算出物体于空间中的三维坐标。藉此，本发明可在增加拍摄视野且不进行几何转换的情况下，实现所摄物体的三维坐标计算。

图1是依照本发明一实施例所显示的图像获取装置的方块图。请参照图1，本实施例的图像获取装置10例如是手机、平板电脑、笔记本电脑、导航装置、行车纪录器、数码相机、数码摄影机(digitalvideocamcorder，dvc)等具备摄像功能的电子装置。图像获取装置10中包括第一鱼眼镜头12、第二鱼眼镜头14、存储装置16及处理器18，其功能分述如下：

第一鱼眼镜头12及第二鱼眼镜头14分别包括镜头及图像传感器，其中所述镜头是采用视角接近、等于或超过180度的定焦或变焦镜头，其可使得位于其视野(fieldofview，fov)内的被摄物体成像在图像传感器上。图像传感器中配置有电荷耦合元件(chargecoupleddevice，ccd)、互补性氧化金属半导体(complementarymetal-oxidesemiconductor，cmos)元件或其他种类的感光元件，而可感测进入镜头的光线强度，从而获取图像信号以产生鱼眼图像。第一鱼眼镜头12及第二鱼眼镜头14之间例如具有一基线距离。

存储装置16例如是任何形式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)或类似元件或上述元件的组合。在本实施例中，存储装置16用以记录图像获取模块161、物体检测模块162、方位角计算模块163、入射角计算模块164及坐标计算模块165，这些模块例如是存储在存储装置16中的程序。

处理器18例如是中央处理单元(centralprocessingunit，cpu)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数码信号处理器(digitalsignalprocessor，dsp)、可程序化控制器、特殊应用集成电路(applicationspecificintegratedcircuits，asic)、可程序化逻辑装置(programmablelogicdevice，pld)或其他类似装置或这些装置的组合。处理器18连接第一鱼眼镜头12、第二鱼眼镜头14及存储装置16，而配置用以从存储装置16载入图像获取模块161、物体检测模块162、方位角计算模块163、入射角计算模块164及坐标计算模块165的程序，据以执行本申请利用双鱼眼图像计算所摄物体坐标的方法。

详言之，图2是依照本发明一实施例所显示的利用双鱼眼图像计算所摄物体坐标的方法的流程图。请同时参照图1及图2，本实施例的方法适用于图1的图像获取装置10，以下即搭配图像获取装置10中的各项元件说明本案的利用双鱼眼图像计算所摄物体坐标的方法的详细步骤。

首先，处理器18执行图像获取模块161，以利用第一鱼眼镜头12及第二鱼眼镜头14分别获取包括一物体的第一鱼眼图像及第二鱼眼图像(步骤s202)。其中，所述物体例如是白色、蓝色、红色、绿色或其他易辨识颜色的光球，其例如是配置在遥杆、遥控器、虚拟实境的头戴式显示器、头盔或是手环、手表等可穿戴式装置上，而可通过发出白光或其他颜色的光，让图像获取装置10可辨识出手持或配戴此物体之使用者的动作。

接着，处理器18执行物体检测模块162，以检测物体在第一鱼眼图像及第二鱼眼图像中的第一坐标及第二坐标(步骤s204)。其中，物体检测模块162例如会分别检测第一鱼眼图像及第二鱼眼图像中亮度或某一颜色分量大于预设值的多个像素，而以这些像素所形成区域的中心或重心在第一鱼眼图像及第二鱼眼图像中的坐标作为所述的第一坐标及第二坐标。

详言之，若所述物体为光球，则此物体在鱼眼图像中将以亮度较高或某一颜色分量较高的圆形(或椭圆形)区域呈现，因此，物体检测模块162即通过将鱼眼图像中各个像素的亮度值与预设值比较，以检测出物体(白色光球)，或是将鱼眼图像中各个像素的某个颜色分量(例如r、g、b)的像素值(例如蓝色分量的像素值)与预设值比较，以检测出具有该颜色的物体(例如蓝色光球)。另一方面，鱼眼镜头所拍摄的物体，会依其偏离鱼眼中心的距离而产生不同程度的形变(例如圆形的光球会变成椭圆形)，因此，在确定物体于鱼眼图像中的坐标时，物体检测模块162例如会计算此物体的中心(例如范围可涵括此物体的最小矩形的中心)或重心，而以此中心或重心在鱼眼图像中的坐标作为物体的坐标。

然后，处理器18执行方位角计算模块163，以根据第一坐标及第二坐标，计算物体在第一鱼眼镜头及第二鱼眼镜头的图像传感器平面上相对于第一鱼眼图像及第二鱼眼图像的鱼眼中心的第一方位角及第二方位角(步骤s206)。此外，处理器18还会执行入射角计算模块164，以利用第一鱼眼镜头12及第二鱼眼镜头14的镜头曲线，分别将前述第一坐标与第一鱼眼图像的鱼眼中心的第一距离以及前述第二坐标与第二鱼眼图像的鱼眼中心的第二距离转换为第一入射角及第二入射角(步骤s208)。其中，处理器18执行的顺序并不限于上述的步骤s206、步骤s208，亦可先执行步骤s208、再执行步骤s206，或同时执行。

第一鱼眼镜头12及第二鱼眼镜头14所拍摄物体在其图像传感器平面上的投影半径，会依据其镜头曲线而有不同。在一实施例中，若第一鱼眼镜头12与第二鱼眼镜头14是采用等距镜头(equi-distancelens)，则其所接收光的入射角会与此光在图像传感器上的投影半径呈近乎线性的关系。意即，由物体所发出的光在第一鱼眼镜头12上的入射角与此光在第一鱼眼镜头12的图像传感器上的投影半径呈正比；另一方面，由物体所发出的光在第二鱼眼镜头14上的入射角与此光在第二鱼眼镜头14的图像传感器上的投影半径呈正比。而在另一实施例中，第一鱼眼镜头12与第二鱼眼镜头14所接收光的入射角与此光在图像传感器上的投影半径彼此间也可具有多项式函数的关系，此关系可通过预先取得镜头曲线，或预先测定不同角度入射光在图像传感器上的投影半径，而预先取得。

举例来说，图3a是依照本发明一实施例所显示的物体在鱼眼镜头的投影半径与入射角的关系示意图，图3b是依照本发明一实施例所显示的物体在鱼眼图像中的位置与方位角的关系示意图。请先参照图3a，由物体t所发出的光例如是以入射角θ入射鱼眼镜头32，并经由鱼眼镜头32的折射，在图像传感器34所在的图像传感器平面上距离鱼眼中心o为投影平径r的位置上呈像。其中，鱼眼镜头32在图像传感器平面上的有效投影平径为r。根据鱼眼镜头32的镜头曲线，前述的入射角θ与投影平径r的关系例如为θ＝k·r，其中k为常数且可预先测得。藉此，若使用此鱼眼镜头32拍摄任意物体，即可依据该物体在所拍摄鱼眼图像中的位置，利用上述关系反推由此物体发光的入射角θ。另一方面，请参照图3b，依据物体t’在鱼眼图像36中的位置，即可以贯穿鱼眼图像36的鱼眼中心o的x轴为基准，计算出物体t’相对于鱼眼中心o的方位角

在计算出物体相对于鱼眼中心的方位角以及由物体与鱼眼中心的距离所计算出的入射角之后，处理器18即执行坐标计算模块165，而根据前述的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算所述物体的三维坐标(步骤s210)。

详言之，图4是依照本发明一实施例所显示的计算物体三维坐标的示意图。请参照图4，假设ol与or分别是左、右鱼眼镜头的鱼眼中心，p点是物体t在镜头平面上的投影点，m点是p点在基线上的投影点，基线的长度为b。其中，线段与线段之间的夹角θl可视为物体t的发光入射于左鱼眼镜头的入射角，线段为线段在镜头平面上的投影线，而基线与投影线之间的夹角则可视为物体t相对于鱼眼中心ol的方位角。类似地，线段与线段之间的夹角θr可视为物体t的发光入射于右鱼眼镜头的入射角，线段为线段在镜头平面上的投影线，而基线与投影线之间的夹角则可视为物体t相对于鱼眼中心or的方位角。

基于前述的方位角入射角θl、θr以及基线距离b，物体t的三维坐标为(x,y,z)可利用下列公式推得：

以及

或

通过上述方法，本实施例的图像获取装置10即可在不进行鱼眼校正的情况下，实现所摄物体的三维坐标计算，且其所拍摄范围相较于传统镜头更广。

需说明的是，在上述实施例中，图像获取装置的两个鱼眼镜头的光轴预设为平行。而在其他实施例中，两个鱼眼镜头的光轴也可不平行，即两个鱼眼镜头的光轴之间具有夹角。此夹角愈大，代表两个鱼眼镜头视野所涵盖的范围愈大，可支援物体位置检测的角度也愈大。

基于人眼感受深度的范围有限，但对于两侧物体的感受较为明显。本发明一实施例的图像获取装置是采用光轴不平行的两个鱼眼镜头，其光轴之间的夹角将使得两个鱼眼镜头的视野包括重叠区域及非重叠区域。其中，当有物体出现在重叠区域时，图像获取装置即可根据前述实施例所计算的第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的三维坐标。而当有物体出现在非重叠区域时，图像获取装置则可根据第一方位角、第二方位角、第一入射角、第二入射角以及基线距离，利用三角函数计算此物体的二维坐标。其中，虽然位于非重叠区域中的物体会因为只被一个鱼眼镜头拍摄到，因此无法计算出深度。但由于物体的二维坐标仍可被计算出，因此仍有助于对位于视野边缘的物体进行定位。

综上所述，本发明的利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置依据物体在双鱼眼镜头所拍摄图像中的位置，分别计算出物体发光进入鱼眼镜头的入射角以及物体在镜头平面上的方位角，进而计算出物体于空间中的三维坐标。藉此，本发明实施例可在不进行几何转换的情况下，实现所摄物体的三维坐标计算，且可在增加检测范围的同时，减少检测物体所需的运算量。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。