影像捕获设备及其产生深度信息的方法与自动更正的方法与流程

本发明涉及一种影像捕获设备，尤其涉及一种影像捕获设备及其产生深度信息的方法与自动更正的方法。

背景技术：

随着科技的发展，各式各样的智能型影像捕获设备，例如平板电脑、个人数字化助理、智能型手机等，已成为现代人不可或缺的工具。其中，高阶款的智能型影像捕获设备所搭载的相机镜头已经与传统消费型相机不相上下，甚至可以取而代之，少数高阶款更具有接近数字单反的像素和画质或是拍摄三维影像的功能。

一般而言，工厂在生产具有双镜头的影像捕获设备时，双镜头各自对应的空间位置无法精准地设置于默认的位置。因此，于生产的过程中，工厂往往会预先针对已设置的双镜头模块进行测试以及校正，从而获取一组工厂预设的校正参数。尔后，当用户在使用影像捕获设备的过程中，影像捕获设备可利用工厂默认的校正参数来校正双镜头所捕获的影像，以克服制程不够精密的缺失。

然而，上述的测试以及校正程序往往会耗费大量的生产成本。此外，一般用户在实际地使用上述影像捕获设备时，影像捕获设备往往会由于不慎摔落、撞击、挤压、温度或湿度的变化等外在因素而导致双镜头产生位移或旋转等空间位置上的改变。一旦镜头产生位移或旋转，工厂内部所预设的校正参数已经不再符合当前的应用状况，影像捕获设备也就无法获取正确的深度信息。举例来说，如果立体影像捕获设备的双镜头间产生水平失衡的问题时，由于失衡之后拍摄出来的左右画面水平不匹配，将进一步导致三维立体拍摄效果不佳。

技术实现要素：

有鉴于此，本发明提供一种影像捕获设备及其产生深度信息的方法与自动更正的方法，其可在无须经过影像捕获设备的出厂前调校的前提下，实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像。

本发明提出一种影像捕获设备产生深度信息的方法，适用于具有第一镜头以及第二镜头并且无须预先校正的影像捕获设备，包括下列步骤。首先，利用第一镜头以及第二镜头捕获一场景的影像，以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度。根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像。根据第一参考影像以及第二参考影像，计算上述场景的深度信息。

本发明提出一种影像捕获设备自动更正的方法，适用于具有第一镜头以及第二镜头并且无须预先校正的影像捕获设备，包括下列步骤。首先，利用第一镜头以及第二镜头捕获一场景的影像，以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度。根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像。利用第一参考影像以及第二参考影像，产生上述场景的立体影像。

在本发明的一实施例中，上述检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息的步骤包括先检测第一影像以及第二影像中的多个特征点，又比对第一影像以及第二影像中的各个特征点，以取得多个对应特征点组合，再取得各个第一特征点以及各个第二特征点分别于第一影像以及第二影像中的像素坐标，据以计算第一影像与第二影像之间的像素偏置信息，其中各个对应特征点组合包括各个第一特征点以及各个第一特征点所对应的第二特征点。

在本发明的一实施例中，上述取得第一影像与第二影像之间的旋转角度的步骤包括根据各个第一特征点以及各个第二特征点分别于第一影像以及第二影像中的像素坐标以及像素偏置信息，计算第一影像与第二影像之间的旋 转角度。

在本发明的一实施例中，上述根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像的步骤包括根据像素偏置信息以及旋转角度，校正第一影像以及第二影像至少一个的像素坐标，以分别产生第一参考影像以及第二参考影像。

在本发明的一实施例中，上述根据第一参考影像以及第二参考影像，计算上述场景的深度信息的步骤包括利用第一参考影像以及第二参考影像进行三维深度估测，以产生上述场景的深度信息。

在本发明的一实施例中，当第一影像的分辨率不等于第二影像的分辨率时，在分别产生上述场景的第一影像以及第二影像的步骤之后，还包括调整第一影像的分辨率以及第二影像的分辨率其中至少之一个，以使第一影像的分辨率与第二影像的分辨率相同。

本发明另提出一种无须预先校正的影像捕获设备，包括第一镜头、第二镜头、储存单元以及一或多个处理单元。储存单元耦接第一镜头以及第二镜头，用以储存第一镜头以及第二镜头所捕获的影像。处理器耦接第一镜头、第二镜头以及存储器，并且包括多个模块，其中所述模块包括影像捕获模块、特征点检测模块、影像扭转模块以及图像处理模块。影像捕获模块用以利用第一镜头以及第二镜头捕获一场景的影像，以产生此场景的第一影像及第二影像。特征点检测模块用以检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度。影像扭转模块用以根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像。深度计算模块用以根据第一参考影像以及第二参考影像，计算上述场景的深度信息。

在本发明的一实施例中，上述的影像捕获设备还包括影像调整模块，当第一影像的分辨率不等于第二影像的分辨率时，影像调整模块用以调整第一影像的分辨率以及第二影像的分辨率其中至少一个，以使第一影像的分辨率与第二影像的分辨率相同

在本发明的一实施例中，上述的影像捕获设备还包括深度计算模块，用 以根据第一参考影像以及第二参考影像，计算上述场景的深度信息。

在本发明的一实施例中，上述第一镜头与第二镜头具有不同的光学特性或是不同的分辨率。

在本发明的一实施例中，上述第一镜头与第二镜头具有相同的光学特性以及相同的分辨率。

基于上述，本发明所提出的影像捕获设备及其产生深度信息的方法与自动更正的方法中，其可在影像捕获设备利用双镜头捕获两张影像后，利用特征点的检测来取得两张影像之间的像素偏置信息以及旋转角度，据以对准两张影像，从而取得拍摄场景的深度信息以及产生立体影像。本发明的影像捕获设备无须经过出厂前校正，即可实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像，以节省大量的生产成本。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是根据本发明一实施例所显示的影像捕获设备的方框图；

图2为根据本发明的一实施例所显示的影像捕获设备的产生深度信息的方法流程图；

图3是根据本发明另一实施例所显示的影像捕获设备的方框图；

图4为根据本发明的一实施例所显示的影像捕获设备的自动更正的方法流程图；

图5为根据本发明的一实施例所显示的影像捕获设备的产生深度信息的方法以及自动更正的方法功能方框图。

附图标记：

100、300：影像捕获设备

110a、310a：第一镜头

110b、310b：第二镜头

115、315：存储器

120、320：处理器

122、322：影像捕获模块

124、324：特征点检测模块

126、326：影像扭转模块

128：深度计算模块

328：图像处理模块

S202～S208：产生深度信息的方法流程

S402～S408：自动更正的方法流程

502：影像捕获程序

504：特征点检测程序

506：影像扭转程序

508：深度计算程序

510：图像处理程序

A：第一影像

B：第二影像

a1～a3、b1～b3：特征点

A’：第一参考影像

B’：第二参考影像

d：深度信息

S：立体影像

具体实施方式

本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的组件符号，当不同附图出现相同的组件符号将视为相同或相似的组件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的装置与方法的范例。

图1是根据本发明一实施例所显示的影像捕获设备的方框图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍影像捕获设备的所有构件以及配置关系，详细功能将配合图2一并揭示。本发明的影像捕获设备无须经过模块厂调校，即可实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像，以节省大量的生产成本。

请参照图1，影像捕获设备100包括第一镜头110a、第二镜头110b、存 储器115以及一或多个处理器120。在本实施例中，影像捕获设备100例如是数字相机、单反相机、数字摄影机或是其他具有影像捕获功能的智能型手机、平板电脑、个人数字助理等电子装置，本发明不以此为限。

第一镜头110a以及第二镜头110b包括感光组件，用以分别感测进入第一镜头110a以及第二镜头110b的光线强度，进而分别产生影像。所述的感光组件例如是电荷耦合组件(Charge Coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)组件或其他组件。在本实施例中，第一镜头110a以及第二镜头110b为具有相同分辨率以及相同光学特性的两个镜头。然而，在其它的实施例中，第一镜头110a以及第二镜头110b为具有不同分辨率或者是不同焦段、感光尺寸、变形程度等光学特性的两个镜头。举例来说，第一镜头110a可以是远摄镜头(Telephoto Lens)，而第二镜头110b可以是广角镜头(Wide-angle Lens)；或者第一镜头110a可以是具有高分辨率的镜头，而第二镜头110b可以是具有低分辨率的镜头。

存储器115例如是任意型式的固定式或可移动式随机存取内存(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、硬盘或其他类似装置或这些装置的组合。存储器115耦接至第一镜头110a以及第二镜头110b，用以储存第一镜头110a以及第二镜头110b所捕获的影像。

处理器120可以例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑设备(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合。处理器120耦接第一镜头110a、第二镜头110b以及存储器115，其例如包括影像捕获模块122、特征点检测模块124、影像扭转模块126以及深度计算模块128，以根据影像捕获设备100所捕获的影像产生深度信息。以下即列举实施例说明针对影像捕获设备100产生深度信息的方法的详细步骤。

图2为根据本发明的一实施例所显示的影像捕获设备的影像对准及产生深度信息的方法流程图，而图2的方法可以图1的影像捕获设备100的各组 件实现。

请同时参照图1以及图2，首先，影像捕获设备100的影像捕获模块122将利用第一镜头110a以及第二镜头110b捕获一场景的影像，以分别产生上述场景的第一影像以及第二影像(步骤S202)。详细来说，影像捕获模块122分别利用第一镜头110a以及第二镜头110b所捕获的第一影像以及第二影像为利用不同视角针对同一场景所捕获的两张影像，其可以例如是预览状态下所捕获的实时预览影像(Live-view Image)。在此，第一镜头110a以及第二镜头110b例如是采用相同的参数捕获影像，而所述参数包括焦距、光圈、快门、白平衡等，本实施例并不设限。

接着，特征点检测模块124将检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度(步骤S204)，其中前述的各个第一特征点具有与其所相对应的第二特征点。

详细来说，特征点检测模块124可利用边缘检测(Edge Detection)、角检测(Corner Detection)、区域检测(Blob Detection)或其它特征点检测算法(Feature Detection Algorithm)来检测出第一影像以及第二影像中的多个特征点。接着，特征点检测模块124将会自第一影像以及第二影像中所检测出的特征点进行比对，以依据特征点与邻近点的色彩信息从第一影像以及第二影像中找出多组对应特征点组合。特征点检测模块124在比对出每一组对应特征点组合的第一特征点以及第二特征点后，将取得其在第一影像以及第二影像中的像素坐标，据以计算第一影像与第二影像之间的像素偏置信息。在此，第一影像与第二影像之间的像素偏置信息即代表第一镜头110a以和/或第二镜头110b的位移程度。

具体来说，由于第一影像以及第二影像是利用具有不同视角的第一镜头110a以及第二镜头110b所捕获的影像，在理想状态下，第一影像以及第二影像中相对应的第一特征点以及第二特征点在经由坐标转换后将投影至参考坐标系统下的相同坐标点。反之，若第一影像以及第二影像上相对应的特征点未投影至参考坐标系统下的相同坐标点，则特征点检测模块124将会取得每组对应特征点组合的偏置量，以在后续的步骤中依此进行影像对准的程序。

以另一观点来看，由于第一镜头110a以及第二镜头110b的位置设置， 在理想状态下的第一影像以及第二影像中仅会存在水平像差或是垂直像差。假设第一镜头110a以及第二镜头110b为分别设置于同一取像平面的左右镜头，则第一影像以及第二影像应当仅存在水平位置的差异。因此，若第一影像以及第二影像上相对应的特征点存在垂直位置的差异，则特征点检测模块124将会取得每组对应特征点组合的垂直偏置量，以在后续的步骤中依此进行影像对准的程序。

一般而言，镜头在发生位移时，往往会伴随着旋转。因此，特征点检测模块124在取得第一影像与第二影像的像素坐标以及两者之间的像素偏置信息，会更进一步地计算出第一影像与第二影像之间的旋转角度，以得知第一镜头110a以和/或第二镜头110b的旋转程度。

之后，影像扭转模块126将根据像素偏置信息以及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生第一参考影像以及第二参考影像，其中第一参考影像与第二参考影像互相对准(步骤S206)。换句话说，影像扭转模块126将根据像素偏置信息以及旋转角度，校正第一影像以和/或第二影像的影像坐标，以使校正后的影像得以对准。即，校正后所产生的第一参考影像以及第二参考影像在经由坐标转换后将投影至参考坐标系统下的相同坐标点。以另一观点来看，假设第一镜头110a以及第二镜头110b为分别设置于同一取像平面的左右镜头，影像扭转后所产生的第一参考影像以及第二参考影像仅会存在水平像差。

接着，深度计算模块128将利用第一参考影像以及第二参考影像进行三维深度估测，以产生前述场景的深度信息(步骤S208)。具体来说，深度计算模块128可针对第一参考影像以及第二参考影像中的各个像素进行立体比对(Stereo Matching)，以取得各个像素所对应的深度信息。此外，深度计算模块128还可以例如是深度图(Depth Map)的形式将深度信息记录于存储器115中，以做为图像处理的应用。

附带一提的是，在另一实施例中，当第一镜头110a不同于第二镜头110b时，影像捕获设备100还包括影像调整模块(未显示)，用以调整第一影像以及第二影像。举例来说，当第一影像的分辨率与第二影像的分辨率不相同时，影像调整模块可以在影像捕获模块122于步骤S202中捕获第一影像以及第二影像后，将第一影像以及第二影像调整为相同分辨率的两张影像，以利 于后续步骤的检测以及计算更为精准。

图3是根据本发明另一实施例所显示的影像捕获设备的方框图，但此仅是为了方便说明，并不用以限制本发明。

请参照图3，影像捕获设备300包括第一镜头310a、第二镜头310b、存储器315以及处理器320，其类似于图1中的第一镜头310a、第二镜头310b、存储器315以及处理器320，详细说明请参照前述相关段落，于此不再赘述。影像捕获设备300的处理器320包括影像捕获模块322、特征点检测模块324、影像扭转模块326以及图像处理模块328，以针对影像捕获设备300所捕获的影像进行实时的自动更正。以下即列举实施例说明针对影像捕获设备300进行自动更正的方法的详细步骤。

图4为根据本发明的一实施例所显示的影像捕获设备的自动更正的方法流程图，而图4的方法可以图3的影像捕获设备300的各组件实现。

首先，影像捕获设备300的影像捕获模块322将利用第一镜头310a以及第二镜头310b捕获一场景的影像，以分别产生上述场景的第一影像以及第二影像(步骤S402)。接着，特征点检测模块324将检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度(步骤S404)。之后，影像扭转模块326将根据像素偏置信息以及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生第一参考影像以及第二参考影像，其中第一参考影像与第二参考影像互相对准(步骤S406)。步骤S402、S404以及S406的处理方式请参照前述段落有关于步骤S202、S204以及S206的相关说明，于此不再赘述。

接着，图像处理模块328将利用第一参考影像以及第二参考影像，产生上述场景的立体影像(步骤S408)。在本实施例中，第一参考影像与第二参考影像相互对准后，图像处理模块328可以是直接输出第一参考影像以及第二参考影像来做为立体影像。在另一实施例中，图像处理模块328更可进一步地调整第一参考影像以和/或第二参考影像的色彩、亮度等参数，以产生两张色彩、亮度上相匹配的影像，从而产生出自然调和的立体影像。

类似于图2的实施例，影像捕获设备300还可包括影像调整模块(未显示)，其功能与影像捕获设备100的影像调整模块相同，于此不再赘述。

前述产生深度信息的方法以及自动更正的方法可利用图5依据本发明一实施例所显示的功能方框图来进行总结。

首先，在影像捕获程序502中，将利用双镜头捕获一场景的影像，以分别产生第一影像A以及第二影像B。接着，在特征点检测程序504中，将检测出第一影像A与第二影像B中相对应的特征点，以计算出第一影像A与第二影像B之间的像素偏置信息以及旋转角度，其中特征点a1～a3分别对应特征点b1～b3。在影像扭转程序506中，将根据第一影像A与第二影像B之间的像素偏置信息以及旋转角度，分别产生相互对准的第一参考影像A’以及第二参考影像B’。

在一实施例中，在产生第一参考影像A’以及第二参考影像B’后，将进入深度计算程序508，以根据第一参考影像A’以及第二参考影像B’计算上述场景的深度信息d。

在另一实施例中，在产生第一参考影像A’以及第二参考影像B’后，将进入图像处理程序510，以利用第一参考影像A’以及第二参考影像B’产生立体影像S。

在又一实施例中，图像处理程序510亦可接续于深度计算程序508之后，也就是说深度信息d亦可做为产生立体影像S的依据之一。以另一观点来看，此实施例亦是影像捕获设备100与影像捕获设备300的整合。

综上所述，本发明所提出的影像捕获设备及其产生深度信息的方法与自动更正的方法中，其可在影像捕获设备利用双镜头捕获两张影像后，利用特征点的检测来取得两张影像之间的像素偏置信息以及旋转角度，据以对准两张影像，从而取得拍摄场景的深度信息以及产生立体影像。本发明的影像捕获设备无须经过模块厂调校，即可实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像，以节省大量的生产成本。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的改动与润饰，故本发明的保护范围当视所附权利要求界定范围为准。