专利名称：动态景深调整装置及其方法
技术领域：
本发明涉及图像处理，尤其涉及调整深度图像以增进视觉效果的系统及方法。
背景技术：
随着立体显示器的发展，立体图像的处理也愈来愈重要。一般而言，立体图像的取得可通过几种方式，例如利用可得到深度信息的深度摄影机进行拍摄、由模拟人类双眼视觉的双摄影机进行拍摄、或是由二维图像经过适当的图像处理以得到立体图像。如图1A所示，由二维图像转换至立体图像的处理过程可约略分为几个步骤:图像缩小、边缘检测(edge detection)、线划追踪(line tracing)、深度指派(depth assignment)、深度图像放大及平滑化、横向偏移(lateral shifting),当深度图像建立之后，即可与原本的二维图像结合以产生立体立体图像(stereoscopic image)。传统二维图像转三维图像的演算法也可通过建立空间模型、边缘检测、计算消失点等方式，通过对一张或多张图像的分析来建立深度图像。如图1B所示，视觉深度感知因素可分为生理因素及心理因素。一般而言，二维图像转换为立体图像的深度图往往针对几项心理因素以进行演算法的运算。举例来说，在心理因素上往往会认为黄色物体、移动量大的物体或大物体的景深最浅，反过来说，在心理因素上也会认为蓝色物体、移动量小的物体或小物体的景深最深，而且材质接近会视为景深相同。更进一步，景深信息为立体图像显示技术中的关键，然而当深度图产生之后，仅能定义出图像中的各物体的相对关系，但传统立体图像显示技术往往只着重于如何产生正确景深的产生方式，但却鲜少利用景深信息以进一步处理立体图像。再者，传统立体图像显示技术的像素位移设定档为固定值，而本发明的像素位移设定档可调变。
发明内容
有鉴于此，本发明提供一种动态景深调整方法，可对景深信息进一步处理，该方法包括:接收至少一输入图像；依据输入图像，产生一二维图像及对应的一深度图像；对深度图像套用一像素位移设定档以产生多张动态深度图像。本发明还提供一种动态景深调整装置，该装置包括:一深度分析器，用以接收至少一输入图像，并依据该输入图像以产生一二维图像及对应的一深度图像；一立体图像绘制器，用以接收二维图像及该深度图像，并对该深度图像套用一像素位移设定档以产生多张动态深度图像。本发明可利用像素位移设定档对深度图像或二维图像进行调整，以产生不同于原始立体图像(或二维图像)的深度效果，并具有动态的景深范围，以增进视觉效果。
图1A显示将二维图像转换为立体图像的传统演算法的流程图。
图1B显示视觉深度感知因素的示意图。图2显示依据本发明一实施例的动态景深调整装置200的方块图。图3A显示一二维图像所对应的深度图像的灰阶值的直方图。图3B显示依据本发明一实施例的像素位移调整曲线的示意图。图4A 4C显示依据本发明一实施例的像素位移设定档的调整曲线的示意图。图5显示依据本发明一实施例的调整曲线与景深关系的示意图。图6A显示依据本发明一实施例的静态图像的像素位移设定档的图表。图6B显示依据本发明一实施例的动态图像的像素位移设定档的图表。图7显示依据本发明一实施例的动态景深调整方法的流程图。上述附图中的附图标记说明如下:200 动态景深调整装置；210 深度分析器；220 立体图像绘制器；300 二维图像；310 直方图；320,400至450、500 540 像素位移调整曲线图；550 屏幕平面；560 深度图像；600、610 图表
具体实施例方式图2显示依据本发明一实施例的动态景深调整装置200的方块图。动态景深调整装置200包括一深度分析器210及一立体图像绘制器220，其中深度分析器210接收二维图像，并通过前述先前技术的二维图像转三维图像的演算法以产生二维图像及其对应的深度图像，再通过立体图像绘制器220输出立体图像。立体图像绘制器220依据每一张二维图像及对应的深度图像，在绘制立体图像时，对深度图像使用动态调变的极限值及中间值，藉以产生动态的立体视觉感受。当图像来源为放传统的二维影片，在播放该二维影片时，深度分析器210会不断输出二维图像及其所对应的深度图像，并通过立体图像绘制器220以产生出立体图像。深度图像往往可用一灰阶范围(例如O 255)来表不不同的深度,例如灰阶值255表不最靠近镜头，灰阶值O表不最远尚镜头。在另一实施例中，本发明判断输入图像是否为静止有多种方式，例如深度分析器210计算输入图像的灰阶值的直方图(histogram),若直方图无变化,则可判定输入图像为静态图像；或输入图像中的所有像素均未更新，则可判定输入图像为静态图像；深度分析器210由图像播放装置(未示出)接收一图像暂停信号以得知目前为停止拨放图像(pause)的状态(例如使用者使用遥控器按下暂停)，则可判定输入图像为静态图像；或是显示器端将输入图像暂停，深度分析器210由显示器(未示出)接收一图像暂停信号，判定输入图像为静态图像，但本发明不限于此。值得一提的是，当二维影片处于静止或二维影片的内容维持固定时，只会有一固定的立体深度图产生，因此在上述情况，观众仅能在传统的立体图像装置上观赏到较为单调的图像。再者，若是原生的立体静态图像，在立体显示器上显示时也仅呈现一种三维深度。当输入动态图像(二维图像或立体图像均可)时，每个输入图像均可分析出一对应的深度图像，然而在立体图像绘制器220中所套用的深度值的极限值与中间值均为一固定值，即便是动态图像，其景深仍被受限，例如景深受限于屏幕平面内凹10公分至100公分之间，而无法具有动态的景深范围。更进一步，无论输入图像是纯二维图像或是立体图像，均需转换为二维图像与对应的深度图像，若输入图像已为二维图像加上对应的深度图像，则不必进一步转换，立体图像绘制器220接收二维图像及对应的深度图像后，便能在立体图像显示器上播放立体图像。在一实施例中，动态景深调整装置200可应用于显示器或个人电脑此类可将二维图像转换为三维图像或检测立体图像内容景深的装置上，且动态景深调整装置200可用特定的硬件或逻辑电路加以实现，或是以程序码的形式在处理器上执行运作，但本发明不限于此。当立体图像呈现于立体图像显示器时，有三种方式进行呈现:正视差、零视差及负视差，正视差表示立体图像呈现于屏幕平面内，零视差表示立体图像系呈现于屏幕平面上，而负视差表示立体图像呈现于双眼及屏幕平面之间。在一实施例中，若使用者坐在解析度为1920x1080的46时IXD显示器前方I公尺，使用者双眼的距离为6.25公分，而图3A所示为一二维图像所对应的深度图像的灰阶值的直方图(histogram)。再参考图3B,当通过像素位移至正视差111个像素(意即左眼图像及右眼图像相差111个像素)，可产生景物凹进屏幕平面内10公尺的效果，若通过像素位移至负视差-106个像素时，则可以产生景物凸出屏幕平面53公分的效果。简单来说，本发明可利用像素位移设定档对深度图像或二维图像进行调整，以产生不同于原始立体图像(或二维图像)的深度效果。图4A 4C显示依据本发明一实施例的像素位移设定档的示意图。依据图3的实施例，当深度图像的灰阶值O至255分别对应至像素位移O至111时，可得到从屏幕平面凹进去10公尺的效果，当图像的灰阶值O至255分别对应至像素位移-106至111时，则可得到从屏幕平面凸出53公分至凹进去10公尺的效果。以图4A为例，曲线图400及410的像素位移范围均在O至111之间，但其深度图像的直方图分布的像素位移调整曲线略有不同，因此使用者观赏到的景深分布也会有些微差异。以图4B为例，曲线图420及430的像素位移范围均在-106至111之间，但其深度图像的直方图分布的像素位移调整曲线略有不同，曲线图420以线性方式以平均调整景深，而曲线图430以二次曲线的方式调整景深，故较靠近镜头的景物的景深变化会较少，因此使用者观赏到的景深分布也会有些微差异。以图4C为例，曲线图440及450的像素位移范围均在-106至50之间，曲线图440以线性方式以平均调整景深，而曲线图450的调整曲线具有多个转折点，可以将不同深度的景深分别进行调整。图5显示依据本发明一实施例的调整曲线与景深关系的示意图。曲线图500 540的调整曲线系表示对深度图像560中的灰阶值进行像素位移。曲线图510表示预设的调整曲线，将像素位移限制于O 111之间。曲线图500表示将所有深度的位移均调整至
O,因此观众若从屏幕平面550左侧观看，会看到图像中的所有物体均聚集在屏幕平面550上。曲线图520的调整曲线的像素位移的最小值设定在20，故曲线520的调整曲线的斜率比曲线图510的调整曲线的斜率为小，使用者会感受到物体略为后退，且深度变化较少。曲线图530的调整曲线将像素位移均限制在111，因此使用者会感受到图像中的物体的深度均会维持在最远处。曲线图540的调整曲线的最小值设定在-80，因此使用者会感受到前景图像凸出于屏幕平面550，且景物的深度变化较大。更详细地说，举凡改变调整曲线而造成对应的像素位移值不同，也可视为像素位移设定档的改变。图6A显示依据本发明一实施例的静态图像的像素位移设定档的图表600。在一实施例中，对于静态图像来说，可依一预定画面张数、一预定时间间隔或是以重复循环的方式以对静态图像所对应的深度图像套用图表600中的像素位移设定档(pixel-offsetprofile)，其中像素位移设定档可针对深度图像的像素位移程度(例如:最大值、最小值及中间值)进行调整，也可使用不同的曲线对深度图像进行像素位移调整，但本发明不限于此。图6B显示依据本发明一实施例的动态图像的像素位移设定档的图表610。在另一实施例中，当输入图像为动态图像(非静态图像)时，需针对输入图像所对应的深度图像套用用于动态图像的图表610中的像素位移设定档，但本发明不限于此。在又一实施例中，像素位移设定档的选择可通过深度分析器的一设定值或是由外部装置(例如缩放器Scalar)要求选择特定或相对应的像素位移设定档。在又一实施例中，深度分析器210可储存不同二维图像的深度图像，且立体图像绘制器220也可储存对应的像素位移设定档。立体图像绘制器220对于在动态图像中的第一张二维图像之后其余的二维图像可套用第一张二维图像所对应的像素位移设定档及第一张二维图像所对应的深度图像。又，立体图像绘制器220在动态图像中的第一张二维图像之后其余的二维图像也可搭配各自的深度图像与第一张二维图像的像素位移设定档。接着，立体图像绘制器220依据其余的二维图像、第一张二维图像所对应的深度图像及其像素位移设定档以产生立体图像。也或是，立体图像绘制器220依据其余的二维图像、其余二维图像所对应的深度图像及第一张图像所对应的像素位移设定档以产生立体图像。在一实施例中，使用者观看三维立体游戏(非二维转三维)，在立体图像绘制器220由深度分析器210得知输入图像为静态图像后，选择用于静态图像的一像素位移设定档并将调整曲线的斜率设定为0，再将斜率逐渐调高，此时使用者可实际感受到显示的图像内容由二维逐渐变得立体，且景深也愈来愈深，犹如图像动起来一般。在另一实施例中，当使用者观看立体影片(非二维转三维)且持续播放立体影片，立体图像绘制器220由深度分析器210得知输入图像为动态图像，并接收由外部装置(例如:缩放器)而来的设定档控制信号以切换像素位移设定档。举例来说，对立体影片的第I至60张图像套用像素位移设定档1，将调整曲线的斜率设定为0，此时的影片毫无立体效果。接着在立体影片的第61至180张图像，对将像素位移设定档中的调整曲线的斜率增大，且最小值从O开始，每张图像递减I直到-50为止，此时使用者可实际感受到显示的内容由二维逐渐变得立体，且景深范围愈来愈大，且前景也逐渐凸出于屏幕平面。在立体图像的第181至300张图像中，将像素位移设定档中的调整曲线的斜率逐渐降低，但最大值及最小值也逐渐降低至-50，使用者会感觉到图像的整体内容凸出屏幕平面，且景深范围愈来愈小，最后仅凸出屏幕。在立体图像的第301至500张图像，将像素位移设定档中的调整曲线的斜率逐渐降低至一预定值，且最大值及最小值完全不变，此时使用者会感受到图像的整体内容凸出屏幕平面，但完全不动。在立体图像的第501至800张图像，像素位移设定档中的调整曲线之斜率保持不变，但最大值及最小值逐渐增加至100，此时使用者会感受到图像的整体内容由原本凸出屏幕平面渐渐凹进去至屏幕深处。上述实施例仅说明本发明如何套用像素位移设定档的方式及效果，当不能以此限定本发明。在又一实施例中，当使用者观赏立体照片(由二维转三维所构成)，因照片本身即为静态图像，因此立体图像绘制器220由深度分析器210得知输入图像为静态图像后，即依据用于静态图像的一像素位移设定档，而深度图像一开始依据像素位移设定档的调整曲线的原始斜率，接着将最大值由50逐渐增加至150像素，同时也渐渐增加调整曲线的斜率，此时使用者可实际感受到显示图像之内容由一开始的立体且为凹进去的景深，接着景深范围逐渐增大至屏幕深处约2公尺之处。图7显示依据本发明一实施例的动态景深调整方法的流程图。在步骤S700，动态景深调整装置200接收输入图像，其中输入图像可为纯二维图像或立体图像(二维图像与对应的深度图像，或是可转换成二维图像及对应的深度图像的立体图像(例如纯三维图像、或立体图像))。在步骤S710，深度分析器210判断输入图像是否为静态图像，藉以产生一状态信号至立体图像绘制器210，并依据输入图像产生二维图像及对应的深度图像(若输入图像为立体图像，则不必再经过转换)。在步骤S720，立体图像绘制器220由深度分析器210接收状态信号、二维图像及对应的深度图像，立体图像绘制器220并依据状态信号(例如一预定画面张数、一预定时间间隔或是以重复循环，但非限定)，对深度图像套用像素位移设定档，以改变深度图像的灰阶值的最大值、最小值及中间值，以调整深度图像的景深分布并产生动态深度图像。在步骤S730，立体图像绘制器220依据二维图像及动态深度图像以产生对应的立体图像。惟以上所述者，仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明申请专利范围及发明说明内容所作的简单的等效变化与修饰，皆仍属本发明专利涵盖的范围内。另外本发明的任一实施例或权利要求不须达成本发明所揭示的全部目的或优点或特点。此外，摘要部分和标题仅是用以辅助专利文件搜寻的用，并非用以限制本发明的权利范围。
权利要求
1.一种动态景深调整方法，包括: 接收至少一输入图像； 依据该输入图像，产生一二维图像及对应的一深度图像；以及 对该深度图像套用一像素位移设定档以产生多张动态深度图像。
2.如权利要求1所述的动态景深调整方法，其中该深度图像为一灰阶图像，且该像素位移设定档用以调整该灰阶图像中的灰阶值所对应的一像素位移程度。
3.如权利要求2所述的动态景深调整方法，其中对该深度图像套用该像素位移设定档以产生所述多张动态深度图像的步骤还包括: 依据一预定时间间隔，对该深度图像套用该像素位移设定档。
4.如权利要求2所述的动态景深调整方法，其中对该深度图像套用该像素位移设定档以产生所述多张动态深度图像的步骤还包括: 依据一预定图像张数，对该深度图像套用该像素位移设定档。
5.如权利要求1所述的动态景深调整方法，还包括: 依据该二维图像及所述多张动态深度图像，产生多张立体图像；以及 播放所述多张立体图像。
6.如权利要求1所述的动态景深调整方法，还包括: 依据该输入图像以产生多张第二二维图像及其分别对应的多张第二深度图像； 依据所述多张第二二维图像、该深度图像及该像素位移设定档以产生多张第二立体图像；以及 播放所述多张第二立体图像。
7.如权利要求1所述的动态景深调整方法，还包括: 依据该输入图像以产生多张第二二维图像及其分别对应的多张第二深度图像； 依据所述多张第二二维图像、对应之所述多张第二深度图像及该像素位移设定档以产生多张第二立体图像；以及 播放所述多张第二立体图像。
8.一种动态景深调整装置，包括: 一深度分析器，用以接收至少一输入图像，并依据该输入图像以产生一二维图像及对应的一深度图像；以及 一立体图像绘制器，用以接收该二维图像及该深度图像，并对该深度图像套用一像素位移设定档以产生多张动态深度图像。
9.如权利要求8所述的动态景深调整装置，其中该深度图像为一灰阶图像，且该像素位移设定档用以调整该灰阶图像中的灰阶值的最大值、最小值或中间值。
10.如权利要求9所述的动态景深调整装置，其中该立体图像绘制器还依据一预定时间间隔，对该深度图像套用该像素位移设定档。
11.如权利要求9所述的动态景深调整装置，其中该立体图像绘制器还依据一预定图像张数，对该深度图像套用该像素位移设定档。
12.如权利要求8所述的动态景深调整装置，其中该立体图像绘制器还依据该二维图像及所述多张动态深度图像以产生多张立体图像，并播放所述多张立体图像。
13.如权利要求8所述的动态景深调整装置，其中该深度分析器还依据该输入图像以产生多张第二二维图像及其分别对应的多张第二深度图像，且该立体图像绘制器还依据所述多张第二二维图像、该深度图像及该像素位移设定档以产生多张第二立体图像，并播放所述多张第二立体图像。
14.如权利要求8所述的动态景深调整装置，其中该深度分析器还依据该输入图像以产生多张第二二维图像及其分别对应的多张第二深度图像，且该立体图像绘制器还依据所述多张第二二维图像、对应的所述多张第二深度图像及该像素位移设定档以产生多张第二立体图像，并播放所述多张第二立体`图像。
全文摘要
本发明提供一种动态景深调整装置及方法，该方法包括接收至少一输入图像；依据输入图像，产生一二维图像及对应的一深度图像；对深度图像套用一像素位移设定档以产生多张动态深度图像。本发明可调整深度图像以增进视觉效果。
文档编号H04N13/00GK103108199SQ20111035961
公开日2013年5月15日 申请日期2011年11月9日 优先权日2011年11月9日
发明者柯杰斌 申请人:宏碁股份有限公司