3D自动对焦显示方法及其系统与流程

文档序号:11237003阅读:1304来源:国知局
3D自动对焦显示方法及其系统与流程

本发明涉及一种自动对焦方法,特别的是有关于一种3d自动对焦显示方法及其自动对焦系统。



背景技术:

立体显示器的基本技术是在于呈现偏移影像,此种偏移影像分别在左眼和右眼中显示。接着将这两个二维偏移影像在大脑中合并以得到的3d深度的感知。有许多显示技术的方法来实现立体3d影像,例如用于裸视3d影像的偏光和快门镜片,双凸透镜和屏障镜片,如同双显示器的使用例如用于虚拟实境的头戴式产品。

许多人观看立体视频时遇到眼睛疲劳和不适,这是众所周知的,此种不适有多种因素。这样的例子中,大家所知道的是例如3d眼镜造成的身体不适,从头戴式产品由于视频影像相对于使用者头部移动时的等待时间所造成的头晕现象,以及由串扰(cross-talk)所造成的影像模糊。以上所述的实施例均是涉及在硬件显示技术的不足而造成的问题。

值得注意的是,3d立体内容的质量也是观看3d立体显示器时造成眼睛疲劳和眼睛疲劳的主要原因。一般来说,有三种方法来形成立体3d影像,此立体3d影像是自然选取使用立体照相机系统,从2d影像转换,这意味着由原始的2d影像的两个视图,是从计算机程序的模式中产生的。计算引起观看者不适的3d立体内容的相关特性不是那么重要。但这是确实存在可靠的指标来量化3d立体内容,例如垂直视差以及在眼中所看到的立体影像的色彩,对比度和亮度的差异。

3d立体内容质量的一个关键特性在于调节-收敛冲突(accommodation-convergenceconflict.)。调节(accommodation)定义为眼睛的聚焦平面,及收敛(convergence)是指眼睛的聚焦点。在自然中,调节和收敛是同时透过观看者的眼球到影像之间的距离来确定。自然观看造成同步进行收敛及调节。在3d立体显示器上观看影像的情况下,调节指的是实体显示的距离,而收敛指的是感知到屏幕上的虚拟影像之间的距离,它具有一个虚拟双眼深度和将前面或感知距离背后的显示屏幕。在观看3d的显示,其收敛和调节会分开且不是相等的。因此,眼睛疲劳问题实质上是由于3d立体内容在显示器上观看而引起非自然的观看,其中 人的眼睛是非自然的观看习惯,此种非自然的观看的程度,在一个可容忍的范围内,是可以通过3d立体内容影像本身来判断。

在3d立体内容的收敛和调整的分离程度是由3d立体内容的水平视差特性来决定。值得注意的是,有一个区域或是收敛调节分离的范围通常是人的眼睛可以接受的范围且在此区域或是此范围内最小的眼睛疲劳和应变可能会存在。3d立体内容的水平视差的理想是在这个区域或范围内,以避免不良观看症状。



技术实现要素:

根据现有技术的缺点,本发明提供一种在3d显示器上观看影像时实现自动对焦功能的方法以及系统,此自动对焦的方法及系统采用眼球轨迹技术、深度图摄像系统来达成。

本发明所涉及的3d自动对焦显示方法及其系统的另一目的在于,建立一个3d系统可以模拟自然观看(naturalviewing)。因此,本发明所涉及的3d自动对焦显示方法及其系统不须要眼镜或其他辅助用具来观看,以增加方便性以及扩大应用性以最佳化模拟自然观看的环境。

自然观看的模拟进一步是通过眼球追踪技术系统(eyetrackingtechnologysystem)来实现。对于观看者的眼睛来说,一个3d显示系统的调节是指观看者的眼睛其距离显示器以及可以假设至观看者或是3d影像在彼此之间没有相对的移动之下所表示的固定距离。观看者的眼睛的收敛点(或称聚焦点)是根据在任何情况下来呈现的物体及3d内容的场景,因此不是固定的。因此,为了确定在关于观看者的眼睛的焦点到显示的坐标将提出一个自动对焦显示系统,以便更好地表示自然的观看的能力。

根据以上所述显示及眼球追踪系统,本发明提供一种3d自动对焦显示方法,其包含两种系统的整合。其方法包括先显示3d立体内容影像,其中观看者的眼球聚焦在实体空间的特定点上。接着执行眼球追踪步骤,其中可以得到观看者的焦点坐标(x1,y1),并利用眼球追踪系统来判断观看者的焦点坐标(x1,y1)。然后再将此观看者的焦点坐标(x1,y1)映射至显示器坐标(x2,y2),其表示为显示器的像素坐标(pixelcoordinate)。对影像执行景深映射步骤以得到相对应影像的深度图。此深度图可以利用硬件元件或是透过利用景深结构运算来处理3d立体影像来得到。相对于影像的显示器坐标(x2,y2)做为3d立体显示器系统影像处理模块的输入参数。其影像处理模块利用输入显示器坐标(x2,y2)以及利用影像深度图来确认影像在座标上那个区域。影像深度图是影像的区域的识别的因素,即影像深度图是由不同区域的区段的结合,其中每一区段定义为影像的一组像素,其具有相同的深度值或是在同一个深度值的范围内。影像处理模块利用影像与深度数据的结合来修正3d立体影像, 其体现了显示器坐标(x2,y2)将成为焦点。接着影像处理模块通过形成子像素图案(rgb图案)来输出修正后的聚焦影像以及将其输出至显示器以形成子像素图案以及输出至显示器以便于观看。

根据上述3d自动对焦显示方法,本发明还涉及一种3d自动对焦系统,其不需要眼镜就可以显示立体内容以及3d立体自动对焦影像特征。3d自动对焦显示系统包含3d自动立体显示模块(3dauto-stereoscopicdisplaymodule)、前视影像选取感测模块(frontviewerimagecapturingsensormodule)(眼球追踪相机),用以直接执行眼球追踪功能以得到影像的第一焦点坐标(x1,y1)、后视影像选取感测模块(rearviewerimagecapturingsensormodule)(立体深度相机),用以选取立体影像及/或随着影像深度图选取2d影像。此系统也包含多个影像处理模块。影像处理模块用于形成、增益以及输出以显示3d立体影像。3d立体影像是利用2d影像以及相对于2d影像的深度图讯息来形成。3d立体影像的增益是通过在3d立体影像上执行数个影像分析以及过滤运算以及利用影像数据以及深度图数据来修正3d立体影像。另一个影像处理模块是利用外插法(extrapolating)来外插第一焦点坐标(x1,y1)来执行自动对焦以及将观看者的焦点坐标(x1,y1)转译成相对于显示模块的显示器焦点坐标(x2,y2)(第二坐标),接着对影像的区段进行确认以体现显示器坐标(x2,y2)以及形成合适的立体增益影像以确认所显示的立体影像是在焦点上。最后的影像处理模块具有输入以及增益立体影像以及接着执行rgb次像素运算以输出立体影像至显示模块上。

附图说明

图1为本发明的3d自动对焦显示方法的各步骤流程示意图。

图2为本发明的3d自动对焦显示系统方块图。

图3为后视影像选取感测模块为立体摄像装置时,于显示模块上得到3d立体图的示意图。

图4为后视影像选取感测模块为时间测距摄像装置时,于显示模块上得到3d立体图的示意图。

图5至图7为本发明的3d影对焦的各步骤示意图。

附图标号说明

23d自动对焦显示系统

21前视影像选取感测模块

23后视影像选取感测模块

25影像处理模块

27显示模块

30第一聚焦焦点

302第二聚焦焦点

304第三聚焦焦点

具体实施方式

首先请参考图1,图1表示本发明所涉及3d自动对焦显示方法的各步骤流程示意图。在图1中,步骤11,提供3d立体影像。接着于步骤111,对影像执行眼球追踪(eye-tracking)步骤,其中启动或是使用前视影像选取感测模块。眼球追踪步骤会得到观看者的眼球的焦点坐标(focalpointcoordination)(x1,y1)。步骤113,将焦点坐标(x1,y1)映射至显示器的坐标位置以得到相对于在显示器上的影像的所在位置的焦点坐标为(x2,y2)。另外于步骤121,于执行步骤111时,也同时对影像执行景深映射(depthmap)步骤以得到原始影像的影像档案组(imagefileset)以及其相对应的深度图。接着,于步骤123,判断影像档案组是否为3d立体影像,若否,则执行步骤125,将影像档案组利用深度图转换成3d立体影像,若是,则执行步骤127,利用景深映射步骤修正或是增强影像档案组,藉此以得到此影像的3d立体影像及影像的深度图。

接着于步骤13,利用3d影像自动对焦步骤将相对于影像的焦点坐标的显示器坐标(x2,y2)、3d立体影像以及影像深度映射来执行影像处理,相对于焦点坐标(x2,y2)而形成新的具有对焦校正的3d立体影像。步骤15,执行子像素映射(subpixelmapping)步骤,在3d立体影像中已经经过对焦校正。最后于步骤17,输出3d立体影像对焦校正影像其可以在显示器上体现焦点坐标(x2,y2)。

更明确来说,根据本发明所涉及的3d自动对焦显示方法是将两个系统整合。其方法包括3d立体内容的显示影像,如步骤11,其观看者的眼睛聚焦在实体空间的特定点上。接着,执行眼球追踪步骤,如步骤111,该步骤用以得到观看者的焦点坐标(x1,y1),并利用眼球追踪系统来判断观看者的焦点坐标(x1,y1)。接下来,将观看者的焦点坐标(x1,y1)映射至显示器的坐标(x2,y2),如步骤113,其显示器的坐标(x2,y2)由显示器的像素坐标来表示。在影像上执行深度映射步骤是为了得到相对应影像的深度图,如步骤121。深度图可以利用硬件得到或利用深度影像处理运算来处理3d立体影像来得到。显示器的坐标(x2,y2)相对应于影像是用来作为本发明所涉及的3d自动对焦显示系统2的影像处理模块25的 输入参数。影像处理模块25判断该影像的区域坐标是利用所输入的显示器的坐标(x2,y2)的位置以及利用影像深度映射。影像深度映射是影像的区域的却识别因素。就其他方面来说,深度映射是不同区域的区段的结合。每一个区段定义为影像的像素的集合,该集合具有相同的深度值或是在相同的深度值的范围内。影像处理模块25体现显示器的坐标(x2,y2)且在校正后会聚焦。影像处理模块接着25输出校正聚焦影像,这个校正影像是由次像素图案(rgb图案)所形成并对观看者来输出次像素图案。

接着,请参考图2,图2表示本发明所涉及的3d自动对焦显示系统方块图。在图2中,3d自动对焦显示系统2包括前视影像选取感测模块(frontviewerimagecapturingsensormodule)21、后视影像选取感测模块(rearviewerimagecapturingsensormodule)23、影像处理模块(imageprocessingmodule)25及显示模块(displaymodule)27,其中影像处理模块25分别与前视影像选取感测模块21、后视影像选取感测模块23及显示模块27彼此电性连接。其中前视影像选取感测模块21用以对影像执行眼球追踪功能,以得到影像所在位置的焦点坐标(x1,y1),于本发明的实施例中,前视影像选取感测模块21可以是具有红外线传感器的摄像模块(cameramodule),其与影像瞳孔检测处理(imagepupildetectionprocessing)相结合而能够将观看者的眼球中的焦点予以定位。

后视影像选取感测模块23,用以对影像进行影像选取,且为本发明中立体影像的来源。在本发明的较佳实施例中,后视影像选取感测模块23可以是具有时间测距的传感器(time-of-flightsensor)的立体摄像模块(stereocameramodule)。此种影像模块可以以本机来选取立体影像,以及使用飞行传感器来选取相对于深度图的影像。对于另一种的后视影像选取感测模块其包括不具有时间测距的传感器的立体摄像装置以及2d影像传感器,但并不限于此。这些模块可以经过利用立体或是2d影像的影像处理方式来建立体及深度图并且将其输出。

影像处理模块25,用以执行影像处理步骤。此影像处理步骤包括立体影像及相对应的深度图的识别和建立影像数据组(imagedataset),一个立体影像的和其相应的深度图。影像处理模块25处理观看者的眼球的焦点坐标(x1,y1)并将其映射(mapping)至另一个相对于显示模块27的显示器的焦点坐标(x2,y2)以及执行自动对焦增益及校正步骤,使得显示器的焦点坐标(x2,y2)可以体现在显示模块27中。

当经过影像处理模块25处理之后,校正后的3d立体影像可以体现显示器的焦点坐标(x2,y2),且传送至可以显示3d立体影像的显示模块27,使得对于与影像区段具有特定焦聚的观看者来显示3d立体影像。

根据上述,请接着参考图3,图3表示后视影像选取感测模块为立体摄像装置时,于显示模块上得到3d立体影像的示意图。在图3中,立体影像可以包含三个影像(例如心型、星星及笑脸)。在此立体影像的中心为虚线,此虚线是用来表示图3的影像是具有深度的影像,并且同时具有左侧影像及右侧影像,但这些都是由相同的影像如心型、星星及笑脸通过不同的观看者的聚焦位置选取到的影像所产生的。影像处理模块25最后执行3d子像素映射步骤。此子像素映射步骤是将左侧和右侧的影像合并形成rgb影像,并可以输出至显示模块27让观看者可以看到一个正确3d对焦立体影像。

请参考图4,图4表示由具有其相对应的深度图的显示模块得到的影像的示意图。于相对应的深度图可以由几种方式得到其包括,但不限于此,时间测距传感器、深度图计算集成电路(depthmapcalculatingintegratedcircuit)以及软件影像处理运算(softimageprocessingalgorithms)由2d或3d立体影像来建构深度图。一般的深度图具有一组深度值其分配至其对应的影像的每一个像素。在本发明中,影像处理模块25处理这些深度值并且利用影像处理运算来定义区段或根据深度值的范围来定义深度值的区域。本发明的自动对焦影像处理利用深度图来确定影像的区段,并通过其相对应的深度图来定义,以体现了第二焦点坐标(x2,y2)及根据影像的区段或是部份的影像来建立校正后的对焦立体影像,以体现在此区段中的影像。

图5至图7表示3d影对焦的各步骤示意图。当显示器提供观看者(或者使用者)观看3d立体影像时,感知3d影像会同时在观看者的左眼及右眼中产生深度(depth)和视差差距(parallaxdisparity)两种视觉影像。但左眼和右眼在观看3d立体影像时,会先产生第一聚焦焦点30。摄像系统面对观看者且具有追踪观看者的眼球以及经由影像感测和软件影像处理的结合来得到观看者的焦点,即当观看者看着图6中的星星时,在观看者的眼中会产生视差差距,在所观察的星星上则会有另一第二聚焦焦点302。因为星星是3d立体影像,在显示器上不同的位置与观看者的眼球的距离及深浅(或指距离荧幕的远近)有所不同,因此在观看一个3d立体影像(星星)时会产生视差差距。

接着请继续参考图7。摄像系统中的后视摄像选取感测模块是沿着影像的深度图来得到观看影像的深度映射讯息。在图7中,在心型图案上具有观察者在观看时的另一聚焦焦点304,观看者在观看图面左边的心型时,通过此第三聚焦焦点304利用后视摄像选取感测模块来取得心型的深度映射讯息,最后再利用影像传感器及软件影像处理的结结构来得到该心型影像的深度图讯息。最后根据上述重新计算观看者的眼球至显示器之间的距离以及根据眼球追踪系统将眼球所看到的每一个深浅不一的影像(或可以称为像素)结合,而得到3d立体影像。

在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1