深度感测装置及其操作方法与流程

本发明是有关于一种感测装置，且特别是有关于一种深度感测装置及其操作方法。

背景技术：

一般而言，三维空间的深度感测可藉由光投射器搭配光接收器来取得待测物的深度信息。公知的光投射器具有固定且单一的投影样式。也就是，公知的光投射器只能投射出具有固定投影样式(projectionstyle)的光至场域中。不同的投影样式具有不同的特性，因此适于不同的应用。例如，材质(texture)类型投影机(projector)适于编码光立体(codedlightstereo)的应用，点(dot)类型投影机所投射的大量点图案可以适于结构光(structuredlight)的应用，漫射(diffuser，又称flash)类型投影机可以适于二维影像采集(2dimagecapture)或是主动立体(activestereo)的应用，而射线(ray)类型投影机所投射的单一(或少量)点图案可以适于测距仪(rangefinder)的应用。因为公知的光投射器只能投射出具有单一投影样式的光，所以公知的光投射器的应用范围有其局限性。

技术实现要素：

本发明提供一种深度感测装置及其操作方法，其以同一个投影机选择性地提供不同投影样式的投影图案，以便适用于不同的应用。

本发明的实施例提供一种深度感测装置。所述深度感测装置包括投影机(projector)、第一摄影机(camera)、第二摄影机以及影像处理电路。投影机包括绕射光学元件(diffractionopticalelement，doe)与光源模块。绕射光学元件包含多个投影样式(projectionstyle)区。光源模块的光线选择性地通过这些投影样式区其中至少一者而产生投影图案(projectionpattern)，以及该投影图案被投射至场域。第一摄影机用于拍摄经投射于该场域的投影图案以获得第一影像。第二摄影机用于拍摄经投射于该场域的投影图案以获得第二影像。影像处理电路耦接于投影机、第一摄影机及第二摄影机。影像处理电路处理该第一影像以获得第一深度图(depthmap)。影像处理电路处理该第二影像以获得第二深度图。影像处理电路至少合并该第一深度图及该第二深度图，以产生该场域的最终深度图。

本发明的实施例提供一种深度感测装置的操作方法。所述操作方法包括：由投影机将投影图案投射至场域；由第一摄影机拍摄经投射于该场域的投影图案而获得第一影像；由第二摄影机拍摄经投射于该场域的投影图案而获得第二影像；由影像处理电路处理该第一影像以获得第一深度图；由影像处理电路处理该第二影像以获得第二深度图；以及由影像处理电路至少合并该第一深度图及该第二深度图以产生该场域的最终深度图。

基于上述，所述投影机的绕射光学元件包含多个投影样式区，而光源模块的光线可以选择性地通过这些投影样式区中的一者或多者而产生投影图案。也就是，同一个投影机可以选择性地提供不同投影样式的投影图案，以便适用于不同的应用。因此，本发明各个实施例所述深度感测装置可以基于不同应用而选择性地提供不同投影样式的投影图案。

为让本发明的上述特征和优点能更明显易懂，下文特别说明实施例，并配合附图作详细说明如下。

附图说明

图1是根据本发明的一实施例所绘示的一种深度感测装置的电路方块(circuitblock)示意图。

图2至图4是依照本发明的不同实施例说明图1所示投影机的绕射光学元件的布局示意图。

图5是依照本发明的一实施例说明图1所示投影机的绕射光学元件与光源模块的示意图。

图6是依照本发明的另一实施例说明图1所示投影机的绕射光学元件与光源模块的示意图。

图7是依照本发明的一实施例说明一种深度感测装置的操作方法的流程示意图。

图8至图9是依照本发明的不同实施例说明图1所示投影机、摄影机与摄影机的设置位置示意图。

图10是依照本发明的一实施例说明图1所示影像处理电路的功能方块示意图。

具体实施方式

在本案说明书全文(包括权利要求)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)于第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以透过其它装置或某种连接手段而间接地连接至该第二装置。另外，凡可能之处，在附图及实施方式中使用相同附图标记的元件/构件/步骤代表相同或类似部分。不同实施例中使用相同附图标记或使用相同用语的元件/构件/步骤可以相互参照相关说明。

图1是依照本发明的一实施例所绘示的一种深度感测装置100的电路方块(circuitblock)示意图。所述深度感测装置100包括投影机(projector)110、摄影机(camera)120、摄影机130以及影像处理电路140。投影机110包括绕射光学元件(diffractionopticalelement，doe)与光源模块，其中所述绕射光学元件与光源模块将于稍后内容详述。投影机110的绕射光学元件包含多个投影样式(projectionstyle)区，而投影机110的光源模块的光线可以选择性地通过这些投影样式区其中一者(或多者)而产生投影图案pp。此投影图案pp被投射至场域10。依照实际应用情境，场域10中可能具有一或多个目标物11，或者场域10中可能不存在目标物11。

依照设计需求，这些投影样式区的数量可以是2个区、3个区或更多个区。例如，图2至图4是依照本发明的不同实施例说明图1所示投影机110的绕射光学元件111的布局示意图。图2至图4绘示了绕射光学元件111的正视图。于图2所示实施例中，绕射光学元件111有2个投影样式区，分别是投影样式区doe1与投影样式区doe2。于图3所示实施例中，绕射光学元件111有3个投影样式区，分别是投影样式区doe1、投影样式区doe2与投影样式区doe3。于图4所示实施例中，绕射光学元件111有4个投影样式区，分别是投影样式区doe1、投影样式区doe2、投影样式区doe3与投影样式区doe4。依照设计需求，图2至图4所示投影样式区doe1、投影样式区doe2、投影样式区doe3与投影样式区doe4的任何一个可以是材质(texture)类型区、点(dot)类型区、漫射(diffuser，又称flash)类型区或射线(ray)类型区。所述材质类型、点类型、漫射类型与射线类型的图案为公知，故不再赘述。

依照设计需求，在一些实施例中，图2至图4所示投影样式区doe1、投影样式区doe2、投影样式区doe3与投影样式区doe4可以具有不同投影样式。在另一些实施例中，图2至图4所示投影样式区doe1、投影样式区doe2、投影样式区doe3与投影样式区doe4中的一部分可以具有不同投影样式，而另一部份则具有相同投影样式(但是具有不同投影图案)。在其它实施例中，图2至图4所示投影样式区doe1、投影样式区doe2、投影样式区doe3与投影样式区doe4可以具有相同投影样式，但是具有不同投影图案。

图5是依照本发明的一实施例说明图1所示投影机110的绕射光学元件111与光源模块112的示意图。于图5所示实施例中，光源模块112包括多个光源(例如图5所示光源ls1与光源ls2)，而绕射光学元件111包括多个投影样式区(例如图5所示投影样式区doel与投影样式区doe2)。虽然图5绘示2个光源与2个投影样式区，但是投影机110在其它实施例中可以具有更多个光源与更多个投影样式区。这些光源ls1与ls2以一对一方式适配于这些投影样式区doe1与doe2。藉由选择性地点亮这些光源其中一者或多者，使得光源模块112的光线选择性地通过这些投影样式区其中至少一者。

举例来说，光源ls1可以被启用(enable)而光源ls2可以被停用(disable)。被启用的光源ls1可以提供光线501给投影样式区doe1，而被停用的光源ls2则不提供光线502给投影样式区doe2。光源ls1的光线501可以通过投影样式区doe1而产生投影图案511，而投影样式区doe2因为没有光线502而不会产生投影图案512。反之，被启用的光源ls2可以提供光线502以使投影样式区doe2产生投影图案512，而被停用的光源ls1则不提供光线501使得投影样式区doe1不会产生投影图案511。因此，投影机110的光源模块112的光线可以选择性地通过这些投影样式区doe1与doe2其中一者(或多者)而产生投影图案。

图6是依照本发明的另一实施例说明图1所示投影机110的绕射光学元件111与光源模块112的示意图。于图6所示实施例中，投影机110包括绕射光学元件111、光源模块112与动态遮光元件113。于图6所示实施例中，绕射光学元件111包括投影样式区doe1与投影样式区doe2。在其它实施例中，绕射光学元件111可以具有更多个投影样式区。动态遮光元件113配置于绕射光学元件111与光源模块112之间。动态遮光元件113选择性地让光源模块112的光线照射这些投影样式区doe1与doe2其中一者或多者。

依照设计需求，动态遮光元件113可以包括液晶面板或是其它遮光元件。动态遮光元件113具有多个遮光区，例如图6所示遮光区m1与遮光区m2。这些遮光区m1与m2可以动态且独立地在遮光状态与导光状态之间切换。这些遮光区m1与m2以一对一方式适配于这些投影样式区doe1与doe2。藉由选择性地切换于遮光状态与导光状态，动态遮光元件113可以让光源模块112的光线选择性地通过这些投影样式区doe1与doe2其中至少一者。

举例来说，遮光区m1可以选择性地切换至导光状态，而遮光区m2可以选择性地切换至遮光状态。光源模块112的光线可以通过遮光区m1而使投影样式区doe1产生投影图案511，而投影样式区doe2因为没有光源模块112的光线则不会产生投影图案512。反之，遮光区m1可以选择性地切换至遮光状态，而遮光区m2可以选择性地切换至导光状态。光源模块112的光线可以通过遮光区m2而使投影样式区doe2产生投影图案512，而投影样式区doe1因为没有光源模块112的光线则不会产生投影图案511。因此，投影机110的光源模块112的光线可以选择性地通过这些投影样式区doe1与doe2其中一者(或多者)而产生投影图案。

图7是依照本发明的一实施例说明一种深度感测装置的操作方法的流程示意图。请参照图1与图7，投影机110在步骤s710中可以将投影图案pp投射至场域10。在步骤s720中，摄影机120可以拍摄经投射于场域10的投影图案pp而获得影像121，而摄影机130可以拍摄经投射于场域10的投影图案pp而获得影像131。依照设计需求，摄影机120及摄影机130其中一者具有红外线(infrared，ir)影像感测器、红绿蓝(rgb)影像感测器或飞时(time-of-flight，tof，或称时差)感测器。

投影机110、摄影机120与摄影机130的设置位置可以依照设计需求来决定。举例来说，图8至图9是依照本发明的不同实施例说明图1所示投影机110、摄影机120与摄影机130的设置位置示意图。图8至图9绘示了投影机110、摄影机120与摄影机130的正视图。于图8所示实施例中，摄影机120与摄影机130以对称方式设置在投影机110的相对两侧。在其它实施例中，摄影机120与摄影机130可以不对称方式设置在投影机110的相对两侧。于图9所示实施例中，摄影机120设置在投影机110的左侧而摄影机130设置在投影机110的下侧。其中，摄影机120至投影机110的距离与摄影机130至投影机110的距离可以依照设计需求来决定。

请参照图1与图7。影像处理电路140耦接于投影机110、摄影机120及摄影机130。依照设计需求，影像处理电路140可以包括中央处理器(centralprocessingunit，cpu)、微处理器(microprocessor)、数位信号处理器(digitalsignalprocessor，dsp)、可编程式控制器、专用集成电路(applicationspecificintegratedcircuits，asic)、可编程式逻辑装置(programmablelogicdevice，pld)、场可编程式逻辑闸阵列(fieldprogrammablegatearray，fpga)或是其它影像处理电路/元件。

基于不同的设计需求，影像处理电路140的相关功能可以利用硬件(hardware)、固件(firmware)和/或软件(software)方式实现。举例来说，影像处理电路140的相关功能可以利用一般的编程语言(programminglanguages，例如c或c++)、硬件描述语言(hardwaredescriptionlanguages，例如veriloghdl或vhdl)或其它合适的编程语言来实现为软件、固件或硬件。所述软件(即程序)可由电脑(或cpu)读取，且可以被记录/存放在只读存储器(readonlymemory，rom)、存储装置(称作“记录介质”)和/或随机存取存储器(randomaccessmemory，ram)。并且，通过电脑(或cpu)从所述记录介质中读取并执行所述程序，从而达成相关功能。作为所述记录介质，可使用「非暂态电脑可读取介质(non-transitorycomputerreadablemedium)」，例如可使用带(tape)、碟(disk)、卡(card)、半导体存储器、可编程式逻辑电路等。而且，所述程序可经由任意传输媒体(通信网路或广播电波等)而提供给所述电脑(或cpu)。所述通信网路例如是互联网(intermet)、有线通信(wiredcommunication)、无线通信(wirelesscommunication)或其它通信介质。

在步骤s730中，影像处理电路140处理影像121以获得深度图dm1，而影像处理电路140处理影像131以获得深度图dm2。在步骤s740中，影像处理电路140至少合并深度图dm1及深度图dm2，以产生场域10的最终深度图fdm。所述深度图dm1、所述深度图dm2与所述最终深度图fdm将详述于图10。

图10是依照本发明的一实施例说明图1所示影像处理电路140的功能方块示意图。图10所示影像处理电路140包括结构光深度引擎(structuredlightdepthengine)141、结构光深度引擎142、立体深度引擎(stereodepthengine)143以及深度融合引擎(depthfusionengine)144。依照设计需求，结构光深度引擎141、结构光深度引擎142、立体深度引擎143和/或深度融合引擎144的相关功能可以利用硬件、固件和/或软件(software)方式实现。举例来说，结构光深度引擎141、结构光深度引擎142、立体深度引擎143以及深度融合引擎144可以是四个不同的算术电路。

影像处理电路140的结构光深度引擎141可以比对第一影像121与相关于投影图案pp的基准真值图案(groundtruthpattern)gtp以获得深度图dm1。所述基准真值图案为公知，故不再赘述。影像处理电路140的结构光深度引擎142可以比对影像131与基准真值图案gtp，以获得深度图dm2。依照设计需求，结构光深度引擎141与/或结构光深度引擎142可以使用公知结构光深度演算法或是其它演算法来计算深度图dm11与/或深度图dm2。在此不再赘述所述公知结构光深度演算法的细节。

影像处理电路140的立体深度引擎143可以依据影像121与影像131而获得立体深度图dm3。依照设计需求，立体深度引擎143可以使用公知立体深度演算法或是其它演算法来计算立体深度图dm3。在此不再赘述所述公知立体深度演算法的细节。影像处理电路140的深度融合引擎144可以合并深度图dm1、深度图dm2以及立体深度图dm3，以产生最终深度图fdm。

综上所述，本发明各个实施例所述投影机110的绕射光学元件111包含多个投影样式区，而光源模块112的光线可以选择性地通过这些投影样式区中的一者(或多者)而产生投影图案pp。也就是，同一个投影机110可以选择性地提供不同投影样式的投影图案，以便适用于不同的应用。因此，上述各个实施例所述深度感测装置100可以基于不同应用而选择性地提供不同投影样式的投影图案。

虽然本发明已通过实施例公开如上，但是这并非用以限定本发明，所属技术领域中任何具有通常知识者，在不脱离本发明的精神和范围内，可以做出些许的变化与修改，故本发明的保护范围应当以随附的权利要求所界定的为准。

【附图标记】

10：场域

11：目标物

100：深度感测装置

110：投影机

111：绕射光学元件

112：光源模块

113：动态遮光元件

120、130：摄影机

121、131：影像

140：影像处理电路

141、142：结构光深度引擎

143：立体深度引擎

144：深度融合引擎

501、502：光线

511、512：投影图案

dm1、dm2：深度图

dm3：立体深度图

doe1、doe2、doe3、doe4：投影样式区

fdm：最终深度图

gtp：基准真值图案

ls1、ls2：光源

m1、m2：遮光区

pp：投影图案

s710～s740：步骤