双孔径测距系统的制作方法

本发明涉及一种光学系统，更特别涉及一种双孔径测距系统。

背景技术：

图像系统已成为目前行动装置上不可或缺的应用系统之一。所述图像系统所采集的信号除了纪录图像之外，还可应用于手势辨识(gesture recognition)、近接感测(proximity sensing)或距离侦测等。

在距离侦测的应用中，例如可使用飞行时间法(time of flight)、结构光法(structure light)、光场相机(light field camera)、编码孔径相机(aperture coded camera)等来计算深度。

然而，上述方法皆有其限制。例如，飞行时间法及结构光法会消耗较高的功率，因而较不适用于行动装置。光场相机会降低图像分辨率。编码孔径相机则会降低信噪比(signal-to-noise ratio)。

有鉴于此，有需要提出一种方案，以解决上述问题。

技术实现要素：

本发明的目的在于提供一种双孔径测距系统，其比对绿光图像与多个模糊核(blur kernel)的卷积结果和红外光图像与多个模糊核的卷积结果，借以产生深度图。

本发明的另一目的在于提供一种双孔径测距系统，其比对蓝光图像与多个模糊核的卷积结果和红外光图像与多个模糊核的卷积结果，借以产生深度图。

为达上述目的，本发明说明提供一种测距系统，包含第一孔径光阑、第 二孔径光阑以及像素阵列。所述第一孔径光阑包含红外光截止滤光材质的薄片并具有第一光圈开口。所述第二孔径光阑包含不透光材质的薄片并具有第二光圈开口，其中所述第二光圈开口大于所述第一光圈开口。所述像素阵列由红外光像素及绿光像素所组成，或者由红外光像素及蓝光像素所组成，用以接收穿过所述第一孔径光阑及所述第二孔径光阑的光。

本发明说明还提供一种测距系统，包含第一孔径光阑、第二孔径光阑、图像传感器以及处理单元。所述第一孔径光阑包含红外光截止滤光材质的薄片并具有第一光圈开口。所述第二孔径光阑包含不透光材质的薄片并具有第二光圈开口，其中所述第二光圈开口大于所述第一光圈开口。所述图像传感器用以接收穿过所述第一孔径光阑及所述第二孔径光阑的光，并输出图像帧。所述处理单元用以将所述图像帧分割为第一颜色子帧及第二颜色子帧、分别计算所述第一颜色子帧与多个第一模糊核的卷积以产生多个模糊化第一子帧、分别计算所述第二颜色子帧与多个第二模糊核的卷积以产生多个模糊化第二子帧、以及对所述多个模糊化第一子帧与所述多个模糊化第二子帧进行最佳化匹配。

本发明说明还提供一种测距系统的运作方法。所述测距系统包含第一孔径光阑、第二孔径光阑以及图像传感器。所述第一孔径光阑为红外光截止滤光材质，所述第二孔径光阑为不透光材质，所述第二孔径光阑的光圈开口大于所述第一孔径光阑的光圈开口。所述运作方法包含下列步骤：以所述图像传感器接收穿过所述第一孔径光阑及所述第二孔径光阑的光来产生图像帧；分别计算所述图像帧的第一颜色子帧与多个第一模糊核的卷积以产生多个模糊化第一子帧；分别计算所述图像帧的第二颜色子帧与多个第二模糊核的卷积以产生多个模糊化第二子帧；对所述多个模糊化第一子帧与所述多个模糊化第二子帧进行最佳化匹配以求得一组最佳匹配子帧；及根据所述组最佳匹配子帧求得深度。

为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，于本发明的说明中，相同的构件以相同的符号表示，于此先述明。

附图说明

图1为本发明说明实施例的双孔径测距系统的剖视图。

图2为不同色光的相对光谱响应。

图3A及3B为本发明说明实施例的像素阵列的像素分布的示意图。

图4A及4B为本发明说明实施例的像素阵列的像素分布的另一示意图。

图5为本发明说明实施例的测距系统的方块示意图。

图6为应用于本发明说明实施例的测距系统的模糊核的示意图。

图7为本发明说明实施例的测距系统的运作方法的流程图。

附图标记说明

1 测距系统

10 基板

11 第一孔径光阑

12 第二孔径光阑

13 透镜支架

141～143 透镜

15 图像传感器

150 像素阵列

16 红外光截止滤光片

17 透镜屏障

L1、L2 光束

具体实施方式

请参照图1，其为本发明说明实施例的双孔径测距系统的剖视图。本实施例的测距系统1包含基板10、第一孔径光阑11、第二孔径光阑12、透镜支架13、透镜组(此处例如显示包含三个透镜141～143，但并不限于此)、图像传感器15、红外光截止滤光片16以及透镜屏障17。

所述透镜支架13例如大致具有一圆柱状结构，所述多个透镜141～143、所述第一孔径光阑11及所述第二孔径光阑12则设置于所述透镜支架13内；其中，图1所示的所述透镜组所包含透镜的数目及种类(例如凸透镜或凹透镜)仅为例示，其数目及种类根据不同应用而定，并无特定限制。所述透镜屏障17用以保护设置于所述透镜支架13内的所述透镜组，并具有开孔供外部光线进入所述透镜支架13而传播至位于所述透镜支架13的所述图像传感器15。

所述第一孔径光阑(aperture stop)11包含红外光截止滤光材质的薄片(sheet)并具有第一光圈开口；其中，所述薄片例如为环状(ring shape)并用以阻挡红外光。更详言之，所述第一光圈开口为所述薄片的开口，且大致位于所述薄片的中央，但不以此为限。所述第一光圈开口例如大致为一圆形开口，但并不以此为限。一实施例中，所述红外光截止滤光材质的截止波长为550～650纳米，以阻挡所述截止波长以上的光束(例如L2)穿透所述薄片；其中，所述截止波长根据所述图像传感器15所要接收的可见光光谱决定。请参照图2所示，其为不同色光的相对光谱响应。例如，当所述图像传感器15主要用以感测蓝光(blue)时，所述截止波长可选择较短(例如约为550纳米)，而当所述图像传感器15主要用以感测绿光(green)时，所述截止波长可选择较长(例如约为650纳米)，以消除与红外光间的干扰。

所述第二孔径光阑12包含不透光材质的薄片并具有第二光圈开口；其中，所述薄片例如为环状用以阻挡全部色光(例如阻挡图2所显示的所有光 谱)。更详言的，所述第二光圈开口为所述薄片的开口，且大致位于所述薄片的中央，但不以此为限。所述第二光圈开口例如大致为圆形开口，但并不以此为限。

本实施例中，为了形成双孔径，所述第二光圈开口大于所述第一光圈开口。藉此，红外光经过的孔径则不同于绿/蓝色光所经过的孔径。例如图1中，光束L1为包含红光、绿光、蓝光及红外光成分的光束，而光束L2主要包含绿光及蓝光成分但不包含红外光成分(被所述第二孔径光阑12所阻隔)或所包含的红外光成分相对绿/蓝光成分的比例非常低。因此，红外光的有效光圈为所述第一光圈开口；而绿光及蓝光的有效光圈为所述第二光圈开口。从图2可知，红光(Red)与红外光(IR)的光谱彼此重叠的区域较多，因此本发明说明中，所述图像传感器15设置为不感测红光光谱能量，以降低与红外光间的干扰。

可以了解的是，虽然图1中显示所述第二孔径光阑12较为靠近所述图像传感器15，然其仅用以说明而并非用以限定本发明说明。一实施例中，所述第一孔径光阑11及所述第二孔径光阑12的位置可互换。另一实施例中，所述第一孔径光阑11及所述第二孔径光阑12可形成于同一透明平板(plate)上，并透过于所述透明平板上形成(例如涂布)不同的遮光层(例如作为所述第二孔径光阑12)及滤光层(例如作为所述第一孔径光阑11)以形成所述第一光圈开口及所述第二光圈开口。

所述基板10上设置所述图像传感器15及所述透镜支架13。所述透镜支架13可以适当方式结合于所述基板10，例如卡合、黏合等方式，并无特定限制。所述图像传感器15可以适当方式设置于所述基板10，只要所述图像传感器15电性连接于所述基板10以传递电信号即可，并无特定限制。例如图1显示所述图像传感器15透过打线的方式电性耦接于所述基板10，但并不以此为限。所述透镜支架13的一端(例如图中靠近所述基板10的一端)具 有容纳空间，所述图像传感器15及其像素阵列150则容设于所述容纳空间内。

所述图像传感器15例如为图像感测芯片(image sensing chip)，其较佳包含有源图像感测元件，例如CMOS图像感测元件，但不以此为限。所述图像传感器15以帧频(frame rate)接收穿过所述第一孔径光阑11及所述第二孔径光阑12的光，并输出图像帧。

请参照图3A及3B，其为本发明说明实施例的像素阵列150的像素分布的示意图。所述图像传感器15包含像素阵列150，其包含多个像素以阵列排列用以接收穿过所述透镜组、所述第一孔径光阑11及所述第二孔径光阑12的光，并输出图像帧；其中，所述像素阵列150的尺寸并无特定限制。

本实施例中，所述像素阵列150由多个第一颜色像素151及多个第二颜色像素153所组成。例如，所述第一颜色为绿色光或蓝色光，所述第二颜色为红外光。本发明说明中，为了降低与红外光间的干扰，所述第一颜色像素151不包含红色光像素。因此，所述第一颜色像素151仅选择为绿色光像素及蓝色光像素其中之一。可以了解的是，所述不同颜色像素具有相同的电路结构，而仅于其上形成不同色光的滤光层，以使像素电路内的感光元件(例如光二极管)感测不同色光的光能量。

所述像素阵列150中，所述多个第一颜色像素151及所述多个第二颜色像素153较佳以棋盘分布布置，以利后续的内插运算。参照图4A及4B所示，所述第一颜色像素151沿对角线方向设置，并分别相邻所述第二颜色像素153。

必须说明的是，本发明说明中所述多个第一颜色像素151及第二颜色像素153不包含所述像素阵列150的虚拟像素(dummy pixel)。某些实施例中，所述像素阵列150的边缘列可设置虚拟像素作为消除噪声的方式之一。

所述红外光截止滤光片16设置于所述图像传感器15的像素阵列150上 方，并具有截止波长约为810纳米。可以了解的是，所述截止波长根据所述多个第二颜色像素153感测的目标频谱而定，并不限定为810纳米。此外，虽然图1显示所述红外光截止滤光片16设置于所述透镜支架13上，但本发明说明并不以此为限。其他实施例中，所述红外光截止滤光片16可为一红外光截止滤光层直接涂布于所述图像传感器15的像素阵列150上，只要能达到阻挡长波长红外光不照射至所述图像传感器15的像素阵列150即可，其设置方式并无特定限制。

如前所述，所述图像传感器15可为图像感测芯片，并包含所述像素阵列150以及处理单元；其中，所述处理单元直接对所述像素阵列150所采集的像素数据(例如数字灰阶值数据)进行后处理。

请参照图5所示，其为本发明说明实施例的测距系统的方块示意图。本实施例的测距系统6包含像素阵列61、读取电路63以及处理单元65。所述像素阵列61可为上述像素阵列150(如图3A及3B)，并包含多个第一颜色像素651及多个第二颜色像素653。所述读取电路63例如根据时钟信号(例如由时序控制器所产生)依序读取所述像素阵列61的每一像素的灰阶值数据，例如利用相关性双取样法(correlated double sampling)读取像素数据，但并不以此为限。所述处理单元65例如为数字信号处理器(DSP)，用以根据所读取的像素数据计算并输出深度数据(例如深度图)至外部电子装置9进行相对应控制；其中，所述电子装置9例如为便携式电子装置或穿戴式电子装置等。所述处理单元65例如包含模拟数字转换单元以进行数字转换。

所述处理单元65接收所述读取电路63所输出的图像帧F的像素数据并分别处理第一颜色像素数据及第二颜色像素数据。例如，所述处理单元65将多个第一颜色像素数据形成为第一颜色子帧(subframe)并将多个第二颜色像素数据形成为第二颜色子帧；其中，所述像素数据为转换后的数字数据。如前所述，第一颜色为绿光或蓝光，第二颜色为红外光。例如，图5显示所 述第一颜色子帧为绿/蓝色子帧(G/B subframe)而所述第二颜色子帧红外光子帧(IR subframe)。

所述处理单元65包含第一内插单元6511、第二内插单元6521、第一去噪单元6513、第二去噪单元6523、第一补偿单元6515、第二补偿单元6525、第一卷积计算器6517、第二卷积计算器6527、匹配计算器653以及存储单元655。必须说明的是，图5虽将所述第一内插单元6511、第二内插单元6521、第一去噪单元6513、第二去噪单元6523、第一补偿单元6515、第二补偿单元6525、第一卷积计算器6517、第二卷积计算器6527及匹配计算器653以不同功能方块显示，然而所述多个功能方块均可以考虑是所述处理单元65所执行，且所述多个功能方块可以软件和/或硬件实现，并无特定限制。

所述存储单元655例如为存储器或缓冲器，用以预存多个第一模糊核、多个第二模糊核以及所述多个第一模糊核及所述多个第二模糊核相关的深度信息。例如参照图6所示，其显示应用于本发明说明实施例的测距系统的模糊核的示意图。所述存储单元655预存有相对于不同距离的蓝光模糊核(blur kernel)K1，例如N1～N4，并预存有相对于不同距离的红外光模糊核K2，例如N1～N4。每一所述模糊核N1～N4例如为事先以所述测距系统1相对不同距离的单色光(例如蓝光及红外光)所量测并存储的模糊核。例如N1为相对物距5厘米、N2为相对物距10厘米、N3为相对物距15厘米、N4为相对物距20厘米。可以了解的是，图6中模糊核K1及K2的数目以及相对应的物距仅用以说明，并非用以限定本发明说明。此外，绿光模糊核亦可以相同方式预存。

所述读取电路63依序读取所述像素阵列61的每一个像素数据，例如从第一列第一行依序读取至最后一列最后一行，并将所述像素数据传送至所述处理单元65。所述处理单元65将所述像素阵列61输出的图像帧F(其包含第一颜色像素数据及第二颜色像素数据)分割为第一颜色子帧及第二颜色子 帧；例如，将相对所述多个第一颜色像素651的像素数据形成所述第一颜色子帧并将相对所述多个第二颜色像素652的像素数据形成所述第二颜色子帧。

由于所述多个第一颜色像素651仅为所述像素阵列61的部分像素，所述处理单元65的第一内插单元6511则对所述图像帧F(即相对所述多个第一颜色像素651的像素数据)进行内插运算以产生第一颜色子帧，以使所述第一颜色子帧与所述像素阵列61的有效像素具有相同尺寸。例如，利用位置(1,2)及(2,1)的像素数据内插出位置(1,1)的像素数据；利用位置(1,2)、(2,3)及(1,4)的像素数据内插出位置(1,3)的像素数据；以此类推。然而，内插的方式并不限于此。

由于所述多个第二颜色像素653仅为所述像素阵列61的部分像素，所述处理单元65的第二内插单元6521则对所述图像帧F(即相对所述多个第二颜色像素653的像素数据)进行内插运算以产生第二颜色子帧，以使所述第二颜色子帧与所述像素阵列61的有效像素具有相同尺寸。例如，利用位置(1,1)、(2,2)及(1,3)的像素数据内插出位置(1,2)的像素数据；利用位置(1,3)、(2,4)及(1,5)的像素数据内插出位置(1,4)的像素数据；以此类推。然而，内插的方式并不限于此。

所述处理单元65的第一去噪单元6513例如以数字滤波器(digital filter)对所述第一颜色子帧进行滤波(去噪)处理，以提高图像质量。同理，所述处理单元65的第二去噪单元6523例如以数字滤波器对所述第二颜色子帧进行滤波(去噪)处理。数字滤波器可为熟知用以处理图像的滤波器，并无特定限制。

所述处理单元65的第一补偿单元6515用以对所述第一颜色子帧进行透镜阴影补偿，且所述处理单元65的第二补偿单元6525用以对所述第二颜色子帧进行透镜阴影补偿。透镜阴影补偿(lens shading compensation)的信息在根据所述多个透镜141～143(参照图1)所事先存储于所述处理单元65中，例 如存储于所述存储单元655中。

本实施例中，所述处理单元65可选择执行滤波(去噪)处理及透镜阴影补偿处理至少其中之一，以增加距离计算的正确性。

所述处理单元655的第一卷积计算器6517将所述图像帧F的第一颜色子帧(例如去噪及补偿后第一颜色子帧)分别与多个第一模糊核进行卷积运算(convolution)以产生多个模糊化第一子帧。例如参照图6所示，所述第一卷积计算器6517从所述存储单元655依序读取蓝光模糊核K1(例如N＝1～4)，并分别计算所述第一颜色子帧与蓝光模糊核N＝1～4的卷积以产生多个(此处为4个)模糊化第一子帧(blurred first subframe)。可以了解的是，所产生的模糊化第一子帧的数目与预存的模糊核K1的数目相同。

所述处理单元655的第二卷积计算器6527将所述图像帧F的第二颜色子帧(例如去噪及补偿后第二颜色子帧)分别与多个第二模糊核进行卷积运算以产生多个模糊化第二子帧。例如参照图6所示，所述第二卷积计算器6527从所述存储单元655依序读取红外光模糊核K2(例如N＝1～4)，并分别计算所述第二颜色子帧与红外光模糊核N＝1～4的卷积以产生多个模糊化第二子帧(blurred second subframe)。可以了解的是，所产生的模糊化第二子帧的数目与预存的模糊核K2的数目相同，例如此处为4个。

所述处理单元65的匹配计算器653接着比对所述多个模糊化第一子帧与相对应的所述多个模糊化第二子帧以求得一组最佳匹配子帧。一实施例中，比对所述多个模糊化第一子帧与所述多个模糊化第二子帧指对所述多个模糊化第一子帧与所述多个模糊化第二子帧进行最佳化匹配。所述匹配计算器653将相对所述模糊核N1的模糊化第一子帧与模糊化第二子帧进行减法运算，例如将所述模糊化第一子帧与所述模糊化第二子帧中相对应像素数据(pixel-by-pixel)相减，以得到第一差分帧，并将其存储于所述存储单元655；将相对所述模糊核N2的模糊化第一子帧与模糊化第二子帧进行减法运算以 得到第二差分帧，并将其存储于所述存储单元655；将相对所述模糊核N3的模糊化第一子帧与模糊化第二子帧进行减法运算以得到第三差分帧，并将其存储于所述存储单元655；将相对所述模糊核N4的模糊化第一子帧与模糊化第二子帧进行减法运算以得到第四差分帧，并将其存储于所述存储单元655。所述匹配计算器653则选择所述第一差分帧至所述第四差分帧中，像素数值的总和最小者所相相对应的一组模糊化第一子帧与模糊化第二子帧作为一组最佳匹配子帧。

本实施例中，所述第一颜色子帧、所述第二颜色子帧、所述多个蓝光模糊核K1、所述多个红外光模糊核K2、所述多个模糊化第一子帧、所述多个模糊化第二子帧及所述第一差分帧至所述第四差分帧具有相同尺寸。

所述匹配计算器653则根据所述组最佳匹配子帧所对应的所述第一模糊核和/或所述第二模糊核相关的深度信息决定深度。例如，当所述组最佳匹配子帧为对应模糊核N＝1，如前所述，所述模糊核N＝1相关的深度信息例如为5厘米，则所决定的深度D则为5厘米。同理，当所述组最佳匹配子帧为对应模糊核N＝2～4时，则可决定相关的深度D。

此外，最佳化匹配并不限于计算所述多个模糊化第一子帧与所述多个模糊化第二子帧的减法运算。其他实施例中，最佳化匹配还可计算所述多个模糊化第一子帧与相对应的所述模糊化第二子帧的相关性(correlation)，或利用其他熟知方法来计算，并不限于本发明说明中所揭示者。如前所述，此处所述相对应系指相对相同物距的模糊核N＝1～4。上述计算差分帧仅用以说明而并非用以限定本发明说明，一组最佳匹配子帧指相似度最高的一组模糊化第一子帧与模糊化第二子帧。

某些实施例中，当两组模糊化第一子帧与模糊化第二子帧的相似度(例如上述差分帧的像素数值的总和)的差异不大时，亦可利用差分的方式来计算深度。例如当相似度介于N＝1及N＝2的间时，深度D可选择为7.5厘米。

最后，所述处理单元65输出决定的深度D至所述外部电子装置9。

请参照图7所示，其为本发明说明实施例的测距系统的运作方法的流程图，其包含下列步骤：以图像传感器接收穿过第一孔径光阑及第二孔径光阑的光来产生图像帧(步骤S71)；分别计算所述图像帧的第一颜色子帧与多个第一模糊核的卷积以产生多个模糊化第一子帧(步骤S72)；分别计算所述图像帧的第二颜色子帧与多个第二模糊核的卷积以产生多个模糊化第二子帧(步骤S73)；对所述多个模糊化第一子帧与所述多个模糊化第二子帧进行最佳化匹配以求得一组最佳匹配子帧(步骤S74)；以及根据所述组最佳匹配子帧求得深度(步骤S75)；其中，步骤S72～S75系由所述处理单元36利用软件和/或硬件来执行，例如利用图5的功能方块执行。本实施例的详细实施方式已在上文说明，故于此不再赘述。

如前所述，为了增加运算精确度，本实施例的运作方法另包含步骤：以处理单元对所述第一颜色子帧及所述第二颜色子帧进行滤波(去噪)处理及透镜阴影补偿处理至少其中之一。

此外，在对所述第一颜色子帧及所述第二颜色子帧处理前，所述处理单元36先对所述多个第一颜色像素651的像素数据及所述多个第二颜色像素651的像素数据进行内插处理(interpolation)，以分别产生所述第一颜色子帧及所述第二颜色子帧。如前所述，所述处理单元36先对所述图像帧F的灰阶值数据数字化的后再进行内插处理。

必须说明的是，本发明说明中所举出的数值，例如像素阵列的尺寸、模糊核的个数、透镜的个数及距离等仅用以说明，而非用限定本发明说明。此外，所述读取电路63亦不限于从第一个像素到最后一个像素依序读取所述像素阵列61的每个像素，亦可先读取所述多个第一颜色像素651的像素数据，再读取所述多个第二颜色像素653的像素数据，并无特定限制。

此外，搭配系统光源的点亮熄灭，所述处理单元65可先计算相对所述 系统光源点亮时所采集的第一图像帧与相对所述系统光源熄灭时所采集的第二图像帧的差分图像帧，再对所述差分图像帧执行上述测距系统的运作方法。更详言之，上述实施例的图像帧F可以差分图像帧取代，而其他运作均相同，故于此不再赘述。

如上所述，习知各种测距系统具有不同的应用限制。因此，本发明说明还提出一种双孔径测距系统(图1及6)及其运作方法(图7)，其仅根据一张图像即可算出深度图；亦即所述深度图包含多个个深度值。此外，由于本发明说明仅使用蓝/绿像素的感测结果而不包含红色像素，可用以降低与红外光间的干扰以提高侦测精确度。

虽然本发明已以上述实例揭示，然其并非用以限定本发明，任何本发明所属技术领域中的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围应以权利要求书所保护的范围为准。