光场成像系统、及调节全光成像系统的方法

光场成像系统、及调节全光成像系统的方法
【专利摘要】提供一种可调节的多模式光场成像系统。非均匀的滤镜模块定位在该光场成像系统的光瞳平面上并提供多模式性能。该滤镜模块能够相对于该成像系统被移动而相应地调节曝光条件，从而能够调节该多模式性能。
【专利说明】光场成像系统、及调节全光成像系统的方法
【技术领域】
[0001]本发明总体上涉及一种使用滤镜模块的多模式成像系统，例如一种使用滤镜模块的全光成像系统。
【背景技术】
[0002]多模式成像系统是一种成像系统，其能够捕捉超出由现有成像系统(例如基于RGB拜耳图案的成像系统)所获得的一般空间信息的信息。例如，多模式成像系统可以获得附加的空间信息(多光谱和超光谱系统)，该空间信息用于频谱分析或物质的识别。多模式成像系统也可以捕捉关于场景的偏振(polarization)的信息、或甚至可以提供比利用检测器阵列的固有性能所提供的动态范围更高的动态范围。
[0003]由于大多数可市售的检测器阵列在空间上将输入图像分割成二维图像信号，因此获得该附加信息会较困难。传统上，光谱、偏振或其他模式的附加信息是通过时间复用而获得。例如，在光谱成像应用中，可以期望从处于感兴趣的不同波长的物体来获得辐射。关于感兴趣的波长频带的数量，对于多光谱成像器可以是5至20个、对于超光谱成像器可以是超过20个。传统的多光谱或超光谱成像器基于滤镜轮或分散(dispersive)元件，该滤镜轮包含与感兴趣的波长频带对应的波长滤镜，该分散元件例如是棱镜或光栅。在使用滤镜轮的情况中，一次仅一个波长滤镜被定位在成像路径上。该滤镜轮转动以从一个波长滤镜切换到下一个。因此，多光谱或超光谱成像由时间复用方式实现。然而，所得到的系统会较大且复杂。在使用分散元件来在空间上分割不同波长的情况中，光通常是沿着一维的探测器阵列分散。另一个维度被用来捕捉物体的一个空间维度。然而，很难再捕捉物体的第二个空间维度。有时，例如通过扫描，时间复用被引入以捕捉第二个空间维度。
[0004]最近，同时获得场景的多模式信息或“单张快照(single snapshot) ”被更加关注。这些单张快照系统将不同模式信号复用到检测器阵列中的不同检测器像素上。换言之，多模式信息被空间复用而非时间复用。
[0005]单张快照多光谱成像构架大致可分为两类。一类使用例如棱镜或光栅等分散元件，结合一些例如棱镜或掩模等分光元件来在空间上分割不同的波长。该架构具有分散元件通常适用于准直光束或在中间像平面上的缺点。其结果是，许多这样的系统会相当大和/或具有有限的视野。
[0006]在另一种单张快照成像器中，单独的滤镜以类似在传统彩色成像系统中发现的RGB拜耳图案的方式被连接到每个检测器上。换言之，彩色滤镜阵列被布置在检测器阵列的顶部，以使各个滤镜(也可称为微滤镜)各自过滤导向各个检测器的光。各个微滤镜被设计成实现多模式成像。例如，为了实现多光谱成像，滤镜阵列可以包括具有20个不同波长的微滤镜。此类系统的一个缺点是成本增加及制造复杂。由于微滤镜与检测器之间存在一对一的对应关系，并且由于微滤镜被连接到检测器上，因此微滤镜具有与检测器相同的较小尺寸。许多不同的较小的微滤镜必须排列成阵列并与相关检测器对齐。另一个缺点是缺乏灵活性。一旦微滤镜阵列被安装到检测器阵列上，就很难改变该微滤镜阵列。[0007]因此，需要改进多模式成像系统。

【发明内容】

[0008][本发明要解决的课题]
[0009]本发明的目的在于提供一种可调节的多模式光场成像系统，以克服现有技术的局限性。
[0010][解决上述课题的手段]
[0011]在一个实施方式中，提供一种可调节的多模式光场成像系统，包括:光学模块，其形成物体的光学像，所述光学模块的特征在于成像光学器件、光瞳平面及像平面；滤镜阵列，其大致定位在所述光瞳平面上，所述滤镜阵列可相对于所述光学模块移动；微成像元件的阵列，其大致定位在所述像平面上；检测器阵列，其以通过所述微成像元件将所述滤镜阵列成像在所述检测器阵列上的方式被定位，所述检测器阵列根据曝光条件来捕捉所述物体的多模式图像；以及控制器，其根据所述滤镜阵列的位置来调节所述曝光条件。
[0012]该曝光条件可以用不同方式来调节。例如，如在显微镜设置的情况下，所述控制器可以调节用于照射所述物体的光源的强度。或者，例如可以通过调节系统中的中性密度滤镜的衰减度，所述控制器可调节成像系统的光吞吐量。所述控制器也可以调节所述检测器阵列的曝光/积分时间。
[0013]其中，可以根据图像品质度量来调节所述曝光条件。该品质的例子包括信噪比(SNR)、信号能量、对比度、亮度以及曝光值。
[0014]在另一个实施方式中，本发明包括对应上述设备及系统的方法、以及上述的应用。
[0015][发明的效果]
[0016]非均匀的滤镜模块，例如滤镜阵列被定位在光场成像系统的主要(或主)像形成光学模块的光瞳平面上或其附近、并提供多模式性能。该滤镜模块能够相对于成像系统被移动而相应地调节曝光条件，从而能够调节多模式性能。
【专利附图】

【附图说明】
[0017]通过参照以下附图，由以下本发明的具体说明及权利要求书，本发明具有的其他优点及特征会更加明了。
[0018]图1A是本发明的可调节的多模式光场成像系统的示意图。
[0019]图1B表示出检测器的在光瞳平面上的投影。
[0020]图1C是图1A的放大图。
[0021]图2A及2B是进一步表示出图1的系统的操作的示意图。
[0022]图3是表示在滤镜模块与光学模块之间的不同类型的相对移动的示意图。
[0023]图4A-4C表示出基于在光瞳平面中平移的滤镜阵列的例子。
[0024]图5A-5B表示出基于在光瞳平面中平移的非阵列滤镜模块的例子。
[0025]图6A-6B表示出基于在光瞳平面中旋转的滤镜阵列的例子。
[0026]图7A-7B表示出基于沿光轴移动的例子。
[0027]图8A-8B表不出用于对玉米和水稻两者的区别干和鲜植物的例子。
[0028]图9A-9D表示出在相对于检测器子阵列的不同位置上的双滤镜型滤镜模块。[0029]图10A-10D是分别与图9A-9D的滤镜模块位置对应的多模式图像。
[0030]图11是调节滤镜模块位置及曝光条件的示例方法的流程图。
[0031]附图所仅是因说明的目的而描绘本发明的实施例。本领域技术人员将容易地从本文描述的结构和方法的可替代的实施例，来以不脱离本文描述的本发明的原理地方式进行认识。
【具体实施方式】
[0032]图1A-1C是本发明的可调节的多模式光场成像系统的示意图。该系统捕捉物体150的多模式图像。如显微镜设置中的情况一样，物体150可以由单独的光源190照射。该多模式光场成像系统包括图像形成光学模块105，在图1中光学模块105被表示为单一的透镜元件，但应理解为光学模块105可以包括多个元件和/或非透镜元件(例如反光镜)。光学模块105形成物体150的光学像160。光学像160形成在光学模块105的像平面125上。光学模块105的特征在于光瞳117和光瞳平面115，在图1中光瞳117被表示为与单一透镜单元共位(co-located)的物理固定装置。在更复杂的光学模块105中，光瞳117和光瞳平面115无需与光学模块中的任何光学元件共位。
[0033]在传统的成像系统中，检测器阵列会位于像平面125以捕捉光学像160。在传统的彩色成像系统中，微滤镜的阵列(例如按R-G-B拜耳图案排列的阵列)会被连接到像平面125上的检测器阵列上，以使各个独立的检测器捕捉红、绿或蓝通道数据。
[0034]然而，图1中情况并非如此。首先，非均匀滤镜模块110被定位在光瞳平面115上。滤镜模块为非均匀是因为其滤光特性作为位置的函数变化。在下述例子中，滤镜模块110是包括不同滤镜111的滤镜阵列。例如，滤镜111可具有不同波长响应、不同偏振响应、或不同亮度响应。然而，滤镜模块并不限定于滤镜阵列。例如，其可以是具有连续变化的响应的滤镜。在本例子中使用滤镜阵列来进行说明。通常，滤镜模块会比光瞳117更大，以使过滤器模块的仅一部分被照射。
[0035]其次，微成像元件121的阵列120位于像平面125上。在图1中，微成像元件121被表示为微透镜。也可以使用其他元件，例如小孔阵列。检测器阵列130位于微成像元件的阵列120的后面(也即，光学下游)。更具体来说，检测器阵列130被定位在光瞳平面115的共轭平面135上。换言之，每个微成像元件121将光从光瞳平面115导向共轭平面135上的检测器阵列130。
[0036]在微透镜的例子中，每个微透镜121在共轭平面135上形成光瞳(及滤镜模块)的像170。检测器阵列130的对应部分可以包含单一检测器131或多个检测器131 (优选多个检测器)，并将其称为“子阵列”133。因此，在图1的例子中，检测器阵列130被细分成子阵列133，并且每个微透镜121将光瞳及滤镜模块成像到对应的子阵列133上。每个子阵列133包含一个或更多的检测器131。
[0037]与此相对，参照图1B，每个独立的检测器131可以通过微透镜121被投影到光瞳平面115中的对应位置119及滤镜模块110上。对于该特定的检测器131，微透镜121从对应位置119采集光。图1B表示出检测器131A通过中心微透镜到位置119A的透镜，以及检测器131B到位置119B的投影。检测器的投影119优选相对于实际尺寸的检测器131至少放大10倍。[0038]更具体来说参照图1C，每个微透镜121使整个(落在光瞳内的)滤镜阵列110成像到子阵列133上。每个透镜111仅覆盖滤镜阵列110的一部分，因此每个滤镜111的像171仅覆盖子阵列133的一部分。具体地如图1C所示，将该部分称为子像素132。换言之，每个微透镜121将光从滤镜111导向对应的子像素132。每个子像素132可以包含一个或更多检测器。
[0039]每个检测器131采集从滤镜111经由一个微透镜121的光。微透镜阵列120位于物体150的共轭平面内，所以在物体150与微透镜阵列120之间也存在成像关系。因此，入射到微透镜上的光是起源于一部分物体的光，而非来自整个物体。由此，每个检测器131采集来自物体的对应部分的光(作为由微透镜程度确定的光)，作为由对应滤镜111过滤的光。
[0040]图2A更具体说明了这一概念。为清楚起见，将主透镜105省略。在该示例中，物体150被分成三个子物体151A、151B、151C。类似地，滤镜阵列的被照射部分包括四个滤镜lllw、lllx、llly、lllz。滤镜模块110较大，其包含的滤镜Illv未在图2A中被照射。物体150被成像到微透镜阵列120上。更具体来说，子物体151B被成像到微透镜121B上。这意味着每条来自子物体151B的光线会经过光瞳(及取决于光瞳的不同的滤镜111)并到达微透镜121B。类似地，子物体151A被成像到微透镜121A，并且子物体151C被成像到微透镜121C。
[0041]类似地，微透镜121B会将整个滤镜阵列110(至少是被照射的部分)成像到子阵列133B。由此，滤镜11 Iw会通过微透镜121B被成像到子像素132B(w)上，滤镜Illx会被成像到子像素132B00上，对于其他滤镜/子像素对、及其他微透镜121依此类推。对于完全落入子像素132B(w)内的检测器131，这些检测器会检测来自子物体151B并穿过滤镜Illw的光。对于其他子像素132A(w)-132C(z)也同样。
[0042]由于由检测器采集的光不但起到物体平面内定位的作用(如传统成像系统中的例子)，而且还起到光瞳平面内的定位的作用，因此成像系统是“光场”成像系统。由于滤镜模块110捕捉多模式信息，因此成像系统是多模式成像系统。有时将这些系统称为全光成像系统。
[0043]再参照图1，数字竖立单元180从检测器阵列130采集数据并对其进行相应的处理。作为一个简单的例子，数字处理单元180可以对从子像素132A(w)、132B(w)及132C(w)采集到一起的数据进行重新排列，以便形成作为由滤镜Illw滤后的图像。对于滤镜lllx、IllyUllz也可同样操作。
[0044]系统还包括致动器140及光源控制器142。致动器140可以改变滤镜模块110的相对于光学模块105的位置。这样一来，哪个滤镜111被导向哪个子像素132可被改变，从而可改变有效的滤光。例如，在图2B中，滤镜阵列110被向下移动以使滤镜lllv、lllw、IllxUlly正被照射。光源控制器142可相应地改变光源190照射的强度。例如，新的滤镜可以受益于更强或更弱的照射。图1A表示出调节光源190的控制器142，但控制器也可以利用其他的机构来调节总曝光。例如，控制器可以调节位于系统中某处的中性密度滤镜的衰减度从而调节总的光吞吐量，而不改变光源照射的强度。或者，控制器可以增大或减小检测器131的曝光/积分时间。术语“曝光条件”被用来指这些量。曝光条件的调节可以根据增大信噪比(SNR)、信号能量、对比度、亮度、曝光值或其他图像品质度量来进行。[0045]图3-图8表示出相对移动的一些例子，图9-图11表示出曝光条件的调节的一些例子。
[0046]图3是表示在滤镜模块110与光学模块之间的不同类型的相对移动的示意图。在该示例中，光学模块105包括两个透镜组Gl及G2，光瞳平面及滤镜模块110位于两个透镜组之间。作为一个例子，致动器140可以使滤镜模块110相对于光学模块105，沿着平行于光轴的方向310、沿着位于光瞳平面内的方向320、或沿着其他方向平移。或者，致动器140可以使滤镜模块110相对于光学模块105倾斜。需要说明的是，只要在滤镜模块与光学模块之间具有相对的移动，致动器也可以移动光学模块(或光学模块中的光学兀件)而非移动滤镜模块。移动350表光学模块中的光学兀件的移动,例如变焦动作。
[0047]图4A-4C表示出当沿位于光瞳平面的方向进行平移时的滤镜阵列110的照射。在此示例中，如虚线轮廓线所示，滤镜阵列包括四个滤镜F1-F6。实线表示来自一个子阵列133的检测器的投影(也即，与一个微透镜对应的检测器)。为方便说明，子阵列133被表示成正方形，尽管通常由于光瞳最多为圆形的因此子阵列会是圆形的。检测器子阵列133中的每个正方形代表不同的检测器131。
[0048]图4A-图4C分别对应于不同位置上的滤镜阵列。在图4A的位置上，光照射阵列的滤镜组F1、F2、F4、F5。穿过滤镜Fl的光被收集到形成与滤镜Fl对应的子像素132A的25个检测器上，并且这些信号与由Fl过滤的光对应。类似地，形成子像素312B的25个检测器收集穿过滤镜F4的光，并且存在对穿过滤镜F2及F5的光进行收集的对应的子像素。由于对于各个子像素的光均穿过相同的微透镜，因此对于各个子像素的所有光均源自相同的子物体。由此，各个子像素捕捉关于整个物体的一个子物体区域的光谱(或其他多模式)信息。
[0049]在图4B中，滤镜阵列被移动。在该位置上，光照射阵列的滤镜组F2、F3、F5、F6。子像素132A上的25个检测器收集穿过滤镜F2的光，子像素132B上的25个检测器收集穿过滤镜F5的光，依此类推。
[0050]在很多情况下，滤镜阵列可以以每个滤镜覆盖相等个数的检测器的方式来被定位。然而，并不限定于此。在图4C的位置上，来自滤镜Fl的光仅照射子像素131A内的5个检测器，来自滤镜F2的光照射30个检测器，来自滤镜F3的光照射15个检测器。图4仅是个例子。滤镜阵列可以具有备用的几何布局及形状、以及滤镜的不同组合，以实现各种多模式成像。
[0051]相对于传统方法，该架构具有若干优点。传统方法会使用两个滤镜轮，一个包含滤镜F1、F2、F4、F5以备光谱分析用，另一个包含用于备用光谱分析的F2、F3、F5、F6。当使用Fl、F2、F4、F5时，滤镜Fl、F2、F4、F5各自依次转动并通过照射路径。其导致光谱信息的时间复用(而不是光谱信息的单张快拍)。再有，如果需要F2、F3、F5、F6分析，则滤镜轮必须改变，而非如图4所示简单的移动滤镜模块。
[0052]图5A-5B表示出滤镜模块不是阵列而是连续变化的非均匀滤镜的例子。在该示例中，滤镜模块110在X及y两者上变化。例如，滤镜模块可以是沿X方向具有不同中心波长且沿y方向具有不同滤镜带宽的波长滤镜。当滤镜模块从位置5A移动到5B时，每个子阵列捕捉不同的信息，该信息取决于滤镜模块的哪部分与该子阵列对应。
[0053]作为另一个例子，图5中的滤镜模块可以具有作为X函数变化的波长响应以及作为I函数变化的偏振响应。再有，其可以被实施为两个滤镜，彼此独立移动的波长滤镜和偏振滤镜。
[0054]图6A-6B表示出基于在光瞳平面中旋转的滤镜阵列的例子。在此示例中，滤镜模块具有四个象限Q1-Q4，该四个象限具有不同的滤镜响应。实线133是被投影到光瞳平面上的检测器的子阵列的轮廓。在图6A中，象限I被照射。在图6B中，滤镜模块被顺时针旋转90度而象限2被照射，从而导致不同的滤光。
[0055]图7A-7B表示出基于沿光轴移动的例子。在该示例中，滤镜模块是一组同心滤镜1-3。在图7A的位置上，三个滤镜都被照射(如实圆圈133所示)。在图7B中，仅中心滤镜I被照射。例如，其可以由变焦透镜来实现。参照图3，透镜组Gl和G2均可以沿光轴移动。如果滤镜模块被定位在两个透镜组之间，则对透镜变焦能够改变光束在滤镜模块上的覆盖区域，其结果是光仅穿过滤镜模块的更大或更小的部分。如果如图7所示滤镜模块被分割，则在放大(zoom-1n)设置下仅有几个内圈的滤镜可被有效使用，反之,在缩小(zoom-out)设置下外圈的滤镜也可被使用。
[0056]这种方法可被用在平衡空间和光谱分辨率的应用中。当放大时可形成物体的详细图像(也即，高空间分辨率)，但具有较低的光谱分辨率或较少的光谱信息。当缩小时，以空间分辨率为代价可实现增加光谱分辨率。
[0057]也可以使用其他类型的移动来改变哪个滤镜被照射。
[0058]作为最后一个例子，考虑涉及检测不同种类的光谱信号的多光谱成像任务。例如，对于不同作物的种类，例如水稻、玉米、小麦，植物物质的分类为干或鲜需要不同的光谱特征。优选地，单一的多光谱成像系统可以被调节以处理不同的作物种类，而无需用于各个作物种类的单独的滤镜轮。
[0059]图8A-8B表示出用于区别干和鲜植物的、利用光瞳平面内的滤镜模块的简单移动的滤镜阵列的例子。滤镜fl_f4及c5、c6、r5、r6均在表1_3中指明。
[0060]表1:用于检测鲜/干的水稻/玉米的叶子的共同滤镜的滤镜规格
[0061]
【权利要求】
1.一种可调节的多模式光场成像系统，包括: 光学模块，其形成物体的光学像，所述光学模块的特征在于成像光学器件、光瞳平面及像平面； 滤镜阵列，其大致定位在所述光瞳平面上，所述滤镜阵列可相对于所述光学模块移动； 微成像元件的阵列，其大致定位在所述像平面上； 检测器阵列，其以通过所述微成像元件将所述滤镜阵列成像在所述检测器阵列上的方式被定位，所述检测器阵列根据曝光条件来捕捉所述物体的多模式图像；以及控制器，其根据所述滤镜阵列的位置来调节所述曝光条件。
2.根据权利要求1所述的光场成像系统，其中，所述滤镜阵列可沿位于所述光瞳平面的方向移动。
3.根据权利要求2所述的光场成像系统，其中，在所述控制器根据所述滤镜阵列的位置来调节所述曝光条件，在所述滤镜阵列的不同位置上，所述滤镜阵列中的相同滤镜占据所述光瞳但所述滤镜占据所述光瞳的不同片段。
4.根据权利要求1所述的光场成像系统，其中，所述控制器调节用于照射所述物体的光源的强度。
5.根据权利要求1所述的光场成像系统，其中，所述控制器调节所述光学模块的光吞吐量。
6.根据权利要求1所述的光场成像系统，其中，所述控制器调节中性密度滤镜的衰减度。
7.根据权利要求1所述的光场成像系统，其中，所述控制器调节所述检测器阵列的曝光/积分时间。
8.根据权利要求1所述的光场成像系统，其中，所述控制器根据所述多模式图像的图像品质度量来调节所述曝光条件。
9.根据权利要求8所述的光场成像系统，其中，所述图像品质度量为信噪比。
10.根据权利要求8所述的光场成像系统，其中，所述图像品质度量为信号能量。
11.根据权利要求8所述的光场成像系统，其中，所述图像品质度量为曝光值。
12.根据权利要求1所述的光场成像系统，其中，所述控制器访问查找表以确定曝光条件的调节。
13.根据权利要求1所述的光场成像系统，其中，所述滤镜阵列包括具有不同波长响应的滤镜。
14.根据权利要求1所述的光场成像系统，其中，所述滤镜阵列实施多光谱成像。
15.根据权利要求1所述的光场成像系统，其中，所述微成像元件的阵列包括微透镜阵列。
16.根据权利要求1所述的光场成像系统，其中，所述光学模块是远心的光学模块。
17.根据权利要求1所述的光场成像系统，其中，相对于所述检测阵列，所述光瞳平面具有至少10:1的放大率。
18.—种调节全光成像系统的方法，该全光成像系统具有滤镜阵列，该滤镜阵列定位在所述全光成像系统的光瞳平面上，所述方法包括:根据所述滤镜阵列的相对于所述全光成像系统的移动，来调节用于所述全光成像系统的曝光条件；以及 在所述曝光条件下，捕捉物体的多模式图像，其中所述多模式图像基于所述滤镜阵列的位置。
19.根据权利要求18所述的方法，其中，在所述滤镜阵列的移动下，所述滤镜阵列中的相同所述滤镜占据所述光瞳但所述滤镜占据所述光瞳的不同片段。
20.根据权利要求18所述的方法，其中，调节所述曝光条件的步骤包括调节用于照射所述物体 的光源的强度。
【文档编号】G02B7/00GK103913807SQ201410003320
【公开日】2014年7月9日 申请日期:2014年1月3日 优先权日:2013年1月7日
【发明者】S.什洛夫, K.伯克纳 申请人:株式会社理光