基于三维工程材料的彩色多光谱图像传感器

相关申请的交叉引用

本申请要求于2018年10月22日提交的题为“colorandmulti-spectralimagesensorbasedon3dengineeredmaterials”的美国专利申请62/748,677的权益，以及于2018年12月7日提交的题为“colorandmulti-spectralimagesensorbasedon3dengineeredmaterials”的美国专利申请62/776,685的权益，在此通过引用将其合并在本申请中作为参考。

政府拨款声明

本发明是在美国国防部高级研究计划局(darpa)授予的编号为hr0011-17-2-0035的政府资助下完成的。政府对这项发明有一定的权利。

本公开涉及多功能光学元件，更具体地说，涉及通过在单块材料中构造折射率而形成的多功能超材料设备，例如三维(3d)散射结构，用于产生这种结构的方法，以及用于将电磁波分成多个电磁波的方法。

背景技术：

光学系统通常通过多个元件的模块化组合来设计，以实现复杂的功能。例如，透镜和衍射光学器件可以组合起来进行高光谱成像。这种方法既直观又灵活，提供了从有限的一组元件中访问广泛功能的途径。然而，光学系统的总体尺寸和重量可能会限制其应用范围。纳米制造的最新进展可以通过用子波长厚度的谐振纳米结构的亚表面平面阵列代替大体积元件来缓解这种限制。通过对阵列中单个元件的散射进行工程设计，这些设备可以在单个元件中再现复杂光学系统的多功能性。然而，将多个亚表面结合起来实现更复杂功能性的努力受到了散射效率降低的阻碍，散射效率与同时执行的任务数量成反比。

这些系统中多功能性和效率之间的内在权衡是由于有限的自由度，所述自由度与设备的体积和最大折射率对比度成比例。特别地，这限制了任何超薄系统可实现的独立功能的范围，例如根据频率、偏振和入射角对光进行分类。通过对比度，厚度大于波长的三维散射元件通常编码许多同时发生的功能，尽管由于弱散射和折射率对比度，迄今为止只有低的效率。

历史上，光学设计一直是模块化的，这种模式提供了直观的方法来构建和重新配置光学设置。随着纳米制造技术的进步，使得制造具有子波长特征尺寸的结构成为可能，所述结构使得多功能光学元件可以结合更复杂设置的功能性。示例包括可以分离不同偏振和光谱带的亚表面透镜。然而，利用亚表面和其他平面结构所能达到的性能和功能性本身受到可被控制的光学模式数量的限制。

在子波长尺度上构造具有高对比度的折射率提供了可用于展示多功能光学元件的广阔的光学设计空间。到目前为止，其主要用于二维结构或亚表面。然而，它们的性能受到可用光学自由度的限制。

为了在以下部分中突出本公开的教导的益处，这里考虑了图像传感器的示例。目前，大多数传感器使用吸收滤波器记录颜色。图1示出了现有技术的图像传感器，其中每四个相邻像素在顶部具有吸收颜色滤波器:两个用于绿色，一个用于蓝色，一个用于红色。这种图像传感器的问题在于，因为大部分光被吸收，效率被限制在30％左右。

所公开的方法和设备解决了所描述的问题，并为上述问题提供了解决方案。

技术实现要素：

最终的光学设计空间是三维体积，其中在空间分辨率小于最小相关波长的情况下，折射率可以随意控制。在这种情况下，光学自由度的数量巨大，并且可以用于实现具有高性能的完全非直观多功能设计。本公开的教导就基于这样的概念。

所公开的方法基于通过迭代的基于梯度的优化来设计三维散射元件，同时考虑多个目标函数。本方法和设备通过将各种功能编码到体积内的复杂多散射中，而不是在单个表面上，而对现有光学设备进行了提高。所公开的方法不依赖于通常对亚表面来说典型的局部有效介质假设或更高的折射率对比度，允许具有高于衍射限制的粗糙特征的有效设备。还可以制造根据本公开的实施例，其中可以使用对特征尺寸和层数具有适度要求的标准多层制造。

根据本公开的第一方面，提供了基于一组或多组的目标函数形成在一组三维(3d)图案中的3d散射结构，其中3d散射结构被配置为:接收电磁波；并且散射电磁波以提供一组或多组目标函数。

根据本公开的第二方面，公开了将电磁波分成具有不同波长的多个波的方法，提供了:将电磁波施加到三维(3d)散射结构的第一侧，3d散射结构形成为一组3d图案；以及散射电磁波以产生具有不同波长的多个电磁波，该多个电磁波在其输出第二侧离开3d散射结构。

附图说明

在本申请的说明书、附图和权利要求中提供了本公开的其他方面。

图1示出了现有技术的图像传感器。

图2a-2a’示出了根据本公开实施例的示例性三维(3d)散射结构。

图2b-2c示出了图2a-2a’的实施例的波长分离功能性。

图3a-3c示出了根据本公开的另一实施例的示例性三维(3d)散射结构。

图4a-4e示出了根据本公开的示例性实施例的性能结果。

图5示出了根据本公开实施例的包括微波3d散射结构的示例性布置。

图6示出了与图5的布置相关联的示例性性能结果。

图7示出了根据本公开实施例的示例性优化算法的多个步骤。

图8示出了示例性流程图，流程图示出了基于这种概念并根据本公开的进一步实施例的优化算法的各种实施方式步骤。

具体实施方式

图2a示出了根据本公开实施例的图像传感器(200)。图像传感器(200)包括用作频谱分离器的三维(3d)散射结构(201)。3d散射结构(201)包括多个电介质柱(205)，其形成为以预定图案散射光。穿过3d散射结构(201)的入射光(202)被电介质柱散射。通过根据一个或多个目标函数布置电介质柱(205)，散射图案被定制以执行期望的功能。作为示例，3d散射结构(201)可以被设计为频谱分离器，以同时将入射光(202)分类并聚焦成任意数量的波长(λ1,…,λn)，每个波长指向放置在3d散射结构(201)下方的焦平面(203)上的单个像素，如图2a所示。根据本公开的实施例，3d散射结构(201)可以是嵌入氧化硅基质中的多孔聚合物立方体或电介质簇或半导体(例如硅)粒子簇。

本领域的技术人员将会理解，与图1的现有技术图像传感器(100)相比，图2a的图像传感器(200)不基于吸收而起作用，因此，与现有解决方案相比，它提供的效率显著提高。稍后将使用本教导的示例性实施例来量化这一点。如在整个公开内容中更详细描述的，所公开的设备和方法提供了优于现有解决方案的以下额外的益处:

·图2a的3d散射结构(201)可以通过已知的光刻工艺制造。

·图2a的3d散射结构(201)可以被设计成作为红外、中红外等的任意光谱带的频谱分离器而起作用。换句话说，除了高光谱成像，热成像是所公开教导的另一个潜在应用。

·频谱分离功能可以与例如偏振分离的其他期望的功能结合。

·根据本公开的实施例还可以被设计成执行光学图像处理，例如用于边缘检测的gabor滤波。

图2a’示出了根据本公开的实施例的图像传感器(200’)，其包括用作频谱滤波器的示例性三维(3d)散射结构(21)。从上方进入的入射光(22)在穿过3d散射结构(21)时被散射，并在由显示为红色、蓝色、绿色(x偏振)和绿色(y偏振)的四种子像素组成的焦平面(23)中被分类。同样如图2a’所示，红色(600纳米–700纳米)和蓝色(400纳米–500纳米)光谱带被分类到相反的象限。此外，绿色(500纳米–600纳米)光谱带根据线性偏振进一步被分离。红色和蓝色象限可以是与偏振无关的。

根据本公开的实施例，3d散射结构(21)可以使用伴随变量方法来设计，该方法生成优化特定目标函数的结构。作为示例，并参考图2a’，可以根据频率和偏振基于入射光到四个目标区域之一的聚焦效率来选择目标函数。从空体积开始，实施全波有限差分时域(full-wavefinite-differencetime-domain，fdtd)模拟，以计算该品质因数(figureofmerit)对折射率扰动的灵敏度。规定的散射结构被迭代地形成和更新。换句话说，优化设计是通过对初始几何图形进行迭代更新来生成的，每一步都会改善性能。灵敏度可以仅通过两次模拟来计算，允许以适度的资源有效优化三维设备。可以计算针对跨可见频谱的多个入射波长的灵敏度，以将每个光谱带分配到不同的象限:红色(600纳米–700纳米)、绿色(500纳米–600纳米)和蓝色(400纳米–500纳米)。然后光谱平均的灵敏度可用于更新设备的折射率。

图2b-2c示出了图2a’的3d散射结构(21)内的入射光的模拟强度。沿着贯穿图2a’的红色和蓝色象限的对角横截面分析强度。每个波长在会聚其各自的目标区域之前经历多次散射。图2c示出了对于两个正交输入偏振，入射光在对角横截面内穿过绿色像素的强度分布。在这两种情况下，从上方入射的平面波(λ＝550纳米)优先被路由到与其偏振相对应的像素。同时，对于红色和蓝色光谱带，两种偏振被分配到相同的区域，保持目标函数的镜像对称。

根据本公开的实施例，图2a’的3d散射结构(21)分别以84％、60％和87％的效率对红光、绿光和蓝光进行分类。在整个公开中，效率定义为入射到设备上的总功率中达到目标象限的部分，所述目标象限在设计所述设备所针对的频谱(即，图2a’的可见频谱)上平均。

参照2a和2a’，本领域技术人员将理解，所公开的概念在定义目标散射函数方面提供了相当大的灵活性，对任何入射偏振、角度或频率都具有独立的控制。然而，复杂的三维结构对制造提出了重大挑战。这些设备在可见光波长的图像传感器中的大规模实施将需要具有子100纳米(sub-100-nm)分辨率的高制造产量。这可以通过多层光刻来实现，其中通过重复的材料沉积和图案化来构建三维设备。这里，每个层包括由高折射率(high-index)电介质组成的一系列图案化台面。间隙空间用低折射率电介质填充，形成平坦表面，该平坦表面用作后续层的基体。

为了进一步阐明上面讨论的分层制造方法，参考图3a和3c，示出了图3c的3d散射结构(31)的分层设计。换句话说，图3c的3d散射结构(31)可以通过将图3a的多个层(301，…，305)彼此堆叠来构造。制造工艺可以是cmos-兼容的，其中制造限制可以直接与设计算法结合。每个层(301，…，305)可以使用光刻来产生。3d散射结构(31)可以由二氧化钛和二氧化硅组成，二氧化钛和二氧化硅是在可见频率下透明的材料。层(301，…，305)可以是2μm×2μm的层，每个层400nm高。本领域技术人员将理解，这些是出于描述目的的示例性维度，并且根据本公开的实施例，可以设想具有除了上述之外的维度和层数。如图3b所示，每个层可以包括一组由二氧化硅包围的不规则二氧化钛台面。参考图3b，光刻工艺可以从在基体(例如二氧化硅)的顶部上生长一薄层电介质(例如二氧化钛)开始。通过光刻将图案转印到该层上，并且蚀刻掉未受保护的材料，以显示二维电介质结构。最后，表面用低折射率电介质涂覆(沉积)并机械抛光(平面化)。通过对每个层重复相同的过程并堆叠各层，产生所需的3d结构。如上所述，这种光刻工艺在材料设计方面提供了灵活性，并且与工业标准的cmos制造工艺兼容。

在下文中，将示出与所公开的设备相关联的一些示例性性能结果。

类似于关于图2a’所描述的，图3c示出了包括布置在焦平面(33)顶部的3d散射结构(31)的图像传感器(300)，焦平面(33)包括对应于红色、蓝色、绿色(x偏振)、绿色(y偏振)的四个子像素，并且布置在单独的象限中。从上方进入的入射光(32)在穿过3d散射结构(31)时被有效地散射，并且在焦平面(33)中被分类到单独的子像素。入射光(32)可以是线性偏振光、非偏振光或具有其他偏振状态的光。入射光在图像传感器上基于频率和某些频率的偏振而进行分类。当设计3d散射结构(31)时，并且为了进一步展示本教导的实践方面，可以设定60纳米的最小特征尺寸要求，使得设计可以不包含不适于适度制造过程的一些小特征。

图4a示出了与图3c的图像传感器(300)有关的示例性透射光谱。曲线(41c、42c、43c)分别代表作为颜色(蓝色、绿色、红色)的波长的函数的透射图。如参考图1所讨论的，虚线(44a)对应于使用现有技术吸收滤波器的典型可实现结果。

图4b示出了与图3c的图像传感器(300)相关、并且当光的入射平面倾斜3度时的示例性透射光谱。曲线(41c、42c、43c)分别代表作为颜色(蓝色、绿色、红色)的波长的函数的透射图。如参考图1所讨论的，虚线(44b)对应于使用现有技术吸收滤波器的通常可实现结果。

图4c示出了与图3c的图像传感器(300)相关、并且当光的入射平面倾斜6度时的示例性透射光谱。曲线(41c、42c、43c)分别代表作为颜色(蓝色、绿色、红色)的波长的函数的透射图。如参考图1所讨论的，虚线(44c)对应于使用现有技术吸收滤波器的典型可实现结果。由于3d散射结构(31)没有针对任何特定的入射角进行优化，所以预计图4b-4c显示的结果比图44a所示的更差。

图4d示出了与图3c的图像传感器(300)有关、并且光的入射平面倾斜20度时的示例性透射光谱。在这种情况下，已经优化了设计以考虑20度入射角。曲线(41d、42d、43d)分别代表作为颜色(蓝色、绿色、红色)的波长的函数的透射图。如参考图1所讨论的，虚线(44d)对应于使用现有技术吸收滤波器的典型可实现结果。

在整个文件中，为了描述所公开的方法和设备，示例性平面波被用作根据本公开的教导制造的结构的输入。然而，本领域技术人员将理解，也可以制造根据本公开实施例的其他设备，其中输入可以是除平面波之外的波。gaussian光束就是一个示例。也可以设想对不同种类的输入光束轮廓应用不同功能的结构。这在整个文档中被称为“空间分布”或“光学模式”。模式轮廓有很大的差异，这是由振幅和相位的空间分布决定的。根据本公开的教导制造的结构可以是线性设备，即它们可以区分正交的模式。

根据本公开的实施例，可以制作3d结构，其中输入电磁波的分类可以基于1)一个或多个波长、2)一个或多个偏振、3)电磁波的入射角、4)空间分布或其组合。

进一步参考图3a-3c，通过设计一系列具有不同层数的3d散射结构，多功能性和设备厚度之间的权衡正在被研究。每个结构遵循使用400纳米层的相同设计算法，并且如前面关于图3a-3c的实施例所述。图4e示出了每个散射结构的分类效率、偏振对比度和颜色对比度，其跨可见频谱平均。虽然单层亚表面的性能略好于空白空间，但效率会随着设备厚度的增加而稳步提高。此外，较厚的结构显示出改善的颜色和偏振对比度。对比度在本文中定义为两个最强象限之间的标准化功率之差，因此反映了区分入射颜色和偏振的能力。通过五个层，体积散射元件在分类效率(58％)、颜色对比度(28％)和偏振对比度(41％)方面优于吸收滤波器。

微波频率

众所周知，maxwell方程具有尺度不变性，这意味着当波长和维度按一个公共因子缩放(scaled)时，任何物理系统的行为都被保留。这一事实被用来显示在微波频率下使用大尺度模拟操作的受限设计。换句话说，根据本公开的教导，可以实现在具有厘米尺度维度的ka波段(26-40ghz)中工作的散射设备。

图5示出了包括用作微波滤波器的3d散射结构(51)的微波设备(500)。3d散射结构(51)由20个图案化聚丙烯片(折射率＝1.5)的堆叠体构造，每个片1.6毫米厚，组装成立方体。最小特征尺寸可限制为1毫米。也可在立方体的侧面并入金属边界，以限制来自测量装置的干扰。微波设备(500)占据35毫米×35毫米的面积，这与其相对于工作波长的光学模拟相同。

3d散射结构(51)的特征在于测量由3d散射结构(51)散射的复杂微波场。在图中所示的例子中，3d散射结构(51)由准直gaussian光束(全宽半最大值，fwhm＝25毫米)照射，该光束由通过微波喇叭天线(52)和聚焦镜(56)耦合到自由空间的矢量网络分析仪(未示出)产生。如前所述，输入光束穿过结构(51)，散射到远场中。使用wr-28波导法兰测量3d散射结构(51)的输出孔径之外62毫米的测量平面(56)处的局部电场，以便恢复复杂散射振幅s21。然后对测量进行去卷积和反向传播，以获得焦平面上的结果(55)。

对ka波段(26–40ghz)内的微波频率范围以及输入光束的两个正交偏振重复该分析。为了测量正交偏振的散射参数，将3d散射结构旋转90度。

图6示出了在焦平面(55)处和对于特定偏振的微波场的模拟和测量强度。对应于测量结果的曲线用实线表示，对应于模拟结果的曲线用虚线表示。图6中所示的曲线图表示测量带宽内所有频率的组合强度，标准化为焦平面处针对每个频率的总测量功率。图形对(61，61')、(62，62')和(63，63')分别对应于绿色、蓝色和红色。当波长按1.75×10^4因子缩放时，上述颜色对应于模拟光学场的观察色调。所示的曲线表示图5的3d散射结构(51)跨测量光谱上的相对分类效率。这些效率被定义为通过每个目标象限投射的功率，标准化为图5的焦平面(55)处的总功率。观察到实验效率和模拟效率之间的紧密一致。每个带都显示出有效的分类，带外光的串扰较低，约为10％。光谱带之间的尖锐过渡突出了相对于典型色散散射元件的提高了的颜色辨别。

再次参考图3-5，如前所述，制造所公开的设备的方法可以是使用多层光刻。根据本公开的实施例也可以使用双光子聚合(two-photonpolymerization，tpp)方法来构造，其中直接打印期望的结构。这种方法类似于3d打印，但它发生在微观尺度。例如，激光可以聚焦到液体聚合物的中心，导致聚合物在激光焦点处交联和硬化。通过移动激光焦点，可以生成具有任意几何形状的三维结构。

优化算法

梯度下降

再次参考图2a’-3c，以及如前所述，根据本公开的教导设计了被优化以执行目标光散射功能的三维电介质结构。在图2a’-3c所示的示例性实施例的情况下，这样的目标散射函数包括根据频率和偏振将入射平面波聚焦到不同的位置。示例性三维(3d)散射结构(21，31)由立方设计区域内的空间相关折射率分布来定义。这代表了一个广阔的设计空间，能够表达各种复杂的光学多功能性。然而，确定给定目标函数的最佳折射率分布仍然是一个具有挑战性的反设计问题，特别是对于强散射设备而言。

为了克服这种挑战，并且根据本公开的教导，可以实施由梯度下降引导的迭代方法，其中从初始折射率分布开始，全波模拟(full-wavesimulations，fdtd)被用于计算聚焦效率相对于折射率扰动的灵敏度。灵敏度可以通过仅两次模拟来计算，允许以适度的资源有效优化三维设备。基于灵敏度，修改了初始设计，以便在符合制造限制的同时使性能最大化。重复该更新过程，直到优化的设备能够有效地执行目标功能。

为了进一步阐明上述内容，参考图7，图7示出了根据本公开实施例的基于优化算法的梯度的多个步骤。在步骤(81)中，用均匀的折射率分布初始化该算法，其中nmax和nmin分别表示折射率的最大值和最小值。该分布不断更新，以使焦平面中目标位置的电磁强度最大化，该目标函数用作聚焦效率的代理，同时简化灵敏度计算。灵敏度在步骤74从两个fdtd模拟(正向和伴随)中(步骤(72，73))的电磁场根据以下表达式计算:

其中是当用平面波从上方照射时立方体内的电场，步骤(72)；是当在目标位置处用点光源从下方照射时立方体内的电场，步骤(73)。在正向模拟中，点光源的相位和振幅由目标位置的电场给出。灵敏度可以针对跨可见频谱的多个入射波长和偏振进行计算，将每个光谱带分配到不同的象限:红色(600纳米–700纳米)、绿色(500纳米–600纳米)和蓝色(400纳米–500纳米)。然后，在步骤(74)中，使用以下公式，将光谱平均灵敏被用于更新设备的折射率:

步长α可以固定在小分数(例如，α＝0.001)，以确保折射率的变化可以被视为线性区域中的扰动。每次更新后都会重新计算灵敏度。在几次迭代之后，算法收敛到优化设计，步骤(75)，其中所得结构以期望的效率聚焦入射光。

制造限制

a.二元折射率

在优化过程中，可以对制造过程所需的折射率分布施加一组限制。根据本公开的实施例，高对比度3d散射元件可以由两种材料构成。虽然上面详述的梯度下降算法产生具有梯度折射率的优化设备，但是二元条件可以通过引入范围为[0，1]的辅助密度来实施。图8示出了示例性流程图，其示出了基于这种概念并根据本公开的进一步实施例的基于梯度的算法的各种实现步骤。

进一步参考图8，密度首先被初始化。通过s型投影滤波器，这种密度与折射率分布有关，步骤(82，83):

其中参数β控制滤波器强度。对于小的β，折射率分布等于按可用折射率范围缩放的密度。对于大的β，s型滤波器近似于heaviside函数，并且折射率分布被推向任一极端。重要的是，滤波器函数是连续可微分的，因此灵敏度可以用密度来表示:如步骤(85，86)所示。类似于关于等式(2)所描述的，如步骤(87)所示，可以基于跨期望光谱范围进行平均来计算灵敏度。在优化期间，步骤(84)，可以使用密度和β来参数化该设计，逐渐增加滤波器的强度。在该迭代过程的早期阶段，β是小的，这相当于未滤波的情况。随着时间的推移，随着迭代次数的增加，随着强度的增加，优化的折射率分布逐渐被推向二元设计，即使密度保持连续。在步骤(88)中，使用计算的灵敏度更新密度。然后在步骤(88)检查收敛标准。如果不满足这样的标准，则在步骤(89)增加参数β，以更新密度，并且算法进行到下一次迭代。如果在当前迭代中满足收敛标准，则实现优化设计，如步骤(850)所示。

b.最小特征尺寸

除了上述材料限制之外，还可以设想根据本公开并符合由制造工艺施加的分辨率限制的其他实施例。例如，衍射和邻近剂量效应将电子束光刻限制在大约10纳米的特征。设备设计的最小特征尺寸可以通过引入“扩张”密度来实现，该密度表示在每个点的邻域ω内的最大密度

对于足够大的指数m，这个操作近似于形态膨胀。然而，就参数而言，它是连续可微的。因此，灵敏度可以用未膨胀密度来表示:在优化过程中，设备由密度参数化，而折射率由膨胀密度限定。将邻域ω取为一个圆，其中半径代表最小特征尺寸。

c.连接层设计

如关于图2a’-3c所示的实施例所讨论的，一些设备设计可能意图通过多层2d平版印刷术制造，由几个在垂直方向不变的图案化平板组成。在这种情况下，可以通过在每个层内在垂直方向上平均经计算的灵敏度来限制优化。实际上，每个层内的像素取决于共享的2d轮廓。

作为另一示例，参考图5的3d散射结构(51)，其中该设计进一步受限，使得每个层都完全连接而没有浮动块。连接性可以通过在每个层内的断开的岛之间周期性地添加桥来直接施加。这种干预不考虑灵敏度，通常会导致设备性能小幅下降。因此，可以应用连接性限制，例如，每40次迭代一次，从而允许之后的性能恢复。