用于高质量薄透镜成像的神经纳米光学器件

背景技术：

1、近几十年来，亮度传感器的小型化使得当今的相机在包括医学成像、商用智能手机、安全、机器人和自动驾驶等众多应用领域无处不在。然而，只有比传统相机小一个数量级的成像仪才能在纳米机器人、体内成像、ar/vr和健康监测中实现新的应用。虽然现在存在亚微米像素的传感器，但由于传统光学器件的基本限制，进一步小型化是不可能的。传统系统由一系列用于校正像差的折射元件组成，这些庞大的镜头限制了相机占用空间的下限。另一基本障碍是难以减小焦距，因为这会导致更大的色差。

2、一些色散工程的超表面旨在通过利用群延迟和群延迟色散来聚焦宽带光以缓解传统超表面的缺点，但这种技术从根本上受到限制，其将设计限制在大约10微米的孔径。因此，现有方法无法在不显著降低数值孔径或支持的波长范围的情况下增加能够实现的孔径尺寸。其他尝试的解决方案仅足以满足离散波长或窄带照明。

3、超表面还表现出强烈的几何像差，其限制了其在宽视场(fov)成像中的实用性。支持宽fov的方法通常依赖于限制光收集的小输入孔径或使用多个超表面，这大大增加了制造的复杂性。此外，这些多个超表面被随孔径线性缩放的间隙隔开，从而使得超构光学器件的尺寸优势随着孔径增加而被消除。

4、最近，研究人员利用计算成像将像差校正的工作转移到后处理软件。尽管这些方法可以在没有严格的孔径限制的情况下实现超表面全彩色成像，但其视场限制在小于20°，并且重建的空间分辨率比传统的折射光学器件低一个数量级。

5、在传统技术中，研究人员也提出了类似的相机设计，这些设计利用单一光学器件而不是复合堆栈，但由于衍射效率低，这些系统无法与商品成像仪的性能相匹配。此外，最成功的方法阻碍了微型化，因为它们的后焦距离超过10毫米。相反，无镜头相机通过用振幅掩模代替光学器件来减小尺寸，但这严重限制了空间分辨率，并且需要很长的采集时间。

6、在亚波长尺度上调制光的纳米光学成像仪可以在从机器人到医学的不同领域开启前所未有的应用。尽管超镜头提供了这种超小型成像仪的实现途径，但现有方法获得的图像质量远不如庞大的折射的替代方案，其从根本上受到大孔径和低f值下像差的限制。

7、因此，需要使用超小型成像仪来改进用于成像的系统和方法。

技术实现思路

1、提供此总结是为了以简化的形式介绍一系列概念，这些概念将在下面的详细说明中进一步描述。本总结无意确定要求保护的主题的关键特征，也不打算用作确定要求保护的主题范围的辅助手段。

2、为此，本发明提供了一种能够完全微分的学习方法，该方法将超表面的物理结构与新的基于神经特征的图像重建算法相结合。通过实验验证本发明方法，实现了降低一个数量级的重建误差。在一些实施例中，高质量的纳米光学成像仪结合了用于全彩色超表面操作的最宽视场，同时实现了最大演示的0.5mm的f/2孔径。

3、在本发明技术的一些实施例中，神经超构光学器件利用了克服现有技术局限性的已知的设计方法。与以往依赖手工设计的工作相比，该发明技术将与端到端的能够微分的图像形成和计算重建模型的模型共同优化超表面和去卷积算法。该发明模型利用了节省内存的能够微分的纳米散射器模型，以及新颖的、基于神经特征的重建架构。本发明技术与反设计的超构光学器件不同，因为本技术的实施方案支持更大的孔径尺寸，且直接优化最终图像的质量而不是例如焦点亮度等中间指标。尽管过去已经探索过doe的端到端优化，但现有方法使用相板假设移位不变系统，并且仅支持约5°的小视场(fov)。此外，现有的已知的去卷积方法只是标准编码器-解码器架构(如u-net)的微小变体，并且通常无法推广到实验测量或处理通常在超表面图像中发现的大型空间依赖性的像差。

4、通过本发明的神经超构光学器件，本发明技术的实施方案实现了高质量、非偏振敏感的纳米光学成像仪，其用于全彩色(400nm至700nm)、f值为2的宽fov(40°)成像。作为非限制示例，使用500μm孔径，我们优化了1.6×106的纳米散射器，这比现有的消色差的超构光学器件多了一个数量级。与所有现有的启发式设计的超表面和超表面计算成像应用相比，本发明技术的实施方案在实验捕获器上的标称波长范围之外的重建误差方面比现有方法高出一个数量级。

5、在一个实施方案中，通过具有超透镜的成像系统获取图像的方法包括：照亮超镜头；通过图像传感器获取通过超透镜的光作为第一图像；并且通过后处理引擎将第一图像处理成第二图像，第二图像是第一图像的去卷积版本。超透镜包括由基底承载的多个纳米柱。

6、一方面，该方法还包括通过后处理引擎将真实值图像与第二图像进行比较。

7、一方面，该方法还包括基于将真实值图像与第二图像进行比较来确定图像梯度。

8、另一方面，后处理引擎包括特征去卷积块。

9、一方面，该方法还包括基于图像梯度训练该特征去卷积块。

10、一方面，特征去卷积块至少部分基于利用特征传播方案的神经去卷积(fdeconv)：

11、fdeconv(i)＝fde(fz→w(ffe(i)))

12、其中，ffe和fde都包含卷积神经网络(cnn)及其能够优化的参数，i指的是第一图像。

13、一方面，后处理引擎是神经网络引擎。

14、一方面，该方法还包括基于点扩散函数(psf)校准超透镜。

15、一方面，基于psf校准超透镜是基于人工图像的。

16、一方面，基于psf校准超透镜包括相位函数作为与光轴距离r的函数：

17、

18、其中，{a0，...an}是能够优化的系数，r是相位掩模半径，n是多项式的数量。

19、一方面，纳米柱包含氮化硅。

20、一方面，纳米柱的直径(d)在100nm至300nm的范围内，高度(t)在500nm至800nm的范围内。

21、在一个实施方案中，成像系统包括：超透镜，其具有由基底承载的多个纳米柱；光源，其被配置为向超透镜发射光；图像传感器，其被配置为通过超透镜采集光作为第一图像；以及后处理引擎，其被配置用于将第一图像处理为第二图像，第二图像是第一图像的去卷积版本。

22、一方面，后处理引擎进一步配置为用于将真实值图像与第二图像进行比较。

23、一方面，将真实值图像与第二图像进行比较包括确定图像梯度。

24、一方面，将第一图像的光处理成第二图像包括坡度递降法。

25、一方面，后处理引擎是机器学习引擎。

26、一方面，超透镜被配置为用于基于实验的点扩散函数(psf)进行校准。

27、一方面，纳米柱包括氮化硅。

28、一方面，纳米柱的直径(d)在100nm至300nm的范围内，高度(t)在500nm至800nm的范围内。

技术特征：

1.一种通过包括超透镜的成像系统获取图像的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括通过所述后处理引擎将真实值图像与所述第二图像进行比较。

3.根据权利要求2所述的方法，还包括基于所述真实值图像与所述第二图像的比较来确定图像梯度。

4.根据权利要求3所述的方法，其中，所述后处理引擎包括特征去卷积块。

5.根据权利要求4所述的方法，还包括基于所述图像梯度来训练所述特征去卷积块。

6.根据权利要求5所述的方法，其中，所述特征去卷积块至少部分基于利用特征传播方案的神经去卷积(fdeconv)：

7.根据权利要求1所述的方法，其中，所述后处理引擎为神经网络引擎。

8.根据权利要求1所述的方法，还包括基于点扩散函数(psf)来校准所述超透镜。

9.根据权利要求1所述的方法，基于点扩散函数(psf)来校准所述超透镜是基于人工图像的。

10.根据权利要求1所述的方法，其中，基于点扩散函数(psf)校准所述超透镜包括相位函数作为与光轴距离r的函数：

11.根据权利要求1所述的方法，其中，所述纳米柱包含氮化硅。

12.根据权利要求11所述的方法，其中，所述纳米柱的直径(d)在100nm至300nm范围内，高度(t)在500nm至800nm范围内。

13.一种成像系统，包括：

14.根据权利要求13所述的系统，其中，所述后处理引擎还被配置用于将真实值图像与所述第二图像进行比较。

15.根据权利要求14所述的系统，其中，将所述真实值图像与所述第二图像进行比较包括确定图像梯度。

16.根据权利要求15所述的系统，其中，将所述第一图像处理成所述第二图像包括坡度递降法。

17.根据权利要求13所述的系统，其中，所述后处理引擎是机器学习引擎。

18.根据权利要求13所述的系统，其中，所述超透镜被配置为基于实验点扩散函数(psf)进行校准。

19.根据权利要求13所述的系统，其中，所述纳米柱包括氮化硅。

20.根据权利要求13所述的系统，其中，所述纳米柱的直径(d)在100nm至300nm的范围内，高度(t)在500nm至800nm的范围内。

技术总结
本发明描述了一种用于成像的超表面和系统以及成像方法。在一个实施方案中，通过包括超透镜的成像系统获取图像的方法包括：照亮超透镜；通过图像传感器获取通过超透镜的光作为第一图像；并且将第一图像处理成第二图像，第二图像是通过后处理引擎的第一图像的去卷积版本。该超透镜包括由基底承载的多个纳米柱。

技术研发人员：阿卡·马宗达,尚恩·科尔伯恩,詹姆斯·怀特黑德,黄罗成,伊桑·曾,白承焕,菲力克斯·海德
受保护的技术使用者：华盛顿大学
技术研发日：
技术公布日：2024/1/16