用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法与流程

用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法
1.相关申请的交叉引用
2.本技术主张2021年3月19日申请的名称为“用于对图像去噪的模块化机器学习模型以及使用其的系统和方法(modular machine learning models for denoising images and systems and methods for using same)”的临时申请第63/163,678号、2021年3月19日申请的名称为“用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法(building units for machine learning models for denoising images and systems and methods for using same)”的临时申请第63/163,682号和2021年3月19申请的名称为“用于训练对图像去噪的机器学习模型的系统和方法(systems and methods for training machine learning models for denoising images)”的临时申请第63/163,688号的优先权。前述申请出于任何目的以全文引用的方式并入本文中。
技术领域
3.本技术涉及成像技术，且确切地说，涉及用于对图像去噪的机器学习模型的构建单元以及使用其的系统和方法。


背景技术：

4.例如聚焦离子束扫描电子显微术(fib-sem)的成像技术的进步已实现前所未有的生物细胞的观测和分析以及生物细胞之间的交互。举例来说，使用fib-sem，图像可具有约每像素4nm的分辨率，允许例如细胞内的细胞器的次微米级结构的观测。然而，随着分辨率增加，噪声也增加。成像模态的限制可使得难以或不可能在高分辨率下获得无噪声图像。返回到fib-sem实例，对于纳米尺度下的分辨率，光学性质、光束变化和/或热效应的影响可不可能完全控制以消除来自图像的噪声。因此，可需要用于减少高分辨率图像中的噪声的替代性技术。


技术实现要素：

5.根据本技术的一方面，提供一种设备。设备包括：逻辑电路，其配置成接收第一输入和第二输入，且进一步配置成提供图像的第一输出、第二输出和噪声部分；卷积器，其配置成卷积第一输入以产生第一输出；合成器，其配置成接收第一输入和第二输入以产生第二输出；噪声关注块，其配置成至少部分地基于第二输出提供噪声部分；以及加法器，其配置成组合噪声部分与图像。
6.根据本技术的另一方面，提供一种系统。系统包括：至少一处理器；以及处理器可存取的至少一个非暂时性媒体，所述至少一个非暂时性媒体经指令编码，所述指令在执行时致使系统实施机器学习模型，其中机器学习模型包括：多个构建单元，其中构建单元中的个别者配置成基于第二图像接收第一输入且至少部分地基于图像接收第二输入，且进一步配置成提供第一输出、第二输出和噪声部分；以及多个加法器，其配置成将由多个构建单元
提供的噪声部分组合到图像以提供输出图像。
附图说明
7.图1a说明用以对图像去噪的机器学习模型的实例。
8.图1b说明用以对图像去噪的机器学习模型的另一实例。
9.图2说明根据本公开的至少一个实例的对图像去噪的机器学习模型。
10.图3说明根据本公开的至少一个实例的图像的序列。
11.图4为根据本公开的实例配置的计算系统的示意性说明。
12.图5为根据本公开的实例的机器学习模型的功能框图。
13.图6为根据本公开的实例的构建单元的功能框图。
14.图7为根据本公开的实例的机器学习模型的功能框图。
15.图8为根据本公开的实例的构建单元的功能框图。
16.图9为根据本公开的实例的噪声关注块的功能框图。
17.图10为根据本公开的实例的反馈块的功能框图。
18.图11a为根据本公开的实例的方法的流程图。
19.图11b为根据本公开的实例的图11a中所展示的识别和去除的实施的流程图。
20.图11c为根据本公开的实例的图11a中所展示的识别和去除的实施的流程图。
21.图11d为根据本公开的实例的图11a中所展示的识别和去除的实施的流程图。
22.图12为说明根据本公开的实例的训练用以对图像去噪的机器学习模型的过程的图。
23.图13为根据本公开的实例的用于训练用以对图像去噪的机器学习模型的方法的流程图。
24.图14展示根据本公开的实例的来自验证体积的实例图像。
25.图15展示由各种技术去噪的实例fib-sem图像和对应噪声曲线图。
26.图16展示由各种技术去噪的实例fib-sem图像和对应噪声曲线图。
27.图17展示根据本公开的实例的跨树脂的输入信号与机器学习模型的层的散布图。
28.图18说明根据本公开的实例的应用。
具体实施方式
29.图像去噪为拍摄包含噪声n的图像x(例如，有噪声的图像)且将噪声与图像中的“真实”信号s分离(例如，x＝s+n)以获得具有减少或无噪声图像(例如，清洁图像)的过程。在许多应用中，噪声为随机的和/或非依赖性的(例如，一个像素处的噪声不取决于另一像素处的噪声)。现有技术尝试模型化图像中的噪声以去除所述噪声。然而，当多个源促成具有不同特性的噪声(例如，高斯噪声、泊松噪声等)时，模型化噪声可为困难的。已利用例如机器学习的人工智能(ai)技术来对图像去噪。举例来说，可训练机器学习模型以作出推断(例如，预测、估计)，所述推断可用于从图像去除噪声且输出具有减少或无噪声的“清洁”图像。
30.通常，训练机器学习模型包含提供训练数据集。训练可受监督或不受监督或受半监督。训练数据集用于确定机器学习模型的架构和/或其它参数。举例来说，训练数据集可
用于确定模型中的层的数目和/或应用于模型的特征向量的权重。经训练的模型接着可用于分析其它数据集以完成一或多个任务，例如响应于输入图像提供输出去噪图像。
31.图1a说明可用于对图像去噪的机器学习模型的实例。机器学习模型104可提供包含经标记图像对的训练数据集。所述对中的一个图像可指定为“已知有噪声的”图像100的输入，且所述对中的另一图像可指定为“已知清洁”图像102(例如，与图像100相比较，无噪声或噪声减少)的所要输出。除噪声的存在以外，图像100及图像102可相同(例如，来自相同空间和/或时间位置)。用于训练机器学习模型104的已知清洁图像102也可称为地面真值图像。
32.从训练集，机器学习模型104可学习识别有噪声的图像中的“真实”信号通过“识别”，意味着训练机器学习模型104以作出对提供所要输出(此处为真实信号)的预测和/或估计的推断。接着可从有噪声的图像提取真实信号以产生清洁图像。在训练期间，基于机器学习模型104的基于参数的输出与已知有噪声的图像100类似已知清洁图像102紧密程度来确定机器学习模型104的可接受参数(例如，网络系数、应用于特征矩阵的权重)。参数可包含矩阵和/或向量的权重的值。一旦发现基于最紧密类似已知清洁图像102的已知有噪声的图像100提供输出的参数，机器学习模型104可视为经训练的。一旦经训练(例如，已确定参数的值)，机器学习模型104可响应于不为训练数据集的部分的输入有噪声图像106而提供清洁输出图像108。
33.参考图1a描述的技术利用地面真值图像来训练机器学习模型。然而，对于高分辨率图像，例如纳米尺度下的那些图像，噪声可无处不在。因此，适合于训练机器学习模型的地面真值图像可不可用。
34.图1b说明用以对图像去噪的机器学习模型的另一实例。类似于机器学习模型104，机器学习模型114可提供包含图像对的训练集。然而，一对中的一个图像110包含第一类型的噪声，且所述对中的另一图像112包含第二类型的噪声。除噪声类型以外，图像110与图像112可相同(例如，来自相同空间和/或时间位置)。基于包含具有不同噪声的图像对的训练数据集，机器学习模型114可学习以识别图像中的噪声。接着可从图像去除所识别的噪声。
35.类似于图1a，在训练期间，可确定机器学习模型114的可接受参数。然而，不同于图1a中的机器学习模型104的训练，机器学习模型114在训练期间可不接收地面真值图像，仅接收有噪声的图像对110、112。替代地机器学习模型114可输出用于图像对中的每一个的清洁图像116。清洁图像116可用于计算损失函数的值。损失函数的值在机器学习模型114进行较差预测(例如，清洁图像116仍含有大量噪声)时可较高，且在机器学习模型114进行较好预测(例如，清洁图像116含有较少噪声)时可较低。可在训练期间调整参数。当发现提供损失函数的最小值(例如，损失函数最小化)的参数时，机器学习模型114可视为经训练的。一旦经训练，机器学习模型114可从有噪声的图像118、120的输入对提供清洁输出图像122，所述清洁输出图像122可比输入图像具有较少噪声。
36.虽然参考图1b描述的技术对缺乏地面真值图像提供可能的解决方案以训练机器学习模型，但仅在噪声内容方面不同的图像对可不可用于训练经训练模型或作为到经训练模型的输入。对时间过程(例如，有丝分裂)获取的图像和/或通过破坏性过程获取的图像可不提供这种“匹配的”图像对。对于一些成像模态，获取除噪声内容以外的相同图像对，但可能可不实际，例如归因于获取图像所花费的时间。因此，可需要可经训练以在地面真值或匹
配图像不可用时对图像去噪的机器学习模型。
37.图2说明根据本公开的至少一个实例的可用于对图像去噪的机器学习模型。在训练期间，机器学习模型202可提供训练集，所述训练集包含有噪声的图像x
i-1
、xi和x
i+1
的多个序列200，其中i为序列中的图像编号。尽管图2展示包含三个图像的序列，但在其它实例中，序列可包含两个图像或可包含多于两个图像。基于序列200的训练集，机器学习模型202可学习以识别序列中的图像xi中的至少一些噪声。接着可去除所识别噪声以产生对应于作为输入提供的序列的有噪声的图像xi的清洁输出图像。举例来说，机器学习模型202可通过进行序列中的不同图像对的比较而学习-例如xi与x
i-1
之间的差异和xi与x
i+1
之间的差异。
38.如图3中所展示，在一些实例中，可提供到机器学习模型202的图像序列300可对应于在不同空间位置处获取的图像x
i-n
到x
i+m
的数目。举例来说，可在体积内的不同图像平面处获取图像x
i-n
到x
i+m
。在一些实例中，图像可对应于在空间上不同的不重叠图像平面。在一些实例中，不重叠图像平面可彼此紧邻。在其它实例中，图像平面可间隔开(例如，在未成像的图像平面之间存在体积的部分)。在一些实例中，图像可对应于部分地重叠的图像平面(例如，存在于图像x
i-1
中的体积的一部分也存在于图像xi中)。在一些实例中，体积内的图像平面的厚度和/或图像平面的间距可至少部分地基于所使用的成像技术的分辨率和/或其它参数。
39.图3中还展示，在一些实例中，可提供到机器学习模型202的图像序列302可对应于在不同时间获取的图像x
t-n
到x
t+m
的数目。也就是说，图像可在时间上间隔开。时间间距可至少部分地基于在一些实例中使用的成像技术的帧率。在一些实例中，可在同一成像平面处获取在时间上间隔开的图像。然而，在其它实例中，图像可在空间和时间上间隔开。在一些实例中，序列300和302中的图像的空间和/或时间间距可使得序列中的两个顺序图像之间的差异(例如，在两个图像之间没有序列的介入图像)可较小。
40.返回到图2，机器学习模型202可包含经训练以基于序列200的有噪声的图像xi和来自序列200的一或多个其它图像(例如x
i+1
和/或x
i-1
)输出清洁图像xi204的一或多个机器学习模型。在一些实例中，例如图2中所展示的实例中，提供到机器学习模型202的序列200的图像可为关于图像xi的顺序图像(例如，在序列200中直接在图像xi前一个或后一个)。
41.类似于机器学习模型114，机器学习模型202可在训练期间不接收地面真值图像，仅序列200中的有噪声的图像且输出个别序列200的清洁图像204。然而，不同于提供到机器学习模型114的有噪声的图像对110、112，序列200中的图像可不来自相同空间和/或时间位置。清洁图像204可用于计算损失函数的值。当发现提供损失函数的最小值的参数时，机器学习模型202可视为经训练的。一旦经训练，机器学习模型202可基于有噪声的图像的输入序列206提供清洁输出图像208。
42.机器学习模型202可包含一或多个神经网络。神经网络可具有一或多个层。层是指在相同输入(其可包含一或多个值)上操作且提供输出(其可包含一或多个值)作为到另一层的输入或神经网络的输出的一或多个节点(例如，计算)。各种架构可用于神经网络。举例来说，神经网络可具有unet架构、完全卷积架构或递归神经网络(rnn)架构。
43.在一些应用中，rnn可适合于作出来自空间和/或时间序列的推断。rnn可确定关于序列中的图像要“记住”什么和要“忘记”什么，以便对序列中的一或多个图像进行推断。举例来说，rnn可基于序列中的图像和一或多个其它图像来推断序列中的图像中的噪声。在一
些实例中，rnn可包含一或多个门控循环单元和/或长短期记忆网络。在一些实例中，机器学习模型202可具有分支架构。分支可各自接收来自序列200、206的相同有噪声的图像、来自序列200、206的不同有噪声的图像或其组合(例如，由分支所接收的一些图像是相同的而其它图像是不同的)作为输入。分支的架构可相同或不同。可组合分支的输出以提供来自机器学习模型202的清洁图像204。
44.在一些实例中，机器学习模型202可部分地或完全模块化。举例来说，机器学习模型202可包含神经网络、神经网络的一或多个层和/或形成称为构建单元的模块的其它组件，且可从机器学习模型202添加或去除任何数目个构建单元。在一些实例中，个别构建单元可识别待去除的图像中的噪声的对应部分。在一些应用中，机器学习模型202中所包含的构建单元的数目可至少部分地基于序列200、202中的图像中的噪声的量值(例如，强度)。在实例中，噪声的量值可由图像的信噪比(snr)指示。在一些实例中，噪声的量值可由图像中的噪声的类型(例如，泊松(poisson)与高斯(gaussian))指示。在一些实例中，噪声的量值可至少部分地归因于图像中所包含的不同类型的噪声的数目。
45.在一些实例中，可将由机器学习模型202输出的清洁/经去噪图像提供到另一机器学习模型和/或图像处理技术以用于进一步分析。举例来说，机器学习模型可经训练以检测清洁图像内的癌细胞、细胞间交互和/或所关注的其它特征(例如，潜在药物靶标、治疗功效的指示)。在其它实例中，对清洁图像的检测或其它处理可由例如边缘检测、直方图分析和散斑分析的其它图像处理技术进行。在一些实例中，癌细胞和/或其它特征的检测可用于进行诊断。在一些实例中，可使用另一机器学习模型和/或其它技术来进行诊断。
46.尽管本文中所提供的实例涉及医学和生物医学图像，但本文所公开的机器学习模型202和其它模型、设备、系统和方法不限于医学应用。举例来说，可将半导体装置、纳米机器、微流体装置或材料的图像提供到机器学习模型202，且可出于质量控制和/或其它目的分析清洁/去噪图像。
47.在一些实例中，机器学习模型202可实施于硬件和/或软件组件中。举例来说，可使用处理器(例如，单一或多核中央处理单元、单一图形处理单元(gpu)或gpu集群，或经布置以用于并行处理的多个处理器)来实施基于软件的机器学习模型202，所述处理器经配置以执行可存储于计算机可读媒体中的指令，且所述指令在经执行时致使所述处理器实施机器学习模型。在另一实例中，基于硬件的机器学习模型202可使用一或多个专用集成电路(asic)实施。
48.图4为根据本公开的实例配置的计算系统的示意性说明。计算系统400可用于实施一或多个机器学习模型，例如机器学习模型202。计算系统400可包含一或多个处理器402、一或多个计算机可读媒体404、存储器控制器410、存储器412和一或多个接口414。在一些实例中，计算系统400可包含显示器416。
49.计算机可读媒体404可由处理器402存取。计算机可读媒体404可由可执行指令408编码。可执行指令408可包含用于实施机器学习模型以对图像去噪(例如，从有噪声的图像产生清洁图像)的可执行指令。可执行指令408可由处理器402执行。在一些实例中，可执行指令408还可包含用于产生或处理训练数据集和/或训练机器学习模型的指令。替代或另外地，在一些实例中，机器学习模型或其一部分可实施于包含有计算机可读媒体404和/或处理器402的硬件中，例如，应用专用集成电路(asic)和/或现场可编程门阵列(fpga)。
50.计算机可读媒体404可存储数据406。在一些实例中，数据406可包含一或多个训练数据集，例如训练数据集418。训练数据集418可包含一或多个图像序列。在一些实例中，可从另一计算系统(例如，成像系统422、云计算系统)接收训练数据集418。在其它实例中，训练数据集418可由计算系统400产生。在一些实例中，训练数据集可用于训练一或多个机器学习模型。在一些实例中，数据406可包含机器学习模型中使用的数据(例如，权重、节点之间的连接)。在一些实例中，数据406可包含其它数据，例如新数据420。新数据420可包含训练数据集418中未包含的一或多个图像序列。在一些实例中，可由经训练机器学习模型分析新数据以提供清洁(例如，经去噪)图像。在一些实例中，数据406可包含由计算系统400实施的一或多个机器学习模型产生的输出(例如，清洁图像)。计算机可读媒体404可使用包含非暂时性计算机可读媒体的任何媒体实施。实例包含存储器、随机存取存储器(ram)、只读存储器(rom)、易失性或非易失性存储器、硬盘驱动器、固态驱动器或其它存储装置。虽然图4中展示单一媒体，但多个媒体可用于实施计算机可读媒体404。
51.在一些实例中，可使用一或多个中央处理单元(cpu)、图形处理单元(gpu)、asic、fpga或其它处理器电路系统来实施处理器402。在一些实例中，处理器402可执行指令408中的一些或全部。在一些实例中，处理器402可经由存储器控制器410与存储器412通信。在一些实例中，存储器412可为易失性存储器，例如动态随机存取存储器(dram)。在一些实例中，存储器412可经由存储器控制器410将信息提供到处理器402和/或计算机可读媒体404和/或从处理器402和/或计算机可读媒体404接收信息。虽然展示单一存储器412和单一存储器控制器410，但可使用任何数目。在一些实例中，存储器控制器410可与处理器402集成。
52.在一些实例中，接口414可将通信接口提供到另一装置(例如，成像系统422)、用户和/或网络(例如，lan、wan、因特网)。可使用有线和/或无线接口(例如，wi-fi、蓝牙、hdmi、usb等)实施接口414。在一些实例中，界面414可包含可从使用接收输入的用户界面组件。用户接口组件的实例包含键盘、鼠标、触控板、触摸屏和麦克风。在一些实例中，接口414可在外部装置(例如，成像系统422)与计算系统400的一或多个组件(例如，处理器402和计算机可读媒体404)之间传送可包含用户输入、数据406、训练数据集418和/或新数据420的信息。
53.在一些实例中，计算系统400可与为单独组件(例如，使用有线和/或无线接)的显示器416通信，或显示器416可与计算系统集成。在一些实例中，显示器416可显示数据406，例如由计算系统400实施的一或多个机器学习模型产生的输出。可存在任何数目或多种显示器，包含一或多个led、lcd、等离子或其它显示装置。
54.在一些实例中，训练数据集418和/或新数据420可经由接口414提供到计算系统400。任选地，在一些实例中，训练数据集418和/或新数据420中的一些或全部可由成像系统422提供到计算系统400。在一些实例中，成像系统422可为fib-sem成像系统、磁共振成像系统、计算机断层扫描系统、超声成像系统或其组合。在一些实例中，计算系统400可将例如由机器学习应用程序作出的推断的结果提供到成像系统422。在一些实例中，计算系统400包含在成像系统422中。
55.图5为根据本公开的实例的机器学习模型的功能框图。在一些实例中，机器学习模型500可包含于机器学习模型202中、用以实施机器学习模型202和/或由机器学习模型202实施。在一些实例中，机器学习模型500可由例如计算系统400的计算系统实施。举例来说，计算系统可包含由指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的处理器
执行时实施机器学习模型500。在一些实例中，机器学习模型500可整体或部分由硬件(例如，例如asic、可编程fpga等电路系统)实施。
56.机器学习模型500可经训练(例如，经配置)以对图像去噪。机器学习模型500可接收图像序列506的有噪声的图像x
i-1
、xi和x
i+1
作为输入且输出对应于图像序列506的图像xi的清洁图像x
iclean
526。清洁意味着已去除xi的噪声的至少一部分。在一些实例中，图像序列506可包含来自不同成像平面(例如，体积内的不同平面)的图像。在一些实例中，图像序列506可包含来自在不同时间获取的相同成像平面的图像。在一些实例中，图像序列506可包含来自不同成像平面和不同时间两者的图像。
57.机器学习模型500包含两个分支502、504。分支502可接收图像xi和x
i+1
作为输入，且分支504可接收图像xi和x
i-1
作为输入。如图5中的实例中所展示，一个分支可从图像序列接收两个图像的集合，且第二分支可从图像序列接收两个图像的集合。在一些实例中，可由分支接收多于两个图像。在其它实例中，仅一个图像可由分支接收。第二分支可从图像序列接收图像的不同集合。在一些实例中，例如图5中所展示的实例，可将一个相同图像提供到两个分支(例如，xi)。然而，在其它实例中，提供到两个分支的所有图像不同。在一些实例中，提供到每一分支的图像可为序列中的连续图像或可由图像序列中的一或多个图像(例如，xi和x
i+2
)间隔开的图像。提供到分支的图像可在序列中均匀地间隔，或可具有不相等间距(例如，xi和x
i+2
可提供到分支且xi和x
i-3
可提供到另一分支)。在一些应用中，例如，当序列中的一或多个图像不可用(例如，损坏文件)时，可需要不均匀(例如，非均匀)间距。
58.分支502可输出可具有至少一些噪声经去除的图像xi'520，且分支504可输出可具有至少一些噪声经去除的至少一些噪图像x
i”522。可组合分支502和504的输出以提供清洁图像x
iclean
526。输出可以多种方式组合(例如，混配、平均、加权平均)。在图5中展示的实例中，确定输出的平均值524。在所展示的实例中，分支502、504具有相同架构：rnn。因此，为简洁起见，本文中将仅描述分支502的组件和操作。然而，在其它实例中，分支502、504可具有不同架构。分支502可包含卷积/线性整流器(convrelu)层508。convrelu层508可卷积且线性地校正输入图像xi和x
i+1
。在所展示的实例中，convrelu层508应用3x3卷积内核，可在其它实例中使用但其它内核大小。在一些实例中，卷积可包含64个信道。在一些实例中，信道可包含在特征向量和/或矩阵中。
59.分支502可包含一或多个额外层，称为构建单元510。在所展示的实例中，分支502包含d+1个构建单元510，其中d为自然数。在一些实例中，构建单元510的数目可至少部分地基于图像xi中的噪声的量值。在一些实例中，构建单元510可串行。也就是说，个别构建单元510可从分支502的前一层接收输出作为输入。举例来说，构建单元0接收convrelu层508的输出，且每一后续构建单元510(构建单元1到d)接收前一构建单元510的输出作为输入。convrevlu层508可将两个输出提供到构建单元0：“存储器”和“新输入”。在一些实例中，存储器输出可包含与图像x
i+1
相关的信息，且新输入输出可包含与图像xi相关的信息。在一些实例中，conrevlu层508可提供包含与图像x
i+1
和xi两者相关的信息的单一输出，但将输出提供到构建单元0的两个不同部分。类似地，可将构建单元510的存储器输出提供到后续构建单元510的两个不同部分。至少部分地基于输入，每一构建单元510可识别图像xi中的噪声的至少一部分。在一些实例中，由个别构建单元510所识别的噪声的部分可不同。噪声的部分(例如，噪声分量)可经由噪声关注块512提供为构建单元510的输出。在一些实例中，每
一构建单元510可识别图像xi中的噪声的不同部分。
60.可沿着数据路径528提供图像xi，其中所述图像xi经反复地更新以去除噪声。沿着数据路径528的算术块514可从构建单元510中的对应者接收所识别噪声，且从图像xi去除所识别噪声以提供图像xi的经更新版本，其中噪声的部分沿着数据路径528经去除到下一算术块514。在与构建单元0相关联的第一算术块514之后，后续算术块514可从由前一算术块514提供的经更新图像xi去除噪声的一部分。
61.可将由算术块514产生的经更新图像xi提供到反馈块516。反馈块516可进一步从前一构建单元510接收输出作为输入。基于经更新图像xi和来自前一构建单元的输出，反馈块516可将输出提供到当前构建单元510。举例来说，与构建单元1相关联的反馈块516可接收经更新图像xi和来自构建单元0的输出以将输出提供到构建单元1。在一些实例中，额外反馈块530可与反馈块516相同，然而，替代于将输出提供到构建单元510，反馈块530将输出提供到线性整流器/卷积(reluconv)层518。虽然在一些实例中与构建单元510分开展示，但在一些实例中，反馈块516和/或反馈块530可包含有构建单元510。
62.reluconv层518可线性地校正且卷积反馈块530的输出以将输出提供到噪声关注块532。在所展示的实例中，reluconv层518应用3x3卷积内核，但可在其它实例中使用其它内核大小。在一些实例中，噪声关注块532可与噪声关注块512相同。噪声关注块532可将所识别噪声的一部分提供到最终算术块534。最终算术块534可从从前一算术块514接收的经更新图像xi去除噪声的部分以提供图像xi'520。
63.在操作中，机器学习模型的多个层(例如，convrelu 508、构建单元510、reluconv 518)可产生从每一层处的图像xi去除的噪声分量。构建单元510各自累积来自序列506的图像(例如，图像xi和图像x
i+1
或图像xi和图像x
i-1
)的信息且产生两个输出。经由噪声关注块512提供的一个输出以产生噪声分量。另一输出包含与作为“存储器”从序列506提供到机器学习模型500的下一构建单元510和/或反馈块516、530的图像相关的信息。因此，机器学习模型500可进行对图像xi去噪的迭代过程。
64.虽然构建单元510可串行，但在一些实例中可并行地进行由分支502及504进行的操作。在其它实例中，可在进行另一分支的操作之前进行由一个分支进行的操作。尽管机器学习模型500包含两个分支，但在其它实例中，机器学习模型500可包含一个分支。在这些实例中，一个分支的输出，例如xi'520或x
i”522可作为x
iclean
526输出。在一些实例中，可将序列的仅两个图像而非序列的三个图像提供到机器学习模型500。在一些实例中，仅可将图像xi提供到机器学习模型500。在其它实例中，机器学习模型500可包含多于两个分支，且可组合多个分支的输出以提供x
iclean
526。在一些实例中，可提供来自序列的多于三个图像。
65.图6为根据本公开的实例的构建单元的功能框图。在一些实例中，构建单元600可为rnn和/或其它机器学习模型中的若干构建单元中的一个。在一些实例中，构建单元600可用于实施图5中所展示的构建单元510中的一或多个。在一些实例中，构建单元600可实施于硬件和/或软件中。在一些实例中，构建单元600可通过例如计算系统400的计算系统实施。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的处理器执行时实施构建单元600。构建单元600可至少部分地基于序列中的图像xi和至少一个其它图像(例如，图像x
i-1
和/或图像x
i+1
)识别序列中的图像xi中的噪声的至少一部分。
66.在一些实例中，构建单元600可充当累加器。构建单元600接收过去的信息或“存储器”和新信息(例如，新输入)。当构建单元600为第一构建单元(例如，图5中的构建单元0)时，可从convrelu层(例如，convrelu 508)接收输入。由convrelu层提供的存储器输入和新输入可包含与提供到机器学习模型的分支(例如机器学习模型500的分支502和/或分支504)的图像(例如，图像xi和图像x
i+1
或x
i-1
)相关的信息。在一些实例中，来自convrelu层的存储器输入可包含与序列中的至少一个其它图像(例如，x
i+1
或x
i-1
)相关的信息，且新输入可包含与图像xi相关的信息。当构建单元600为后续构建单元(例如，图5中的构建单元1到d)时，存储器输入(m
t-1
)可为前一构建单元的输出，且新输入(fm
t
)可为反馈块(例如，反馈块516)的输出。在一些实例中，由反馈块提供的新输入可包含与图像xi相关的信息，其中由前一构建单元所识别的噪声的一部分经去除。在一些实例中，由反馈块提供的新输入可进一步包含与前一构建单元的存储器输出相关的信息。
67.构建单元600可提供存储器输出和噪声部分输出。在一些实例中，存储器输出可包含与序列中的至少一个其它图像相关的信息。在一些实例中，构建单元600输出的存储器可进一步包含在去除由一或多个先前构建单元所识别的噪声之前与图像xi相关的信息。噪声部分可指示由构建单元600所识别的图像xi中的噪声的一部分。在一些实例中，噪声部分输出可提供到算术块614。在一些实例中，信息可包含特征矩阵和/或向量，其可包含自图像提取的特征的值。
68.在一些实例中，算术块614可包含算术块514。在一些实例中，算术块614可为加法器(例如，进行加法操作)。如参考图5所论述，算术块614可接收图像xi(x
iprevious
)的前一“版本”，所述前一“版本”可为当由convrelu层提供时的图像xi，或可为当由前一算术块提供时去除的噪声的至少一部分的图像xi。算术块614可从图像x
iprevious
去除从构建单元600接收的噪声的部分且输出经更新图像x
iupdated
。因此，在一些实例中，图像x
iupdated
可具有不必图像x
iprevious
少的噪声。在一些实例中可将图像x
iupdated
提供到下一算术块和/或反馈块。
69.在一些实例中，构建单元600可类似具有两个门的gru单元：更新门648和复位门650。更新门648可确定由先前层提供的保留(例如，包含)在构建单元600的存储器输出中的输入的量。复位门650可确定从前一层接收以从存储器输出省略(例如，排除)的输入的量。换句话说，更新门648确定“记住”什么信息，且复位门650确定“忘记”什么信息。
70.在一些实例中，构建单元600可包含可从存储器输入提取特征的非线性块636。在一些实例中，非线性块636的输出可表示为：
[0071][0072]
对于t＝1
…
d+1，其中d为例如机器学习模型500的机器学习模型中的构建单元600的数目，且标示哈达玛积(hadamard product)。尽管变量t用作构建单元600(例如，机器学习模型的层)的指数，但t可不指示时间。确切地说，在一些实例中，t可指示机器学习模型的层。
[0073]
算术块638可从非线性块636接收输出(例如，所提取特征)且将其与新输入组合。在一些实例中，算术块638可将新输入与非线性块636的输出求和。算术块638的输出可提供到更新门648和复位门650。更新门648可包含卷积块640和激活块644，且复位门650可包含卷积块642和激活块646。卷积块640、642两者可对算术块638的输出进行卷积。在图6中展示
的实例中，卷积可利用3x3内核，但可在其它实例中使用其它大小过滤器。卷积块640的输出可提供到激活块644，且卷积块642的输出可提供到激活块646。在一些实例中，激活块644和/或激活块646可将s型函数应用到卷积块640和642的输出。
[0074]
可提供激活块644的输出作为更新门648的输出u
t
。如先前所提到，更新门648确定要记住什么信息。在一些实例中，可通过以下操作来提供由更新门648进行的操作：
[0075][0076]
其中wu为于新输入的权重矩阵，且vu为应用于存储器输入的权重的矩阵，且*标示卷积算子。在一些实例中，可在训练包含构建单元600的机器学习模型期间确定权重。
[0077]
可提供激活块646的输出作为复位门650的输出r
t
。复位门650确定忘记什么信息的操作可通过以下等式描述：
[0078][0079]
其中wr为应用于新输入的权重矩阵，且vr为应用于存储器输入的权重矩阵。在一些实例中，可在训练包含构建单元600的机器学习模型期间确定权重。
[0080]
复位门650的输出r
t
可提供到可组合输出与非线性块636的输出的算术块654。在一些实例中，算术块654可进行逐元素乘法以产生组合输出。算术块654的输出和新输入可提供到算术块656。在一些实例中，算术块656可对新输入与算术块654的输出求和以将组合输出提供到电流单元662。
[0081]
电流单元662可包含卷积块658和激活块660。卷积块658可卷积算术块656的输出。在一些实例中，例如所展示的实例，卷积可使用3x3内核，但可在其它实例中使用其它大小。卷积块658的输出可提供到激活块660。在一些实例中，激活块660可包含双曲正切函数。激活块660的输出可提供为电流单元662的电流输出c
t
。单元662的操作可表示为：
[0082][0083]
其中wc为应用于新输入的权重矩阵，且vc为应用于存储器输入的权重矩阵。在一些实例中，可在包含构建单元600的机器学习模型的训练期间确定权重。卷积块658的输出可进一步提供到噪声关注块612，其可提供构建单元600的噪声部分输出。
[0084]
返回到更新门648，输出u
t
及非线性块636的输出可提供到算术块652且经组合。在一些实例中，算术块652可通过进行逐元素乘法函数组合输入。输出u
t
和输出c
t
可提供到算术块664。在一些实例中，算术块664可通过进行逐元素乘法函数组合输入。算术块652和664的输出可提供到算术块666。算术块666可组合两个输出以提供构建单元600的存储器输出m
t
。在一些实例中，算术块666可对算术块652和664的输出求和。如先前所提及，输出m
t
可提供到后续构建单元和/或反馈块。产生存储器输出m
t
可由以下等式提供：
[0085][0086]
在一些实例中，其中第一构建单元从convrelu层接收输入，用于等式1到5，m0＝relu(w0*(x
i+1
或x
i-1
)和fm1＝relu(w0*xi)。其中w0为应用于图像的权重矩阵。可在包含构建单元600的机器学习模型的训练期间确定权重。在一些实例中，可对可布置在向量的特征矩阵中的64个信道进行构建单元600的功能中的一些或全部。然而，可在其它实例中使用更多或更少信道。
[0087]
图7为根据本公开的实例机器学习模型的功能框图。在一些实例中，机器学习模型700可包含在机器学习模型202中，用于实施机器学习模型202和/或由机器学习模型202实施。在一些实例中，机器学习模型700可由例如计算系统400的计算系统实施。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的处理器执行时实施机器学习模型。在一些实例中，机器学习模型700可完全或部分地由硬件(例如，如asic、可编程fpga等电路系统)实施。
[0088]
机器学习模型700可经训练(例如，配置成)对图像去噪。机器学习模型700可接收图像序列706的有噪声的图像x
j-1
、xj和x
j+1
作为输入且输出对应于图像序列706的图像xj的清洁图像x
jclean
726。清洁意味着xj的噪声的至少一部分已去除。在一些实例中，图像序列706可包含来自不同成像平面(例如，体积内的不同平面)的图像。在一些实例中，图像序列706可包含在不同时间从相同成像平面获取的图像。在一些实例中，图像序列706可包含来自不同成像平面和不同时间两者的图像。
[0089]
机器学习模型700包含两个分支702、704。分支702可接收图像xj和x
j+1
作为输入，且分支704可接收图像xj和x
j-1
作为输入。如图7中的实例中所展示，一个分支可从图像序列接收两个图像的集合，且第二分支可从图像序列接收两个图像的集合。在一些实例中，可由分支接收多于两个图像。在其它实例中，仅一个图像可由分支接收。第二分支可从图像序列接收图像的不同集合。在一些实例中，例如图7中所展示的实例，可将一个相同图像提供到两个分支(例如，xj)。然而，在其它实例中，提供到两个分支的所有图像不同。在一些实例中，提供到每一分支的图像可为序列中的连续图像或可由图像序列中的一或多个图像(例如，xj和x
j+2
)间隔开的图像。提供到分支的图像可在序列中均匀地间隔，或可具有不相等间距(例如，xj和x
j+2
可提供到分支且xj和x
j-3
可提供到另一分支)。在一些应用中，例如，当序列中的一或多个图像不可用(例如，损坏文件)时，可需要不均匀(例如，非均匀)间距。
[0090]
分支702可输出可具有至少一些噪声经去除的图像xi'720，且分支704可输出可具有至少一些噪声经去除的图像x
i”722。可组合分支702和704的输出以提供清洁图像x
jclean
726。输出可以多种方式组合(例如，混配、平均、加权平均)。在图7中展示的实例中，确定输出的平均值724。在所展示的实例中，分支702、704具有相同架构：rnn。因此，为简洁起见，本文中将仅描述分支702的组件和操作。然而，在其它实例中，分支702、704可具有不同架构。分支702可包含卷积/校正线性单元(convrelu)层708。convrelu层708可进行如由块780所指示的卷积操作，且进行如由块782所指示的线性校正激活操作。因此，convrelu层708可卷积且线性地校正输入图像xj和x
j+1
。convrelu层708可提供图像x
j+1
的输出和图像xj的输出
[0091]
分支702可包含一或多个额外层，称为构建单元710。在所展示的实例中，分支702包含l+1个构建单元710，其中l为自然数。在一些实例中，构建单元710的数目可至少部分地基于图像xj中的噪声的量值。每一构建单元710可包含上部块784和下部块786。上部块784可称为卷积器784，且下部块786可称为合成器786。
[0092]
初始构建单元710的上部块784(构建单元0)可从convrelu层708接收输出且将输出提供到合成器786和后续构建单元710的上部块784(构建单元1)。后续构建单元710
的上部块784可接收前一构建单元710的上部块784的输出以产生输出。最终构建单元的上部块784(构建单元l)可将输出提供到合成器786。
[0093]
初始构建单元710的合成器786可从convrelu层708接收输出且将输出提供到噪声关注块712和/或反馈块716。后续构建单元710的合成器786可接收反馈块716的输出在一些实例中，上部块784可主要学习来自图像x
j+1
的信息，且合成器786可主要学习来自前一构建单元710和/或convrelu层708的信息。在一些实例中，上部块784和/或合成器786可学习来自其它源的额外信息。
[0094]
至少部分地基于输入，每一构建单元710可识别图像xj中的噪声的至少一部分。在一些实例中，由个别构建单元710所识别噪声的部分可不同。噪声的部分(例如，噪声分量)可经由噪声关注块712提供。噪声的部分在一些实例中可提供为特征向量。尽管主图7中单独地展示，但在一些实例中，噪声关注块712可包含在构建单元710中，在一些实例中，类似于图5中所展示的构建单元510。
[0095]
可沿着数据路径728提供图像xj，其中所述图像xj经反复地更新以去除噪声。沿着数据路径728的算术块714可从噪声关注块712中的对应者接收所识别噪声，且从图像xj去除所识别噪声以提供图像x'
lj
的经更新版本(例如，x'
0j
、x'
1j
…
x'
lj
)，其中噪声的部分沿着数据路径728经去除到下一算术块714。在与构建单元0相关联的第一算术块714之后，后续算术块714可从由前一算术块714提供的经更新图像x'
l
j去除噪声的一部分。举例来说，与构建单元0相关联的算术块714可将经更新图像x'
0j
提供到与构建单元1相关联的算术块714，所述与构建单元1相关联的算术块714可从经更新图像x'
0j
去除噪声的一部分以提供经更新图像x'
1j
。
[0096]
可将由算术块714产生的经更新图像x'
lj
提供到反馈块716。反馈块716可进一步从前一构建单元710接收输出作为输入。基于经更新图像x'
lj
和来自前一构建单元710的输出，反馈块716可将输出提供到当前构建单元710。举例来说，将输入提供到构建单元1的反馈块716可接收经更新图像x'
0j
和来自构建单元0的输出以将输出提供到构建单元1。在一些实例中，额外反馈块730可与反馈块716相同，然而，替代于将输出提供到构建单元710，反馈块730将输出提供到convrelu层718。虽然在一些实例中与构建单元710分开展示，但在一些实例中，反馈块716和/或反馈块730可包含有构建单元710。
[0097]
在一些实例中，convrelu层718可与convrelu层708相同。convrelu层718可对反馈块730的输出进行卷积和线性校正激活以将输出提供到噪声关注块732。在一些实例中，convrelu层708和/或conrelu层718可应用具有64个信道特征向量的3x3卷积内核，但可在其它实例中使用其它内核大小和/或信道数目。在一些实例中，噪声关注块732可与噪声关注块712相同。噪声关注块732可将所识别噪声的一部分提供到最终算术块734。最终算术块734可从从前一算术块714接收的经更新图像x'
lj
去除噪声的部分以提供图像xj'720。
[0098]
在操作中，机器学习模型的多个层(例如，convrelu 708、718、构建单元710)可产生从每一层处的图像xj去除的噪声分量。构建单元710各自累积来自序列706的图像(例如，图像xj和图像x
j+1
或图像xj和图像x
j-1
)的信息且产生两个输出。一个输出由合成器786提供到噪声关注块712以产生噪声分量且提供到反馈块716。另一输出由上部块784提供到后续
构建单元710。因此，机器学习模型700可进行对图像xj去噪的迭代过程。
[0099]
在一些实例中，由分支702和704进行的操作可并行地进行。在其它实例中，可串行地进行由每一分支进行的操作(例如，在分支704的结果开始产生之前产生分支702的结果)。尽管机器学习模型700包含两个分支，但在其它实例中，机器学习模型700可包含一个分支。在这些实例中，一个分支的输出，例如xj'720或x
j”722可输出为x
jclean
726。在一些实例中，可将序列的仅两个图像而非序列的三个图像提供到机器学习模型700。在一些实例中，仅可将图像xj提供到机器学习模型700。在其它实例中，机器学习模型700可包含多于两个分支，且可组合多个分支的输出以提供x
jclean
726。在一些实例中，可提供来自序列的多于三个图像。
[0100]
图8为根据本公开的实例的构建单元的功能框图。在一些实例中，构建单元800和/或构建单元802可为rnn和/或其它机器学习模型(例如机器学习模型202和/或机器学习模型700)中的若干(多于两个)构建单元中的两个。尽管图8中展示两个构建单元800、802，但在一些实例中，机器学习模型可仅包含一个构建单元(例如，800或802)。在一些实例中，构建单元800可用于实施图7中所展示的构建单元710中的一或多个。在一些实例中，构建单元800和/或802可实施于硬件和/或软件中。在一些实例中，构建单元800和/或802可通过例如计算系统400的计算系统实施。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的处理器执行时实施一或多个构建单元。构建单元800和/或802可至少部分地基于序列中的图像xj和至少一个其它图像(例如，图像x
j-1
和/或图像x
j+1
)识别序列中的图像xj中的噪声的至少一部分。在一些实例中，例如图8中所展示的实例，构建单元800和802可相同或大体上类似。为了避免混淆本公开，仅构建单元800的个别组件配备有附图标号，且为功能群组(例如，门)的部分的组件群组标注于构建单元802中。为了简洁，仅详细描述构建单元800的操作，且构建单元802可与构建单元800相同或大体上相同的方式操作。
[0101]
在一些实例中，构建单元800可充当累加器。构建单元800接收两个输入：在称为卷积器的上部块884处的和在称为合成器的下部块886处的当构建单元800为第一构建单元(例如，图7中的构建单元0)时，可从convrelu层(例如，convrelu 708)接收输入。由convrelu层提供的输入可包含与提供到机器学习模型(例如，机器学习模型700的分支702和/或分支704)的分支的图像(例如，图像xj和图像x
j+1
或x
j-1
)相关的信息。在一些实例中，来自convrelu层的输入可包含与序列中的至少一个其它图像(例如，x
j+1
或x
j-1
)相关的信息，且输入可包含与图像xj相关的信息。当构建单元800为后续构建单元(例如，构建单元802)时，到上部块884的输入可为前一构建单元的输出，且到合成器886的输入可为反馈块(例如，反馈块716)的输出。
[0102]
构建单元800可提供两个输出和可将输出提供到后续构建单元(例如，构建单元802)的上部块884。如果构建单元800为最终构建单元，那么在一些实例中，其可不提供输出可将输出提供到噪声关注块和反馈块(未展示)。举例来说，可将提供到噪声关注块712，且可将提供到反馈块716。在一些实例中，反馈块可替换多信道(例如，64个信道)特征向量中的一个信道，因此，为简单起见，在图8中对构建单元
800和反馈块的输出两者使用相同的标号
[0103]
上部块884可包含卷积块804和激活块806。卷积块804可对输入进行卷积操作且将输出提供到激活块806。激活块806可对卷积块804的输出进行激活函数以产生输出在一些实例中，激活块806可包含双曲正切函数。在一些实例中，输出可提供到后续构建单元的上部块884和当前构建单元的合成器886
[0104]
在一些实例中，合成器886可类似具有两个门的gru单元：更新门848和复位门850。更新门848可确定由前一层提供以保留(例如，包含)在合成器886的输出中的输入的量。复位门850可确定从前一层接收以从输出省略(例如，排除)的输入的量。换句话说，更新门848确定使用和/或“记住”什么信息，且复位门850确定不使用和/或“忘记”什么信息。复位门850的输出可由电流单元862使用以产生与更新门848的输出组合的输出以提供来自合成器886的输出
[0105]
更新门848可包含卷积块808和810。卷积块808可接收上部块884的输出，且卷积块810可接收卷积块808和810可对其相应输入进行卷积操作且提供对应输出到算术块820，所述算术块820可对卷积进行求和(例如，加法)操作。可将算术块820的输出提供到激活块824，所述激活块可对求和的卷积进行激活操作以提供更新门848的输出u
l
。在一些实例中，激活块824可包含s型函数。
[0106]
复位门850可包含卷积块812和814。卷积块812可接收上部块884的输出，且卷积块814可接收卷积块812和814可对其相应输入进行卷积操作且提供对应输出到算术块822，所述算术块822可对卷积进行求和(例如，加法)操作。可将算术块822的输出提供到激活块826，所述激活块可对求和的卷积进行激活操作以提供复位门850的输出r
l
。在一些实例中，激活块822可包含s型函数。
[0107]
电流单元862可包含卷积块816和818。卷积块816可接收上部块884的输出，且卷积块818可接收卷积块816可对上部块884的输出进行卷积操作且将输出提供到算术块828。算术块828可进一步接收复位门850的输出r
l
且对卷积块816的输出和r
l
进行逐元素乘法运算。卷积块818可对进行卷积操作且将输出提供到算术块830。算术块830可对算术块828和卷积块818的输出求和。可将算术块830的输出提供到激活块838，所述激活块838可进行激活操作以产生电流单元862的输出c
l
。在一些实例中，激活块838可包含双曲正切函数。
[0108]
更新门848的输出u
l
可提供到可产生输出1到u
l
的单位函数块834。算术块836可将输出1到u
l
与电流单元862的输出c
l
逐元素相乘。还可将更新门848的输出提供到算术块832。算术块832可进一步接收上部块884的输出且逐元素地乘以输入。可将算术块832的输出和算术块836的输出提供到算术块840，所述算术块840可对输入求和以产生输出
[0109]
可通过以下提供的等式来概述构建单元800的操作，其中*指示卷积且标示哈达玛积。
[0110][0111]
[0112][0113][0114][0115][0116][0117]
其中l∈{0,
…
l}，j∈{0,
…n×
m}，其中n为样品的数目，且m为从每一样品获取的图像的数目，且w1为跨所有构建单元的共享参数。w0、w1、wu、wr、wc、vu、vr和vc为应用于相应输入的权重矩阵。可在训练包含构建单元800和/或构建单元802的机器学习模型期间确定权重。
[0118]
图9为根据本公开的实例的噪声关注块的功能框图。噪声关注块900可用于实施噪声关注块512、534、612、712和/或1732中的一或多个。在一些实例中，噪声关注块900可由例如计算系统400的计算系统实施。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统400的处理器执行时实施噪声关注块900。在一些实例中，噪声关注块900可完全或部分地由硬件(例如，如asic、可编程fpga等电路系统)实施。噪声关注块900可提供序列中的图像xi的噪声的一部分(例如，噪声分量)作为输出。
[0119]
噪声关注块900可接收特征向量901作为输入。在所展示的实例中，特征向量901包含64个信道，但在其它实例中可包含更多或更少的信道。在一些实例中，特征向量901可为卷积操作的结果，例如由等式903指示的卷积操作的结果。在一些实例中，卷积操作可已由单元的卷积块进行，例如单元662的卷积块658。在一些实例中，特征向量901可为合成器905的输出，例如合成器786和/或886。
[0120]
噪声关注块900可包含最大集合特征向量901的信道的最大池块968。在一些实例中，可将最大池块968的输出提供到激活块972以产生关注映射。在一些实例中，激活函数块972可包含s型函数。特征向量901还可提供到提取块970，所述提取块可从特征向量901提取信道。在一些实例中，例如在图9中所展示的实例，提取块970可从特征向量901(例如，在一些实例中，信道0)提取第一信道。所提取的信道和关注映射可提供到算术块974。在一些实例中，算术块974可将所提取的信道与关注映射逐元素相乘以提供噪声分量(例如，噪声的一部分)作为输出。可将输出提供到加法器块，例如加法器块514、614和/或714。加法器块可从图像xi去除从噪声关注块900提供的噪声的部分且提供较少噪声(例如，去噪)图像。在一些实例中，加法器块可包含加法器。
[0121]
图10为根据本公开的实例的反馈块的功能框图。在一些实例中，反馈块1000可用于实施反馈块516、530、716、730中的一或多个。在一些实例中，反馈块1000可由例如计算系统400的计算系统实施。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的处理器执行时实施反馈块1000。在一些实例中，反馈块1000可整体或部分由硬件(例如，如asic、可编程fpga等电路系统)实施。在一些实例中，反馈块1000可接收例如构建单元510和/或构建单元600的构建单元的输出m
t
作为输入。在一些实例中，反馈块1000可接收例如合成器786和/或886的合成器的输出。在一些实例中，反馈块1000可从例如加法器块514、614和/或714的加法器块接收经更新图像x
iupdated
、x'
lj
。
[0122]
反馈块1000可包含接收经更新图像作为输入的激活块1076。在一些实例中，激活块1076可包含双曲正切函数。反馈块1000可包含接收激活块1076的输出和来自构建单元的输出m
t
和/或来自合成器的输出的复制块1078。在一些实例中，提供到激活块1076的输出可包含多个信道。复制块1078可通过提供到反馈块1000的输出的信道复制激活块1076的输出。在一些实例中，复制块1078可通过输出m
t
或合成器的输出的第一信道(例如，在一些实例中，信道0)复制输出。复制块1078的输出可提供为从反馈块1000输出的反馈fm
t
和/或反馈在一些实例中，例如图10中所展示的实例，反馈fm
t
、可包含具有64个信道的特征向量。在其它实例中，反馈fm
t
、可具有更多或更少信道。在一些实例中，反馈fm
t
、可提供到构建单元和/或另一层，例如reluconv层518和/或convrelu层718。
[0123]
本文中所公开的包含机器学习模型200、500和/或700的机器学习模型中的任一个，机器学习模型的部分，例如层、构建单元(例如，构建单元510、710、600、800和802)、算术块、卷积块、噪声关注块、反馈块、卷积器、合成器和/或其它块或单元可实施于硬件、软件或其组合中。举例来说，本文所公开的机器学习模型中的任一个可由例如计算系统400的计算系统实施。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的一或多个处理器执行时实施机器学习模型或其一或多个部分。在一些实例中，本文所公开的任何和所有机器学习模型或其部分可完全或部分地由电路系统实施，例如asic、可编程fpga、逻辑电路(例如，逻辑)或其它硬件。
[0124]
在一些实例中，非暂时性计算机可读媒体中编码的指令可对应于包含一或多个模块的软件程序，所述一或多个模块包含对应于实施机器学习模型中的一些或全部的一或多个指令。举例来说，模块可包含实施噪声关注块(例如，噪声关注块900)的指令。在一些实例中，模块可包含含有实施机器学习模型的一部分的子部分的指令。举例来说，用于实施机器学习模型的构建单元的模块可包含：包含实施卷积器(例如，卷积器784、884)的指令的子模块和包含实施合成器(例如，合成器786、886)的指令的另一子模块。在其它实例中还可使用在由一或多个处理器执行时组织/构造软件以用于提供实施机器学习模型(或其部分)的指令的其它技术。
[0125]
尽管已参考序列的图像描述图2到10，但所描述的设备、模型、系统和技术也可应用于图像的部分。举例来说，在生物医学成像中，图像文件大小可为数百兆字节或更大(例如，千兆字节)。稳定地可用的计算系统和/或硬件组件可不能够实施机器学习模型以一次处理整个图像文件。在这些情形中，序列(例如，xi、x
i+1
、x
i-1
)的图像可在提供到机器学习模型之前细分成子图像。可通过机器学习模型个别地分析子图像以提供个别子图像的输出。接着可将用于子图像的输出重建为序列的完整图像。
[0126]
在一些应用中，细分图像的能力可提供优于其它技术的优点。举例来说，一些图像处理技术从整个图像导出信息以便辨识图像中的真实信号和/或图像中的噪声信号。然而，因为本文中所公开的技术使用来自图像序列的不同图像，所以与当一次处理整个图像时相比，当提供来自两个图像的对应子图像时将获得类似或相同结果。
[0127]
图11a为根据本公开的实例的方法的流程图。方法1100a可为用于对图像(例如，图像xi、图像xj)去噪的方法，例如，fib-sem、ct和/或mri图像。图像可为例如时间和/或空间序列等序列中的图像。在一些实例中，方法可至少部分地通过机器学习模型进行，例如机器学
习模型202、机器学习模型500和/或机器学习模型700。在一些实例中，方法900a可至少部分地由一或多个构建单元进行，例如构建单元510、600、710、800和/或802。在一些实例中，机器学习模型和/或构建单元可通过例如计算系统400的计算系统实施。在一些实例中，方法1100a可由例如计算系统400的计算系统实施。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的处理器执行时进行方法1100a。
[0128]
在框1102a处，可进行“至少部分地基于图像序列中的图像和至少一个其它图像识别图像序列中的图像中的噪声”。在一些实例中，识别噪声可包含估计和/或预测图像中的噪声。在一些实例中，图像和至少一个其它图像可在空间上不同、在时间上不同或其组合。在框1104a处，可进行“从图像去除噪声的至少一部分以提供输出图像”。输出图像可对应于其中噪声的部分经去除的序列的图像(例如，经去噪图像)。在一些实例中，至少部分地由机器学习模型进行识别和去除。在一些实例中，机器学习模型由例如处理器402的至少一处理器实施。在一些实例中，机器学习模型可包含rnn，例如机器学习模型500和机器学习模型700。
[0129]
任选地，在一些实例中，在框1106a处，可进行“用医学成像系统获取图像序列”。举例来说，医学成像系统422可用于获取图像序列。在一些实例中，医学成像系统可包含fib-sem、mri、ct和/或超声成像系统。在一些实例中，图像序列可包含从生物样品的体积获取多个图像平面。
[0130]
任选地，在一些实例中，在框1108a处，可进行“至少部分地基于输出图像检测癌细胞”。任选地，在一些实例中，在框1110a处，可进行“至少部分地基于输出图像检测细胞间交互”。在一些实例中，检测可由另一机器学习模型进行，所述机器学习模型经训练以检测由实施框1102a和/或1104a的机器学习模型提供的输出图像(例如，经去噪图像)中何时存在癌细胞和/或细胞间交互。在一些实例中，可由应用与经去噪图像的一或多种图像处理技术(例如，分段、直方图分析)进行检测。
[0131]
任选地，当硬件和/或例如计算系统400的计算系统无法一次处理整个图像时，可进行框1112到1114a。在框1112a处，可进行“将图像细分为第一多个子图像”。在框1114a处，可进行“将至少一个其它图像细分为第二多个子图像”。在这些实例中，可进行可对第一多个子图像和第二多个子图像进行框1102a和1104a以产生多个输出子图像且重构多个输出子图像以提供输出图像。
[0132]
图11b为根据本公开的实例的图11a中所展示的识别和去除的实施的流程图。在一些实例中，方法1100b可用于实施图11a中所展示的识别和去除框1102a和1104a。在框1102b处，可进行“卷积和线性地校正图像序列的图像和至少一个其它图像以产生第一输出”。在一些实例中，此可由例如convrelu层508的convrelu层进行。
[0133]
在框1104b处，“在多个层接收处多个层中的前一层的存储器输出且提供图像的噪声的一部分，其中多个层中的第一层配置成接收第一输出”。在一些实例中，多个层可包含一或多个构建单元，例如构建单元510和/或构建单元600。在一些实例中，噪声的部分可由噪声关注块提供，例如噪声关注块512、532和/或612和/或900。
[0134]
在框1106b处，可进行“从图像去除从多个层接收的噪声的部分以提供输出图像”。在一些实例中，去除可由加法器块进行，例如加法器块514、534和/或614。
[0135]
在一些实例中，方法1100b包含框1108b，此处可进行“将反馈输出提供到多个层的
当前层”。在一些实例中，反馈可至少部分地基于多个层中的前一层的存储器输出和去除多个层中的前一层提供的噪声的部分的图像在一些实例中，反馈可由反馈块提供，例如反馈块516、530和/或1000。尽管框1108b展示于框1104b和1106b之间，但在一些实例中，框1108b的全部或一部分可与框1104b和/或1106b同时进行。
[0136]
图11c为根据本公开的实例的图11a中所展示的识别和去除的实施的流程图。在一些实例中，方法1100c可用于实施图11a中所展示的识别和去除框1102a和1104a。在框1102c处，可进行“卷积且线性地校正图像序列中的图像和至少一个其它图像以基于图像产生第一输出且基于至少一个其它图像产生第二输出”。在一些实例中，框1102c可由例如convrelu层708的convrelu层进行。
[0137]
在框1104c处，可进行“在多个层处接收多个层中的前一层的输出且提供图像的噪声的一部分，其中多个层的第一层配置成接收第一输出和第二输出”。在一些实例中，多个层可包含一或多个构建单元，例如构建单元710、构建单元800和/或构建单元802。
[0138]
在一些实例中，噪声的部分可由噪声关注块提供，例如噪声关注块712、732和/或900。
[0139]
在框1106c处，可进行“从图像去除从多个层接收的噪声的部分以提供输出图像”。在一些实例中，去除可由加法器块进行，例如加法器块714和/或734。
[0140]
在一些实例中，方法1100c包含框1108c，此处可进行“将反馈输出提供到多个层的当前层”。在一些实例中，反馈可至少部分地基于多个层的前一层的第一和/或第二输出和去除多个层中的前一层提供的噪声的部分的图像。在一些实例中，反馈可由反馈块提供，例如反馈块716、730和/或1000。尽管框1108c展示于框1104c和1106c之间，但在一些实例中，框1108c的全部或一部分可与框1104c和/或1106c同时进行。
[0141]
图11d为根据本公开的实例的图11a中所展示的识别和去除的实施的流程图。在一些实例中，图像序列中的至少一个其它图像可包含第一图像和第二图像(例如，x
i-1
和x
i+1
)。在一些实例中，方法1100d可用于实施图11a中所展示的识别和去除框1102a和1104a。
[0142]
在框1102d处，可进行“至少部分地基于第一图像从图像去除噪声以提供第一中间图像”。在一些实例中，可由机器学习模型的分支进行去除，例如分支502或504或分支702或704。在框1104d处，可进行“至少部分地基于第二图像从图像去除噪声以提供第二中间图像”。在一些实例中，可由机器学习模型的另一分支进行去除，例如分支502或504或702或704中的另一个。在框1106d处，可进行“组合第一中间图像与第二中间图像以提供输出图像”。在一些实例中，组合可包含取两个中间图像的平均值。
[0143]
如参考图1a、1b和2所描述，机器学习模型经训练以在部署在“真实数据”之前进行所要任务。在训练期间，基于由具有参数的机器学习模型作出的预测/推断(例如，噪声识别)的准确度而确定机器学习模型的可接受参数(例如，网络系数)。参数可包含矩阵和/或向量的权重的值。预测的准确度可由损失函数表示。损失函数的值在机器学习模型进行较差预测(例如，不准确地识别图像中的噪声)时可较高，且在机器学习模型进行良好预测(例如，较准确地识别图像中的噪声)时可较低。当损失函数达到最小值(例如，损失函数最小化)时，机器学习模型可视为“经训练”。提供损失函数的最小值的机器学习模型的参数在其部署在非训练数据(例如，新数据)上时可与一起机器学习模型使用。在一些实例中，训练可至少部分地由优化器进行。合适优化器的实例为adam优化器。然而，可使用其它优化器。
[0144]
图12为说明根据本公开的实例的训练用以对图像去噪的机器学习模型的过程的图。在一些实例中，过程1200可由例如计算系统400的计算系统进行。在一些实例中，优化器可进行过程1200中的一些或全部。在一些实例中，优化器可由计算系统实施。机器学习模型和/或优化器可由计算系统通过执行(例如，由处理器402)存储在计算机可读媒体上的指令(例如可执行指令408)和/或由硬件(例如，逻辑电路、asic和/或fpga))实施。训练图像的集合1202、1204可作为输入提供到机器学习模型1206。举例来说，通过将1202、1204的图像提供到计算机可读媒体404和/或存储器412。在一些实例中，机器学习模型1206可包含机器学习模型202、500和/或700。在一些实例中，训练图像的集合1202、1204为来自图像序列的图像对。在一些实例中，来自序列的一或多个图像对于集合1202、1204是常见的。在图12中展示的实例中，集合1202包含图像xi和图像x
i+1
，且训练图像的集合1204包含图像xi和图像x
i-1
。在一些实例中，可将集合1202提供到机器学习模型的一个分支(例如，分支502、702)，且可将集合1204提供到机器学习模型的另一分支(例如，分支504、704)。
[0145]
最初对于训练，可将机器学习模型1206的特征矩阵和/或其它网络系数的权重(例如，wu、vu、wr、vr、wc和/或vc的权重的值)设定为初始值。在一些实例中，这些值可存储在计算机可读媒体404和/或存储器412中。至少部分地基于集合1202、1204和初始值，机器学习模型1206可提供两个输出图像1208、1210。在一些实例中，输出图像1208(例如，图像xi'520、图像xj'720)可至少部分地基于集合1202，且输出图像1210(例如，图像x
i”522、图像x
j”722)可至少部分地基于集合1204。可通过损失函数1212分析输出图像。至少部分地基于损失函数的值，可调整机器学习模型1206的值中的一或多个。可重复地进行过程1200(例如，过程1200是迭代的)，直到达到损失函数1212的最小值为止。
[0146]
在过程1200上扩展，在一些实例中，机器学习模型可经针对k＝1
…
n的图像序列中的三个连续图像x
k,i-1
,x
k,i
,x
k,i+1
训练，所述三个连续图像分组为两对(x
k,i
,x
k,i-1
)和(x
k,i
,x
k,i+1
)。两对可通过机器学习模型向前馈送，如集合1202、1204和针对k＝1
…
n的两个经去噪图像out
k,i-1
和out
k,i+1
(例如，图像1208和1210)所说明，其中n等于图像序列的数目。损失函数l可包含如下文所展示的两个主要术语：噪声对噪声项和正则化子：
[0147]
l＝l
n2n
+ωrlrꢀꢀꢀ
等式13
[0148]
其中l
n2n
由以下提供：
[0149][0150]
其中
[0151][0152]
在从个别样品获取的序列的实例中，可将等式14到15写为：
[0153][0154]
其中n为样品的数目，且m为从每一样品获取的图像的数目。
[0155]
在一些实例中，正则化子项ωrlr可为网络系数上的l2范数权重衰减项。然而，在其
它实例中，在损失函数l中不必使用正则化子项：
[0156]
l＝l
n2n
ꢀꢀꢀ
等式17
[0157]
其中l
n2n
如等式14到16中所提供。
[0158]
可至少部分归因于图像序列中的每一图像中的噪声的空间和/或时间独立性而使用等式13到17中提供的损失函数。在一些实例中，序列中的每一图像可视为沿着另一维度的信号的离散版本(例如，如果每一图像在体积的x-y平面中延伸，那么另一维度可沿着体积的z轴)。因此，对于序列的每一图像，可以视为：
[0159]
xi±1＝si+n+e0ꢀꢀꢀ
等式18
[0160]
其中si为图像xi的“真实”信号，n为图像xi中的噪声，且e0为误差。误差e0可至少部分地归因于图像xi与图像x
i-1
和x
i+1
之间的空间和/或时间差异。然而，误差可给定为：
[0161]
e0＝o(si±
1-si)
ꢀꢀꢀ
等式19
[0162]
因此，误差足够小，使得沿另一维度(例如，z维度)的泰勒展开可用于如等式15到16中所展示的损失函数。
[0163]
图13为根据本公开的实例的用于训练用以对图像去噪的机器学习模型的方法的流程图。在一些实例中，方法1300可用于训练机器学习模型202、500、700和/或1206。在一些实例中，方法1300可完全或部分地由例如计算系统400的计算系统进行。举例来说，计算系统可包含经指令编码的非暂时性计算机可读媒体，所述指令在由计算系统的处理器执行时进行方法1300。在一些实例中，计算系统可实施adam优化器以进行方法1300中的一些或全部。
[0164]
在框1302处，可进行“将机器学习模型的特征矩阵的特征的权重设定为初始值”。举例来说，可将卷积块640和/或658和/或卷积层(例如，convrelu层508、708、718和/或reluconv层518)的权重的一或多个值设定为初始值。这些值可存储在非暂时性计算机可读媒体(例如，计算机可读媒体404)和/或存储器(例如，存储器412)中。
[0165]
在框1304处，可进行“提供图像序列的第一图像和第二图像作为到机器学习模型的第一分支的输入”。在框1306处，可进行“将图像序列的第一图像和第三图像作为输入提供到机器学习模型的第二分支”。在一些实例中，第一、第二和第三图像包含噪声。在一些实例中，噪声可为随机的和/或非依赖性的。在一些实例中，噪声可来自多个源(例如，热、波束不规则等)。在一些实例中，第一图像和第二图像为图像序列中的连续图像，且第一图像和第三图像为图像序列中的连续图像。在一些实例中，图像可为生物细胞或其它生物材料。在一些实例中，图像可为fib-sem图像。在一些实例中，图像可已由例如成像系统422的医学成像系统获取。可通过将图像直接提供到实施机器学习模型(例如，处理器402)的一或多个处理器或通过将图像提供到计算机可读媒体(例如，计算机可读媒体404)和/或存储器(例如，存储器412)来将图像提供到机器学习模型。
[0166]
在框1308处，可进行“接收来自第一分支的第一输出和来自第二分支的第二输出”。在框1310处，“至少部分地基于第一输出和第二输出计算损失函数的值”。在一些实例中，计算可由计算系统的处理器进行。在一些实例中，损失函数可包含噪声对噪声项。在一些实例中，损失函数可包含正则化子项。在一些实例中，噪声对噪声项可至少部分地基于包含第二图像与第二输出的差异的项、包含第三图像与第一输出的差异的项和包含第一输出与第二输出的差异的项。在一些实例中，噪声对噪声项包含含有所述项的经加权和的函数。
在一些实例中，所述项中的至少两个经同等地加权。在一些实例中，权重中的至少一个为负。在一些实例中，噪声对噪声项包含函数的平均值。在一些实例中，正则化子项包含l2范数权重衰减项。在一些实例中，可使用等式13到17中提供的损失函数。
[0167]
在框1312处，可进行“至少部分地基于损失函数的值调整权重”。在一些实例中，可反复地进行框1302到1312直到损失函数的值达到最小值为止。调整权重可包含将权重的值写入或重写在计算机可读媒体和/或存储器中。
[0168]
一旦机器学习模型已经训练，其可用于进行推断、估计和/或预测，例如识别序列中的图像中的噪声。举例来说，图2中展示的机器学习模型202、机器学习模型500和/或机器学习模型700可为经训练模型。接着可从图像去除所识别的噪声以提供清洁(例如，较少噪声的)图像。理想地，每当提供待分析图像的新集合时，将训练机器学习模型。给定训练机器学习模型所需的图像的数目可为不可行的。然而，可通过使用在不同数据集上训练的机器学习模型来实现良好结果，确切地说，当不同数据集具有与新数据集类似的特性时，例如通过相同成像模态、相同成像系统、成像参数获取和/或当不同数据集包含含有与新数据集相同的标的物(例如，乳房细胞)的图像时。举例来说，机器学习模型可经训练且用于对来自单一成像系统(例如，特定fib-sem系统)的图像去噪。在另一实例中，机器学习模型可经训练且用于对来自同一模态(例如，多个mri机器)的不同成像系统的图像去噪。另外或替代地，当新数据集具有与不同数据集类似的特性时，经训练的机器学习模型可用作训练的开始点(例如，使用经训练模型的网络系数作为初始值)。通过使用经训练模型作为开始点，机器学习模型可需要比通常所需的少的训练。
[0169]
现将描述机器学习模型的实例实施和结果。实例仅出于示范性目的而提供，且本公开不限于所提供的实例。在以下实例中，机器学习模型包含各自具有rnn的两分支架构，如图5和图7中所展示。机器学习模型如针对每一分支使用三到五个构建单元实施。根据实例的机器学习模型称为噪声重构和去除网络(nrrn)。
[0170]
nrrn经训练以使用通过俄勒冈健康与科学大学(ohsu)获取的图像来对用fib-sem获得的图像去噪。ohsu数据集包含从癌组织获取的样品的图像。数据集含有转化为每体积十个图像的序列的五个体数据文件。图像为4k x 6k像素大小。ohsu数据集包含有噪声的图像以及地面真值(较长曝光)图像。
[0171]
为了分析去噪技术的质量，使用两个经典测量：峰值信噪比(psnr)和结构相似性指数(ssim)。这两个测量都比较经去噪图像与地面真值图像。然而，对于fib-sem，真实地面真值图像不可用。在ohsu数据集的情况下，在用fib-sem切片样品以近似地面真值图像之前获得平均十个样品扫描。
[0172]
在fib-sem的情况下，从组织收集到最终图像采集的流动花费约两周。在所述过程期间，临床样品进行若干树脂渗透，其中细胞组分之间的空间填充有树脂。为了分析nrrn，评估树脂中的噪声存在。良好质量去噪技术应去除树脂中的大部分噪声。应观察到树脂区处的平坦信号。为了量化此性质，获取跨越树脂区中的直线的信号的四分位数范围(iqr)。较小的iqr指示跨越树脂的信号的较小变化性。同时，应保留细胞组分的边缘。换句话说，当去噪技术成功时，观察到高psnr、接近1的ssim、树脂中较小iqr和细胞组分上的尖锐边缘。应注意，这种类型的分析仅适用于树脂嵌入式样品的图像。其它分析方法可用于不同图像类型和/或成像模态。
[0173]
采用ohsu fib-sem数据集，对具有参考图5到10描述的架构和组件的nrrn经训练以基于参考图12到13描述的过程对图像去噪。如先前所提到，fib-sem图像具有显著大小-4kx6k。将初始大图像拼接到256x256像素图像中，获得8190个图像的训练集和2730个测试集和额外4095个图像用于验证。另外，将图像转换成ycbcr，且仅使用y信道。架构在pytorch中实施。训练以初始学习速率10-4
用adam优化器进行，β1＝0.9、β2＝0.999，且∈＝10-8
。在使用图5和6中展示的机器学习模型的实例中，对验证数据集实现psnr 31.0110
±
0.1718db和ssim 0.9703
±
0.0006的nrrn。在使用图7和8中所展示的机器学习模型的实例中，nrrn实现31.0197
±
0.1905db的psnr和0.9705
±
0.0006的ssim。
[0174]
图14展示根据本公开的实例的来自验证体积的实例图像。图像1400为癌组织的fib-sem。图像1404为由方框1402指示的图像1400的部分的放大。图像1406为由方框1402指示的图像1400的部分的放大。然而，与图像1404相比，应用根据图5到6中展示的机器学习模型的nrrn以对图像1400去噪。曲线图1408说明跨越样品内的树脂的图像信号的变化性。曲线图1408展示nrrn达成31.09db的psnr，其指示树脂上的噪声的显著减小且iqr减小到0.96。曲线图1410说明跨线粒体的图像信号。曲线图1410说明除去除噪声以外，nrrn在细胞细胞器边界处保留尖锐边缘。
[0175]
nrrn是基于三个图像对训练的，且推断(例如，噪声的识别)是基于三个图像提供足够的去噪，如先前所提到，可使用两个或甚至一个图像来进行推断。虽然更多图像通常跨越树脂提供较高psnr和ssim较低噪声电平，但对两个输入图像的推断也提供极令人满意的质量(例如，比三个图像输入差小于2％)。
[0176]
nrrn与包含非局部均值(nlm)的其它去噪技术进行了比较，所述非局部均值为当前视为用于去噪em图像的“黄金标准”的非训练技术。nrrn也与其它机器学习模型进行了比较，所述其它机器学习模型包含u-net和denoisenet，确切地说，托雷米兹(tal remez)、欧利塔尼(or litany)、拉贾吉瑞斯(raja giryes)和亚历克斯m.布朗斯坦(alex m.bronstein)所描述的denoisenet。类感知的完全卷积高斯和泊松去噪。ieee图像处理会刊(ieee transactions on image processing)，27(11):27(11):5707-5722,2018年11月。
[0177]
来自fib-em的图像较大，且可不直接在gpu上处理。进行将图像分块为较小补丁，对较小图像(例如，子图像)去噪且将其放回以再创建原始整个图像。为了对来自fib-em的图像去噪，将4kx6k图像分块(例如，细分)成大小为256x256个像素的346个较小重叠补丁。将重叠设定为在每一方向上的20个像素以避免边界伪影。
[0178]
尝试重构图像的如u-net的网络不能够使用其强度，原文这些网络在其经细分时未“看见”整个图像。另一方面，nrrn和denoisenet靶标噪声且利用其随机和/或非依赖性的性质。因此，这些技术因图像的分块而不太不利。从图像重构和去除噪声而非重构较少噪声的图像版本产生跨越整个图像的较均匀结果。nrrn实现跨与u-net形成对比的所有补丁的一致psnr。
[0179]
图15展示由各种技术去噪的实例fib-sem图像和对应噪声曲线图。图像1500为作为输入提供到各种去噪技术的细胞的有噪声的fib-sem图像。图像1502是使用nlm技术去噪的图像1500。图像1504为使用u-net去噪的图像1500。图像1506为使用denoisenet的图像。图像1508为使用如图5到6中所展示的本公开的nrrn去噪的图像1500。图15的每一图像下方的曲线图1510到1518为图像1500中所指示的沿着线1501的图像中的噪声的曲线图。
[0180]
nlm、denoisenet和u-net都实现比nrrn高的psnr和ssim。然而，nrrn实现更好的去除跨树脂的噪声的结果。此外，跨图像结构的信号展示nlm和u-net模糊图像1500。在一些情况下，denoisenet图像包含散斑，其指示denoisenet与显著损坏/有噪声的图像进行斗争。另外，如从曲线图1510到1518的比较可见，所有三种方法(nlm、u-net和denoisenet)比nrrn展示更多噪声存在。
[0181]
图16展示由各种技术去噪的实例fib-sem图像和对应噪声曲线图。图像1600为作为输入提供到各种去噪技术的细胞的有噪声的fib-sem图像。图像1602为使用nlm技术去噪的图像1600。图像1604为使用u-net去噪的图像1600。图像1606为使用denoisenet的图像。图像1608为使用如图7到8中所展示的本公开的nrrn去噪的图像1600。图16的每一图像下方的曲线图1610到1618为沿着图像1600中的线的图像中的噪声的曲线图。
[0182]
如图15中，nlm、denoisenet和u-net都实现比nrrn更高的psnr和ssim。然而，nrrn实现更好的去除跨树脂的噪声的结果。此外，跨图像结构的信号展示nlm和u-net模糊图像1600。在一些情况下，denoisenet图像包含散斑，其指示denoisenet与显著损坏/有噪声的图像进行斗争。另外，如从曲线图1610到1618的比较可见，所有三种方法(nlm、u-net和denoisenet)比nrrn展示更多噪声存在。
[0183]
图17展示根据本公开的实例的跨树脂的输入信号与机器学习模型的层的散布图。nrrn的模块化架构(例如，构建单元)允许在隐藏层处的中间噪声估计。散布图1700和层的ssim值指示可在第一层到三层中发生大部分去噪，在这之后观测到噪声的更渐进的改进。在一些应用中，对于更多图像损坏(例如，较高噪声)(例如，具有peak＝1的泊松噪声和高斯噪声σ＝75)的情况，最后两个层在驱动ssim方面可更显著。
[0184]
发现中间去噪结果和模块化架构的能力可有助于机器学习模型的微调。更显著程度的噪声可需要更多的构建单元，而对于较少有噪声的情况可需要仅几个构建单元。因此，与其它去噪技术相比，可更容易适当地平衡机器学习模型(例如，nrrn)的质量和效率。举例来说，用户和/或系统设计者可分析指示由来自机器学习模型的不同层的每一层去除的噪声量的数据(例如,在散布图1700中提供的数据)，所述机器学习模型是通过在完整或部分训练数据集上训练机器学习模型而产生。基于所述数据，用户和/或系统设计者可选择提供噪声去除与计算资源之间的所要平衡的构建单元的数目。
[0185]
本文中所公开的设备、系统、装置和方法提供图像的去噪。在一些实例中，机器学习模型可经训练以对图像去噪，甚至当无地面真值图像可用时也是如此。在一些实例中，机器学习模型可为模块化的，其可提供架构的较容易缩放和/或跨机器学习模型的层的性能的比较。在一些应用中，当图像划分成子图像时(例如，归因于处理器约束)，本文中所公开的去噪技术可比其它技术更稳健。在一些应用中，与其它去噪技术相比，本文中所公开的去噪技术可提供减少的噪声和/或减少的模糊。
[0186]
图18说明根据本公开的实例的应用。在图18的实例中，根据本文所描述的实例布置的系统和/或方法可用于分析图像以用于肿瘤的存在。根据本文描述的系统和/或方法，可在成像去噪中检测其他特征。在图18的实例中，患者1800可具有肿瘤1802。可对肿瘤1802进行活检且提供给成像系统1804，例如图18所展示的fib-sem成像系统。当然，可使用其它成像系统，例如mri、ct、us、sem和/或光微影。在其它实例中，可从尸体、动物模型或细胞培养物获取活检体。在一些实例中，可以从多个患者和/或源获取多个肿瘤活检体且将其提供
到成像系统1804。尽管图18中说明实体肿瘤1802，但应用不限于此。举例来说，代替肿瘤1802，可将血液和/或骨髓提供到成像系统1804(例如，用于检测和治疗血液癌症或从原发肿瘤循环的恶性细胞)。
[0187]
成像系统1804可产生一或多个图像1806，例如肿瘤1802的图像序列(例如，序列206、序列300、序列302、序列506和/或序列706)或其部分(例如，肿瘤1802的细胞或一或多个细胞的部分)。可将表示图像序列1806的数据(例如，像素或体元数据)提供到计算系统1808。在一些实例中，计算系统1808可远离成像系统1804。在一些实例中，可经由有线或无线连接从成像系统1804提供数据。在一些实例中，计算系统1808可与成像系统1804集成。在一些实例中，计算系统1808可包含计算系统400。计算系统1808可根据机器学习模型1809分析图像序列1806。在一些实例中，计算系统1808可包含用指令编码的非暂时性计算机可读媒体，所述指令在由计算系统1808的一或多个处理器执行时实施机器学习模型1809。在一些实例中，机器学习模型1809可包含机器学习模型202、机器学习模型500、机器学习模型700和/或机器学习模型1206。计算系统1808可输出表示对应于图像1806的序列的一或多个经去噪图像1810(例如，图像序列)的数据。
[0188]
表示经去噪图像1810的序列的数据可提供到计算系统1812。在一些实例中，经去噪图像1810的序列可在计算系统1812的显示器上查看。在一些实例中，计算系统1812可与计算系统1808相同，但在其它实例中可为不同计算系统，且可经由有线或无线连接将表示经去噪图像1810的数据提供到计算系统1812。在一些实例中，计算系统1808和/或计算系统1812可与成像系统1804集成。在一些实例中，通过计算系统1812通过一或多个技术分析经去噪图像1810的序列。举例来说，图像分段算法和/或其它机器学习模型可接收经去噪图像1810的序列作为输入。在其它实例中，经去噪图像1810的序列可(例如)由研究人员1814手动地分析。
[0189]
可出于多种目的分析经去噪图像1810的序列。在一些实例中，可分析经去噪图像1810的序列以进行诊断(例如，癌变与良性癌症类型)和/或确定肿瘤进展(例如，发育期、血管形成程度、坏死的存在)。在一些实例中，可分析经去噪图像1810的序列以识别用于疗法的一或多个目标(例如，药物递送机构可结合到的肿瘤细胞表面上的受体、肿瘤细胞之间和/或肿瘤细胞与可由疗法抑制的正常细胞之间的交互等)。在一些实例中，可分析经去噪图像1810的序列以确定提供到患者1800的治疗是否有效和/或提供对患者1800的有效治疗的预测。在一些实例中，可基于治疗功效的预测来进行治疗建议。在一些实例中，与已分析原始图像1806的情况相比，基于经去噪图像1810的序列的分析、确定和/或预测可更准确。在一些实例中，在图像1806的情况下，基于经去噪图像1810的序列的分析、确定和/或预测可为不可能的。
[0190]
在一些实例中，基于经去噪图像1810的序列的分析，可设计新颖疗法和/或新颖疗法递送系统(例如，装载有已知化学治疗剂且涂布有基于经去噪图像1810的序列而设计的受体的纳米粒子)。在一些实例中，可将一或多种已知疗法识别为针对肿瘤1802潜在地有效。在一些实例中，可将所设计和/或所识别的疗法1816提供到患者1800以治疗肿瘤1802。
[0191]
图18中所提供的应用仅为示例性的，且本公开的实施例不限于图18中所提供的应用。
[0192]
某些实施例的前述描述本质上仅为示例性的，且绝不意图限制本公开的范围或其
应用或用途。在本发明设备、系统和方法的实施例的此详细描述中，参考随附图式，所述随附图式形成本发明的一部分，且以图示方式示出在其中可实践所描述的设备、系统和方法的特定实施例。足够详细地描述这些实施例，以使本领域的技术人员能够实践本发明的设备、系统和方法，且应理解，可利用其它实施例，且在不脱离本公开的精神和范围的情况下可进行结构和逻辑改变。此外，为了清晰起见，当本领域的技术人员清楚某些特征时将不再论述其详细描述，以免混淆本公开的实施例的描述。因此，不应以限制性意义理解本文中的论述，且本公开的范围由所附权利要求书界定。如本文中所用，术语“设备”可指代电路、装置、系统、组件或其组合。举例来说，设备可为计算装置、处理器、存储器、存储器装置、移动装置、边缘装置、服务器和/或云计算系统。
[0193]
当然，应了解，本文中所描述的实例、实施例或过程中的任一者可与一或多个其它实例、实施例和/或过程组合或分开和/或在根据本发明设备、系统、装置和方法的单独装置或装置部分当中进行。
[0194]
最后，上文的论述旨在仅仅为说明性的，且不应解释为将所附权利要求书限于任何特定实施例或实施例群组。因此，尽管已特别详细地描述了本公开的各种实施例，但还应了解，可由本领域的普通技术人员设计多个修改和替代实施例而不会脱离如所附权利要求书中所阐述的本公开的更广和预期精神和范围。因此，说明书和附图应以说明性方式看待，且不意图限制所附权利要求书的范围。