图像降噪方法和系统、电子设备、云服务器系统以及介质与流程

1.本技术涉及图像处理技术领域，具体的涉及一种图像降噪方法和系统、电子设备、云服务器系统以及介质。


背景技术：

2.由于在图像的采集、传输、接收等过程中不可避免地会引入噪声，而图像噪声是图像中不携带有效信息的部分，因而，为了提高图像质量，以及为后续图像处理的其他操作提供良好的数据输入，都有必要对图像进行降噪处理。
3.目前，图像降噪方法主要包括传统局部滤波算法、基于非局部相似性理论的图像增强方法、基于深度学习的图像降噪方法等。其中，传统滤波方法例如包括中值滤波、高斯滤波等，其主要思想是将一个像素周围的局部像素点作为一个整体，通过各类加权平均的方法计算新值替代原始像素点来过滤噪声中的高频部分。基于非局部相似性理论的方法例如bm3d算法在图像全局通过聚类的方法寻找相似的图像块，然后在相似的图像上做协同滤波，以达到降噪效果。基于深度学习的降噪方法主要是有监督的算法，通过搜集大量有噪声和无噪声数据进行训练，从而学习一个从噪声图像到干净图像映射。
4.然而，针对含复杂噪声的图像的降噪处理，由于需要考虑的因素更多更复杂，上述方法并不能实现很好的降噪效果，因此需要一种较为鲁棒的降噪方法，以应对含复杂噪声的图像，提高降噪质量。


技术实现要素：

5.鉴于此，本技术的目的在于提供一种图像降噪方法和系统、电子设备、云服务器系统以及介质，用以解决含复杂噪声的图像的降噪问题。
6.为实现上述目的及其他相关目的，本技术公开的第一方面提供一种图像降噪方法，应用于含复杂噪声的图像中，所述含复杂噪声的图像由字典数据集合、权重以及图像噪声表示，所述方法包括以下步骤：根据预设的噪声个数确定是否引入新的图像噪声；在引入新的图像噪声的情况下，根据原有图像噪声和所述新的图像噪声获得对应所述图像的第一混合图像噪声；以及根据所获得的第一混合图像噪声对所述图像进行降噪处理。
7.本技术公开的第二方面提供一种图像降噪系统，应用于含复杂噪声的图像中，所述含复杂噪声的图像由字典数据集合、权重以及图像噪声表示，所述系统包括：噪声引入确定模块，用于根据预设的噪声个数确定是否引入新的图像噪声；噪声获得模块，用于在引入新的图像噪声的情况下，根据原有图像噪声和所述新的图像噪声获得对应所述图像的第一混合图像噪声；以及降噪模块，用于根据所获得的第一混合图像噪声对所述图像进行降噪处理。
8.本技术公开的第三方面提供一种电子设备，包括：至少一个存储器，用于存储至少一个程序；至少一个处理器，与所述至少一个存储器连接，用于运行所述至少一个程序时以执行并实现如上所述的图像降噪方法。
9.本技术公开的第四方面提供一种云服务器系统，包括至少一存储设备，用于存储至少一个程序；至少一处理设备，与所述存储设备连接，用于运行所述至少一个程序时以执行并实现如上所述的图像降噪方法。
10.本技术公开的第五方面提供一种计算机可读存储介质，存储有至少一个程序，所述程序被处理器执行时执行并实现如上所述的图像降噪方法。
11.综上所述，本技术提供一种图像降噪方法和系统、电子设备、云服务器系统以及介质，采用字典数据集合、权重以及图像噪声来表示含复杂噪声的图像，并根据预设的噪声个数确定是否引入新的图像噪声，然后基于原有的图像噪声和引入的新的图像噪声进行混合处理以获得所输入图像的混合图像噪声，进而进行降噪处理，一方面通过干净噪声图像和混合噪声来表征含复杂噪声的图像，另一方面通过确定是否需要引入新的图像噪声来完成对复杂噪声分布的推断，从而能够准确地确定未知复杂噪声，进而提高降噪质量。
12.本领域技术人员能够从下文的详细描述中容易地洞察到本技术的其它方面和优势。下文的详细描述中仅显示和描述了本技术的示例性实施方式。如本领域技术人员将认识到的，本技术的内容使得本领域技术人员能够对所公开的具体实施方式进行改动而不脱离本技术所涉及发明的精神和范围。相应地，本技术的附图和说明书中的描述仅仅是示例性的，而非为限制性的。
附图说明
13.本技术所涉及的发明的具体特征如所附权利要求书所显示。通过参考下文中详细描述的示例性实施方式和附图能够更好地理解本技术所涉及发明的特点和优势。对附图简要说明书如下：
14.图1显示为本技术图像降噪方法在一实施例中的流程示意图。
15.图2显示为本技术图像降噪方法中的步骤s110在一实施例中的流程示意图。
16.图3显示为本技术图像降噪方法在另一实施例中的流程示意图。
17.图4显示为本技术图像降噪方法在又一实施例中的流程示意图。
18.图5显示为本技术图像降噪方法在又一实施例中的流程示意图。
19.图6显示为本技术图像降噪方法应用于单颗粒冷冻电镜技术在一实施例中的流程示意图。
20.图7显示为本技术图像降噪系统在一实施例中的结构示意图。
21.图8显示为本技术图像降噪系统中噪声获得模块在一实施例中的结构示意图。
22.图9显示为本技术电子设备在一实施例中的结构示意图。
23.图10显示为本技术云服务器系统在一实施例中的结构示意图。
具体实施方式
24.以下由特定的具体实施例说明本技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本技术的其他优点及功效。
25.在下述描述中，参考附图，附图描述了本技术的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行模块或单元组成、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本技术的实施例的范
围仅由公布的专利的权利要求所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本技术。
26.虽然在一些实例中术语第一、第二等在本文中用来描述各种元件、信息或参数，但是这些元件或参数不应当被这些术语限制。这些术语仅用来将一个元件或参数与另一个元件或参数进行区分。例如，第一元件可以被称作第二元件，并且类似地，第二元件可以被称作第一元件，而不脱离各种所描述的实施例的范围。第一元件和第二元件均是在描述一个元件，但是除非上下文以其他方式明确指出，否则它们不是同一个元件。取决于语境，比如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”。
27.再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在上述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
28.图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。一般的，图像中各种妨碍人们对其信息接收的因素即可称为图像噪声。由于图像在采集、传输、接收等过程中不可避免地会引入噪声，而噪声的存在会严重影响图像的质量，因此需要对图像进行降噪处理。
29.目前，图像降噪的方法主要包括传统局部滤波算法、基于非局部相似性理论的图像增强方法、基于深度学习的图像降噪方法等。然而，针对含复杂噪声的图像的降噪处理，由于需要考虑的因素更多更复杂，上述方法并不能实现很好的降噪效果，如何对含复杂噪声的图像进行降噪处理一直是值得关注的问题。
30.由于在含复杂噪声的图像中，一方面，上述噪声是由多种不同的噪声混合而成的，因而需要充分考虑噪声的复杂性；另一方面，在不同应用条件下，例如不同设备在不同实验条件下，噪声个数也不尽相同，因而针对含复杂噪声的图像的降噪需要综合考虑上述两项因素。
31.鉴于此，本技术提供一种图像降噪方法，应用于含复杂噪声的图像中。其中，复杂噪声是指由多种不同噪声混合而成的噪声。在一实施例中，噪声可以由参数化的统计分布来表示，上述参数化的统计分布例如高斯分布、对数高斯分布、泊松分布等。相应地，上述复杂噪声可以表示为动态变化的多个参数化的统计分布的组合。在一示例中，上述多个参数化的统计分布为同一类型的分布，例如，均为高斯分布。以参数化的统计分布为高斯分布为例，复杂噪声可以表示为具有不同均值和方差的高斯分布。
32.另外，本技术中含复杂噪声的图像可以由字典数据集合、权重以及图像噪声表示。其中，字典数据集合是用于存储各图像成分的数据库，字典数据集合中的每一个元素都代表一种基本的图像成分。在一实施例中，字典数据集合是基于所输入的图像动态变化的，输入的所有图像共享该字典数据集合。例如，在图像采用向量表示的情况下，图像可以看作是基向量的线性组合，相应地，图像成分即为基向量。在一实施例中，字典数据集合以矩阵形式表征。另外，每个图像具有单独的权重。相应地，每个图像可以看作是字典数据集合中的
元素通过加权而成的。由于字典数据集合在图像降噪的过程中是根据所输入的图像数据动态变化的，权重是根据每个图像单独变化的，因而在初始进行图像降噪时，首先可以随机初始化字典数据集合和权重，后续可以根据所输入的图像对字典数据集合进行不断更新。另外，图像噪声是指图像中所包含的噪声，可以是单个噪声，也可以是多个噪声混合而成的混合噪声。
33.具体地，以采用高斯分布表示噪声为例，由于有限个高斯分布的混合能够用来表示复杂的函数模型，但是混合高斯分布峰的个数通常是一个难以推断的经验性参数。而狄利克雷过程是一个分布函数抽样过程，根据数据的情况，狄利克雷过程能够自动确定参数分布的情况，从而完成对一个复杂未知函数的建模。通过结合混合高斯模型和狄利克雷过程，我们能够不对噪声做复杂的先验假设，直接从数据中完成对噪声分布的推断，从而较为准确的建模噪声。其生成过程可以表示为：
[0034][0035]
其中，是所输入的含复杂噪声的图像，i代表第i张图像，d是字典数据集合，即构建的基础投影向量，w是表示为了构造图像的信号部分，每个基向量的权重，∈i是图像附加的噪声。
[0036]
具体地，本技术中，含复杂噪声的图像可以表示为干净噪声图像与复杂噪声的叠加。其中，字典数据集合和权重的乘积表示干净噪声图像，上述干净噪声图像是相对于含复杂噪声图像而言的，是指不包括本技术中被限定为噪声的图像。也就是说，干净噪声图像并不特指不含任何噪声的图像，在一些示例中，干净图像噪声可以包括一些白噪声，该白噪声区别于本技术中被限定为噪声的其他噪声。
[0037]
在实际应用中，含复杂噪声的图像的应用场景例如单颗粒冷冻电镜技术、x线断层摄影技术。在单颗粒冷冻电镜技术中，受技术条件限制，一方面，单颗粒冷冻电镜不同电镜参数及不同冰层厚度均会影响最终蛋白质在电镜成像中的衬度(衬度可类比光学图像中图像清晰程度)；另一方面，为避免对冷冻状态的活体蛋白造成损伤，从而影响到最终解析得到的蛋白质结构分辨率(即蛋白质结构的精细程度)，单颗粒冷冻电镜技术只能采用低剂量电子成像。以上两项因素共同决定了单张单颗粒冷冻电镜图像具有极低的信噪比。另外，由于复杂的成像条件，单颗粒冷冻电镜中获取的图像的噪声包括高斯白噪声、成像过程中被衬度转移函数调制的噪声以及在相机成像过程中引入的像素噪声等。因而，对含复杂噪声的图像进行降噪处理适用于针对单颗粒冷冻电镜图像的降噪处理的情况。
[0038]
根据上述公式(1)，请参阅图1，显示为本技术图像降噪方法在一实施例中的流程示意图，如图所示，图像降噪方法包括步骤s100至步骤s120。
[0039]
在步骤s100中，根据预设的噪声个数确定是否引入新的图像噪声。
[0040]
其中，噪声个数可以基于图像降噪方法所应用的环境根据经验或实验由本领域技术人员预先设置，例如，可以设置为5个或6个。在一实施例中，步骤s100包括根据预设的噪声个数从多类分布中采样一个概率，并根据上述概率与预设阈值的比较结果确定是否引入新的图像噪声。
[0041]
其中，将预设的噪声个数作为多类分布的初始参数从多类分布中采样一个概率。多类分布表征了多个可能的类别(在本技术中不同的数目对应一类，例如当初始设定三个噪音个数时，共有四类，包括三个噪声类别和一个是否生成新噪声类别)的概率密度情况。
在一实施例中，当基于预设噪声个数从多类分布中采样的新噪声类别概率大于预设阈值时，引入新的图像噪声；当基于预设噪声个数从多类分布中采样的新噪声类别概率小于等于预设阈值时，不引入新的图像噪声。其中，阈值可以基于图像降噪方法所应用的环境根据经验或实验由本领域技术人员预先设置，例如，设置为0.5。
[0042]
在确定不引入新的图像噪声的情况下，原有图像噪声即对应为含复杂噪声的图像的噪声。
[0043]
其中，原有图像噪声是指在确定是否引入新的图像噪声之前的图像噪声。原有图像噪声可以是一个噪声也可以是多个噪声混合而成的混合图像噪声。例如，在原有图像噪声为一个噪声的情况下，在确定不引入新的图像噪声的情况下，将原有的一个图像噪声作为含复杂噪声的图像的混合图像噪声；又如，在原有图像噪声为一混合图像噪声的情况下，在确定不引入新的图像噪声的情况下，将原有的混合图像噪声作为含复杂噪声的图像的混合图像噪声。
[0044]
在确定引入新的图像噪声的情况下，在步骤s110中，在引入新的图像噪声的情况下，根据原有图像噪声和新的图像噪声获得对应上述图像的第一混合图像噪声。
[0045]
具体地，例如，在原有图像噪声为一个噪声的情况下，在确定引入新的图像噪声的情况下，对原有的一个图像噪声与引入的新的图像噪声进行混合处理，以获得含复杂噪声图像的第一混合图像噪声；又如，在原有图像噪声为一混合图像噪声的情况下，在确定引入新的图像噪声的情况下，对原有的混合图像噪声与引入的新的图像噪声进行混合处理，以获得含复杂噪声图像的第一混合图像噪声。在一实施例中，在噪声由参数化的统计分布表示的情况下，上述混合处理例如混合叠加处理。
[0046]
以参数化的统计分布为高斯分布为例，在图像噪声采用高斯分布表示的情况下，请参阅图2，显示为本技术图像降噪方法中的步骤s110在一实施例中的流程示意图，如图所示，步骤s110包括步骤s111至步骤s112。
[0047]
在步骤s111中，从元高斯分布进行采样以获得新的图像噪声对应的新的高斯分布。
[0048]
其中，元高斯分布是能够派生出高斯分布的母函数。由于不同的高斯分布具有不同的均值和方差，因而，通过具有不同均值和方差的高斯分布来表示不同的噪声。从元高斯分布进行采样后，获得新的高斯分布及其对应的均值和方差。
[0049]
在步骤s112中，对原有图像噪声对应的原有高斯分布和新的图像噪声对应的新的高斯分布进行叠加处理，以获得对应上述图像的第一混合图像噪声。
[0050]
具体地，在图像噪声采用高斯分布表示的情况下，由于采用具有不同均值和方差的高斯分布表示不同的噪声，则可以将新的高斯分布的均值和方差加入到原有高斯分布中，以获得图像对应的混合高斯分布，即获得图像的第一混合图像噪声。
[0051]
应当注意的是，上述的噪声采用高斯分布表示仅为举例，本技术并不限于此，本技术中的噪声还可以采用其他参数化的统计分布表示，在此基础上可以通过上述步骤对采用其他参数化的统计分布表示的噪声进行相应混合处理，在此不再赘述。
[0052]
在步骤s120中，根据所获得的第一混合图像噪声对含复杂噪声的图像进行降噪处理。
[0053]
本步骤中，通过去除含复杂噪声的图像中的第一混合图像噪声，以实现图像的降
噪处理。在某些实施例中，通过在含复杂噪声的图像中减去根据步骤s110中获得的对应该图像的第一混合图像噪声，以实现降噪要求。
[0054]
本技术的图像降噪方法，采用字典数据集合、权重以及图像噪声来表示含复杂噪声的图像，并根据预设的噪声个数确定是否引入新的图像噪声，然后基于原有的图像噪声和引入的新的图像噪声进行混合处理以获得所输入图像的混合图像噪声，进而进行降噪处理，一方面通过干净噪声图像和混合噪声来表征含复杂噪声的图像，另一方面通过确定是否需要引入新的图像噪声来完成对复杂噪声分布的推断，从而能够准确地确定未知复杂噪声，进而提高降噪质量。
[0055]
在实际应用中，为了能够减少对初始预设值或随机值的依赖，获得更加适配具体应用场景的噪声，本技术的图像降噪方法还包括参数更新和迭代的步骤。请参阅图3，显示为本技术图像降噪方法在另一实施例中的流程示意图，如图所示，图像降噪方法包括步骤s300至s370。
[0056]
在步骤s300中，根据预设的噪声个数确定是否引入新的图像噪声。
[0057]
其中，步骤s300与上述步骤s100相同或相似，在此不再赘述。
[0058]
在步骤s310中，在引入新的图像噪声的情况下，根据原有图像噪声和新的图像噪声获得对应上述图像的第一混合图像噪声。
[0059]
其中，步骤s310与上述步骤s110相同或相似，在此不再赘述。
[0060]
在步骤s320中，根据所获得的第一混合图像噪声对含复杂噪声的图像进行降噪处理。
[0061]
其中，步骤s320与上述步骤s120相同或相似，在此不再赘述。
[0062]
在步骤s330中，对上述字典数据集合、上述权重以及上述噪声个数进行更新。
[0063]
其中，由于字典数据集合是根据所输入的图像动态变化的，在更新时，字典数据集合是基于所输入的所有图像进行更新的，以使得在后续处理中，各图像共享该字典数据集合。另外，权重是对应每个图像单独进行更新的。自此基础上，后续输入的图像采用经更新的字典数据集合和权重来表示。
[0064]
另外，本步骤中对噪声个数的更新是指将先前步骤中预设的噪声个数更新为实际噪声个数，以用于后续迭代步骤中。
[0065]
此外，在采用参数化的统计分布表示噪声的情况下，该参数化的统计分布中与噪声相关的参数也进行了更新。例如在采用高斯分布表示噪声的情况下，根据所获得的混合图像噪声，对高斯分布的均值和方差、元高斯分布的参数等进行更新，以用于后续迭代步骤中。
[0066]
在步骤s340中，根据经更新的噪声个数确定是否引入新的图像噪声。
[0067]
在一实施例中，可以将经更新的噪声个数作为多类分布的初始参数从多类分布中采样一个概率，将所采样的概率与预设阈值进行比较以确定是否引入新的图像噪声。例如，若上述概率大于预设阈值时，引入新的图像噪声；若上述概率小于等于预设阈值时，不引入新的图像噪声。其中，阈值可以基于图像降噪方法所应用的环境根据经验或实验由本领域技术人员预先设置，例如，设置为0.5。
[0068]
在步骤s350中，在引入新的图像噪声的情况下，根据上述第一混合图像噪声和上述新的图像噪声获得对应上述图像的第二混合图像噪声。
[0069]
具体地，在确定引入新的图像噪声的情况下，对步骤s310中获得的第一混合图像噪声与引入的新的图像噪声进行混合处理，以获得含复杂噪声图像的第二混合图像噪声。在一实施例中，在噪声由参数化的统计分布表示的情况下，上述混合处理例如混合叠加处理。
[0070]
在步骤s360中，根据所获得的第二混合图像噪声对上述图像进行降噪处理。
[0071]
本步骤中，通过去除含复杂噪声的图像中的第二混合图像噪声，以实现图像的降噪处理。在某些实施例中，通过在含复杂噪声的图像中减去根据步骤s350中获得的对应该图像的第二混合图像噪声，以实现降噪要求。
[0072]
在s370中，重复上述步骤s330至步骤s360，直至满足预设的迭代次数为止。其中，迭代次数可以基于图像降噪方法所应用的环境根据经验或实验由本领域技术人员预先设置，例如，可以设置为100次。
[0073]
基于上述迭代过程，具体地，第一混合图像噪声是指经过第一轮迭代获得的混合图像噪声，第二混合图像噪声是指经过第二轮迭代获得的混合图像噪声，依此类推。
[0074]
本技术的图像降噪方法，通过对字典数据集合和权重进行更新，使得能够对所输入的图像进行动态地表达，同时对降噪过程多次迭代，进一步提高对复杂噪声解析的准确度，获得更加适配具体应用场景的复杂噪声分布。
[0075]
在一具体实施例中，请参阅图4，显示为本技术图像降噪方法在又一实施例中的流程示意图，如图所示，图像降噪方法包括步骤s400至步骤s490。
[0076]
在步骤s400中，随机初始化字典数据集合以及权重，并基于字典数据集合和权重获得干净噪声图像。
[0077]
由于字典数据集合在图像降噪的过程中是根据所输入的图像数据动态变化的，权重是根据每个图像单独变化的，因而在初始进行图像降噪时，首先随机初始化字典数据集合和权重，后续可以根据所输入的图像对字典数据集合和权重进行更新。
[0078]
另外，含复杂噪声的图像可以表示为干净噪声图像与复杂噪声的叠加。其中，字典数据集合和权重的乘积表示干净噪声图像，上述干净噪声图像是相对于含复杂噪声图像而言的，是指不包括本技术中被限定为噪声的图像。也就是说，干净噪声图像并不特指不含任何噪声的图像，在一些示例中，干净图像噪声可以包括一些白噪声，该白噪声区别于本技术中被限定为噪声的其他噪声。
[0079]
在步骤s410中，根据预设的噪声个数从多类分布中采样一个概率，并根据上述概率与预设阈值的比较结果确定是否引入新的图像噪声。
[0080]
其中，将预设的噪声个数作为多类分布的初始参数从多类分布中采样一个概率。在一实施例中，当基于预设噪声个数从多类分布中采样的概率大于预设阈值时，引入新的图像噪声；当基于预设噪声个数从多类分布中采样的概率小于等于预设阈值时，不引入新的图像噪声。其中，阈值可以基于图像降噪方法所应用的环境根据经验或实验由本领域技术人员预先设置，例如，设置为0.5。
[0081]
在确定不引入新的图像噪声的情况下，原有图像噪声即对应为含复杂噪声的图像的噪声。
[0082]
其中，原有图像噪声是指在确定是否引入新的图像噪声之前的图像噪声。原有图像噪声可以是一个噪声也可以是多个噪声混合而成的混合图像噪声。例如，在原有图像噪
声为一个噪声的情况下，在确定不引入新的图像噪声的情况下，将原有的一个图像噪声作为含复杂噪声的图像的混合图像噪声；又如，在原有图像噪声为一混合图像噪声的情况下，在确定不引入新的图像噪声的情况下，将原有的混合图像噪声作为含复杂噪声的图像的混合图像噪声。
[0083]
在步骤s420中，在引入新的图像噪声的情况下，从元高斯分布进行采样以获得新的图像噪声对应的新的高斯分布。
[0084]
其中，步骤s420与上述步骤s111相同或相似，在此不再赘述。
[0085]
在步骤s430中，对原有图像噪声对应的原有高斯分布和新的图像噪声对应的新的高斯分布进行叠加处理，以获得对应上述图像的第一混合图像噪声。
[0086]
其中，步骤s430与上述步骤s112相同或相似，在此不再赘述。
[0087]
在步骤s440中，根据所获得的第一混合图像噪声对含复杂噪声的图像进行降噪处理。
[0088]
其中，步骤s440与上述步骤s120相同或相似，在此不再赘述。
[0089]
在步骤s450中，对上述字典数据集合、上述权重以及上述噪声个数进行更新。
[0090]
其中，步骤s450与上述步骤s330相同或相似，在此不再赘述。
[0091]
在步骤s460中，根据经更新的噪声个数确定是否引入新的图像噪声。
[0092]
其中，步骤s460与上述步骤s340相同或相似，在此不再赘述。
[0093]
在步骤s470中，在引入新的图像噪声的情况下，根据上述第一混合图像噪声和上述新的图像噪声获得对应上述图像的第二混合图像噪声。
[0094]
其中，步骤s470与上述步骤s350相同或相似，在此不再赘述。
[0095]
在步骤s480中，根据所获得的第二混合图像噪声对上述图像进行降噪处理。
[0096]
其中，步骤s480与上述步骤s360相同或相似，在此不再赘述。
[0097]
在步骤s490中，重复上述步骤s450至步骤s480，直至满足预设的迭代次数为止。
[0098]
本技术的图像降噪方法，采用字典数据集合、权重以及图像噪声来表示含复杂噪声的图像，并根据预设的噪声个数确定是否引入新的图像噪声，然后基于原有的图像噪声和引入的新的图像噪声进行混合处理以获得所输入图像的混合图像噪声，进而进行降噪处理，一方面通过干净噪声图像和混合噪声来表征含复杂噪声的图像，另一方面通过确定是否需要引入新的图像噪声来完成对复杂噪声分布的推断，从而能够准确地确定未知复杂噪声，进而提高降噪质量。另外，通过对字典数据集合和权重进行更新，使得能够对所输入的图像进行动态地表达，同时对降噪过程多次迭代，进一步提高对复杂噪声解析的准确度，获得更加适配具体应用场景的复杂噪声分布。
[0099]
换言之，针对上述公式(1)，以采用高斯分布表示噪声为例，本技术的图像降噪方法在每次噪声生成过程中，首先根据噪声个数确定当前是否需要引入新的高斯噪声成分。当需要产生新的噪声成分时，同时也产生了生成新噪声的概率。针对所输入的每个图像，若从现有噪声成分采样噪声，则直接从现有的参数进行采样即可；若需要从新噪声成分采样，则需要先从高斯分布的参数先验中采样出新噪声成分的参数，再从这个噪声成分采样出噪声。在数据迭代的过程中，噪声的个数最终被确定下来，即完成了从数据中推断并对噪声分布的建模。对于每一次迭代的过程，我们可以把问题的求解过程视为具有固定噪声个数的高斯混合模型，因此推断各个参数的过程就是一个极大后验的推断过程。
[0100]
综上，本技术的图像降噪方法，一方面，充分考虑了噪声的复杂性，将其表示为多个具有不同均值和方差的高斯白噪声的复合体，另一方面，考虑到不同应用场景下高斯分布的数目不同，引入狄利克雷过程方案来生成每张图片的噪声估计，以实现含复杂噪声图像的降噪处理。
[0101]
另外，在所输入图像具有局部自相似性的情况下，例如，在单颗粒冷冻电镜技术中，由于蛋白质本身结构的重复性，单颗粒图像具有局部自相似性，为了提高图像降噪效率，减少计算量，本技术在实施上述图像降噪方法之前还包括对图像进行分割和分组处理的步骤。
[0102]
请参阅图5，显示为本技术图像降噪方法在又一实施例中的流程示意图，如图所示，图像降噪方法包括步骤s500至步骤s520。
[0103]
在步骤s500中，将含复杂噪声的图像分割为图像块。
[0104]
本步骤中，可以基于实际应用场景根据本领域技术人员经验选择要分割的图像块的大小。在一实施例中，可以将图像分割为固定大小的图像块。
[0105]
在步骤s510中，针对所获得的图像块进行分组处理。
[0106]
本步骤中，针对所划分的图像块，找到最接近的若干色块将其分为一组。在一示例中，可以采用最近邻算法进行分组处理，例如，可以采用k-均值算法、谱聚类、自组织映射神经网络等方法进行分组处理。
[0107]
在步骤s520中，基于每组图像块，采用上述的图像降噪方法以实现对含复杂噪声的图像的降噪处理。
[0108]
本技术的图像降噪方法，通过对图像进行分割并对所分割的图像块进行分组处理，使得能够针对被分为一组的图像块进行噪声估计，由于对于相似的图像可以使用较少的基向量表达一个图像块，减少了需要学习的参数，从而提高图像降噪效率。
[0109]
现以单颗粒冷冻电镜技术为例，描述本技术图像降噪方法在单颗粒冷冻电镜技术中的应用。一般地，单颗粒冷冻电镜解析结构由多个环节构成，包括颗粒挑选、二维聚类、三维重构。最终三维结构解析软件算法的有效性受限于从颗粒挑选到二维聚类等各个环节的处理质量，而各个环节处理质量直接取决于每张图像信噪比的高低。为保证最终结构解析质量，每次蛋白质解析实验均会搜集大量相同实验条件下，蛋白质处在不同角度的二维投影图像，并且在颗粒挑选和二维聚类的环节通过叠加不同帧或者不同颗粒的方式提高整体信噪比。此类方法忽视了蛋白质在成像过程中轻微移动以及蛋白质不同视角下微小差异带来的影响。另外，当前单颗粒冷冻电镜算法对噪声的处理较为简单，仅通过图像平均或通过贝叶斯定理等方法对图像进行初步处理。鉴于此，本技术的图像降噪方法着重于增强结构解析在前处理阶段中单颗粒冷冻电镜图像的信噪比，并将其该去噪算法集成到后续高质量蛋白质解析流程中，形成新型单颗粒冷冻电镜框架。
[0110]
请参阅图6，显示为本技术图像降噪方法应用于单颗粒冷冻电镜技术在一实施例中的流程示意图，如图所示，单颗粒冷冻电镜的结构解析流程包括步骤s600至步骤s650。
[0111]
在步骤s600中，获得数据图像。
[0112]
在步骤s610中，对所获得的数据图像执行本技术上述的图像降噪处理。
[0113]
在步骤s620中，执行颗粒挑选步骤。
[0114]
在步骤s630中，对挑选后的图像执行本技术上述的图像降噪处理。
[0115]
在步骤s640中，执行二维聚类步骤。
[0116]
在步骤s650中，执行三维重构步骤。
[0117]
应当注意的是，上述获得数据图像、颗粒挑选、二维聚类以及三维重构的步骤均为单颗粒冷冻电镜技术中的常规步骤，在此不再赘述。另外，步骤s610和步骤s630还可以根据实际需求仅执行其一，在此不再赘述。
[0118]
本技术还提供一种图像降噪系统，应用于含复杂噪声的图像中，上述含复杂噪声的图像由字典数据集合、权重以及图像噪声表示。请参阅图7，显示为本技术图像降噪系统在一实施例中的结构示意图，如图所示，图像降噪系统包括噪声引入确定模块10、噪声获得模块11以及降噪模块12。
[0119]
噪声引入确定模块10用于根据预设的噪声个数确定是否引入新的图像噪声。其中，噪声个数可以基于图像降噪方法所应用的环境根据经验或实验由本领域技术人员预先设置，例如，可以设置为5个或6个。在一实施例中，噪声引入确定模块10用于根据预设的噪声个数从多类分布中采样一个概率，并根据上述概率与预设阈值的比较结果确定是否引入新的图像噪声。其中，将预设的噪声个数作为多类分布的初始参数从多类分布中采样一个概率。在一实施例中，当基于预设噪声个数从多类分布中采样的概率大于预设阈值时，引入新的图像噪声；当基于预设噪声个数从多类分布中采样的概率小于等于预设阈值时，不引入新的图像噪声。其中，阈值可以基于图像降噪方法所应用的环境根据经验或实验由本领域技术人员预先设置，例如，设置为0.5。
[0120]
在确定不引入新的图像噪声的情况下，原有图像噪声即对应为含复杂噪声的图像的噪声。
[0121]
其中，原有图像噪声是指在确定是否引入新的图像噪声之前的图像噪声。原有图像噪声可以是一个噪声也可以是多个噪声混合而成的混合图像噪声。例如，在原有图像噪声为一个噪声的情况下，在确定不引入新的图像噪声的情况下，噪声获得模块11用于将原有的一个图像噪声作为含复杂噪声的图像的混合图像噪声；又如，在原有图像噪声为一混合图像噪声的情况下，在确定不引入新的图像噪声的情况下，噪声获得模块11将原有的混合图像噪声作为含复杂噪声的图像的混合图像噪声。
[0122]
在确定引入新的图像噪声的情况下，噪声获得模块11用于在引入新的图像噪声的情况下，根据原有图像噪声和上述新的图像噪声获得对应上述图像的第一混合图像噪声。
[0123]
具体地，例如，在原有图像噪声为一个噪声的情况下，在确定引入新的图像噪声的情况下，对原有的一个图像噪声与引入的新的图像噪声进行混合处理，以获得含复杂噪声图像的第一混合图像噪声；又如，在原有图像噪声为一混合图像噪声的情况下，在确定引入新的图像噪声的情况下，对原有的混合图像噪声与引入的新的图像噪声进行混合处理，以获得含复杂噪声图像的第一混合图像噪声。在一实施例中，在噪声由参数化的统计分布表示的情况下，上述混合处理例如混合叠加处理。
[0124]
以参数化的统计分布为高斯分布为例，在图像噪声采用高斯分布表示的情况下，请参阅图8，显示为本技术图像降噪系统中噪声获得模块在一实施例中的结构示意图，如图所示，噪声获得模块包括采样单元111和噪声获得单元112。
[0125]
采样单元111用于从元高斯分布进行采样以获得上述新的图像噪声对应的新的高斯分布。
[0126]
其中，元高斯分布是能够派生出高斯分布的母函数。由于不同的高斯分布具有不同的均值和方差，因而，通过具有不同均值和方差的高斯分布来表示不同的噪声。从元高斯分布进行采样后，获得新的高斯分布及其对应的均值和方差。
[0127]
噪声获得单元112用于对原有图像噪声对应的原有高斯分布和新的图像噪声对应的新的高斯分布进行叠加处理，以获得对应上述图像的第一混合图像噪声。
[0128]
具体地，在图像噪声采用高斯分布表示的情况下，由于采用具有不同均值和方差的高斯分布表示不同的噪声，则可以将新的高斯分布的均值和方差加入到原有高斯分布中，以获得图像对应的混合高斯分布，即获得图像的第一混合图像噪声。
[0129]
应当注意的是，上述的噪声采用高斯分布表示仅为举例，本技术并不限于此，本技术中的噪声还可以采用其他参数化的统计分布表示，在此基础上可以通过上述步骤对采用其他参数化的统计分布表示的噪声进行相应混合处理，在此不再赘述。
[0130]
降噪模块12用于根据所获得的第一混合图像噪声对上述图像进行降噪处理。
[0131]
本技术的图像降噪系统，采用字典数据集合、权重以及图像噪声来表示含复杂噪声的图像，并根据预设的噪声个数确定是否引入新的图像噪声，然后基于原有的图像噪声和引入的新的图像噪声进行混合处理以获得所输入图像的混合图像噪声，进而进行降噪处理，一方面通过干净噪声图像和混合噪声来表征含复杂噪声的图像，另一方面通过确定是否需要引入新的图像噪声来完成对复杂噪声分布的推断，从而能够准确地确定未知复杂噪声，进而提高降噪质量。
[0132]
另外，由于字典数据集合在图像降噪的过程中是根据所输入的图像数据动态变化的，权重是根据每个图像单独变化的，因而本技术的图像降噪系统还包括初始化模块，用于随机初始化上述字典数据集合和上述权重。
[0133]
在实际应用中，为了能够减少对初始预设值或随机值的依赖，获得更加适配具体应用场景的噪声，本技术的图像降噪系统还包括更新模块，用于对字典数据集合、权重以及噪声个数进行更新。
[0134]
其中，由于字典数据集合是根据所输入的图像动态变化的，在更新时，字典数据集合是基于所输入的所有图像进行更新的，以使得在后续处理中，各图像共享该字典数据集合。另外，权重是对应每个图像单独进行更新的。自此基础上，后续输入的图像采用经更新的字典数据集合和权重来表示。
[0135]
另外，本步骤中对噪声个数的更新是指将先前预设的噪声个数更新为实际噪声个数，以用于后续迭代步骤中。此外，在采用参数化的统计分布表示噪声的情况下，该参数化的统计分布中与噪声相关的参数也进行了更新。例如在采用高斯分布表示噪声的情况下，根据所获得的混合图像噪声，对高斯分布的均值和方差、元高斯分布的参数等进行更新，以用于后续迭代步骤中。
[0136]
在经更新模块更新上述参数后，噪声引入确定模块用于根据经更新的噪声个数确定是否引入新的图像噪声；噪声获得模块用于在引入新的图像噪声的情况下，根据上述第一混合图像噪声和上述新的图像噪声获得对应上述图像的第二混合图像噪声；以及降噪模块用于根据所获得的第二混合图像噪声对上述图像进行降噪处理。
[0137]
另外，在所输入图像具有局部自相似性的情况下，例如，在单颗粒冷冻电镜技术中，由于蛋白质本身结构的重复性，单颗粒图像具有局部自相似性，为了提高图像降噪效
service(软件即服务，saas)、platform-as-a-service(平台即服务，paas)及infrastructure-as-a-service(基础设施即服务，iaas)等。上述私有云服务端例如美团云计算服务平台、阿里云计算服务平台、亚马逊(amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等。上述服务端还可以由分布的或集中的服务器集群构成。例如，上述服务器集群由至少一台实体服务器构成。每个实体服务器中配置多个虚拟服务器，每个虚拟服务器运行上述餐饮商户信息管理服务端中的至少一功能模块，各虚拟服务器之间通过网络通信。
[0146]
在一实施例中，上述至少一存储设备用于存储至少一个程序，上述至少一个处理设备与上述至少一个存储设备连接，用于运行上述至少一个程序时以执行并实现如上述针对图像降噪方法所描述的至少一种实施例，比如图1至图6中所描述的实施例。
[0147]
本技术还提供一种计算机可读写存储介质，存储有至少一个程序，上述程序被处理器执行时执行并实现如上述针对图像降噪方法所描述的至少一种实施例，比如图1至图6中所描述的实施例。
[0148]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。
[0149]
于本技术提供的实施例中，上述计算机可读写存储介质可以包括只读存储器、随机存取存储器、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则上述同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在上述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
[0150]
在一个或多个示例性方面，本技术上述方法的计算机程序所描述的功能可以用硬件、软件、固件或其任意组合的方式来实现。当用软件实现时，可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本技术所公开的方法或算法的步骤可以用处理器可执行软件模块来体现，其中处理器可执行软件模块可以位于有形、非临时性计算机可读写存储介质上。有形、非临时性计算机可读写存储介质可以是计算机能够存取的任何可用介质。
[0151]
本技术上述的附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于此，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，
方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
[0152]
上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本技术的权利要求所涵盖。