对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统与流程
本专利申请要求于2016年3月17日提交的美国临时专利申请no.62/309,682的优先权，其主要内容通过引证结合于本文中。
本发明涉及数据处理。更确切地，本发明涉及一种对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统。
背景技术：
在医疗图像分析中，诸如图像分割等图像处理是重要任务并且是在临床实践中直观和量化病理的严重性的基础。多模态影像提供区分特定组织、剖析和病理的补充信息。然而，手动分割时间长、辛苦且易受人类易变性的影响。近十年来，已经开发了使医疗图像分割自动化的许多分割方法。
这些方法可以分为两种类别，即多图谱的和基于模型的。
多图谱方法在线估计被分割的对象和具有专家标签的多图谱或图像之间的强度相似性。这些多图谱技术示出了当使用非线性注册时的结构分割中的优良结果[iglesias,j.e.,sabuncu,m.r.:multi-atlassegmentationofbiomedicalimages:asurvey.medicalimageanalysis24(1),205-219(2015)]；当结合非局部方法时，它们在分割弥漫性和稀少病理(即，多发性硬化(ms)病灶[guizard,n.,coupe,p.,fonov,v.s.,manjon,j.v.,arnold,d.l.,collins,d.l.:rotation-invariantmulti-contrastnon-localmeansformslesionsegmentation.neurolmage:clinical8,376-389(2015)])以及更复杂的多标签病理(即，胶质母细胞瘤[cordier,n.,delingette,h.,ayache,n.:apatch-basedapproachforthesegmentationofpathologies:applicationtogliomalabelling.ieeetransactionsonmedicalimagingpp(99),1-1(2016)])证明有效。多图谱方法依赖图像亮度和空间相似性，这可能难以通过图谱进行充分描述并且主要取决于图像预处理。
相反，基于模型的方法一般离线训练以识别图像亮度特征的区别模型。这些特征可以通过(例如，在随机决策森林(rdf)[geremia,e.,menze,b.h.,ayache,n.:spatiallyadaptiverandomforestspp.1344-1347(2013)]内)的使用者预定义或者从图像自动提取和直接分级学习[brosch,t.,yoo,y.,tang,l.y.w.,li,d.k.b.,traboulsee,a.,tarn,r.:medicalimagecomputingandcomputer-assistedintervention-miccai2015:18thinternationalconference,munich,germany,october5-9,2015,proceedings,partiii,chap.deepconvolutionalencodernetworksformultiplesclerosislesionsegmentation,pp.3-11.springerinternationalpublishing,cham(2015)]。
这两个策略一般优化用于特定集的多模式图像并且通常要求这些模态是可用的。在临床设置中，图像获取和患者伪像以及栅格(hurdle)，使其难以完全采用全部模态；因而，在特定情况下丢失一个或多个模态是常见的。这个不是新问题，并且丢失数据分析的主题在统计中已经产生巨大的文献价值(例如，[vanbuuren,s.:flexibleimputationofmissingdata.crcpress(2012)])。在医学影像中，已经提出了多个方法，其中有一些要求利用丢失的模态重新训练特定模型或者合成它们[hofmann,m.,steinke,f.,scheel,v.,charpiat,g.,farquhar,j.,aschoff,p.,brady,m.,scholkopf,b.,pichler,b.j.:mri-basedattenuationcorrectionforpet/mri:anovelapproachcombiningpatternrecognitionandatlasregistration.journalofnuclearmedicine49(11),1875-1883(2008)]。合成可以通过在普通分类型(例如，rdf)的背景下添加丢失模态的信息来改善多模式分类[tulder,g.,bruijne,m.:medicalimagecomputingandcomputer-assistedintervention-miccai2015:18thinternationalconference,munich,germany,october5-9,2015,proceedings,parti,chap.whydoessynthesizeddataimprovemulti-sequenceclassification？,pp.531-538.springerinternationalpublishing,cham(2015)]。还提出了利用局部特征模仿利用整套特征训练的分类器的方法[hor,s.,moradi,m.:scandenttree:arandomforestlearningmethodforincompletemultimodaldatasets.in:medicalimagecomputingandcomputer-assistedintervention-miccai2015,pp.694-701.springer(2015)]。
一般的卷积神经网络(cnn)结构采用多平面图像作为输入并且通过与可选的池化层交替的一系列卷积层(后面是非线性诸如，relu(-)≡max(0，-))将其处理，以便产生每个像素或每个图像输出[goodfellow,i.,bengio,y.,courville,a.:deeplearning(2016),http://goodfeli.github.io/dlbook/,bookinpreparationformitpress]。在这种网络中，每个输入平面被假设为在特定情况下呈现：因为最先的卷积层使来自全部平面的输入值混合，任何丢失平面将偏置引入该网络不具有处理的计算中。
因此需要克服以上确定的缺点中的至少一个的方法和系统。
通过浏览下面的本发明的公开内容、附图和具体实施方式，本发明的特征将变得明了。
技术实现要素：
根据广泛的方面，公开了用于生成用于处理任务的至少一个数值的向量的单元，用于生成向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值；第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量。
根据实施方式，根据伪课程学习方案执行初始训练，其中，在全部模态被呈现的几次迭代之后，模态被随机丢弃。
根据实施方式，多于一个的对应变换中的每一个包括由至少多个层次的非线性运算组成的机器学习模型。
根据实施方式，多于一个的对应变换中的每一个包括后面是全连接层的多于一层的卷积神经网络。
根据实施方式，所生成的多于一个的对应特征图中的每一个使用多项式、径向基函数和sigmond核函数中的一个表示。
根据实施方式，要执行的处理任务包括从如下组合中选择的图像处理任务，该组合由图像分割、图像分类、图像检测、按像素分类和图像中的块的检测组成。
根据实施方式，第二特征图生成单元的至少一个对应变换中的每一个包括机器学习模型，其由至少一个层次的非线性运算和线性运算中的至少一个组成。
根据广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于处理任务的方法，该方法包括：提供用于生成用于处理任务的至少一个数值的向量的单元，，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上来执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元；以及获得至少一个数值的对应向量。
根据广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于执行任务的方法，该方法包括：提供训练的、用于生成用于处理任务的至少一个数值的向量的单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的训练单元；获得至少一个数值的对应向量。
根据广泛方面，公开了处理装置，该处理装置包括：中央处理单元；显示装置；通信端口，用于将处理装置操作性地连接至多个移动处理装置，每个移动处理装置由使用者携带；包括用于处理任务的应用的存储单元，该应用包括：提供用于生成用于处理任务的至少一个数值的向量的单元的指令，用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的所述处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过所述特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；用于使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元的指令；用于将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元的指令以及用于获得至少一个数值的对应向量的指令。
根据广泛方面，公开了用于处理多个模态的方法，其中，该处理对于缺少至少一个模态具有鲁棒性，该方法包括：接收多个模态；使用相应变换处理多个模态的每个模态以生成包括至少一个对应数值的相应特征图，其中，相应变换彼此独立运算，进一步地，其中，相应变换包括机器学习模型，其由至少多个层次的非线性运算组成的；使用至少一个组合运算处理获得的数值以生成获得的数值的至少一个组合表示，其中，至少一个组合运算包括将所生成的多于一个的特征图中的每一个的每个对应数值减少到获得的数值的至少一个组合表示中的数值以及使用由用于执行多个模态的处理的至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型处理获得的数值的至少一个组合表示。
根据广泛方面，公开了根据要执行的处理任务用于生成组合特征图的单元，该用于生成组合特征图的单元包括：特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换以及组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值。
根据一个实施方式，根据多于一个的组合运算执行通过特征图生成单元生成的对应的多于一个的特征图的组合；其中，每个组合运算彼此独立。
根据广泛方面，公开了用于生成图像的分割掩模的分割单元，该分割单元包括：第一组内核，包括至少一层内核，每个层包括多于一个的要训练的多个卷积核的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将由要训练的特定的卷积核生成的每个特征图组合在多个要训练的卷积核的多于一个的集合的每个集合中，以此提供多个对应的组合特征图；第二组内核，包括至少一层内核，每个层包括要训练的多个卷积核的一个集合；要训练的多个卷积核每个集合的用于接收通过组合单元生成的对应的组合特征图并且用于生成多个特征图，以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模。
根据另一个广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括多个要训练的卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将通过要训练的特定的卷积核生成的每个特征图组合在多个要训练的卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；第二卷积核组，包括至少一层卷积核，每个层包括多个要训练的卷积核的一个集合；多个要训练的卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成多个特征图；以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模；使用训练数据训练每个卷积核；将分割的图像的至少一个模态提供至分割并且提供图像的对应的分割掩模。
根据另一个广泛方面，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的训练的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每个层包括多个卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个卷积核的每个卷积核，将通过特定的卷积核生成的每个特征图组合在多个卷积核的多于一个的集合的每个集合中，以便因此提供多个对应的组合特征图；第二卷积核组，包括至少一层卷积核，每层包括多个卷积核的一个集合；多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成多个特征图以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模；将分割的图像的至少一个模态提供至分割并且提供图像的对应的分割掩模。
根据另一个广泛方面，公开了处理装置，该处理装置包括：中央处理单元；显示装置；通信端口，用于将处理装置操作性地连接至多个移动处理装置，每个移动处理装置由使用者携带；存储单元，包括用于执行图像分割的应用，该应用包括：训练的用于提供生成图像的分割掩模的分割单元的指令，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括多个要训练的卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将通过要训练的特定的卷积核生成的每个特征图组合在多个要训练的卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；第二卷积核组，包括至少一层卷积核，每层包括多个要训练的卷积核的一个集合；多个要训练的卷积核的每个集合用于接收由组合单元生成的对应的组合特征图并且用于生成多个特征图，以及特征图处理单元，用于从第二卷积核组接收多个生成的特征图并且用于处理多个生成的特征图以提供图像的分割掩模；使用训练数据训练分割单元的每个卷积核的指令；用于将待分割的图像的至少一个模态提供至分割的指令以及用于提供图像的对应分割掩模的指令。
用于处理本文中公开的多个模态的方法的优势在于在不需要学习组合的多个计算模型的情况下设置为输入的可用模态的任何组合的子集具有鲁棒性。
用于处理本文中公开的多个模态的方法的另一个优势在于丢失模态的任何子集具有鲁棒性。
用于处理本文中公开的多个模态的方法的另一个优势在于它利用可以是改变的实例的几个模态。
用于处理本文中公开的多个模态的方法的另一个优势在于不要求为每个实例绝对必须呈现的“最小公分母”模态。
附图说明
为了使本发明可以被容易地理解，通过在附图中举例的方式示出本发明的实施方式。
图1是示出了用于分割作为用于处理任务的方法的实施方式的图像的方法的实施方式的流程图，其中，任务的处理包括图像分割。
图2是示出了用于分割图像的方法中的分割单元的第一实施方式的框图。应当理解，分割单元是用于生成用于处理任务的至少一个数值的向量的单元的实施方式，其中，任务的处理包括图像分割。
图3是示出了用于分割图像的方法中的分割单元的第二实施方式的框图。
图4是示出了可用于实现用于处理任务的方法的处理装置的实施方式的示图，其中，任务的处理包括分割图像。
本发明的更多细节及其优点将从下文所包括的详细说明中变得明了。
具体实施方式
在实施方式的以下描述中，参照的附图通过举例方式示出，藉此可实施本发明。
术语
术语“发明”和类似术语是指“在本申请中所公开的一个或多个发明，”除非另有明确规定。
术语“一方面”、“一个实施实施方式、“实施方式”、“多个实施方式”、“所述实施方式”、“所述多个实施方式”、“一个或多个实施方式”、“一些实施方式”、“某些实施方式”、“一个实施方式”、“另一实施方式”和类似术语是指“所公开的发明的一个或多个(但不是全部)实施方式”，除非另有明确规定。
在描述一个实施方式时对“另一实施方式”或“另一方面”的引用不意味着所引用的实施方式与另一实施方式(例如，在所引用的实施方式之前描述的实施方式)互斥，除非另有明确规定。
术语“包括”、“包含”及其变形是指“包括但不限于”，除非另有明确规定。
术语“一”、“一个”和“所述”是指“一个或多个”，除非另有明确规定。
术语“多个”是指“两个或更多个”，除非另有明确规定。
术语“本文中”是指“在本申请中，包括可通过引证结合的任何内容”，除非另有明确规定。
术语“因此”在本文中仅用于在仅表达先前和明确陈述的一些内容的预期结果、目标或后果的分句或其他词语组之前。因此，当术语“因此”在权利要求中使用时，术语“因此”修饰的分句或其他词语不对权利要求构成特定的进一步局限或者以其他方式限制权利要求的含义或范围。
术语“例如(e.g.)”和类似的术语是指“例如(forexample)”，且因此不限制它们说明的术语或短语。例如，在句子“计算机通过互联网发送数据(例如，指令、数据结构)”中，术语“例如”解释了“指令”是计算机可通过互联网发送的“数据”，并且还解释了“数据结构”是计算机可通过互联网发送的“数据”的实例。然而，“指令”和“数据结构”这两者仅是“数据”的实例，并且除了“指令”和“数据结构”之外的其他内容也可以是“数据”。
术语“即”等类似术语是指“也就是”，并且因此限制了它们所解释的术语或短语。
术语“多模式数据集”和类似术语是指每种情况包括具有不同模态(或类型)的数据的数据集。例如，在医学影像中，多模式数据集包括具有同时用于每个患者情况的不同的影像模态，诸如，计算机断层扫描(ct)、超声或各种类型的磁共振(mr)图像。
术语“处理任务”是指将训练的机器学习模型应用于给定的数据集上，其中，机器学习任务取决于可用于训练期间的学习算法的学习“信号”或“反馈”的性质，取决于特定数据集相关的模态集。从多个模态中，医疗保健中的“处理任务”的非限制性实例包括图像分割、图像分类、按像素分类、图像中的块的检测、图像中的块的分类、使患者分层、识别与生物分布有关的无线话筒表型、目标占用率、药效、肿瘤异质性和预测治疗响应。
术语“模态”是指用于直接或间接获取用于要执行的任务的相关目标或现象的信息的各种类型的设备或探针中的任一个。医疗保健中的“模态”的非限制性实例包括射线照相影像、超声影像、磁共振影像、基因检测、病理检测和生物传感器。
术语“特征图”是指将函数应用于数字的拓扑排列的向量以获得保持拓扑的对应输出数字的向量的结果。“特征图”的非限制性实例是使用卷积神经网络层将输入特征图至隐藏单元以形成要反馈至卷积神经网络的下一层的新的特征的结果。
术语“训练”是指训练提供具有一组模态以学习的机器学习算法的机器学习模型的过程，其中，该组模态包含目标属性，并且进一步地，其中，机器学习模型找到将输入数据属性映射至目标或任务属性的该组模态中的模式。“训练”输出捕捉这些模式的机器学习模型。“训练”的非限制性实例包括监督训练、非监督训练以及特别在非凸训练标准的背景下的课程训练。
术语“组合运算”是指数字之间的计算，从零或更多输入运算数至输出值。“组合运算”的非限制性实例是算术和高等算术运算。
标题和摘要都不应被理解为以任何方式限制公开的发明的范围。本申请的标题和本申请中提供的部分的标头仅为方便起见，并且不应被理解为以任何方式限制本公开内容。
本申请中描述了许多实施方式，并且仅为了说明性目的呈现。在任何情况下，所描述的实施方式不是限制性的并且不旨在限制。如从公开内容容易清晰可见的，目前公开的说明广泛适用于许多实施方式。本领域的普通技术人员应认识到，所公开的发明可以各种修改和更改(诸如，结构上的和逻辑上的修改)来实践。尽管可参考一个或多个具体实施方式和/或附图来描述所公开的发明的具体特征，但是应理解，这样的特征不限于在参考它们所描述的一个或多个具体实施方式或附图中的使用，除非另有明确规定。
现在参考图1，示出了用于分割图像的方法的实施方式。
本领域技术人员将理解，图像的分割是要执行的处理任务的一个实施方式。在可替换的实施方式中，图像处理任务是图像分类、图像检测、按像素分类和图像中的块检测中的一个。在可替换的实施方式中，要执行的处理任务包括来自多个模态的治疗响应预测。
根据处理步骤102，提供了分割单元。
应当理解，分割单元是用于生成用于处理任务的至少一个数值的向量的单元的实施方式，其中，任务的处理包括图像分割。
应当理解，本文中公开的分割单元用于分割具有模态的任何子集的图像，即，具有不完整的多模式数据集的图像。
在一个实施方式中，图像是医疗图像。
本领域技术人员应当理解，可提供用于图像的各种可替换的实施方式。
更确切地并且如以下进一步说明的，本文中公开的分割单元使用深度学习框架实现分割具有模态的任何子集的图像的目的。
如以下公开的，每个模态由独立于所有其他的它自身的卷积管线(pipeline)进行初始处理。在至少一个单独阶段之后，来自全部可用模态的特征图通过计算逐个图的统计量(诸如，平均值和方差)合并，其预计值不取决于提供的项(即，模态)的数量。在合并之后，平均值和方差特征图连结并馈入最终集合的卷积阶段以获得网络输出。
因此，在本文中公开的方法中，将理解，每个模态将一个独立项提供给平均值和方差；与现有技术中的普通卷积神经网络结构相反，丢失的模态摆脱不了计算；平均值和方差就变成利用更宽泛的标准误差来估计的。
现在参考图2，示出了用于生成图像的分割掩模的分割单元199的第一实施方式。
将理解，第一卷积核组200是特征图生成单元的实施方式。特征图生成单元用于接收多于一个的模态并且用于使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图。将理解，通过将给定的对应变换应用于给定的对应模态执行多于一个的对应特征图中的每一个的生成。将进一步理解，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换。如以下进一步说明的，根据伪课程学习方案执行初始训练，其中，在全部模态被呈现的几次重复之后，模态被随机丢弃。
更确切地，并且仍然参考图2，分割单元199包括第一卷积核组200。
第一卷积核组包括至少一个卷积核的层206。
将理解，每层卷积核包括多个要训练的卷积核的多于一个的集合。
更确切地，要训练的多个卷积核的每个集合用于接收图像的特定模态并且用于生成多个对应特征图。
在图2的实施方式中，第一卷积核组200包括卷积核的第一层206。
内核的第一层206包括卷积核的第一集合216。
仍然参考图2，卷积核的第一集合216包括卷积核218、卷积核220...以及卷积核222。
将理解，卷积核218、卷积核220和卷积核222中的每一个接收图像的给定模态210。
生成了对应的多个特征图。更确切地，特征图224是图像的特定模态210乘以卷积核218的卷积结果，同时特征图226是图像的特定模态210乘以卷积核220的卷积结果，并且特征图228是图像的特定模态210乘以卷积核222的卷积结果。
类似地，特征图236是图像的特定模态212乘以卷积核230的卷积结果，同时特征图238是图像的特定模态212乘以卷积核232的卷积结果，并且特征图240是图像的特定模态212乘以卷积核234的卷积结果。
因此图像的第二模态单独地与卷积核230、232和234中的每一个进行卷积。
类似地，特征图248是图像的特定模态214乘以卷积核242的卷积结果，同时特征图250是图像的特定模态214乘以卷积核244的卷积结果，并且特征图252是图像的特定模态214乘以卷积核246的卷积结果。
因此图像的第三模态单独地与卷积核242、244和246中的每一个进行卷积。
此时应当理解，尽管公开了具有图像的三个模态的实施方式，但是本领域技术人员将理解可使用大于或等于两个的任何数量的模态。
还应当理解，尽管在一个实施方式中，可利用图像的三个模态，但也可以使用一个或多个模态的任意组合作为输入。
例如，在一个实施方式中，仅模态210是可用的。在可替换的实施方式中，仅模态214和210是可用的，等等。
仍然参考图2，将理解，分割单元199进一步包括组合单元202。
将理解，组合单元202是用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图的组合单元的实施方式。此外，将理解，组合单元根据要执行的处理任务进行运算并且组合运算将由特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值。
将理解，在一个实施方式中，根据多于一个的组合运算执行通过特征图生成单元生成的对应的多于一个的特征图的组合。将理解，在一个实施方式中，其中，使用多于一个的组合运算，每个组合运算彼此无关。
更确切地并且在图2中示出的实施方式中，对于多个要训练的卷积核的每个要训练的卷积核，组合单元202用于将通过给定的要训练的卷积核生成的每个特征图，组合在多个要训练的卷积核的多于一个的集中的每个集中，因此提供多个对应的组合特征图。
更确切地，在组合单元202中，特征图260由特征图224与特征图236与特征图248的组合的结果生成。
在组合单元202中，特征图262由特征图226与特征图238与特征图250的组合的结果生成。
在组合单元202中，特征图264由特征图228与特征图240与特征图252的组合的结果生成。
将理解，可根据各种实施方式执行特征图的组合。
例如，该组合可以从由平均值的计算、方差的计算和诸如偏斜度或峭度等高阶统计的计算、以及分位数统计的计算、以及将无序非空集的数字降至一个数字的任何计算组合的组合中选择。实际上且如上所述，该组合使用将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值的组合运算执行。
本领域技术人员将理解，组合的目的是创建抽象层。
在一个实施方式中，在图2中未示出，执行两个不同的组合。执行的第一组合是平均值，然而执行的第二组合是方差。每个不同的组合负责生成对应的特征图。
仍然参考图2，分割单元199进一步包括第二卷积核组204。
第二卷积核组204包括至少一个卷积核层。
将理解，第二卷积核组是第二特征图生成单元的实施方式。第二特征图生成单元是用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图。将进一步理解，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上来执行至少一个最终特征图的生成。此外，将理解，在根据要执行的处理任务执行初始训练后生成至少一个对应变换。
更确切地并且在图2中公开的实施方式中，每个卷积核层包括要训练的多个卷积核。每个要训练的卷积核用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模。
更确切地并且在图2中示出的实施方式中，第二组内核包括一个卷积核层208。
该卷积核层208包括卷积核266、卷积核268...和卷积核270。
将理解，特征图利用特定的内核卷积以生成新的特征图。
例如，特征图260与卷积核266进行卷积以生成特征图272。
类似地，特征图262与卷积核268进行卷积以生成特征图274。
特征图264与卷积核270进行卷积以生成特征图276。
将理解，分割单元199还包括(在图2中未示出的)特征图处理单元。
特征图处理单元用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量。
在图2中公开的实施方式中，生成的至少一个数值的向量包括图像的分割掩模。
更确切地并且在图2中公开的实施方式中，特征图处理单元接收特征图272、特征图274和特征图276并且生成对应的分割掩模。
将理解，分割掩模是在特征图上使用“softmax”计算而生成的。
本领域技术人员将理解，可以提供各种可替换的实施方式。
现在参考图3，示出了用于生成图像的分割掩模的分割单元299的第二实施方式。
在这个实施方式中，分割单元299包括第一卷积核组300、组合单元302、第二卷积核组304和图3中未示出的特征图处理单元。
第一卷积核组300包括(未示出的)分别生成多于一个的集的多个特征图的两个卷积核层。在图3中公开了第一特征图集合306和第二特征图集合308。
将理解，两个卷积核层被分别称为
第一集特征图306包括根据相应的图像320的第一模态、图像322的第二模态、图像324的第n个模态分别乘以多个卷积核的卷积而生成的特征图。在这个实施方式中，多个卷积核中的每一个都包括48个卷积核，各个卷积核具有(5，5)的大小。
特征图308的第二集合包括根据特征图的每个集合与卷积核的对应集合的卷积而生成的特征图。如以上概括的，将理解，每个卷积操作后面是relu操作以产生特征图。
除了组合单元中，这个应用于各个地方。在这种情况下，以下公开的最大池化操作在relu之后。更确切地并且在这个实施方式中，多个卷积核中的每一个包括48个卷积核，各个卷积核具有(5，5)的大小以及池化(2，2)，步长(stride)为1。将理解，紧跟relu操作，最大池化操作被应用于每个特征图。在一个实施方式中，这个操作具有2x2的池化窗口，以及步长为1。这意味着特征图中的全部2x2区域被访问，并且采用每个区域内的最大值，由此得名“最大池化”，以便每个2x2区域产生一个值。步长为“1”意味着我们单独在水平方向和垂直方向上移动一个像素，使得输出处存在的像素与输入处存在的一样多。此外，为了保证获得正确数量的像素，在每个特征图周围的边界处存在零填充。这种最大池化的目的是在通过卷积核识别的特征的位置中引入一些鲁棒性。
组合单元302包括第一多个特征图310和第二多个特征图312。
第一多个特征图310对应于对应特征图的算术平均值，同时第二多个特征图312包括多个输入特征图的方差。
更确切地，在此计算模态融合，因为在c(2)中可用模态上的第一矩量和第二矩量分别用于每个特征图i。
其中，如果|k|＝1，则
第二组内核304包括至少一个卷积核层。
在图3中示出的实施方式中，提供了多个卷积核的两个层。
第一层多个卷积核用于生成第一多个特征图314。
第一层多个卷积核包括具有(5，5)大小的16个内核。本领域技术人员将理解，可为卷积核的数量以及每个卷积核的大小提供各种可替换的实施方式。
第二层多个卷积核用于生成第二多个特征图316。
将理解，最后一层的第二组内核304、即这个实施方式中的第二层多个卷积核包括等于多个类别的数量的多个内核。将理解，类别的数量表示我们想要生产的分割的类型。在简单情况下，提供两个类别，例如，“肿瘤”和“非肿瘤”。在更复杂的情况下，我们可具有取决于图像的纹理特征的肿瘤子类型，并且那些将与额外的类别对应。将理解，在这个实施方式中，第二层卷积核的每个卷积核的大小是(21，21)。本领域技术人员将理解，可为卷积核的大小提供各种可替换的实施方式。
更确切地并且在图3中公开的实施方式中，第二组内核304结合合并的模态产生最终的模型输出。
全部
在一个实施方式中，按像素后部类别概率通过在c(4)特征图上应用softmax函数给出，并且通过在特征图处理单元中大概采用按像素后部类别来获得全部分割。
根据处理步骤104，分割单元被训练。
将理解，可根据各种实施方式训练分割单元。
在一个实施方式中，分割单元使用后向传播算法训练。
如本领域技术人员已知的，许多算法可用于训练分割单元。
在一个实施方式中，该训练在必须学习困难情形之前以最容易的情形开始。
例如，该训练以伪课程学习方案开始，其中，在全部模态呈现给分割单元的几次迭代之后，模态被随机丢弃，保证更高的仅丢弃零或一个模态的概率。
一般地，数百至数万实例可用于训练分割单元。
仍然参考图1并且根据处理步骤106，使用分割单元。将理解，可根据各种实施方式使用分割单元。
实际上，将理解，可在使用图像的至少一个模态的集合的情况下来使用分割单元。
将理解，可根据各种实施方式提供图像的至少一个模态的集合。
现在参考图4，示出了用于分割图像400的处理装置的实施方式。
将理解，用于分割图像400的处理装置是用于处理任务的处理装置的实施方式，其中，任务的处理包括分割图像。
用于分割图像的处理装置400包括中央处理单元402、显示装置404、输入装置410、通信端口406、数据总线408、存储单元412和图形处理单元(gpu)422。
中央处理单元402、显示装置404、输入装置410、通信端口406、存储单元412和图形处理单元422使用数据总线408相互连接。
中央处理单元402用于处理计算机指令。本领域技术人员将理解，可以提供中央处理单元402的各种实施方式。
在一个实施方式中，中央处理单元是以3.4ghz运行且由intel(tm)制造的cpu核i7cpu。
在一个实施方式中，图形处理单元422是由nvidia(tm)制造的titanxgpu。
显示装置404用于向用户显示数据。本领域技术人员将理解，可以使用各种类型的显示装置404。
在一个实施方式中，显示装置404是标准的液晶显示器(lcd)监视器。
通信端口406用于与用于分割图像的处理装置400共享数据。
例如，通信端口406可包括用于将键盘和鼠标连接至用于分割图像的处理装置400的通用串行总线(usb)端口。
通信端口406可以进一步包括用于使用于分割图像的处理装置400能够与另一个处理装置经由(未示出的)数据网络连接的数据网络通信端口，诸如，ieee802.3端口。
本领域技术人员将理解，可以提供通信端口406的各种可替换的实施方式。
在一个实施方式中，通信端口406包括以太网端口和鼠标端口(例如，logitech(tm))。
存储单元412用于存储计算机可执行指令。
将理解，在一个实施方式中，存储单元412包括还称为bios414的基本输入/输出系统。
存储单元412进一步包括操作系统416。
本领域的技术人员应理解，操作系统416可以是各种类型。
在实施方式中，操作系统416是linuxubuntu操作系统版本15.10或最新的版本。
存储单元412进一步包括用于分割图像的应用418。将理解，用于分割图像的应用418是用于处理任务的应用的实施方法，其中，任务的处理包括分割图像。
存储单元412进一步包括训练数据420。
将理解，训练数据420用于训练在用于分割图像的应用418中实现的分割单元。
在可替换的实施方式中，存储单元412不包括训练数据420。将理解，这是当分割单元已经被充分训练的情况。
用于分割图像的应用418包括用于提供用于生成图像的分割掩模的分割单元的指令，该分割单元包括：第一卷积核组，包括至少一个卷积核层，每个层包括多个要训练的卷积核的多于一个的集合；每个集合用于接收图像的特定模态并且用于生成多个对应的特征图；组合单元，对于多个要训练的卷积核中的每个要训练的卷积核，将通过要训练的给定的卷积核生成的每个特征图组合在要训练的多个卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；以及第二卷积核组，包括至少一个卷积核层，每个层包括多个要训练的卷积核的一个集合；要训练的多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模。
在分割单元未被充分训练的情况下，用于分割图像的应用418包括使用训练数据训练分割单元的每个卷积核的指令。
用于分割图像的应用418进一步包括用于将待分割的图像的至少一个模态提供至分割单元的指令。
用于分割图像418的应用进一步包括用于提供待分割的图像的对应分割掩模的指令。
将理解，用于分割图像的应用418是用于处理任务的应用的实施方式。用于处理任务的应用包括：提供用于生成用于处理任务的至少一个数值的向量的单元的指令，用于生成用于处理任务的至少一个数值的向量的单元包括：特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换；以及组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的至少一个数值的生成的向量。用于处理任务的应用进一步包括使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元的指令。用于处理任务的应用进一步包括用于将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元的指令以及用于获得至少一个数值的对应向量的指令。
将理解，还公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的训练的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括多个卷积核的多于一个的集合；每个集合用于接收图的像特定模态并且用于生成多个对应的特征图；组合单元，至于多个卷积核的每个卷积核，将通过特定的卷积核生成的每个特征图组合在多个卷积核的多于一个的集合的每个集合中，以便因此提供多个对应的组合特征图；以及第二卷积核组，包括至少一层卷积核，每层包括多个卷积核的一个集合；多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模；将待分割的图像的至少一个模态提供至分割并且提供图像的对应的分割掩模。
将理解，还公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于处理任务的方法，该方法包括：提供用于生成用于处理任务的至少一个数值的向量的单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元以及获得至少一个数值的对应向量。
将理解，还公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于分割图像的方法，该方法包括：提供用于生成图像的分割掩模的分割单元，该分割单元包括：第一卷积核组，包括至少一层卷积核，每层包括要训练的多个卷积核的多于一个的集合；每个集合用于接收图的像特定模态并且用于生成多个对应的特征图；组合单元，至于要训练的多个卷积核中的每个要训练的卷积核，将通过要训练的特定的卷积核生成的每个特征图组合在要训练的多个卷积核的多于一个的集合的每个集合中，因此提供多个对应的组合特征图；以及第二卷积核组，包括至少一层卷积核，每层包括要训练的多个卷积核的一个集合；要训练的多个卷积核的每个集合用于接收通过组合单元生成的对应的组合特征图并且用于生成图像的分割掩模；使用训练数据训练每个卷积核；将待分割的图像的至少一个模态提供至分割；提供图像的对应的分割掩模。
还将理解，公开了用于存储计算机可执行指令的非易失性计算机可读存储介质，当执行时，该指令使得处理装置执行用于执行任务的方法，该方法包括：提供用于生成用于处理任务的至少一个数值的向量的训练单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；通过将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换以及组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的至少一个数值的生成的向量；将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的训练单元以及获得至少一个数值的对应向量。
将理解，至于图像的每个模态，本文中公开的分割单元学习将图像嵌入抽象层空间中。在这个隐藏空间中，诸如计算第一和第二矩量的算术运算被良好地定义并且可以在推断时间接收可用的不同模态。然后可以进一步处理这个更高层次的特征空间以估计分割。
还公开了用于处理多个模态的方法。在这个方法中，该处理对缺少至少一个模态具有鲁棒性。该方法包括接收多个模态。该方法进一步包括使用相应变换处理多个模态的每个模态以生成包括至少一个对应数值的相应特征图，其中，相应变换彼此独立运算，进一步地，其中，相应变换包括由至少多个层次的非线性运算组成的机器学习模型。该方法进一步包括处理使用至少一个组合运算获得的数值以生成获得的数值的至少一个组合表示，其中，至少一个组合运算包括将所生成的多于一个的特征图中的每一个的每个对应数值减少到所获得的数值的至少一个组合表示中的数值。最后，该方法包括使用由用于执行多个模态的处理的至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型处理获得的数值的至少一个组合表示。
用于处理本文中公开的任务的方法的优势在于在不需要学习组合的多个计算模型的情况下对可用模态的任何组合的子集设置为输入具有鲁棒性。
尽管以上描述涉及到如发明者目前所设想的特定的优选实施方式，但是应理解，本发明在其广泛方面包括在本文中描述的元件的功能等同物。
项1.一种用于生成用于处理任务的至少一个数值的向量的单元，该用于生成向量的单元包括：
用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换来生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值；
第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上来执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换；以及
特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务所生成的至少一个数值的向量。
项2.根据项1所述的用于生成组合特征图的单元，其中，根据伪课程学习方案执行初始训练，其中，在全部模态被呈现的几次迭代之后，模态被随机丢弃。
项3.根据项1所述的用于生成组合特征图的单元，其中，多于一个的对应变换中的每一个包括由至少多个层次的非线性运算组成的机器学习模型。
项4.根据项1所述的用于生成组合特征图的单元，其中，多于一个的对应变换中的每一个包括后面是全连接层的多于一层的卷积神经网络。
项5.根据项1所述的用于生成组合特征图的单元，其中，使用多项式、径向基函数和sigmond核函数中的一个来表示所生成的多于一个的对应特征图中的每一个。
项6.根据项1所述的用于生成组合特征图的单元，其中，要执行的处理任务包括从以下各项组成的组中选择的图像处理任务：该组合由图像分割、图像分类、图像检测、按像素分类和图像中的块的检测组成。
项7.根据项1所述的用于生成用于处理任务的至少一个数值的向量的单元，其中，第二特征图生成单元的至少一个对应变换中的每一个包括由至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型。
项8.一种用于存储计算机可执行指令的非易失性计算机可读存储介质，，该指令在被执行时使得处理装置执行用于处理任务的方法，该方法包括：
提供用于生成用于处理任务的至少一个数值的向量的单元，用于生成用于处理任务的至少一个数值的向量的单元包括：
用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，
第二特征图生成单元，该第二特征图生成单元用于从用于生成组合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的处理任务执行初始训练后生成至少一个对应变换，以及
特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理任务的至少一个数值的向量；
使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元；
将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元；以及
获得至少一个数值的对应向量。
项9.一种用于存储计算机可执行指令的非易失性计算机可读存储介质，该指令在被执行时使得处理装置执行用于执行任务的方法，该方法包括：
提供用于生成用于处理任务的至少一个数值的向量的训练单元，该用于生成用于处理任务的至少一个数值的向量的单元包括：
用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换并且组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值，
第二特征图生成单元，该第二特征图生成单元用于从用于生成结合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图；其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成；其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及
特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供所生成的用于处理任务的至少一个数值的向量；
将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的训练单元；
获得至少一个数值的对应向量。
项10.一种处理装置，包括：
中央处理单元；
显示装置；
通信端口，用于将处理装置操作性地连接至多个移动处理装置，每个移动处理装置由使用者携带；
存储单元，包括用于处理任务的应用，该应用包括：
用于提供用于生成用于处理任务的至少一个数值的向量的单元的指令，该用于生成用于处理任务的至少一个数值的向量的单元包括：用于生成组合特征图的单元，该用于生成组合特征图的单元包括特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图，其中，通过将给定的对应变换应用在给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换；以及组合单元用于根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图，其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值；第二特征图生成单元，该第二特征图生成单元用于从用于生成结合特征图的单元接收至少一个对应的组合特征图并且使用至少一个对应变换生成至少一个最终特征图，其中，通过将至少一个对应变换中的每一个应用于从用于生成组合特征图的单元接收的至少一个对应特征图的至少一个上执行至少一个最终特征图的生成，其中，在根据要执行的任务执行初始训练后生成至少一个对应变换；以及特征图处理单元，用于从第二特征图生成单元接收所生成的至少一个最终特征图并且用于处理所生成的至少一个最终特征图以提供要用于处理任务的生成的至少一个数值的向量；
用于使用训练数据训练用于生成组合特征图的单元和第二特征图生成单元的指令；
用于将至少一个模态提供至用于生成用于处理任务的至少一个数值的向量的单元的指令；以及
用于获得至少一个数值的对应向量的指令。
项11.一种用于处理多个模态的方法，其中，处理对缺少至少一个模态具有鲁棒性，该方法包括：
接收多个模态；
使用相应变换处理多个模态中的每个模态以生成包括至少一个对应数值的相应特征图，其中，相应变换彼此独立运算，进一步地，其中，相应变换包括由至少多个层次的非线性运算组成的机器学习模型；
使用至少一个组合运算处理获得的数值以生成获得的数值的至少一个组合表示，其中，至少一个组合运算包括将所生成的多于一个的特征图中的每一个的每个对应数值减少到获得的数值的至少一个组合表示中的数值；以及
使用由用于执行多个模态的处理的至少一个层次的非线性运算和线性运算中的至少一个组成的机器学习模型处理获得的数值的至少一个组合表示。
项12.一种根据要执行的处理任务用于生成组合特征图的单元，该用于生成组合特征图的单元包括：
特征图生成单元，该特征图生成单元用于接收多于一个的模态并且使用彼此独立运算的多于一个的对应变换生成多于一个的对应特征图；其中，将给定的对应变换应用于给定的对应模态上执行多于一个的对应特征图中的每一个的生成，其中，在根据要执行的处理任务执行初始训练后生成多于一个的对应变换；以及
组合单元，根据至少一个组合运算选择和组合通过特征图生成单元生成的对应的多于一个的特征图并且用于提供至少一个对应的组合特征图；其中，组合单元根据要执行的处理任务进行运算并且组合运算将通过特征图生成单元生成的多于一个的特征图中的每一个的每个对应数值减少到至少一个对应的组合特征图中的一个数值。
项13.根据项1所述的用于生成组合特征图的单元，其中，根据多于一个的组合运算执行通过特征图生成单元生成的对应的多于一个的特征图的组合；其中，每个组合运算彼此独立。
参考文献
1.bengio,y.,louradour,j.,collobert,r.,weston,j.:curriculumlearning.in:proceedingsofthe26thannualinternationalconferenceonmachinelearning,pp.41-48.acm(2009)
2.brosch,t.,yoo,y.,tang,l.y.w.,li,d.k.b.,traboulsee,a.,tarn,r.:medicalimagecomputingandcomputer-assistedintervention-miccai2015:18thinternationalconference,munich,germany,october5-9,2015,proceedings,partiii,chap.deepconvolutionalencodernetworksformultiplesclerosislesionsegmentation,pp.3-11.springerinternationalpublishing,cham(2015)
3.chollet,f.:keras.https://github.com/fchollet/keras(2015)
4.cordier,n.,delingette,h.,ayache,n.:apatch-basedapproachforthesegmentationofpathologies:applicationtogliomalabelling.ieeetransactionsonmedicalimagingpp(99),1-1(2016)
5.geremia,e.,menze,b.h.,ayache,n.:spatiallyadaptiverandomforestspp.1344-1347(2013)
6.goodfellow,i.,bengio,y.,courville,a.:deeplearning(2016),http://goodfeli.github.io/dlbook/,bookinpreparationformitpress
7.guizard,n.,coupe,p.,fonov,v.s.,manjon,j.v.,arnold,d.l.,collins,d.l.:rotation-invariantmulti-contrastnon-localmeansformslesionsegmentation.neurolmage:clinical8,376-389(2015)
8.havaei,m.,davy,a.,warde-farley,d.,biard,a.,courville,a.,bengio,y.,pal,c,jodoin,p.m.,larochelle,h.:braintumorsegmentationwithdeepneuralnetworks.arxivpreprintarxiv:1505.03540(2015)
9.hofmann,m.,steinke,f.,scheel,v.,charpiat,g.,farquhar,j.,aschoff,p.,brady,m.,scholkopf,b.,pichler,b.j.:mri-basedattenuationcorrectionforpet/mri:anovelapproachcombiningpatternrecognitionandatlasregistration.journalofnuclearmedicine49(11),1875-1883(2008)
10.hor,s.,moradi,m.:scandenttree:arandomforestlearningmethodforincompletemultimodaldatasets.in:medicalimagecomputingandcomputer-assistedintervention-miccai2015,pp.694-701.springer(2015)
11.iglesias,j.e.,sabuncu,m.r.:multi-atlassegmentationofbiomedicalimages:asurvey.medicalimageanalysis24(1),205-219(2015)
12.long,j.,shelhamer,e.,darrell,t.:fullyconvolutionalnetworksforsemanticsegmentation.in:proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,pp.3431-3440(2015)
13.menze,b.,jakab,a.,bauer,s.,kalpathy-cramer,j.,farahani,k.,kirby,j.e.a.:themultimodalbraintumorimagesegmentationbenchmark(brats).medicalimaging,ieeetransactionson34(10),1993-2024(oct2015)
14.mikolov,t.,sutskever,i.,chen,k.,corrado,g.s.,dean,j.:distributedrepresentationsofwordsandphrasesandtheircompositionality.in:advancesinneuralinformationprocessingsystems,pp.3111-3119(2013)
15.sled,j.g.,zijdenbos,a.p.,evans,a.c.:anonparametricmethodforautomaticcorrectionofintensitynonuniformityinmridata.medicalimaging,ieeetrans-actionson17(1),87-97(1998)
16.souplet,j.,lebrun,c,ayache,n.,malandain,g.:anautomaticsegmentationoft2-flairmultiplesclerosislesions(072008)
17.srivastava,n.,hinton,g.,krizhevsky,a.,sutskever,i.,salakhutdinov,r.:dropout:asimplewaytopreventneuralnetworksfromoverfitting.thejournalofmachinelearningresearch15(1),1929-1958(2014)
18.styner,m.,lee,j.,chin,b.,chin,m.,commowick,o.,tran,h.,markovic-plese,s.,jewells,v.,warfield,s.:3dsegmentationintheclinic:agrandchallengeii:mslesionsegmentation.midasjournal2008,1-6(2008)
19.sutskever,i.,martens,j.,dahl,g.,hinton,g.:ontheimportanceofinitializationandmomentumindeeplearning.in:proceedingsofthe30thinternationalconferenceonmachinelearning(icml-13).pp.1139-1147(2013)
20.sutskever,i.,vinyals,o.,le,q.v.:sequencetosequencelearningwithneuralnetworks.in:advancesinneuralinformationprocessingsystems,pp.3104-3112(2014)
21.tulder,g.,bruijne,m.:medicalimagecomputingandcomputer-assistedintervention-miccai2015:18thinternationalconference,munich,germany,october5-9,2015,proceedings,parti,chap.whydoessynthesizeddataimprovemulti-sequenceclassification？,pp.531-538.springerinternationalpublishing,cham(2015)
22.tustison,n.j.,shrinidhi,k.,wintermark,m.,durst,c.r.,kandel,b.m.,gee,j.c.,grossman,m.c.,avants,b.b.:optimalsymmetricmultimodaltemplatesandconcatenatedrandomforestsforsupervisedbraintumorsegmentation(simplified)withantsr.neuroinformatics13(2),209-225(2015)
23.vanbuuren,s.:flexibleimputationofmissingdata.crcpress(2012)
24.vincent,p.,larochelle,h.,bengio,y.,manzagol,p.a.:extractingandcomposingrobustfeatureswithdenoisingautoencoders.in:proceedingsofthe25thinternationalconferenceonmachinelearning,pp.1096-1103.acm(2008)
25.xu,k.,ba,j.,kiros,r.,cho,k.,courville,a.,salakhudinov,r.,zemel,r.,ben-gio,y.:show,attendandtell:neuralimagecaptiongenerationwithvisualattention.in:blei,d.,bach,f.(eds.)proceedingsofthe32ndinternationalconferenceonmachinelearning(icml-15).pp.2048-2057.jmlrworkshopandconferenceproceedings(2015),http://jmlr.org/proceedings/papers/v37/xuc15.pdf
26.zhao,l,wu,w.,corso,j.j.:medicalimagecomputingandcomputer-assistedintervention-miccai2013:16thinternationalconference,nagoya,japan,september22-26,2013,proceedings,partiii,chap.semiautomaticbraintumorsegmentationbyconstrainedmrfsusingstructuraltrajectories,pp.567-575.springerberlinheidelberg,berlin,heidelberg(2013),http://dx.doi.org/10.1007/978-3-642-40760-4_71。
- 还没有人留言评论。精彩留言会获得点赞！