有监督的多模态脑影像融合方法
【专利摘要】本发明公开了一种有监督的多模态脑影像融合方法。其中，该方法包括步骤1：计算所述各模态的特征；步骤2：对所述各模态的特征进行矩阵化和归一化；步骤3：利用奇异值分解算法，对所述各模态特征进行降维；步骤4：基于所述步骤S3得到的降维后的各模态特征，同时最大化所述各模态典型变量之间以及所述典型变量与先验信息之间的相关性平方和，并进行迭代循环，直至收敛；步骤5：将所述步骤S4得到的各模态成分串联，使用联合独立成分分析算法，计算得到所述各模态与所述先验信息显著相关的独立成分和混合矩阵，从而实现有监督的多模态脑影像融合。本发明实施例具有较好的鲁棒性，可以揭示复杂脑疾病认知功能损伤的生理病理机制。
【专利说明】
有监督的多模态脑影像融合方法
技术领域
[0001] 本发明实施例设及医学图像处理技术领域，具体设及一种有监督的多模态脑影像 融合方法。
【背景技术】
[0002] 近年来，使用多种非侵入式的图像技术（功能磁共振影像fMRI、结构磁共振影像 sMRI、弥散张量成像DTI等)对同一个被试收集不同模态的数据已经被研究人员广泛采用。 模态就是一台磁共振机器可W实现的多种成像。每一种模态从不同角度反映了大脑的功能 或者结构。如fMRI基于血氧水平依赖性(blood O巧gen level dependent,B化D)信号，来反 映大脑在做某种任务或者静息态时，对应脑区的神经元活动；SMRI则提供大脑的组织结构 信息：如灰质（gray matter，GM)、白质（white matter,WM)、脑脊液(^cerebrospinal fluid, CSF)等;弥散张量成像DTI可W研究脑白质的完整性和连接性。单独使用某一种模态的图像 都不能同时获得运几种模态的图像的完整信息，而在实际应用中它们又都无法代替对方。 越来越多的研究表明，多模态融合(multimodal fusion)能够结合多种模态的脑影像从多 个角度理解人脑，并且具有一定的互补性，可W发现脑疾病的多模态影像共变模式[IKSui J.,Huster R.,and Yu Q.B.et al.Function-structure associations of the brain: Evidence from multimodal connectivity and covariance studies.NeuroImage,102: 11-23,2014)。
[0003] 现有的多模态融合方法分为:基于数据(first-level)的多模态融合方法，如:独 立成分分析（ICA，independent component analysis) [2-3] (Hyvarinen A. ,and Oja E.Independent component analysis!algorithms and applications.Neural Networks, 13:411-430,2000；Du Y.,Fan Y.Group information guided ICA for fMRI data analysis. NeuroImage ,69:157-197,2013)，该方法无法获得多模态共变成分，只能单独分 析各个模态。基于特征（second-level)的多模态融合方法，如：联合独立成分分析（joint ICA)[4](化化Oim V.D.,Adali T.,and Kiehl K.A.et al.A Method for Multitask fMRI Data Fusion Applied to Schizophrenia,Human Brain Mapping,27:598-610,2006)，该 方法得到的各模态的混淆矩阵是相同的。MCCA+jICA[4](Sui J.,He H.,and Pearlson G.D.et al.Three-way(N-way)fusion of brain imaging data based on mCCA+jICA and its application to discriminating schizophrenia.NeuroImage,2:119-132,2013), Parallel ICA[5](pICA)(Liu J.,Pearlson G.,and Windemuth A.et al.Combining fMRI and SNP data to investigate connections between brain function and genetics using parallel ICA.Human Brain Ma卵ing,30:241-55,2009),该方法同时保证成分的独 立性W及不同模态之间的对应性，然而W上方法都是基于无监督的多模态融合。PlCA-R (pICA with references)[6](Chen J.,Calhoun V.D.,and Pearlson G.D.et al.Guided exploration of genomic risk for gr曰y m曰tter 曰bnorm曰Iities in schizophreni曰 using parallel independent component analysis with reference.Neuroimage,83: 384-396,2013)，利用基因作为先验信息指导多模态的融合，然而该方法只能融合两种模 态，其中必须包含基因，并且融合的效果严重依赖于基因的精确度。
[0004] 另一方面，利用脑影像数据来识别病人的认知损伤或症状改变的神经结构基础是 一项极具临床价值的研究课题，在理解精神疾病的发病机制上具有重要意义。在临床医学 中，精神分裂症(schizop虹enia)是一种常见、慢性、高致残性的重型精神障碍。多起病于青 壮年，常有感知、思维、情感、行为等多方面的障碍和精神活动的不协调，也有包括注意、记 忆和执行功能障碍等在内的认知功能缺陷，患病率约1%。目前，我国重性精神疾病患者约 为1600万，而罹患精神分裂症者多达780万。精神分裂症患者的社会功能降低，给患者、家庭 及国家带来沉重的经济负担。因此如何利用现代医学成像技术，研究精神分裂症的病理机 审IJ，并对精神分裂症做出早期预警和干预具有重要意义。值得注意的是，认知功能缺失被认 为是精神分裂症患者的核屯、特征，精神分裂症患者在认知方面的功能状态，相较于其他精 神疾病的诊断，有明显的落差。虽然许多精神疾病都会出现认知功能缺失，但是精神分裂症 患者的认知功能缺失，较其他类别诊断更为严重。随着药物科技的不断精进，患者的症状可 W快速受到控制，让患者出院的机率大幅提高。然而，精神分裂症患者往往不能重新回归社 会和适应日常生活，运主要归因于其认知功能的缺失是持久的，而认知功能缺失的严重程 度，恰恰影响了精神分裂症患者屯、理复健的成效和适应社会生活的程度。认知能力包含多 个认知子领域，比如:处理速度、注意力、工作巧区、语言学习、视觉学习、推理能力和社会认 知等等。目前针对患者的症状评分或者特定认知领域评分的研究很大一部分是临床评分和 药物测评，与人脑磁共振影像尤其是多模态磁共振影像相关的研究非常有限，大都是基于 独立的分析然后求解相关关系，而基于有监督学习的、探索多模态神经影像(包括磁共振影 像、脑电图、脑磁图）与特定临床指标相互关系的研究尚未展开。
[0005] 有鉴于此，特提出本发明。
【发明内容】
[0006] 鉴于上述问题，提出了本发明W便提供一种克服上述问题或者至少部分地解决上 述问题的一种有监督的多模态脑影像融合方法。
[0007] 为了实现上述目的，根据本发明的一个方面，提供了 W下技术方案：
[0008] -种有监督的多模态脑影像融合方法，所述方法至少包括：
[0009] 步骤1:计算所述各模态的特征；
[0010] 步骤2:对所述各模态的特征进行矩阵化和归一化；
[0011] 步骤3:利用奇异值分解算法，对所述各模态特征进行降维；
[0012] 步骤4:基于所述步骤S3得到的降维后的各模态特征，同时最大化所述各模态典型 变量之间W及所述典型变量与先验信息之间的相关性平方和，并进行迭代循环，直至收敛；
[0013] 步骤5:将所述步骤S4得到的各模态成分串联，使用联合独立成分分析算法，计算 得到所述各模态与所述先验信息显著相关的独立成分和混合矩阵，从而实现有监督的多模 态脑影像融合。
[0014] 与现有技术相比，上述技术方案至少具有W下有益效果：
[0015] 本发明实施例通过加入先验信息（如认知评分)来指导多模态融合，同时最大化各 模态典型变量之间W及典型变量与先验信息reference之间的相关性平方和，并利用jICA 算法，得到各模态与reference显著相关的成分。不同于目前大多数无监督多模态融合，本 发明实施例采用认知评分作为先验信息，能够有目的地提取出与特定兴趣指标显著相关的 独立成分。一旦确定某一认知评分作为先验引导，便能够有监督的、稳定地提取出多中屯、数 据的多模态共变的目标成分，从而挖掘出认知与多模态神经影像在精神疾病中的交互关 系，具有较好的鲁棒性。另外，本发明实施例能够将认知映射到多模态神经影像中，从而掲 示复杂脑疾病认知功能损伤的生理病理机制。
[0016] 当然，实施本发明的任一产品不一定需要同时实现W上所述的所有优点。
[0017] 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明 书、权利要求书W及附图中所特别指出的方法来实现和获得。
【附图说明】
[0018] 附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性 实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图 仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可W 根据运些附图获得其他附图。在附图中：
[0019] 图1为根据一示例性实施例示出的有监督的多模态脑影像融合方法的流程示意 图；
[0020] 图 2a 为根据另一示例性实施例示出的 maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA相对于成分个数求平均的混合矩阵的精确度的示意图；
[0021] 图化为根据另一示例性实施例示出的maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA相对于成分个数求平均的独立成分的精确度的示意图；
[0022] 图 2c 为根据另一示例性实施例示出的 maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA相对于16个噪声水平求平均的混合矩阵的精确度的示意图；
[0023] 图 2d 为根据另一示例性实施例示出的 maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA相对于16个噪声水平求平均的独立成分的精确度的示意图；
[0024] 图3a为根据一示例性实施例示出的111曰义￥曰'、339(3〇'、]\10：41?、]\10：4+^〔4、和]\10：八尺+ jICA方法在峰值信噪比为7的情况下提取出与先验信息显著相关的联合独立成分能力的对 比结果示意图；
[0025] 图 3b 为根据一示例性实施例示出的 maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA方法对各模态的目标成分的混合矩阵的精确度的对比结果示意图；
[0026] 图 3c 为根据一示例性实施例示出的 maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA方法对各模态的目标成分的精确度的对比结果示意图；
[0027] 图 3d 为根据一示例性实施例示出的 maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA和3ICA方法估计得到的各模态目标成分之间的相关性对比示意图；
[002 引图 3e 为根据一示例性实施例示出的 maxvar、ssqcor、MCCAR、MCCA+jICA、MCCAR+ jICA和3ICA方法估计得到的各模态目标成分之间的相关性与各模态目标成分之间真实的 相关性差的绝对值的对比示意图；
[0029]图4a为根据一示例性实施例示出的本发明实施例提出的方法检测到的与CMINDS 认知评分相关的多模态共变联合成分的空间视图；
[0030]图4b为根据一示例性实施例示出的各模态的组间差异图；
[0031 ]图4c为根据一示例性实施例示出的各模态与认知评分的相关性拟合图。
[0032] 运些附图和文字描述并不旨在W任何方式限制本发明的构思范围，而是通过参考 特定实施例为本领域技术人员说明本发明的概念。
【具体实施方式】
[0033] 下面结合附图W及具体实施例对本发明实施例解决的技术问题、所采用的技术方 案W及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部 分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造 性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。 本发明实施例可W按照权利要求中限定和涵盖的多种不同方式来具体化。
[0034] 需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明 显，本发明的实现可W没有运些具体细节。
[0035] 需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其 中的技术特征可W相互组合而形成技术方案。
[0036] 图1为本发明有监督的多模态脑影像融合方法的流程图，如图1所示，该方法可W 包括步骤Sl至步骤S5。
[0037] SI:计算各模态的特征。
[0038] 在本步骤中，模态可W是静息态功能脑影像fMRI、弥散张量图像dMRI、结构磁共振 影像sMRI。在实际实施过程中，可W选取其中的任意两个或者其他更多的模态进行实施。
[0039] 本实施例中仅W精神分裂症的多模态数据融合为示例进行说明，但是本发明的保 护范围并不仅限于此。各模态的数据可W是所有精神障碍疾病的多模态数据，包括精神分 裂症，抑郁症等精神疾病，W及双性情感障碍等非精神疾病的多模态数据。
[0040] 对于fMRI，可W进行如下处理：（1)头动校正；（2)层间时间校正；（3)标准化到蒙特 利尔标准空间，优选地，重采样成3X3 X3mm; (4)回归掉6个头动参数和白质（WM)、灰质 (61)、脑脊液（〔5。）；（5)用81111]1化11￥1(11:1111日1;1!'1]1日义巧胖歷)6日11331日]1門116；1"(8毫米半最 大值全宽高斯滤波核)做平滑；（6)计算分数低频波动振幅(fALF巧特征。
[0041] 对于dMRI，（l)质量检测，其包括去除梯度方向大于头动的方向W及振动的伪影； (2)运动和满流校正；（3)校正梯度方向；（4)计算分数各项异性(FA); (5)用8毫米半最大值 全宽高斯滤波核做平滑。
[0042] 对于sMRI，（l)标准化到蒙特利尔标准空间，优选地，重采样成3X3X3mm;(2)分割 成白质、灰质、脑脊液；（3)用8毫米半最大值全宽高斯滤波核对灰质做平滑，（4)检测被试野 点，W确保所有被试被正确分割。
[0043] 经过上述处理后，各模态的特征为3D图像(也即3D矩阵）。对于静息态功能脑影像， 模态特征可W为分数低频波动振幅特征。对于弥散张量图像，模态特征可W为分数各项异 性特征。对于结构磁共振影像，模态特征可W为灰质密度特征。
[0044] S2:对各模态的特征进行矩阵化和归一化。
[0045] 具体地，矩阵化的处理过程可W为：将经过步骤Sl处理后得到的3D矩阵转换成行 向量（I XL), L为体素个数。将所有被试的3D矩阵都进行转换，则得到NXL的矩阵Xk(k=l， 2，3 )，N表示被试个数，k表示模态数目。
[0046] 对3个模态dMRI、dMRI和SMRI都进行上述转换，则得到3个模态的特征矩阵。
[0047] 接着，对上述特征矩阵进行归一化，使其含有相同的平均平方和，W确保3个模态 的特征数值在相同的范围内。
[004引S3:利用奇异值分解算法，对各模态特征进行降维。
[0049]具体地，根据W下公式对各模态特征进行降维：
[0化0] & = 乂曲
[0051] 其中，Yk表示降维后的特征矩阵;Xk表示被试个数乘W体素个数(NXL)的特征矩 阵，N表示被试个数，L表示体素个数;Ek表示包含了前M个最大的奇异值对应的特征向量，M 取正整数。
[0052] S4:基于步骤S3得到的降维后的各模态特征，同时最大化各模态典型变量之间W 及典型变量与先验信息之间的相关性平方和，并进行迭代循环，直至收敛。
[0053] 其中，先验信息用于指导多模态融合，其包括但不限于认知评分、症状评分、某一 位点的基因。先验信息可W根据实际研究目的进行选取。
[0054] 具体地，根据W下公式进行同时最大化所述各模态典型变量之间W及所述典型变 量与先验信息之间的相关性平方和：
[0化5]
[0化6]
[0化7]
[005引其中，在公式(1)中，i恥，在公式(2)中，i = 2……M;M表示融合的成分个数，优选地， M可W参考最小描述长度准则(minimum description Ieng化criterion)进行选取，例如，本实施 例中M取20; n表示模态个数；
是矩阵W的第i列
表示Ak与Aj的第i列的相关性;表示Ak与先验信息的第i列的相关性;Ak和Aj表示不同模 态的典型变量;A表示控
之间的权重的正则化参数W及算 法优化的收敛性。
[0059] 求解能量函数公式（1)和公式(2)的最大化问题具体可W包括:公式（1)为第一阶 段的求解，将相关性平方和(SSQCOR)作为目标函数，通过将目标函数相对于每个求偏 导数，并令之等于0,得到含有勺偏微分方程。由于目标函数相关性平方和SSQCOR是 的二次方程，因此相关性平方和SSQCOR对的偏微分是的线性函数，所W可W 求得近似解。给定一个初始点，每一个向量将通过公式（I)逐步迭代被更新，并且保证 目标函数SSQCOR的值不断增加，当满足目标函数的收敛准则时，迭代停止，此时的作为 公式（1)的最优解。公式(2)为第二阶段的求解。公式(2) W及更高阶段的求解，通过将典型 相关系数的正交约束作为拉格朗日乘子加入到目标函数中，使用类似于公式（1)的求解方 式求得稳定解，即公式(2)的最优解。
[0060] 基于上述最大化算法，同时可得到各模态的典型变量Ak,其满足：
[0061]
[006^ 其中，表示典型相关系数，此时就可W得到各模态整个第一阶 段的典型变量Ak和成分Ck。
[0063] S5:将步骤S4得到的各模态成分串联，使用联合独立成分分析算法，计算得到各模 态与先验信息显著相关的独立成分和混合矩阵，从而实现有监督的多模态脑影像融合。
[0064] 具体地，根据W下公式得到独立成分和混合矩阵：
[00化]W[打，C2，...，Cn] = [Sl，S2，...，Sn]
[0066] Xk=(Ak ? W-1) ? Sk，k=l，2，'--，n
[0067] 其中，[Cl, C2,…，Cn]为步骤S4得到各模态成分的串联，Sk为最终求解得的各模态 独立成分，Ak ? W-I为混合矩阵。对于jICA的求解，运里采用目前广泛使用的Infomax(信息极 大)算法。
[0068] 本实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技 术人员可W理解，为了实现本实施例的效果，不同的步骤之间不必按照运样的次序执行，其 可W同时(并行)执行或W颠倒的次序执行，运些简单的变化都在本发明的保护范围之内。
[0069] 图2曰、图化、图2c、图2d对比了各方法分离得到的混合矩阵Ak ? W-I和独立成分Sk的 精确度。
[0070] 在本文中，各方法为:maxvar是指多组别典型相关分析-最大特征值；ssqcor是指 多组别典型相关分析-相关性平方和;MCCAR是指有监督的多组别典型相关分析;MCCA+jICA 是指多组别典型相关分析+联合独立成分分析;MCCAR+jICA是指有监督的多组别典型相关 分析+联合独立成分分析;3ICA是指单个模态的独立成分分析。另外，real corr是指真实的 相关性。
[0071] 精确度是指各方法得到的混合矩阵、独立成分与真实的混合矩阵、成分的相关性， 两者的相关性越高则表明精确度越高。
[0072] 图2a示例性地示出了各方法相对于成分个数求平均的混合矩阵Ak ? 的精确度。 图化示例性地示出了各方法相对于成分个数求平均的独立成分Sk的精确度。图2c示例性地 示出了各方法相对于16个噪声水平(峰值信噪比PSNR= [1 34])求平均的混合矩阵Ak ? 的精确度。图2d示例性地示出了各方法中相对于16个噪声水平(峰值信噪比PSNR=[1 34]) 求平均的独立成分Sk的精确度。通过图2c和图2d可W看出，本发明实施例提出的方法在混 合矩阵Ak ? 和独立成分Sk的精确度上都是最优的。同时，也可W看出本发明实施例中添 加 jICA步骤后的精确度要明显高于MCCAR，运说明了使用联合独立成分分析jICA的重要性 和必要性。
[0073] 图3a示例性地示出了各方法在峰值信噪比PSNR = 7的情况下提取出与reference 显著相关的联合独立成分能力的对比结果。其中，real corr为真实的相关性;如果相同索 引的成分在不止一个模态中有组间差异，则运个成分称为多模态共变的联合独立成分。从 图3a中可W看出只有MCCAR和MCCAR+j ICA可W得到联合独立成分。图3b示例性地示出了各 方法对各模态的目标成分的混合矩阵Ak ? 的精确度的对比结果。图3c示例性地示出了各 方法对各模态的目标成分Sk的精确度的对比结果。运里，盒型图是对于峰值信噪比PSNR = [134]统计的，可W看出本发明实施例提出的方法所分离出的目标成分的精确度是最高的。
[0074] 图3d和图3e为各方法估计得到的各模态目标成分之间的相关性、各模态目标成分 之间的相关性与各模态目标成分之间真实的相关性差的绝对值的对比图；其中，3ICA指 S邱arate ICA，即对3个模态分别做ICA;real表示各模态目标成分之间真实的相关性。从中 可W看出本发明实施例提出的方法估计得到的目标成分之间的相关性与真实的相关性最 接近。
[0075] 下面对本发明示例里提出的方法进行的测试进行详细说明。
[0076] 本发明实施例使用!^nction Biomedical Informatics Research Network (FBIRN)Phase III S化dy数据集(包含147个精神分裂症患者和147个正常对照被试的3个 模态数据）。利用运些数据对本发明实施例提出的方法进行了测试。运里，我们将总的认知 评分作为先验信息。
[0077] 图4曰、图4b和图4c示例性地示出了本发明实施例在数据集FBIRN上的结果。其中， 图4a是本发明实施例提出的方法检测到的与CMINDS认知评分相关的多模态共变成分的空 间视图，可W看出其包含的脑区位置W及激活程度与现有的研究基本一致；图4b是各模态 的组间差异图；图4c是各模态与认知评分CMINDS的相关性拟合图。综上所述，可W看出本发 明提出的方法可W分离出既具有组检差异又与CMINDS认知评分显著相关的联合独立成分。
[0078] W上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体 的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理 解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施 方式W及应用范围之内均会做出改变。
[0079] 需要说明的是，本文中设及到的流程图不仅仅局限于本文所示的形式，其还可W 进行划分和/或组合。
[0080] 需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本 发明保护范围的不当限定。
[0081] 术语"包括"或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系 列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的 其它要素，或者还包括运些过程、方法、物品或者设备/装置所固有的要素。
[0082] 本发明的各个步骤可W用通用的计算装置来实现，例如，它们可W集中在单个的 计算装置上，例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多 处理器装置，也可W分布在多个计算装置所组成的网络上，它们可W W不同于此处的顺序 执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多 个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软 件或者其结合。
[0083] 本发明提供的方法可W使用可编程逻辑器件来实现，也可W实施为计算机程序软 件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或 数据结构等等），例如根据本发明的实施例可W是一种计算机程序产品，运行该计算机程序 产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该 介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可 W是被安装在计算机中的内置介质或者可W从计算机主体上拆卸下来的可移动介质（例 如:采用热插拔技术的存储设备）。所述内置介质包括但不限于可重写的非易失性存储器， 例如:RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于:光存储介质(例如:CD - ROM和DVD )、磁光存储介质（例如:MO )、磁存储介质（例如：磁带或移动硬盘）、具有内置的可 重写非易失性存储器的媒体(例如:存储卡)和具有内置ROM的媒体(例如:R0M盒）。
[0084] W上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，应理解的是，W上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在 本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。
【主权项】
1. 一种有监督的多模态脑影像融合方法，其特征在于，所述方法至少包括： 步骤1:计算所述各模态的特征； 步骤2:对所述各模态的特征进行矩阵化和归一化； 步骤3:利用奇异值分解算法，对所述各模态特征进行降维； 步骤4:基于所述步骤S3得到的降维后的各模态特征，同时最大化所述各模态典型变量 之间以及所述典型变量与先验信息之间的相关性平方和，并进行迭代循环，直至收敛； 步骤5:将所述步骤S4得到的各模态成分串联，使用联合独立成分分析算法，计算得到 所述各模态与所述先验信息显著相关的独立成分和混合矩阵，从而实现有监督的多模态脑 影像融合。2. 根据权利要求1所述的方法，其特征在于，所述步骤3具体包括:根据以下公式对各模 态特征进行降维： Yk = XkEk 其中，所述Yk表示降维后的特征矩阵;所述Xk表示被试个数乘以体素个数的特征矩阵； 所述Ek表示包含了前Μ个最大的奇异值对应的特征向量，所述Μ取正整数。3. 根据权利要求2所述的方法，其特征在于，所述同时最大化所述各模态典型变量之间 以及所述典型变量与先验信息之间的相关性平方和的步骤具体包括： 根据以下公式进行最大化处理：其中，在公式(1)中，i取1，在公式⑵中，i = 2......Μ;所述Μ表示融合的成分个数;所述η 表示模态个数;所述wp'O· =1,...,Μ)表示矩阵w的第i列；所述_ ^表示Ak与心的第i列的相关性;所述rf.l表示Ak与先验信息的第i列的相关性;所述A k和所述 幻表示不同模态的典型变量;所述λ表示控制之间权重的正 则化参数以及算法优化的收敛性。4. 根据权利要求3所述的方法，其特征在于，所述最大化处理步骤具体包括： 步骤41:将相关性平方和相对于每一 μ^1}求偏导数，并令之等于〇，得到含有所述 的偏微分方程； 步骤42:设定一初始点，将所述每一m41:)通过所述公式（1)进行迭代更新，并确保所述 相关性平方和的值增加，直至所述相关性平方和收敛，并将此时的作为所述公式(1)的 最优解； 步骤43:将典型相关系数的正交约束作为拉格朗日乘子加入到所述相关性平方和中， 并重复所述步骤41和所述步骤42，得到所述公式(2)的最优解。5. 根据权利要求4所述的方法，其特征在于，所述步骤5具体包括： 根据以下公式得到独立成分和混合矩阵： ff[Cl,C2,---,Cn] = [Sl,S2,---,Sn] Xk=(Ak · W-1) · Sk，k= 1,2, ···，]! 其中，所述[&，C2，…，Cn]为所述步骤S4得到各模态成分的串联;所述S k表示求解得到的 各模态的独立成分;所述Ak · W^1表不混合矩阵。6. 根据权利要求1所述的方法，其特征在于，所述模态包括但不限于静息态功能脑影 像、弥散张量图像和结构磁共振影像。7. 根据权利要求1所述的方法，其特征在于，所述步骤1包括： 对于所述静息态功能脑影像，所述模态特征为分数低频波动振幅特征； 对于所述弥散张量图像，所述模态特征为分数各项异性特征； 对于所述结构磁共振影像，所述模态特征为灰质密度特征。
【文档编号】A61B5/055GK105957047SQ201610296942
【公开日】2016年9月21日
【申请日】2016年5月6日
【发明人】隋婧, 戚世乐
【申请人】中国科学院自动化研究所