基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法
【专利摘要】本发明涉及一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，通过被试在自然场景图像刺激下采集到的fMRI视觉功能数据，训练深度卷积神经网络模型，将其映射到关注目标类别标签上进行模型优化；构造与优化后的深度卷积神经网络对称的深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果优化该模型参数，获得fMRI视觉功能数据到逐像素语义分割结果的映射；采集被试观看测试图像的fMRI视觉功能数据，确定被试关注目标类别和逐像素语义分割结果，分割出关注目标区域和相应目标语义。本发明对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，提高关注目标提取的准确性。
【专利说明】基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法
技术领域
[0001]本发明涉及人机交互fMRI视觉功能数据处理技术领域，特别涉及一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法。
【背景技术】
[0002]视觉信息获取是人类获取外界信息最主要的方式，其解读方法也是神经科学的研究重点。长期以来，大量研究人员从各种不同的角度尝试用计算机模拟和扩展人类视觉功能。而在神经科学领域，一直有一个具有极大吸引力的问题，那就是为什么人脑可以用很少的精力来完成比如物体识别、场景理解等高级视觉任务。近年来，神经影像技术取得了长足的进步，功能磁共振成像(funct1nal Magnetic Resonance Imaging,fMRI)以其非侵入、时空分辨率好等特点成为研究大脑视觉信息处理机制的主要神经影像手段。为了系统研究人脑视觉功能活动，了解人脑对于视觉信息的处理机制，人脑视觉功能脑区的fMRI信号解析技术取得了显著的进展，这些研究也被称为视觉信息编解码技术研究。视觉信息的编码技术，是一种视觉认知正向计算的技术，通过建立视觉计算模型即视觉编码模型，预测任意视觉刺激所能引发的大脑视觉功能的响应。而视觉解码技术则是由测量到的脑功能活动信号恢复出视觉刺激的类别、场景、细节等信息。
[0003]2001年，Haxby等人证明视觉目标的类别信息在腹侧颞叶(ventral temporallobe)分布式地表达，利用该脑区的体素激活模式能够准确地分辨多种目标类别。2003年，Cox等人应用多体素模式分类方法进行十种类别物体的分类。2010年，Chen等人提出基于皮层表面探照灯(Searchlight)的特征选择方法对旋转的乐器、椅子和小船进行了分类。2012年，Connolly等人研究人脑生物种类的表达，对不同的灵长类、鸟类、昆虫进行了分类。尽管现有研究已经能够对于某一类别的图像刺激所引发的fMRI视觉功能数据解析出其所属类另IJ，然而对于被试所关注的目标语义的提取，却没有相应的研究成果。
【发明内容】
[0004]为克服现有技术中的不足，本发明提供一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，能够对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，进一步提升了对于人脑视觉功能的解析能力。
[0005]按照本发明所提供的设计方案，一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，包含如下步骤:
[0006]步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；
[0007]步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络丰吴型；
[0008]步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；
[0009]步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；
[0010]步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。
[0011]上述的，步骤2中反卷积深度网络模型包括反卷积层、反池化层，由根据采集到的被试fMRI视觉功能数据作为输入，刺激图像对应的关注目标语义分割结果作为输出，优化训练模型参数，训练学习各层的反卷积核，反池化层采用深度卷积神经网络中池化层的操作进行上采样，训练获得fMRI视觉功能数据到图像语义分割结果的反卷积深度网络模型。
[0012]本发明的有益效果:
[0013]本发明通过构建卷积神经网络模型模拟自然场景图像到fMRI视觉功能数据的映射关系，利用与其对称的反卷积网络结构训练从fMRI视觉功能数据到关注目标类别语义分割结果的深度网络模型，获得图像中包含在训练类别集合内的各个目标类别语义分割结果，从而提取出图像中关注目标，能够对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，提高关注目标提取的准确性，进一步提升对人脑视觉功能的解析能力。
【附图说明】
:
[0014]图1为本发明的流程示意图。
【具体实施方式】
:
[0015]现有图像数据集(如PascalVOC数据集)中提供标记的图像语义分割结果，另外还可以通过人工标记的方式得到图像语义分割结果;通过这两种方式可以满足网络训练时对图像语义分割结果的需要。
[0016]下面结合附图和技术方案对本发明作进一步详细的说明，并通过优选的实施例详细说明本发明的实施方式，但本发明的实施方式并不限于此。
[0017]实施例一，参见图1所示，一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，包含如下步骤:
[0018]步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；
[0019]步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络丰吴型；
[0020]步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；
[0021 ]步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；
[0022]步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。
[0023]实施例二，参见图1所示，一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，包含如下步骤:
[0024]步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化；
[0025]步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络模型，其中，反卷积深度网络模型包括反卷积层、反池化层，由根据采集到的被试fMRI视觉功能数据作为输入，刺激图像对应的关注目标语义分割结果作为输出，优化训练模型参数，训练学习各层的反卷积核，反池化层采用深度卷积神经网络中池化层的操作进行上采样，训练获得fMRI视觉功能数据到图像语义分割结果的反卷积深度网络模型；
[0026]步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果；
[0027]步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别；
[0028]步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。
[0029]本发明创新性提出构建卷积神经网络模型模拟自然场景图像到fMRI视觉功能数据的映射关系，并利用与其对称的网络结构训练从fMRI视觉功能数据到图像语义分割结果的深度网络模型，获得图像中包含在训练类别集合内的各个目标类别语义分割结果。该方法能够对被试观看自然场景图像时所引发的fMRI视觉功能数据进行解析，提取出刺激图像中所有目标类别并获得语义分割结果，提取出被试在图像中所关注的目标，大大提高关注目标提取的精确度，进一步提升对于人脑视觉功能的解析能力，为基于视觉功能解析的脑机交互应用研究提供进一步的技术支撑。
[0030]本发明并不局限于上述【具体实施方式】，本领域技术人员还可据此做出多种变化，但任何与本发明等同或者类似的变化都应涵盖在本发明权利要求的范围内。
【主权项】
1.一种基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，其特征在于:包含如下步骤: 步骤1、采集被试在自然场景图像刺激下的fMRI视觉功能数据，训练一个由刺激图像到fMRI视觉功能数据的深度卷积神经网络模型，及一个由fMRI视觉功能数据到关注目标类别的线性映射模型，将训练得到的深度卷积神经网络模型映射到线性映射模型上，进行网络模型优化； 步骤2、构造一个与网络模型优化后的深度卷积神经网络对称的反卷积深度网络模型，利用fMRI视觉功能数据及刺激图像相对应的语义分割结果对反卷积深度网络模型进行优化处理，获得fMRI视觉功能数据到逐像素语义分割结果的映射，得到语义分割深度网络模型； 步骤3、采集被试观看测试图像时的fMRI视觉功能数据，通过语义分割深度网络模型，得到图像逐像素语义分割结果； 步骤4、通过关注目标类别的线性映射模型，得到被试图像关注的目标类别； 步骤5、根据步骤3得到的图像逐像素语义分割结果及步骤4中得到的被试图像关注的目标类别，分割出被试关注的目标区域和相应目标语义。2.根据权利要求1所述的基于fMRI视觉功能数据DeconvNet的图像关注目标语义分割方法，其特征在于:步骤2中反卷积深度网络模型包括反卷积层、反池化层，由根据采集到的被试fMRI视觉功能数据作为输入，刺激图像对应的关注目标语义分割结果作为输出，优化训练模型参数，训练学习各层的反卷积核，反池化层采用深度卷积神经网络中池化层的操作进行上采样，训练获得fMRI视觉功能数据到图像语义分割结果的反卷积深度网络模型。
【文档编号】G06K9/62GK106022384SQ201610361766
【公开日】2016年10月12日
【申请日】2016年5月27日
【发明人】闫镔, 王林元, 乔凯, 童莉, 曾颖, 徐夫, 徐一夫, 贺文颉, 张驰, 高辉
【申请人】中国人民解放军信息工程大学