飞行员重要脑区图像处理方法

1.本发明属于图像处理技术领域。


背景技术：

2.人脑是非常复杂的生物系统，拥有上千亿个神经元；神经元之间有复杂的神经纤维在突触连接，形成神经网络和主导各种脑功能的神经环路。在大脑中，每一个想法都会在整个大脑内传送带电的讯号，每一种思想都有其神经通路，它们是客观存在的，思想对身体中每一个细胞都会产生一定的影响。人工智能一直都在仿造人类脑的信息传递、加工方式等形成判断决策。
3.大脑神经网络有一个极有利于适应环境的特性，那就是可塑性。来自环境的刺激，包括与其他人的大脑之间的互动，都不断改变大脑的神经网络。从出生一刻起，大脑就开始探索周边的世界和环境，信息也不断地塑造大脑的结构和功能，使我们能适应环境的需求。神经网络具有高度可塑性，因此，环境引起的电活动可以主导神经网路的增生、巩固和修剪——保存合适有用的连接，剪除冗余无用的连接。所以，经过多年飞行训练的飞行员的成长经历，都储存在神经网络的结构之中，长时间的用进废退塑造了不同的大脑结构和网络连接，形成有利于飞行的性格和认知能力。
4.人脑约有1000亿个神经元，一个神经元能够通过突触与其他平均若干个神经元进行信息传递，形成神经环路和通路。神经递质是在神经元之间传递信息的信使，前一个神经元的轴突末梢的突触释放神经递质到细胞间隙，下一神经元的树突突触的神经递质受体接收到足够强度的神经递质后打开离子通道，调控钠钾等离子通道，将化学信号转化为电信号在神经元内部传递，进而使信息传递下去，产生脑的高级功能。
5.大脑中信息的传递与交流就是这样通过电化信号得以实现。这些电化信号沿大脑纤维(神经轴突)并在接受细胞纤维(神经元树突)的某个特殊节点(神经元突触)聚合，实现信息的传递。多个神经元构成功能不同神经环路。
6.长时间、高强度的训练会导致特定脑区的灰质密度、体积和/或灰质区域表面可变性的改变，也可能导致胼胝体区域白质的量发生改变。因此。可以通过某一职业脑的智慧迁移给人工智能，使得人工智能天然具有某一职业素养。
7.目前的人工智能技术缺乏通用性，任务不同采用的不同模型和学习数据，两种不同的任务无法采用同一套系统进行学习，而人脑却采用同一个信息处理系统进行自动多模态感知、信息整合、问题分析与求解、决策和行为控制等。人工智能是否能够可持续发展，关键在于机器学习的算法是否有突破，从依赖有标记的大数据和高计算能力提升为可以学习不需标记的少量和多模态数据，而且还可以像人脑一样高效节能，这是从专用人工智能转变为通用人工智能的关键。谁能首先研发出这些新一代机器学习的算法，并能在计算器件中实现算法，谁就能在未来人工智能领域抢占先机。
8.卷积网络模仿人类视觉对不同特征在不同的地方处理的特征，用不同的模板提取不同的特征，免去了机器学习人为提取特征的步骤。人类视觉感知处理按照解剖学结构分
为前视皮层处理、初级视皮层处理和高级视皮层处理：前皮层处理包括视网膜处理和外膝体lgn 处理；初级视皮层处理包括soc滤波处理、视皮层第6层处理、视皮层第4层、视皮层第2、 3层的双极细胞；高级视皮层处理包括v4区的表面填充以及v3区的表面轮廓处理。


技术实现要素：

9.本发明的目的是通过提取飞行员脑部图像获取飞行职业脑的特征，进而用来指导自主飞行无人机神经网络算法设计的飞行员重要脑区图像处理方法。
10.本发明利用这些脑区的主要功能和脑区间物理连接、以及信号传递的方向指导无人机自主飞行神经网络设计，其步骤是：s1、找原点的方法：打开飞行员的经过格式转换后的niffit格式的t1结构像，再参考mni152标准图像的原点位置，找准原点位置，在前联合处，记住这个位置，给出一个图像，对准这个位置，把坐标原点放上去；s2、图像的运动校正确定好原点后，前联合与后联合所在的线为y轴，调整飞行员头部的核磁图像角度来校正图像方向，即头运动校正；经过三个角度的旋转，新的坐标与原坐标系坐标之间的关系：新的坐标与原坐标系坐标之间的关系：新的坐标与原坐标系坐标之间的关系：新的坐标与原坐标系坐标之间的关系：新的坐标与原坐标系坐标之间的关系：其中：yaw偏航角；pitch俯仰角；roll滚转角；s3、空间标准化：空间标准化即是一个配准的过程，配准过程中要进行线性和非线性配准 (1)线性配准就是在做仿射变换，是线性操作，仿射变换包括旋转，平移，缩放和错切，三个坐标平面和标准图像的三个坐标平面对照确定旋转、缩放和平移的参数，再应用到图像的变换上(2)非线性配准是在对线性配准后的图像进行扭曲和变形操作，将被试图像的脑沟和其他结构对到同一模板上，非线性配准后不同被试的脑形状和组织形状和解剖位置已经变得一致，即相同空间坐标对应的解剖位置一致；非线性配准主要采用对三个坐标平面
投影变换成二维图像，通过二维图像特征点匹配，确定好变换的参数，再通过矩阵乘法来实现非线性配准；s4、图像分割空间标准化后，进行组织分割成灰质，白质，脑脊液，和剥了头骨的标准化的脑部图像，vbm 处理完成后，结果文件夹中有六个文件，分别是：原图，记录校正信息文件，标准化灰质图，标准化白质图，记录灰质、白质、脑脊液总体积文件，剥头骨&校正&空间标准化后的图；s5、提值对剥脑&标准化校正后的t1图提出各个脑区的值，空间标准化后，脑区都放在标准脑区的各个空间中，这时候提出的每个脑区的值是一个与密度线性相关的值，密度大小说明个体脑区相对标准脑区的体积大小，值大说明这个脑区通过长期的使用而变得发达；提值后得到的文件中每一行是每名飞行员脑区与灰质密度线性相关的值。本发明采集具有多年飞行经历的飞行员在静息状态下的脑部图像，经过脑图区域的处理校正后获得飞行员与普通人差异显著的脑区，以及脑区间的物理连接及信号传递的先后次序，设计出适合无人机飞行的人工神经网络，从而能够使无人机的运行更加接近飞行人员操作形态，增加了无人机的精准飞行状态，并解决现有网络的鲁棒性、迁移性、常识性，带标签的样本量大等问题。
附图说明
11.图1是结构像分析过程；图2是mni152标准脑模板；图3是原点位置图；图4是头动校正示意图；图5是线性配准示意图；图6是线性配准和非线性配准图像对照图；图7是标准化示意图；图8是组织分割示意图；图9是组织分割结果文件夹中的文件示意图；图10是与普通人比较飞行员脑区变化排序图；图11是三个特征值和特征向量图；图12是扩散张量的标量指标图；图13是各个张量指标图像图；图14是纤维跟踪结果的冠状位、矢状位、轴状位图；图15是随机取2个被试的120个脑区彼此之间的纤维连接的连接矩阵图；图16是平均连接矩阵图；图17是神经网络示意图；图18是aal2飞行员重要脑区的网络连接图；图19是一个卷积模板的计算实施；图20是三个卷积模版计算方法；
图21是池化实施；图22是激活函数图。
具体实施方式
12.本发明主要思路是：通过对目前最先进的脑科学研究手段——头部核磁成像的t1序列结构像；弥散谱成像dsi；asl；fmri；dwi；
……
等序列图像处理与分析获取尖子飞行员的脑结构与认知、功能的特征，来指导无人机自主飞行与作战的深度神经网络的设计，也就是飞行类脑的智能设计。本发明利用这些脑区的主要功能和脑区间物理连接、以及信号传递的方向指导无人机自主飞行神经网络设计。
13.要建立能够执行飞行认知任务且能解释大脑信息加工过程的计算模型，必须弄明白大脑信息处理的数学原理与计算模式。大脑的结构和功能机制中尚有大量信息没有被挖掘，蕴涵着巨大的可能性，神经外科技术在脑科学研究中的应用日趋成熟，人类对于脑认知功能的神经环路结构与功能、大脑感知与认知功能的信息处理机制等的脑科学相关情况的了解的不断深入与持续积累，脑科学与人工智能研究已经越走越近，两者互相借鉴与融合，有望推动新一轮智能技术革命。
14.实验设计通过飞行员及对照组大脑t1序列数据的灰质特征分析，使用基于体素的形态学测量分析——vbm(voxel-based morphometry)方法，再利用“提值”的方法分析出飞行员与普通人的大脑t1序列数据相比，来研究飞行员在与视觉、运动、躯体感觉、视觉空间加工及情绪管理能力等相关的脑区模型具有特殊的群体特征。作为设计不同功能神经网络特征模型的依据。
15.一、图像特征提取t1序列核磁扫描图像是分别对xyz三个轴方向分层扫描得到一系列图像，通过软件可以重建成一个大脑，即一个被试的某一序列的扫描图像的三维结构。对于t1结构像的常规实验做法是获取尖子飞行员与普通人脑结构核磁数据后，再通过一般线性模型进行统计分析，找出他们具有显著差异的脑区，所设计实验的流程为：图像检查，格式转换，确定原点，头动校正，空间标准化到公共模板，组织分割，提取出各脑区体素值，得到尖子飞行员职业脑的脑区灰质体积变化图。
16.使用的软件：matlab2013和spm8；实验数据：296名40岁以上多年飞行经验飞行员的头部核磁图像结构像；实验中参数选择：tissue probability map：tpm.nii； darteltemplate:mni152；公共模板的作用是确定一个公共坐标空间，以让不同的脑在该坐标空间下，相同的坐标位置对应的组织结构基本一致，它通过了152个人脑t1扫描图像的平均处理，国际上流行的头部核磁图像处理软件cat，fsl，spm都有用mni空间作为标准模板。
17.1.找原点找原点的方法：打开飞行员的经过格式转换后的niffit格式的t1结构像，再参考mni152找准原点位置，在前联合处。如图3的十字交叉处。记住这个位置，给出一个图像，对准这个位置，把坐标原点放上去。
18.2.图像的运动校正确定好原点后，前联合与后联合所在的线为y轴，调整飞行员头部的核磁图像角度来校正图像方向，即头运动校正。就是把头部核磁图像放在标准的坐标系中，以便后面用统
一的方法进行特征分析。
19.yaw偏航角pitch俯仰角roll滚转角经过三个角度的旋转，新的坐标与原坐标系坐标之间的关系新的坐标与原坐标系坐标之间的关系新的坐标与原坐标系坐标之间的关系新的坐标与原坐标系坐标之间的关系
20.3.空间标准化空间标准化即是一个配准的过程，配准过程中要进行线性和非线性配准。
21.(1)线性配准就是在做仿射变换，是线性操作。仿射变换包括旋转，平移，缩放和错切等。仿射变换是对图像整体进行操作，所以只能匹配整体的位置和大小，所以配准后的脑在形状和组织位置上还有较大差异。
22.仿射变换包括旋转、平移和缩放。三个坐标平面和标准图像的三个坐标平面对照确定旋转、缩放和平移的参数，再应用到图像的变换上。
23.非线性配准是在对线性配准后的图像进行扭曲和变形(warping,deforming)操作，将被试图像的脑沟和其他结构尽量对到同一模板上，使其与模板尽可能的像。操作过程由最优化理论和一些平滑度量控制，目标是最小化平方误差函数。非线性配准后不同被试的脑形状和组织形状和解剖位置已经变得非常相似——相同空间坐标对应的解剖位置基本一致。
24.非线性配准主要采用对三个坐标平面投影变换成二维图像，通过二维图像特征点匹配，确定好变换的参数，再通过矩阵乘法来实现非线性配准。
25.空间配准，表面上看都是一样的，但是还有一个记录每个脑区相对密度的值，是可换算为密度、体积的数值。
26.4.图像分割
空间标准化后，进行组织分割成灰质，白质，脑脊液，和剥了头骨的标准化的脑。vbm处理完成后，结果文件夹中有六个文件，分别是：原图，记录校正信息文件，标准化灰质图，标准化白质图，记录灰质、白质、脑脊液总体积文件(单位：立方厘米)，剥头骨&校正&空间标准化后的图。
27.前缀为wmr被试名剥脑&标准化t1图，为了减少误差本课题实验中使用了前缀为 wmr的数据。
28.5.提值对剥脑&标准化校正后的t1图提出各个脑区的值，因为空间标准化后，脑区都放在标准脑区的各个空间中，这时候提出的每个脑区的值是一个与密度线性相关的值。密度大小说明个体脑区相对标准脑区的体积大小，值大说明这个脑区通过长期的使用而变得发达。
29.提值后得到的文件中每一行是每名飞行员116个脑区与灰质密度线性相关的值，表 1是文件打开后截取的一部分数值，通过这些值可以的算出相应脑区的体积变化，所以可以说应用这些值的大小可以求出飞行训练对某一脑区影响的大小，对不同地区飞行员各个脑区相对相对密度值求平均再排序，即可得到该地区飞行员飞行训练对各个脑区的影响大小的排序。对所有飞行员各个脑区相对密度值求平均，得到所有飞行员116个脑区的相对密度值，值的大小代表着与普通人比较飞行员该脑区体积随着飞行训练而变化的大小如图10。
30.表1提值后结果
31.图10中横轴为116个灰质脑区的编号，纵轴为尖子飞行员通过长期飞行训练塑造的脑相对于普通人脑的变化程度的大小，大于零的部分为脑区体积增大的部分，值越大，体积增大的程度越大。通过这个排序进而得到飞行员的飞行相关的品质。
32.按照排序先后，并对功能相近脑区整合，得出飞行员的飞行相关品质：依据脑区体积增大的程度顺序，再通过脑区主要功能来得出飞行员认知与行为的主要特征。由强到弱排序的主要飞行品质为：
①
身体调控与运动机能；
②
心理建设与情绪处理
③
多觉联动与态势感知
④
视觉分辨与空间定位
⑤
精细动作与信息处理
⑥
学习理解与情景记忆
⑦
目标识别与判断决策
⑧
高级认知与自我评价。
33.二、扩散磁共振成像的连接分析1.成像原理
假设水分子的扩散符合三维高斯分布，通过推导，就得到了如下公式，d是3
×
3的对称矩阵，正定矩阵d就是张量矩阵。量矩阵。其中：特征值λ1≥λ2≥λ3，如图11所示，特征向量 vi⊥
vj，i≠j。
34.2.扩散张量的相关标量指标扩散张量的相关标量指标之间的关系示意如图12所示。
35.①
平均扩散系数(mean diffusivity，md)
②
分数各向异性(fractional anisotropy，fa)
③
轴向扩散系数(axial diffusion，ad)ad＝λ1④
横向扩散系数(radial diffusivity，rd)各个指标的图像如图13所示。
36.3.实验分析过程
①
数据准备把采集到74名40岁以上多年飞行经验的飞行员头部核磁图像dicom文件中dsi图像挑出来，然后格式转换——dicom to nifti。
37.转换后每个文件夹同时包含三个文件：“.bval”文件、“.bvec文件”和“.nii.gz 文件”。“.bval”文件里面存放的是每个扫描方向的b值，一般第一个b＝0，后面的b常见的有1000，2400等；“.bvec文件”里面存放是每个扫描方向的x,y,z方向向量，三个方向的平方和应该为1。
38.②
纤维跟踪结果，如图14所示。
39.③
脑区间的纤维连接情况的连接矩阵，如图15所示。
40.74人连接矩阵取平均得到的平均连接矩阵，如图16所示。
41.三、对深度神经网络设计的启示
人工智能网络就是模仿人脑设计出来的。设计分为网络结构设计、算法设计和网络训练过程设计。智能网络就是由若干个输入层节点，输出层节点和若干层隐含层节点构成的(如图17)。
42.把飞行员变化程度突出的脑区之间的连接矩阵用连线图表示出来，得到脑区间的逻辑关系。
43.人工神经网络最终的发展方向是对全脑的模拟，就目前cnn(convolutional neuralnetwork)来说，它是受生物视觉系统的启示，模拟大脑多个层级的信息处理模式，cnn是当前计算机视觉领域运用最多的卷积神经网络，依据不同的目的，可以取出图18中的部分作为人工神经网络，若按照cnn网络对前面的图组织梳理，可把左右丘脑作为输入节点，后续节点按照权重大小分层。
44.完整的cnn一般有卷积层，池化层，传输层，全连接层等构成。依据是人类视觉眼朝向柱：对相似角度的线条和边缘有优先反应的神经元群组成朝向柱。每一柱中的所有皮层细胞作为一个功能模块，对来自视野中某一位置的输入进行处理，并将处理后的信息传递到其他区域。不同的卷积模版运算后获得不同的特征，用于后面的计算。对于已知功能的节点仿造人脑固定一些滤波器，可减少运算量，提高准确率。
45.四、算法设计
①
特征提取算法(卷积模版)设计思路。不同的卷积模版运算后获得不同的特征，用于后面的计算。对于已知功能的节点仿造人脑固定一些滤波器，可减少运算量，提高准确率。
46.②
设计简化抽取即多个神经元化为一个节点的算法(池化示意如下图，如图21所示，采用抽取区域最大数方法，即保留特征最大值。)
47.设计神经元激活函数。为避免梯度爆炸和计算的复杂性，采用relu函数作为传输的激活函数。
48.五、可视化设计环境神经网络的可视化，主要在输入输出，权值，激活函数，池化等操作的可视化。在设计的时候可以用一些可视化的方法，来直观的看到设计的网络的数据的运行过程，方便快速调整网络设计，可以帮助加快设计过程。常用方法有以下几个：
①
tensorflow-playground是一个图形化用于教学目的的简单神经网络在线演示、实验的平台，非常强大的可视化神经网络结构及网络训练过程。http://playground.tensorflow.org
49.②
为了更加方便tensor flow程序员的理解、调试与优化，google发布了一套叫tensor board的集成可视化工具。可以用tensor board展现tensor flow图像，绘制图像生成的定量指标图以及附加数据。https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tensorboard
50.③
netscope支持caffe的神经网络结构在线可视化工具。
51.④
深度卷积网络是图像处理领域常用的神经网络，深度卷积网络在很多模式识别
任务中取得了很大的性能突破，高质量深度模型依赖于大量的尝试，应用可视化分析系统cnnvis可以帮助更好地理解、分析、设计深度卷积网络。http://shixialiu.com/publications/cnnvis/demo/towardsbetteranalysisofdeepconvolutionalneuralnetworksbyvisualgroupoftsinghuauniversity
52.⑤
deep-visualization-toolboxhttps://github.com/yosinski/deep-visualization-toolbox
53.⑥
也可以自己写程序，做一个界面，每隔一秒或者若干时间周期，对训练中的神经网络神经元的输出的变量，权值的变量，中间结果等进行显示。