基于卷积神经网络的视网膜OCT异常图像分类方法与流程

文档序号:18237899发布日期:2019-07-24 08:49阅读:582来源:国知局
基于卷积神经网络的视网膜OCT异常图像分类方法与流程

本发明涉及基于卷积神经网络的视网膜OCT异常图像分类方法,属于医学图像处理与模式识别领域。



背景技术:

脉络膜新生血管(Choroidal Neovascularization,CNV)又称视网膜下新生血管,它是指来自脉络膜毛细血管的增殖血管,通过Bruch膜的裂口而扩展,在Bruch膜与视网膜色素上皮之间、神经视网膜与视网膜色素上皮之间、或者视网膜色素上皮与脉络膜之间增殖形成。目前,脉络膜新生血管已经成为导致视力丧失的主要原因之一。糖尿病性黄斑水肿(Diabetic Macular Edema,DME)是指由于糖尿病引起的黄斑中心凹一个视盘直径范围内的细胞外液积聚所导致的视网膜增厚或者硬性渗出沉积。随着我国人民生活水平的不断提高,人口老龄化现象日益突出,糖尿病患者群体持续扩大,糖尿病性黄斑水肿已经成为糖尿病患者视力损害的最常见原因。玻璃膜疣是一种胶样或者透明的小体,它是由色素上皮细胞异常代谢产物在视网膜上的异常沉积所导致。玻璃膜疣多见于老年人,一般双眼对称。需要特别指出的是,脉络膜新生血管、糖尿病性黄斑水肿和玻璃膜疣的确诊不能够通过单一的技术手段来完成,它往往需要眼科医生结合患者的既往病史、临床表现、多种模态的医学影像等综合因素做出决断。

脉络膜新生血管出现的早期,无自觉症状。随着其逐渐扩大、渗漏和破裂出血,可导致视力减退、视物变形,出现中心或者旁中心暗点。症状反复发作者,黄斑部会受到严重破坏,造成永久性视力障碍。荧光素眼底血管造影(Fluorescein Fundus Angiography,FFA)、吲哚青绿血管造影(Indocyanine Green Angiography,ICGA)和光学相干断层扫描(Optical Coherence Tomography,OCT)是用于检查脉络膜新生血管的3种重要辅助手段,它们各有利弊、相互补充。FFA是检查脉络膜新生血管最有价值的一种手段。在FFA的早期即脉络膜期,可以辨认脉络膜新生血管的形态,呈花边状或者单车轮状图形,或者呈扇形向周边扩展。在FFA的静脉期,荧光素从新生血管壁向外渗漏,形成局限性强荧光区。到了FFA的晚期,荧光素从新生血管膜的边缘缓慢扩散进入视网膜神经上皮脱离区。在脉络膜新生血管成像方面,ICGA与FFA相比,有着显著的优越性。那些被血液或者其他混浊液体阻挡的脉络膜新生血管以及在FFA中难以呈现的隐匿性新生血管往往在ICGA中很容易被看到。而通过观察视网膜OCT灰度图像,不但可以很直观地看清楚视网膜的组织结构,还可以捕捉到脉络膜新生血管的变化情况。眼科医生只有在充分考虑临床表现和仔细阅览FFA,ICGA,OCT等多种模态的医学影像以后,才能够得出是否存在脉络膜新生血管的评估结论。

糖尿病性视网膜病变主要有2种形式:(1)视网膜缺氧,它可以导致血管不正常增生;(2)视网膜渗漏,严重时还会导致视网膜中心出现水肿,即糖尿病性黄斑水肿。据有关统计资料显示,在糖尿病患者中,大约有10%–15%存在糖尿病性黄斑水肿,而在糖尿病史达30年及以上的患者中,更有高达30%存在糖尿病性黄斑水肿。美国早期治疗糖尿病性视网膜病变研究小组(Early Treatment Diabetic Retinopathy Study,ETDRS)定义了具有临床意义的糖尿病性黄斑水肿至少需要满足以下具体标准中的1项:(1)在距离黄斑中心小于等于500微米的区域范围内,存在视网膜水肿增厚;(2)在距离黄斑中心小于等于500微米的区域范围内,存在硬性渗出,并且伴有邻近视网膜增厚;(3)至少有1个视盘直径范围的视网膜增厚,并且其任何部位病变距离黄斑中心均在1个视盘直径范围内。眼科医生需要通过既往病史询问、眼部检查、FFA和OCT查看以及快速血糖检查、糖耐量试验、视网膜电图(Electroretinogram,ERG)查看等一系列流程,才能够得出是否存在糖尿病性黄斑水肿的评估结论。既往病史询问主要是向病人了解是否近期做过内眼手术、是否患有糖尿病、以前是否患过葡萄膜炎或者发生过眼部感染、是否有夜盲或者其他眼病家族史、是否有包括局部使用肾上腺素、地匹福林等药物在内的用药史。眼部检查一般是采用裂隙灯结合三面镜、前置镜或者眼科用60/90D透镜检查黄斑部,并通过压迫巩膜对周边眼底进行必要的评估。至于FFA查看,主要是在FFA的早期观察黄斑中心凹周围毛细血管是否有荧光渗漏,在FFA的晚期观察黄斑部是否有荧光染色。至于OCT查看,主要是观察视网膜是否有板层和全层裂孔形成,以及测量黄斑水肿的厚度、面积、体积等。

同样,对于是否存在玻璃膜疣,需要由眼科医生通过临床视力检查、眼底检查、FFA和OCT查看、ERG和眼电图(Electrooculogram,EOG)查看等一系列流程,才能够得出评估结论。

综上所述,以黄斑为中心的视网膜OCT灰度图像不能直接用于眼科疾病的诊断与检测。然而,它可以作为确定视网膜是否正常的佐证材料。借助计算机进行视网膜OCT异常图像分类,把分类结果作为第二医疗意见提供给眼科医生。因此,采用模式识别、机器学习、医学图像处理等先进计算机应用技术的视网膜OCT异常图像分类虽然不能够彻底地或者完全地替代眼科医生,但是它在一定程度上可以使眼科医生降低劳动强度和提高工作效率。然而,现有的视网膜OCT异常图像分类方法普遍存在效果欠佳、适应性差、可分类数少等不足。



技术实现要素:

为了克服现有视网膜OCT异常图像分类方法存在的不足,本发明提出基于卷积神经网络的视网膜OCT异常图像分类方法,该方法在分类效果、适应性、可分类数等方面有着显著优势,有助于眼科医生降低劳动强度和提高工作效率。

本发明所述的视网膜OCT异常图像分类方法采用如下技术方案实现,包括以下步骤:

预处理步骤,基于待分类的视网膜OCT灰度图像数据进行缩放处理和规则化处理,以获得关于待分类视网膜OCT灰度图像的三阶张量X;

分类运算步骤,将所述预处理步骤获得的三阶张量X输入至卷积神经网络中,利用四阶权重张量集合W、权重列向量集合q、偏移列向量集合p进行前向传播运算,得到分类概率行向量y;

判断类型步骤,将所述分类概率行向量中数值最大的元素对应的类型作为待分类的视网膜OCT灰度图像的类型;

所述分类概率行向量y∈R1×4,其四个元素分别与存在脉络膜新生血管的视网膜OCT灰度图像、存在糖尿病性黄斑水肿的视网膜OCT灰度图像、存在玻璃膜疣的视网膜OCT灰度图像、正常视网膜OCT灰度图像对应。

作为优选,所述卷积神经网络的训练方法包括:样本预处理步骤,基于m幅存在脉络膜新生血管的视网膜OCT灰度图像数据样本、m幅存在糖尿病性黄斑水肿的视网膜OCT灰度图像数据样本、m幅存在玻璃膜疣的视网膜OCT灰度图像数据样本、m幅正常视网膜OCT灰度图像数据样本进行缩放处理和规则化处理,以获得对应于m幅存在脉络膜新生血管的视网膜OCT灰度图像数据样本的三阶张量集合A={A1,A2,…,Am}、对应于m幅存在糖尿病性黄斑水肿的视网膜OCT灰度图像数据样本的三阶张量集合B={B1,B2,…,Bm}、对应于m幅存在玻璃膜疣的视网膜OCT灰度图像数据样本的三阶张量集合C={C1,C2,…,Cm}、对应于m幅正常视网膜OCT灰度图像数据样本的三阶张量集合D={D1,D2,…,Dm};样本训练步骤,将A1,A2,…,Am,B1,B2,…,Bm,C1,C2,…,Cm,D1,D2,…,Dm输入到卷积神经网络中训练以得到所述四阶权重张量集合W、所述权重列向量集合q、所述偏移列向量集合p。

作为优选,所述卷积神经网络包括神经网络层以及跳接模块;所述神经网络层包括卷积单元、批标准化单元、激活单元,所述卷积单元利用所述四阶权重张量集合W中的对应四阶权重张量作为卷积核对该神经网络层的输入进行卷积操作以后输出至所述批标准化单元,所述批标准化单元利用所述权重列向量集合q中的对应权重列向量和所述偏移列向量集合p中的对应偏移列向量对输入数据进行批标准化操作以后输出至所述激活单元,所述激活单元对输入数据去负值以后输出;所述跳接模块用于将某一神经网络层的输出导出至该神经网络层之后的第三个神经网络层的激活单元的输入端。

作为优选,所述跳接模块包括卷积单元、批标准化单元,所述卷积单元利用所述四阶权重张量集合W中的对应四阶权重张量对所述跳接模块的输入进行卷积操作以后输出至所述批标准化单元,所述批标准化单元利用所述权重列向量集合q中的对应权重列向量和所述偏移列向量集合p中的对应偏移列向量对输入数据进行批标准化操作以后输出。

作为优选,所述卷积神经网络包括由上至下依次设置的第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层以及分类层。

作为优选,所述第一卷积层包括一个所述神经网络层,所述神经网络层的卷积单元采用64×3×7×7的卷积核进行卷积操作。

作为优选,所述第二卷积层包括3个第二神经网络层组;所述第三卷积层包括4个第三神经网络层组;所述第四卷积层包括6个第四神经网络层组;所述第五卷积层包括3个第五神经网络层组。

作为优选,所述第二神经网络层组由3个所述神经网络层组成,其中最上层的神经网络层的卷积单元分别采用64×64×1×1的卷积核,64×64×3×3的卷积核,256×64×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用64×256×1×1的卷积核,64×64×3×3的卷积核,256×64×1×1的卷积核执行相应的卷积操作;

所述第三神经网络层组由3个所述神经网络层组成,其中最上层的神经网络层的卷积单元分别采用128×256×1×1的卷积核,128×128×3×3的卷积核,512×128×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用128×512×1×1的卷积核,128×128×3×3的卷积核,512×128×1×1的卷积核执行相应的卷积操作;

所述第四神经网络层组由3个所述神经网络层组成,其中最上层的神经网络层的卷积单元分别采用256×512×1×1的卷积核,256×256×3×3的卷积核,1024×256×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用256×1024×1×1的卷积核,256×256×3×3的卷积核,1024×256×1×1的卷积核执行相应的卷积操作;

所述第五神经网络层组由3个所述神经网络层组成,其中最上层的神经网络层的卷积单元分别采用512×1024×1×1的卷积核,512×512×3×3的卷积核,2048×512×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用512×2048×1×1的卷积核,512×512×3×3的卷积核,2048×512×1×1的卷积核执行相应的卷积操作。

作为优选,所述第二卷积网络层还包括池化层;所述池化层,包括卷积单元、批标准化单元、激活单元、最大池化单元,所述卷积单元利用所述四阶权重张量集合W中的对应四阶权重张量作为卷积核对所述第二卷积网络层的输入进行卷积操作以后输出至所述批标准化单元,所述批标准化单元利用所述权重列向量集合q中的对应权重列向量和所述偏移列向量集合p中的对应偏移列向量对输入数据进行批标准化操作以后输出至所述激活单元,所述激活单元对输入数据进行最大池化以后输出至所述第二卷积网络层的第一个神经网络层组的输入端。

作为优选,所述样本训练步骤包括:基于输入数据由所述卷积神经网络的低卷积层向高卷积层传播以得输出值,并且基于所述输出与目标值之间的误差进行由所述卷积神经网络的高卷积层向低卷积层传播以更新所述四阶张量集合W、所述权重列向量集合q和所述偏移列向量集合p。

本发明具有如下有益效果:

1.本发明的视网膜OCT异常图像分类方法,能够将输入的未知类型的视网膜OCT灰度图像分类为存在脉络膜新生血管的视网膜OCT灰度图像、存在糖尿病性黄斑水肿的视网膜OCT灰度图像、存在玻璃膜疣的视网膜OCT灰度图像、正常视网膜OCT灰度图像。分类精确,贴合眼科医生的使用实际,有助于眼科医生降低劳动强度和提高工作效率。

2.基于卷积神经网络分类模型,分类精度高、训练运算量小、收敛性好。

附图说明

图1是基于卷积神经网络的视网膜OCT异常图像分类方法的基本流程图;

具体实施方式

在对多种视网膜OCT灰度图像进行实验分析的基础上,本发明提出了基于卷积神经网络的视网膜OCT异常图像分类方法,该方法可以有效区分视网膜OCT灰度图像是否存在异常。

下面结合附图和具体实施方式对本发明作进一步的详细描述。

如图1所示,本实施例基于卷积神经网络的视网膜OCT异常图像分类方法包括步骤:

一.预处理步骤

基于待分类的视网膜OCT灰度图像数据进行缩放处理和规则化处理,以获得关于待分类视网膜OCT灰度图像的三阶张量X。具体包括:

(一)样本预处理步骤

采用双线性插值算法把m幅存在脉络膜新生血管的视网膜OCT灰度图像数据样本、m幅存在糖尿病性黄斑水肿的视网膜OCT灰度图像数据样本、m幅存在玻璃膜疣的视网膜OCT灰度图像数据样本、m幅正常视网膜OCT灰度图像数据样本都统一缩放成高度和宽度均为224个像素点的灰度图像样本,经过统一缩放处理以后的m幅存在脉络膜新生血管的视网膜OCT灰度图像数据样本分别记为a1,a2,…,am;经过统一缩放处理以后的m幅存在糖尿病性黄斑水肿的视网膜OCT灰度图像数据样本分别记为b1,b2,…,bm;经过统一缩放处理以后的m幅存在玻璃膜疣的视网膜OCT灰度图像数据样本分别记为c1,c2,…,cm;经过统一缩放处理以后的m幅正常视网膜OCT灰度图像数据样本分别记为d1,d2,…,dm。

分别对a1,a2,…,am;b1,b2,…,bm;c1,c2,…,cm;d1,d2,…,dm进行规则化处理,得到4m个三阶张量。其中,a1,a2,…,am对应的m个三阶张量分别记为A1,A2,…,Am∈R3×224×224;b1,b2,…,bm对应的m个三阶张量分别记为B1,B2,…,Bm∈R3×224×224;c1,c2,…,cm对应的m个三阶张量分别记为C1,C2,…,Cm∈R3×224×224;d1,d2,…,dm对应的m个三阶张量分别记为D1,D2,…,Dm∈R3×224×224。从而获得对应于m幅存在脉络膜新生血管的视网膜OCT灰度图像数据样本的三阶张量集合A={A1,A2,…,Am}、对应于m幅存在糖尿病性黄斑水肿的视网膜OCT灰度图像数据样本的三阶张量集合B={B1,B2,…,Bm}、对应于m幅存在玻璃膜疣的视网膜OCT灰度图像数据样本的三阶张量集合C={C1,C2,…,Cm}、对应于m幅正常视网膜OCT灰度图像数据样本的三阶张量集合D={D1,D2,…,Dm}。

(二)样本训练步骤:将A1,A2,…,Am,B1,B2,…,Bm,C1,C2,…,Cm,D1,D2,…,Dm输入到卷积神经网络中训练以得到所述四阶权重张量集合W、所述权重列向量集合q、所述偏移列向量集合p。

本实施例的卷积神经网络由多个神经网络层以及多个跳接模块组成。分为上至下依次设置的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层以及分类层。其中,第一卷积层包括1个神经网络层;第二卷积层包括3个第二神经网络层组,各第二神经网络层组进一步由3个神经网络层组成;第三卷积层包括4个第三神经网络层组,各第三神经网络层组进一步由3个神经网络层组成;第四卷积层包括6个第四神经网络层组,各第四神经网络层组进一步由3个神经网络层组成;第五卷积层包括3个第五神经网络层组,各第五神经网络层组进一步由3个神经网络层组成。神经网络层包括卷积单元、批标准化单元、激活单元,卷积单元利用对该神经网络层的输入进行卷积操作以后输出至批标准化单元;批标准化单元利用对输入数据进行批标准化操作以后输出至激活单元;激活单元对输入数据去负值以后输出。跳接模块用于将某一神经网络层的输出导出至该神经网络层之后的第三个神经网络层的激活单元的输入端。

第一卷积层的神经网络层的卷积单元采用64×3×7×7的卷积核进行卷积操作。第二神经网络层组由3个神经网络层组成,其中最上层的神经网络层的卷积单元分别采用64×64×1×1的卷积核,64×64×3×3的卷积核,256×64×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用64×256×1×1的卷积核,64×64×3×3的卷积核,256×64×1×1的卷积核执行相应的卷积操作。第三神经网络层组由3个神经网络层组成,其中最上层的神经网络层的卷积单元分别采用128×256×1×1的卷积核,128×128×3×3的卷积核,512×128×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用128×512×1×1的卷积核,128×128×3×3的卷积核,512×128×1×1的卷积核执行相应的卷积操作。第四神经网络层组由3个神经网络层组成,其中最上层的神经网络层的卷积单元分别采用256×512×1×1的卷积核,256×256×3×3的卷积核,1024×256×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用256×1024×1×1的卷积核,256×256×3×3的卷积核,1024×256×1×1的卷积核执行相应的卷积操作。第五神经网络层组由3个神经网络层组成,其中最上层的神经网络层的卷积单元分别采用512×1024×1×1的卷积核,512×512×3×3的卷积核,2048×512×1×1的卷积核执行相应的卷积操作,其余各神经网络层的卷积单元分别采用512×2048×1×1的卷积核,512×512×3×3的卷积核,2048×512×1×1的卷积核执行相应的卷积操作。

样本训练步骤中,基于输入数据由所述卷积神经网络的低卷积层向高卷积层传播以得输出值,并且基于所述输出与目标值之间的误差进行由所述卷积神经网络的高卷积层向低卷积层传播以更新所述四阶张量集合W、所述权重列向量集合q和所述偏移列向量集合p。

具体训练过程为:

把A1,A2,…,Am,B1,B2,…,Bm,C1,C2,…,Cm和D1,D2,…,Dm一起传送到上述卷积神经网络中进行训练学习,得到54个四阶权重张量Wβ,54个权重列向量qu,55个偏移列向量pv和1个权重矩阵W6

其中,

上标β=102,112,122,103,104,113,123,111,121,202,212,222,232,203,213,223,233,211,221,231,302,312,322,332,342,352,303,313,323,333,343,353,311,321,331,341,351,402,412,422,403,413,423,411,421,101,201,204,301,304,401,404,0,5。

上标u=0,101,102,111,112,121,122,201,202,211,212,221,222,231,232,103,104,113,123,301,302,311,312,321,322,331,332,341,342,351,352,203,204,213,223,233,401,402,411,412,421,422,303,304,313,323,333,343,353,403,404,413,423,5。

上标v=0,101,102,111,112,121,122,201,202,211,212,221,222,231,232,103,104,113,123,301,302,311,312,321,322,331,332,341,342,351,352,401,402,203,204,213,223,233,411,412,421,422,303,304,313,323,333,343,353,403,404,413,423,5,6。

二.分类运算步骤

将所述预处理步骤获得的三阶张量X输入至卷积神经网络中,利用四阶权重张量集合W、权重列向量集合q、偏移列向量集合p进行前向传播运算,得到分类概率行向量y∈R1×4

本实施例的图像分类阶段,采用双线性插值算法把未知类别视网膜OCT灰度图像缩放成高度和宽度均为224个像素点的灰度图像,经过缩放处理以后的未知类别视网膜OCT灰度图像记为x。对x进行规则化处理,得到三阶张量X∈R3×224×224。把X传送到已经完成训练学习的卷积神经网络中,利用训练得到的54个四阶权重张量Wβ,54个权重列向量qu,55个偏移列向量pv和1个权重矩阵W6进行前向传播运算,得到分类概率行向量y∈R1×4

三.判断类型步骤

将所述分类概率行向量中数值最大的元素对应的类型作为待分类的视网膜OCT灰度图像的类型。所述分类概率行向量y∈R1×4,其四个元素分别与存在脉络膜新生血管的视网膜OCT灰度图像、存在糖尿病性黄斑水肿的视网膜OCT灰度图像、存在玻璃膜疣的视网膜OCT灰度图像、正常视网膜OCT灰度图像对应。

具体的,比较y的四个元素y1,y2,y3,y4之间的大小关系,如果满足y1≥y2,y1≥y3并且y1≥y4,那么把x归类为存在脉络膜新生血管的视网膜OCT灰度图像,如果满足y2≥y1,y2≥y3并且y2≥y4,那么把x归类为存在糖尿病性黄斑水肿的视网膜OCT灰度图像,如果满足y3≥y1,y3≥y2并且y3≥y4,那么把x归类为存在玻璃膜疣的视网膜OCT灰度图像,如果满足y4≥y1,y4≥y2并且y4≥y3,那么把x归类为正常视网膜OCT灰度图像,其中y1为y的第1个元素,y2为y的第2个元素,y3为y的第3个元素,y4为y的第4个元素。

作为优选,前述样本预处理步骤中对视网膜OCT灰度图像进行规则化处理包括以下步骤:

SS201.把每一个ai视为一个数据矩阵把每一个bi视为一个数据矩阵把每一个ci视为一个数据矩阵把每一个di视为一个数据矩阵其中下标i表示样本序号,i=1,2,…,m;

SS202.把中的每一个元素都先减去0.485,然后再除以0.229,得到另一个数据矩阵把中的每一个元素都先减去0.485,然后再除以0.229,得到另一个数据矩阵把中的每一个元素都先减去0.485,然后再除以0.229,得到另一个数据矩阵把中的每一个元素都先减去0.485,然后再除以0.229,得到另一个数据矩阵其中下标i表示样本序号,i=1,2,···,m;

SS203.把中的每一个元素都先减去0.456,然后再除以0.224,得到另一个数据矩阵把中的每一个元素都先减去0.456,然后再除以0.224,得到另一个数据矩阵把中的每一个元素都先减去0.456,然后再除以0.224,得到另一个数据矩阵把中的每一个元素都先减去0.456,然后再除以0.224,得到另一个数据矩阵其中下标i表示样本序号,i=1,2,···,m;

SS204.把中的每一个元素都先减去0.406,然后再除以0.225,得到另一个数据矩阵把中的每一个元素都先减去0.406,然后再除以0.225,得到另一个数据矩阵把中的每一个元素都先减去0.406,然后再除以0.225,得到另一个数据矩阵把中的每一个元素都先减去0.406,然后再除以0.225,得到另一个数据矩阵其中下标i表示样本序号,i=1,2,···,m;

SS205.为每一个ai构建一个三阶张量Ai∈R3×224×224,用更新Ai沿着模式1方向的第1个切片,即为每一个bi构建一个三阶张量Bi∈R3×224×224,用更新Bi沿着模式1方向的第1个切片,即为每一个ci构建一个三阶张量Ci∈R3×224×224,用更新Ci沿着模式1方向的第1个切片,即为每一个di构建一个三阶张量Di∈R3×224×224,用更新Di沿着模式1方向的第1个切片,即其中Ai(1,:,:),Bi(1,:,:),Ci(1,:,:)和Di(1,:,:)分别为Ai,Bi,Ci和Di沿着模式1方向的第1个切片,即Ai,Bi,Ci和Di的第1个水平切片,下标i表示样本序号,i=1,2,···,m;

SS206.用更新Ai沿着模式1方向的第2个切片,即用更新Bi沿着模式1方向的第2个切片,即用更新Ci沿着模式1方向的第2个切片,即用更新Di沿着模式1方向的第2个切片,即其中Ai(2,:,:),Bi(2,:,:),Ci(2,:,:)和Di(2,:,:)分别为Ai,Bi,Ci和Di沿着模式1方向的第2个切片,即Ai,Bi,Ci和Di的第2个水平切片,下标i表示样本序号,i=1,2,···,m;

SS207.用更新Ai沿着模式1方向的第3个切片,即用更新Bi沿着模式1方向的第3个切片,即用更新Ci沿着模式1方向的第3个切片,即用更新Di沿着模式1方向的第3个切片,即其中Ai(3,:,:),Bi(3,:,:),Ci(3,:,:)和Di(3,:,:)分别为Ai,Bi,Ci和Di沿着模式1方向的第3个切片,即Ai,Bi,Ci和Di的第3个水平切片,下标i表示样本序号,i=1,2,···,m;

SS208.完成规则化处理,输出Ai,Bi,Ci和Di,其中下标i表示样本序号,i=1,2,···,m。

作为优选,前述的样本训练步骤中的训练学习包括以下步骤:

SS3001.分别构建54个四阶权重张量W102,W112,W122∈R64×64×3×3,W103,W104,W113,W123∈R256×64×1×1,W111,W121∈R64×256×1×1,W202,W212,W222,W232∈R128×128×3×3,W203,W213,W223,W233∈R512×128×1×1,W211,W221,W231∈R128×512×1×1,W302,W312,W322,W332,W342,W352∈R256×256×3×3,W303,W313,W323,W333,W343,W353∈R1024×256×1×1,W311,W321,W331,W341,W351∈R256×1024×1×1,W402,W412,W422∈R512×512×3×3,W403,W413,W423∈R2048×512×1×1,W411,W421∈R512×2048×1×1,W0∈R64×3×7×7,W101∈R64×64×1×1,W201∈R128×256×1×1,W204∈R512×256×1×1,W301∈R256×512×1×1,W304∈R1024×512×1×1,W401∈R512×1024×1×1,W404∈R2048×1024×1×1,W5∈R256×2048×1×1,并以均值为0、标准差为0.03的高斯分布的随机数初始化这54个四阶权重张量,分别构建54个权重列向量q0,q101,q102,q111,q112,q121,q122∈R64×1,q201,q202,q211,q212,q221,q222,q231,q232∈R128×1,q103,q104,q113,q123,q301,q302,q311,q312,q321,q322,q331,q332,q341,q342,q351,q352,q5∈R256×1,q203,q204,q213,q223,q233,q401,q402,q411,q412,q421,q422∈R512×1,q303,q304,q313,q323,q333,q343,q353∈R1024×1,q403,q404,q413,q423∈R2048×1,并把这54个权重列向量中的各个元素都初始化为1,分别构建54个偏移列向量p0,p101,p102,p111,p112,p121,p122∈R64×1,p201,p202,p211,p212,p221,p222,p231,p232∈R128×1,p103,p104,p113,p123,p301,p302,p311,p312,p321,p322,p331,p332,p341,p342,p351,p352,p5∈R256×1,p203,p204,p213,p223,p233,p401,p402,p411,p412,p421,p422∈R512×1,p303,p304,p313,p323,p333,p343,p353∈R1024×1,p403,p404,p413,p423∈R2048×1,并把这54个偏移列向量中的各个元素都初始化为0,构建权重矩阵W6∈R4×32896,并以均值为0、标准差为0.02的高斯分布的随机数初始化W6,构建偏移列向量p6∈R4×1,并以均值为0、标准差为0.02的高斯分布的随机数初始化p6

SS3002.定义迭代序号α并初始化为0,即α=0;

SS3003.定义批次序号k并初始化为1,即k=1;

SS3004.把ak对应的三阶张量Ak、bk对应的三阶张量Bk、ck对应的三阶张量Ck和dk对应的三阶张量Dk沿着样本方向堆叠成第k批四阶张量训练数据Jk∈R4×3×224×224,其中ak,Ak,bk,Bk,ck,Ck,dk和Dk的下标k表示样本序号,Jk的下标k表示批次序号;

SS3005.把Jk视为4个样本的高度和宽度均为224的3通道数据,把W0视为64个高度和宽度均为7的3通道卷积核,采用W0对Jk进行步长(stride)为2、每边补零延拓(zero-padding)边界数为3的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为112的64通道数据H1∈R4×64×112×112

SS3006.分别以q0和p0为用于仿射变换的尺度参数和平移参数,对H1进行批标准化操作,得到结果H2∈R4×64×112×112

SS3007.构建四阶张量H3∈R4×64×112×112并通过H3=H2初始化,然后把H3中的负值元素更新为0,其他元素保持不变;

SS3008.把H3视为4个样本的高度和宽度均为112的64通道数据,对H3进行窗口高度和宽度均为3、步长为2、每边补零延拓边界数为1的逐样本逐通道二维最大池化操作,得到结果H4∈R4×64×56×56

SS3009.把H4视为4个样本的高度和宽度均为56的64通道数据,把W101视为64个高度和宽度均为1的64通道卷积核,采用W101对H4进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的64通道数据H5∈R4×64×56×56

SS3010.分别以q101和p101为用于仿射变换的尺度参数和平移参数,对H5进行批标准化操作,得到结果H6∈R4×64×56×56

SS3011.构建四阶张量H7∈R4×64×56×56并通过H7=H6初始化,然后把H7中的负值元素更新为0,其他元素保持不变;

SS3012.把H7视为4个样本的高度和宽度均为56的64通道数据,把W102视为64个高度和宽度均为3的64通道卷积核,采用W102对H7进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的64通道数据H8∈R4×64×56×56

SS3013.分别以q102和p102为用于仿射变换的尺度参数和平移参数,对H8进行批标准化操作,得到结果H9∈R4×64×56×56

SS3014.构建四阶张量H10∈R4×64×56×56并通过H10=H9初始化,然后把H10中的负值元素更新为0,其他元素保持不变;

SS3015.把H10视为4个样本的高度和宽度均为56的64通道数据,把W103视为256个高度和宽度均为1的64通道卷积核,采用W103对H10进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的256通道数据H11∈R4×256×56×56

SS3016.分别以q103和p103为用于仿射变换的尺度参数和平移参数,对H11进行批标准化操作,得到结果H12∈R4×256×56×56

SS3017.把H4视为4个样本的高度和宽度均为56的64通道数据,把W104视为256个高度和宽度均为1的64通道卷积核,采用W104对H4进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的256通道数据H13∈R4×256×56×56

SS3018.分别以q104和p104为用于仿射变换的尺度参数和平移参数,对H13进行批标准化操作,得到结果H14∈R4×256×56×56

SS3019.对H12和H14进行逐元素相加操作,得到结果H15∈R4×256×56×56

SS3020.构建四阶张量H16∈R4×256×56×56并通过H16=H15初始化,然后把H16中的负值元素更新为0,其他元素保持不变;

SS3021.把H16视为4个样本的高度和宽度均为56的256通道数据,把W111视为64个高度和宽度均为1的256通道卷积核,采用W111对H16进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的64通道数据H17∈R4×64×56×56

SS3022.分别以q111和p111为用于仿射变换的尺度参数和平移参数,对H17进行批标准化操作,得到结果H18∈R4×64×56×56

SS3023.构建四阶张量H19∈R4×64×56×56并通过H19=H18初始化,然后把H19中的负值元素更新为0,其他元素保持不变;

SS3024.把H19视为4个样本的高度和宽度均为56的64通道数据,把W112视为64个高度和宽度均为3的64通道卷积核,采用W112对H19进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的64通道数据H20∈R4×64×56×56

SS3025.分别以q112和p112为用于仿射变换的尺度参数和平移参数,对H20进行批标准化操作,得到结果H21∈R4×64×56×56

SS3026.构建四阶张量H22∈R4×64×56×56并通过H22=H21初始化,然后把H22中的负值元素更新为0,其他元素保持不变;

SS3027.把H22视为4个样本的高度和宽度均为56的64通道数据,把W113视为256个高度和宽度均为1的64通道卷积核,采用W113对H22进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的256通道数据H23∈R4×256×56×56

SS3028.分别以q113和p113为用于仿射变换的尺度参数和平移参数,对H23进行批标准化操作,得到结果H24∈R4×256×56×56

SS3029.对H16和H24进行逐元素相加操作,得到结果H25∈R4×256×56×56

SS3030.构建四阶张量H26∈R4×256×56×56并通过H26=H25初始化,然后把H26中的负值元素更新为0,其他元素保持不变;

SS3031.把H26视为4个样本的高度和宽度均为56的256通道数据,把W121视为64个高度和宽度均为1的256通道卷积核,采用W121对H26进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的64通道数据H27∈R4×64×56×56

SS3032.分别以q121和p121为用于仿射变换的尺度参数和平移参数,对H27进行批标准化操作,得到结果H28∈R4×64×56×56

SS3033.构建四阶张量H29∈R4×64×56×56并通过H29=H28初始化,然后把H29中的负值元素更新为0,其他元素保持不变;

SS3034.把H29视为4个样本的高度和宽度均为56的64通道数据,把W122视为64个高度和宽度均为3的64通道卷积核,采用W122对H29进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的64通道数据H30∈R4×64×56×56

SS3035.分别以q122和p122为用于仿射变换的尺度参数和平移参数,对H30进行批标准化操作,得到结果H31∈R4×64×56×56

SS3036.构建四阶张量H32∈R4×64×56×56并通过H32=H31初始化,然后把H32中的负值元素更新为0,其他元素保持不变;

SS3037.把H32视为4个样本的高度和宽度均为56的64通道数据,把W123视为256个高度和宽度均为1的64通道卷积核,采用W123对H32进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的256通道数据H33∈R4×256×56×56

SS3038.分别以q123和p123为用于仿射变换的尺度参数和平移参数,对H33进行批标准化操作,得到结果H34∈R4×256×56×56

SS3039.对H26和H34进行逐元素相加操作,得到结果H35∈R4×256×56×56

SS3040.构建四阶张量H36∈R4×256×56×56并通过H36=H35初始化,然后把H36中的负值元素更新为0,其他元素保持不变;

SS3041.把H36视为4个样本的高度和宽度均为56的256通道数据,把W201视为128个高度和宽度均为1的256通道卷积核,采用W201对H36进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为56的128通道数据H37∈R4×128×56×56

SS3042.分别以q201和p201为用于仿射变换的尺度参数和平移参数,对H37进行批标准化操作,得到结果H38∈R4×128×56×56

SS3043.构建四阶张量H39∈R4×128×56×56并通过H39=H38初始化,然后把H39中的负值元素更新为0,其他元素保持不变;

SS3044.把H39视为4个样本的高度和宽度均为56的128通道数据,把W202视为128个高度和宽度均为3的128通道卷积核,采用W202对H39进行步长为2、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的128通道数据H40∈R4×128×28×28

SS3045.分别以q202和p202为用于仿射变换的尺度参数和平移参数,对H40进行批标准化操作,得到结果H41∈R4×128×28×28

SS3046.构建四阶张量H42∈R4×128×28×28并通过H42=H41初始化,然后把H42中的负值元素更新为0,其他元素保持不变;

SS3047.把H42视为4个样本的高度和宽度均为28的128通道数据,把W203视为512个高度和宽度均为1的128通道卷积核,采用W203对H42进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的512通道数据H43∈R4×512×28×28

SS3048.分别以q203和p203为用于仿射变换的尺度参数和平移参数,对H43进行批标准化操作,得到结果H44∈R4×512×28×28

SS3049.把H36视为4个样本的高度和宽度均为56的256通道数据,把W204视为512个高度和宽度均为1的256通道卷积核,采用W204对H36进行步长为2、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的512通道数据H45∈R4×512×28×28

SS3050.分别以q204和p204为用于仿射变换的尺度参数和平移参数,对H45进行批标准化操作,得到结果H46∈R4×512×28×28

SS3051.对H44和H46进行逐元素相加操作,得到结果H47∈R4×512×28×28

SS3052.构建四阶张量H48∈R4×512×28×28并通过H48=H47初始化,然后把H48中的负值元素更新为0,其他元素保持不变;

SS3053.把H48视为4个样本的高度和宽度均为28的512通道数据,把W211视为128个高度和宽度均为1的512通道卷积核,采用W211对H48进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的128通道数据H49∈R4×128×28×28

SS3054.分别以q211和p211为用于仿射变换的尺度参数和平移参数,对H49进行批标准化操作,得到结果H50∈R4×128×28×28

SS3055.构建四阶张量H51∈R4×128×28×28并通过H51=H50初始化,然后把H51中的负值元素更新为0,其他元素保持不变;

SS3056.把H51视为4个样本的高度和宽度均为28的128通道数据,把W212视为128个高度和宽度均为3的128通道卷积核,采用W212对H51进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的128通道数据H52∈R4×128×28×28

SS3057.分别以q212和p212为用于仿射变换的尺度参数和平移参数,对H52进行批标准化操作,得到结果H53∈R4×128×28×28

SS3058.构建四阶张量H54∈R4×128×28×28并通过H54=H53初始化,然后把H54中的负值元素更新为0,其他元素保持不变;

SS3059.把H54视为4个样本的高度和宽度均为28的128通道数据,把W213视为512个高度和宽度均为1的128通道卷积核,采用W213对H54进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的512通道数据H55∈R4×512×28×28

SS3060.分别以q213和p213为用于仿射变换的尺度参数和平移参数,对H55进行批标准化操作,得到结果H56∈R4×512×28×28

SS3061.对H48和H56进行逐元素相加操作,得到结果H57∈R4×512×28×28

SS3062.构建四阶张量H58∈R4×512×28×28并通过H58=H57初始化,然后把H58中的负值元素更新为0,其他元素保持不变;

SS3063.把H58视为4个样本的高度和宽度均为28的512通道数据,把W221视为128个高度和宽度均为1的512通道卷积核,采用W221对H58进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的128通道数据H59∈R4×128×28×28

SS3064.分别以q221和p221为用于仿射变换的尺度参数和平移参数,对H59进行批标准化操作,得到结果H60∈R4×128×28×28

SS3065.构建四阶张量H61∈R4×128×28×28并通过H61=H60初始化,然后把H61中的负值元素更新为0,其他元素保持不变;

SS3066.把H61视为4个样本的高度和宽度均为28的128通道数据,把W222视为128个高度和宽度均为3的128通道卷积核,采用W222对H61进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的128通道数据H62∈R4×128×28×28

SS3067.分别以q222和p222为用于仿射变换的尺度参数和平移参数,对H62进行批标准化操作,得到结果H63∈R4×128×28×28

SS3068.构建四阶张量H64∈R4×128×28×28并通过H64=H63初始化,然后把H64中的负值元素更新为0,其他元素保持不变;

SS3069.把H64视为4个样本的高度和宽度均为28的128通道数据,把W223视为512个高度和宽度均为1的128通道卷积核,采用W223对H64进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的512通道数据H65∈R4×512×28×28

SS3070.分别以q223和p223为用于仿射变换的尺度参数和平移参数,对H65进行批标准化操作,得到结果H66∈R4×512×28×28

SS3071.对H58和H66进行逐元素相加操作,得到结果H67∈R4×512×28×28

SS3072.构建四阶张量H68∈R4×512×28×28并通过H68=H67初始化,然后把H68中的负值元素更新为0,其他元素保持不变;

SS3073.把H68视为4个样本的高度和宽度均为28的512通道数据,把W231视为128个高度和宽度均为1的512通道卷积核,采用W231对H68进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的128通道数据H69∈R4×128×28×28

SS3074.分别以q231和p231为用于仿射变换的尺度参数和平移参数,对H69进行批标准化操作,得到结果H70∈R4×128×28×28

SS3075.构建四阶张量H71∈R4×128×28×28并通过H71=H70初始化,然后把H71中的负值元素更新为0,其他元素保持不变;

SS3076.把H71视为4个样本的高度和宽度均为28的128通道数据,把W232视为128个高度和宽度均为3的128通道卷积核,采用W232对H71进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的128通道数据H72∈R4×128×28×28

SS3077.分别以q232和p232为用于仿射变换的尺度参数和平移参数,对H72进行批标准化操作,得到结果H73∈R4×128×28×28

SS3078.构建四阶张量H74∈R4×128×28×28并通过H74=H73初始化,然后把H74中的负值元素更新为0,其他元素保持不变;

SS3079.把H74视为4个样本的高度和宽度均为28的128通道数据,把W233视为512个高度和宽度均为1的128通道卷积核,采用W233对H74进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的512通道数据H75∈R4×512×28×28

SS3080.分别以q233和p233为用于仿射变换的尺度参数和平移参数,对H75进行批标准化操作,得到结果H76∈R4×512×28×28

SS3081.对H68和H76进行逐元素相加操作,得到结果H77∈R4×512×28×28

SS3082.构建四阶张量H78∈R4×512×28×28并通过H78=H77初始化,然后把H78中的负值元素更新为0,其他元素保持不变;

SS3083.把H78视为4个样本的高度和宽度均为28的512通道数据,把W301视为256个高度和宽度均为1的512通道卷积核,采用W301对H78进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为28的256通道数据H79∈R4×256×28×28

SS3084.分别以q301和p301为用于仿射变换的尺度参数和平移参数,对H79进行批标准化操作,得到结果H80∈R4×256×28×28

SS3085.构建四阶张量H81∈R4×256×28×28并通过H81=H80初始化,然后把H81中的负值元素更新为0,其他元素保持不变;

SS3086.把H81视为4个样本的高度和宽度均为28的256通道数据,把W302视为256个高度和宽度均为3的256通道卷积核,采用W302对H81进行步长为2、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H82∈R4×256×14×14

SS3087.分别以q302和p302为用于仿射变换的尺度参数和平移参数,对H82进行批标准化操作,得到结果H83∈R4×256×14×14

SS3088.构建四阶张量H84∈R4×256×14×14并通过H84=H83初始化,然后把H84中的负值元素更新为0,其他元素保持不变;

SS3089.把H84视为4个样本的高度和宽度均为14的256通道数据,把W303视为1024个高度和宽度均为1的256通道卷积核,采用W303对H84进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的1024通道数据H85∈R4×1024×14×14

SS3090.分别以q303和p303为用于仿射变换的尺度参数和平移参数,对H85进行批标准化操作,得到结果H86∈R4×1024×14×14

SS3091.把H78视为4个样本的高度和宽度均为28的512通道数据,把W304视为1024个高度和宽度均为1的512通道卷积核,采用W304对H78进行步长为2、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的1024通道数据H87∈R4×1024×14×14

SS3092.分别以q304和p304为用于仿射变换的尺度参数和平移参数,对H87进行批标准化操作,得到结果H88∈R4×1024×14×14

SS3093.对H86和H88进行逐元素相加操作,得到结果H89∈R4×1024×14×14

SS3094.构建四阶张量H90∈R4×1024×14×14并通过H90=H89初始化,然后把H90中的负值元素更新为0,其他元素保持不变;

SS3095.把H90视为4个样本的高度和宽度均为14的1024通道数据,把W311视为256个高度和宽度均为1的1024通道卷积核,采用W311对H90进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H91∈R4×256×14×14

SS3096.分别以q311和p311为用于仿射变换的尺度参数和平移参数,对H91进行批标准化操作,得到结果H92∈R4×256×14×14

SS3097.构建四阶张量H93∈R4×256×14×14并通过H93=H92初始化,然后把H93中的负值元素更新为0,其他元素保持不变;

SS3098.把H93视为4个样本的高度和宽度均为14的256通道数据,把W312视为256个高度和宽度均为3的256通道卷积核,采用W312对H93进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H94∈R4×256×14×14

SS3099.分别以q312和p312为用于仿射变换的尺度参数和平移参数,对H94进行批标准化操作,得到结果H95∈R4×256×14×14

SS3100.构建四阶张量H96∈R4×256×14×14并通过H96=H95初始化,然后把H96中的负值元素更新为0,其他元素保持不变;

SS3101.把H96视为4个样本的高度和宽度均为14的256通道数据,把W313视为1024个高度和宽度均为1的256通道卷积核,采用W313对H96进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的1024通道数据H97∈R4×1024×14×14

SS3102.分别以q313和p313为用于仿射变换的尺度参数和平移参数,对H97进行批标准化操作,得到结果H98∈R4×1024×14×14

SS3103.对H90和H98进行逐元素相加操作,得到结果H99∈R4×1024×14×14

SS3104.构建四阶张量H100∈R4×1024×14×14并通过H100=H99初始化,然后把H100中的负值元素更新为0,其他元素保持不变;

SS3105.把H100视为4个样本的高度和宽度均为14的1024通道数据,把W321视为256个高度和宽度均为1的1024通道卷积核,采用W321对H100进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H101∈R4×256×14×14

SS3106.分别以q321和p321为用于仿射变换的尺度参数和平移参数,对H101进行批标准化操作,得到结果H102∈R4×256×14×14

SS3107.构建四阶张量H103∈R4×256×14×14并通过H103=H102初始化,然后把H103中的负值元素更新为0,其他元素保持不变;

SS3108.把H103视为4个样本的高度和宽度均为14的256通道数据,把W322视为256个高度和宽度均为3的256通道卷积核,采用W322对H103进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H104∈R4×256×14×14

SS3109.分别以q322和p322为用于仿射变换的尺度参数和平移参数,对H104进行批标准化操作,得到结果H105∈R4×256×14×14

SS3110.构建四阶张量H106∈R4×256×14×14并通过H106=H105初始化,然后把H106中的负值元素更新为0,其他元素保持不变;

SS3111.把H106视为4个样本的高度和宽度均为14的256通道数据,把W323视为1024个高度和宽度均为1的256通道卷积核,采用W323对H106进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的1024通道数据H107∈R4×1024×14×14

SS3112.分别以q323和p323为用于仿射变换的尺度参数和平移参数,对H107进行批标准化操作,得到结果H108∈R4×1024×14×14

SS3113.对H100和H108进行逐元素相加操作,得到结果H109∈R4×1024×14×14

SS3114.构建四阶张量H110∈R4×1024×14×14并通过H110=H109初始化,然后把H110中的负值元素更新为0,其他元素保持不变;

SS3115.把H110视为4个样本的高度和宽度均为14的1024通道数据,把W331视为256个高度和宽度均为1的1024通道卷积核,采用W331对H110进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H111∈R4×256×14×14

SS3116.分别以q331和p331为用于仿射变换的尺度参数和平移参数,对H111进行批标准化操作,得到结果H112∈R4×256×14×14

SS3117.构建四阶张量H113∈R4×256×14×14并通过H113=H112初始化,然后把H113中的负值元素更新为0,其他元素保持不变;

SS3118.把H113视为4个样本的高度和宽度均为14的256通道数据,把W332视为256个高度和宽度均为3的256通道卷积核,采用W332对H113进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H114∈R4×256×14×14

SS3119.分别以q332和p332为用于仿射变换的尺度参数和平移参数,对H114进行批标准化操作,得到结果H115∈R4×256×14×14

SS3120.构建四阶张量H116∈R4×256×14×14并通过H116=H115初始化,然后把H116中的负值元素更新为0,其他元素保持不变;

SS3121.把H116视为4个样本的高度和宽度均为14的256通道数据,把W333视为1024个高度和宽度均为1的256通道卷积核,采用W333对H116进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的1024通道数据H117∈R4×1024×14×14

SS3122.分别以q333和p333为用于仿射变换的尺度参数和平移参数,对H117进行批标准化操作,得到结果H118∈R4×1024×14×14

SS3123.对H110和H118进行逐元素相加操作,得到结果H119∈R4×1024×14×14

SS3124.构建四阶张量H120∈R4×1024×14×14并通过H120=H119初始化,然后把H120中的负值元素更新为0,其他元素保持不变;

SS3125.把H120视为4个样本的高度和宽度均为14的1024通道数据,把W341视为256个高度和宽度均为1的1024通道卷积核,采用W341对H120进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H121∈R4×256×14×14

SS3126.分别以q341和p341为用于仿射变换的尺度参数和平移参数,对H121进行批标准化操作,得到结果H122∈R4×256×14×14

SS3127.构建四阶张量H123∈R4×256×14×14并通过H123=H122初始化,然后把H123中的负值元素更新为0,其他元素保持不变;

SS3128.把H123视为4个样本的高度和宽度均为14的256通道数据,把W342视为256个高度和宽度均为3的256通道卷积核,采用W342对H123进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H124∈R4×256×14×14

SS3129.分别以q342和p342为用于仿射变换的尺度参数和平移参数,对H124进行批标准化操作,得到结果H125∈R4×256×14×14

SS3130.构建四阶张量H126∈R4×256×14×14并通过H126=H125初始化,然后把H126中的负值元素更新为0,其他元素保持不变;

SS3131.把H126视为4个样本的高度和宽度均为14的256通道数据,把W343视为1024个高度和宽度均为1的256通道卷积核,采用W343对H126进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的1024通道数据H127∈R4×1024×14×14

SS3132.分别以q343和p343为用于仿射变换的尺度参数和平移参数,对H127进行批标准化操作,得到结果H128∈R4×1024×14×14

SS3133.对H120和H128进行逐元素相加操作,得到结果H129∈R4×1024×14×14

SS3134.构建四阶张量H130∈R4×1024×14×14并通过H130=H129初始化,然后把H130中的负值元素更新为0,其他元素保持不变;

SS3135.把H130视为4个样本的高度和宽度均为14的1024通道数据,把W351视为256个高度和宽度均为1的1024通道卷积核,采用W351对H130进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H131∈R4×256×14×14

SS3136.分别以q351和p351为用于仿射变换的尺度参数和平移参数,对H131进行批标准化操作,得到结果H132∈R4×256×14×14

SS3137.构建四阶张量H133∈R4×256×14×14并通过H133=H132初始化,然后把H133中的负值元素更新为0,其他元素保持不变;

SS3138.把H133视为4个样本的高度和宽度均为14的256通道数据,把W352视为256个高度和宽度均为3的256通道卷积核,采用W352对H133进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H134∈R4×256×14×14

SS3139.分别以q352和p352为用于仿射变换的尺度参数和平移参数,对H134进行批标准化操作,得到结果H135∈R4×256×14×14

SS3140.构建四阶张量H136∈R4×256×14×14并通过H136=H135初始化,然后把H136中的负值元素更新为0,其他元素保持不变;

SS3141.把H136视为4个样本的高度和宽度均为14的256通道数据,把W353视为1024个高度和宽度均为1的256通道数据,采用W353对H136进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的1024通道数据H137∈R4×1024×14×14

SS3142.分别以q353和p353为用于仿射变换的尺度参数和平移参数,对H137进行批标准化操作,得到结果H138∈R4×1024×14×14

SS3143.对H130和H138进行逐元素相加操作,得到结果H139∈R4×1024×14×14

SS3144.构建四阶张量H140∈R4×1024×14×14并通过H140=H139初始化,然后把H140中的负值元素更新为0,其他元素保持不变;

SS3145.把H140视为4个样本的高度和宽度均为14的1024通道数据,把W401视为512个高度和宽度均为1的1024通道卷积核,采用W401对H140进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的512通道数据H141∈R4×512×14×14

SS3146.分别以q401和p401为用于仿射变换的尺度参数和平移参数,对H141进行批标准化操作,得到结果H142∈R4×512×14×14

SS3147.构建四阶张量H143∈R4×512×14×14并通过H143=H142初始化,然后把H143中的负值元素更新为0,其他元素保持不变;

SS3148.把H143视为4个样本的高度和宽度均为14的512通道数据,把W402视为512个高度和宽度均为3的512通道卷积核,采用W402对H143进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的512通道数据H144∈R4×512×14×14

SS3149.分别以q402和p402为用于仿射变换的尺度参数和平移参数,对H144进行批标准化操作,得到结果H145∈R4×512×14×14

SS3150.构建四阶张量H146∈R4×512×14×14并通过H146=H145初始化,然后把H146中的负值元素更新为0,其他元素保持不变;

SS3151.把H146视为4个样本的高度和宽度均为14的512通道数据,把W403视为2048个高度和宽度均为1的512通道卷积核,采用W403对H146进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的2048通道数据H147∈R4×2048×14×14

SS3152.分别以q403和p403为用于仿射变换的尺度参数和平移参数,对H147进行批标准化操作,得到结果H148∈R4×2048×14×14

SS3153.把H140视为4个样本的高度和宽度均为14的1024通道数据,把W404视为2048个高度和宽度均为1的1024通道卷积核,采用W404对H140进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的2048通道数据H149∈R4×2048×14×14

SS3154.分别以q404和p404为用于仿射变换的尺度参数和平移参数,对H149进行批标准化操作,得到结果H150∈R4×2048×14×14

SS3155.对H148和H150进行逐元素相加操作,得到结果H151∈R4×2048×14×14

SS3156.构建四阶张量H152∈R4×2048×14×14并通过H152=H151初始化,然后把H152中的负值元素更新为0,其他元素保持不变;

SS3157.把H152视为4个样本的高度和宽度均为14的2048通道数据,把W411视为512个高度和宽度均为1的2048通道卷积核,采用W411对H152进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的512通道数据H153∈R4×512×14×14

SS3158.分别以q411和p411为用于仿射变换的尺度参数和平移参数,对H153进行批标准化操作,得到结果H154∈R4×512×14×14

SS3159.构建四阶张量H155∈R4×512×14×14并通过H155=H154初始化,然后把H155中的负值元素更新为0,其他元素保持不变;

SS3160.把H155视为4个样本的高度和宽度均为14的512通道数据,把W412视为512个高度和宽度均为3的512通道卷积核,采用W412对H155进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的512通道数据H156∈R4×512×14×14

SS3161.分别以q412和p412为用于仿射变换的尺度参数和平移参数,对H156进行批标准化操作,得到结果H157∈R4×512×14×14

SS3162.构建四阶张量H158∈R4×512×14×14并通过H158=H157初始化,然后把H158中的负值元素更新为0,其他元素保持不变;

SS3163.把H158视为4个样本的高度和宽度均为14的512通道数据,把W413视为2048个高度和宽度均为1的512通道卷积核,采用W413对H158进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的2048通道数据H159∈R4×2048×14×14

SS3164.分别以q413和p413为用于仿射变换的尺度参数和平移参数,对H159进行批标准化操作,得到结果H160∈R4×2048×14×14

SS3165.对H152和H160进行逐元素相加操作,得到结果H161∈R4×2048×14×14

SS3166.构建四阶张量H162∈R4×2048×14×14并通过H162=H161初始化,然后把H162中的负值元素更新为0,其他元素保持不变;

SS3167.把H162视为4个样本的高度和宽度均为14的2048通道数据,把W421视为512个高度和宽度均为1的2048通道卷积核,采用W421对H162进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的512通道数据H163∈R4×512×14×14

SS3168.分别以q421和p421为用于仿射变换的尺度参数和平移参数,对H163进行批标准化操作,得到结果H164∈R4×512×14×14

SS3169.构建四阶张量H165∈R4×512×14×14并通过H165=H164初始化,然后把H165中的负值元素更新为0,其他元素保持不变;

SS3170.把H165视为4个样本的高度和宽度均为14的512通道数据,把W422视为512个高度和宽度均为3的512通道卷积核,采用W422对H165进行步长为1、每边补零延拓边界数为1的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的512通道数据H166∈R4×512×14×14

SS3171.分别以q422和p422为用于仿射变换的尺度参数和平移参数,对H166进行批标准化操作,得到结果H167∈R4×512×14×14

SS3172.构建四阶张量H168∈R4×512×14×14并通过H168=H167初始化,然后把H168中的负值元素更新为0,其他元素保持不变;

SS3173.把H168视为4个样本的高度和宽度均为14的512通道数据,把W423视为2048个高度和宽度均为1的512通道卷积核,采用W423对H168进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的2048通道数据H169∈R4×2048×14×14

SS3174.分别以q423和p423为用于仿射变换的尺度参数和平移参数,对H169进行批标准化操作,得到结果H170∈R4×2048×14×14

SS3175.对H162和H170进行逐元素相加操作,得到结果H171∈R4×2048×14×14

SS3176.构建四阶张量H172∈R4×2048×14×14并通过H172=H171初始化,然后把H172中的负值元素更新为0,其他元素保持不变;

SS3177.把H172视为4个样本的高度和宽度均为14的2048通道数据,把W5视为256个高度和宽度均为1的2048通道卷积核,采用W5对H172进行步长为1、没有补零延拓边界的逐样本多通道二维卷积运算,得到4个样本的高度和宽度均为14的256通道数据H173∈R4×256×14×14

SS3178.分别以q5和p5为用于仿射变换的尺度参数和平移参数,对H173进行批标准化操作,得到结果H174∈R4×256×14×14

SS3179.构建四阶张量H175∈R4×256×14×14并通过H175=H174初始化,然后把H175中的负值元素更新为0,其他元素保持不变;

SS3180.对H175进行沿着模式1方向即样本方向进行取消堆叠操作,依次得到4个三阶子张量F1,F2,F3,F4∈R256×14×14

SS3181.分别对F1,F2,F3,F4进行模式1展开(mode-1unfolding)操作,得到矩阵F5,F6,F7,F8∈R256×196

SS3182.构建数据矩阵F9∈R256×256,并通过初始化,构建数据矩阵F10∈R256×256,并通过初始化,构建数据矩阵F11∈R256×256,并通过初始化,构建数据矩阵F12∈R256×256,并通过初始化,其中I196为196阶单位矩阵,1196为196阶全1矩阵,T为转置运算;

SS3183.分别构建数据矩阵F13,F14,F15,F16∈R256×256,并分别通过初始化,其中tr(·)为矩阵的求迹运算;

SS3184.构建数据矩阵F17∈R256×256,并通过F17=0.5(3I256-F13)初始化,构建数据矩阵F18∈R256×256,并通过F18=0.5(3I256-F14)初始化,构建数据矩阵F19∈R256×256,并通过F19=0.5(3I256-F15)初始化,构建数据矩阵F20∈R256×256,并通过F20=0.5(3I256-F16)初始化,其中I256为256阶单位矩阵;

SS3185.分别构建数据矩阵F21,F22,F23,F24∈R256×256,并分别通过F21=F13F17,F22=F14F18,F23=F15F19,F24=F16F20初始化;

SS3186.构建数据矩阵F25∈R256×256,并通过F25=F17初始化,构建数据矩阵F26∈R256×256,并通过F26=F18初始化,构建数据矩阵F27∈R256×256,并通过F27=F19初始化,构建数据矩阵F28∈R256×256,并通过F28=F20初始化;

SS3187.用0.5(3I256-F25F21)的计算结果更新F17,用0.5(3I256-F26F22)的计算结果更新F18,用0.5(3I256-F27F23)的计算结果更新F19,用0.5(3I256-F28F24)的计算结果更新F20,其中I256为256阶单位矩阵;

SS3188.分别构建数据矩阵F29,F30,F31,F32∈R256×256,并分别通过F29=F21F17,F30=F22F18,F31=F23F19,F32=F24F20初始化;

SS3189.分别构建数据矩阵F33,F34,F35,F36∈R256×256,并分别通过F33=F17F25,F34=F18F26,F35=F19F27,F36=F20F28初始化;

SS3190.用0.5(3I256-F33F29)的计算结果更新F17,用0.5(3I256-F34F30)的计算结果更新F18,用0.5(3I256-F35F31)的计算结果更新F19,用0.5(3I256-F36F32)的计算结果更新F20,其中I256为256阶单位矩阵;

SS3191.分别构建数据矩阵F37,F38,F39,F40∈R256×256,并分别通过F37=F29F17,F38=F30F18,F39=F31F19,F40=F32F20初始化;

SS3192.分别构建数据矩阵F41,F42,F43,F44∈R256×256,并分别通过F41=F17F33,F42=F18F34,F43=F19F35,F44=F20F36初始化;

SS3193.用0.5(3I256-F33F29)的计算结果更新F17,用0.5(3I256-F34F30)的计算结果更新F18,用0.5(3I256-F35F31)的计算结果更新F19,用0.5(3I256-F36F32)的计算结果更新F20,其中I256为256阶单位矩阵;

SS3194.分别构建数据矩阵F45,F46,F47,F48∈R256×256,并分别通过F45=F37F17,F46=F38F18,F47=F39F19,F48=F40F20初始化;

SS3195.分别构建数据矩阵F49,F50,F51,F52∈R256×256,并分别通过F49=F17F41,F50=F18F42,F51=F19F43,F52=F20F44初始化;

SS3196.用0.5F45(3I256-F49F45)的计算结果更新F17,用0.5F46(3I256-F50F46)的计算结果更新F18,用0.5F47(3I256-F51F47)的计算结果更新F19,用0.5F48(3I256-F52F48)的计算结果更新F20,其中I256为256阶单位矩阵;

SS3197.分别构建数据矩阵F53,F54,F55,F56∈R256×256,并分别通过初始化,其中tr(·)为矩阵的求迹运算;

SS3198.按照从左到右、从上到下顺序把F53中位于主对角线及其以上的32896个元素组装成一个32896维行向量f57∈R1×32896,按照从左到右、从上到下顺序把F54中位于主对角线及其以上的32896个元素组装成一个32896维行向量f58∈R1×32896,按照从左到右、从上到下顺序把F55中位于主对角线及其以上的32896个元素组装成一个32896维行向量f59∈R1×32896,按照从左到右、从上到下顺序把F56中位于主对角线及其以上的32896个元素组装成一个32896维行向量f60∈R1×32896

SS3199.构建4维行向量f61∈R1×4,并通过f61=f57(W6)T+(p6)T初始化,构建4维行向量f62∈R1×4,并通过f62=f58(W6)T+(p6)T初始化,构建4维行向量f63∈R1×4,并通过f63=f59(W6)T+(p6)T初始化,构建4维行向量f64∈R1×4,并通过f64=f60(W6)T+(p6)T初始化,其中T为转置运算;

SS3200.定义损失函数

为关于Wβ,qu和pv中各个元素自变量的多元复合函数,根据复合函数求偏导数的链式法则,分别计算关于各个元素自变量的在其当前值处的偏导数,再分别以各个偏导数的千分之一为减少量来对应地更新Wβ,qu和pv中各个元素,其中上标β=102,112,122,103,104,113,123,111,121,202,212,222,232,203,213,223,233,211,221,231,302,312,322,332,342,352,303,313,323,333,343,353,311,321,331,341,351,402,412,422,403,413,423,411,421,0,6,101,201,204,301,304,401,404,5,上标u=0,101,102,111,112,121,122,201,202,211,212,221,222,231,232,103,104,113,123,301,302,311,312,321,322,331,332,341,342,351,352,203,204,213,223,233,401,402,411,412,421,422,303,304,313,323,333,343,353,403,404,5,413,423,上标v=0,101,102,111,112,121,122,201,202,211,212,221,222,231,232,103,104,113,123,301,302,311,312,321,322,331,332,341,342,351,352,401,402,203,204,213,223,233,411,412,421,422,303,304,313,323,333,343,353,403,404,413,423,5,6,ln(·)为自然对数函数,e为自然常数,f161,f261,f361和f461分别为f61的第1,2,3和4个元素,f162,f262,f362和f462分别为f62的第1,2,3和4个元素,f163,f263,f363和f463分别为f63的第1,2,3和4个元素,f164,f264,f364和f464分别为f64的第1,2,3和4个元素;

SS3201.批次序号k自增1,也就是采用(k+1)的值更新k;

SS3202.如果满足k<(m+1),那么执行步骤SS3004–SS3202;否则,执行步骤SS3203;

SS3203.迭代序号α自增1,也就是采用(α+1)的值更新α;

SS3204.如果满足α<100,那么执行步骤SS3003–SS3204;否则,执行步骤SS3205;

SS3205.完成训练学习,输出Wβ,qu和pv,其中上标β,u和v的含义如步骤SS3200所述。

作为优选,前述的分类运算步骤中把X传送到新型卷积神经网络中进行前向传播运算包括以下步骤:

SS6001.把X视为高度和宽度均为224的3通道数据,把W0视为64个高度和宽度均为7的3通道卷积核,采用W0对X进行步长为2、每边补零延拓边界数为3的多通道二维卷积运算,得到高度和宽度均为112的单样本64通道数据G1∈R64×112×112

SS6002.分别以q0和p0为用于仿射变换的尺度参数和平移参数,对G1进行批标准化操作,得到结果G2∈R64×112×112

SS6003.构建三阶张量G3∈R64×112×112并通过G3=G2初始化,然后把G3中的负值元素更新为0,其他元素保持不变;

SS6004.把G3视为高度和宽度均为112的64通道数据,对G3进行窗口高度和宽度均为3、步长为2、每边补零延拓边界数为1的逐通道二维最大池化操作,得到结果G4∈R64×56×56

SS6005.把G4视为高度和宽度均为56的64通道数据,把W101视为64个高度和宽度均为1的64通道卷积核,采用W101对G4进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本64通道数据G5∈R64×56×56

SS6006.分别以q101和p101为用于仿射变换的尺度参数和平移参数,对G5进行批标准化操作,得到结果G6∈R64×56×56

SS6007.构建三阶张量G7∈R64×56×56并通过G7=G6初始化,然后把G7中的负值元素更新为0,其他元素保持不变;

SS6008.把G7视为高度和宽度均为56的64通道数据,把W102视为64个高度和宽度均为3的64通道卷积核,采用W102对G7进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为56的单样本64通道数据G8∈R64×56×56

SS6009.分别以q102和p102为用于仿射变换的尺度参数和平移参数,对G8进行批标准化操作,得到结果G9∈R64×56×56

SS6010.构建三阶张量G10∈R64×56×56并通过G10=G9初始化,然后把G10中的负值元素更新为0,其他元素保持不变;

SS6011.把G10视为高度和宽度均为56的64通道数据,把W103视为256个高度和宽度均为1的64通道卷积核,采用W103对G10进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本256通道数据G11∈R256×56×56

SS6012.分别以q103和p103为用于仿射变换的尺度参数和平移参数,对G11进行批标准化操作,得到结果G12∈R256×56×56

SS6013.把G4视为高度和宽度均为56的64通道数据,把W104视为256个高度和宽度均为1的64通道卷积核,采用W104对G4进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本256通道数据G13∈R256×56×56

SS6014.分别以q104和p104为用于仿射变换的尺度参数和平移参数,对G13进行批标准化操作,得到结果G14∈R256×56×56

SS6015.对G12和G14进行逐元素相加操作,得到结果G15∈R256×56×56

SS6016.构建三阶张量G16∈R256×56×56并通过G16=G15初始化,然后把G16中的负值元素更新为0,其他元素保持不变;

SS6017.把G16视为高度和宽度均为56的256通道数据,把W111视为64个高度和宽度均为1的256通道卷积核,采用W111对G16进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本64通道数据G17∈R64×56×56

SS6018.分别以q111和p111为用于仿射变换的尺度参数和平移参数,对G17进行批标准化操作,得到结果G18∈R64×56×56

SS6019.构建三阶张量G19∈R64×56×56并通过G19=G18初始化,然后把G19中的负值元素更新为0,其他元素保持不变;

SS6020.把G19视为高度和宽度均为56的64通道数据,把W112视为64个高度和宽度均为3的64通道卷积核,采用W112对G19进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为56的单样本64通道数据G20∈R64×56×56

SS6021.分别以q112和p112为用于仿射变换的尺度参数和平移参数,对G20进行批标准化操作,得到结果G21∈R64×56×56

SS6022.构建三阶张量G22∈R64×56×56并通过G22=G21初始化,然后把G22中的负值元素更新为0,其他元素保持不变;

SS6023.把G22视为高度和宽度均为56的64通道数据,把W113视为256个高度和宽度均为1的64通道卷积核,采用W113对G22进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本256通道数据G23∈R256×56×56

SS6024.分别以q113和p113为用于仿射变换的尺度参数和平移参数,对G23进行批标准化操作,得到结果G24∈R256×56×56

SS6025.对G16和G24进行逐元素相加操作,得到结果G25∈R256×56×56

SS6026.构建三阶张量G26∈R256×56×56并通过G26=G25初始化,然后把G26中的负值元素更新为0,其他元素保持不变;

SS6027.把G26视为高度和宽度均为56的256通道数据,把W121视为64个高度和宽度均为1的256通道卷积核,采用W121对G26进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本64通道数据G27∈R64×56×56

SS6028.分别以q121和p121为用于仿射变换的尺度参数和平移参数,对G27进行批标准化操作,得到结果G28∈R64×56×56

SS6029.构建三阶张量G29∈R64×56×56并通过G29=G28初始化,然后把G29中的负值元素更新为0,其他元素保持不变;

SS6030.把G29视为高度和宽度均为56的64通道数据,把W122视为64个高度和宽度均为3的64通道卷积核,采用W122对G29进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为56的单样本64通道数据G30∈R64×56×56

SS6031.分别以q122和p122为用于仿射变换的尺度参数和平移参数,对G30进行批标准化操作,得到结果G31∈R64×56×56

SS6032.构建三阶张量G32∈R64×56×56并通过G32=G31初始化,然后把G32中的负值元素更新为0,其他元素保持不变;

SS6033.把G32视为高度和宽度均为56的64通道数据,把W123视为256个高度和宽度均为1的64通道卷积核,采用W123对G32进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本256通道数据G33∈R256×56×56

SS6034.分别以q123和p123为用于仿射变换的尺度参数和平移参数,对G33进行批标准化操作,得到结果G34∈R256×56×56

SS6035.对G26和G34进行逐元素相加操作,得到结果G35∈R256×56×56

SS6036.构建三阶张量G36∈R256×56×56并通过G36=G35初始化,然后把G36中的负值元素更新为0,其他元素保持不变;

SS6037.把G36视为高度和宽度均为56的256通道数据,把W201视为128个高度和宽度均为1的256通道卷积核,采用W201对G36进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为56的单样本128通道数据G37∈R128×56×56

SS6038.分别以q201和p201为用于仿射变换的尺度参数和平移参数,对G37进行批标准化操作,得到结果G38∈R128×56×56

SS6039.构建三阶张量G39∈R128×56×56并通过G39=G38初始化,然后把G39中的负值元素更新为0,其他元素保持不变;

SS6040.把G39视为高度和宽度均为56的128通道数据,把W202视为128个高度和宽度均为3的128通道卷积核,采用W202对G39进行步长为2、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为28的单样本128通道数据G40∈R128×28×28

SS6041.分别以q202和p202为用于仿射变换的尺度参数和平移参数,对G40进行批标准化操作,得到结果G41∈R128×28×28

SS6042.构建三阶张量G42∈R128×28×28并通过G42=G41初始化,然后把G42中的负值元素更新为0,其他元素保持不变;

SS6043.把G42视为高度和宽度均为28的128通道数据,把W203视为512个高度和宽度均为1的128通道卷积核,采用W203对G42进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本512通道数据G43∈R512×28×28

SS6044.分别以q203和p203为用于仿射变换的尺度参数和平移参数,对G43进行批标准化操作,得到结果G44∈R512×28×28

SS6045.把G36视为高度和宽度均为56的256通道数据,把W204视为512个高度和宽度均为1的256通道卷积核,采用W204对G36进行步长为2、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本512通道数据G45∈R512×28×28

SS6046.分别以q204和p204为用于仿射变换的尺度参数和平移参数,对G45进行批标准化操作,得到结果G46∈R512×28×28

SS6047.对G44和G46进行逐元素相加操作,得到结果G47∈R512×28×28

SS6048.构建三阶张量G48∈R512×28×28并通过G48=G47初始化,然后把G48中的负值元素更新为0,其他元素保持不变;

SS6049.把G48视为高度和宽度均为28的512通道数据,把W211视为128个高度和宽度均为1的512通道卷积核,采用W211对G48进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本128通道数据G49∈R128×28×28

SS6050.分别以q211和p211为用于仿射变换的尺度参数和平移参数,对G49进行批标准化操作,得到结果G50∈R128×28×28

SS6051.构建三阶张量G51∈R128×28×28并通过G51=G50初始化,然后把G51中的负值元素更新为0,其他元素保持不变;

SS6052.把G51视为高度和宽度均为28的128通道数据,把W212视为128个高度和宽度均为3的128通道卷积核,采用W212对G51进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为28的单样本128通道数据G52∈R128×28×28

SS6053.分别以q212和p212为用于仿射变换的尺度参数和平移参数,对G52进行批标准化操作,得到结果G53∈R128×28×28

SS6054.构建三阶张量G54∈R128×28×28并通过G54=G53初始化,然后把G54中的负值元素更新为0,其他元素保持不变;

SS6055.把G54视为高度和宽度均为28的128通道数据,把W213视为512个高度和宽度均为1的128通道卷积核,采用W213对G54进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本512通道数据G55∈R512×28×28

SS6056.分别以q213和p213为用于仿射变换的尺度参数和平移参数,对G55进行批标准化操作,得到结果G56∈R512×28×28

SS6057.对G48和G56进行逐元素相加操作,得到结果G57∈R512×28×28

SS6058.构建三阶张量G58∈R512×28×28并通过G58=G57初始化,然后把G58中的负值元素更新为0,其他元素保持不变;

SS6059.把G58视为高度和宽度均为28的512通道数据,把W221视为128个高度和宽度均为1的512通道卷积核,采用W221对G58进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本128通道数据G59∈R128×28×28

SS6060.分别以q221和p221为用于仿射变换的尺度参数和平移参数,对G59进行批标准化操作,得到结果G60∈R128×28×28

SS6061.构建三阶张量G61∈R128×28×28并通过G61=G60初始化,然后把G61中的负值元素更新为0,其他元素保持不变;

SS6062.把G61视为高度和宽度均为28的128通道数据,把W222视为128个高度和宽度均为3的128通道卷积核,采用W222对G61进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为28的单样本128通道数据G62∈R128×28×28

SS6063.分别以q222和p222为用于仿射变换的尺度参数和平移参数,对G62进行批标准化操作,得到结果G63∈R128×28×28

SS6064.构建三阶张量G64∈R128×28×28并通过G64=G63初始化,然后把G64中的负值元素更新为0,其他元素保持不变;

SS6065.把G64视为高度和宽度均为28的128通道数据,把W223视为512个高度和宽度均为1的128通道卷积核,采用W223对G64进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本512通道数据G65∈R512×28×28

SS6066.分别以q223和p223为用于仿射变换的尺度参数和平移参数,对G65进行批标准化操作,得到结果G66∈R512×28×28

SS6067.对G58和G66进行逐元素相加操作,得到结果G67∈R512×28×28

SS6068.构建三阶张量G68∈R512×28×28并通过G68=G67初始化,然后把G68中的负值元素更新为0,其他元素保持不变;

SS6069.把G68视为高度和宽度均为28的512通道数据,把W231视为128个高度和宽度均为1的512通道卷积核,采用W231对G68进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本128通道数据G69∈R128×28×28

SS6070.分别以q231和p231为用于仿射变换的尺度参数和平移参数,对G69进行批标准化操作,得到结果G70∈R128×28×28

SS6071.构建三阶张量G71∈R128×28×28并通过G71=G70初始化,然后把G71中的负值元素更新为0,其他元素保持不变;

SS6072.把G71视为高度和宽度均为28的128通道数据,把W232视为128个高度和宽度均为3的128通道卷积核,采用W232对G71进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为28的单样本128通道数据G72∈R128×28×28

SS6073.分别以q232和p232为用于仿射变换的尺度参数和平移参数,对G72进行批标准化操作,得到结果G73∈R128×28×28

SS6074.构建三阶张量G74∈R128×28×28并通过G74=G73初始化,然后把G74中的负值元素更新为0,其他元素保持不变;

SS6075.把G74视为高度和宽度均为28的128通道数据,把W233视为512个高度和宽度均为1的128通道卷积核,采用W233对G74进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本512通道数据G75∈R512×28×28

SS6076.分别以q233和p233为用于仿射变换的尺度参数和平移参数,对G75进行批标准化操作,得到结果G76∈R512×28×28

SS6077.对G68和G76进行逐元素相加操作,得到结果G77∈R512×28×28

SS6078.构建三阶张量G78∈R512×28×28并通过G78=G77初始化,然后把G78中的负值元素更新为0,其他元素保持不变;

SS6079.把G78视为高度和宽度均为28的512通道数据,把W301视为256个高度和宽度均为1的512通道卷积核,采用W301对G78进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为28的单样本256通道数据G79∈R256×28×28

SS6080.分别以q301和p301为用于仿射变换的尺度参数和平移参数,对G79进行批标准化操作,得到结果G80∈R256×28×28

SS6081.构建三阶张量G81∈R256×28×28并通过G81=G80初始化,然后把G81中的负值元素更新为0,其他元素保持不变;

SS6082.把G81视为高度和宽度均为28的256通道数据,把W302视为256个高度和宽度均为3的256通道卷积核,采用W302对G81进行步长为2、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G82∈R256×14×14

SS6083.分别以q302和p302为用于仿射变换的尺度参数和平移参数,对G82进行批标准化操作,得到结果G83∈R256×14×14

SS6084.构建三阶张量G84∈R256×14×14并通过G84=G83初始化,然后把G84中的负值元素更新为0,其他元素保持不变;

SS6085.把G84视为高度和宽度均为14的256通道数据,把W303视为1024个高度和宽度均为1的256通道卷积核,采用W303对G84进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本1024通道数据G85∈R1024×14×14

SS6086.分别以q303和p303为用于仿射变换的尺度参数和平移参数,对G85进行批标准化操作,得到结果G86∈R1024×14×14

SS6087.把G78视为高度和宽度均为28的512通道数据,把W304视为1024个高度和宽度均为1的512通道卷积核,采用W304对G78进行步长为2、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本1024通道数据G87∈R1024×14×14

SS6088.分别以q304和p304为用于仿射变换的尺度参数和平移参数,对G87进行批标准化操作,得到结果G88∈R1024×14×14

SS6089.对G86和G88进行逐元素相加操作,得到结果G89∈R1024×14×14

SS6090.构建三阶张量G90∈R1024×14×14并通过G90=G89初始化,然后把G90中的负值元素更新为0,其他元素保持不变;

SS6091.把G90视为高度和宽度均为14的1024通道数据,把W311视为256个高度和宽度均为1的1024通道卷积核,采用W311对G90进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G91∈R256×14×14

SS6092.分别以q311和p311为用于仿射变换的尺度参数和平移参数,对G91进行批标准化操作,得到结果G92∈R256×14×14

SS6093.构建三阶张量G93∈R256×14×14并通过G93=G92初始化,然后把G93中的负值元素更新为0,其他元素保持不变;

SS6094.把G93视为高度和宽度均为14的256通道数据,把W312视为256个高度和宽度均为3的256通道卷积核,采用W312对G93进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G94∈R256×14×14

SS6095.分别以q312和p312为用于仿射变换的尺度参数和平移参数,对G94进行批标准化操作,得到结果G95∈R256×14×14

SS6096.构建三阶张量G96∈R256×14×14并通过G96=G95初始化,然后把G96中的负值元素更新为0,其他元素保持不变;

SS6097.把G96视为高度和宽度均为14的256通道数据,把W313视为1024个高度和宽度均为1的256通道卷积核,采用W313对G96进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本1024通道数据G97∈R1024×14×14

SS6098.分别以q313和p313为用于仿射变换的尺度参数和平移参数,对G97进行批标准化操作,得到结果G98∈R1024×14×14

SS6099.对G90和G98进行逐元素相加操作,得到结果G99∈R1024×14×14

SS6100.构建三阶张量G100∈R1024×14×14并通过G100=G99初始化,然后把G100中的负值元素更新为0,其他元素保持不变;

SS6101.把G100视为高度和宽度均为14的1024通道数据,把W321视为256个高度和宽度均为1的1024通道卷积核,采用W321对G100进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G101∈R256×14×14

SS6102.分别以q321和p321为用于仿射变换的尺度参数和平移参数,对G101进行批标准化操作,得到结果G102∈R256×14×14

SS6103.构建三阶张量G103∈R256×14×14并通过G103=G102初始化,然后把G103中的负值元素更新为0,其他元素保持不变;

SS6104.把G103视为高度和宽度均为14的256通道数据,把W322视为256个高度和宽度均为3的256通道卷积核,采用W322对G103进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G104∈R256×14×14

SS6105.分别以q322和p322为用于仿射变换的尺度参数和平移参数,对G104进行批标准化操作,得到结果G105∈R256×14×14

SS6106.构建三阶张量G106∈R256×14×14并通过G106=G105初始化,然后把G106中的负值元素更新为0,其他元素保持不变;

SS6107.把G106视为高度和宽度均为14的256通道数据,把W323视为1024个高度和宽度均为1的256通道卷积核,采用W323对G106进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本1024通道数据G107∈R1024×14×14

SS6108.分别以q323和p323为用于仿射变换的尺度参数和平移参数,对G107进行批标准化操作,得到结果G108∈R1024×14×14

SS6109.对G100和G108进行逐元素相加操作,得到结果G109∈R1024×14×14

SS6110.构建三阶张量G110∈R1024×14×14并通过G110=G109初始化,然后把G110中的负值元素更新为0,其他元素保持不变;

SS6111.把G110视为高度和宽度均为14的1024通道数据,把W331视为256个高度和宽度均为1的1024通道卷积核,采用W331对G110进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G111∈R256×14×14

SS6112.分别以q331和p331为用于仿射变换的尺度参数和平移参数,对G111进行批标准化操作,得到结果G112∈R256×14×14

SS6113.构建三阶张量G113∈R256×14×14并通过G113=G112初始化,然后把G113中的负值元素更新为0,其他元素保持不变;

SS6114.把G113视为高度和宽度均为14的256通道数据,把W332视为256个高度和宽度均为3的256通道卷积核,采用W332对G113进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G114∈R256×14×14

SS6115.分别以q332和p332为用于仿射变换的尺度参数和平移参数,对G114进行批标准化操作,得到结果G115∈R256×14×14

SS6116.构建三阶张量G116∈R256×14×14并通过G116=G115初始化,然后把G116中的负值元素更新为0,其他元素保持不变;

SS6117.把G116视为高度和宽度均为14的256通道数据,把W333视为1024个高度和宽度均为1的256通道卷积核,采用W333对G116进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本1024通道数据G117∈R1024×14×14

SS6118.分别以q333和p333为用于仿射变换的尺度参数和平移参数,对G117进行批标准化操作,得到结果G118∈R1024×14×14

SS6119.对G110和G118进行逐元素相加操作,得到结果G119∈R1024×14×14

SS6120.构建三阶张量G120∈R1024×14×14并通过G120=G119初始化,然后把G120中的负值元素更新为0,其他元素保持不变;

SS6121.把G120视为高度和宽度均为14的1024通道数据,把W341视为256个高度和宽度均为1的1024通道卷积核,采用W341对G120进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G121∈R256×14×14

SS6122.分别以q341和p341为用于仿射变换的尺度参数和平移参数,对G121进行批标准化操作,得到结果G122∈R256×14×14

SS6123.构建三阶张量G123∈R256×14×14并通过G123=G122初始化,然后把G123中的负值元素更新为0,其他元素保持不变;

SS6124.把G123视为高度和宽度均为14的256通道数据,把W342视为256个高度和宽度均为3的256通道卷积核,采用W342对G123进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G124∈R256×14×14

SS6125.分别以q342和p342为用于仿射变换的尺度参数和平移参数,对G124进行批标准化操作,得到结果G125∈R256×14×14

SS6126.构建三阶张量G126∈R256×14×14并通过G126=G125初始化,然后把G126中的负值元素更新为0,其他元素保持不变;

SS6127.把G126视为高度和宽度均为14的256通道数据,把W343视为1024个高度和宽度均为1的256通道卷积核,采用W343对G126进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本1024通道数据G127∈R1024×14×14

SS6128.分别以q343和p343为用于仿射变换的尺度参数和平移参数,对G127进行批标准化操作,得到结果G128∈R1024×14×14

SS6129.对G120和G128进行逐元素相加操作,得到结果G129∈R1024×14×14

SS6130.构建三阶张量G130∈R1024×14×14并通过G130=G129初始化,然后把G130中的负值元素更新为0,其他元素保持不变;

SS6131.把G130视为高度和宽度均为14的1024通道数据,把W351视为256个高度和宽度均为1的1024通道卷积核,采用W351对G130进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G131∈R256×14×14

SS6132.分别以q351和p351为用于仿射变换的尺度参数和平移参数,对G131进行批标准化操作,得到结果G132∈R256×14×14

SS6133.构建三阶张量G133∈R256×14×14并通过G133=G132初始化,然后把G133中的负值元素更新为0,其他元素保持不变;

SS6134.把G133视为高度和宽度均为14的256通道数据,把W352视为256个高度和宽度均为3的256通道卷积核,采用W352对G133进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G134∈R256×14×14

SS6135.分别以q352和p352为用于仿射变换的尺度参数和平移参数,对G134进行批标准化操作,得到结果G135∈R256×14×14

SS6136.构建三阶张量G136∈R256×14×14并通过G136=G135初始化,然后把G136中的负值元素更新为0,其他元素保持不变;

SS6137.把G136视为高度和宽度均为14的256通道数据,把W353视为1024个高度和宽度均为1的256通道数据,采用W353对G136进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本1024通道数据G137∈R1024×14×14

SS6138.分别以q353和p353为用于仿射变换的尺度参数和平移参数,对G137进行批标准化操作,得到结果G138∈R1024×14×14

SS6139.对G130和G138进行逐元素相加操作,得到结果G139∈R1024×14×14

SS6140.构建三阶张量G140∈R1024×14×14并通过G140=G139初始化,然后把G140中的负值元素更新为0,其他元素保持不变;

SS6141.把G140视为高度和宽度均为14的1024通道数据,把W401视为512个高度和宽度均为1的1024通道卷积核,采用W401对G140进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本512通道数据G141∈R512×14×14

SS6142.分别以q401和p401为用于仿射变换的尺度参数和平移参数,对G141进行批标准化操作,得到结果G142∈R512×14×14

SS6143.构建三阶张量G143∈R512×14×14并通过G143=G142初始化,然后把G143中的负值元素更新为0,其他元素保持不变;

SS6144.把G143视为高度和宽度均为14的512通道数据,把W402视为512个高度和宽度均为3的512通道卷积核,采用W402对G143进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本512通道数据G144∈R512×14×14

SS6145.分别以q402和p402为用于仿射变换的尺度参数和平移参数,对G144进行批标准化操作,得到结果G145∈R512×14×14

SS6146.构建三阶张量G146∈R512×14×14并通过G146=G145初始化,然后把G146中的负值元素更新为0,其他元素保持不变;

SS6147.把G146视为高度和宽度均为14的512通道数据,把W403视为2048个高度和宽度均为1的512通道卷积核,采用W403对G146进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本2048通道数据G147∈R2048×14×14

SS6148.分别以q403和p403为用于仿射变换的尺度参数和平移参数,对G147进行批标准化操作,得到结果G148∈R2048×14×14

SS6149.把G140视为高度和宽度均为14的1024通道数据,把W404视为2048个高度和宽度均为1的1024通道卷积核,采用W404对G140进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本2048通道数据G149∈R2048×14×14

SS6150.分别以q404和p404为用于仿射变换的尺度参数和平移参数,对G149进行批标准化操作,得到结果G150∈R2048×14×14

SS6151.对G148和G150进行逐元素相加操作,得到结果G151∈R2048×14×14

SS6152.构建三阶张量G152∈R2048×14×14并通过G152=G151初始化,然后把G152中的负值元素更新为0,其他元素保持不变;

SS6153.把G152视为高度和宽度均为14的2048通道数据,把W411视为512个高度和宽度均为1的2048通道卷积核,采用W411对G152进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本512通道数据G153∈R512×14×14

SS6154.分别以q411和p411为用于仿射变换的尺度参数和平移参数,对G153进行批标准化操作,得到结果G154∈R512×14×14

SS6155.构建三阶张量G155∈R512×14×14并通过G155=G154初始化,然后把G155中的负值元素更新为0,其他元素保持不变;

SS6156.把G155视为高度和宽度均为14的512通道数据,把W412视为512个高度和宽度均为3的512通道卷积核,采用W412对G155进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本512通道数据G156∈R512×14×14

SS6157.分别以q412和p412为用于仿射变换的尺度参数和平移参数,对G156进行批标准化操作,得到结果G157∈R512×14×14

SS6158.构建三阶张量G158∈R512×14×14并通过G158=G157初始化,然后把G158中的负值元素更新为0,其他元素保持不变;

SS6159.把G158视为高度和宽度均为14的512通道数据,把W413视为2048个高度和宽度均为1的512通道卷积核,采用W413对G158进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本2048通道数据G159∈R2048×14×14

SS6160.分别以q413和p413为用于仿射变换的尺度参数和平移参数,对G159进行批标准化操作,得到结果G160∈R2048×14×14

SS6161.对G152和G160进行逐元素相加操作,得到结果G161∈R2048×14×14

SS6162.构建三阶张量G162∈R2048×14×14并通过G162=G161初始化,然后把G162中的负值元素更新为0,其他元素保持不变;

SS6163.把G162视为高度和宽度均为14的2048通道数据,把W421视为512个高度和宽度均为1的2048通道卷积核,采用W421对G162进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本512通道数据G163∈R512×14×14

SS6164.分别以q421和p421为用于仿射变换的尺度参数和平移参数,对G163进行批标准化操作,得到结果G164∈R512×14×14

SS6165.构建三阶张量G165∈R512×14×14并通过G165=G164初始化,然后把G165中的负值元素更新为0,其他元素保持不变;

SS6166.把G165视为高度和宽度均为14的512通道数据,把W422视为512个高度和宽度均为3的512通道卷积核,采用W422对G165进行步长为1、每边补零延拓边界数为1的多通道二维卷积运算,得到高度和宽度均为14的单样本512通道数据G166∈R512×14×14

SS6167.分别以q422和p422为用于仿射变换的尺度参数和平移参数,对G166进行批标准化操作,得到结果G167∈R512×14×14

SS6168.构建三阶张量G168∈R512×14×14并通过G168=G167初始化,然后把G168中的负值元素更新为0,其他元素保持不变;

SS6169.把G168视为高度和宽度均为14的512通道数据,把W423视为2048个高度和宽度均为1的512通道卷积核,采用W423对G168进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本2048通道数据G169∈R2048×14×14

SS6170.分别以q423和p423为用于仿射变换的尺度参数和平移参数,对G169进行批标准化操作,得到结果G170∈R2048×14×14

SS6171.对G162和G170进行逐元素相加操作,得到结果G171∈R2048×14×14

SS6172.构建三阶张量G172∈R2048×14×14并通过G172=G171初始化,然后把G172中的负值元素更新为0,其他元素保持不变;

SS6173.把G172视为高度和宽度均为14的2048通道数据,把W5视为256个高度和宽度均为1的2048通道卷积核,采用W5对G172进行步长为1、没有补零延拓边界的多通道二维卷积运算,得到高度和宽度均为14的单样本256通道数据G173∈R256×14×14

SS6174.分别以q5和p5为用于仿射变换的尺度参数和平移参数,对G173进行批标准化操作,得到结果G174∈R256×14×14

SS6175.构建三阶张量G175∈R256×14×14并通过G175=G174初始化,然后把G175中的负值元素更新为0,其他元素保持不变;

SS6176.对G175进行模式1展开(mode-1unfolding)操作,得到矩阵L1∈R256×196

SS6177.构建数据矩阵L2∈R256×256,并通过初始化,其中I196为196阶单位矩阵,1196为196阶全1矩阵,T为转置运算;

SS6178.构建数据矩阵L3∈R256×256,并通过初始化,其中tr(·)为矩阵的求迹运算;

SS6179.构建数据矩阵L4∈R256×256,并通过L4=0.5(3I256-L3)初始化,其中I256为256阶单位矩阵;

SS6180.构建数据矩阵L5∈R256×256,并通过L5=L3L4初始化;

SS6181.构建数据矩阵L6∈R256×256,并通过L6=L4初始化;

SS6182.用0.5(3I256-L6L5)的计算结果更新L4,其中I256为256阶单位矩阵;

SS6183.构建数据矩阵L7∈R256×256,并通过L7=L5L4初始化;

SS6184.构建数据矩阵L8∈R256×256,并通过L8=L4L6初始化;

SS6185.用0.5(3I256-L8L7)的计算结果更新L4,其中I256为256阶单位矩阵;

SS6186.构建数据矩阵L9∈R256×256,并通过L9=L7L4初始化;

SS6187.构建数据矩阵L10∈R256×256,并通过L10=L4L8初始化;

SS6188.用0.5(3I256-L8L7)的计算结果更新L4,其中I256为256阶单位矩阵;

SS6189.构建数据矩阵L11∈R256×256,并通过L11=L9L4初始化;

SS6190.构建数据矩阵L12∈R256×256,并通过L12=L4L10初始化;

SS6191.用0.5L11(3I256-L12L11)的计算结果更新L4,其中I256为256阶单位矩阵;

SS6192.构建数据矩阵L13∈R256×256,并通过初始化,其中tr(·)为矩阵的求迹运算;

SS6193.按照从左到右、从上到下顺序把L13中位于主对角线及其以上的32896个元素组装成一个32896维行向量l14∈R1×32896

SS6194.构建4维行向量y∈R1×4,通过y=l14(W6)T+(p6)T初始化,其中T为转置运算;

SS6195.完成前向传播运算,输出y。

以上所述实施实例用于进一步说明本发明,实施实例不应被视为限制本发明的范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1