图像相关的检测方法及检测装置与流程

1.本发明涉及一种图像识别技术，尤其涉及一种图像相关的检测方法及检测装置。


背景技术：

2.医疗图像是针对生物体的特定部位拍摄所得的图像，且这些图像可用于评估罹患疾病的风险或疾病的严重程度。例如，通过眼底(fundoscopic)摄影检查，可及早发现诸如视网膜病变、青光眼、黄斑部病或其他病变。一般而言，多数医生都是通过人工判断医疗图像上的病灶。虽然现今可通过计算机辅助评估医疗图像，但诸如效率、复杂度及准确度等指标仍有待突破。


技术实现要素：

3.本发明是针对一种图像相关的检测方法及检测装置，藉助于神经网络(neural network，nn)架构并加以改进，以提升检测效率及准确度。
4.根据本发明的实施例，检测方法适用于医疗图像，且检测方法包括(但不仅限于)下列步骤：对待评估图像执行特征提取，以取得特征图(feature map)。通过分类器对特征图检测，以取得分类结果。分类器是经深度神经网络(deep neural network，dnn)架构所训练。深度神经网络架构包括修改型连接(connected)层。修改型连接层的神经元(neuron)数量由其输入层至其输出层连续减少。
5.根据本发明的实施例，检测装置适用于医疗图像。检测装置包括(但不仅限于)存储器及处理器。存储器存储程序代码。处理器耦接存储器。处理器加载且执行程序代码以经配置用以对待评估图像执行特征提取以取得特征图，并通过分类器对特征图检测已取得分类结果。分类器是经深度神经网络架构所训练。深度神经网络架构包括修改型连接层。修改型连接层的神经元数量由其输入层至其输出层连续减少。
6.基于上述，依据本发明实施例的图像相关的检测方法及检测装置，利用连续减少信道式的深度神经网络架构来推论(inference)图像所对应的类别。藉此，可过滤噪声，提升效率，并改进推论的准确度。
附图说明
7.包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
8.图1是依据本发明一实施例的检测装置的组件方块图；
9.图2是依据本发明一实施例的检测方法的流程图；
10.图3是依据本发明一实施例的起始(inception)第四版模型的流程图；
11.图4a是依据本发明一实施例的修改型连接层的示意图；
12.图4b是依据本发明另一实施例的修改型连接层的示意图。；
13.图5是依据本发明一实施例的总体(ensemble)的示意图。
programmable gate array，fpga)、特殊应用集成电路(application-specific integrated circuit，asic)、神经网络加速器或其他类似组件或上述组件的组合。在一实施例中，处理器130用以执行检测装置100的所有或部分作业，且可加载并执行存储器110所存储的各程序代码、软件模块、文件及数据。
41.下文中，将搭配检测装置100中的各项装置、组件及模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整，且并不仅限于此。
42.图2是依据本发明一实施例的检测方法的流程图。请参照图2，处理器130可对待评估图像执行特征提取，以取得一张或更多张特征图(feature map)(步骤s210)。具体而言，待评估图像可以是医疗图像、监视画面、或其他类型的图像。待评估图像是针对一个或多个主体拍摄所得。依据不同设计需求，待评估图像的类型、主体和/或内容可能不同。例如，待评估图像是针对眼底(fundoscopic)摄影的医疗图像(即，眼底图)。又例如，待评估图像是胸腔超音波图像。再例如，待评估图像是出入口的监视画面。
43.另一方面，特征提取(feature extraction)可应用在诸如机器学习(machine learning)、模式识别、图像处理或其他技术领域。特征提取是对初始测量/收集/提取的数据样本建构出包括信息性而且不冗余的衍生值(或称为特征值(feature))。特征提取可辅助后续的学习及规则归纳过程，且可对初始的数据样本有更佳的诠释。换句而言，特征提取可对输入数据简化成特征集合(可被视为重要或有用信息)，并直接使用特征集合来执行后续任务(例如，模型训练、成分分析、对象检测等)。例如，针对图像的特征提取，可取得诸如边缘、角、尺度不变特征转换(scale-invariant feature transform，sift)、曲率、形状等特征。
44.在一实施例中，处理器130可通过人工神经网络(artificial neural network，ann)对待评估图像执行特征提取。例如，处理器130可使用启动(inception)任一版模型(例如，inception第四版(v4))、残差神经网络(residual neural network，resnet)、googlenet、视觉几何群组(visual geometry group，vgg)、其变化版本或其他图像相关网络执行特征提取。
45.以inception v4模型为例，图3是依据本发明一实施例的inception v4模型的流程图。请参照图3，下文中的各模块可通过处理器130执行。输入模型310输入待评估图像。主干(stem)模块320使用inception第三版(v3)使用中的并行结构、以及不对称卷积核(convolution kernel)结构。inception(起始)-a模块330、inception-b模块350及inception-c模块370也是分别通过不同的并行且不对称卷积核结构提取特征。降低(reduction)-a模块340及降低-b模块360可降低特征图(feature map)的尺寸。平均池化模块380对特征图中的数个区域内的相邻特征点平均。丢弃(dropout)模块390在学习阶段忽略部分神经元(neuron)。而激励模块395使用激励函数(例如，softmax、sigmoid或线性整流函式(relu))导入非线性关系。
46.在其他实施例中，处理器130可使用诸如方向梯度直方图(histogram of oriented gradient，hog)、harr、加速稳健特征(speeded up robust features，surf)或其他特征提取算法对待评估图像执行特征提取。
47.在一实施例中，特征图是通过卷积核/过滤器进行卷积求和后的输出。在另一实施例中，特征图是将特征提取算法所得的特征集合/向量以二维图片形式记录所得的。
48.处理器130可通过分类器对一张或更多张特征图检测，以取得分类结果(步骤s230)。具体而言，分类器是经深度神经网络(deep neural network，dnn)架构所训练。深度神经网络是以人工神经网络为主要架构。这深度神经网络架构包括修改型连接(connected)层。修改型连接层包括输入层、隐藏层及输出层。深度神经网络是由一个多层神经元(neuron)结构组成，每一层神经元经组态有输入(例如，前一层神经元的输出)及输出。隐藏层的任一层中的神经元是对输入向量与权重向量内积并经过非线性传递函式而输出纯量结果。分类器的学习阶段将训练并决定前述权重向量，而分类器的推论阶段使用已决定的权重向量得出分类结果。分类结果相关于待评估图像所属的一个或更多个类型或标签。
49.在本发明实施例中，修改型连接层的神经元数量由其输入层至其输出层连续减少(即，连续减少通道)。假设修改型连接层包括m层隐藏层，则第j+1层隐藏层的神经元数量小于第j层的神经元数量，m为大于1的正整数，且j为1至m之间的正整数。换句而言，由输入层至输出层，下一层神经元的数量皆小于上一层神经元的数量。
50.举例而言，图4a是依据本发明一实施例的修改型连接层的示意图。请参照图4a，这修改型连接层cl1包括三层，其第一层l1-1包括四个神经元，第二层l1-2包括三个神经元，且第三层l1-3包括两个神经元。
51.在一实施例中，修改型连接层包括o层隐藏层，第k层隐藏层的神经元数量为第k+1层隐藏层的神经元数量的整数倍，o为大于1的正整数，且k为1至o之间的正整数。整数倍可以是2倍、4倍、8倍、或倍数。
52.举例而言，图4b是依据本发明另一实施例的修改型连接层的示意图。请参照图4b，这修改型连接层cl2包括n层，第i层的神经元数量为第i+1层的神经元数量的整数倍，n为大于1的正整数，且i为1至n之间的正整数。例如，作为第一层的输入层l2-1包括1024个神经元，作为第二层的隐藏层l2-2包括512个神经元。依此类推，作为第n-1层的隐藏层l2-(n-1)包括2个神经元。而作为第n层的输出层l2-n包括1个神经元。
53.在另一实施例中，修改型连接层的神经元数量由其输入层至其输出层依序递减。例如，第一层包括8个神经元，第二层包括6个神经元，其余依此类推。
54.又一实施例中，神经元的减少数量不固定。例如，第一层包括10个神经元，第二层包括7个神经元，且第三层包括2个神经元。
55.须说明的是，修改型连接层的层数及各层的神经元数量仍可依据实际需求而变动。
56.在一实施例中，处理器130对分类器的学习阶段及推论阶段启用修改型连接层中的所有神经元。具体而言，如图3所示，现有inception v4通过丢弃模块390在学习阶段随机关闭神经元，以降低拟合过度(overfitting)的可能。而本发明实施例可通过连续减少通道的深度神经网络架构(即，修改型连接层)取代丢弃模块390(即，禁能丢弃行为)(也可能一并取消激励模块395)，以达成噪声过滤并可降低维度。换句而言，分类器的学习阶段及推论阶段经配置为修改型连接层中的所有神经元皆启用，而不会随机关闭神经元。
57.在一实施例中，修改型连接层的输出层的神经元数量为一，分类结果包括一个数值，且这数值对应于数个类型(或称标签)中的一者。这些类型是分类器可输出的结果。以老年性黄斑部为例，数值在一个范围内，这范围切分成四个区段，且各区段对应到某一级严重
程度。
58.在另一实施例中，修改型连接层的输出层包括多个神经元，且输出层中的各神经元代表经检测为对应类型的机率或可能。
59.在一实施例中，分类器包括数个子分类器，且这些子分类器是使用相同的训练数据所训练。各子分类器的架构相同并皆包括前述修改型连接层。即便使用相同的训练数据，两相同架构的子分类器仍可能得出不同权重参数。处理器130可依据那些子分类器的输出决定分类结果。例如，子分类器的分类结果皆为数值，则处理器130可将这些子分类器的分类结果的平均值、最高值、中位数或其他代表值作为分类器的分类结果。
60.图5是依据本发明一实施例的总体(ensemble)的示意图。请参照图5，两子分类器sc1、sc2分别对相同特征图检测，并将输出的两笔分类结果进行综合评断(步骤s501)。综合评断例如是算术平均、加权平均或其他数学式。
61.在一实施例中，处理器130所用的子分类器是事先经过挑选的。这些受选的子分类器在测试数据集与训练数据集都有较佳或最佳的结果(例如，接近或相同实际结果)，且未受选的子分类器在测试数据集与训练数据集都有较差或最差的结果(例如，远离实际结果)。
62.综上所述，在本发明实施例的图像相关的检测方法及检测装置中，使用信道连续减少的修改型连接层，以过滤杂质并提升效率。此外，可综合评断多个子分类器的分类结果，并据以得出最终分类结果。藉此，可提升灵敏度(sensitivity)及特异度(specificity)。若应用于医疗图像检测，则可助于医生或民众快速得出检测结果，以节省大量检测时间。
63.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。