图像识别模型的训练方法、装置、服务器和存储介质与流程

文档序号:27489983发布日期:2021-11-22 14:09阅读:63来源:国知局
图像识别模型的训练方法、装置、服务器和存储介质与流程

1.本发明涉及通信技术领域,具体涉及图像识别模型的训练方法、装置、服务器和存储介质。


背景技术:

2.近年来,伴随着ai(artificial intelligence,人工智能)技术的进步,尤其在医学领域已取得长足发展,dl(deep learning,深度学习)技术在医疗影像识别领域的应用最为广泛和成熟。
3.其中,dl技术需要高质量的数据作为输入以进行训练得到理想的模型。虽然目前的医疗影像数据资源体量大多样性好,但是高质量的数据来自于专家对医疗影像数据的标记以及选取,稀缺的专家资源导致高质量的数据的数量较少,造成理想的模型的研发周期较长、经济效益较差。
4.因此,有必要提供可以提高服务器的工作效率的共享报文中私有信息的方法和服务器。


技术实现要素:

5.本发明实施例提供图像识别模型的训练方法、装置、服务器和存储介质,以解决目前的理想的模型的研发周期较长、经济效益较差的技术问题。
6.本发明实施例提供的图像识别模型的训练方法,包括:采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注;采用图像样本池中的第二图像样本集对所述第二图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注;根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型;若所述第二图像识别模型为不符合预设条件的图像识别模型,则采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,得到所述第三图像样本集中的每一第三图像样本的第三预测标注;基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并选取多个所述第三纠错标注相同于异常标注的多个所述第三图像样本作为第一增量样本集,并采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。
7.在一实施例中,采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型的步骤,包括:对每一所述第一图像样本进行归一化处理形成对应的第一标准图像样本;
采用一一对应的多个所述第一标准图像样本和多个所述第一理论标注对所述第一图像识别模型进行训练,得到所述第二图像识别模型。
8.在一实施例中,所述根据多个所述第二理论标注和对应的多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型的步骤,包括:获取所述第二预测标注和对应的所述第二理论标注相同的第二图像样本在所述第二图像样本集中的数量占比作为目标比值;根据所述目标比值和参考比值的大小关系,判断所述第二图像识别模型是否为符合预设条件的图像识别模型。
9.在一实施例中,所述选取多个所述第三纠错标注为异常标注的多个所述第三图像样本作为第一增量样本集的步骤,包括:获取所述第三纠错标注不同于异常标注、且置信度小于0.7的至少一所述第三图像样本增加至所述第一增量样本。
10.在一实施例中,所述采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型的步骤,包括:采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,得到第三图像识别模型,所述第一增量样本集中的每一第三图像样本具有第三理论标注;采用图像样本池中的第二图像样本集对所述第三图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第四预测标注;根据一一对应的多个所述第二理论标注和多个所述第四预测标注,判断所述第三图像识别模型是否为符合预设条件的图像识别模型;若所述第三图像识别模型为不符合预设条件的图像识别模型,则采用所述第三图像识别模型对所述图像样本池中的第四图像样本集进行预测,得到所述第四图像样本集中的每一第四图像样本的第四预测标注;基于多个所述第四预测标注,获取每一所述第四图像样本的第四纠错标注,并选取多个所述第四纠错标注相同于异常标注的多个所述第四图像样本作为第二增量样本集,并采用所述第二增量样本集、所述第一增量样本集和所述第一图像样本集对所述第三图像识别模型进行训练,以得到符合预设条件的图像识别模型。
11.在一实施例中,所述采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型的步骤,包括:采用图像样本池中的第一图像样本集对所述第一图像识别模型进行预设次数的训练,并且获取每一次训练的损失值;将损失值最小的一次训练所得模型作为所述第二图像识别模型。
12.在一实施例中,所述第一图像识别模型包括resnet50模型或者inceptionv3模型。
13.本发明实施例提供图像识别模型训练的装置,包括:第一训练模块,用于采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注;第二训练模块,用于采用图像样本池中的第二图像样本集对所述第二图像识别模
型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注;判断模块,用于根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型;预测模块,用于在所述第二图像识别模型为不符合预设条件的图像识别模型时,采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,得到所述第三图像样本集中的每一第三图像样本的第三预测标注;第三训练模块,用于基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并选取多个所述第三纠错标注相同于异常标注的多个所述第三图像样本作为第一增量样本集,并采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。
14.本发明实施例提供服务器,所述服务器包括:一个或多个处理器;存储器;以及一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现如上文中任一项所述的方法。
15.本发明实施例提供存储介质,所述存储介质中存储若干指令,所述指令用于供控制器执行以实现如上文任一项所述的方法。
16.本发明提供了图像识别模型的训练方法、装置、服务器和存储介质,所述方法包括:采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注;采用图像样本池中的第二图像样本集对所述第二图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注;根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型;若所述第二图像识别模型为不符合预设条件的图像识别模型,则采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,得到所述第三图像样本集中的每一第三图像样本的第三预测标注;基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并选取多个所述第三纠错标注相同于异常标注的多个所述第三图像样本作为第一增量样本集,并采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。综上,本发明通过增加高质量、高难度的样本以训练第二图像识别模型,提高了每一次训练的质量和精度,从而缩短了理想的模型的研发周期、提高了理想的模型的经济效益。
附图说明
17.下面通过附图来对本发明进行进一步说明。需要说明的是,下面描述中的附图仅仅是用于解释说明本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的图像识别系统的应用示意图;图2为本发明实施例提供的图像识别模型的训练方法的第一种实施例流程示意
图;图3为本发明实施例提供的图像识别模型的训练方法的第二种实施例流程示意图;图4为本发明实施例提供的对第一图像样本进行归一化处理的示意图;图5为本发明实施例提供的图像识别模型的训练方法的第三种实施例流程示意图;图6为本发明实施例提供的图像识别模型的训练方法的第四种实施例流程示意图;图7为本发明实施例提供的图像识别模型的训练方法的第五种实施例流程示意图;图8为本发明实施例提供的图像识别模型训练的装置的结构示意图;图9为本发明实施例提供的服务器的结构示意图。
具体实施方式
19.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
20.本发明中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
21.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
22.本发明实施例提供了图像识别模型的训练方法、装置、服务器和存储介质。以下将分别进行详细说明。
23.如图1所示,为本发明实施例提供的图像识别系统的应用示意图,该图像识别系统可以包括至少一终端和至少一服务器200,终端与终端之间、服务器200与服务器200之间、终端与服务器200之间通过各种网关组成的互联网等方式连接通信,不再赘述。其中,终端可以包括但不限于机器终端101和用户终端102。
24.本发明实施例中的服务器200主要用于采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注;采用图像样本池中的第二图像样本集对所述第二图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注;根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型;若所述第二图
像识别模型不符合预设条件,则采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,得到所述第三图像样本集中的每一第三图像样本的第三预测标注;基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并根据多个所述第三纠错标注确定所述第三图像样本集中的第一增量样本集;采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。
25.本发明实施例中,该服务器200可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本发明实施例中所描述的服务器200,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算的大量计算机或网络服务器构成。本发明的实施例中,服务器与终端之间可通过任何通信方式实现通信,包括但不限于,基于3gpp(3rd generation partnership project,第三代合作伙伴计划)、lte(long term evolution,长期演进)、wimax(worldwide interoperability for microwave access,全球互通微波访问)的移动通信,或基于tcp/ip(tcp/ip protocol suite,tcp/ip协议族)、udp(user datagram protocol,用户数据报协议)的计算机网络通信等。
26.本发明实施例中,本发明实施例中所使用的终端可以是既包括接收和发射硬件的设备,即具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种终端可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的,机器终端101主要负责采集人体的待检测部位的内镜影像,机器终端101上的采集设备可以包括但不限于(magnetic resonance imaging,核磁共振成像仪)、ct(computed tomography,计算机断层扫描设备)、消化内镜、道镜或内窥镜等电子设备,本实施例中的采集设备可以为消化内镜,可以用于获取病患食管部位、胃部位、十二指肠部位、结肠部位或者其它部位的内镜影像;用户终端102可以包括但不局限于手机、平板等便携终端,电脑、查询机等固定终端,以及各种虚拟终端等,可以用于提供待造影图像的上传功能、处理功能、造影图像对应的处理结果的展示功能等。
27.另外,如图1所示,该图像识别系统还可以包括存储器300,用于存储数据,如存储图像数据,例如终端获取到的待检测部位的图像数据。其中,储器300可以包括本地数据库和/或云端数据库。
28.本领域技术人员可以理解,图1中示出的应用场景,仅仅是与本发明的案一种应用场景,并不构成对本发明的方案的用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的服务器,或者服务器网络连接关系,例如图1中仅示出1个服务器和2个终端,可以理解的,该图像识别场景中还可以包括一个或多个其他服务器,或/且一个或多个与服务器网络连接的终端,具体此处不作限定。
29.需要说明的是,图1所示的图像识别系统的场景示意图仅仅是一个示例,只是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着图像识别场景的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
30.如图2所示,为本发明实施例中图像识别模型的训练方法的一个实施例流程示意图,该图像识别模型的训练方法可以包括但不限于如下步骤。
31.s1,采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注。
32.其中,图像样本池可以至少包括第一图像样本集,第一图像样本集中可以包括具有各自的第一理论标注的多个第一图像样本。具体的,图像样本池可以根据实际需求进行构建,此处以图像样本池包括多个内镜原始图像为例进行说明,其中,第一部分内镜原始图像及其具有的第一理论标注作为第一图像样本集,此处对第一部分内镜原始图像在全部内镜原始图像中的占比不做限定。具体的,每一第一理论标注可以为对应的第一图像样本理论上的类别标签,例如每一第一理论标注(对应的第一图像样本理论上的类别标签)可以用0或1表示,0可以表示对应的第一图像样本为正常样本,1可以表示对应的第一图像样本为异常样本。进一步的,多个第一理论标注可以为医生根据第一图像样本集进行标注所得,也可以为理想模型根据第一图像样本集进行预测所得,其中,可以认为理想模型根据第一图像样本集进行预测的结果和医生根据第一图像样本集进行标注所得的结果一致。
33.其中,第一图像识别模型可以为有一种或者多种神经网络构成的模型,神经网络是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。神经网络的主要任务是根据生物神经网络的原理和实际应用的需要建造实用的人工神经网络模型,设计相应的学习算法,模拟人脑的某种智能活动,然后在技术上实现出来用以解决实际问题。具体的,神经网络可以依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。进一步的,本实施例中的第一图像识别模型可以为但不限于resnet50模型或者inceptionv3模型,以被带理论标注的图像样本进行训练,以及对图像样本进行预测以得到理论标注。
34.需要注意的是,第一图像识别模型在进行第一次训练前,可以被定义有至少一个可学习参数(权重),本实施例中采用具有第一理论标注的多个第一图像样本对第一图像识别模型进行训练可以包括如下过程:将多个第一图像样本作为第一图像识别模型的多个输入数据;第一图像识别模型结合可学习参数(权重),通过多层网络结构处理多个输入数据得到第一次的多个第一预测标注;第一图像识别模型计算第一次的多个第一预测标注与一一对应的多个第一理论标注的多个差值作为多个第一损失值;第一图像识别模型根据多个第一损失值更新可学习参数(权重)。
35.如图3所示,为本发明实施例中图像识别模型的训练方法的一个实施例流程示意图,所述步骤s1还可以包括但不限于如下步骤。
36.s101,对每一所述第一图像样本进行归一化处理形成对应的第一标准图像样本。
37.其中,可以获取在白光模式下人体的待检测部位的照片作为内镜原始图像,受限于获取内镜原始图像的方式等原因,内镜原始图像的尺寸无法直接被第一图像识别模型所识别,因此,本实施例通过对多个第一图像样本进行归一化处理,以形成可以被第一图像识别模型所识别的多个第一标准图像样本。
38.具体的,此处以第一图像样本和第一标准图像样本为矩形为例进行说明,此处采用(a,b)的形式描述图像尺寸,其中a、b可以分别表示图像的长度上的像素数目、宽度上的像素数目,第一标准图像样本的图像尺寸可以为(224,224),此处以第一图像样本的图像尺寸为(w0,h0),第一标准图像样本的图像尺寸为(w
*
,h
*
)为例进行说明。
39.可选的,归一化处理可以包括但不限于如下过程:根据第一图像样本的图像尺寸
(w0,h0)和第一标准图像样本的图像尺寸(w
*
,h
*
)确定第一缩放系数τ1,其中τ1=min(w
*
/w0, h
*
/h0),即τ1为w
*
/w0和 h
*
/h0两者中的较小值;根据第一缩放系τ1确定第一过渡图像样本的尺寸(int(w0*τ1),int(h0*τ1)),即分别对w0*τ1和h0*τ1取整得到第一过渡图像样本的长度和宽度;对第一过渡图像样本的边缘进行填充黑边处理以使第一过渡图像样本居中,居中的第一过渡图像样本及其边缘的黑边构成第一标准图像样本,其中,在长度的延伸方向上,位于第一过渡图像样本两侧的黑边的尺寸为w

=(w
*

int(w0*τ1))/2,在宽度的延伸方向上,位于第一过渡图像样本两侧的黑边的尺寸为h

=(h
*

int(h0*τ1))/2,即此时的第一标准图像样本为(w
*
,h
*
)。
40.可选的,归一化处理可以包括但不限于如下过程:如图4所示,根据第一标准图像样本的图像尺寸(w
*
,h
*
),在保持像素尺寸不变的前提下,以第一图像样本的长度上的像素数目w0或者宽度上的像素数目h0为基准,在长度或者宽度的延伸方向上对第一图像样本的边缘进行填充黑边处理以使第一图像样本居中,居中的第一图像样本及其边缘的黑边构成第二过渡图像样本,其中,第二过渡图像样本的图像尺寸(w1,h1)满足w1/h
1=
w
*
/h
*
;根据第二过渡图像样本的图像尺寸(w1,h1)和第一标准图像样本的图像尺寸(w
*
,h
*
)确定第二缩放系数τ2,其中τ2=(w
*
/w1)
=
(h
*
/h1);如图4所示,根据第二缩放系数τ2缩放第二过渡图像样本以形成第一标准图像样本。
41.s102,采用一一对应的多个所述第一标准图像样本和多个所述第一理论标注对所述第一图像识别模型进行训练,得到所述第二图像识别模型。
42.结合上文论述,将可以被第一图像识别模型识别的多个第一标准图像样本作为多个输入数据输入至第一图像识别模型,第一图像识别模型结合多个第一理论标注以及依此确定的多个第一损失值,进行多次训练后可以得到第二图像识别模型,也可以理解为第一图像识别模型经过对于一一对应的多个所述第一标准图像样本和多个所述第一理论标注的学习,生成第二图像识别模型,即第二图像识别模型对于第一图像样本集中的多个第一图像样本的预测能力大于第一图像识别模型对于第一图像样本集中的多个第一图像样本的预测能力。
43.如图5所示,为本发明实施例中图像识别模型的训练方法的一个实施例流程示意图,所述步骤s1还可以包括但不限于如下步骤。
44.s103,采用图像样本池中的第一图像样本集对所述第一图像识别模型进行预设次数的训练,并且获取每一次训练的损失值。
45.具体的,根据上文关于采用具有第一理论标注的多个第一图像样本对第一图像识别模型进行训练的过程的论述可知,第一图像识别模型在每一次训练中,可以计算当次训练的多个第一预测标注与一一对应的多个第一理论标注的多个差值作为当次训练的多个第一损失值。需要注意的是,由于每一次训练会产生一一对应与多个第一图像样本的多个第一损失值,可以计算每一次训练的多个第一损失值的平均值作为每一次训练的损失值。其中,预设次数可以随机设定,也可以根据第一图像样本的数量、第一图像识别模型的情况等因素进行设定,具体的,预设次数可以不小于10且不大于30。
46.其中,损失值的计算公式可以为:
其中,m为输入样本数,即第一图像样本的数量,n为类别数,此处模型预测值为y,真实值为,具体的,此处由于第一理论标注(对应的第一图像样本理论上的类别标签)可以用0或1表示,即n为2,y为第一预测标注的数值,为第一理论标注的数值。
47.s104,将损失值最小的一次训练所得模型作为所述第二图像识别模型。
48.具体的,根据上文关于采用具有第一理论标注的多个第一图像样本对第一图像识别模型进行训练的过程的论述可知,第一图像识别模型在每一次训练后会得到当次训练的损失值,进一步的,第一图像识别模型根据当次训练的损失值更新可学习参数(权重)以进行下一次训练,即每一次训练的损失值可以反馈至下一次训练中。理论上,由于每一次训练基于上一次训练的损失值,后一次训练所得的模型的精准性应该优于前一次训练所得的模型的精准性,但是考虑到其中一次或者多次的训练中仍然存在不可避免的不利的因素,而多次训练的所得的多个损失值是以确定的多个第一理论标注为基础计算所得,具有较好的客观性。因此,本实施例通过将损失值最小的一次训练所得模型作为所述第二图像识别模型,即将多个第一预测标注与一一对应的多个第一理论标注的差异最小的一次训练所得模型作为所述第二图像识别模型,使得所述第二图像识别模型具有较精准的预测功能。
49.s2,采用图像样本池中的第二图像样本集对所述第二图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注。
50.其中,图像样本池可以至少包括第一图像样本集和第二图像样本集,第二图像样本集中可以包括具有各自的第二理论标注的多个第二图像样本。进一步的,第一图像样本集和第二图像样本集的获取途径可以一致,以降低两者之间因外界原因造成的差异,也即保持第二理论标注和第二图像样本之间的关联关系、第一理论标注和第一图像样本之间的关联关系的一致性,以使得经过第一图像样本集训练所得的第二图像识别模型相对于第一图像识别模型,在朝着更加适于预测第一图像样本集的方向前进的同时,也更加适于预测第二图像样本集。其中,关于第二理论标注的获取方式、第二理论标注的具体内容等,可以参考上文对于第一理论标注的获取方式、第一理论标注的具体内容等的相关描述。
51.s3,根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型。
52.根据上文论述可知,多个第二预测标注为第二图像识别模型对多个第二图像样本进行预测所得,多个第二理论标注为医生根据多个第二图像样本进行标注所得,也可以为理想模型根据第二图像样本集进行预测所得,可以认为多个第二预测标注越接近多个第二理论标注,则第二图像识别模型越接近符合预设条件的图像识别模型,即可以多个第二理论标注和多个第二预测标注的差异程度,判断第二图像识别模型是否为符合预设条件的图像识别模型,所述预设条件可以根据实际要求或者需求而设置。基于上文举例,每一第一理论标注(对应的第一图像样本理论上的类别标签)可以用0或1表示,0可以表示对应的第一图像样本为正常样本,1可以表示对应的第一图像样本为异常样本,那么此处第二预测标注等于对应的第二理论标注,则认为两者无差异,否则,则认为两者有差异。
53.如图6所示,为本发明实施例中图像识别模型的训练方法的一个实施例流程示意图,所述步骤s3可以包括但不限于如下步骤。
54.s301,获取所述第二预测标注和对应的所述第二理论标注相同的第二图像样本在所述第二图像样本集中的数量占比作为目标比值。
55.可以理解的,第二预测标注和对应的第二理论标注相同即表示第二图像识别模型对该第二图像样本的预测结果正确,因此第二预测标注和对应的第二理论标注相同的第二图像样本在所述第二图像样本集中的数量占比越高,则说明第二图像识别模型预测结果正确对应的第二图像样本的数目越多。因此,目标比值可以用于评判第二图像识别模型对于第二图像样本集预测的精准度。
56.s302,根据所述目标比值和参考比值的大小关系,判断所述第二图像识别模型是否为符合预设条件的图像识别模型。
57.其中,符合预设条件的图像识别模型可以理解为其预测的精准度不低于预设精度,结合上文论述,参考比值可以对应于预设精度,或者说参考比值可以表征预设精度,理论上可以理解为,当目标比值等于参考比值,则此时的第二图像识别模型预测的精准度可以等于预设精度。具体的,在上文论述的基础上,本实施例中可以理解为若目标比值大于或者等于参考比值,则可以判定第二图像识别模型是否为符合预设条件的图像识别模型;否则判定第二图像识别模型为不符合预设条件的图像识别模型。其中,参考比值可以设定为90%。
58.s4,若所述第二图像识别模型为不符合预设条件的图像识别模型,则采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,得到所述第三图像样本集中的每一第三图像样本的第三预测标注。
59.结合上文论述可知,若所述第二图像识别模型为不符合预设条件的图像识别模型,则可以认为第二图像识别模型对采用和第一图像样本集、第二图像样本集的获取途径相同的途径所获取的图像样本集的预测能力较弱,还需要采用和第一图像样本集、第二图像样本集的获取途径相同的途径所获取的图像样本集对第二图像识别模型进行训练。当然,若所述第二图像识别模型为符合预设条件的图像识别模型,则可以至此结束。
60.具体的,本实施例中的所述图像样本池中的第一图像样本集、第二图像样本集和第三图像样本集三者的获取途径可以一致,以降低三者之间因外界原因造成的差异,进一步的,参考步骤s2,本实施例中采用第二图像识别模型对多个第三图像样本集进行预测同样可以得到多个第三预测标注。需要注意的是,由于第二图像识别模型有待完善,故多个第三预测标注可以认为仍然存在缺陷。
61.s5,基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并选取多个所述第三纠错标注相同于异常标注的多个所述第三图像样本作为第一增量样本集,并采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。
62.具体的,结合上文论述,每一第二预测标注可以为对应的第二图像样本经第二图像识别模型预测所得的类别标签,例如每一第二预测标注(对应的第二图像样本经第二图像识别模型预测所得的类别标签)可以用0或1表示,0可以表示对应的第二图像样本被预测为正常样本,1可以表示对应的第二图像样本被预测为异常样本。同理,每一第三图像样本的第三预测标注也可以用0或1表示,可以理解的,每一第三图像样本实际上也具有第三理论标注,但是不同于上文提及的第二理论标注和第一理论标注,此处的第三理论标注可以
理解为基于多个第三预测标注所确定。同理,本实施例中可以根据第三图像样本集经第二图像识别模型预测所得的多个第三预测标注数值为0或者1被放置于正常样本文件夹或者异常样本文件夹。
63.需要注意的是,此处“基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注”可以大概分为以下过程:基于多个所述第三预测标注所形成的正常样本文件夹或者异常样本文件夹,以供医生选取其中一文件夹,对具有第三预测标注的多个第三图像样本进行标注形成一一对应的第三纠错标注;以供医生再选取另一样本文件夹,对具有第三预测标注的多个第三图像样本进行标注形成一一对应的第三纠错标注;获取多个第三纠错标注。可以理解的,此处由于第二图像识别模型已经学习了第一图像样本集,且正常样本文件夹或者异常样本文件夹为多个第三图像样本经第二图像识别模型预分类所得,即可以认为正常样本文件夹和异常样本文件夹两者的可靠性较高。
64.一方面,此处以正常样本文件夹为例,可以认为其中大部分的第三图像样本可能理论上为正常样本,少数的第三图像样本可能理论上为异常样本,这样可以促使医生优先且快速地发现理论上可能为异常样本的少数第三图像样本并且对其进行纠错形成对应的第三纠错标注,进一步的,医生可以主要关注理论上可能为异常样本的少数第三图像样本和理论上可能为正常样本的大部分第三图像样本的差异区域,并且可以快速地进行对所有第三图像样本的纠错标注,提高了医生对所有第三图像样本的纠错标注的速度。
65.另一方面,在正常样本文件夹或者异常样本文件夹的提示下,可以明显地提升医生的诊断信心,加速医生作出更加客观的判断。具体的,据相关文献公开:在没有ai辅助(即形成有正常样本文件夹或者异常样本文件夹)时,内镜医师诊断胃癌的准确度、灵敏度和特异度分别为:81.00
±
4.30%、71.05
±
9.67%和87.10
±
10.88%;内镜医师在ai辅助下,辨认胃癌的准确度、灵敏度和特异度分别为86.50
±
2.06%、84.87
±
11.07%和87.50
±
4.47%,其诊断准确度和灵敏度较无ai辅助时均有提升。因此,本实施例可以提高医生对所有第三图像样本的纠错标注的速度和准确率。
66.根据上文分析,第三纠错标注可以理解为对于第三理论标注是否相同于第三预测标注的表征,即第三纠错标注可以和第三理论标注同时生成。进一步的,第三纠错标注相同于异常标注可以表示对应的第三预测标注不同于对应的第三理论标注,即第二图像识别模型对对应的第三图像样本的预测结果错误,相应的,也可以表征对应的第三图像样本对于第二图像识别模型的难度较高。进一步的,本实施例中采用对于第二图像识别模型的难度较高的第一增量样本和第一图像样本集对第二图像识别模型进行训练,一方面增加了用于训练第二图像识别模型的样本的多样性,另一方面也提高了用于训练第二图像识别模型的样本的质量,有利于训练第二图像识别模型向符合预设条件的图像识别模型的方向发展,缩短了理想的模型的研发周期、提高了理想的模型的经济效益。
67.其中,所述步骤s5中的“选取多个所述第三纠错标注为异常标注的多个所述第三图像样本作为第一增量样本集”的步骤可以包括但不限于如下步骤。
68.s501,获取所述第三纠错标注不同于异常标注、且置信度小于0.7的至少一所述第三图像样本增加至所述第一增量样本。
69.根据上文论述,第三纠错标注不同于异常标注可以表示对应的第三预测标注相同于对应的第三理论标注,即第二图像识别模型对对应的第三图像样本的预测结果正确,在
此基础上,置信度小于0.7可以表示第二图像识别模型将对应的第三图像样本的预测结果预测为第三预测标注的把握度为0.7,结合上文论述,“第三纠错标注不同于异常标注、且置信度小于0.7”的第三图像样本可以理解为第二图像识别模型对于将第三图像样本的预测结果正确(即预测结果为第三理论标注)的把握度低于0.7,即还是有高于0.3的把握度认为预测结果为非第三理论标注,即“第三纠错标注不同于异常标注、且置信度小于0.7”的第三图像样本对于第二图像识别模型而言,可以认为是中低难度样本。
70.可以理解的,本实施例通过将第三纠错标注不同于异常标注、且置信度小于0.7的至少一所述第三图像样本增加至所述第一增量样本,即将第三图像样本集中的中低难度样本也增加至第一增量样本,可以也参与至对于第二图像识别模型进行训练。同理,本实施例一方面进一步增加了用于训练第二图像识别模型的样本的多样性,另一方面也进一步提高了用于训练第二图像识别模型的样本的质量,更加有利于训练第二图像识别模型向符合预设条件的图像识别模型的方向发展,缩短了理想的模型的研发周期、提高了理想的模型的经济效益。
71.如图7所示,为本发明实施例中图像识别模型的训练方法的一个实施例流程示意图,所述步骤s5中的“采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型”的步骤可以包括但不限于如下步骤。
72.s6,采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,得到第三图像识别模型,所述第一增量样本集中的每一第三图像样本具有第三理论标注。
73.其中,关于第三理论标注可以参考上文步骤s5中的相关描述。结合上文论述可知,由于第三图像识别模型相对于第二图像识别模型,学习到了高质量的第一增量样本集,训练样本的多样性和质量均有所提升,故第三图像识别模型的预测精度也会相应提升,更加接近符合预设条件的图像识别模型。具体的,步骤s6可以参考上文关于步骤s1的相关描述。
74.s7,采用图像样本池中的第二图像样本集对所述第三图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第四预测标注。
75.可以理解的,采用预测精度更高的第三图像识别模型预测第二图像样本集得到的多个第四预测标注,相比较上文所述的多个第二预测标注,更加接近多个第二理论标注。具体的,步骤s7可以参考上文关于步骤s2的相关描述。
76.s8,根据一一对应的多个所述第二理论标注和多个所述第四预测标注,判断所述第三图像识别模型是否为符合预设条件的图像识别模型。
77.可以理解的,更加接近多个第二理论标注的多个第四预测标注所对应的第三图像识别模型,相对于第三图像识别模型更加接近多个第二理论标注。具体的,步骤s7可以参考上文关于步骤s3的相关描述。
78.s9,若所述第三图像识别模型为不符合预设条件的图像识别模型,则采用所述第三图像识别模型对所述图像样本池中的第四图像样本集进行预测,得到所述第四图像样本集中的每一第四图像样本的第四预测标注。
79.同理,若所述第三图像识别模型为符合预设条件的图像识别模型,则可以至此结束。同理,本实施例中的所述图像样本池中的第一图像样本集、第二图像样本集、第三图像
样本集和第四图像样本集四者的获取途径可以一致,以降低四者之间因外界原因造成的差异。同理,由于第三图像识别模型有待完善,故多个第四预测标注可以认为仍然存在缺陷。具体的,步骤s9可以参考上文关于步骤s4的相关描述。
80.s10,基于多个所述第四预测标注,获取每一所述第四图像样本的第四纠错标注,并选取多个所述第四纠错标注相同于异常标注的多个所述第四图像样本作为第二增量样本集,并采用所述第二增量样本集、所述第一增量样本集和所述第一图像样本集对所述第三图像识别模型进行训练,以得到符合预设条件的图像识别模型。
81.同理,每一第四图像样本实际上也具有第四理论标注,但是不同于上文提及的第二理论标注和第一理论标注,此处的第四理论标注可以理解为基于多个第四预测标注所确定。具体的,步骤s10可以参考上文关于步骤s5的相关描述。
82.需要注意的是,在本发明中,若新增第二增量样本集对第三图像识别模型进行训练得到的第四图像识别模型为不符合预设条件的图像识别模型,可以参考步骤s1至步骤s5继续训练第四图像识别模型,制止得到符合预设条件的图像识别模型。可以理解的,每新增样本集进行一次训练得到的图像识别模型的预测精度也会相应提升,对本次新增的未标注样本集的预分类效果也更好,使得医生纠错的工作量和难度也进一步下降。因此,本发明可以形成正向良性循环,可节约医生资源,提高标注效率和质量,降低标注成本,以进一步缩短了理想的模型的研发周期、提高了理想的模型的经济效益。
83.为了更好实施本发明实施例中的图像识别模型的训练方法,在图像识别模型的训练方法基础之上,本发明实施例中还提供一种图像识别模型训练的装置,如图8所示,为本发明实施例提供的图像识别模型训练的装置100一实施例示意图,该图像识别模型训练的装置100可以包括但不限于以下模块。
84.第一训练模块10,用于采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注;第二训练模块20,用于采用图像样本池中的第二图像样本集对所述第二图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注;判断模块30,用于根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型;预测模块40,用于在所述第二图像识别模型为不符合预设条件的图像识别模型时,采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,得到所述第三图像样本集中的每一第三图像样本的第三预测标注;第三训练模块50,用于基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并选取多个所述第三纠错标注相同于异常标注的多个所述第三图像样本作为第一增量样本集,并采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。
85.在本发明的一些实施例中,第一训练模块10具体可以用于:对每一所述第一图像样本进行归一化处理形成对应的第一标准图像样本;采用一一对应的多个所述第一标准图像样本和多个所述第一理论标注对所述第一图像识别模型进行训练,得到所述第二图像识
别模型。
86.在本发明的一些实施例中,判断模块30具体可以用于:获取所述第二预测标注和对应的所述第二理论标注相同的第二图像样本在所述第二图像样本集中的数量占比作为目标比值;根据所述目标比值和参考比值的大小关系,判断所述第二图像识别模型是否为符合预设条件的图像识别模型。
87.在本发明的一些实施例中,第三训练模块50具体可以用于:获取所述第三纠错标注不同于异常标注、且置信度小于0.7的至少一所述第三图像样本。
88.在本发明的一些实施例中,第三训练模块50具体可以用于:采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,得到第三图像识别模型,所述第一增量样本集中的每一第三图像样本具有第三理论标注;采用图像样本池中的第二图像样本集对所述第三图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第四预测标注;根据一一对应的多个所述第二理论标注和多个所述第四预测标注,判断所述第三图像识别模型是否为符合预设条件的图像识别模型;若所述第三图像识别模型为不符合预设条件的图像识别模型,则采用所述第三图像识别模型对所述图像样本池中的第四图像样本集进行预测,得到所述第四图像样本集中的每一第四图像样本的第四预测标注;基于多个所述第四预测标注,获取每一所述第四图像样本的第四纠错标注,并选取多个所述第四纠错标注相同于异常标注的多个所述第四图像样本作为第二增量样本集,并采用所述第二增量样本集、所述第一增量样本集和所述第一图像样本集对所述第三图像识别模型进行训练,以得到符合预设条件的图像识别模型。
89.在本发明的一些实施例中,第一训练模块10具体可以用于:采用图像样本池中的第一图像样本集对所述第一图像识别模型进行预设次数的训练,并且获取每一次训练的损失值;将损失值最小的一次训练所得模型作为所述第二图像识别模型。
90.在本发明的一些实施例中,第一训练模块10具体可以用于:构建所述第一图像识别模型,所述第一图像识别模型包括resnet50模型或者inceptionv3模型。
91.本发明还提供一种服务器,其集成了本发明实施例所提供的任一种基于深度学习的图像识别装置,如图9所示,其示出了本发明实施例所涉及到的服务器的结构示意图,具体来讲:该服务器可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解,图9中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
92.处理器601是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模型,以及调用存储在存储器602内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器601可包括一个或多个处理核心;优选的,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
93.存储器602可用于存储软件程序以及模型,处理器601通过运行存储在存储器602的软件程序以及模型,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比
如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。
94.服务器还包括给各个部件供电的电源603,优选的,电源603可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
95.该服务器还可包括输入单元604,该输入单元604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
96.尽管未示出,服务器还可以包括显示单元等,在此不再赘述。具体在本实施例中,服务器中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注;采用图像样本池中的第二图像样本集对所述第二图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注;根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型;若所述第二图像识别模型为不符合预设条件的图像识别模型,则采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,得到所述第三图像样本集中的每一第三图像样本的第三预测标注;基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并选取多个所述第三纠错标注相同于异常标注的多个所述第三图像样本作为第一增量样本集,并采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。
97.本发明还提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。存储介质存储有计算机程序,该计算机程序被处理器进行加载,以执行本发明实施例所提供的任一种基于深度学习的图像识别方法中的步骤。例如,所述计算机程序被处理器进行加载可以执行如下步骤:采用图像样本池中的第一图像样本集对第一图像识别模型进行训练,得到第二图像识别模型,所述第一图像样本集中的每一第一图像样本具有第一理论标注;采用图像样本池中的第二图像样本集对所述第二图像识别模型进行测评,得到所述第二图像样本集中的每一第二图像样本的第二预测标注,每一所述第二图像样本具有第二理论标注;根据一一对应的多个所述第二理论标注和多个所述第二预测标注,判断所述第二图像识别模型是否为符合预设条件的图像识别模型;若所述第二图像识别模型为不符合预设条件的图像识别模型,则采用所述第二图像识别模型对所述图像样本池中的第三图像样本集进行预测,
得到所述第三图像样本集中的每一第三图像样本的第三预测标注;基于多个所述第三预测标注,获取每一所述第三图像样本的第三纠错标注,并选取多个所述第三纠错标注相同于异常标注的多个所述第三图像样本作为第一增量样本集,并采用所述第一增量样本集和所述第一图像样本集对所述第二图像识别模型进行训练,以得到符合预设条件的图像识别模型。
98.需要说明的是,本发明实施例方法由于是在电子设备中执行,各电子设备的处理对象均以数据或信息的形式存在,例如时间,实质为时间信息,可以理解的是,后续实施例中若提及尺寸、数量、位置等,均为对应的数据存在,以便电子设备进行处理,具体此处不作赘述。
99.以上对本发明实施例所提供的图像识别模型的训练方法、装置、服务器及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1