特征提取模型的训练方法、装置和电子设备与流程

1.本公开涉及图像处理技术领域，尤其涉及图像处理、图像分类、医疗影像分析等人工智能技术领域，具体涉及一种特征提取模型的训练方法、装置和电子设备。


背景技术：

2.在较多检测场景下，例如肺结节检测场景。通过肺结节检测可以较早地发现肺癌，这样有利于增加患者的生存机会。肺结节电子计算机断层扫描(computed tomography，ct)图像的数据庞大，且诊断困难，在实际检测场景下，需要占用专业医师大量的时间，从而使得肺结节检测效率低下。
3.为了提高肺结节检测效率，现有技术中，通常是采用肺结节特征提取模型，对ct图像的肺部区域进行遍历，提取疑似结节的特征图；再对疑似节点的特征图进行分类，从而对肺结节进行检测。
4.但是，鉴于采用现有的肺结节特征提取模型，在进行肺结节特征提取时，其提取结果的准确度较低。


技术实现要素：

5.本公开提供了一种特征提取模型的训练方法、装置和电子设备，提高了训练得到的特征提取模型的准确度，这样通过训练得到的特征提取模型进行特征提取时，提高了提取结果的准确度。
6.根据本公开的第一方面，提供了一种特征提取模型的训练方法，该特征提取模型的训练方法可以包括：
7.获取多个图像样本。
8.将所述多个图像样本输入至初始特征提取模型的下采样融合网络中，得到各图像样本对应的多个融合特征，将所述各图像样本对应的多个融合特征输入至所述初始特征提取模型的上采样网络中，得到所述各图像样本对应的多个目标特征图。
9.根据所述各图像样本对应的多个目标特征图，更新所述初始特征提取模型的网络参数。
10.根据本公开的第二方面，提供了一种特征提取模型的训练装置，该特征提取模型的训练装置可以包括：
11.获取单元，用于获取多个图像样本。
12.处理单元，用于将所述多个图像样本输入至初始特征提取模型的下采样融合网络中，得到各图像样本对应的多个融合特征，将所述各图像样本对应的多个融合特征输入至所述初始特征提取模型的上采样网络中，得到所述各图像样本对应的多个目标特征图。
13.更新单元，用于根据所述各图像样本对应的多个目标特征图，更新所述初始特征提取模型的网络参数。
14.根据本公开的第三方面，提供了一种电子设备，该电子设备可以包括：
15.至少一个处理器；以及
16.与所述至少一个处理器通信连接的存储器；其中，
17.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的特征提取模型的训练方法。
18.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述第一方面所述的特征提取模型的训练方法。
19.根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的特征提取模型的训练方法。
20.根据本公开的技术方案，提高了训练得到的特征提取模型的准确度，这样通过训练得到的特征提取模型进行特征提取时，提高了提取结果的准确度。
21.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.附图用于更好地理解本方案，不构成对本公开的限定。其中：
23.图1是本公开实施例提供的一种resnet-fpn网络的结构示意图；
24.图2是根据本公开第一实施例提供的特征提取模型的训练方法的流程示意图；
25.图3是本公开实施例提供的一种初始特征提取模型的结构示意图；
26.图4是本公开实施例提供的另一种初始特征提取模型的结构示意图；
27.图5是根据本公开第二实施例提供的一种得到各图像样本对应的多个融合特征的方法的流程示意图；
28.图6是本公开实施例提供的一种卷积单元的替换示意图；
29.图7是本公开实施例提供的一种最大池化层的替换示意图；
30.图8是根据本公开第三实施例提供的更新初始特征提取模型的网络参数的训练方法的流程示意图；
31.图9是本公开实施例提供的一种图像杨与标记框之间的关系示意图；
32.图10是根据本公开第四实施例提供的特征提取模型的训练装置的结构示意图；
33.图11是根据本公开实施例提供的一种电子设备的示意性框图。
具体实施方式
34.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
35.在本公开的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以
上。“和/或”，描述关联对象的访问关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a，b可以是单数或者复数。在本公开的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。此外，在本公开实施例中，“第一”、“第二”、“第三”、“第四”、“第五”以及“第六”只是为了区分不同对象的内容而已，并无其它特殊含义。
36.本公开实施例提供的技术方案可以应用于图像特征检测的场景中。例如，基于ct图像的肺结节检测场景。现有技术中，通常是采用肺结节特征提取模型，对ct图像的肺部区域进行遍历，提取疑似结节的特征图；再对疑似节点的特征图进行分类，从而对肺结节进行检测。
37.但是，由于大多数肺部结节较为微小，尤其是直径小于8mm的结节占了较大的比例，并且这些结节在ct图像中所占像素直径均远远小于32，为微小目标，容易被忽略，从而造成肺结节特征提取模型对结节的召回率较低，即提取结果的准确度较低。
38.为了提高提取结果的准确度，可以在确定用于训练结节特征提取模型的初始特征提取模型时，为了使得特征提取模型可以对大结节和小结节均保持良好的检测性能，且考虑到在下采样网络后增加一个特征融合网络，例如在深度学习网络骨架(backbone)网络resnet后加上特征金字塔网络(feature pyramid networks，fpn)网络结构，可以较好地融合高层信息与底层信息，因此，初始特征提取模型的网络结构可以采用例如resnet-fpn网络结构。示例的，可参见图1所示，图1是本公开实施例提供的一种resnet-fpn网络的结构示意图，其中，图1中左侧所示的c1、c2、c3、c4以及c5为resnet网络，中间和右侧所示的网络为fpn网络。
39.但是，针对部分小型结节，由于其所占像素较少，经过下采样很难保留底层信息，参见上述图1所示，即使通过fpn网络可以较好地融合高层信息与底层信息，但高层信息对小型节点的检测并无帮助，因此，为了使得结节特征提取模型同时对大结节和小结节均保持良好的检测性能，需要考虑对resnet-fpn网络结构进行优化。
40.在对resnet-fpn网络结构进行优化时，可以考虑为了恢复在下采样处理过程中丢失的底层信息，从而增加小节点特征的信息，可以在得到的多个维度的特征图的基础上，针对每一个维度的特征图，再进行上采样处理，即初始特征提取模型可以采用下采样网络后增加一个特征融合网络，再增加一个上采用网络的网络结构，以通过上采样网络恢复在下采样处理过程中丢失的底层信息，从而增加小节点特征的信息，这样通过训练包括上采样网络的特征提取模型，使得在通过特征提取模型进行特征提取时，提高了提取结果的准确度。
41.基于上述技术构思，本公开实施例提供了一种特征提取模型的训练方法，下面，将通过具体的实施例对本公开提供的特征提取模型的训练方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
42.实施例一
43.图2是根据本公开第一实施例提供的特征提取模型的训练方法的流程示意图，该特征提取模型的训练方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图2所示，该特征提取模型的训练方法可以包括：
44.s201、获取多个图像样本。
45.示例的，获取多个图像样本时，可以直接接收用户输入的多个图像样本，也可以接收其它电子设备发送的多个图像样本，也可以从本地存储中获取多个图像样本，也可以通过其它方式获取多个图像样本，具体可以根据实际需要进行设置，在此，对于多个图像样本的获取方法，本公开实施例不做具体限制。
46.在获取到多个图像样本后，就可以将该多个图像样本作为特征提取模型的训练样本，对初始特征提取模型进行训练，以最终训练得到所需的特征提取模型。
47.可以理解的是，在本公开实施例中，在通过多个图像样本对初始特征提取模型进行训练之前，还可以先对该多个图像样本进行数据增强处理，以通过数据增强处理，增强图像样本中的特征，使得图像样本中的特征更加明显，这样通过数据增强处理后的多个图像样本对初始特征提取模型进行训练，更有利于提升特征提取模型对结节的召回率。
48.以多个图像样本为ct图像为例，鉴于结节大多数为微小目标，容易被忽略，造成特征提取模型对结节的召回率较低，因此，通过对ct图像进行数据增强处理，可以使得ct图像中的特征更加明显，增强了ct图像中的特征，这样就可以解决结节大多数为微小目标，容易被忽略，造成特征提取模型对小结节的召回率较低的问题，从而在一定程度上提升了特征提取模型对结节的召回率。
49.在获取到多个图像样本后，就可以将多个图像样本输入至初始特征提取模型中，即执行下述s202，以对初始特征提取模型进行训练。
50.s202、将多个图像样本输入至初始特征提取模型的下采样融合网络中，得到各图像样本对应的多个融合特征，将各图像样本对应的多个融合特征输入至初始特征提取模型的上采样网络中，得到各图像样本对应的多个目标特征图。
51.示例的，可参见图3所示，图3是本公开实施例提供的一种初始特征提取模型的结构示意图，该初始特征提取模型中可以包括下采用融合网络和上采样网络。
52.结合上述图3所示，本公开实施例中，初始特征提取模型与现有特征提取模型的网络结构不同，在现有的特征提取网络模型的网络架构上做了优化，表现在在现有的下采样融合网络后接了一个上采样网络，以通过上采样网络恢复在下采样处理过程中丢失的底层信息，从而增加小特征的信息。这样在进行初始特征提取模型时，可以先将多个图像样本输入至初始特征提取模型的下采样融合网络中，通过下采样融合网络对各图像样本进行下采样以及特征融合处理，得到各图像样本对应的多个融合特征；再将各图像样本对应的多个融合特征输入至上采样网络中，以通过上采样网络恢复在下采样处理过程中丢失的底层信息，得到各图像样本对应的多个目标特征图。可以理解的是，各目标特征图中包括了在下采样处理过程中丢失的底层信息，提高了获取到的目标特征图的准确度。
53.此外，在上述图3所示的初始特征提取网络模型的网络架构中，鉴于下采样融合网络输出的各图像样本对应的多个融合特征中，步长为64的融合特征，并不影响特征提取结果的准确度，因此，为了简化图3所示的下采样融合网络，可以从图3所示的下采样融合网络中去除步长为64的融合特征，可参见图4所示，图4是本公开实施例提供的另一种初始特征提取模型的结构示意图，这样可以在不影响特征提取结果的准确度的前提下，简化了下采样融合网络的网络结构。
54.在得到多个图像样本各自对应的多个目标特征图，更新初始特征提取模型的网络
参数，即执行下述s203：
55.s203、根据各图像样本对应的多个目标特征图，更新初始特征提取模型的网络参数。
56.在根据各图像样本对应的多个目标特征图，更新初始特征提取模型的网络参数后，若更新后的特征提取模型收敛，则将收敛时的特征提取模型作为最终的特征提取模型；若更新后的特征提取模型不收敛，则继续执行上述s201-s203，直至特征提取模型收敛，并将收敛时的特征提取模型作为最终的特征提取模型。
57.可以看出，本公开实施例中，在获取特征提取模型时，可以先获取多个图像样本，将多个图像样本输入至初始特征提取模型的下采样融合网络中，得到各图像样本对应的多个融合特征；并将多个融合特征输入至初始特征提取模型的上采样网络中，以通过上采样网络恢复在下采样处理过程中丢失的底层信息，得到各图像样本对应的多个目标特征图；再根据各图像样本对应的多个目标特征图，更新初始特征提取模型的网络参数，提高了训练得到的特征提取模型的准确度，这样通过训练得到的特征提取模型进行特征提取时，提高了提取结果的准确度。
58.结合上述图2所示的实施例可以看出，在本公开实施例中，通过在初始特征提取模型中的下采样特征融合网络后增加一个上采样网络，以通过上采样网络恢复在下采样处理过程中丢失的底层信息，这样可以提高获取到的目标特征图的准确度。
59.示例的，结合上述3所示的初始特征提取模型的网络架构可以看出，上采样网络中包括的反卷积单元与融合特征一一对应，可参见图3所示的第三列和第四列，针对多个图像样本中的各图像样本，可以将图像样本对应的多个融合特征分别输入至与各自对应的反卷积单元中，得到图像样本对应的多个目标特征图，这样通过上采样网络得到的多个目标特征图中，就可以包括下采样处理过程中丢失的底层信息，从而提高了获取到的多个目标特征图的准确度。
60.基于上述图2所示的实施例一，为了便于理解在上述步骤s202中，如何将多个图像样本输入至初始特征提取模型的下采样融合网络中，得到各图像样本对应的多个融合特征，下面，将通过下述图5所示的实施例二进行详细描述。
61.在详细描述之前，先介绍一下下采样融合网络的网络结构，可参见图3所示，该下采样融合网络包括下采样网络和特征融合网络；其中，下采样网络可参见图3所示的第一列网络，特征融合网络可参见图3所示的第二列网络。其中，下采样网络主要用于对图像样本进行下采样处理；特征融合网络主要用于融合下采样处理得到的高层信息与底层信息。在充分了解下采样融合网络的网络结构后，下面，将通过下述图5所示的实施例二，对如何将多个图像样本输入至初始特征提取模型的下采样融合网络中，得到各图像样本对应的多个融合特征进行详细描述。
62.实施例二
63.图5是根据本公开第二实施例提供的一种得到各图像样本对应的多个融合特征的方法的流程示意图，该方法同样可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图5所示，该方法可以包括：
64.s501、将多个图像样本输入至下采样融合网络的下采样网络中，得到各图像样本对应的多个特征图。
65.通常情况下，下采样网络会依次包括一个7*7的卷积单元、一个池化层和其它多个卷积单元；结合上述图4所示的下采样网络，可以看出，图4所示的下采样网络中并未体现该7*7的卷积单元和池化层，只是体现了其它多个卷积单元，即图4所示的c1卷积单元、c2卷积单元、c3卷积单元、c4卷积单元、以及c5卷积单元。
66.这样在将多个图像样本输入至下采样网络的下采样网络时，该多个图像样本对会依次进入下采样网络中的7*7的卷积单元，池化层、以及多个卷积单元，从而得到各图像样本对应的多个特征图。
67.为了更进一步优化下采样网络的网络结构，在本公开实施例中，可以分别对7*7的卷积单元和/或池化层进行改进，对应的，根据改进后的结构，在将多个图像样本输入至下采样融合网络的下采样网络中，得到各图像样本对应的多个特征图时，可以包括三种可能的情况：
68.在一种可能情况下，考虑到卷积核为7*7的卷积单元会使得运算量较大，因此，可以仅对7*7的卷积单元进行改进，将7*7的卷积单元修改为多个依次连接的卷积层，并将该多个依次连接的卷积层记为下采样网络的第一卷积单元，这样通过多个依次连接的卷积层替换7*7的卷积单元，可以有效地降低运算量，其中，第一卷积单元中包括的多个卷积层的卷积核的大小小于7*7，这样
69.示例的，可参见图6所示，图6是本公开实施例提供的一种卷积单元的替换示意图，可以看出，在本公开实施例中，可以将下采样网络中的7*7的卷积单元修改为3个卷积核为3*3大小的卷积层。其中，图6右侧所示的3个依次连接的卷积核为3*3的卷积层，用于替换图6左侧所示的卷积核为7*7的卷积单元。
70.结合上述图6所示的修改，在该种可能的情况下，针对各图像样本，将图像样本输入至下采样网络的第一卷积单元中，得到第一特征图，第一卷积单元包括多个依次连接的卷积层；将第一特征图输入至下采样网络的最大池化层，输出第二特征图，并将第二特征图输入至下采样网络中除第一卷积单元和最大池化层之外的卷积单元，得到图像样本对应的多个特征图。
71.示例的，可参见图4所示，下采样网络中除第一卷积单元和最大池化层之外的卷积单元，即为c1卷积单元、c2卷积单元、c3卷积单元、c4卷积单元、以及c5卷积单元。
72.可以看出，在该种可能的情况下，可以采用多个依次连接的卷积层替换原卷积核为7*7的卷积单元，并通过多个依次连接的卷积层对图像样本进行下采样处理，有效降低了降低运算量；并将得到的第一特征图输入至下采样网络的最大池化层，输出第二特征图，并将第二特征图输入至下采样网络中除第一卷积单元和最大池化层之外的卷积单元，从而获取到图像样本对应的多个特征图。
73.在另一种可能的情况下，考虑到最大池化层对应的最大池化操作对卷积操作结果进行4倍下采样卷积处理，下采样网络越深，其获取到的图像语义信息越多，但会丢失图像的底层信息，从而模糊小特征；并且，考虑到卷积单元中的卷积层中包括可以学习的网络参数，因此，可以通过一个卷积单元替换该最大池化层进行下采样卷积处理。但是，采用卷积单元替换该最大池化层进行下采样卷积处理时，会使得感受野减弱，为了弥补感受野，也可以在卷积单元中增加空洞卷积操作，从而弥补感受野，可参见交底书中的图7，图7是本公开实施例提供的一种最大池化层的替换示意图，可以看出，在本公开实施例中，可以将下采样
网络中的最大池化层修改为一个包括空洞卷积层的卷积单元。图7左侧所示的为最大池化层，图7右侧所示的为包括空洞卷积层的卷积单元，用于替换最大池化层。示例的，空洞卷积层的卷积核的大小小于7*7，且空洞率为2。
74.结合上述图7所示的修改，在该种可能的情况下，针对各图像样本，将图像样本输入至下采样网络的第二卷积单元中，得到第三特征图，第二卷积单元包括一个卷积层；将第三特征图输入至下采样网络的第三卷积单元中，得到第四特征图，并将第四特征图输入至下采样网络中除第二卷积单元和第三卷积单元之外的卷积单元中，得到图像样本对应的多个特征图，第三卷积单元包括空洞卷积层。
75.示例的，第二卷积单元可以为上述图6所示的卷积核为7*7的卷积单元，即对卷积核为7*7的卷积单元未做修改，第三卷积单元可以为上述图7所示的包括空洞卷积层的卷积单元，下采样网络中除第二卷积单元和第三卷积单元之外的卷积单元即为c1卷积单元、c2卷积单元、c3卷积单元、c4卷积单元、以及c5卷积单元。
76.可以看出，在该种可能的情况下，可以先将图像样本输入至下采样网络的第二卷积单元中，得到第三特征图；再将第三特征图输入至包括空洞卷积层的第三卷积单元，得到第四特征图，以通过第四特征图尽可能保留图像的底层信息，再将第四特征图输入至下采样网络中除第二卷积单元和第三卷积单元之外的卷积单元中，从而获取到图像样本对应的多个特征图。
77.在又一种可能的情况下，可以同时对上述所示的卷积核为7*7的卷积单元和最大池化层进行修改，采用多个依次连接的卷积层替换原卷积核为7*7的卷积单元，并采用包括空洞卷积层的卷积单元替换最大池化层，其替换方法与上述前两种可能的情况中描述的替换方法类似，可参见上述两种可能的情况中的相关描述，在此，本公开实施例不再进行赘述。
78.结合卷积核为7*7的卷积单元和最大池化层的修改，在该种可能的情况下，针对各图像样本，将图像样本输入至下采样网络中包括多个依次连接的卷积层的第一卷积单元中进行处理，有效降低了降低运算量；再将得到的第一特征图输入至包括空洞卷积层的下采样网络的第三卷积单元中，得到第五特征图，以通过第五特征图尽可能保留图像的底层信息；再将第五特征图输入至下采样网络中除第一卷积单元和第三卷积单元之外的卷积单元中，从而得到图像样本对应的多个特征图。
79.需要说明的是，本公开实施例只是以上述三种可能的情况进行说明，但并不代表本公开实施例仅局限于此。
80.在将多个图像样本输入至下采样融合网络的下采样网络中，得到各图像样本对应的多个特征图后，就可以执行下述s502：
81.s502、将各图像样本对应的多个特征图输入至下采样融合网络的特征融合网络中，得到各图像样本对应的多个融合特征。
82.在通过上采样网络得到各图像样本对应的多个特征图后，就可以将多个特征图输入至下采样融合网络的特征融合网络中，以通过特征融合网络对特征图的高层信息和底层信息进行特征融合处理，从而得到各图像样本对应的多个融合特征。
83.可以看出，本公开实施例中，在将多个图像样本输入至下采样融合网络的下采样网络中，得到各图像样本对应的多个特征图；将各图像样本对应的多个特征图输入至下采
样融合网络的特征融合网络中，以通过特征融合网络对特征图的高层信息和底层信息进行特征融合处理，从而得到各图像样本对应的多个融合特征。
84.基于上述任一实施例，为了便于理解在上述s203中，如何根据多个图像样本对中各图像样本对应的多个目标特征图，更新初始特征提取模型的网络参数，下面，将通过下述图8所示的实施例三进行详细描述。
85.可以理解的是，在初始特征提取模型训练过程中，都是采用一个batch的样本图像执行对初始特征提取模型的一次训练操作，一个batch的样本图像的数量通常为256，以ct图像场景为例，由于小结节正样本数量有限，为了有助于解决正负样本不平衡的问题，可以将一个batch的样本图像的数量设置为128，这样可以在一定程度上有效缓解正负样本的不均衡。
86.实施例三
87.图8是根据本公开第三实施例提供的更新初始特征提取模型的网络参数的训练方法的流程示意图，该方法同样可以由软件和/或硬件装置执行。示例的，请参见图8所示，该更新初始特征提取模型的网络参数可以包括：
88.s801、针对各图像样本，确定图像样本对应的多个目标特征图各自对应的损失函数，并根据多个目标特征图各自对应的损失函数，确定图像样本对应的损失函数。
89.示例的，确定图像样本对应的多个目标特征图各自对应的损失函数时，针对各目标特征图，可以先确定目标特征图对应的多个标记框各自对应的损失函数；并根据多个标记框各自对应的损失函数，确定目标特征图对应的损失函数。
90.通常情况下，针对一个图像样本，其会对应标注一个预设标记框，在将图像样本输入至初始特征提取模型后，该初始特征提取模型可以提取出图像样本对应的多个目标特征图，且每一个目标特征图中均会包括基于预设标记框衍生出的多个标记框。换句话说，针对一个图像样本，其会对应多个目标特征图，针对每一个目标特征图，又会对应多个标记框。
91.在确定目标特征图对应的多个标记框各自对应的损失函数时，鉴于各标记框对应的损失函数的确定方法类似，因此，下面，将以确定任意一个标记框对应的损失函数为例，对如何确定多个标记框各自对应的损失函数进行详细描述。
92.示例的，在确定标记框对应的损失函数时，可以从两个方面构造损失函数，分别包括：确定标记框的预测类型和预设标记框的标注类型之间的类型损失函数，以及标记框和预设标记框之间的位移损失函数；并根据类型损失函数和位移损失函数，确定标记框对应的损失函数。其中，图像样本中除了标注预设标记框之外，还会标注该预设标记框对应的标注类型。示例的，标注类型可以为前景框类型，也可以为后景框类型；以ct图像样本为例，前景框类型表示该标记框为小结节，后景框表示类型表示该标记框为背景。
93.在获取基于预设标记框衍生出的标记框的预测类型时，可以预先训练分类器。在训练分类器时，首先，可以先提取一定量的前景框和后景框来训练分类器，其次，提取足够数量的正负样本来训练分类器，鉴于小结节本身特征像素点少，因此，能提取到的前景框与正样本个数均比较少，会存在正负样本不平衡的问题，从而导致无法基于标记框的预测类型和预设标记框的标注类型之间的类型损失函数较好地训练特征检测模型。因此，初始特征提取模型首先在目标特征图上挨个滑窗，从而得到非常多的标记框，再分别将多个标记框挨个与预设标记框进行重叠度(intersection over union，iou)计算，从而得到一批正
样本和负样本；之后，再用这些正负样本训练一个分类器。其中，iou指的是衍生的标记框的面积与预设标记框的面积的重叠度。
94.需要说明的是，在本公开实施例中，为了获取更多的正样本数量，可以将原有的分类器中分类参数进行调整，例如，原有的分类器中的分类参数包括iou大于0.7则为前景框，iou低于0.4则为后景框，调整之后的分类器中的分类参数包括iou大于0.4则为前景框，iou低于0.2则为后景框，这样通过设置iou大于0.4则为前景框，可以获取到更多的正样本，增加正样本的数量，通过设置iou低于0.2则为后景框，可以适当减少负样本的数量，以正负样本不平衡的问题。
95.这样在训练得到的分类器，不仅可以区分标记框的类型为前景框类型或者，后景框类型，而且还可以输出每一个标记框对应的得分；对应的，初始特征提取模型根据每一个标记框对应的得分进行非极大值抑制(non-maximum suppression，nms)，降低nms的阈值，从而进一步扩充标记框的数量，从而过滤掉重叠的框，针对每一个区域只保留一个标记框，再基于保留的标记框，随机选取64个正样本和64个负样本，正样本不够的话就只能继续增加负样本，来保证总数是128。
96.在训练得到分类器后，将可以将图像样本对应的目标特征图输入至分类器中，得到该目标特征图中标注的多个标记框各自所属的类型，从而得到目标特征图中标注的标记框的预测类型。
97.这样在分别确定出标记框的预测类型和预设标记框的标注类型之间的类型损失函数，以及标记框和预设标记框之间的位移损失函数后，就可以根据类型损失函数与位移损失函数，确定标记框对应的损失函数。
98.示例的，根据类型损失函数与位移损失函数，确定标记框对应的损失函数时，可以直接确定类型损失函数与位移损失函数的和，并将和确定为标记框对应的损失函数；可以先分别确定类型损失函数与位移损失函数的权重，并结合各自的权重，对类型损失函数与位移损失函数进行加权处理，并将加权处理结果确定为标记框对应的损失函数，具体可以根据实际需要进行设置，在此，本公开实施例不做具体限制。
99.需要说明的是，在训练得到特征提取模型时，鉴于正负样本的不平衡会影响特征提取模型的准确度，因此，在结合各自的权重，对类型损失函数与位移损失函数进行加权处理时，可以适当降低检测框回归分支的权重，即位移损失函数的权重，使得特征提取模型更加包容一定偏移的正样本，这样可以在一定程度上提高特征提取模型的准确度，从而提高了小样本特征的召回率。
100.这样在确定出目标特征图对应的多个标记框各自对应的损失函数后，就可以根据多个标记框各自对应的损失函数确定该目标特征图的损失函数；鉴于一个图像样本对应多个目标特征图，再根据各目标特征图对应的损失函数，就可以确定出该图像样本对应的损失函数。
101.示例的，可参见下述图9所示，图9是本公开实施例提供的一种图像杨与标记框之间的关系示意图，结合图9所示，肺结节ct图像样本对应三个目标特征图，且三个特征图中每一个特征图中包括三个衍生的标记框，则该肺结节ct样本图像对应九个损失函数，示例的，可以将该九个损失函数的平均损失函数，确定为该肺结节ct样本图像对应的损失函数，从而获取到该肺结节ct样本图像对应的损失函数。
102.在获取到各图像样本对应的损失函数，更新初始特征提取模型的网络参数，即执行下述s802，以对初始特征提取模型进行训练。
103.s802、根据各图像样本对应的损失函数，更新初始特征提取模型的网络参数。
104.示例的，根据各图像样本对应的损失函数，更新初始特征提取模型的网络参数时，鉴于多个图像样本为执行一次训练操作的多个样本，因此，可以先根据各图像样本对应的损失函数，确定多个图像样本对应的平均损失函数；并根据平均损失函数，更新特征提取模型的网络参数。
105.可以理解的是，在根据平均损失函数，更新初始特征提取模型的网络参数后，若更新后的特征提取模型收敛，则直接将更新后的特征提取模型确定为最终训练好的特征提取模型；若更新后的特征提取模型未收敛，则再次执行上述步骤，直至更新后的特征提取模型收敛，并将收敛时的特征提取模型确定为最终训练好的特征提取模型，从而获取到最终的特征提取模型，这样得到的特征提取模型具有较好地特征提取能力，从而有效地提高了特征提取模型的鲁棒性。
106.可以看出，本公开实施例中，在获取特征提取模型时，可以先确定图像样本对应的多个目标特征图各自对应的损失函数，并根据多个目标特征图各自对应的损失函数，确定图像样本对应的损失函数；并根据各图像样本对应的损失函数，共同更新初始特征提取模型的网络参数，提高了训练得到的特征提取模型的准确度，这样通过训练得到的特征提取模型进行特征提取时，提高了提取结果的准确度。
107.此外，通过本公开实施例提供的技术方案，训练得到的特征提取模型，相比于现有方案而言，准确度较高，因此，在采用准确度较高的特征提取模型，提取ct图像的特征时，提升了特征提取模型对结节的召回率。
108.实施例四
109.图10是根据本公开第四实施例提供的特征提取模型的训练装置100的结构示意图，示例的，请参见图10所示，该特征提取模型的训练装置100可以包括：
110.获取单元1001，用于获取多个图像样本。
111.处理单元1002，用于将多个图像样本输入至初始特征提取模型的下采样融合网络中，得到各图像样本对应的多个融合特征，将各图像样本对应的多个融合特征输入至初始特征提取模型的上采样网络中，得到各图像样本对应的多个目标特征图。
112.更新单元1003，用于根据各图像样本对应的多个目标特征图，更新初始特征提取模型的网络参数。
113.可选的，上采样网络中包括的反卷积单元与融合特征一一对应；处理单元1002包括第一处理模块。
114.第一处理模块，用于针对各图像样本，将图像样本对应的多个融合特征分别输入至与各自对应的反卷积单元中，得到图像样本对应的多个目标特征图。
115.可选的，处理单元1002还包括第二处理模块和第三处理模块。
116.第二处理模块，用于将多个图像样本输入至下采样融合网络的下采样网络中，得到各图像样本对应的多个特征图。
117.第三处理模块，用于将各图像样本对应的多个特征图输入至下采样融合网络的特征融合网络中，得到各图像样本对应的多个融合特征。
118.可选的，第二处理模块包括第一处理子模块和第二处理子模块。
119.第一处理子模块，用于针对各图像样本，将图像样本输入至下采样网络的第一卷积单元中，得到第一特征图，第一卷积单元包括多个依次连接的卷积层。
120.第二处理子模块，用于将第一特征图输入至下采样网络的最大池化层，输出第二特征图，并将第二特征图输入至下采样网络中除第一卷积单元和最大池化层之外的卷积单元，得到图像样本对应的多个特征图。
121.可选的，第二处理模块还包括第三处理子模块和第四处理子模块。
122.第三处理子模块，用于针对各图像样本，将图像样本输入至下采样网络的第二卷积单元中，得到第三特征图，第二卷积单元包括一个卷积层。
123.第四处理子模块，用于将第三特征图输入至下采样网络的第三卷积单元中，得到第四特征图，并将第四特征图输入至下采样网络中除第二卷积单元和第三卷积单元之外的卷积单元中，得到图像样本对应的多个特征图，第三卷积单元包括空洞卷积层。
124.可选的，第二处理模块还包括第五处理子模块和第六处理子模块。
125.第五处理子模块，用于针对各图像样本，将图像样本输入至下采样网络的第一卷积单元中，得到第一特征图，第一卷积单元包括多个依次连接的卷积层。
126.第六处理子模块，用于将第一特征图输入至下采样网络的第三卷积单元中，得到第五特征图，并将第五特征图输入至下采样网络中除第一卷积单元和第三卷积单元之外的卷积单元中，得到图像样本对应的多个特征图，第三卷积单元包括空洞卷积层。
127.可选的，第一卷积单元中包括的多个卷积层的卷积核的大小小于7*7。
128.可选的，空洞卷积层的卷积核的大小小于7*7，且空洞率为2。
129.可选的，更新单元1003包括第一更新模块和第二更新模块。
130.第一更新模块，用于针对各图像样本，确定图像样本对应的多个目标特征图各自对应的损失函数，并根据多个目标特征图各自对应的损失函数，确定图像样本对应的损失函数。
131.第二更新模块，用于根据各图像样本对应的损失函数，更新初始特征提取模型的网络参数。
132.可选的，第一更新模块包括第一更新子模块和第二更新子模块。
133.第一更新子模块，用于针对各目标特征图，确定目标特征图对应的多个标记框各自对应的损失函数。
134.第二更新子模块，用于根据多个标记框各自对应的损失函数，确定目标特征图对应的损失函数。
135.可选的，第一更新子模块，具体用于针对各标记框，确定标记框的预测类型和预设标记框的标注类型之间的类型损失函数，以及标记框和预设标记框之间的位移损失函数，标记框为基于预设标记框衍生得到的；并根据类型损失函数和位移损失函数，确定标记框对应的损失函数。
136.本公开实施例提供的特征提取模型的训练装置100，可以执行上述任一实施例所示的特征提取模型的训练方法的技术方案，其实现原理以及有益效果与特征提取模型的训练方法的实现原理及有益效果类似，可参见特征提取模型的训练方法的实现原理及有益效果，此处不再进行赘述。
137.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
138.根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
139.图11是根据本公开实施例提供的一种电子设备110的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
140.如图11所示，设备110包括计算单元1101，其可以根据存储在只读存储器(rom)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(ram)1103中的计算机程序，来执行各种适当的动作和处理。在ram1103中，还可存储设备110操作所需的各种程序和数据。计算单元1101、rom1102以及ram 1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。
141.设备110中的多个部件连接至i/o接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备110通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
142.计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如特征提取模型的训练方法。例如，在一些实施例中，特征提取模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由rom1102和/或通信单元1109而被载入和/或安装到设备110上。当计算机程序加载到ram 1103并由计算单元1101执行时，可以执行上文描述的特征提取模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行特征提取模型的训练方法。
143.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至
少一个输出装置。
144.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
145.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
146.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
147.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
148.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
149.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
150.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。