图像分类模型训练方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种图像分类模型训练方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着计算机视觉技术的不断发展，计算机视觉技术被应用于越来越多的领域。其中，图像分类是计算机视觉任务中的一项重要任务。
3.现有的图像分类模型需要基于大量的数据标注作为监督信息进行训练，才能保证图像分类模型的分类准确率。
4.但是，对于某些特殊场景，由于类别间差异太小，人工肉眼无法准确区分图像类别，因而会导致标注错误；而采用错误的人工标注对图像分类模型进行训练而导致的已训练图像分类模型分类混乱的问题，最后将会导致训练后的图像分类模型的分类准确度较低。


技术实现要素：

5.本技术提供一种图像分类模型训练方法、装置、电子设备及计算机可读存储介质，旨在解决由于类别间差异太小容易采用错误的人工标注对图像分类模型进行训练，进而导致的图像分类模型分类准确度低的问题。
6.第一方面，本技术提供一种图像分类模型训练方法，所述方法包括：
7.获取目标样本图像；
8.通过预设的热力图映射参数，对所述目标样本图像进行热力信息提取，得到所述目标样本图像的样本热力图，其中，所述热力图映射参数用于反映样本热力图与类别标注信息之间的约束关系，所述热力图映射参数基于预设的热力图提取模块学习得到；
9.基于所述样本热力图，确定所述目标样本图像的类别标注信息；
10.基于所述类别标注信息和所述目标样本图像，对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型。
11.第二方面，本技术提供一种图像分类模型训练装置，所述图像分类模型训练装置包括：
12.获取单元，用于获取目标样本图像；
13.提取单元，用于通过预设的热力图映射参数，对所述目标样本图像进行热力信息提取，得到所述目标样本图像的样本热力图，其中，所述热力图映射参数用于反映样本热力图与类别标注信息之间的约束关系，所述热力图映射参数基于预设的热力图提取模块学习得到；
14.确定单元，用于基于所述样本热力图，确定所述目标样本图像的类别标注信息；
15.训练单元，用于基于所述类别标注信息和所述目标样本图像，对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型。
16.在本技术的一些实施例中，所述确定单元具体用于：
17.获取热力位置信息与类别信息之间的预设映射关系，其中，所述预设映射关系用于指示所述样本热力图的热力位置信息与所述目标样本图像的类别标注信息之间的关系；
18.获取所述样本热力图的热力位置信息；
19.基于所述样本热力图的热力位置信息和所述预设映射关系，确定所述目标样本图像的类别标注信息。
20.在本技术的一些实施例中，所述基于所述类别标注信息和所述目标样本图像，对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型之前，所述训练单元具体用于：
21.获取图像样本集合以及预设标注数据，其中，所述图像样本集合包括多个初始样本图像，所述预设标注数据包括所述初始样本图像的预设标注类别；
22.基于预设分类模型对所述图像样本集合中各初始样本图像进行预测，得到所述图像样本集合中各初始样本图像的预测类别；
23.从所述图像样本集合中，获取所述预设标注类别与所述预测类别不同的目标初始样本图像；
24.以所述目标初始样本图像的预测类别作为监督信息，基于所述目标初始样本图像对所述预设分类模型进行训练，直至符合预设的第二停止训练条件时，得到所述待训练的图像分类模型。
25.在本技术的一些实施例中，所述基于所述样本热力图，确定所述目标样本图像的类别标注信息之前，所述训练单元具体用于：
26.通过所述热力图映射参数，对所述目标初始样本图像进行热力信息提取，得到所述目标初始样本图像的目标热力图；
27.通过待训练的图像分类模型，根据所述目标初始样本图像进行预测，得到所述目标初始样本图像的目标类别；
28.获取所述目标热力图的热力位置信息；
29.基于所述目标热力图的热力位置信息和所述目标类别，获取热力位置信息与类别信息之间的预设映射关系。
30.在本技术的一些实施例中，所述提取单元具体用于：
31.通过所述热力图映射参数，对所述目标样本图像进行特征提取，得到所述目标样本图像的目标特征图；
32.基于所述目标特征图，获取所述目标样本图像的样本热力图。
33.在本技术的一些实施例中，所述图像分类模型训练装置还包括分类单元，所述分类单元具体用于：
34.获取目标场景区域的目标场景图像；
35.通过所述已训练图像分类模型，对所述目标场景图像进行分类，得到所述目标场景区域的目标场景状态。
36.在本技术的一些实施例中，所述目标场景图像包括所述目标场景区域的在先场景图像和在后场景图像，所述分类单元具体用于：
37.基于所述在先样本图像和所述在后样本图像，确定所述目标样本图像的样本光流
信息；
38.以所述类别标注信息作为监督信息，基于所述在先样本图像和所述样本光流信息对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型；
39.在本技术的一些实施例中，所述目标样本图像包括样本场景区域的在先样本图像和在后样本图像，所述训练单元具体用于：
40.基于所述在先场景图像和所述在后场景图像，确定所述目标场景图像的场景光流信息；
41.通过所述已训练图像分类模型，根据所述在先场景图像和所述场景光流信息，对所述目标场景图像进行分类，得到所述目标场景区域的目标场景状态。
42.第三方面，本技术还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术提供的任一种图像分类模型训练方法中的步骤。
43.第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的图像分类模型训练方法中的步骤。
44.本技术中，由于热力图映射参数基于预设的热力图提取模块学习得到，因此热力图映射参数还可以反映指示样本热力图与图像特征信息之间的关系；而特征提取层提取的图像特征信息与图像类别是直接相关的，故热力图映射参数也在一定程度上反映了样本热力图与类别标注信息之间的约束关系。由此可知，通过采用样本热力图对目标样本图像的类别标注信息进行指示，根据样本热力图确定目标样本图像的类别标注信息；对待训练的图像分类模型进行训练得到已训练图像分类模型，第一方面，可以提高图像分类模型的分类准确度。第二方面，特别是当类别间差异太小人工肉眼无法准确区分图像类别，通过根据样本热力图确定目标样本图像的类别标注信息，可以避免采用错误的人工标注对图像分类模型进行训练而导致的已训练图像分类模型分类混乱的问题，从而也在一定程度上提高了已训练图像分类模型的分类准确度。
附图说明
45.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本技术实施例所提供的图像分类模型训练系统的场景示意图；
47.图2是本技术实施例提供的图像分类模型训练方法的一种流程示意图；
48.图3是本技术实施例中提供的待训练的图像分类模型的一种网络结构示意图；
49.图4是本技术实施例中提供的待训练的图像分类模型的另一种网络结构示意图；
50.图5是本技术实施例中提供的热力图提取模块的一种网络结构示意图；
51.图6是本技术实施例中提供的图像分类模型训练装置的一个实施例结构示意图；
52.图7是本技术实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
53.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
54.在本技术实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
55.为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本技术实施例的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术实施例所公开的原理和特征的最广范围相一致。
56.本技术实施例提供一种图像分类模型训练方法、装置、电子设备和计算机可读存储介质。其中，该图像分类模型训练装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
57.本技术实施例图像分类模型训练方法的执行主体可以为本技术实施例提供的图像分类模型训练装置，或者集成了该图像分类模型训练装置的服务器设备、物理主机或者用户设备(user equipment，ue)等不同类型的电子设备，其中，图像分类模型训练装置可以采用硬件或者软件的方式实现，ue具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(personal digital assistant，pda)等终端设备。
58.该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式。
59.参见图1，图1是本技术实施例所提供的图像分类模型训练系统的场景示意图。其中，该图像分类模型训练系统可以包括电子设备100，电子设备100中集成有图像分类模型训练装置。例如，该电子设备可以获取目标样本图像；通过预设的热力图映射参数，对所述目标样本图像进行热力信息提取，得到所述目标样本图像的样本热力图，其中，所述热力图映射参数用于反映样本热力图与类别标注信息之间的约束关系，所述热力图映射参数基于预设的热力图提取模块学习得到；基于所述样本热力图，确定所述目标样本图像的类别标注信息；基于所述类别标注信息和所述目标样本图像，对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型。
60.另外，如图1所示，该图像分类模型训练系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。
61.需要说明的是，图1所示的图像分类模型训练系统的场景示意图仅仅是一个示例，本技术实施例描述的图像分类模型训练系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像分类模型训练系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
62.下面，开始介绍本技术实施例提供的图像分类模型训练方法，本技术实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。
63.参照图2，图2是本技术实施例提供的图像分类模型训练方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该图像分类模型训练方法包括步骤201～204，其中：
64.201、获取目标样本图像。
65.其中，目标样本图像是指用于训练的样本图像。目标样本图像可以是rgb格式的图像，也可以是其他格式类型的图像，此处对目标样本图像的格式不做限制。基于不同的业务场景，目标样本图像有多种不同的表现形式。例如，在对用于狗类别进行分类的图像分类模型训练时，目标样本图像是指狗的样本图像。又如，在对用于目标场景区域状态(如货物装卸口)进行分类的图像分类模型训练时，目标样本图像是指目标场景区域各状态(如装卸口在无车、休息、到港、离岗、装货、卸货、工作共7种状态)下的样本图像。
66.本技术实施例中，以对用于目标场景区域状态进行分类的图像分类模型训练为例。
67.步骤201中获取目标样本图像的方式有多种，示例性地，包括：
68.(1)在实际应用时，电子设备在硬件上可以集成摄像头，通过该摄像头实时拍摄得到目标场景区域的视频帧或图像，以作为目标样本图像。
69.(2)也可以通过其他终端的摄像头实时拍摄得到目标场景区域的视频帧或图像，例如目标场景区域监控设备的摄像头在目标场景区域拍摄得到目标场景区域的视频帧或图像，电子设备与其他终端的摄像头建立网络连接。并根据该网络连接，从其他终端的摄像头在线获取其他终端的摄像头拍摄得到的目标场景区域的视频帧或图像，以作为目标样本图像。
70.(3)电子设备也可以从存储有摄像头(包括电子设备集成的摄像头、或者其他终端的摄像头)拍摄得到的目标场景区域图像的相关存储介质，读取出摄像头拍摄得到的目标场景区域图像，作为目标样本图像。
71.(4)读取预先采集并存储在电子设备内部的目标场景区域视频帧或图像，作为目标样本图像。
72.此处目标样本图像的获取方式仅为举例，不以此为限。
73.202、通过预设的热力图映射参数，对所述目标样本图像进行热力信息提取，得到所述目标样本图像的样本热力图。
74.其中，样本热力图的热力位置信息是指样本热力图中高亮位置对应的物体或标识。
75.其中，热力图映射参数用于反映样本热力图与类别标注信息之间的约束关系。热力图映射参数基于预设的热力图提取模块学习得到。
76.热力图映射参数可以通过热力图提取模块进行学习得到。热力图提取模块可以集成于步骤203中待训练的图像分类模型中，也可以单独作为一个模型。下面分别介绍两种情况：
77.1)热力图提取模块可以集成于步骤203中待训练的图像分类模型中。
78.当热力图提取模块可以集成于步骤203中待训练的图像分类模型中时，可以通过
采用已标数据对预设分类模型进行训练，得到待训练的图像分类模型。此时，可以从待训练的图像分类模型中的热力图提取模块提取出预设的热力图映射参数，用于步骤202中确定目标样本图像的样本热力图。
79.例如，如图3所示，图3是本技术实施例中提供的待训练的图像分类模型的一种网络结构示意图，在一些实施例中，待训练的图像分类模型包括特征提取层、分类结果输出层、热力图输出层。其中：
80.特征提取层，用于根据目标样本图像输出目标样本图像的图像特征信息。特征提取层以目标样本图像作为输入，对目标样本图像进行包括但不限于卷积、池化等操作中的一种或多种，以实现对目标样本图像进行特征提取得到目标样本图像的图像特征信息。例如，针对rgb格式类型的目标样本图像，每个通道(共r、g、b三个通道)将会进行卷积、池化等操作，形成r通道的特征图、g通道的特征图、b通道的特征图，三个通道的特征图构成目标样本图像的图像特征信息。其中，特征提取层可以是卷积神经网络(convolutional neural networks,cnn)，比如可以直接采用分类网络resnet50去掉全连接层(记为fc)后得到的cnn网络作为特征提取层。
81.分类结果输出层，用于根据目标样本图像的图像特征信息输出目标样本图像的分类结果。特征提取层以目标样本图像的图像特征信息作为输入，根据目标样本图像的图像特征信息，预测目标样本图像中各像素点是各类别的概率；并基于目标样本图像中各像素点是各类别的概率，确定并输出目标样本图像的分类结果。其中，目标样本图像的分类结果用于指示目标样本图像的类别。其中，分类结果输出层可以是全连接层结构，比如可以直接采用分类网络resnet50中的全连接层作为分类结果输出层。
82.热力图输出层，用于根据目标样本图像的图像特征信息输出目标样本图像的样本热力图。特征提取层以目标样本图像的图像特征信息作为输入，根据目标样本图像的图像特征信息进行热力信息提取，形成并输出目标样本图像的样本热力图。例如，针对rgb格式类型的目标样本图像，经过特征提取层后将输出r通道的特征图、g通道的特征图和b通道的特征图作为目标样本图像的图像特征信息；此时，可以将r通道的特征图、g通道的特征图和b通道的特征图对应像素位置的像素值进行相加，从而形成目标样本图像的样本热力图。由于热力图输出层是与特征提取层直接相连的，因此热力图映射参数还可以反映指示热力位置信息与图像特征信息之间的关系；而图像特征信息与图像类别是直接相关的，故热力图映射参数也在一定程度上反映了样本热力图与类别标注信息之间的约束关系。
83.此时，热力图提取模块具体包括特征提取层、热力图输出层。在一些实施例中，可以直接将待训练的图像分类模型中的特征提取层和热力图输出层的权重参数提取出来，作为预设的热力图映射参数，用于步骤202中获取目标样本图像的样本热力图。此时，步骤202之前还包括：提取待训练的图像分类模型中的特征提取层和热力图输出层的权重参数，以作为预设的热力图映射参数；步骤202具体可以包括以下步骤2021a～步骤2022a：
84.2021a、通过热力图映射参数中对应特征提取层的权重参数，对所述目标样本图像进行特征提取，得到所述目标样本图像的目标特征图。
85.2022a、通过热力图映射参数中对应热力图输出层的权重参数，基于所述目标特征图，获取所述目标样本图像的样本热力图。
86.或者，在另一些实施例中，步骤202也可以直接将待训练的图像分类模型中的特征
提取层和热力图输出层的权重参数，作为预设的热力图映射参数，步骤202直接通过待训练的图像分类模型中的特征提取层和热力图输出层获取目标样本图像的样本热力图。此时，步骤202具体可以包括以下步骤2021b～步骤2022b：
87.2021b、通过待训练的图像分类模型中的特征提取层的权重参数，对所述目标样本图像进行特征提取，得到所述目标样本图像的目标特征图。
88.2022b、通过待训练的图像分类模型中的热力图输出层的权重参数，基于所述目标特征图，获取所述目标样本图像的样本热力图。
89.2)热力图提取模块单独作为一个模型，此时，如图4和图5所示，热力图提取模块和待训练的图像分类模型分别是两个独立的模型，其中，图4是本技术实施例中提供的待训练的图像分类模型的另一种网络结构示意图，图5是本技术实施例中提供的热力图提取模块的一种网络结构示意图。
90.当热力图提取模块单独作为一个模型(简称为“热力图提取模型”)时，可以通过采用已标数据对预设的“热力图提取模型”进行训练，得到训练好的“热力图提取模型”。此时，可以从训练好的“热力图提取模型”提取出预设的热力图映射参数，用于步骤202中确定目标样本图像的样本热力图。
91.如图4所示，待训练的图像分类模型包括第一特征提取层、分类结果输出层。其中，第一特征提取层的功能架构及工作原理与上述特征提取层类似，具体可以参照上述1)中特征提取层的说明；分类结果输出层的功能架构及工作原理与上述分类结果输出层类似，具体可以参照上述1)中分类结果输出层的说明；为了简化表述，此处不再赘述。
92.如图5所示，热力图提取模块作为一个独立模型，其包括第二特征提取层、热力图输出层。其中，第二特征提取层的功能架构及工作原理与上述特征提取层类似，具体可以参照上述1)中特征提取层的说明；热力图输出层的功能架构及工作原理与上述热力图输出层类似，具体可以参照上述1)中热力图输出层的说明；为了简化表述，此处不再赘述。其中，为了保证热力图映射参数能学习到样本热力图与类别标注信息之间的约束关系，图5中的第二特征提取层与图4中的第一特征提取层共享权重参数。
93.与1)中类似，此时，热力图提取模块具体包括第二特征提取层、热力图输出层。在一些实施例中，可以直接将热力图提取模块中的第二特征提取层和热力图输出层的权重参数提取出来，作为预设的热力图映射参数，用于步骤202中获取目标样本图像的样本热力图。此时，步骤202之前还包括：提取热力图提取模块中的第二特征提取层和热力图输出层的权重参数，以作为预设的热力图映射参数；步骤202具体可以包括以下步骤2021c～步骤2022c：
94.2021c、通过热力图映射参数中对应第二特征提取层的权重参数，对所述目标样本图像进行特征提取，得到所述目标样本图像的目标特征图。
95.2022c、通过热力图映射参数中对应热力图输出层的权重参数，基于所述目标特征图，获取所述目标样本图像的样本热力图。
96.或者，在另一些实施例中，步骤202也可以直接将热力图提取模块中的第二特征提取层和热力图输出层的权重参数，作为预设的热力图映射参数，步骤202直接通过热力图提取模块中的第二特征提取层和热力图输出层获取目标样本图像的样本热力图。此时，步骤202具体可以包括以下步骤2021d～步骤2022d：
97.2021d、通过热力图提取模块中的第二特征提取层的权重参数，对所述目标样本图像进行特征提取，得到所述目标样本图像的目标特征图。
98.2022d、通过热力图提取模块中的热力图输出层的权重参数，基于所述目标特征图，获取所述目标样本图像的样本热力图。
99.由以上步骤2021a～步骤2022a、步骤2021b～步骤2022b、步骤2021c～步骤2022c以及步骤2021d～步骤2022d可知，步骤202具体可以包括：通过所述热力图映射参数，对所述目标样本图像进行特征提取，得到所述目标样本图像的目标特征图；基于所述目标特征图，获取所述目标样本图像的样本热力图。
100.由于热力图映射参数反映了样本热力图与类别标注信息之间的约束关系，通过基于热力图映射参数获取目标样本图像的样本热力图，可以为后续确定目标样本图像的类别标注信息提供准确的数据依据，进而提高已训练图像分类模型的分类准确率。
101.203、基于所述样本热力图，确定所述目标样本图像的类别标注信息。
102.其中，类别标注信息是指目标样本图像的标注类别，例如，目标样本图像中的装卸口为无车状态，则将目标样本图像标注为“无车”类别。
103.在一些实施例中，步骤203中可以通过人工根据样本热力图、以及热力位置信息与类别信息之间的预设映射关系，确定目标样本图像的类别标注信息。
104.在另一实施例中，也可以通过本技术实施例中的电子设备根据样本热力图、以及热力位置信息与类别信息之间的预设映射关系，确定目标样本图像的类别标注信息。
105.示例性地，当通过电子设备进行标注时，步骤203具体可以包括如下步骤2031～步骤2033：
106.2031、获取热力位置信息与类别信息之间的预设映射关系。
107.其中，预设映射关系用于指示样本热力图的热力位置信息与目标样本图像的类别标注信息之间的关系。
108.其中，热力位置信息是指热力图中高亮位置对应的物体或标识，例如，包含人的热力图中高亮位置在头发处，则热力位置信息是头发。
109.例如，目标场景区域货物装卸口，场景状态包括无车、休息、到港、离岗、装货、卸货、工作共7种状态类别，预设映射关系如下表1所示，表1中表示：热力位置信息为“车辆”时，类别标注信息为“装货”；热力位置信息为“人”时，类别标注信息为“卸货”；热力位置信息为“拖车”时，类别标注信息为“离岗”，以此类推。
110.表1
111.热力位置信息类别标注信息车辆装货人卸货拖车离岗
……
112.步骤2031获取预设映射关系的方式有多种，示例性地，包括：
113.(1)预设数据库中存储有热力位置信息与类别信息之间的预设映射关系，此时，步骤2031中可以直接从预设数据库中，获取预设映射关系。
114.(2)实时确定预设映射关系。
115.示例性地，预设映射关系可以通过如下步骤a1～步骤a4得到：
116.a1、通过所述热力图映射参数，对参考样本图像进行热力信息提取，得到所述参考样本图像的目标热力图。
117.其中，参考样本图像是用于总结热力位置信息与类别标注信息之间关系的样本图像。在一些实施例中，参考样本图像可以是随机获取的图像；在另一实施例中，为了提高预设映射关系的准确率，以提高目标样本图像的类别标注信息的准确率，从而提高已训练图像分类模型的分类准确率，参考样本图像可以是下述步骤b1～步骤b4中的“目标初始样本图像”。
118.参照图3，在一些实施例中，可以通过上述1)中待训练的图像分类模型，对一些参考样本图像进行分类预测得到参考样本图像的预测参考类别；并进行热力信息提取得到参考样本图像的参考热力图；并总结参考热力图中的热力位置信息与预测参考类别之间的对应关系，以作为热力位置信息与类别信息之间的预设映射关系。此时，步骤a1具体可以包括：通过待训练的图像分类模型中的特征提取层的权重参数，对参考样本图像进行特征提取，得到参考样本图像的特征图；通过待训练的图像分类模型中的热力图输出层的权重参数，基于参考样本图像的特征图，获取参考样本图像的目标热力图。
119.或者，参照图4和图5，在另一些实施例中，也可以通过上述2)中待训练的图像分类模型，对一些参考样本图像进行分类预测得到参考样本图像的预测参考类别；热力图提取模块进行热力信息提取得到参考样本图像的参考热力图；并总结参考热力图中的热力位置信息与预测参考类别之间的对应关系，以作为热力位置信息与类别信息之间的预设映射关系。此时，步骤a1具体可以包括：通过热力图提取模块中的第二特征提取层的权重参数，对参考样本图像进行特征提取，得到所述参考样本图像的特征图；通过热力图提取模块中的热力图输出层的权重参数，基于所述参考样本图像的特征图，获取所述参考样本图像的目标热力图。
120.a2、通过待训练的图像分类模型，根据所述参考样本图像进行预测，得到所述参考样本图像的目标类别。
121.参照图3，在一些实施例中，可以通过上述1)中待训练的图像分类模型，对一些参考样本图像进行分类预测得到参考样本图像的预测参考类别；并进行热力信息提取得到参考样本图像的参考热力图；并总结参考热力图中的热力位置信息与预测参考类别之间的对应关系，以作为热力位置信息与类别信息之间的预设映射关系。此时，步骤a2具体可以包括：通过待训练的图像分类模型中的特征提取层的权重参数，对参考样本图像进行特征提取，得到参考样本图像的特征图；通过待训练的图像分类模型中的分类结果输出层的权重参数，基于参考样本图像的特征图进行分类预测，得到参考样本图像的目标类别。
122.或者，参照图4和图5，在另一些实施例中，也可以通过上述2)中待训练的图像分类模型，对一些参考样本图像进行分类预测得到参考样本图像的预测参考类别；热力图提取模块进行热力信息提取得到参考样本图像的参考热力图；并总结参考热力图中的热力位置信息与预测参考类别之间的对应关系，以作为热力位置信息与类别信息之间的预设映射关系。此时，步骤a2具体可以包括：通过待训练的图像分类模型中的第二特征提取层的权重参数，对参考样本图像进行特征提取，得到参考样本图像的特征图；通过待训练的图像分类模型中的分类结果输出层的权重参数，基于参考样本图像的特征图进行分类预测，得到参考
样本图像的目标类别。
123.a3、获取所述目标热力图的热力位置信息。
124.其中，目标热力图的热力位置信息是指目标热力图中高亮位置对应的物体或标识。
125.a4、基于所述目标热力图的热力位置信息和所述目标类别，获取热力位置信息与类别信息之间的预设映射关系。
126.如表1所示，例如，目标场景区域货物装卸口，场景状态包括无车、休息、到港、离岗、装货、卸货、工作共7种状态类别。若目标热力图的热力位置信息为“车辆”、目标类别为“装货”，则可以形成热力位置信息“车辆”与类别标注信息“装货”之间的映射关系。若目标热力图的热力位置信息为“人”、目标类别为“卸货”，则可以形成热力位置信息“人”与类别标注信息“卸货”之间的映射关系。若目标热力图的热力位置信息为“拖车”、目标类别为“离岗”，则可以形成热力位置信息“拖车”与类别标注信息“离岗”之间的映射关系，依次类推，可以形成各种热力位置信息与类别信息之间的预设映射关系。
127.通过提前建立热力位置信息与类别信息之间的预设映射关系，使得后续可以直接依据预设映射关系快速确定目标样本图像的类别标注信息，在一定程度上提高了目标样本图像的标注速度，从而提高图像分类模型的训练速度。
128.2032、获取所述样本热力图的热力位置信息。
129.2033、基于所述样本热力图的热力位置信息和所述预设映射关系，确定所述目标样本图像的类别标注信息。
130.为了方便理解，继续以表1中所示的预设映射关系为例，假设样本热力图的热力位置信息为“车辆”，则可以确定目标样本图像的类别标注信息为“装货”。
131.由于热力位置信息与类别信息之间的预设映射关系可以准确地反映类别标注信息与目标样本图像的类别标注信息；通过基于样本热力图的热力位置信息、以及热力位置信息与类别信息之间的预设映射关系，确定目标样本图像的类别标注信息，可以提高目标样本图像的类别标注信息的准确度，从而提高已训练图像分类模型的分类准确率。
132.204、基于所述类别标注信息和所述目标样本图像，对所述待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型。
133.本技术实施例中，由于热力图映射参数基于预设的热力图提取模块学习得到，因此热力图映射参数还可以反映指示样本热力图与图像特征信息之间的关系；而特征提取层提取的图像特征信息与图像类别是直接相关的，故热力图映射参数也在一定程度上反映了样本热力图与类别标注信息之间的约束关系。由此可知，通过采用样本热力图对目标样本图像的类别标注信息进行指示，根据样本热力图确定目标样本图像的类别标注信息；对待训练的图像分类模型进行训练得到已训练图像分类模型，第一方面，可以提高图像分类模型的分类准确度。第二方面，特别是当类别间差异太小人工肉眼无法准确区分图像类别，通过根据样本热力图确定目标样本图像的类别标注信息，可以避免采用错误的人工标注对图像分类模型进行训练而导致的已训练图像分类模型分类混乱的问题，从而也在一定程度上提高了已训练图像分类模型的分类准确度。
134.进一步地，由于某些情况下人工肉眼无法准确区分图像类别，因而会采用错误的标注对待训练的分类模型进行训练，而导致已训练图像分类模型的图像分类准确度较低。
在一些实施例中，为了尽量避免此类情况，以提高已训练图像分类模型的图像分类准确率，可以针对同一图像将人工标注类别与预设分类模型的预测类别进行对比，若人工标注类别与图像分类模型的预测类别不相同时，采用图像分类模型的预测类别作为该图像的类别标注信息对图像分类模型进行训练。即，在一些实施例中，该图像分类模型训练方法还包括如下步骤b1～步骤b4：
135.b1、获取图像样本集合以及预设标注数据。
136.其中，图像样本集合包括多个初始样本图像，预设标注数据包括初始样本图像的预设标注类别。
137.初始样本图像是指用于训练预设分类模型，以形成待训练的图像分类模型的样本图像。
138.预设标注类别是指人工标注的、初始样本图像的类别。
139.b2、基于预设分类模型对所述图像样本集合中各初始样本图像进行预测，得到所述图像样本集合中各初始样本图像的预测类别。
140.其中，预测类别是指通过预设分类模型进行预测得到的、初始样本图像的类别。
141.其中，预设分类模型的功能架构与待训练分类模型的功能架构类似，具体可以参照待训练分类模型的相关说明，此处不再赘述。
142.步骤b2中确定预测类别方式，可以参照上述待分类的图像分类模型确定分类结果的相关说明，此处不再赘述。
143.b3、从所述图像样本集合中，获取所述预设标注类别与所述预测类别不同的目标初始样本图像。
144.其中，目标初始样本图像是指预设标注类别与预测类别不同的初始样本图像。
145.例如，图像样本集合包括样本图像1、2、3，样本图像1、2、3的预设标注类别分别为：“装货”、“卸货”、“装货”，步骤b2中预测得到样本图像1、2、3的预测类别分别为：“装货”、“装货”、“卸货”，则可以确定目标初始样本图像为样本图像2和3。
146.b4、以所述目标初始样本图像的预测类别作为监督信息，基于所述目标初始样本图像对所述预设分类模型进行训练，直至符合预设的第二停止训练条件时，得到所述待训练的图像分类模型。
147.其中，第二停止训练条件可以根据实际需求而设置。例如，可以是当图像样本集合中所有的目标初始样本图像都全部用于训练预设分类模型时，或者是采用目标初始样本图像用于预设分类模型训练的迭代次数达到最大迭代次数时。
148.具体地，在预设分类模型的训练过程中每次迭代过程具体如下：通过预设分类模型对目标初始样本图像进行特征提取，得到目标初始样本图像的特征图；通过目标初始样本图像的特征图进行分类预测，确定目标初始样本图像的类别；基于目标初始样本图像的类别、目标初始样本图像的预测类别、以及预设的第二损失函数，确定预设分类模型的损失值；基于预设分类模型的损失值对预设分类模型的模型参数(如，特征提取层的权重参数、分类结果输出层的权重参数)进行调整。
149.通过以目标初始样本图像的类别、目标初始样本图像的预测类别、以及预设的第二损失函数，确定预设分类模型的损失值；基于预设分类模型的损失值对预设分类模型的模型参数进行调整，从而实现以目标初始样本图像的预测类别作为监督信息，对预设分类
模型进行训练，从而避免了采用错误的标注对图像分类模型进行训练，进而导致已训练图像分类模型分类混乱的问题。因此，可以提高已训练图像分类模型的图像分类准确度较低。
150.进一步地，为了提高步骤204中已训练图像分类模型的分类准确率，以提高类别间差异太小、人工肉眼无法准确区分的图像类别的分类准确率，可以以“步骤b1～步骤b4先对预设分类模型训练得到一个待训练的图像分类模型、再对步骤b1～步骤b4得到待训练的图像分类模型执行步骤201～步骤204的训练过程得到已训练图像分类模型”作为一次完整训练周期。在每个完整训练周期训练后得到已训练图像分类模型时，以已训练图像分类模型作为步骤b1～步骤b4中的预设分类模型再次循环执行以上步骤b1～步骤b4和步骤201～步骤204，直至循环多次完整训练周期或符合预设的精度要求时，将得到最终的已训练图像分类模型。
151.在完成对图像分类模型的训练后，可以采用已训练图像分类模型进行分类预测。例如，在一些实施例中，采用已训练图像分类模型进行分类预测具体可以包括如下步骤c1～步骤c2：
152.c1、获取目标场景区域的目标场景图像。
153.其中，目标场景区域可以物品装卸口等。
154.目标场景图像的获取与上述目标样本图像的获取方式类似，具体可以参照目标样本图像获取的相关说明，此处不再赘述。
155.c2、通过所述已训练图像分类模型，对所述目标场景图像进行分类，得到所述目标场景区域的目标场景状态。
156.其中，场景状态是指目标场景区域的状态。例如，目标场景区域是货物装卸口，其场景状态包括货物装卸口无车、休息、到港、离岗、装货、卸货、工作共7种状态。
157.目标场景状态是指在目标场景图像的采集时间点，目标场景区域的场景状态。例如，目标场景状态为货物装卸口无车。
158.在一些实施例中，已训练图像分类模型可以是图3所示的网络结构，此时步骤c2具体可以包括：通过已训练图像分类模型中的特征提取层的权重参数，对目标场景图像进行特征提取，得到目标场景图像的特征图；通过已训练图像分类模型中的分类结果输出层的权重参数，基于目标场景图像的特征图进行分类预测，得到目标场景图像的图像类别，作为目标场景区域的目标场景状态。
159.在一些实施例中，已训练图像分类模型可以是图4所示的网络结构，此时步骤c2具体可以包括：通过已训练图像分类模型中的第一特征提取层的权重参数，对目标场景图像进行特征提取，得到目标场景图像的特征图；通过已训练图像分类模型中的分类结果输出层的权重参数，基于目标场景图像的特征图进行分类预测，得到目标场景图像的图像类别，作为目标场景区域的目标场景状态。
160.由于场景状态通常是带有动作变化的，依据一个图像来预测场景状态，场景状态的预测准确率将会大大地降低，为了提高对场景状态的预测准确率，在本技术实施例中，还可以进一步结合光流信息预测场景状态。此时，步骤c1～步骤c2中的目标场景图像包括目标场景区域的在先场景图像和在后场景图像，步骤c2具体可以包括c21～步骤c22：
161.c21、基于所述在先场景图像和所述在后场景图像，确定所述目标场景图像的场景光流信息。
162.其中，场景光流信息是指根据在先场景图像和在后场景图像所确定的、目标场景区域的光流信息，具体可以包括目标场景区域的物体的运动速度、物体的运动方向。
163.其中，光流指空间运动物体在图像上的像素运动的瞬时速度。光流匹配是一种获取物体运动状态的方法，原理为：
164.利用图像中单一位置像素点的灰度值变化，得到该位置像素点的光流矢量，即运动矢量，运动矢量包含了该位置像素点的运动速度和运动方向。然后通过同样方法获得所有位置像素点的运动矢量，并获取图像中物体的所有像素点，通过所有像素点的运动矢量得到物体运动状态的方法。因此，光流匹配不止可以得到物体的运动速度，还可以得到物体的运动方向。
165.具体地，可以基于现有的一些光流匹配算法，如lucas-kanade光流匹配法，依据在先场景图像和在后场景图像，计算目标场景区域的物体的运动速度、物体的运动方向，从而得到目标场景图像的场景光流信息。
166.c22、通过所述已训练图像分类模型，根据所述在先场景图像和所述场景光流信息，对所述目标场景图像进行分类，得到所述目标场景区域的场景状态。
167.对应地，步骤204目标样本图像包括样本场景区域的在先样本图像和在后样本图像，步骤204具体可以包括：基于所述在先样本图像和所述在后样本图像，确定所述目标样本图像的样本光流信息；以所述类别标注信息作为监督信息，基于所述在先样本图像和所述样本光流信息对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型。
168.其中，“基于所述在先样本图像和所述在后样本图像，确定所述目标样本图像的样本光流信息”与步骤c21中类似，具体可以参照步骤c21的说明。
[0169]“以所述类别标注信息作为监督信息，基于所述在先样本图像和所述样本光流信息对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型”与上述步骤204类似，具体可以参照步骤204的相关说明。不同的是，此处，会结合在先样本图像的特征图和样本光流信息进行分类预测，确定目标样本图像的类别。
[0170]
为了更好实施本技术实施例中图像分类模型训练方法，在图像分类模型训练方法基础之上，本技术实施例中还提供一种图像分类模型训练装置，如图6所示，为本技术实施例中图像分类模型训练装置的一个实施例结构示意图，该图像分类模型训练装置600包括：
[0171]
获取单元601，用于获取目标样本图像；
[0172]
提取单元602，用于通过预设的热力图映射参数，对所述目标样本图像进行热力信息提取，得到所述目标样本图像的样本热力图，其中，所述热力图映射参数用于反映样本热力图与类别标注信息之间的约束关系，所述热力图映射参数基于预设的热力图提取模块学习得到；
[0173]
确定单元603，用于基于所述样本热力图，确定所述目标样本图像的类别标注信息；
[0174]
训练单元604，用于基于所述类别标注信息和所述目标样本图像，对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型。
[0175]
在本技术的一些实施例中，所述确定单元603具体用于：
[0176]
获取热力位置信息与类别信息之间的预设映射关系，其中，所述预设映射关系用
于指示所述样本热力图的热力位置信息与所述目标样本图像的类别标注信息之间的关系；
[0177]
获取所述样本热力图的热力位置信息；
[0178]
基于所述样本热力图的热力位置信息和所述预设映射关系，确定所述目标样本图像的类别标注信息。
[0179]
在本技术的一些实施例中，所述基于所述类别标注信息和所述目标样本图像，对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型之前，所述训练单元604具体用于：
[0180]
获取图像样本集合以及预设标注数据，其中，所述图像样本集合包括多个初始样本图像，所述预设标注数据包括所述初始样本图像的预设标注类别；
[0181]
基于预设分类模型对所述图像样本集合中各初始样本图像进行预测，得到所述图像样本集合中各初始样本图像的预测类别；
[0182]
从所述图像样本集合中，获取所述预设标注类别与所述预测类别不同的目标初始样本图像；
[0183]
以所述目标初始样本图像的预测类别作为监督信息，基于所述目标初始样本图像对所述预设分类模型进行训练，直至符合预设的第二停止训练条件时，得到所述待训练的图像分类模型。
[0184]
在本技术的一些实施例中，所述基于所述样本热力图，确定所述目标样本图像的类别标注信息之前，所述训练单元604具体用于：
[0185]
通过所述热力图映射参数，对所述目标初始样本图像进行热力信息提取，得到所述目标初始样本图像的目标热力图；
[0186]
通过待训练的图像分类模型，根据所述目标初始样本图像进行预测，得到所述目标初始样本图像的目标类别；
[0187]
获取所述目标热力图的热力位置信息；
[0188]
基于所述目标热力图的热力位置信息和所述目标类别，获取热力位置信息与类别信息之间的预设映射关系。
[0189]
在本技术的一些实施例中，所述提取单元602具体用于：
[0190]
通过所述热力图映射参数，对所述目标样本图像进行特征提取，得到所述目标样本图像的目标特征图；
[0191]
基于所述目标特征图，获取所述目标样本图像的样本热力图。
[0192]
在本技术的一些实施例中，所述图像分类模型训练装置600还包括分类单元(图中未示出)，所述分类单元具体用于：
[0193]
获取目标场景区域的目标场景图像；
[0194]
通过所述已训练图像分类模型，对所述目标场景图像进行分类，得到所述目标场景区域的目标场景状态。
[0195]
在本技术的一些实施例中，所述目标场景图像包括所述目标场景区域的在先场景图像和在后场景图像，所述分类单元具体用于：
[0196]
基于所述在先样本图像和所述在后样本图像，确定所述目标样本图像的样本光流信息；
[0197]
以所述类别标注信息作为监督信息，基于所述在先样本图像和所述样本光流信息
对待训练的图像分类模型进行训练，直至符合预设的第一停止训练条件时，得到已训练图像分类模型；
[0198]
在本技术的一些实施例中，所述目标样本图像包括样本场景区域的在先样本图像和在后样本图像，所述训练单元604具体用于：
[0199]
基于所述在先场景图像和所述在后场景图像，确定所述目标场景图像的场景光流信息；
[0200]
通过所述已训练图像分类模型，根据所述在先场景图像和所述场景光流信息，对所述目标场景图像进行分类，得到所述目标场景区域的目标场景状态。
[0201]
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0202]
由于该图像分类模型训练装置可以执行本技术如图1至图5对应任意实施例中图像分类模型训练方法中的步骤，因此，可以实现本技术如图1至图5对应任意实施例中图像分类模型训练方法所能实现的有益效果，详见前面的说明，在此不再赘述。
[0203]
此外，为了更好实施本技术实施例中图像分类模型训练方法，在图像分类模型训练方法基础之上，本技术实施例还提供一种电子设备，参阅图7，图7示出了本技术实施例电子设备的一种结构示意图，具体的，本技术实施例提供的电子设备包括处理器701，处理器701用于执行存储器702中存储的计算机程序时实现如图1至图5对应任意实施例中图像分类模型训练方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能。
[0204]
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本技术实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
[0205]
电子设备可包括，但不仅限于处理器701、存储器702。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。
[0206]
处理器701可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
[0207]
存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储
器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0208]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像分类模型训练装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图5对应任意实施例中图像分类模型训练方法的说明，具体在此不再赘述。
[0209]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0210]
为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图1至图5对应任意实施例中图像分类模型训练方法中的步骤，具体操作可参考如图1至图5对应任意实施例中图像分类模型训练方法的说明，在此不再赘述。
[0211]
其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0212]
由于该计算机可读存储介质中所存储的指令，可以执行本技术如图1至图5对应任意实施例中图像分类模型训练方法中的步骤，因此，可以实现本技术如图1至图5对应任意实施例中图像分类模型训练方法所能实现的有益效果，详见前面的说明，在此不再赘述。
[0213]
以上对本技术实施例所提供的一种图像分类模型训练方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。