图像分类方法、装置、存储介质及电子设备与流程

1.本公开涉及计算机技术领域，具体地，涉及一种图像分类方法、装置、存储介质及电子设备。


背景技术：

2.在自动驾驶领域，自动驾驶系统需要根据道路场景的类别实时调整自动驾驶的模式，道路场景一般包括多种类型，例如，路况简单的高速场景、路况复杂的城市道路场景和特征非常明显的隧道场景，因此，车辆待启动或者已经启动自动驾驶模式时，识别当前道路场景是一个非常重要的任务。
3.相关技术中，可以通过图像分类模型对车辆拍摄的周围的环境视频进行分类，得到该车辆对应的当前道路场景，但是，针对特征不明显的环境视频，该图像分类模型可能存在分类错误的情况，导致图像分类的准确率较低。


技术实现要素：

4.为了解决上述问题，本公开提供一种图像分类方法、装置、存储介质及电子设备。
5.第一方面，本公开提供一种图像分类方法，所述方法包括：将图像集输入预先设置的第一图像分类模型，得到所述图像集中目标帧对应的类别；确定所述图像集中是否包含预设目标物体，所述预设目标物体用于表征车辆的行驶工况；在确定所述图像集包含所述预设目标物体的情况下，确定所述图像集中包含的所述预设目标物体的物体信息；根据所述目标帧对应的类别和所述预设目标物体的物体信息，确定所述图像集对应的类别。
6.可选地，所述根据所述目标帧对应的类别和所述预设目标物体的物体信息，确定所述图像集对应的类别包括：将所述目标帧对应的类别和所述预设目标物体的物体信息输入预先设置的第二图像分类模型，得到所述图像集对应的类别。
7.可选地，所述将所述目标帧对应的类别和所述预设目标物体的物体信息输入预先设置的第二图像分类模型包括：按照所述目标帧在所述图像集中的先后顺序，将所述目标帧对应的类别和所述物体信息输入所述第二图像分类模型。
8.可选地，所述方法还包括：在确定所述图像集对应的类别后，通过所述车辆的gps(global positioning system，全球定位系统)信息确定所述车辆的位置信息；根据所述位置信息确定所述图像集对应的类别是否正确；在确定所述图像集对应的类别不正确的情况下，根据所述图像集和所述图像集对应的类别调整所述第一图像分类模型。
9.可选地，所述第一图像分类模型通过以下方式训练得到：获取多个样本图像集；针对每个所述样本图像集，获取所述样本图像集对应的样本帧，并按照预设分辨率调整所述样本帧，得到调整样本帧，对所述调整样本帧进行随机透视变换，得到所述调整样本帧对应的多个随机样本帧；根据所述调整样本帧和所述随机样本帧对目标神经网络模型进行训练，得到所述第一图像分类模型。
10.可选地，所述获取所述样本图像集对应的样本帧包括：按照预设间隔从所述样本
图像集中抽取图像帧作为所述样本帧；或者，将所述样本图像集的每一帧图像作为所述样本帧。
11.可选地，在所述根据所述调整样本帧和所述随机样本帧对目标神经网络模型进行训练，得到所述第一图像分类模型前，所述方法还包括：按照预设比例，将所述调整样本帧和所述随机样本帧划分为训练集、验证集以及测试集；所述根据所述调整样本帧和所述随机样本帧对目标神经网络模型进行训练，得到所述第一图像分类模型包括：根据所述训练集和所述验证集的所述调整样本帧和所述随机样本帧对所述目标神经网络模型进行训练，得到所述第一图像分类模型。
12.可选地，所述透视变换包括：水平镜像变换、旋转变换、亮度变换、对比度变换、饱和度变换、色彩度变换、灰度变换中的一个或多个。
13.可选地，所述目标神经网络模型为多任务学习网络模型。
14.可选地，所述方法还包括：在确定所述图像集不包含所述预设目标物体的情况下，根据所述目标帧对应的类别，确定所述图像集对应的类别。
15.可选地，所述根据所述目标帧对应的类别，确定所述图像集对应的类别包括：确定所述目标帧对应的类别为每个预设类别的概率；将概率最高的所述预设类别作为所述图像集对应的类别。
16.可选地，所述物体信息包括所述预设目标物体的类型和所述预设目标物体的数量。
17.第二方面，本公开提供一种图像分类装置，所述装置包括：第一类别确定模块，用于将图像集输入预先设置的第一图像分类模型，得到所述图像集中目标帧对应的类别；目标物体确定模块，用于确定所述图像集中是否包含预设目标物体，所述预设目标物体用于表征车辆的行驶工况；物体信息确定模块，用于在确定所述图像集包含所述预设目标物体的情况下，确定所述图像集中包含的所述预设目标物体的物体信息；第二类别确定模块，用于根据所述目标帧对应的类别和所述预设目标物体的物体信息，确定所述图像集对应的类别。
18.可选地，所述物体信息包括所述预设目标物体的类型和所述预设目标物体的数量。
19.可选地，所述第二类别确定模块，具体用于：将所述目标帧对应的类别和所述预设目标物体的物体信息输入预先设置的第二图像分类模型，得到所述图像集对应的类别。
20.可选地，所述第二类别确定模块，还用于：按照所述目标帧在所述图像集中的先后顺序，将所述目标帧对应的类别和所述物体信息输入所述第二图像分类模型。
21.可选地，所述装置还包括：位置信息确定模块，用于在确定所述图像集对应的类别后，通过所述车辆的gps信息确定所述车辆的位置信息；类别判断模块，用于根据所述位置信息确定所述图像集对应的类别是否正确；模型调整模块，用于在确定所述图像集对应的类别不正确的情况下，根据所述图像集和所述图像集对应的类别调整所述第一图像分类模型。
22.可选地，所述装置还包括：模型获取模块，用于获取多个样本图像集；针对每个所述样本图像集，获取所述样本图像集对应的样本帧，并按照预设分辨率调整所述样本帧，得到调整样本帧，对所述调整样本帧进行随机透视变换，得到所述调整样本帧对应的多个随
机样本帧；根据所述调整样本帧和所述随机样本帧对目标神经网络模型进行训练，得到所述第一图像分类模型。
23.可选地，所述透视变换包括：水平镜像变换、旋转变换、亮度变换、对比度变换、饱和度变换、色彩度变换、灰度变换中的一个或多个。
24.可选地，所述模型获取模块，还用于按照预设间隔从所述样本图像集中抽取图像帧作为所述样本帧；或者，将所述样本图像集的每一帧图像作为所述样本帧。
25.可选地，所述装置还包括：图像划分模块，用于按照预设比例，将所述调整样本帧和所述随机样本帧划分为训练集、验证集以及测试集；所述模型获取模块，还用于根据所述训练集和所述验证集的所述调整样本帧和所述随机样本帧对目标神经网络模型进行训练，得到所述第一图像分类模型。
26.可选地，所述目标神经网络模型为多任务学习网络模型。
27.可选地，所述装置还包括：第三类别确定模块，用于在确定所述图像集不包含所述预设目标物体的情况下，根据所述目标帧对应的类别，确定所述图像集对应的类别。
28.可选地，所述第三类别确定模块，具体用于：确定所述目标帧对应的类别为每个预设类别的概率；将概率最高的所述预设类别作为所述图像集对应的类别。
29.第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。
30.第四方面，本公开提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
31.本申请提供的上述技术方案，通过将图像集输入预先设置的第一图像分类模型，得到所述图像集中目标帧对应的类别；确定所述图像集中是否包含预设目标物体，所述预设目标物体用于表征车辆的行驶工况；在确定所述图像集包含所述预设目标物体的情况下，确定所述图像集中包含的所述预设目标物体的物体信息；根据所述目标帧对应的类别和所述预设目标物体的物体信息，确定所述图像集对应的类别。也就是说，本公开在通过第一图像分类模型确定图像集中目标帧对应的类别后，可以再结合该图像集中包含的预设目标物体的物体信息，确定该图像集对应的类别，这样，可以提高图像分类的准确率。
32.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
33.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
34.图1是根据一示例性实施例示出的一种图像分类方法的流程图；
35.图2是根据一示例性实施例示出的另一种图像分类方法的流程图；
36.图3是根据一示例性实施例示出的一种图像分类装置的结构示意图；
37.图4是根据一示例性实施例示出的第二种图像分类装置的结构示意图；
38.图5是根据一示例性实施例示出的第三种图像分类装置的结构示意图；
39.图6是根据一示例性实施例示出的第四种图像分类装置的结构示意图；
40.图7是根据一示例性实施例示出的第五种图像分类装置的结构示意图；
41.图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
42.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
43.在下文中的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
44.首先，对本公开的应用场景进行说明。由于车辆的自动驾驶系统需要根据车辆的当前道路场景确定自动驾驶方案，因此，在车辆行驶过程中，需要实时确定该车辆的当前道路场景，示例地，针对城市道路场景、高速场景、隧道场景，需要有针对性的设置不同的自动驾驶模式。相关技术中，可以通过车辆上安装的摄像头等设备拍摄车辆周围的环境视频，将该环境视频输入预先训练好的图像分类模型，确定该车辆的当前道路场景，但是，在根据该图像分类模型确定车辆的当前道路场景时，若输入的环境视频的特征不明显，则该图像分类模型可能存在分类错误的情况，导致图像分类的准确率较低。
45.为了解决上述存在的问题，本公开可以在通过第一图像分类模型确定图像集中目标帧对应的类别后，再结合该图像集中包含的预设目标物体的物体信息，确定该图像集对应的类别，这样，可以提高图像分类的准确率。
46.下面结合具体实施例对本公开进行说明。
47.图1是根据一示例性实施例示出的一种图像分类方法的流程图，如图1所示，该方法包括：
48.s101、将图像集输入预先设置的第一图像分类模型，得到该图像集中目标帧对应的类别。
49.其中，该图像集可以是通过车辆上安装的摄像头拍摄的车辆周围的环境视频，也可以是从该环境视频中抽取的预设帧的集合，示例地，该图像集可以是该环境视频的全部帧的集合，也可以是从该环境视频中抽取的部分帧的集合，本公开对此不作限定。上述的目标帧包括按照预设间隔从该图像集中抽取的图像帧，在该图像集包括从该环境视频中抽取的预设帧的情况下，该目标帧可以与该预设帧相同，也可以与该预设帧不同，示例地，该目标帧可以是从该预设帧中抽取的部分帧，本公开对此不作限定。
50.需要说明的是，该环境视频可以是基于相同区域采集的视频，另外，在实际应用中，该环境视频的拍摄时间可能会比较长，若上述的图像集为该环境视频，该目标帧包括该图像集的每一帧图像，则最终通过该第一图像分类模型输出的类别的数量会比较多，且考虑到该图像集中连续多个图像帧之间的差异较小，因此，优选地，该第一图像分类模型无需输出该图像集的每一帧图像对应的类别，可以仅输出该图像集的目标帧对应的类别，该目标帧的类别可以作为与该目标帧在时间上连续且邻近的多个图像帧的类别。
51.在得到该图像集后，可以获取该图像集对应的时长，通过预先设置的间隔关联关系，获取该时长对应的预设间隔，该间隔关联关系可以包括不同的时长与预设间隔的对应关系。示例地，针对时长较长的图像集，可以设置较大的预设间隔，例如，该预设间隔可以设置为2s，针对时长较短的图像集，可以设置较小的预设间隔，例如，该预设间隔可以设置为500ms，本公开对该预设间隔的设置方式不作限定。
52.进一步地，在确定该图像集对应的预设间隔后，可以根据该预设间隔，从该图像集中抽取该图像集对应的目标帧，示例地，在该预设间隔为1s的情况下，可以每隔1s从该图像
集中抽取一个图像帧，之后，可以将该目标帧输入该第一图像分类模型，输出该图像集中目标帧对应的类别。
53.需要说明的是，在该目标帧包括该图像集的全部帧的情况下，可以直接将该图像集输入该第一图像分类模型，得到该图像集中每一帧对应的类别。这样，根据该图像集的每一帧的类别确定的该图像集的类别更加准确。
54.s102、确定该图像集中是否包含预设目标物体。
55.其中，该预设目标物体用于表征车辆的行驶工况，示例地，该预设目标物体可以包括货车、交通灯、行人、公交车等，在该预设目标物体包括货车时，该行驶工况为高速工况，在该预设目标物体包括交通灯、行人或公交车时，该行驶工况为城市道路工况。
56.在本步骤中，在得到该图像集中目标帧对应的类别后，可以通过yolov4算法对该图像集进行检测，确定该图像集中是否包括该预设目标物体。
57.s103、在确定该图像集包含该预设目标物体的情况下，确定该图像集中包含的该预设目标物体的物体信息。
58.其中，该物体信息可以包括该预设目标物体的类型和该预设目标物体的数量。
59.在本步骤中，在确定该图像集包含该预设目标物体的情况下，可以进一步确定该图像集中包含的该预设目标物体的类型和数量。示例地，若确定该图像集中包括交通灯和行人，则可以确定该图像集中包含的交通灯的数量和行人的数量。在该预设目标物体的数量越多的情况下，根据该目标帧对应的类别和该预设目标物体的物体信息，确定的该图像集对应的类别的准确率更高。
60.s104、根据该目标帧对应的类别和该预设目标物体的物体信息，确定该图像集对应的类别。
61.在本步骤中，由于该目标帧包括多个，不同的目标帧对应的类别可能不同，在确定该目标帧对应的类别后，可以根据该类别初步确定该图像集对应的类别，但是，在该图像集的特征不明显的情况下，可能无法确定该图像集的类别。示例地，若该目标帧包括1000个，其中有450个目标帧对应的类别为高速场景，450个目标帧对应的类别为城市道路场景，100个目标帧对应的类别为隧道场景，则由于高速场景的目标帧和城市道路场景的目标帧的数量相同，无法确定该图像集的类别。因此，在确定该目标帧对应的类别后，可以进一步根据该预设目标物体的物体信息确定该图像集对应的类别。示例地，若该预设目标物体的物体信息为行人10个、公交车5辆，则在初步确定该图像集对应的类别为高速场景或城市道路场景的情况下，根据该预设目标物体的物体信息进一步确定该图像集对应的类别为城市道路场景。
62.采用上述方法，在通过第一图像分类模型确定图像集中目标帧对应的类别后，可以再结合该图像集中包含的预设目标物体的物体信息，确定该图像集对应的类别，这样，可以提高图像分类的准确率。
63.图2是根据一示例性实施例示出的另一种图像分类方法的流程图，如图2所示，该方法包括：
64.s201、将图像集输入预先设置的第一图像分类模型，得到该图像集中目标帧对应的类别。
65.其中，该图像集可以是通过车辆上安装的摄像头拍摄的车辆周围的环境视频，也
可以是从该环境视频中抽取的预设帧，示例地，该图像集可以是该环境视频的全部帧，也可以是从该环境视频中抽取的部分帧，本公开对此不作限定；该目标帧包括按照预设间隔从该图像集中抽取的图像帧，在该图像集包括从该环境视频中抽取的预设帧的情况下，该目标帧可以与该预设帧相同，也可以与该预设帧不同，示例地，该目标帧可以是从该预设帧中抽取的部分帧，本公开对此不作限定。该类别可以是该图像集对应的预设类别的概率，示例地，若该预设类别包括城市道路场景、高速场景、隧道场景以及其它场景，则该类别可以是城市道路场景90％，高速场景5％，隧道场景1％，其它场景4％。
66.在本步骤中，该第一图像分类模型可以通过以下方式进行训练：
67.s1、获取多个样本图像集；
68.其中，该多个样本图像集可以包括不同场景的图像集，相同场景的样本图像集可以包括不同天气的视频，该天气可以包括晴天、雨天、雪天、大雾天等，这样，用于训练该第一图像分类模型的样本图像集更加丰富，从而可以提高该第一图像分类模型的准确率。本公开可以从poseidon数据平台的众包采集数据中获取该多个图像集，从该多个图像集中选择特征比较明显的图像集作为该样本图像集。
69.s2、针对每个样本图像集，获取该样本图像集对应的样本帧，并按照预设分辨率调整该样本帧，得到调整样本帧，对该调整样本帧进行随机透视变换，得到该调整样本帧对应的多个随机样本帧；
70.其中，该透视变换可以包括水平镜像变换、旋转变换、亮度变换、对比度变换、饱和度变换、色彩度变换、灰度变换中的一个或多个。
71.在获取多个样本图像集后，针对每个样本图像集，可以按照预设间隔从该样本图像集中抽取图像帧作为该样本帧；或者，将该样本图像集的每一帧图像作为该样本帧。
72.考虑到能够获取到的已标注类别的样本图像集的数量较少，不能满足模型训练的需求，可以通过随机透视变换的方式获取更多的训练样本。另外，为了节省存储空间，在获取每个样本图像集对应的样本帧后，可以先按照预设分辨率调整该样本帧，得到调整样本帧，该预设分辨率可以是肉眼可以看清楚的最小分辨率，例如，该预设分辨率可以是128*128。
73.进一步地，在得到该调整样本帧后，可以按照预设倍率对该调整样本帧进行随机透视变换，本公开对该随机透视变化的的类型和数量不作限定，这样，通过该随机透视变换可以得到一个样本帧对应的多个不同亮度、不同对比度、不同饱和度、不同色彩度以及不同灰度的样本帧，使得得到的随机样本帧更加丰富。其中，该预设倍率可以根据样本帧的数量和需要的训练样本的数量的差值确定，在该差值较大的情况下，可以设置较大的预设倍数，在该差值较小的情况下，可以设置较小的预设倍数，本公开对此不作限定。
74.s3、根据该调整样本帧和该随机样本帧对目标神经网络模型进行训练，得到该第一图像分类模型。
75.其中，该目标神经网络模型的主干网络可以是resnet34网络或者efficientnet网络，resnet34网络可以由4个基础残差块组成，其卷积过滤器的深度分别为64、128、256、512，卷积过滤器的尺寸为3*3，另外，该目标神经网络模型还包括池化层、全连接线性分类层；该目标神经网络模型也可以是一个多任务学习网络模型，可以为每个任务分别增加一个单独的输出，该输出可以包括一个批标准化(batch normalization)层、一个relu激活函
数层、一个深度为512的卷积层和一个线性分类器，该目标神经网络模型对应的损失函数可以是交叉熵，该目标神经网络模型的总损失为：
[0076][0077]
其中，ω(t)为第t个任务的权重，loss(t)为第t个任务的损失函数，n为该目标神经网络模型包含的任务数量。
[0078][0079]
其中，i为样本帧的序号，y(i)为第i个样本帧对应的标签，为第i个样本帧对应的预测值。
[0080]
在得到该调整样本帧和该随机样本帧后，可以将该调整样本帧和该随机样本帧划分为训练集、验证集以及测试集，示例地，可以按照7：1：2的比例将该调整样本帧和该随机样本帧划分为训练集、验证集以及测试集。之后，可以根据该训练集和该验证集的调整样本帧和随机样本帧对目标神经网络模型进行训练，得到该第一图像分类模型。示例地，可以将训练集中的调整样本帧和随机样本帧作为该目标神经网络模型拟合的数据样本，通过验证集的调整样本帧和随机样本帧调整该目标神经网络模型的参数。通过测试集的调整样本帧和随机样本帧验证该第一图像分类模型的准确率。
[0081]
需要说明的是，该第一图像分类模型的训练过程可以参考相关技术的模型训练方法，此处不再赘述。
[0082]
s202、确定该图像集中是否包含预设目标物体，在确定该图像集不包含该预设目标物体的情况下，执行步骤s203，在确定该图像集包含该预设目标物体的情况下，执行步骤s204～s208。
[0083]
其中，该预设目标物体用于表征车辆的行驶工况，本公开可以针对每种场景预先设置该场景对应的预设目标物体，示例地，针对城市道路场景，该预设目标物体可以包括交通灯、行人、公交车，针对高速场景，该预设目标物体可以包括货车，本公开对每种场景包括的该预设目标物体的类型不作限定。
[0084]
需要说明的是，考虑到部分特定场景的特征比较明显，比如隧道场景，根据第一图像分类模型确定的该图像集对应的类别比较准确，可以不针对该特定场景设置预设目标物体，这样，该图像集中也就不包含该预设目标物体。
[0085]
s203、根据该目标帧对应的类别，确定该图像集对应的类别。
[0086]
在本步骤中，在确定该图像集中不包含该预设目标物体的情况下，可以直接根据该第一图像分类模型的分类结果确定该图像集对应的类别。在一种可能的实现方式中，可以先确定该目标帧对应的类别为每个预设类别的概率，并将概率最高的预设类别作为该图像集对应的类别。
[0087]
其中，可以先确定每一个目标帧对应的类别为每个预设类别的概率，再确定所有目标帧对应的类别为每个预设类别的概率的平均值，将平均值最高的预设类别作为该图像集对应的类别。示例地，若目标帧包括3个，预设类别包括城市道路场景、高速场景、隧道场景以及其它场景，第一个目标帧对应的类别为城市道路场景90％，高速场景6％，隧道场景1％，其它场景3％，第二个目标帧对应的类别为城市道路场景92％，高速场景4％，隧道场景1％，其它场景3％，第三个目标帧对应的类别为城市道路场景88％，高速场景8％，隧道场景
1％，其它场景3％，则可以确定该三个目标帧为城市道路场景的平均值为90％，高速场景的平均值为6％，隧道场景的平均值为4％，其它场景的平均值为1％，这样，可以确定平均值最高的城市道路场景即为该图像集对应的类别。
[0088]
s204、确定该图像集中包含的该预设目标物体的物体信息。
[0089]
其中，该物体信息可以包括该预设目标物体的类型和该预设目标物体的数量。
[0090]
s205、将该目标帧对应的类别和该预设目标物体的物体信息输入预先设置的第二图像分类模型，得到该图像集对应的类别。
[0091]
其中，该第二图像分类模型可以是lstm(long short
‑
term memory，长短期记忆)网络，在训练该第二图像分类模型时，可以将样本帧按照时间序列输入该第二图像分类模型，这样，当前时刻打标的结果会受到当前时刻之前已打标结果的影响，也会影响后续时刻的打标结果，从而可以按照时间序列对图像集的整体场景做出判断，使得图像分类的准确率更高。
[0092]
需要说明的是，该第二图像分类模型的训练方法可以参考相关技术的模型训练方法，此处不再赘述。
[0093]
在本步骤中，可以按照该目标帧在该图像集中的先后顺序，将该目标帧对应的类别和该物体信息输入该第二图像分类模型，其中，该先后顺序可以是时间先后顺序，示例地，可以按照该目标帧的拍摄时间的先后顺序，依次将该目标帧输入该第二图像分类模型。
[0094]
s206、在确定该图像集对应的类别后，通过该车辆的gps信息确定该车辆的位置信息。
[0095]
在本步骤中，由于该第一图像分类模型和该第二图像分类模型可能会存在误差，因此，可以根据判断结果对该第一图像分类模型和该第二图像分类模型进行优化。在确定该图像集对应的类别后，可以获取该车辆的gps信息，根据该gps信息确定该车辆的位置信息。
[0096]
s207、根据该位置信息确定该图像集对应的类别是否正确。
[0097]
在本步骤中，在确定该车辆的位置信息后，可以根据该位置信息确定该图像集对应的类别是否正确，示例地，若该车辆的位置信息为a高速，该图像集对应的类别为高速场景，则确定该图像集对应的类别正确，若该车辆的位置信息为a高速，该图像集对应的类别为城市道路场景，则确定该图像集对应的类别错误。
[0098]
s208、在确定该图像集对应的类别不正确的情况下，根据该图像集和该图像集对应的类别调整该第一图像分类模型和该第二图像分类模型。
[0099]
在本步骤中，在确定该图像集对应的类别正确的情况下，表示该第一图像分类模型和该第二图像分类模型的准确率比较高，无需对该第一图像分类模型和该第二图像分类模型进行优化；在确定该图像集对应的类别错误的情况下，表示该第一图像分类模型或该第二图像分类模型的准确率较低，可以根据该图像集和该图像集对应的类别调整该第一图像分类模型和该第二图像分类模型。其中，调整该第一图像分类模型和该第二图像分类模型的方式可以参考相关技术的模型优化方法，此处不再赘述。
[0100]
采用上述方法，在通过第一图像分类模型确定图像集中目标帧对应的类别后，可以再结合该图像集中包含的预设目标物体的物体信息，确定该图像集对应的类别，这样，可以提高图像分类的准确率；另外，在训练该第一图像分类模型时，无需人工标注，可以通过
随机透视变换的方式获取更多的训练样本，从而可以提高模型训练的效率。
[0101]
图3是根据一示例性实施例示出的一种图像分类装置的结构示意图，如图3所示，该装置包括：
[0102]
第一类别确定模块301，用于将图像集输入预先设置的第一图像分类模型，得到该图像集中目标帧对应的类别；
[0103]
目标物体确定模块302，用于确定该图像集中是否包含预设目标物体，该预设目标物体用于表征车辆的行驶工况；
[0104]
物体信息确定模块303，用于在确定该图像集包含该预设目标物体的情况下，确定该图像集中包含的该预设目标物体的物体信息；
[0105]
第二类别确定模块304，用于根据该目标帧对应的类别和该预设目标物体的物体信息，确定该图像集对应的类别。
[0106]
可选地，该物体信息包括该预设目标物体的类型和该预设目标物体的数量。
[0107]
可选地，该第二类别确定模块304，具体用于：将该目标帧对应的类别和该预设目标物体的物体信息输入预先设置的第二图像分类模型，得到该图像集对应的类别。
[0108]
可选地，该第二类别确定模块304，还用于：按照该目标帧在该图像集中的先后顺序，将该目标帧对应的类别和该物体信息输入该第二图像分类模型。
[0109]
可选地，图4是根据一示例性实施例示出的第二种图像分类装置的结构示意图，如图4所示，该装置还包括：位置信息确定模块305，用于在确定该图像集对应的类别后，通过该车辆的gps信息确定该车辆的位置信息；类别判断模块306，用于根据该位置信息确定该图像集对应的类别是否正确；模型调整模块307，用于在确定该图像集对应的类别不正确的情况下，根据该图像集和该图像集对应的类别调整该第一图像分类模型。
[0110]
可选地，图5是根据一示例性实施例示出的第三种图像分类装置的结构示意图，如图5所示，该装置还包括：模型获取模块308，用于获取多个样本图像集；针对每个该样本图像集，获取该样本图像集对应的样本帧，并按照预设分辨率调整该样本帧，得到调整样本帧，对该调整样本帧进行随机透视变换，得到该调整样本帧对应的多个随机样本帧；根据该调整样本帧和该随机样本帧对目标神经网络模型进行训练，得到该第一图像分类模型。
[0111]
可选地，该透视变换包括：水平镜像变换、旋转变换、亮度变换、对比度变换、饱和度变换、色彩度变换、灰度变换中的一个或多个。
[0112]
可选地，该模型获取模块308，还用于按照预设间隔从该样本图像集中抽取图像帧作为该样本帧；或者，将该样本图像集的每一帧图像作为该样本帧。
[0113]
可选地，图6是根据一示例性实施例示出的第四种图像分类装置的结构示意图，如图6所示，该装置还包括：图像划分模块309，用于按照预设比例，将该调整样本帧和该随机样本帧划分为训练集、验证集以及测试集；该模型获取模块308，还用于根据该训练集和验证集的该调整样本帧和该随机样本帧对目标神经网络模型进行训练，得到该第一图像分类模型。
[0114]
可选地，该目标神经网络模型为多任务学习网络模型。
[0115]
可选地，图7是根据一示例性实施例示出的第五种图像分类装置的结构示意图，如图7所示，该装置还包括：第三类别确定模块310，用于在确定该图像集不包含该预设目标物体的情况下，根据该目标帧对应的类别，确定该图像集对应的类别。
[0116]
可选地，该第三类别确定模块310，具体用于：确定该目标帧对应的类别为每个预设类别的概率；将概率最高的该预设类别作为该图像集对应的类别。
[0117]
通过上述装置，可以在通过第一图像分类模型确定图像集中目标帧对应的类别后，可以再结合该图像集中包含的预设目标物体的物体信息，确定该图像集对应的类别，这样，可以提高图像分类的准确率。
[0118]
图8是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以被提供为一服务器。参照图8，电子设备800包括处理器822，其数量可以为一个或多个，以及存储器832，用于存储可由处理器822执行的计算机程序。存储器832中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器822可以被配置为执行该计算机程序，以执行上述的图像分类方法。
[0119]
另外，电子设备800还可以包括电源组件826和通信组件850，该电源组件826可以被配置为执行电子设备800的电源管理，该通信组件850可以被配置为实现电子设备800的通信，例如，有线或无线通信。此外，该电子设备800还可以包括输入/输出(i/o)接口858。电子设备800可以操作基于存储在存储器832的操作系统，例如windows server
tm
，mac os x
tm
，unix
tm
，linux
tm
等等。
[0120]
在另一示例性实施例中，还提供一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像分类方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器832，上述程序指令可由电子设备800的处理器822执行以完成上述的图像分类方法。
[0121]
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像分类方法的代码部分。
[0122]
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
[0123]
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。