样本图像处理方法、装置、电子设备及可读存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及智能交通技术领域，具体而言，本公开涉及一种样本图像处理方法、装置、电子设备及可读存储介质。


背景技术：

2.智能交通系统中，道路的路侧会部署大量路侧感知设备，通过路侧感知设备采集路侧感知数据，通过感知模型对路侧感知数据进行感知，从而实现路侧感知功能。
3.现有技术中，一般需要使用训练样本对感知模型进行训练，但是训练样本中可能会存在样本不均衡的情况，影响感知模型的感知效果。


技术实现要素：

4.本公开为了解决上述缺陷中的至少一项，提供了一种样本图像处理方法、装置、电子设备及可读存储介质。
5.根据本公开的第一方面，提供了一种样本图像处理方法，该方法包括：
6.确定待扩充的第一待采样样本图像集；
7.基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。
8.根据本公开的第二方面，提供了一种样本图像处理装置，该装置包括：
9.待采样样本图像集确定模块，用于确定待扩充的第一待采样样本图像集；
10.样本图像扩充模块，用于基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。
11.根据本公开的第三方面，提供了一种电子设备，该电子设备包括：
12.至少一个处理器；以及
13.与上述至少一个处理器通信连接的存储器；其中，
14.存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述样本图像处理方法。
15.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述样本图像处理方法。
16.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述样本图像处理方法。
17.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
18.附图用于更好地理解本方案，不构成对本公开的限定。其中：
19.图1是本公开实施例提供的一种样本图像处理方法的流程示意图；
20.图2是本公开实施例提供的另一种样本图像处理方法的流程示意图；
21.图3是本公开实施例提供的一种样本图像处理装置的结构示意图；
22.图4是本公开实施例提供的另一种样本图像处理装置的结构示意图；
23.图5是用来实现本公开实施例的样本图像处理方法的电子设备的框图。
具体实施方式
24.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
25.相关技术中，路侧感知设备可以为图像采集设备，用于采集交通图像，感知模型可以用于对交通图像中的行人或者机动车进行检测。
26.感知模型需要基于训练样本图像进行模型训练后才能投入使用。在通过训练样本图像对感知模型进行训练时，可能会因训练样本图像存在样本不均衡的情况，影响训练后感知模型的感知效果。
27.在对感知模型进行训练时，可以采用类别均衡采样的方式进行采样，得到训练样本图像集，即保证采样得到的训练样本集中各图像类别的样本图像的数量满足一定比例，避免出现样本不均衡的情况。
28.样本图像全集中样本图像的数量可能过大，在训练设备加载样本图像时，不便于将样本图像全集中全部的样本图像加载至训练设备的内存中，因此，一般会采用动态加载的策略，每次将样本图像全集中部分样本图像加载至训练设备内存中，而后从已加载的样本图像中进行类别均衡采样得到训练样本图像集，基于训练样本图像集进行模型训练。这种方式中，当动态加载后得到的已加载的样本图像中存在样本不均衡的情况时，可能会导致类别均衡采样无法正常实现，无法采样得到样本均衡的训练样本图像集，影响训练后感知模型的感知效果。
29.本公开实施例提供的样本图像处理方法、装置、电子设备及可读存储介质，旨在解决现有技术的如上技术问题中的至少一个。
30.图1示出了本公开实施例提供的一种样本图像处理方法的流程示意图，如图1中所示，该方法主要可以包括：
31.步骤s110：确定待扩充的第一待采样样本图像集；
32.步骤s120：基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。
33.其中，第一待采样样本图像集中可能会存在样本不均衡的情况，例如，第一待采样样本图像集缺少某种图像类别的样本图像，该第一待采样样本图像集可能无法支持类别均衡采样，也就无法采样得到样本均衡的训练样本图像集。
34.对第一待采样样本图像集进行扩充，即增加第一待采样样本图像集中的样本图像，使得第一待采样样本图像集扩充后得到的第二待采样样本图像集内样本均衡，能够为后续进行类别均衡采样，从而得到样本均衡的训练样本图像集提供了基础。
35.样本图像全集为能够参与训练的全部样本图像构成的集合，在开始进行模型训练
后，样本图像全集会包括已参与过训练的样本图像以及未参与过训练的样本图像，而随着模型训练过程的进行，样本图像全集中已参与过训练的样本图像的数量会增多，而未参与过训练的样本图像的数量会减少。
36.在一般情况下，可以通过样本图像全集中未参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到第二待采样样本图像集内样本均衡。而在另一些情况下，可能无法基于样本图像全集中未参与过训练的样本图像对第一待采样样本图像集进行扩充，或者无法使得扩充后得到第二待采样样本图像集内样本均衡。在这些情况下，可以基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，即将样本图像全集中已参与过训练的样本图像添加至第一待采样样本图像集，得到第二待采样样本图像集，从而保证第二待采样样本图像集内样本均衡。
37.本公开实施例提供的方法，通过确定待扩充的第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。本方案中，通过已参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到的第二待采样样本图像集内样本均衡，能够为从第二待采样样本图像集内采样得到样本均衡的训练样本图像集提供基础，从而保证基于训练样本图像集训练出的感知模型具有良好的感知效果。
38.本公开的一种可选方式中，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，包括：
39.基于第一待采样样本图像集中包含样本图像的数量情况，从样本图像全集中已参与过训练的样本图像中确定扩充样本图像；
40.基于扩充样本图像对第一待采样样本图像集进行扩充。
41.其中，第一待采样样本图像集中包含样本图像的数量情况，可以为第一待采样样本图像集中各图像类别的样本图像数量或者第一待采样样本图像集中样本图像的总数。
42.本公开实施例中，图像类别可以根据样本图像中包含的预设实体对象确定。样本图像中可能会包含多种实体对象，如道路、机动车、行人、绿植等，预设实体对象为在交通感知中所关注的实体对象，如行人、机动车等。当样本图像中包含的预设实体对象为行人时，可以将该样本图像的图像类别标注为行人，当样本图像中包含的预设实体对象为机动车时，可以将该样本图像的图像类别标注为机动车。
43.一般情况下，第一待采样样本图像集中一些图像类别的样本图像数量较少时，会导致样本不均衡情况的产生。基于第一待采样样本图像集中包含样本图像的数量情况，能够确定出这些图像类别，并确定出这些图像类别下需扩充的样本图像的数量，即确定出扩充样本图像所属的图像类别以及扩充样本图像的数量，从而能够从已参与过训练的样本图像确定出扩充样本图像。
44.本公开的一种可选方式中，基于扩充样本图像对第一待采样样本图像集进行扩充，包括：
45.对扩充样本图像进行变换处理，得到变换后扩充样本图像；
46.基于变换后扩充样本图像对第一待采样样本图像集进行扩充。
47.本公开实施例中，在基于扩充样本图像对第一待采样样本图像集进行扩充时，如果直接将扩充样本图像添加至第一待采样样本图像集，由于扩充样本图像已参与过训练，
重复使用扩充样本图像进行训练可能会导致训练效果不佳。
48.本公开实施例中，通过对图像进行变换处理，得到变换后扩充样本图像，而后将变换后扩充样本图像添加至第一待采样样本图像集。由于变换后的扩充样本图像不同于扩充样本图像，使用变换后的扩充样本图像进行模型训练，能够避免重复使用扩充样本图像进行模型训练所导致的训练效果不佳。
49.本公开的一种可选方式中，对扩充样本图像进行变换处理，包括：
50.确定用于采集扩充样本图像的目标图像采集设备以及扩充样本图像所属的目标图像类别；
51.基于目标图像采集设备与目标图像类别，从预置贴图中确定目标贴图，目标贴图中包含与目标图像类别对应的目标实体对象；
52.将目标贴图与扩充样本图像合并。
53.本公开实施例中，样本图像一般会由多个图像采集设备采集得到。图像采集设备一般是固定安装的，同一图像采集设备所采集到的样本图像的成像上视角是相同的，机动车或者行人等预设实体对象在样本图像中的位姿是基本相同的，将同一图像采集设备所采集到的相同图像类别的样本图像中的预设实体对象进行互换，互换后的样本图像的成像不会受到太大影响，能够用于模型训练使用。
54.本公开实施例中，样本图像的图像类型是根据样本图像中包含的预置实体对象确定的，可以将扩充样本图像中所包含的预置实体对象记做目标实体对象，将扩充样本图像所属的图像类别记做目标图像类别。目标贴图中所包含的预置实体对象应与扩充样本图像中一致，即扩充样本图像与目标贴图中均包含目标实体对象。
55.本公开实施例中，可以针对各图像采集设备中所采集的各图像类别的样本图像分别提供预置贴图，以便在对扩充样本图像进行变换处理时，基于目标图像采集设备与目标图像类别，从预置贴图中确定目标贴图，将目标贴图与扩充样本图像合并。
56.作为一个示例，目标图像采集设备a所采集的、图像类别为行人的目标贴图为某一行人a的抠图，在对目标图像采集设备a所采集的、图像类别为行人的扩充样本图像进行变化处理时，扩充样本图像中原有的行人b被替换成了行人a。
57.本公开的一种可选方式中，将目标贴图与扩充样本图像合并，包括：
58.确定扩充样本图像的目标图像区域，扩充样本图像的目标图像区域中包含目标实体对象；
59.将目标贴图合并至扩充样本图像中的目标图像区域。
60.本公开实施例中，在将目标贴图与扩充样本图像进行合并时，可以识别出扩充样本图像中目标实体对象所处的目标图像区域，例如，识别出扩充样本图像中行人所处的目标图像区域。
61.在实际使用中，可以通过预训练的实体识别模型来识别预设实体对象所处的目标图像区域。
62.本公开实施例中，在确定出目标图像区域之后，可以将目标贴图合并至扩充样本图像中的目标图像区域。具体而言，可以在确定目标图像区域后，将目标贴图贴于扩充样本图像中目标图像区域的上层，将扩充样本图像中的预设实体对象覆盖，从而完成对扩充样本图像的变换处理。
63.本公开的一种可选方式中，预置贴图是从预置的参考样本图像中提取的，预置贴图与用于采集参考样本图像的图像采集设备预建立有第一对应关系，预置贴图与图像类别预建立有第二对应关系，第二对应关系是基于预置贴图中包含的预设实体对象建立的。
64.本公开实施例中，可以预置参考样本图像用于提取预置贴图，参考样本图像为样本图像全集中的样本图像。作为一个示例，参考样本图像可以为扩充样本图像中的部分图像。
65.具体而言，可以识别出参考样本图像中的预设实体对象所处的图像区域，而后提取该图像区域内的参考样本图像作为预置贴图。
66.在实际使用中，可以通过预训练的实体识别模型来识别预设实体对象所处的图像区域。
67.本公开实施例中，可以建立预置贴图与用于采集参考样本图像的图像采集设备的第一对应关系。可以根据预置贴图中包含的预设实体对象，确定用于提取该预置贴图的参考样本图像所属的图像类别，而后建立预置贴图与图像类别的第二对应关系。例如，预置贴图中包含的预设实体对象为行人，用于提取该预置贴图的参考样本图像所属的图像类别为行人，而后可以将建立该预置贴图与行人这一图像类别的第二对应关系。
68.通过建立第一对应关系与第二对应关系，为后续从预置图像中快速确定目标贴图提供基础。
69.本公开的一种可选方式中，基于目标图像采集设备与目标图像类别，从预置贴图中确定目标贴图，包括：
70.基于目标图像采集设备与目标图像类别，并基于第一对应关系以及第二对应关系，从预置贴图中确定目标贴图。
71.本公开实施例中，可以根据第一对应关系，确定目标图像采集设备对应的预置贴图，而后基于第二对应关系，从目标图像采集设备对应的预置贴图中，确定出目标图像类别对应的目标贴图。
72.通过配置第一对应关系与第二对应关系，能够使得用于提取目标贴图的参考样本图像与扩充样本图像同属一个目标图像类别，并通过同一台目标图像采集设备所采集，从而保证将目标贴图合并至扩充样本图像后的得到变换后扩充样本图像的成像效果。
73.本公开的一种可选方式中，对扩充样本图像进行变换处理，包括：
74.对扩充样本图像进行数据增强处理。
75.本公开实施例中，扩充样本图像进行变换处理还可以采用数据增强处理的方式，数据增强处理可以包括对扩充样本图像进行平移、旋转、翻转、增加高斯噪声以及增加椒盐噪声等处理。通过数据增强处理，能够使得增强处理后的扩充样本图像不同于增强处理之前的样本图像。
76.本公开的一种可选方式中，确定待扩充的第一待采样样本图像集，包括：
77.当第三待采样样本图像集中样本图像不满足预设的第一数量条件时，基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行扩充，得到第四待采样样本图像集；
78.当第四待采样样本图像集中样本图像不满足预设的第二数量条件时，将第四待采样样本图像集确定为待扩充的第一待采样样本图像集。
79.其中，第三待采样样本图像集中样本图像不满足预设的第一数量条件，可以认为第三待采样样本图像集中存在样本不均衡的情况，例如，第三待采样样本图像集缺少某种图像类别的样本图像。
80.当第三待采样样本图像集中样本图像不满足预设的第一数量条件时，可以触发动态加载策略，基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行扩充，即将样本图像全集中未参与过训练的样本图像增加第三待采样样本图像集中，得到第四待采样样本图像集。
81.当第四待采样样本图像集满足预设的第二数量条件时，可以认为第四待采样样本图像集内样本均衡，后续可以基于第四待采样样本图像集进行类别均衡采样，得到训练样本图像集，基于训练样本图像集进行模型训练。
82.当第四待采样样本图像集不满足预设的第二数量条件时，可以认为第四待采样样本图像集内样本不均衡，可能无法支持类别均衡采样，也就无法采样得到样本均衡的训练样本图像集，这时可以将述第四待采样样本图像集确定为待扩充的第一待采样样本图像集，而后基于已参与过训练的样本图像对第一待采样样本图像集进行扩充，以保证扩充得到第二待采样样本图像集内样本均衡，后续可以基于第二待采样样本图像集进行类别均衡采样，得到训练样本图像集，基于训练样本图像集进行模型训练。
83.本公开实施例中，当第三待采样样本图像集内样本不均衡并触发了动态加载时，可以通过动态加载未参与训练的样本图像来扩充第三待采样样本图像集。而如果完成动态加载后，扩充得到的第四待采样样本图像集内样本仍不均衡，则可以认为样本图像全集内未参与训练的样本图像的数量较少，这时可以将第四待采样样本图像集确定为第一待采样样本图像集，并基于已参与过训练的样本图像扩充第一待采样样本图像集，使得扩充得到的第二待采样样本图像集内样本均衡，从而保证类别均衡采样的正常实现，为后续采样得到样本均衡的训练样本图像集，并基于训练样本图像集进行模型训练提供了基础。
84.本公开的一种可选方式中，第一数量条件以及第二数量条件分别包括以下任一项：
85.样本图像的数量不低于第一预设值；
86.存在至少一个图像类别的样本图像的数量不低于第二预设值。
87.本公开实施例中，第一数量条件与第二数量条件用于衡量待采样样本图像集的样本是否均衡，可以认为在第三待采样样本图像集不满足第一数量条件时，第三待采样样本图像集内存在样本不均衡的情况。可以认为在第四待采样样本图像集不满足第二数量条件时，第四待采样样本图像集内存在样本不均衡的情况。
88.本公开实施例中，样本图像的数量不低于第一预设值时，可以认为待采样样本图像集中样本图像的数量太少，待采样样本图像集内可能存在样本不均衡的情况。
89.存在至少一个图像类别的样本图像的数量不低于第二预设值，可以认为待采样样本图像集中至少一个图像类别的样本图像的数量太少，导致待采样样本图像集内存在样本不均衡的情况。
90.第一预设值与第二预设值可以根据实际需要进行设置。
91.本公开的一种可选方式中，上述方法还包括：
92.将样本图像全集中未参与过训练的样本图像划分为至少一个样本图像子集，样本
图像子集中各图像类别的样本图像数量满足第三预设数量条件；
93.基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行扩充，包括：
94.基于样本图像子集对第三待采样样本图像集进行扩充。
95.本公开实施例中，可以对样本图像全集中未参与过训练的样本图像进行数据划分，得到至少一个样本图像子集，并使得样本图像子集中各图像类别的样本图像数量满足第三预设数量条件，可以认为样本图像子集中各图像类别的样本图像数量满足第三预设数量条件时，样本图像子集内样本均衡。
96.作为一个示例，第三预设数量条件可以为样本图像子集中各图像类别的样本图像数量满足预设比例，从而保证样本图像子集内样本均衡。
97.本公开实施例中，由于样本图像子集内样本均衡，基于样本图像子集对第三待采样样本图像集进行扩充，能够保证扩充后得到的第四待采样样本图像集内样本均衡。
98.本公开的一种可选方式中，上述方法还包括：
99.将已加载样本图像中未参与过训练的样本图像划分至第三待采样样本图像集，已加载样本图像是从样本图像全集中未参与过训练的样本图像中加载的；
100.基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，包括：
101.基于已加载样本图像中已参与过训练的样本图像对第一待采样样本图像集进行扩充。
102.本公开实施例中，已加载样本图像为被加载至训练设备的内存中的样本图像，可以采用动态加载策略从样本图像全集中未参与过训练的样本图像加载至训练设备的内存。
103.本公开实施例中，可以将已加载样本图像中未参与过训练的样本图像划分至第三待采样样本图像集，以便从第三待采样样本图像集采样得到训练样本集。
104.本公开实施例中，已加载样本图像中除未参与过训练的样本图像之外，还包括已参与过训练的样本图像，在需要基于已参与过训练的样本图像对第一待采样样本图像集进行扩充时，可以基于已加载样本图像中已参与过训练的样本图像对第一待采样样本图像集进行扩充。
105.由于已加载样本图像中已参与过训练的样本图像已经被加载至训练设备的内存中，可以直接读取并使用这部分已参与过训练的样本图像对第一待采样样本图像集进行扩充，省去了重新加载已参与过训练的样本图像至训练设备的内存的过程，更为便捷。
106.在实际使用中，如果基于已加载样本图像中除未参与过训练的样本图像对第一待采样样本图像集进行扩充后，扩充后的第一待采样样本图像集内样本仍不均衡，这时可以从样本图像全集中重新加载已参与过训练的样本图像，并使用这部分已参与过训练的样本图像对第一待采样样本图像集进行扩充。
107.本公开实施例中，在已加载样本图像中的已参与过训练的样本图像无需被再次使用时，可以将这部分已参与过训练的样本图像从训练设备的内存中的剔除。
108.作为一个示例，本公开实施例提供的模型训练过程具体如下：
109.加载样本图像全集中的部分样本图像得到已加载样本图像，统计已加载样本图像中各图像类别的样本图像数量。
110.已加载样本图像中未参与过训练的样本图像构成第三待采样样本图像集，从第三待采样样本图像集中进行类别均衡采样，得到训练样本集，基于训练样本集进行模型训练。
111.当第三待采样样本图像集中样本图像不满足预设的第一数量条件时，启动动态加载，即加载样本图像全集中部分未参与过训练的样本图像，扩充第三待采样样本图像集，得到第四待采样样本图像集。
112.当第四待采样样本图像集中样本图像满足预设的第二数量条件时，将第四待采样样本图像集作为第三待采样样本图像集，再次执行从第三待采样样本图像集中进行类别均衡采样，得到训练样本集，基于训练样本集进行模型训练。当第三待采样样本图像集中样本图像不满足预设的第一数量条件时，启动动态加载，即加载样本图像全集中部分未参与过训练的样本图像，扩充第三待采样样本图像集，得到第四待采样样本图像集的步骤。
113.当第四待采样样本图像集中样本图像不满足预设的第二数量条件时，将第四待采样样本图像集确定为第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集，从第二待采样样本图像集中进行类别均衡采样，得到训练样本集，基于训练样本集进行模型训练，而后可以结束模型训练过程。
114.本公开的一种可选方式中，上述方法还包括：
115.对第二待采样样本图像集进行采样得到训练样本集，训练样本集用于模型训练。
116.本公开实施例中，在扩充得到第二待采样样本图像集之后，可以对第二待采样样本图像集进行采样得到训练样本集，此处的采样可以采用类别均衡采样，即依照预设比例对第二待采样样本图像集中各图像类别的样本图像进行采样，以保证采样得到的训练样本图像集内样本均衡。
117.本公开实施例中，在对第二待采样样本图像集进行采样得到训练样本集之后，可以基于训练样本集进行模型训练。
118.图2示出了本公开实施例提供的另一种样本图像处理方法的流程示意图，如图2中所示，该方法主要可以包括：
119.步骤s210：当第三待采样样本图像集中样本图像不满足预设的第一数量条件时，基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行扩充，得到第四待采样样本图像集；
120.步骤s220：当第四待采样样本图像集中样本图像不满足预设的第二数量条件时，将第四待采样样本图像集确定为待扩充的第一待采样样本图像集；
121.步骤s240：基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集；
122.步骤s240：对第二待采样样本图像集进行采样得到训练样本集，训练样本集用于模型训练。
123.其中，第三待采样样本图像集中样本图像不满足预设的第一数量条件，可以认为第三待采样样本图像集中存在样本不均衡的情况，例如，第三待采样样本图像集缺少某种图像类别的样本图像。
124.当第三待采样样本图像集中样本图像不满足预设的第一数量条件时，可以触发动态加载策略，基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行
扩充，即将样本图像全集中未参与过训练的样本图像增加第三待采样样本图像集中，得到第四待采样样本图像集。
125.当第四待采样样本图像集满足预设的第二数量条件时，可以认为第四待采样样本图像集内样本均衡，后续可以基于第四待采样样本图像集进行类别均衡采样，得到训练样本图像集，基于训练样本图像集进行模型训练。
126.当第四待采样样本图像集不满足预设的第二数量条件时，可以认为第四待采样样本图像集内样本不均衡，可能无法支持类别均衡采样，也就无法采样得到样本均衡的训练样本图像集，这时可以将述第四待采样样本图像集确定为待扩充的第一待采样样本图像集。
127.第一待采样样本图像集中可能会存在样本不均衡的情况，例如，第一待采样样本图像集缺少某种图像类别的样本图像，该第一待采样样本图像集可能无法支持类别均衡采样，也就无法采样得到样本均衡的训练样本图像集。
128.对第一待采样样本图像集进行扩充，即增加第一待采样样本图像集中的样本图像，使得第一待采样样本图像集扩充后得到的第二待采样样本图像集内样本均衡，能够为后续进行类别均衡采样，从而得到样本均衡的训练样本图像集提供了基础。
129.样本图像全集为能够参与训练的全部样本图像构成的集合，在开始进行模型训练后，样本图像全集会包括已参与过训练的样本图像以及未参与过训练的样本图像，而随着模型训练过程的进行，样本图像全集中已参与过训练的样本图像的数量会增多，而未参与过训练的样本图像的数量会减少。
130.在一般情况下，可以通过样本图像全集中未参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到第二待采样样本图像集内样本均衡。而在另一些情况下，可能无法基于样本图像全集中未参与过训练的样本图像对第一待采样样本图像集进行扩充，或者无法使得扩充后得到第二待采样样本图像集内样本均衡。在这些情况下，可以基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，即将样本图像全集中已参与过训练的样本图像添加至第一待采样样本图像集，得到第二待采样样本图像集，从而保证第二待采样样本图像集内样本均衡。
131.本公开实施例中，在扩充得到第二待采样样本图像集之后，可以对第二待采样样本图像集进行采样得到训练样本集，此处的采样可以采用类别均衡采样，即依照预设比例对第二待采样样本图像集中各图像类别的样本图像进行采样，以保证采样得到的训练样本图像集内样本均衡。
132.本公开实施例中，在对第二待采样样本图像集进行采样得到训练样本集之后，可以基于训练样本集进行模型训练。
133.本公开实施例提供的方法，通过确定待扩充的第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。本方案中，通过已参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到的第二待采样样本图像集内样本均衡，能够为从第二待采样样本图像集内采样得到样本均衡的训练样本图像集提供基础，从而保证基于训练样本图像集训练出的感知模型具有良好的感知效果。
134.基于与图1中所示的方法相同的原理，图3示出了本公开实施例提供的一种样本图
像处理装置的结构示意图，如图3所示，该样本图像处理装置30可以包括：
135.待采样样本图像集确定模块310，用于确定待扩充的第一待采样样本图像集；
136.样本图像扩充模块320，用于基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。
137.本公开实施例提供的装置，通过确定待扩充的第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。本方案中，通过已参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到的第二待采样样本图像集内样本均衡，能够为从第二待采样样本图像集内采样得到样本均衡的训练样本图像集提供基础，从而保证基于训练样本图像集训练出的感知模型具有良好的感知效果。
138.可选地，样本图像扩充模块在基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充时，具体用于：
139.基于第一待采样样本图像集中包含样本图像的数量情况，从样本图像全集中已参与过训练的样本图像中确定扩充样本图像；
140.基于扩充样本图像对第一待采样样本图像集进行扩充。
141.可选地，样本图像扩充模块在基于扩充样本图像对第一待采样样本图像集进行扩充时，具体用于：
142.对扩充样本图像进行变换处理，得到变换后扩充样本图像；
143.基于变换后扩充样本图像对第一待采样样本图像集进行扩充。
144.可选地，样本图像扩充模块在对扩充样本图像进行变换处理时，具体用于：
145.确定用于采集扩充样本图像的目标图像采集设备以及扩充样本图像所属的目标图像类别；
146.基于目标图像采集设备与目标图像类别，从预置贴图中确定目标贴图，目标贴图中包含与目标图像类别对应的目标实体对象；
147.将目标贴图与扩充样本图像合并。
148.可选地，样本图像扩充模块在将目标贴图与扩充样本图像合并时，具体用于：
149.确定扩充样本图像的目标图像区域，扩充样本图像的目标图像区域中包含目标实体对象；
150.将目标贴图合并至扩充样本图像中的目标图像区域。
151.可选地，预置贴图是从预置的参考样本图像中提取的，预置贴图与用于采集参考样本图像的图像采集设备预建立有第一对应关系，预置贴图与图像类别预建立有第二对应关系，第二对应关系是基于预置贴图中包含的预设实体对象建立的。
152.可选地，样本图像扩充模块在基于目标图像采集设备与目标图像类别，从预置贴图中确定目标贴图时，具体用于：
153.基于目标图像采集设备与目标图像类别，并基于第一对应关系以及第二对应关系，从预置贴图中确定目标贴图。
154.可选地，样本图像扩充模块在对扩充样本图像进行变换处理时，具体用于：
155.对扩充样本图像进行数据增强处理。
156.可选地，待采样样本图像集确定模块具体用于：
157.当第三待采样样本图像集中样本图像不满足预设的第一数量条件时，基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行扩充，得到第四待采样样本图像集；
158.当第四待采样样本图像集中样本图像不满足预设的第二数量条件时，将第四待采样样本图像集确定为待扩充的第一待采样样本图像集。
159.可选地，第一数量条件以及第二数量条件分别包括以下任一项：
160.样本图像的数量不低于第一预设值；
161.存在至少一个图像类别的样本图像的数量不低于第二预设值。
162.可选地，上述装置还包括：
163.样本图像子集划分模块，用于将样本图像全集中未参与过训练的样本图像划分为至少一个样本图像子集，样本图像子集中各图像类别的样本图像数量满足第三预设数量条件；
164.待采样样本图像集确定模块在基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行扩充时，具体用于：
165.基于样本图像子集对第三待采样样本图像集进行扩充。
166.可选地，上述装置还包括：
167.第三待采样样本图像集划分模块，用于将已加载样本图像中未参与过训练的样本图像划分至第三待采样样本图像集，已加载样本图像是从样本图像全集中未参与过训练的样本图像中加载的；
168.待采样样本图像集确定模块在基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充时，具体用于：
169.基于已加载样本图像中已参与过训练的样本图像对第一待采样样本图像集进行扩充。
170.可选地，上述装置还包括：
171.样本图像采样模块，用于对所述第二待采样样本图像集进行采样得到训练样本集，所述训练样本集用于模型训练。
172.可以理解的是，本公开实施例中的样本图像处理装置的上述各模块具有实现图1中所示的实施例中的样本图像处理方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述样本图像处理装置的各模块的功能描述具体可以参见图1中所示实施例中的样本图像处理方法的对应描述，在此不再赘述。
173.基于与图2中所示的方法相同的原理，图4示出了本公开实施例提供的另一种样本图像处理装置的结构示意图，如图4所示，该样本图像处理装置40可以包括：
174.第一样本图像扩充模块410，用于在第三待采样样本图像集中样本图像不满足预设的第一数量条件时，基于样本图像全集中未参与过训练的样本图像对第三待采样样本图像集进行扩充，得到第四待采样样本图像集；
175.第一待采样样本图像集确定模块420，用于第四待采样样本图像集中样本图像不满足预设的第二数量条件时，将第四待采样样本图像集确定为待扩充的第一待采样样本图
像集。
176.第二样本图像扩充模块430，用于基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集；
177.样本图像采样模块440，用于对第二待采样样本图像集进行采样得到训练样本集，训练样本集用于模型训练。
178.本公开实施例提供的装置，通过确定待扩充的第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。本方案中，通过已参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到的第二待采样样本图像集内样本均衡，能够为从第二待采样样本图像集内采样得到样本均衡的训练样本图像集提供基础，从而保证基于训练样本图像集训练出的感知模型具有良好的感知效果。
179.可以理解的是，本公开实施例中的样本图像处理装置的上述各模块具有实现图2中所示的实施例中的样本图像处理方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述样本图像处理装置的各模块的功能描述具体可以参见图2中所示实施例中的样本图像处理方法的对应描述，在此不再赘述。
180.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
181.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
182.该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例提供的样本图像处理方法。
183.该电子设备与现有技术相比，通过确定待扩充的第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。本方案中，通过已参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到的第二待采样样本图像集内样本均衡，能够为从第二待采样样本图像集内采样得到样本均衡的训练样本图像集提供基础，从而保证基于训练样本图像集训练出的感知模型具有良好的感知效果。
184.该可读存储介质为存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例提供的样本图像处理方法。
185.该可读存储介质与现有技术相比，通过确定待扩充的第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。本方案中，通过已参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到的第二待采样样本图像集内样本均衡，能够为从第二待采样样本图像集内采样得到样本均衡的训练样本图像集提供基础，从而保证基于训练样本图像集训练出的感知模型具有良好的感知效果。
186.该计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公
开实施例提供的样本图像处理方法。
187.该计算机程序产品与现有技术相比，通过确定待扩充的第一待采样样本图像集，基于样本图像全集中已参与过训练的样本图像对第一待采样样本图像集进行扩充，得到第二待采样样本图像集。本方案中，通过已参与过训练的样本图像对第一待采样样本图像集进行扩充，使得扩充后得到的第二待采样样本图像集内样本均衡，能够为从第二待采样样本图像集内采样得到样本均衡的训练样本图像集提供基础，从而保证基于训练样本图像集训练出的感知模型具有良好的感知效果。
188.图5示出了可以用来实施本公开的实施例的示例电子设备50的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
189.如图5所示，电子设备50包括计算单元510，其可以根据存储在只读存储器(rom)520中的计算机程序或者从存储单元580加载到随机访问存储器(ram)530中的计算机程序，来执行各种适当的动作和处理。在ram 530中，还可存储设备50操作所需的各种程序和数据。计算单元510、rom 520以及ram 530通过总线540彼此相连。输入/输出(i/o)接口550也连接至总线540。
190.设备50中的多个部件连接至i/o接口550，包括：输入单元560，例如键盘、鼠标等；输出单元570，例如各种类型的显示器、扬声器等；存储单元580，例如磁盘、光盘等；以及通信单元590，例如网卡、调制解调器、无线通信收发机等。通信单元590允许设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
191.计算单元510可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元510的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元510执行本公开实施例中所提供的样本图像处理方法。例如，在一些实施例中，执行本公开实施例中所提供的样本图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元580。在一些实施例中，计算机程序的部分或者全部可以经由rom 520和/或通信单元590而被载入和/或安装到设备50上。当计算机程序加载到ram 530并由计算单元510执行时，可以执行本公开实施例中所提供的样本图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元510可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例中所提供的样本图像处理方法。
192.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输
出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
193.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
194.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
195.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
196.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
197.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
198.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
199.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。