一种数据处理方法、装置、设备、介质及程序产品与流程

本申请涉及机器学习，尤其涉及一种数据处理方法、装置及、设备、介质及程序产品。

背景技术：

1、自动驾驶是机器学习的主要领域之一，自动驾驶相关的机器学习模型的性能很大程度上取决于模型训练的样本量大小，为了得到性能优良的深度学习模型，往往需要采用大量的图片样本进行训练。

2、实际应用中，为了得到用于模型训练的图片样本，这将需要从原始图片数据库中海量的原始图片中，进行人工查找得到用于样本标注的原始图片。这种方式在查找用于样本标注的原始图片时，耗费的时间较长。

3、因此，亟需一种可减少待标注图像数据的查找时间的数据处理方法。

技术实现思路

1、本说明书实施例提出了一种数据处理方法及设备，以提供以减少待标注图像数据的查找时间。

2、本说明书实施例提供的一种数据处理方法应用于模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理方法包括：

3、通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据中的交通信息；

4、将所述第二图像数据输入所述样本标注单元，通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；

5、将所述第三图像数据输入所述模型训练单元，通过所述模型训练单元根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；

6、通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。本说明书实施例提供的一种数据处理装置，所述装置为模型训练与部署平台，其特征在于，包括：

7、图像处理单元，用于对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据的图像内容；

8、样本标注单元，用于针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；

9、模型训练单元，用于根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；

10、模型服务单元，用于将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。

11、本说明书实施例提供的一种数据处理设备，所述数据处理设备上部署有模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理设备包括：

12、至少一个处理器；以及，

13、与所述至少一个处理器通信连接的存储器；

14、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

15、通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据中的交通信息；

16、将所述第二图像数据输入所述样本标注单元，通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；

17、将所述第三图像数据输入所述模型训练单元，通过所述模型训练单元根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；

18、通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。

19、本说明书实施例提供的一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机序/指令被处理器执行时实现上述方法的步骤。

20、本说明书实施例提供的一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述方法的步骤。

21、本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

22、本说明书实施例公开了一种数据处理方法、装置、设备、介质及程序产品，该方案包括：通过图像处理单元对第一图像数据进行图像处理得到包含交通属性信息的第二图像数据；通过样本标注单元针对根据交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；通过模型训练单元根据第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；通过模型服务单元将训练完成的机器学习模型封装为可容器化运行的图像处理服务；图像处理服务用于对交通信息采集设备采集到的第四图像数据进行处理。

23、相较于人工筛选待标注图片然后进行模型训练的方式，上述方法可以根据模型训练的需要来确定用于图片筛选的交通属性信息，进而交通属性信息筛选图像数据得到待标注的图片，因此，可以根据模型训练的需要确定各种类别的待标注图片的数量，提高样本的均衡性并节省大量的图片查找时间。

24、另外，上述方法还实现了图像标注和模型训练的闭环管理，以及生成用于图片处理的图像处理服务。

技术特征：

1.一种数据处理方法，其特征在于，应用于模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理方法包括：

2.根据权利要求1所述的方法，其特征在于，所述通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述模型训练与部署平台还包括预处理成果数据库；

4.根据权利要求3所述的方法，其特征在于，所述模型训练与部署平台还包括标注成果数据库；

5.根据权利要求4所述的方法，其特征在于，所述存储所述第三图像数据至所述标注成果数据库之后，还包括：

6.根据权利要求4所述的方法，其特征在于，所述存储所述第三图像数据至所述标注成果数据库之后，还包括：

7.根据权利要求1所述的方法，其特征在于，通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务，具体包括：

8.根据权利要求1所述的方法，其特征在于，所述模型训练与部署平台还包括模型部署单元；

9.一种数据处理装置，所述装置为模型训练与部署平台，其特征在于，包括：

10.一种数据处理设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至8任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机序/指令被处理器执行时实现权利要求1至8任一项所述方法的步骤。

12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至8任一项所述方法的步骤。

技术总结
本说明书实施例公开了一种数据处理方法、装置、设备、介质及程序产品，该方案包括：对第一图像数据进行图像处理得到包含交通属性信息的第二图像数据；对根据交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；根据第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；将训练完成的机器学习模型封装为可容器化运行的图像处理服务。上述方法可以根据模型训练的需要查找各种类别的待标注图片，提高样本的均衡性并节省大量的图片查找时间。另外，上述方法还实现了图像标注和模型训练的闭环管理，以及生成用于图片处理的图像处理服务。

技术研发人员：李晓鹏,沈彬
受保护的技术使用者：北京四维图新科技股份有限公司
技术研发日：
技术公布日：2024/1/13