视觉模型的训练方法、车辆识别方法及装置与流程

文档序号:26051814发布日期:2021-07-27 15:27阅读:134来源:国知局
视觉模型的训练方法、车辆识别方法及装置与流程

本公开涉及人工智能领域中的自动驾驶、计算机视觉以及深度学习技术领域,尤其涉及一种视觉模型的训练方法、车辆识别方法、装置、电子设备、存储介质、及程序产品。



背景技术:

随着人工智能技术的发展,人工智能技术中的深度学习技术被广泛地应用于各个领域,如深度学习技术被应用于自动驾驶领域和安全监控领域等,且深度学习技术被具体应用于视觉模型的训练和应用。

其中当视觉模型应用于自动驾驶领域时,可以具体用于车辆识别,包括从整体上对车辆的识别(即整车识别,如车辆的轮廓识别),也可以包括从细节上对车辆的识别(如车牌号码识别等);也可以具体用于车道线检测等。

当视觉模型应用于安全监控领域时,可以具体用于人脸识别。



技术实现要素:

本公开提供了一种用于解决视觉模型的抗干扰能力偏低的视觉模型的训练方法、车辆识别方法、装置、电子设备、存储介质、及程序产品。

根据本公开的第一方面,提供了一种视觉模型的训练方法,包括:

获取多个原始样本图像,并获取每一所述原始样本图像的原始特征属性信息,其中,每一所述原始样本图像中包括待识别对象;

在至少部分所述原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像;

采用各所述原始样本图像和各所述新增样本图像,对预设的基础网络模型进行训练,得到视觉模型,其中,所述视觉模型用于对待识别对象进行识别。

根据本公开的第二方面,提供了一种车辆识别方法,包括:

获取待识别图像,所述待识别图像中包括车辆;

基于视觉模型对所述待识别图像进行识别,得到与所述车辆对应的识别信息,其中,所述视觉模型是基于第一方面所述的方法得到的。

根据本公开的第三方面,提供了一种视觉模型的训练装置,包括:

第一获取单元,用于获取多个原始样本图像,并获取每一所述原始样本图像的原始特征属性信息,其中,每一所述原始样本图像中包括待识别对象;

增加单元,用于在至少部分所述原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像;

第一训练单元,用于采用各所述原始样本图像和各所述新增样本图像,对预设的基础网络模型进行训练,得到视觉模型,其中,所述视觉模型用于对待识别对象进行识别。

根据本公开的第四方面,提供了一种车辆识别装置,包括:

第二获取单元,用于获取待识别图像,所述待识别图像中包括车辆;

识别单元,用于基于视觉模型对所述待识别图像进行识别,得到与所述车辆对应的识别信息,其中,所述视觉模型是基于第一方面所述的方法得到的。

根据本公开的第五方面,提供了一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法;或者,以使所述至少一个处理器能够执行如第二方面所述的方法。

根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如第一方面所述的方法;或者,所述计算机指令用于使所述计算机执行如第二方面所述的方法。

根据本公开的第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案,不构成对本公开的限定。其中:

图1是根据本公开第一实施例的示意图;

图2是根据本公开第二实施例的示意图;

图3是根据本公开第三实施例的示意图;

图4是根据本公开第四实施例的示意图;

图5是根据本公开的车辆识别方法的应用场景的示意图;

图6是根据本公开第五实施例的示意图;

图7是根据本公开第六实施例的示意图;

图8是根据本公开第七实施例的示意图;

图9是用来实现本公开实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

在相关技术中,通常采用的视觉模型的训练方法包括:采集样本数据,基于样本数据对预设的基础网络模型进行训练,得到视觉模型,其中,样本数据中包括待识别对象的图像。

例如,若为对车辆识别,则样本数据中包括车辆的图像;若为车道线识别,则样本数据中包括车道线的图像;若为人脸识别,则样本数据中包括人脸图像,等等,此处不再一一列举。

然而,采用相关技术中的方法训练得到视觉模型,可能导致视觉模型的抗干扰能力偏低的技术问题。

为了避免上述技术问题,本公开提供了发明构思:在原始样本图像的基础上,增加光束信息和/或光斑信息的,得到新增样本图像,以便基于原始样本图像和新增样本图像生成视觉模型。

基于上述发明构思,本公开提供一种视觉模型的训练方法、装置及车辆识别方法,应用于人工智能领域中的自动驾驶、计算机视觉以及深度学习技术领域,以达到提高视觉模型的抗干扰能力。

图1是根据本公开第一实施例的示意图,如图1所示,本公开实施例的视觉模型的训练方法,包括:

s101:获取多个原始样本图像,并获取每一原始样本图像的原始特征属性信息。

其中,每一原始样本图像中包括待识别对象。

示例性地,本实施例的执行主体可以为视觉模型的训练装置(下文简称训练装置),且训练装置可以为服务器(如云端服务器,或者,本地服务器),训练装置也可以为终端设备(如台式电脑,或者,笔记本电脑等),训练装置也可以为处理器,训练装置也可以为芯片,等等,本实施例不做限定。

值得说明地是,原始样本图像中的“原始”,用于与后文中的新增样本图像进行区分,而不能理解为对原始样本图像的限定。

同理,原始特征属性信息中的“原始”,用于与后文中的目标特征属性信息进行区分,而不能理解为对原始特征属性信息的限定。

原始样本图像的数量可以由训练装置基于需求、历史记录、以及试验等进行设置,本实施例不做限定。

在每一原始样本图像中,均包括待识别对象。其中,待识别对象为对应原始样本图像中被识别的对象,待识别对象基于应用场景确定。

例如,结合如上述实施例所述的应用场景,若为训练用于自动驾驶领域的场景的视觉模型时,待识别对象可以为车辆,也可以为车道线;若为训练用于安全监控领域的场景的视觉模型时,待识别对象可以为人脸。

其中,每一原始样本图像具有与其对应的原始特征属性信息,原始特征属性信息可以表征原始样本图像在颜色、亮度、以及纹路等中至少一种的特征。

s102:在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像。

其中,光束信息可以理解为采用不同的光(如霓虹灯光和警示灯光等)或者不同的角度(如垂直照射和一定锐角照射等)的光照射至待识别对象时,与光束相关的信息。光斑信息可以理解为斑点信息。

同理,至少部分原始样本图像的数量也可以由:训练装置基于需求、历史记录、以及试验等进行设置,本实施例不做限定。

示例性地,若原始样本图像的数量为m个,则可以从m个原始样本图像选择n个原始样本图像,选择的n个原始样本图像即为至少部分原始样本图像,在该n个原始样本图像中的每一个原始样本图像中,增加光束信息和/或光斑信息,其中,m≥n。

一个示例中,可以在n个原始样本图像中的每一个原始样本图像中,增加光束信息。

另一个示例中,可以在n个原始样本图像中的每一个原始样本图像中,增加光斑信息。

再一个示例中,可以在n个原始样本图像中的每一个原始样本图像中,既增加光束信息,又增加光斑信息。

又一个示例中,可以在n个原始样本图像中的某部分原始样本图像中,增加光束信息,而在另外部分原始样本图像中,增加光斑信息,且增加光束信息的部分原始样本图像,与增加光斑信息的原始样本图像为不相同的原始样本图像。

还一个示例中,可以在n个原始样本图像中的某部分原始样本图像中,增加光束信息,而在另外部分原始样本图像中,增加光斑信息,且增加光束信息的部分原始样本图像,与增加光斑信息的原始样本图像存在部分相同的原始样本图像。

s103:采用各原始样本图像和各新增样本图像,对预设的基础网络模型进行训练,得到视觉模型。

其中,视觉模型用于对待识别对象进行识别。

基础网络模型可以由训练装置预先基于需求、历史记录、以及试验等设置的,本实施例不做限定。即,本实施例对基础网络模型的类型和参数等不做限定。

该步骤可以理解为:训练装置在各原始样本图像的基础上,得到各新增样本图像之后,将各原始样本图像和各新增样本图像作为训练集,并基于训练集对基础网络模型进行训练,从而得到视觉模型。

基于上述分析可知,本公开实施例提供了视觉模型的训练方法,包括:获取多个原始样本图像,并获取每一原始样本图像的原始特征属性信息,其中,每一原始样本图像中包括待识别对象,在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像,采用各原始样本图像和各新增样本图像,对预设的基础网络模型进行训练,得到视觉模型,其中,视觉模型用于对待识别对象进行识别,在本实施例中,引入了:在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像,以便采用原始样本图像和新增样本图像训练得到视觉模型的特征,通过引入该特征,使得用于训练生成视觉模型的样本量以原始样本图像为基础有了较大的增加,从而可以提高生成的视觉模型的准确性和可靠性;尤其是,在引入该特征之后,相当于用于训练生成视觉模型的训练集中增加了干扰图像,因此可以提高视觉模型的抗干扰能力,增强视觉模型的鲁棒性,从而提高后续应用视觉模型时,如基于视觉模型对待识别对象进行识别时,避免识别的干扰,提高识别的可用性,且提高识别的准确性和可靠性的技术效果。

图2是根据本公开第一实施例的示意图,如图2所示,本公开实施例的视觉模型的训练方法,包括:

s201:获取多个原始样本图像,并获取每一原始样本图像的原始特征属性信息。

其中,每一原始样本图像中包括待识别对象。

示例性地,关于s201地描述,可以参见s101的实现原理,此处不再赘述。

s202:根据预设扰动强度区间,在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像。

示例性地,预设扰动强度区间可以表征原始样本图像被扰动的程度(即扰动程度),且预设扰动强度区间可以由训练装置基于需求、历史记录、以及试验等进行设置,本实施例不做限定。

一个示例中,该步骤可以理解为,训练装置可以在至少部分原始样本图像的原始特征属性信息中,增加光束信息,得到新增样本图像,新增样本图像对原始样本图像的扰动程度满足预设扰动强度区间。

另一个示例中,该步骤可以理解为:训练装置可以在至少部分原始样本图像的原始特征属性信息中,增加光斑信息,得到新增样本图像,新增样本图像对原始样本图像的扰动程度满足预设扰动强度区间。

再一个示例中,该步骤可以理解为:训练装置可以在至少部分原始样本图像的原始特征属性信息中,增加光束信息和光斑信息,得到新增样本图像,新增样本图像对原始样本图像的扰动程度满足预设扰动强度区间。

其中,关于至少部分原始样本图像的确定,以及在至少部分原始样本图像中的哪部分原始样本图像中,增加光束信息和/或光斑信息,可以参见第一实施例的实现原理,此处不再赘述。

值得说明地是,在本实施例中,通过基于预设扰动强度区间得到新增样本图像,可以满足新增样本图像对原始样本图像的干扰满足一定的扰动程度,从而使得新增样本图像与原始样本图像之间,具有较高的贴合性和关联性,可以避免因扰动程度偏大而造成训练失真,也可以避免因扰动程度偏小而造成缺乏影响性,从而提高后续训练生成的视觉模型具有较高的准确性和可靠性的技术效果。

在一些实施例中,s202可以包括如下步骤:

第一步骤:针对至少部分原始样本图像中的任意原始样本图像,在任意原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到目标特征属性信息。

示例性地,结合上述示例,至少部分原始样本图像为n个,则训练装置在该n个原始样本图像中的每一个原始样本图像中,增加光束信息和/或光斑信息,得到每一个原始样本图像对应的目标特征属性信息。

第二步骤:若原始特征属性信息的任意原始样本图像,与目标特征属性信息的原始样本图像之间的扰动强度,位于预设扰动强度区间,则将位于预设扰动强度区间的目标特征属性信息对应的原始样本图像,确定为与任意原始样本图像对应的新增样本图像。

示例性地,该步骤可以理解为:训练装置可以确定原始特征属性信息的任意原始样本图像,与目标特征属性信息的原始样本图像之间的扰动强度,若该扰动强度位于预设扰动强度区间,则可以将位于预设扰动强度区间的目标特征属性信息对应的原始样本图像,确定为与任意原始样本图像对应的新增样本图像;反之,若该扰动强度不位于预设扰动强度区间,则可以将该不位于预设扰动强度区间的目标特征属性信息对应的原始样本图像,确定为不与任意原始样本图像对应的新增样本图像。

相应地,对该扰动强度不位于预设扰动强度区间的原始样本图像重新进行调整,直至得到与其对应的新增样本图像。

值得说明地是,在本实施例中,通过将扰动程度位于预设扰动强度区间的原始样本图像确定为相应的新增样本图像,可以使得新增样本图像满足训练的扰动需求,从而提高训练的可靠性和准确性的技术效果。

在另一些实施例中,s202可以包括如下步骤:

第一步骤:针对至少部分原始样本图像中的任意原始样本图像,在任意原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到目标特征属性信息。

示例性地,关于本实施例中的第一步骤地描述,可以参见上述实施例中的第一步骤的实现原理,此处不再赘述。

第二步骤:确定任意原始样本图像在目标特征属性信息时的图像质量信息,并确定任意原始样本图像,在初始特征属性信息时的图像质量信息。

其中,图像质量信息用于表征图像的质量相关的信息,如图像质量信息可以包括峰值信噪比(peaksignal-to-noiseratio,psnr)和/或结构相似性(structuralsimilarity,ssim)。

例如,若图像质量信息包括峰值信噪比,则该步骤可以理解为:训练装置确定任意原始样本图像,在目标特征属性信息时的峰值信噪比;并确定任意原始样本图像,在初始特征属性信息时的峰值信噪比。

又如,若图像质量信息包括结构相似性,则该步骤可以理解为:训练装置确定任意原始样本图像,在目标特征属性信息时的结构相似性;并确定任意原始样本图像,在初始特征属性信息时的结构相似性。

再如,若图像质量信息包括峰值信噪比和结构相似性,则该步骤可以理解为:训练装置确定任意原始样本图像,在目标特征属性信息时的峰值信噪比和结构相似性;并确定任意原始样本图像,在初始特征属性信息时的峰值信噪比和结构相似性。

第三步骤:对任意原始样本图像在目标特征属性信息时的图像质量信息,以及任意原始样本图像,在初始特征属性信息时的图像质量信息,进行匹配处理,得到扰动强度。

结合上述示例,若图像质量信息包括峰值信噪比,则该步骤可以理解为:针对任意原始样本图像,将两个峰值信噪比进行匹配处理,得到扰动强度。

若图像质量信息包括结构相似性,则该步骤可以理解为:针对任意原始样本图像,将两个结构相似性比进行匹配处理,得到扰动强度。

若图像质量信息包括峰值信噪比和结构相似性,则该步骤可以理解为:针对任意原始样本图像,将两个峰值信噪比进行匹配处理,且将两个结构相似性比进行匹配处理,根据两个匹配处理得到扰动强度。

值得说明地是,在该实施例中,可以将两个峰值信噪比进行匹配处理的结果称为第一匹配结果,将两个结构相似性比进行匹配处理的结果称为第二匹配结果,则可以为第一匹配结果分配第一权重值,并为第二匹配结果分配第二权重值,并基于第一匹配结果、第一权重值、第二匹配结果、以及第二权重值,确定扰动强度。

其中,匹配处理可以理解为得到参与匹配的两个因素之间的相似程度。相对而言,相似程度越大,扰动强大越小;相似程度越小,扰动强大越大。

第四步骤:若原始特征属性信息的任意原始样本图像,与目标特征属性信息的原始样本图像之间的扰动强度,位于预设扰动强度区间,则将位于预设扰动强度区间的目标特征属性信息对应的原始样本图像,确定为与任意原始样本图像对应的新增样本图像。

示例性地,关于第四步骤地描述,可以参见上一实施例中第二步骤的实现原理,此处不再赘述。

值得说明地是,在本实施例中,通过结合图像质量信息确定扰动程度,可以提高确定出的扰动程度与图像之间具有较高的贴合性,从而使得扰动程度可以较为准确地表征新增样本图像对原始样本图像的扰动和干扰,从而可以提高训练视觉模型的准确性和可靠性的技术效果。

在一些实施例中,在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像可以包括:

针对至少部分原始样本图像中,对原始特征属性信息中包括光束信息的图像中的光束参数进行增强处理;和/或,

针对至少部分原始样本图像中,对原始特征属性信息中包括光斑信息的图像中的光斑参数进行增强处理。

例如,至少部分原始样本图像中,可能有些原始样本图像的原始特征属性信息中包括光束信息,而针对该部分原始样本图像,训练装置可以对该部分原始样本图像的光束参数进行增强处理。

又如,至少部分原始样本图像中,可能有些原始样本图像的原始特征属性信息中包括光斑信息,而针对该部分原始样本图像,训练装置可以对该部分原始样本图像的光斑参数进行增强处理。

再如,至少部分原始样本图像中,可能有些原始样本图像的原始特征属性信息中包括光束信息和光斑信息,而针对该部分原始样本图像,训练装置可以对该部分原始样本图像的光束参数和光斑参数进行增强处理。

其中,光束参数可以包括:光束颜色参数、光束强参数、光束方向参数、光束粗细参数、光束透明度参数、以及光束条数参数等。

光斑参数可以包括:光斑颜色参数、光斑强参数、光斑形状参数、光斑透明度参数、以及光斑面积参数等。

值得说明地是,在本实施例中,通过对光束参数和/或光斑参数进行增强处理,得到新增样本图像,可以使得新增样本图像中的对象与原始样本图像中的对象为相同对象,而具体是对相关环境信息进行的适应性地调整,以实现对原始样本图像的扰动和干扰,从而实现了视觉模型的抗干扰性的技术效果。

在另一些实施例中,在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像可以包括:

针对至少部分原始样本图像中,原始特征属性信息中不包括光束信息的图像增加光束信息;和/或,

针对至少部分原始样本图像中,原始特征属性信息中不包括光斑信息的图像增加光斑信息。

同理,示例性地,在至少部分原始样本图像中,可能有些原始样本图像的原始特征属性信息中不包括光束信息,而针对该部分原始样本图像,训练装置可以对该部分原始样本图像的光束参数进行增加处理。

又如,至少部分原始样本图像中,可能有些原始样本图像的原始特征属性信息中不包括光斑信息,而针对该部分原始样本图像,训练装置可以对该部分原始样本图像的光斑参数进行增加处理。

再如,至少部分原始样本图像中,可能有些原始样本图像的原始特征属性信息中既不包括光束信息,也不包括光斑信息,而针对该部分原始样本图像,训练装置可以对该部分原始样本图像的光束参数和光斑参数进行增加处理。

其中,关于光束参数和光斑参数地描述,可以参见上述实施例,此处不再赘述。

同理,在本实施例中,通过对光束参数和/或光斑参数进行增加处理,得到新增样本图像,可以使得新增样本图像中的对象与原始样本图像中的对象为相同对象,而具体是对相关环境信息进行的适应性地调整,以实现对原始样本图像的扰动和干扰,从而实现了视觉模型的抗干扰性的技术效果。

s203:根据各原始样本图像和各新增样本图像,分别对至少两种基础网络模型进行训练,生成与至少两种基础网络模型各自对应的中间模型。

其中,基础网络模型的种类至少为两种。

示例性地,该步骤可以理解为:在训练的过程中,可以采用同样的训练集(即各原始样本图像和各新增样本图像)对多种基础网络模型中的每一基础网络模型进行训练,得到每一基础网络模型对应的中间模型。

例如,若基础网络模型的种类为两种,且分别称为第一基础网络模型和第二基础网络模型,则训练装置根据各原始样本图像和各新增样本图像,对第一基础网络模型进行训练,生成与第一基础网络模型对应的中间模型;相应地,训练装置也可以根据各原始样本图像和各新增样本图像,对第二基础网络模型进行训练,生成与第二基础网络模型对应的中间模型。

应该理解地是,此处只是以基础网络模型的种类为两种为例,进行示范性地描述,而不能理解为对基础网络模型的种类的限定。且在本实施例中,对基础网络模型的具体框架和模型参数等不做限定。

s204:基于预设的评估样本图像对每一中间模型进行评估处理,得到每一中间模型的评估结果。

同理,在本实施例中,评估样本图像可以由训练装置基于需求、历史记录、以及试验等进行设置,本实施例不做限定。

其中,评估处理具体可以为对每一中间模型的可靠性和/或准确性等进行评估测试,从而得到每一中间模型的评估结果。

示例性地,结合上述示例,若基础网络模型的种类为两种,则中间模型的数量为两个,则可以采用评估样本图像对两个中间模型分别进行评估处理,得到每一个中间模型的评估结果,即得到两个评估结果。

s205:根据各评估结果从各中间模型中确定视觉模型。

示例性地,结合上述示例,若评估结果为两个,则根据两个评估结果从两个中间模型中确定视觉模型。

例如,可以根据两个评估结果从两个中间模型中,选择抗干扰性能相对较强的中间模型作为视觉模型。

值得说明地是,在本实施例中,通过对多种基础网络模型进行训练,得到多个中间模型,并基于对每一中间模型的评估结果确定视觉模型,可以提高确定出的视觉模型具有较高的可用性,且具有较高的可靠性和准确性的技术效果。

图3是根据本公开第三实施例的示意图,如图3所示,本公开实施例的视觉模型的训练方法,包括:

s301:获取多个原始样本图像,并获取每一原始样本图像的原始特征属性信息。

其中,每一原始样本图像中包括待识别对象。

示例性地,关于s301地描述,可以参见第一实施例中地描述,此处不再赘述。

s302:在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像。

示例性地,关于s302地描述,可以参见第一实施例中地描述,也可以参见第二实施例中地描述,此处不再赘述。

s303:采用原始样本图像对基础网络模型进行训练,得到待评估模型。

在本实施例中,用于对基础网络模型训练的为原始样本图像,得到待评估模型。

s304:基于新增样本图像对待评估模型进行评估。

该步骤可以理解为:在得到待评估模型之后,采用新增样本图像对待评估模型进行评估。

在一些实施例中,若待评估模型为用于图像分类的模型,则可以在基于新增样本图像对待评估模型进行评估时,结合预设误识别率作为评估指标进行评估。

若待评估模型为用于目标检测的模型,则可以在基于新增样本图像对待评估模型进行评估时,结合预设平均准确率(averageprecision,map)作为评估指标进行评估。

应该理解地是,上述示例只是用于示范性地说明待评估模型的类型,以及针对不同类型的待评估模型,可以结合不同的评估参数对待评估模型进行评估。

值得说明地是,在本实施例中,通过采用新增样本图像对待评估模型进行评估,由于新增样本图像为增加了光束信息和/或光斑信息的图像,因此,具有一定干扰性,因此,当通过新增样本图像对待评估模型进行评估时,可以避免评估的片面性和局限性,从而提高了评估的准确性和可靠性的技术效果。

在一些实施例中,训练装置在基于新增样本图像对待评估模型进行评估之后,可以基于该评估的结果对待评估模型进行调整,如对待评估模型的卷积核数量等进行调整,得到视觉模型。

应该理解地是,第三实施例可以为独立的实施例;也可以与第一实施例组合,得到新的实施例;也可以与第二实施例组合,得到新的实施例;也可以与第一实施例和第二实施例组合,得到新的实施例。

图4是根据本公开第四实施例的示意图,如图4所示,本公开实施例的车辆识别方法,包括:

s401:获取待识别图像,待识别图像中包括车辆。

示例性地,本实施例的执行主体可以为车辆识别装置,且车辆识别装置可以为服务器(包括本地服务器和云端服务器,服务器可以为云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等),也可以为路侧设备,也可以为终端设备,也可以为车载终端,也可以为处理器,还可以为芯片(如车辆网芯片),等等,本实施例不做限定。其中,路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备,在智能交通车路协同的系统架构中,路侧设备包括路侧感知设备和路侧计算设备,路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元rscu),路侧计算设备连接到服务器,服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信;或者,路侧感知设备自身包括计算功能,则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。

s402:基于视觉模型对待识别图像进行识别,得到与车辆对应的识别信息。

其中,视觉模型是基于上述第一实施例至第三实施例中任一实施例所述的方法得到的。

值得说明地是,基于上述分析可知,视觉模型具有较高的准确性、可靠性、以及抗干扰性,因此,当基于视觉模型对待识别图像进行识别,得到与车辆对应的识别信息时,可以提高识别的准确性和可靠性的技术效果。

示例性地,本实施例的车辆识别方法的应用场景可以参阅图5,如图5所示,路侧单元501可以获取车辆502的图像(即待识别图像),其中,路侧单元501中部署有视觉模型(基于上述第一实施例至第三实施例中任一实施例所述的方法得到的)。

则路侧单元501可以基于视觉模型对车辆502的图像进行识别,得到与车辆502对应的识别信息。

例如,识别信息可以包括:车辆502的尺寸信息、车辆502的外观信息、以及车辆502的车牌号等。

值得说明地是,在另一些实施例中,基于第一实施例至第三实施例中任一实施例所述的视觉模型的训练方法,得到的视觉模型,还可应用于车道线检测,也可以应用于人脸识别,也可以应用于图像分类,等等。

例如,当视觉模型应用于车道线检测时,视觉模型可以部署于车辆,如可以部署于车辆上设置的车载终端。

具体地,车辆上可以设置有图像采集装置(如摄像头),摄像头可以采集包括车道线的图像,并将采集到的包括车道线的图像传输给车载终端,车载终端可以将包括车道线的图像输入至视觉模型,输出车道线的识别信息,如车道线的位置信息等。

在一些实施例中,车载终端可以根据识别信息控制车辆行驶。

图6是根据本公开第五实施例的示意图,如图6所示,本公开实施例的视觉模型的训练装置600,包括:

第一获取单元601,用于获取多个原始样本图像,并获取每一原始样本图像的原始特征属性信息,其中,每一原始样本图像中包括待识别对象。

增加单元602,用于在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像。

第一训练单元603,用于采用各原始样本图像和各新增样本图像,对预设的基础网络模型进行训练,得到视觉模型,其中,视觉模型用于对待识别对象进行识别。

图7是根据本公开第六实施例的示意图,如图7所示,本公开实施例的视觉模型的训练装置700,包括:

第一获取单元701,用于获取多个原始样本图像,并获取每一原始样本图像的原始特征属性信息,其中,每一原始样本图像中包括待识别对象。

增加单元702,用于在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像。

在一些实施例中,增加单元702用于,根据预设扰动强度区间,在至少部分原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到新增样本图像。

结合图7可知,在一些实施例中,增加单元702包括:

增加子单元7021,用于针对至少部分原始样本图像中的任意原始样本图像,在任意原始样本图像的原始特征属性信息中,增加光束信息和/或光斑信息,得到目标特征属性信息。

第二确定子单元7022,用于确定任意原始样本图像在目标特征属性信息时的图像质量信息,并确定任意原始样本图像,在初始特征属性信息时的图像质量信息。

匹配子单元7023,用于对任意原始样本图像在目标特征属性信息时的图像质量信息,以及任意原始样本图像,在初始特征属性信息时的图像质量信息,进行匹配处理,得到扰动强度。

第一确定子单元7024,用于若原始特征属性信息的任意原始样本图像,与目标特征属性信息的原始样本图像之间的扰动强度,位于预设扰动强度区间,则将位于预设扰动强度区间的目标特征属性信息对应的原始样本图像,确定为与任意原始样本图像对应的新增样本图像。

在一些实施例中,图像质量信息包括峰值信噪比和/或结构相似性。

在一些实施例中,增加子单元7021用于,针对至少部分原始样本图像中,对原始特征属性信息中包括光束信息的图像中的光束参数进行增强处理;和/或,增加单元7021用于,针对至少部分原始样本图像中,对原始特征属性信息中包括光斑信息的图像中的光斑参数进行增强处理。

在一些实施例中,增加子单元7021用于,针对至少部分所述原始样本图像中,原始特征属性信息中不包括光束信息的图像增加光束信息;和/或,增加单元7021用于,针对至少部分原始样本图像中,原始特征属性信息中不包括光斑信息的图像增加光斑信息。

第一训练单元703,用于采用各原始样本图像和各新增样本图像,对预设的基础网络模型进行训练,得到视觉模型,其中,视觉模型用于对待识别对象进行识别。

结合图7可知,在一些实施例中,基础网络模型的种类为至少为两种,第一训练单元703包括:

训练子单元7031,用于根据各原始样本图像和各新增样本图像,分别对至少两种基础网络模型进行训练,生成与至少两种基础网络模型各自对应的中间模型。

评估子单元7032,用于基于预设的评估样本图像对每一中间模型进行评估处理,得到每一中间模型的评估结果。

第三确定子单元7033,用于根据各评估结果从各中间模型中确定视觉模型。

第二训练单元704,用于采用原始样本图像对基础网络模型进行训练,得到待评估模型。

评估单元705,用于基于新增样本图像对待评估模型进行评估。

图8是根据本公开第七实施例的示意图,如图8所示,本公开实施例的车辆识别装置800,包括:

第二获取单元801,用于获取待识别图像,待识别图像中包括车辆。

识别单元802,用于基于视觉模型对待识别图像进行识别,得到与车辆对应的识别信息,其中,视觉模型是基于第一实施例至第三实施例中的任意实施例所述的方法得到的。

根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。

根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示,电子设备900包括计算单元901,其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序,来执行各种适当的动作和处理。在ram903中,还可存储设备900操作所需的各种程序和数据。计算单元901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。

设备900中的多个部件连接至i/o接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如视觉模型的训练方法或者车辆识别方法。例如,在一些实施例中,视觉模型的训练方法或者车辆识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由rom902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram903并由计算单元901执行时,可以执行上文描述的视觉模型的训练方法或者车辆识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行视觉模型的训练方法或者车辆识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务("virtualprivateserver",或简称"vps")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开提供的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1