一种基于图像的车辆定损方法、装置、电子设备及系统与流程

本申请属于计算机图像数据处理技术领域，尤其涉及一种基于图像的车辆定损方法、装置及电子设备。

背景技术：

在发生交通事故后，常常需要等待保险公司的理赔员到现场处理，通过拍照等获取理赔依据。随着近年来机动车保有量的增加，每年的交通事故数量一直处于高位状。而车辆理赔定损业务的处理常常需要依赖专业保险工作人员的人力现场处理，成本高、等待周期长，处理效率低。

目前业内有一些利用交通事故现场图像进行自动分析得到预设车损部位分类的处理方式。例如申请公布号为“cn105678622a”、发明名称为“车险理赔照片的分析方法及系统”公开一种算法利用常规卷积神经网络(cnn)对移动终端上传的理赔照片进行分析，识别出损伤部位分类，并基于分析结果生成提醒信息。但上述方式仅仅是简单的确定出车损部位的分类，如车前方、车侧面、车尾等，没有识别出具体的损伤类型。识别出的损伤部位的提醒信息主要是用于保险公司的工作人员拿来和人工定损进行人工的对比，作为参考信息帮助保险公司的工作人员进行定损核算。另外其算法只使用cnn通用的物体识别算法，最终车辆定损的结果还是依靠人工核定，人力和时间成本较大，并且不同保险公司车损核定标准不统一，加上人的主观因素影响，车辆定损结果的差异较大，可靠性较低。

技术实现要素：

本申请目的在于提供一种基于图像的车辆定损方法、装置及电子设备，可以快速、准确、可靠的检测出车辆部件的损伤部位和程度等的具体信息，使得定损结果更准确可靠，可以快速高效的进行车辆定损处理，大大提高用户服务体验。

本申请提供的一种基于图像的车辆定损方法、装置及电子设备是这样实现的：

一种基于图像的车辆定损方法，所述方法包括：

获取待处理图像；

检测所述待处理图像，识别所述待处理图像中的车辆部件；

对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

一种基于图像的车辆定损装置，所述装置包括：

图像获取模块，用于获取待处理图像；

部件第一识别模块，检测所述待处理图像，识别所述待处理图像中的车辆部件；

部件第二识别模块，对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

损伤识别模块，用于检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

损伤计算模块，用于根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

一种基于图像的车辆定损装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取待处理图像；

检测所述待处理图像，识别所述待处理图像中的车辆部件；

对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现以下步骤：

获取待处理图像；

检测所述待处理图像，识别所述待处理图像中的车辆部件；

对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取待处理图像；

检测所述待处理图像，识别所述待处理图像中的车辆部件；

对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

一种基于图像的车辆定损系统，包括i/o接口、存储器、中央处理器、图像处理器，

所述i/o接口，用于获取待处理图像和输出维修方案；

所述中央处理器耦合于图像处理器，用于检测所述待处理图像，识别所述待处理图像中的车辆部件；对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型；

所述中央处理器还用于基于包括确定出所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型的信息生成维修方案。

本申请提供的一种基于图像的车辆定损方法、装置、电子设备及系统，可以识别出待处理图像中所包含的损伤部件，然后基于构建的损伤识别模型检测出损伤部件的受损部位和每个损伤部位对应的损伤类型，从而得到车辆部件准确、全面、可靠的车辆定损信息。本申请实施方案可以识别出一张或多张图像中的一个或多个受损部件，和所述损伤部件中的一处或多处受损部位及受损程度等。并且对于类似车辆部件局部细节图像也能进行准确的部件类型确认，提高计算得到的车辆定损信息的可靠性，使得基于图像的车辆定损结果更加可靠，可以提高车辆定损处理结果的准确性和可靠性，提高用户服务体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请所述一种基于图像的车辆定损方法一种实施例的方法流程示意图；

图2是本申请提供的识别局部图像所述车辆部件的一个实施过程示意图；

图3是本申请提供一个识别部件图像的一个处理过程示意图；

图4是本申请一个具体的利用部件图像进行匹配确定局部图像所属部件的场景示意图；

图5是本申请一种实施例中损伤识别模型的网络构架结构示意图；

图6是本申请一种实施例中部件识别模型的网络构架示意图；

图7是本申请所述一种基于图像的车辆定损方法另一种实施例的方法流程示意图；

图8是本申请一种确定损伤部件以及所述损伤部件的损伤部位和损伤类型的方法示意图；

图9是本申请提供的一种基于图像的车辆定损装置一种实施例的模块结构示意图；

图10是本申请提供的一种基于图像的车辆定损装置另一种实施例的模块结构示意图；

图11是本申请所述部件第二识别模块一种实施例的模块结构示意图；

图12是本申请提供的一种电子设备一种实施例的结构示意图；

图13是利用本申请实施方案进行车辆定损的一个处理场景示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是本申请所述一种基于图像的车辆定损方法一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。

在现有的实际交通事故处理中，例如刮擦事故等，常常需要等待保险公司的理赔员到现场拍照后才能撤离现场，因此经常会导致交通堵塞，且浪费大量的时间，并定损结果的信息获取周期较长。而利用本申请实施方案在发生交通事故时，涉事车主往往想要知道自己或对方车辆的损失或理赔情况，此时可以自己拍下交通事故现场的图像，一方面可以作为现场证据，另一方面可以利用拍摄将图像通过终端app进行自主的车损估算损失、理赔情况等。满足涉事车主用户快速、全面、准确可靠的得到车辆定损处理需求。

为了清楚起见，下述实施例以具体的一个车主用户利用移动终端app(application，应用)请求车辆定损服务的应用场景进行说明。在本实施例应用场景中，车主用户在交通事故现场可以通过移动终端(如手机)对车辆受损位置以及车辆整体进行拍摄，一些情况下还可以对车辆证件、用户证件等进行拍照，然后通过终端应用上传拍摄获得的照片(图像)。云服务器获取车辆定损的待处理图像后，可以先识别出有哪些损伤的部件以及这些损伤的部件的一处或多处损伤部位和对应的损伤类型。然后可以基于本申请实施方案得到的更加准确、可靠、全面的车辆定损的信息，设计一个规则引擎，根据车型、所在地、修理厂等的维修策略信息，调用不同的价格库，生成至少一个维修方案。这个维修方案可以返回给车主用户，车主用户则可以快速获取车辆定损结果。当然，如果用户为保险公司作业人员，则可以返回给保险公司一侧或直接显示维修方案的结果。但是，本领域技术人员能够理解到，可以将本方案的实质精神应用到车辆定损的其他实施场景中，如保险公司或修理厂的自动车辆定损，或者4s门店、其他服务器提供的自助车辆定损服务等。

具体的一种实施例如图1所示，本申请提供的一种基于图像的车辆定损方法的一种实施例中，所述方法可以包括：

s1：获取待处理图像。

服务器可以从客户端或第三方服务器(如保险公司的服务器)获取车辆定损的待处理图像。所述的待处理图像通常包括了车主用户或保险公司作业人员现场拍摄的多张图片信息，可以包括车辆的图片、事故现场的图片等。当然也可以包括用户上传的车辆证件、用户身份证件、周边环境(信号灯或地标等)信息的图片。这些待处理图像往往不确定是不是单一部件的多张照片。本实施中所述的待处理图像可以包括各种图形和影像的总称，通常指具有视觉效果的画面，一般可以包括纸介质上的、底片或照片上的、电视、投影仪或计算机屏幕等上的画面。

若所述待处理图像包括多种类别的图像信息，则通过图像分类算法对所述待处理图像进行分类，筛选出符合车辆定损处理信息相关联的图像作为车辆定损处理的图像。例如，可以通过图像分类算法来进行分类，进而把对于识别受损部位、受损类型有用的车辆定损处理的图片找出来。待处理图像具体的分类可以根据场景处理需求进行划分设定，例如划分车辆定损处理中的图片需要包括汽车图像，因此可以划分为包括整车全景、多部件半景、汽车部件细节等。而与车辆定损处理中识别车辆部件、损伤部位不关联的其他图像则可以单独划分或者划分到相应的分类，如证件照、事故地点信号灯照片、驾驶员人像等。图像分类算法可以采用卷积数据网络(cnn)模型，如resnet(residualnetwork，残差网络)，通过使用已分类的图片训练得到。

可选的实施例中，还可以判断所述待处理图像的图像质量，删除图像质量不符合要求的待处理图像。具体的可以判断所述待处理图像的图像质量是否达到设定的处理要求，若图像质量较差，如照片模糊无法识别，则可以弃用该部件图像，并反馈到移动终端app提示用户拍摄图像时注意对焦，光照等影响清晰度因素。图像质量的判定可以采用模糊度阈值、信息熵值等方式进行处理。

其他的实施例中，获取待处理图像后，或者经过上述图像质量判定、图像分类的至少一项处理后，还可以对相似度达到预定阈值的待处理图像进行去重处理。这样可以删除一些同一角度重复拍摄的多张相似度高的图像，选取图像质量高的待处理图像进行处理。

s2：检测所述待处理图像，识别所述待处理图像中的车辆部件。

本实施例场景中，云服务器获取待处理图像后，可以利用预先构建的部件识别模型检测所述待处理图像，找到所述待处理图像中包含的车辆部件。如果检测到一个待处理图像中包括一个或者多个车辆部件，则同时计算确认这些车辆部件在待处理图像中的位置区域(在此可以称为部件区域)的信息。本实施例中所述的车辆部件通常是指车辆上的部件，如前保险杠，左前门，后尾灯等。

在本实施例中，可以预先采用设计的机器学习算法构建用于识别图像中车辆部件的部件识别模型，所述的部件识别模型经过样本图像的训练后，可以识别出所述部件图像中包含哪些车辆部件。本实场景中，所述的部件识别模型可以采用深度神经网络的网络模型或者变种的网络模型，经过样本图像训练后构建生成。例如可以基于卷积神经网络(convolutionalneuralnetwork，cnn)和区域建议网络(regionproposalnetwork，rpn)，结合输入模型训练的损伤样本图像、全连接层等构建生成所述的部件识别模型。因此，本申请所述方法的另一种实施例中，所述采用下述识别模型检测所述待处理图像，识别车辆部件：

s201：基于卷积层和区域建议层的网络模型，经过样本数据训练后构建生成的深度神经网络。

基于待处理图像中可识别出车辆部件的图像，利用深度神经网络识别得到的部件类型。卷积神经网络一般指以卷积层(cnn)为主要结构并结合其他如激活层等组成的神经网络，主要用于图像识别。本实施例中所述的深度神经网络可以包括卷积层和其他重要的层(如输入模型训练的损伤样本图像，数据归一化层，激活层等)，并结合区域建立网络共同组建生成。卷积神经网络通常是将图像处理中的二维离散卷积运算和人工神经网络相结合。这种卷积运算可以用于自动提取特征。区域建议网络(rpn)可以将一个图像(任意大小)提取的特征作为输入(可以使用卷积神经网络提取的二维特征)，输出矩形目标建议框的集合，每个框有一个对象的得分。为避免混淆，本实施例中可以把使用的卷积神经网络(cnn)称为卷积层(cnn)、区域建议网络(rpn)称为区域建议层(rpn)。本申请其他的实施例中，所述的部件识别模型还可以包括基于所述卷积神经网络改进后的或区域建议网络改进后的变种网络模型，经过样本数据训练后构建生成的深度卷积神经网络。

上述实施例中使用的模型和算法可以选择同类模型或者算法。具体的，例如部件识别模型中，可以使用基于卷积神经网络和区域建议网络的多种模型和变种，如fasterr-cnn、yolo、mask-fcn等。其中的卷积神经网络(cnn)可以用任意cnn模型，如resnet、inception,vgg等及其变种。通常神经网络中的卷积网络(cnn)部分可以使用在物体识别取得较好效果的成熟网络结构，如inception、resnet等网络，如resnet网络，输入为一张图片，输出为多个部件区域，和对应的部件分类和置信度(这里的置信度为表示识别出来的车辆部件真实性程度的参量)。fasterr-cnn、yolo、mask-fcn等都是属于本实施例可以使用的包含卷积层的深度神经网络。本实施例使用的深度神经网络结合区域建议层和cnn层能检测出所述待处理图像中的车辆部件，并确认所述车辆部件在待处理图像中的部件区域。

需要说明的是，本申请的一种实施方式中，可以采用单独的算法服务器实施部件识别模型来检测所述待处理图像，识别待处理图像中的车辆部件。如设置一个业务服务器，用于获取用户上传的待处理图像和输出维修方案，同时还可以设置一个算法服务器，存储有构建的部件识别模型，对业务服务器的待处理图像进行检测识别，确定待处理图像中的车辆部件。当然，上述所述的处理也可以由同一服务器执行完成。

s3：对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件。

本实施例中获取的待处理图像往往包括多种类别的，对于某些图像tu，比如部件的局部细节图，可能通过算法模型等没法直接检测出的部件类型和位置，这些图像在此可以称为局部图像。因此，本申请实施例可以利用算法模型等已经识别出的包含车辆部件的其他图像来识别出局部图像所属的车辆部件，例如根据上述深度神经网络识别出的包含第一车辆部件的部件做图像匹配，计算哪些部件图像中包含了该局部图像的信息，最终根据图像匹配的结果确定局部图像所归属的车辆部件(可以为所述已识别的车辆部件中的某个部件类型)。

具体的一个示例中，例如用户上传了10张图片中有6张图片是包含车辆本身的信息，其余为证件图片。这6张待处理图片中有一张图片p1为车辆某个部件的局部细节图片，构建的部件识别模型未能检测出图片p1的部件类型和位置，但其余5张待处理图片识别出了包含的车辆部件。此时，可以将图片p1的图片分别在其余5张图片p2、p3、p4、p5、p6中分别进行匹配，计算5张图片中是否存在某个位置区域与图片p1的图片信息匹配符合要求，如匹配度最高且达到最低匹配度。匹配采用的数据可以采用图片像素的视觉特征数据，如rgb、梯度、灰度等，当然也可以采用其他的图像数据信息。经过图像匹配，发现p2中包含的一个车辆部件的局部位置与图片p1相似度最高，且满足最低相似度要求，则可以将p2对应位置的车辆部件作为识别出的图片p1的车辆部件。

常规的图像变换在直接坐标系可以进行线性变换，如将图像转化为向量进行相乘等。但在车辆定损处理中，受损的部件相比正常状态下的图像信息可能发生变形，或相比于其他未受损部件发生位移。本申请提供的所述方法的另一个实施例中，可以针对该实施场景提供基于仿射变换的图像数据处理，更加准确的识别出部件图像，尤其是对于受损部件的部件图像。所述的仿射变换指的是满足仿射组合的变换，可以理解为是一个线性变换加上平移。因为线性变换不能表示平移，而仿射变换则可以。

所述局部图像tu，在利用其他图片tk,检测出所包含的部件类型和位置时，可以对tu中每个图片u和tk中的图片做匹配，找到tk中包含了u所含部位的图片k，以及u和k之间的一个仿射变换，从而得到图片u中的部件类型和位置。图2是本申请提供的识别局部图像所述车辆部件的一个实施过程示意图，如图2所示，具体的可以包括：

s30：采用卷积神经网络提取所述局部图像的第一卷积特征数据，以及采用预定算法提取所述局部图像的第一局部特征点集。

本实施例中可以提取部件图像u的第一卷积特征数据x。例如构建一个卷积神经网络np，使用该卷积神经网络np中最后一个池化层的输出向量作为部件图像u的卷积网络特征。

所述的第一局部特征点集可以采用尺度不变特征变换(scale-invariantfeaturetransform，sift)获取，提取图片u中的sift第一局部特征点集y。本申请的一个实施例使用了sift作为图像的局部特征数据，当然其他的实施例也可以使用其他的特征数据，例如fast(featuresfromacceleratedsegmenttest，角点检测方法)等特征。

s31：将所述第一卷积特征数据匹配与所述部件图像中的采样区域的卷积特征数据进行比较，获取与所述第一卷积特征数据相似度最高的相似区域。

对于一个进行图像匹配的部件图像，可以选取部件图像中多个采样区域，例如每个采用区域设置与部件图像或裁剪后的部件图像大小相同，从部件图像左上角依次选取采样区域。获取所有部件图像的采用区域后可以形成采用区域的集合。然后计算每个采用区域的卷积特征数据，将所述第一卷积特征数据匹配与所述部件图像中的采样区域的卷积特征数据进行比较，获取得到相似度最高的采用区域作为相似区域。

其他的实施方式中，所述将所述第一卷积特征数据匹配与所述部件图像中的采样区域的卷积特征数据进行比较获取与所述第一卷积特征数据相似度最高的相似区域包括；

对于所述部件图像，利用滑动窗口提取所述部件图像中滑动窗口区域的第二卷积特征数据，获取第二卷积特征数据集合，所述第二卷积特征数据使用与提取卷积特征数据x相同的卷积神经网络获得；

从所述第二卷积特征数据集合中选取与所述第一卷积特征数据相似度最高的相似区域。

具体的示例中，如对tk中每张图片t，可以使用不同大小的滑动窗扣，对部件图像中不同区域使用与提取第一卷积特征数据x中相同的卷积神经来网络提取第二卷积特征数据。从所有区域中选出第二卷积特征数据和第一卷积特征数据x最相似的区域r。相似度计算可以使用余弦相似度。

s32：采样所述预定算法提取所述相似区域的第二局部特征点集，将所述第一局部特征点集与第二局部特征点集进行匹配，获取匹配点对，通过最小化匹配点对在仿射变换下的位置误差得到所述局部图像与部件图像之间的仿射变换。

将u的局部特征点集和r的局部特征点集做匹配，得到一组匹配点对，然后通过最小化匹配点对在仿射变换下的位置误差求得仿射变换。

其他的实施例中，还可以将所述相似区域按照预定方式扩大图像区域范围，以获取更大范围内更多的局部特征数据，提升匹配处理可靠性；相应的，所述第二局部特征点集包括提取的所述扩大图像区域范围后的相似区域的局部特征点集。

将所述相似区域按照预定方式扩大图像区域范围的方式可以根据处理需求自定义设置。本申请提的一个实施例中，所述将所述相似区域按照预定方式扩大图像区域范围可以包括：

所述相似区域的左、右、上、下的边向外扩展预定比例，一般的，或者在预定比例范围内扩大到包含足够的第二局部特征点个数，如达到对应的第一局部特征点个数的两倍。例如，可以选取向外扩张50％，将相似区域r的边长各向四周扩张(通常图像处理中预处理为正方形图片)50％，这样既能满足特征提取的数据需求，又能合理控制计算量。

s33：选取所述位置误差最小的图像区域对应在所述部件图像上的部件类型作为所述局部图像的车辆部件。

选取s32中匹配误差最小的图像区域作为和部件图像u的匹配图k，将部件图像u通过相应的仿射变换在k上的对应区域所对应的部件类型作为部件图像u中的部件类型。

利用上述实施例提供的处理方式，在某些待处理图像如部件局部细节图不能从单一图像中确定出具体的部件类型时，可以和其他已知所含部件类型和位置的待处理图像做匹配，从而确定类型这些部件局部细节所属的部件类型。具体的一个示例实现方式中，可以采用siamesenetwork(孪生网络)的网络结构，基于图像的sift以及cnn特征进行图像匹配，求出匹配图像之间的仿射变换，从而得当对应图像位置上的部件类型，确定局部图像所属的第二车辆部件。图3是本申请提供一个识别部件图像的一个处理过程示意图。图4是一个具体的利用部件图像进行匹配确定局部图像所属部件的场景示意图，图4中的上面局部图像仅看到有刮擦，但无法识别是什么部件的位置。经过和已经识别出车辆部件的部件图像进行匹配，得到而找到图4中上图损伤部位所在的部件为：前保险杠。

s4：所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型。

云服务器一侧获取待处理图像后，可以利用预先构建的损伤识别模型对所述部件图像进行检测，识别出待处理图像中的损伤部位和损伤类型。本实施例中所述的损伤部位通常是指车辆上有损伤的一个部位。一个受损的车辆部件可能包含多个受损部位，每个损伤部位对应有损伤类型(如重度刮擦、轻度变形等)。本实施例可以检测待处理图像中有损伤部位的位置区域(在此可以称为损伤区域，可以理解为一个损伤部位对应着一个具体的损伤区域的图片区域数据，或者损伤区域表达的即为损伤部位的实体数据信息)，可以对该损伤区域进行检测，识别出损伤类型。本实施例中所述的损伤类型可以包括轻度刮擦、重度刮擦、轻度变形、中度变形、重度变形、破损、需拆解检查等类型。

在本实施例中，可以预先采用设计的机器学习算法构建用于识别图像中包含的损伤部位和损伤类型的损伤识别模型。该损伤识别模型经过样本训练后，可以识别出所述待处理图像中的一处或多处损伤部位以及对应的损伤类型。本实施例中，所述的损伤识别模型可以采用深度神经网络的网络模型或者其变种后的网络模型经过样本训练后构建生成。本申请提供的所述方法的另一个实施例中，可以基于卷积神经网络(convolutionalneuralnetwork，cnn)和区域建议网络(regionproposalnetwork，rpn)，结合输入模型训练的损伤样本图像、全连接层等构建所述的损伤识别模型。因此，本申请所述方法的另一种实施例中，所述采用下述识别模型检测所述待处理图像，识别损伤部位和损伤类型：

301：基于卷积层和区域建议层的网络模型，经过样本数据训练后构建生成的深度神经网络。

卷积神经网络一般指以卷积层(cnn)为主要结构并结合其他如激活层等组成的神经网络，主要用于图像识别。本实施例中所述的深度神经网络可以包括卷积层和其他重要的层(如输入模型训练的损伤样本图像，数据归一化层，激活层等)，并结合区域建议网络(rpn)共同组建生成。卷积神经网络通常是将图像处理中的二维离散卷积运算和人工神经网络相结合。这种卷积运算可以用于自动提取特征。区域建议网络(rpn)可以将一个图像(任意大小)提取的特征作为输入(可以使用卷积神经网络提取的二维特征)，输出矩形目标建议框的集合，每个框有一个对象的得分。同上述所述，为避免混淆，本实施例中可以把使用的卷积神经网络(cnn)称为卷积层(cnn)、区域建议网络(rpn)称为区域建议层(rpn)。本申请其他的实施例中，所述的损伤识别模型还可以包括基于所述卷积神经网络改进后的或区域建议网络改进后的变种网络模型，经过样本数据训练后构建生成的深度卷积神经网络。

上述的实施方式在模型训练时可以识别出单张损伤样本图像上多个损伤部位。具体的在样本训练时，输入为一张图片，输出为多个图片区域，和对应的损伤分类。选取的神经网络的参数通可以过使用打标数据进行小批量梯度下降(mini-batchgradientdescent)训练得到，比如mini-batch＝32时，同时32张训练图片作为输入来训练。打标数据标注了区域和对应类型的图片，可以通过对真实车损图片进行人工打标获得。这个神经网络的输入为一张图片，输出的区域和图片中包含损伤部位个数有关。具体的，例如如果有一个损伤部位，输出一个图片区域；如果有k个损伤部位，则可以输出k个图片区域；如果没有损伤部位，则输出0个图片区域。

上述实施例中使用的模型和算法可以选择同类模型或者算法。具体的，例如部件识别模型中，可以使用基于卷积神经网络和区域建议网络的多种模型和变种，如fasterr-cnn、yolo、mask-fcn等。其中的卷积神经网络(cnn)可以用任意cnn模型，如resnet,、inception、vgg等及其变种。通常神经网络中的卷积网络(cnn)部分可以使用在物体识别取得较好效果的成熟网络结构，如inception、resnet等网络，如resnet网络，输入为一张图片，输出为多个含有损伤部位的图片区域，和对应的损伤分类(损伤分类用于确定损伤类型)和置信度(这里的置信度为表示损伤类型真实性程度的参量)。fasterr-cnn、yolo、mask-fcn等都是属于本实施例可以使用的包含卷积层的深度神经网络。本实施例使用的深度神经网络结合区域建议层和cnn层能检测出损伤部位、损伤类型和损伤部位在所述部件图像中所处的位置区域。

需要说明的是，本申请的一种实施方式中，可以采用单独的算法服务器来检测所述待处理图像，识别待处理图像中的损伤部位和损伤类型，如设置一个业务服务器，用于获取用户上传的待处理图像和输出维修方案，同时还可以设置一个算法服务器，存储有构建的损伤识别模型，对业务服务器的待处理图像进行检测识别，确定待处理图像中所述包含的损伤部位和损伤类型以及损伤区域等信息。当然，上述所述的获取待处理图像和识别损伤部位、损伤类型、损伤区域处理也可以由同一服务器执行完成。

在上述所述的部件识别模型和损伤识别模型，可以采用多种的训练数据，如一种实施方式中，所述部件识别模型可以被设置成，采用标记为相同损伤样本部件的部件样本图像进行训练，所述部件样本图像包括至少一个损伤部件，所述损伤部件包括至少一处损伤部位；

所述损伤识别模型可以被设置成，输入模型训练的损伤样本图像，输出包含至少一个损伤部位和与所述损伤部位对应的损伤类型、表示所述损伤类型真实性程度的置信度的数据信息。

需要说明的是，上述s2中利用部件识别模型检测车辆部件的处理和s4中利用损伤识别模型检测损伤部位、损伤类型、损伤区域的处理可以并行进行，即可以使用同一个算法服务器或者分别使用相应的算法服务器对待处理图像进行处理，执行上述s2和s4的图像处理计算。当然，不申请不排除先进行s2识别车辆部件的处理或者先识别损伤部位的处理的实施方式。如图5和图6所示，图5是一种实施例中损伤识别模型的网络构架结构示意图，图6是本申请一种实施例中部件识别模型的网络构架示意图，在实际终端app实施过程中，所述的部件识别模型和损伤识别模型的网络模型构架基本相同，在部件识别模中，损伤识别模型中的损伤区域变成了部件区域，损伤类型变成了部件类型。基于图5和图6所示的本申请的网络模型结构的基础上，还可以包括其他改进或变形、变换的网络模型，但本申请其他实施例中，所述部件识别模型、损伤识别模型中的至少一个为基于卷积层和区域建议层的网络模型，经过样本数据训练后构建生成的深度神经网络的实施方式均应属于本申请的实施范畴。

s5：根据所述损伤部位和部件区域确定所述待处理图像中的损伤部件，以及确定所述损伤部件的损伤部位和损伤类型。

在前述获取得到了待处理图像中包含的车辆部件信息，以及待处理图像中存在哪些损伤部位、损伤类型、损伤区域的信息后，可以进一步查找检测出车辆部件中的损伤部件有哪些。本实施例的一种实现方式可以通过上述识别处理的过程中计算得到的所述部件区域和损伤区域的分析处理来定位得到损伤部件。具体的，可以根据所述损伤区域和部件区域在待处理图像中的位置区域进行确认，例如在一种图片p1中，若p1中检测出来的损伤区域包含在p1中检测出来的部件区域中(通常识别出的部件区域的面积大于损伤区域的面积)，则可以认为p1中该部件区域对应的车辆部件为损伤部件。或者，图片p2中，若p2中检测出来的损伤区域与p2中检测出来的部件区域有面积重合区域，则也可以认为p2中部件区域对应的车辆部件也为损伤部件。

具体的一个示例中，如一张图片p，s2处理时检测到车辆部件为左前门和左前叶子板，这两个车辆部件分别在图片p中所在的部件区域为(r1，r2)，对应的为置信度(p1，p2)。s3中检测到图片p中存在一个轻度刮擦(损伤类型中的一种)，该轻度刮伤在图片p中所在的损伤区域r3，置信度p3。经过图片位置区域对应关系处理，发现这个轻度刮擦区域r3在左前门所在的部件区域r1中，从而得到损伤部件左前门，损伤部件的损伤部位为r3，在这个单张图片p中的损伤部件的损伤类型为轻度刮擦，置信度采用采用p1*p3。

当然，如果同时检测到左前叶子板处也有损伤，则可以按照上述示例确定出在图片p中损伤部件还有左前叶子板，其损伤部位和损伤类型也可以计算得出。

在定损处理中，待处理图像输入设置的卷积神经网络。如果存在多个损伤部位，则检测到多个包含损伤部位的图片区域，检测所述图片区域，确定所述图片区域的损伤类型，分别输出每个图片区域对应的损伤部位和损伤类型。进一步的，本实施例中可以选取所述损伤类型中表示损伤程度最高的损伤类型所对应的损伤部位作为所述损伤部件的损伤部位。相应的，所述损伤程度最高的损伤类型为确定出的所述损伤部件的损伤类型。

本申请提供的一种基于图像的车辆定损方法，可以识别出待处理图像中所包含的损伤部件，然后基于构建的损伤识别模型检测出损伤部件的受损部位和每个损伤部位对应的损伤类型，从而得到车辆部件准确、全面、可靠的车辆定损信息。本申请实施方案可以识别出一张或多张图像中的一个或多个受损部件，和所述损伤部件中的一处或多处受损部位及受损程度等。并且对于类似车辆部件局部细节图像也能进行准确的部件类型确认，提高计算得到的车辆定损信息的可靠性，使得基于图像的车辆定损结果更加可靠，可以提高车辆定损处理结果的准确性和可靠性，提高用户服务体验。

进一步的，获取了车辆定损的信息后，还可以生成反馈给用户的定损结果。因此，本申请所述方法还可以包括：

s6：基于包括所述损伤部件、损伤部位、损伤类型的信息生成维修方案。

图7是本申请所述一种基于图像的车辆定损方法另一种实施例的方法流程示意图。上述经过对待处理图像的车辆部件识别、受损部件的确认，以及损伤部位、受损类型的识别等处理，获取本实施例进行车辆定损的信息后，可以基于这些信息生成维修方案。所述的维修方案可以是针对一个受损部件对应一个维修方案的定损结果，也可以为整个车辆的多个损伤部件的一个定损结果。本申请实施方案基于这些损伤部件以及损伤部件中的损伤部位、损伤类型、维修策略的信息生成车辆的维修方案，为保险作业人员和车主用户提供更为准确、可靠、有实际参考价值的定损信息。本申请实施方案可以识别出一张或多张图像中的一个或多个受损部件，和所述损伤部件中的一处或多处受损部位及受损程度等，快速的得到更全面、准确的定损信息，然后自动生成维修方案，可以满足保险公司或车主用户快速、全面、准确可靠的车辆定损处理需求，提高车辆定损处理结果的准确性和可靠性，提高用户服务体验。

本实施例中，可以设置每个损伤类型对应一种维修方案，如严重变形对应于换件，轻度变形需要钣金，轻微擦伤需要喷漆。对于用户而言，一个损伤部件最终输出的可以为一个维修方案，当一个损伤部件存在多处损伤时，可以以损伤最严重的部位的维修方式作为整个部件最终的处理方式。通常车辆上的一个部件是一个整体，多处损伤的话，以最严重的损伤的处理较为合理。本实施例可以选取一种维修方案能解决损伤部件上的所有损伤，比如一个损伤部件中，一个损伤部位的损伤类型为严重损坏，需要换件，另一个损伤部位的损伤类型为中度变形，需要钣金，则此时可以选择换件而可以不需要在进行钣金处理。

需要理解的是，通常所述的定损可以包括核损和核价两个信息。在本申请的实施例中，输出的维修方案如果不包括维修费用的信息，则可以归属为核损部分，如果包括维修费用的信息，则可以认为核损和核价均做了计算处理。因此，本实施例所述的维修方案均属于车辆定损的维修方案处理结果中的一种。

具体的一个示例中，例如算法服务器在识别出待处理图像中的损伤部件以及损伤部件的损伤部位和损伤类型后，可以根据上述信息按照预设的处理规则生成所述车辆部件的维修方案。如a1厂商2016年b1型号车左前叶子板：轻度变形：需钣金处理；a2厂商2010年b2型号车左前车门：重度刮擦并且重度变形：需更换处理；a3厂商2013年b3型号车前保险杠：轻度刮擦：需喷漆处理；左前灯：需要拆解检查等。

本申请所述方法的另一种实施例中，为满足用户对车辆定损中费用价格的信息需求，所述的维修方案中还可以包括针对车辆部件维修的预估修改价格的信息，以使用户得知修改费用信息，选择更适合的维修处理方式，满足用户需要，提高用户体验。因此，本申请所述方法的另一种实施例中，所述方法还可以包括：

s601：获取所述车辆部件的维修策略的信息；

相应的，所述维修方案还可以包括对应于所述维修策略的预估维修价格；所述预估维修价格根据包括所述车辆部件的损伤部位、损伤类型、维修策略的信息，并查询对应于所述维修策略中车辆部件的产品和/或维修服务的价格数据后，计算得到的所述车辆部件的预估维修价格。

具体的实现方式上，可以设计一个计算规则，根据车辆部件所述归属的车型、选择的车辆部件的维修地、修理厂(4s点还是普通综合修理厂)等的维修策略的信息，调用不同的价格库，生成所述车辆部件的包括预维修处理方式和对应的预估维修价格的维修方案。所述的维修策略的信息可以通过用户选取确定，例如用户可以选择维修地点(如市级或区级划分)、在4s店还是综合修理厂，输入车品牌、型号，然后算法服务器可以根据该车辆部件的维修策略信息和识别出的损伤部位和损伤类型得到类似如下的维修方案：

a3厂商2013年b3型号车前保险杠，轻度刮擦，需喷漆处理；预估本地4s店维修费用为：600元。

当然，其他的实施方式中，也可以根据传统车险公司理赔经验整理出车辆事故现场受损部件、受损类型、受损程度等信息，结合4s店修复工时、费用等信息建立引擎模块。当实际处理应用识别出车辆部件的受损部位和受损类型时，可以调用引擎模块，输出车辆部件的定损结果。

上述中所述的维修策略的信息可以被修改更换。如用户可以选择在4s店维修，此时对应一个维修策略，相应的会对应一个维修方案。如果用户更换为在综合修理厂维修，则对应另一个维修策略，相应的也会生成另一个维修方案。

本申请还提供一个具体的损伤识别模型样本训练过程的实施方式。具体的所述方法的另一个实施例中如图8所示，所述可以采用下述方式确定损伤部件以及所述损伤部件的损伤部位和损伤类型：

s410：获取含有损伤部位的待处理图像的集合；

s420：利用卷积神经网络提取所述集合中待处理图像的特征向量，基于所述特征向量的进行相同车辆部件的图像聚类处理，确定损伤部件；

s430：将属于同一损伤部件的损伤部位进行合并，获取损伤部位的损伤聚类特征数据；

s440：根据所述损伤聚类特征数据确定所述损伤部件所包含损伤部位和所述损伤部位对应的损伤类型。

具体的一个示例中，对任何一个检测出来的损伤部件p，其对应了一到多张图片中检测到的一到多个损伤部位(包括损伤类型、位置和置信度)。将这些图片聚类，使用图片经过卷积网络提取的特征向量，如使用ns中卷积网络最后一个输入模型训练的损伤样本图像的输出向量，来计算图片距离。将属于同一聚类t图片内的损伤部位合并(按置信度选top-k，k可以取15)作为特征ft。选取top-c(c可以取5，按照聚类内的加权受损部位个数排序，权值为受损部位的置信度)的聚类的特征(ft1,ft2,…)作为多分类梯度提升决策树gbdt的特征输入，使用一个多分类梯度提升决策树(gbdt)模型最终给出受损类型和程度。此gbdt模型可以通过打标数据梯度下降训练得到。

可以理解的是，所述的损伤图像在模型训练时可以为采用的样本图像。在实际用户使用时，可以为所述待处理图像。上述所述的图像聚类主要是将含有相同部件的图像聚类。聚类的目的是能找到对损伤部件大致相同部位的拍摄图像。根据s2和s3得到的各损伤部件和损伤部位、损伤类型采用上述实施方式确认得到待处理图像的损伤部件和其对应的损伤部位、损伤类型。

进一步的，另一种实施例中，所述将属于同一损伤部件的损伤部位进行合并可以包括：

从图像聚类中属于同一损伤部件的待处理图像中，按照置信度降序选取k个待处理图像的损伤部位进行合并，k≥2。

合并后选择topk个置信度的进行处理，尤其是在大量样本图像训练时可提高识别处理速度。本实施例模型训练的实施场景中，k可以取值为10到15。

另一种实施例中，所述获取损伤部位的损伤聚类特征数据可以包括：

从所述合并后的图像聚类中，按照损伤部位的加权值降序选取c个待处理图像的损伤聚类特征数据，c≥2，所述加权值的权重因子为损伤部位的置信度。本实施例模型训练的实施场景中，c可以取值为3到5。

其他的一些实施例中，所述根据所述损伤聚类特征数据确定所述损伤部件所包含损伤部位和所述损伤部位对应的损伤类型包括：

将所述损伤聚类特征数据作为设置的多分类梯度提升决策树模型的输入数据，识别出损伤部位和损伤类型。

可以理解的是，上述所述的待处理图像的处理在模型训练时可以为采用的样本图像。例如上述s410中获取的含有损伤部位的训练样本图像的集合，或者，从图像聚类中属于同一损伤部件的训练样本图像中，按照置信度降序选取k个训练样本图像的损伤部位进行合并等。在模型训练的实施过程参照前述待处理图像的描述，在此不做重复赘述。

上述所述的实施方案，可以提高定损处理结果的可靠性和准确性的同时，进一步的加快处理速度。

使用车辆三维模型在多角度和光照模型下进行真实感绘制生成图片，同时得到各车辆部件在图片中的位置。绘制生成的图片加入到训练数据中和打标数据一起训练。一种实施例中，所述部件识别模型或损伤识别模型中的至少一项使用的训练样本图像可以包括：利用计算机模拟车辆部件受损绘制生成的图片信息。结合实际现场拍摄的图像一起打标训练，可以进一步提高模型训练效果，优化模型参数，提高识别精度。

本申请提供的一种基于图像的车辆定损方法，可以识别出待处理图像中所包含的损伤部件，然后基于构建的损伤识别模型检测出损伤部件的多处受损部位和每个损伤部位对应的损伤类型，从而得到车辆部件准确、全面、可靠的车辆定损信息。进一步的，本申请实施方案基于这些损伤部件以及损伤部件中的损伤部位、损伤类型、维修策略的信息生成车辆的维修方案，为保险作业人员和车主用户提供更为准确、可靠、有实际参考价值的定损信息。本申请实施方案可以识别出一张或多张图像中的一个或多个受损部件，和所述损伤部件中的一处或多处受损部位及受损程度等，快速的得到更全面、准确的定损信息，然后自动生成维修方案，可以满足保险公司或车主用户快速、全面、准确可靠的车辆定损处理需求，提高车辆定损处理结果的准确性和可靠性，提高用户服务体验。

基于上述所述的基于图像的车辆定损方法，本申请还提供一种基于图像的车辆定损装置。所述的装置可以包括使用了本申请所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本申请提供的一种实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本申请具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。具体的，图9是本申请提供的一种基于图像的车辆定损装置一种实施例的模块结构示意图，如图9所示，所述装置可以包括：

图像获取模块101，可以用于获取待处理图像；

部件第一识别模块102，可以检测所述待处理图像，识别所述待处理图像中的车辆部件；

部件第二识别模块103，可以对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

损伤识别模块104，可以用于检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

损伤计算模块105，可以用于根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

本申请提供的一种基于图像的车辆定损方法，可以识别出待处理图像中所包含的损伤部件，然后基于构建的损伤识别模型检测出损伤部件的受损部位和每个损伤部位对应的损伤类型，从而得到车辆部件准确、全面、可靠的车辆定损信息。本申请实施方案可以识别出一张或多张图像中的一个或多个受损部件，和所述损伤部件中的一处或多处受损部位及受损程度等。并且对于类似车辆部件局部细节图像也能进行准确的部件类型确认，提高计算得到的车辆定损信息的可靠性，使得基于图像的车辆定损结果更加可靠，可以提高车辆定损处理结果的准确性和可靠性，提高用户服务体验。

图10是本申请提供的一种基于图像的车辆定损装置另一种实施例的模块结构示意图，如图10所示，另一种实施方式中，所述装置还可以包括：

定损处理模块105，可以用于基于包括确定出所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型的信息生成维修方案。

图11是本申请所述部件第二识别模块103一种实施例的模块结构示意图，如图11所示，所述部件第二识别模块可以包括：

特征提取模块1031，可以用于采用卷积神经网络提取所述局部图像的第一卷积特征数据，以及采用预定算法提取所述局部图像的第一局部特征点集；

区域匹配模块1032，可以用于将所述第一卷积特征数据匹配与所述部件图像中的采样区域的卷积特征数据进行比较，获取与所述第一卷积特征数据相似度最高的相似区域；

仿射变换处理模块1033，可以用于采样所述预定算法提取所述相似区域的第二局部特征点集，将所述第一局部特征点集与第二局部特征点集进行匹配，获取匹配点对，通过最小化匹配点对在仿射变换下的位置误差得到所述局部图像与部件图像之间的仿射变换；

部件确认模块1034，可以用于选取所述位置误差最小的图像区域对应在所述部件图像上的部件类型作为所述局部图像的车辆部件。

对于所述部件图像，可以利用滑动窗口提取所述部件图像中滑动窗口区域的第二卷积特征数据，获取第二卷积特征数据集合，所述第二卷积特征数据使用与提取第一卷积特征数据相同的卷积神经网络获得；从所述第二卷积特征数据集合中选取与所述第一卷积特征数据相似度最高的相似区域，相似度计算使用余弦相似度。

参照前述方法所述，所述装置还可以包括其他的实施方式。例如基于卷积层和区域建议层的网络模型，经过样本数据训练后构建生成的深度神经网络检测所述待处理图像、从图像聚类中属于同一损伤样本部件的待处理图像中，按照置信度降序选取k个待处理图像的损伤部位进行合并、将所述相似区域按照预定方式扩大图像区域范围等。或者，还可以包括获取所述车辆部件的维修策略信息，并生成包括预估维修价格的维修方案等。具体的可以参照前述方法实施例的相关描述，在此不做一一列举描述。

本申请上述所述的方法或装置可以通过计算机程序结合必要的硬件实施，可以设置在中的设备的应用中，基于图像的车辆定损结果快速、可靠输出。因此，本申请还提供一种基于图像的车辆定损装置，可以用于服务器一侧，可以包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取待处理图像；

检测所述待处理图像，识别所述待处理图像中的车辆部件；

对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

上述所述装置具体的实际处理中，还可以包括其他的处理硬件，例如gpu(graphicsprocessinguni，图形处理单元)。如前述方法所述，所述装置的另一种实施例中，所述处理器执行所述指令时还实现：

基于包括确定出所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型的信息生成维修方案。

所述的一种基于图像的车辆定损装置的另一种实施例中，所述处理器执行采用和已识别出包含车辆部件的部件图像进行图像匹配确定所述局部图像所属的车辆部件的指令时实现包括：

采用卷积神经网络提取所述局部图像的第一卷积特征数据，以及采用预定算法提取所述局部图像的第一局部特征点集；

将所述第一卷积特征数据匹配与所述部件图像中的采样区域的卷积特征数据进行比较，获取与所述第一卷积特征数据相似度最高的相似区域；

采样所述预定算法提取所述相似区域的第二局部特征点集，将所述第一局部特征点集与第二局部特征点集进行匹配，获取匹配点对，通过最小化匹配点对在仿射变换下的位置误差得到所述局部图像与部件图像之间的仿射变换；

选取所述位置误差最小的图像区域对应在所述部件图像上的部件类型作为所述局部图像的车辆部件。

所述装置的另一种实施例中，还可以进一步优化方案，提高处理精度。具体的，所述处理器执行采用和已识别出包含车辆部件的部件图像进行图像匹配确定所述局部图像所属的车辆部件的指令时实现包括下述中的至少一个步骤；

对于所述部件图像，利用滑动窗口提取所述部件图像中滑动窗口区域的第二卷积特征数据，获取第二卷积特征数据集合，所述第二卷积特征数据使用与提取第一卷积特征数据相同的卷积神经网络获得，从所述第二卷积特征数据集合中选取与所述第一卷积特征数据相似度最高的相似区域，相似度计算使用余弦相似度；

将所述相似区域按照预定比例扩大图像区域范围，所述预定比例的取值范围包括50％，相应的，所述第二局部特征点集包括提取的所述扩大图像区域范围后的相似区域的局部特征点集；

采用尺度不变特征变换提取第一局部特征数据和第二局部特征数据。

一种基于图像的车辆定损装置的另一种实施中，可以采用下述识别模型检测所述待处理图像：

基于卷积层和区域建议层的网络模型，经过样本数据训练后构建生成的深度神经网络。

如前方式所述，可以采用下述方式确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型：

获取含有损伤部位的待处理图像的集合；

利用卷积神经网络提取所述集合中待处理图像的特征向量，基于所述特征向量的进行相同车辆部件的图像聚类处理，确定损伤部件；

将属于同一损伤部件的损伤部位进行合并，获取损伤部位的损伤聚类特征数据；

根据所述损伤聚类特征数据确定所述损伤部件所包含损伤部位和所述损伤部位对应的损伤类型。

参照前述方法所述，所述装置还可以包括其他的实施方式。所述方法具体的实现和实施过程可以参照前述方法相关实施例的描述，在此不做一一赘述。

利用本申请实施例提供的一种基于图像的车辆定损装置，可以识别出待处理图像中所包含的损伤部件，然后基于构建的损伤识别模型检测出损伤部件的多处受损部位和每个损伤部位对应的损伤类型，从而得到车辆部件准确、全面、可靠的车辆定损信息。进一步的，本申请实施方案基于这些损伤部件以及损伤部件中的损伤部位、损伤类型、维修策略的信息生成车辆的维修方案，为保险作业人员和车主用户提供更为准确、可靠、有实际参考价值的定损信息。本申请实施方案可以识别出一张或多张图像中的一个或多个受损部件，和所述损伤部件中的一处或多处受损部位及受损程度等，快速的得到更全面、准确的定损信息，然后自动生成维修方案，可以满足保险公司或车主用户快速、全面、准确可靠的车辆定损处理需求，提高车辆定损处理结果的准确性和可靠性，提高用户服务体验。

本申请上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本申请实施例所描述方案的效果。因此，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时可以实现以下步骤：

获取待处理图像；

检测所述待处理图像，识别所述待处理图像中的车辆部件；

对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

所述计算机可读存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的装置或方法可以用于图像处理的电子设备中，实现基于图像的车辆定损快速处理。所述的电子设备器可以是单独的服务器，也可以是多台应用服务器组成的系统集群，也可以是分布式系统中的服务器。图12是本申请提供的一种电子设备一种实施例的结构示意图。一种实施例中，所述电子设备可以包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取待处理图像；

检测所述待处理图像，识别所述待处理图像中的车辆部件；

对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；

检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；

根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型。

图13是利用本申请实施方案进行车辆定损的一个处理场景示意图。图13中的客户端为用户的移动终端，其他的实施场景中也可以为pc或其他终端设备。本申请提供的一种基于图像的车辆定损方法、装置及电子设备，使用深度学习技术检测受损部位和损伤类型，利用图像匹配方法精确定位损伤部位，可以使用多图像检测结果提高定损的准确性。图像检测技术和车辆部件价格库以及维修规则相结合自动生成维修方案和估价。本申请的一些实施方案可以基于更为具体的车损信息、车辆部件价格库以及维修处理方式等自动生成维修方案和预估的维修费用，可以满足保险公司或车主用户快速、全面、准确可靠的车辆定损处理需求，提高车辆定损处理结果的准确性和可靠性，提高用户服务体验。

上述所述的方法、装置等可以用于多种基于图像的车辆自动定损业务系统中，实现用户上传拍摄的定损图像即可快速获取准确、可靠的车辆定损信息，满足用户需求，提高用户业务使用体验。因此，本申请还提供一种基于图像的车辆定损系统，具体的可以包括i/o接口、存储器、中央处理器、图像处理器，其中，

所述i/o接口，用于获取待处理图像和输出维修方案；

所述中央处理器耦合于图像处理器，用于检测所述待处理图像，识别所述待处理图像中的车辆部件；对所述待处理图像中未识别出车辆部件的局部图像，采用和已识别出包含车辆部件的部件图像进行图像匹配，确定所述局部图像所属的车辆部件；检测所述待处理图像，识别所述待处理图像中的损伤部位和损伤类型；根据识别出的车辆部件、所述损伤部位和损伤类型确定所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型；

所述中央处理器还用于基于包括确定出所述待处理图像中的损伤部件和与所述损伤部件对应的损伤部位、损伤类型的信息生成维修方案。

需要说明的是，虽然上述实施例提供的一些装置、电子设备、计算机可读存储介质、系统的实施例的描述，但基于前述相关方法或装置实施例的描述，所述的装置、电子设备、计算机可读存储介质、系统还可以包括其他的实施方式，具体的可以参照相关方法或装置实施例的描述，在此不再一一举例赘述。

尽管本申请内容中提到图像质量处理、卷积神经网络和区域建议网络以及其组合生成的深度神经网络、预估维修价格的计算方式、利用gbdt模型得到损伤部位和类型处理方式等等之类的数据模型构建、sift提取局部特征数据、仿射变换处理过程等的数据获取、交互、计算、判断等描述，但是，本申请并不局限于必须是符合行业通信标准、标准数据模型/算法、计算机处理和存储规则或本申请实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本申请的可选实施方案范围之内。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmablelogicdevice,pld)(例如现场可编程门阵列(fieldprogrammablegatearray，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardwaredescriptionlanguage，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advancedbooleanexpressionlanguage)、ahdl(alterahardwaredescriptionlanguage)、confluence、cupl(cornelluniversityprogramminglanguage)、hdcal、jhdl(javahardwaredescriptionlanguage)、lava、lola、myhdl、palasm、rhdl(rubyhardwaredescriptionlanguage)等，目前最普遍使用的是vhdl(very-high-speedintegratedcircuithardwaredescriptionlanguage)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmelat91sam、microchippic18f26k20以及siliconelabsc8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。