车辆损伤图片处理方法、装置、计算机设备及存储介质与流程

本发明涉及图像识别领域，尤其涉及一种车辆损伤图片处理方法、装置、计算机设备及存储介质。

背景技术：

随着人工智能的发展，基于图像的智能分析方法在车辆定损方面已经开始普及。现有的智能分析方法主要有两种。一种通过物体检测算法对损伤图片进行检测，用人工标注的方式建立维修方案与损伤图片的关联关系，然后构建维修方案的预测模型。这种智能分析方法处理效率较高，但由于缺少对损伤形态的区分学习，模型鲁棒性和泛化能力较差。

另一种通过物体检测算法对损伤图片进行检测，用人工标注的方式建立损伤形态与损伤图片的关联关系，然后构建损伤形态的预测模型。由于损伤形态的多样性和实际应用场景的复杂性，损伤形态的图像处理结果在应用上存在瓶颈。例如，该方法无法准确划分损伤面积，进而影响对维修方案进行准确判断。又如，该方法使用的类型间检测框的置信度分布差异明显。虽然可以通过后期的人工干预优化图像处理结果，但由于其参数(如阈值)和判别规则鲁棒性差，导致图像处理结果的准确率低。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种车辆损伤图片处理方法、装置、计算机设备及存储介质，提高对车辆损伤图片的处理能力，增强图像处理的鲁棒性，同时提高图像处理结果的准确性。

一种车辆损伤图片处理方法，包括：

通过预设检测器处理车辆损伤图片，获得所述车辆损伤图片的损伤检测结果；

根据所述损伤检测结果生成损伤烈度图形数据；

将所述损伤烈度图形数据输入预设损伤烈度分类模型进行处理，获取所述预设损伤烈度分类模型输出的处理结果。

一种车辆损伤图片处理装置，包括：

检测模块，用于通过预设检测器处理车辆损伤图片，获得所述车辆损伤图片的损伤检测结果；

图形化模块，用于根据所述损伤检测结果生成损伤烈度图形数据；

模型处理模块，用于将所述损伤烈度图形数据输入预设损伤烈度分类模型进行处理，获取所述预设损伤烈度分类模型输出的处理结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述车辆损伤图片处理方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述车辆损伤图片处理方法。

上述车辆损伤图片处理方法、装置、计算机设备及存储介质，通过预设检测器处理车辆损伤图片，获得车辆损伤图片的损伤检测结果，获得了多个表征车辆损伤程度相关的检测框的检测结果；根据损伤检测结果生成损伤烈度图形数据，以将离散的检测框的检测结果转换成连续的烈度分布，提高检测结果的鲁棒性；将损伤烈度图形数据输入预设损伤烈度分类模型进行处理，获取预设损伤烈度分类模型输出的处理结果，以再次使用神经网络模型对损伤烈度图形数据，获得最优的维修方案。本发明可以提高对车辆损伤图片的处理能力，增强图像处理的鲁棒性，同时提高图像处理结果的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中车辆损伤图片处理方法的一应用环境示意图；

图2是本发明一实施例中车辆损伤图片处理方法的一流程示意图；

图3是本发明一实施例中未经处理的车辆损伤图片及经预设检测器处理后的车辆损伤图片；

图4是本发明一实施例中车辆损伤图片处理方法的一流程示意图；

图5是本发明一实施例中车辆损伤图片处理方法的一流程示意图；

图6是本发明一实施例中车辆损伤图片处理方法的一流程示意图；

图7是本发明一实施例中损伤烈度图形数据叠加原有图片后形成的图像和由损伤烈度图形数据直接转化后生成的图像；

图8是本发明一实施例中车辆损伤图片处理装置的一结构示意图；

图9是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供的车辆损伤图片处理方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种车辆损伤图片处理方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：

s10、通过预设检测器处理车辆损伤图片，获得所述车辆损伤图片的损伤检测结果。

本实施例中，预设检测器可以使用现有的基于深度学习的检测算法训练获得。检测算法可以使用fasterr-cnn(一种处理速度快的图片检测算法)、ssd+fpn(singleshotmultiboxdetector，featurepyramidnetworks)等。可以使用已标注的损伤形态检测训练集对预设检测器进行训练。

预设检测器可通过以下方式进行训练：1、初始化模型参数(随检测算法的不同而不同)；2、取小批量样本，在检测算法的深度神经网络中进行前向传播，然后利用损伤形态检测训练集的形态标注，计算损失函数的损失值；3、根据计算得到的损失值进行反向传播，得到各个网络参数的梯度，然后根据随机梯度下降算法，以及调试得到的学习率，进行模型参数的更新；4、重复迭代上述过程，不断迭代更新模型参数，直至损失函数计算得到的损失值满足预设的收敛条件。

在此处，可以通过map(meanaverageprecision)算法评估多个检测器的检测效果，并最终确定map值最高的检测器为预设检测器。这些检测器是在不同迭代次数下保存的检测模型，其损失值均满足预设的收敛条件。一般情况，map值最高的检测器，其检测性能也是最佳的。

预设检测器处理损伤图片后，可以获得损伤图片的损伤检测结果。损伤检测结果可以包括多个检测框数据。检测框数据包括检测框的尺寸、中心点位置以及置信度。

如图3的示例，图3-a为未经处理的车辆损伤图片，图3-b为经预设检测器处理后的车辆损伤图片。

s20、根据所述损伤检测结果生成损伤烈度图形数据。

本实施例中，损伤检测结果包括多个检测框数据。检测框数据可以用多种形式表达，如(xmin,xmax,ymin,ymax,score)、(xmin,ymin,xmax,ymax,score)或(xmin,ymin,w,h,score)等。score为检测框的置信度。

每个检测框数据可以转换为检测框损伤烈度数据。损伤烈度图形数据可以是多个检测框损伤烈度数据叠加后的结果。

将不同形态的损伤检测结果转换为损伤烈度图形数据，可以克服原有损伤检测结果精度不高的缺点，而转换成对车体图片损伤烈度的概率表达，将离散的检测框的检测结果转换成连续的烈度分布，提高检测结果的鲁棒性。

可选的，如图4所示，步骤s20包括：

s201、获取所述损伤检测结果中的检测框数据；

s202、建立高斯分布模型，基于所述高斯分布模型将所述检测框数据处理为检测框损伤烈度数据；

s203、根据多个所述检测框损伤烈度数据生成所述损伤烈度图形数据。

本实施例中，在高斯分布模型，可通过以下计算公式单一检测框内坐标点的概率密度，具体为：

其中(x,y)为检测框的中心点，即

或

或

上式中，(x+δx,y+δy)为检测框内点的坐标，f(x+δx,y+δy为坐标为x+δx,y+δy的点的烈度值。σ为第一调节参数，可以调节检测框损伤烈度数据的中心聚焦分布。

s为检测框的中心烈度，可以根据实际需要进行设置。w为第二调节系数，其值与检测框宽度相关。h为第三调节系数，其值与检测框高度相关。xmax为检测框的右边界，xmin为检测框的左边界，ymax为检测框的上边界，ymin为检测框的下边界。w和h分别为检测框的宽和高。

通过高斯分布模型可以将检测框数据可以转换为检测框损伤烈度数据。损伤烈度图形数据可以是多个检测框损伤烈度数据叠加后的结果。

以尺寸为wimg,himg的原始图像为例，通过预设检测器检测n类的损伤形态，记检测出的检测框集合为ν，检测框中心点集合为cn，对每一类的损伤形态的检测结果进行结果转换，如下式：

δx＝x-xi,δy＝y-yi,(xi,yi)∈cnn

fn(x,y)为基于所述损伤检测结果生成的损伤烈度图形数据，wimg为车辆损伤图片的宽度，himg为车辆损伤图片的高度，cnn为n个检测框数据所包含的检测框中心点的集合，fi为第i个检测框数据所对应的高斯函数，i为检测框数据的序号，取值为[1,n]，(xi,yi)为第i个检测框数据所包含的检测框中心点的坐标。一个检测框数据对应一种损伤形态。通过上式的计算，对每一种损伤形态计算得到一个损伤烈度图的通道，最终得到损伤烈度图的表示d∈d为多个通道数据叠加后形成的数据矩阵(n*w*h)，r指代实数空间。

可选的，如图5所示，步骤s20包括：

s204、通过第一调节系数调节所述检测框损伤烈度数据的中心聚焦分布；

s205、根据检测框数据的置信度和所述第一调节系数设置检测框的中心烈度。

本实施例中，第一调节系数可用σ表示，用于调节检测框损伤烈度数据的中心聚焦分布。经实际试验，σ的优选取值范围为0.3-0.35。在该优选取值范围下生成的损伤烈度图形数据，与检测框内图片的损伤程度分布较为匹配，因而最终获得的处理结果的准确率也较高。最优选的，σ＝0.33。第二调节系数可用w表示，第三调节系数可用h表示。当σ＝0.33时，w＝1.5×w；h＝1.5×h。

检测框的中心烈度可用s表示。在一实施例中，

可选的，如图6所示，步骤s20之后包括：

s21、根据所述损伤烈度图形数据生成可视化图像；

s22、将所述可视化图像发送到指定终端。

本实施例中，可以根据获得的损伤烈度图形数据生成可视化图像。可视化图像可以是直接由损伤烈度图形数据直接转化后生成的图像，如图7-b的示例；也可以是损伤烈度图形数据叠加原有图片后形成的图像，如图7-a的示例。

指定终端可以是算法工程师或查勘员使用的计算机设备。在接收到可视化图像后，算法工程师可对可视化图像和原始图像进行比较，判断生成的可视化图像是否可以正确反映车体损伤区域及损伤程度，然后根据判断结果确定是否需要调整预设检测器或高斯分布模型的设置参数。对于查勘员而言，可以根据可视化图像评估车体损伤情况，避免误报漏报。

现有的计算机视觉算法对输入图片的检测结果常常会输出多个框，尽管经过非极大值抑制算法滤掉了大多高度重叠的预测检测框。但是，仍然存在大量的有重叠的检测框，使得可视化时常常只能根据置信度排序挑选部分进行可视化，导致部分检测框检测结果没有展示。特别的，由于车体损伤的特殊性，常常存在复合损伤，损伤部位更容易出现多个重叠的检测框，这些重叠的检测框容易影响人的判断，造成损伤图像可视化评估的困难。通过将检测框转换成损伤烈度图，大大缓解了上述两个问题的影响，提供质量较高的可视化图像。

s30、将所述损伤烈度图形数据输入预设损伤烈度分类模型进行处理，获取所述预设损伤烈度分类模型输出的处理结果。

预设损伤烈度分类模型可以是通过对包含维修方案标注的训练集进行训练后获得的分类模型。可以构建包含维修方案标注的数据集。在该数据集中，维修方案标注包括但不限于喷、修、换。这些维修方案标注可由评估专家对样本所对应的原始损伤图片人工标注生成。每个样本还包含了基于上述损伤图片生成的损伤烈度图形数据。可以将包含维修方案标注的数据集按一定比例划分为三个子集，分别为训练集、验证集和测试集。划分的比例可以设置为10：1：1。分别使用上述三个集合对损伤烈度分类模型进行训练、验证和测试，并最终获得满足预设要求的预设损伤烈度分类模型。

在此处，预设损伤烈度分类模型可以使用通用的基于深度神经网络的物体分类模型，如resnet(residualnetwork)，vgg网络(visualgeometrygroupnetwork)等。

优选地，为进一步保证上述所有出现的数据的私密和安全性，上述所有数据还可以存储于一区块链的节点中。例如所述预设损伤烈度分类模型输出的处理结果、图像数据等均可存储在区块链节点中。

需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本方案可应用于智慧交通领域中，从而推动智慧城市的建设。

预设损伤烈度分类模型输出的处理结果可以包含针对损伤图片的维修方案，也可以包含用于评估损伤图片损伤程度的评级数据。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种车辆损伤图片处理装置，该车辆损伤图片处理装置与上述实施例中车辆损伤图片处理方法一一对应。如图8所示，该车辆损伤图片处理装置包括检测模块10、图形化模块20和模型处理模块30。各功能模块详细说明如下：

检测模块10，用于通过预设检测器处理车辆损伤图片，获得所述车辆损伤图片的损伤检测结果；

图形化模块20，用于根据所述损伤检测结果生成损伤烈度图形数据；

模型处理模块30，用于将所述损伤烈度图形数据输入预设损伤烈度分类模型进行处理，获取所述预设损伤烈度分类模型输出的处理结果。

可选的，图形化模块20包括：

获取检测框数据单元，用于获取所述损伤检测结果中的检测框数据；

生成检测框烈度数据单元，用于建立高斯分布模型，基于所述高斯分布模型将所述检测框数据处理为检测框损伤烈度数据；

生成烈度图形数据单元，用于根据多个所述检测框损伤烈度数据生成所述损伤烈度图形数据。

可选的，生成检测框烈度数据单元包括：

调整分布子单元，用于通过第一调节系数调节所述检测框损伤烈度数据的中心聚焦分布；

设置中心烈度单元，用于根据检测框数据的置信度和所述第一调节系数设置检测框的中心烈度。

可选的，所述生成烈度图形数据单元通过以下公式生成所述损伤烈度图形数据：

δx＝x-xi,δy＝y-yi,(xi,yi)∈cnn

fn(x,y)为基于所述损伤检测结果生成的损伤烈度图形数据，wimg为车辆损伤图片的宽度，himg为车辆损伤图片的高度，cnn为n个检测框数据所包含的检测框中心点的集合，fi为第i个检测框数据所对应的高斯函数，i为检测框数据的序号，取值为[1,n]，(xi,yi)为第i个检测框数据所包含的检测框中心点的坐标。

可选的，所车辆损伤图片处理装置还包括：

可视化模块，用于根据所述损伤烈度图形数据生成可视化图像；

发送图像模块，用于将所述可视化图像发送到指定终端。

关于车辆损伤图片处理装置的具体限定可以参见上文中对于车辆损伤图片处理方法的限定，在此不再赘述。上述车辆损伤图片处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述车辆损伤图片处理方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆损伤图片处理方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

通过预设检测器处理车辆损伤图片，获得所述车辆损伤图片的损伤检测结果；

根据所述损伤检测结果生成损伤烈度图形数据；

将所述损伤烈度图形数据输入预设损伤烈度分类模型进行处理，获取所述预设损伤烈度分类模型输出的处理结果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

通过预设检测器处理车辆损伤图片，获得所述车辆损伤图片的损伤检测结果；

根据所述损伤检测结果生成损伤烈度图形数据；

将所述损伤烈度图形数据输入预设损伤烈度分类模型进行处理，获取所述预设损伤烈度分类模型输出的处理结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。