优化损伤识别结果的方法及装置与流程

本说明书实施例涉及车辆定损领域，具体地，涉及一种优化损伤识别结果的方法及装置。

背景技术：

在传统车险理赔场景中，保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损，给出车辆的维修方案和赔偿金额，并拍摄现场照片，定损照片留档以供后台核查人员核损核价。由于需要人工查勘定损，保险公司需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损，理赔周期长达1-3天，用户的等待时间较长，体验较差。

针对需求背景中提到的这一人工成本巨大的行业痛点，开始设想将人工智能和机器学习应用到车辆定损的场景中，希望能够利用人工智能领域计算机视觉图像识别技术，根据普通用户拍摄的现场损失图片，自动识别图片中反映的车损状况，并自动给出维修方案。如此，无需人工查勘定损核损，大大减少了保险公司的成本，提升了普通用户的车险理赔体验。

不过，目前的智能定损方案，损伤识别的准确度还有待进一步提高。因此，希望能有改进的方案，能够对车辆的损伤识别结果进行进一步优化，提高识别准确度。

技术实现要素：

在说明书提供的优化损伤识别结果的方法中，基于循环神经网络，将前次损伤识别结果以及与用户的交互信息作为输入，从而实现损伤识别结果的优化。

根据第一方面，提供一种优化损伤识别结果的方法，应用于单张图片的处理。该方法包括：获取用户输入的车辆损伤图片；基于预先训练的损伤识别模型，提取图片特征信息，并确定与所述车辆损伤图片对应的损伤识别结果，所述损伤识别结果至少包括损伤框；向用户展示所述损伤识别结果，并接收所述用户基于所述损伤识别结果做出的更改；基于预先训练的长短期记忆网络lstm，将所述损伤识别结果、所述图片特征信息和所述更改作为输入，得到优化后的损伤识别结果。

在一个实施例中，所述损伤识别模型基于以下步骤预先训练：获取标注有损伤识别结果的多张历史车辆损伤图片；基于卷积神经网络cnn，将所述多张历史车辆损伤图片作为训练样本，训练所述损伤识别模型。

在一个实施例中，所述损伤识别结果还包括与损伤框对应的损伤类别；所述更改包括更改损伤框，和/或，更改损伤类别；其中所述更改损伤框包括删除、添加、移动、缩小和放大中的至少一种。

进一步地，一方面，在一个具体的实施例中，其中所述更改包括更改损伤框；所述得到优化后的损伤识别结果，包括：根据所述图片特征信息，获取所述损伤识别模型为获得损伤识别结果而生成的候选损伤框，其中包括所述损伤结果中的损伤框；基于所述更改，更新所述候选损伤框；对于更新后的候选损伤框，基于各个候选损伤框之间的相似度，确定出优化后的损伤框，并将优化后的损伤框作为优化后的损伤识别结果的一部分。

更进一步地，在一个具体的实施例中，其中所述确定出优化后的损伤框，包括：确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度；将所述多个相似度输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤框是否为异常框，所述预测模型包含在所述lstm中；在所述第一候选损伤框不是异常框的情况下，将所述第一候选损伤框作为所述优化后的损伤框中的一部分。

更进一步地，在一个例子中，中所述确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度，包括：计算所述第一候选损伤框对应的第一特征向量，分别与多个其他候选损伤框对应的多个其他特征向量的点积，将多个点积结果确定为所述多个相似度。

在另一个例子中，其中所述预测模型通过正样本和负样本预先训练，所述正样本包括，多个标注为真实损伤的损伤区域，所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域。

在又一个例子中，其中所述预测模型为线性回归模型。

另一方面，在一个具体的实施中，所述损伤识别结果包括多个损伤框，所述多个损伤框包括第一损伤框，所述更改包括删除所述第一损伤框；所述优化所述损伤识别结果，包括：确定所述第一损伤框与多个其他损伤框的多个相似度；将所述多个相似度中低于预设阈值的相似度所对应的损伤框，作为优化后的损伤识别结果的一部分。

根据第二方面，提供另一种优化损伤识别结果的方法，应用于多张图片的处理。该方法包括：获取第一车辆损伤图片的第一图片特征信息和与所述第一车辆损伤图片对应的第一损伤识别结果，以及获取第二车辆损伤图片的第二图片特征信息和与所述第二车辆损伤图片对应的第二损伤识别结果；基于预先训练的长短期记忆网络lstm，将所述第一损伤识别结果、所述第一图片特征信息、所述第二图片特征信息和所述第二损伤识别结果作为输入，得到优化后的所述第二损伤识别结果。

在一个实施例中，其中所述第一图片特征信息和第二图片特征信息基于预先训练的损伤识别模型而分别提取。

在一个实施例中，其中所述第一损伤识别结果和第二损伤识别结果，基于预先训练的损伤识别模型而分别确定，或者，基于权利要求1所述的方法而分别确定。

在一个实施例中，其中所述第二损伤识别结果包括第一损伤框；所述得到优化后的第二损伤识别结果，包括：基于区域匹配定位算法，从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域；根据所述匹配区域对所述第一损伤框的类别进行优化。

在一个实施例中，所述方法还包括：将优化后的第二损伤识别结果和所述第二图片特征信息，以及所述第一损伤识别结果和所述第一图片特征信息作为输入，得到优化后的第一损伤识别结果。

进一步地，在一个具体的实施例中，其中所述第二损伤识别结果包括第一损伤框；所述得到优化后的第二损伤识别结果，包括：基于区域匹配定位算法，从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域；根据所述匹配区域对所述第一损伤框的类别进行优化；其中得到优化后的第一损伤识别结果，包括：根据所述匹配区域优化所述第一损伤识别结果中的至少一个损伤框。

根据第三方面，提供一种优化损伤识别结果的装置，应用于单张图片的处理。该装置包括：获取单元，用于获取用户输入的车辆损伤图片；提取单元，用于基于预先训练的损伤识别模型，提取图片特征信息；确定单元，用于确定与所述车辆损伤图片对应的损伤识别结果，所述损伤识别结果至少包括损伤框；展示单元，用于向用户展示所述损伤识别结果；接收单元，用于接收所述用户基于所述损伤识别结果做出的更改；优化单元，用于基于预先训练的长短期记忆网络lstm，将所述损伤识别结果、所述图片特征信息和所述更改作为输入，得到优化后的所述损伤识别结果。

根据第四方面，提供一种优化损伤识别结果的装置，应用于多张图片的处理。该装置包括：获取单元，用于获取第一车辆损伤图片的第一图片特征信息和与所述第一车辆损伤图片对应的第一损伤识别结果，以及获取第二车辆损伤图片的第二图片特征信息和与所述第二车辆损伤图片对应的第二损伤识别结果；第一优化单元，用于基于预先训练的长短期记忆网络lstm，将所述第一损伤识别结果、所述第一图片特征信息、所述第二图片特征信息和所述第二损伤识别结果作为输入，得到优化后的第二损伤识别结果。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面所描述的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面所描述的方法。

在本说明书实施例披露的优化单张图片的损伤识别结果的方法中，首先基于用户拍摄的单张定损图片提取出图片特征信息，并初步识别出损伤识别结果；然后接收用户对损伤识别结果的修改数据；再基于预先训练的lstm，将提取出的图片特征信息、初步识别出的损伤识别结果和用户修改数据作为输入，更新损伤识别结果。如果用户对更新后的损伤识别结果仍不满意，还可以再次修改，如此直到用户对定损结果满意为止。

附图说明

为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出根据一个实施例的lstm中神经元的时序图；

图2为本说明书批露的一个实施例的实施场景示意图；

图3示出根据一个实施例的优化损伤识别结果的方法流程图；

图4a示出车辆损伤图片的一个示例；

图4b示出损伤识别模型识别出的损伤识别结果的例子；

图4c示出用户修改后的损伤识别结果；

图4d示出优化后的损伤识别结果；

图5示出根据一个实施例的lstm在使用过程中的时序示意图；

图6示出根据一个实施例的优化损伤识别结果的方法流程图；

图7a示出车辆损伤图片的一个示例；

图7b示出损伤识别模型识别出的损伤识别结果的例子；

图7c示出优化后的损伤识别结果；

图7d示出优化后的损伤识别结果；

图8示出根据一个实施例的优化损伤识别结果的装置结构图；

图9示出根据一个实施例的优化损伤识别结果的装置结构图。

具体实施方式

下面结合附图，对本说明书披露的多个实施例进行描述。

本说明书实施例披露一种优化损伤识别结果的方法,下面首先介绍所述方法的发明构思。

为了对车辆定损图片中的损伤状况进行识别，业界普遍采用的方法是，通过与海量历史数据库进行比对得到相似的图片,来决定图片上的损伤部件及其程度。然而，这样的方式损伤识别准确率不够理想。此外，还采用样本标注的方式训练一些损伤识别模型，进行车辆损伤的识别。在进行损伤识别过程中，由于受到光照、污渍、拍摄角度、距离、车型等各种因素的影响，使得损伤识别准确率不够高，比如，在识别结果中很可能会出现真正的损伤能够正确检测，而同时少量反光或污渍也会被检测成损伤的情况，从而出现错误检测。

而且，损伤识别模型通常被用于定损客户端中，以使普通用户可以拍摄现场损失图片，并将现场损失图片上传至定损客户端中，从而实现自动定损。鉴于现有的损伤识别模型的准确率不够高，用户可能对损伤识别结果并不满意，在这种情况下，用户通常会补拍或更换部分照片，然后上传至定损客户端重新定损，客户端通常会将更新后的所有照片作为输入，重新定损，如此多次反复可能还是很难让用户满意，同时，还会造成较大的资源开销，以及消耗用户较多的时间。

为了快速得到令用户满意的损伤识别结果，发明人想到，可以通过与用户的交互的方式，得到用户对损伤识别结果的反馈数据，并结合反馈数据更新损伤识别结果。

进一步地，考虑到长短期记忆网络lstm可以用于处理时间序列信息，具体地，lstm中的计算单元，例如神经元，可以记忆以前的信息，并将其作为之后的输入。具体地，参见图1中示出的lstm中神经元的时序图，对于某个神经元，xt-1、xt、xt+1分别表示t-1时刻、t时刻和t+1时刻的输入，a1、a2、a3分别表示t-1时刻、t时刻和t+1时刻神经元的状态，而ht-1、ht、ht+1分别表示t-1时刻、t时刻和t+1时刻的输出，其中：

at＝g(u*xt-1+w*ht-1+ba)(1)

ht＝f(v*at-1+bh)(2)

at+1＝g(u*xt+w*ht+ba)(3)

ht+1＝f(v*at+bh)(4)

从图1中可以看出，t时刻的输出ht是由上一时刻的输出ht-1和当前的输入xt共同决定的。因此，可以利用lstm能够处理时序信息的特点，结合用户对损伤识别结果的修改反馈，实现对损伤识别结果的更新。如此，既利用了用户的反馈数据，还可以利用之前已确定的损伤数据，从而可以更加快速、准确地更新损伤识别结果，以使用户满意。

图2为本说明书批露的一个实施例的实施场景示意图。如图2所示，车辆损伤图片首先被输入到损伤识别模型进行损伤识别，损伤识别模型将提取图片的特征信息，同时，如果图片中包括多处损伤，例如，变形、刮擦等，通常识别模型会从图片中识别出多个候选损伤区域作为检测结果。根据本说明书的实施例，接收用户输入的修改，并基于修改数据，以及经过损伤识别模型提取的车辆损伤图片的图片特征信息，更新检测结果，直到用户满意。下面描述优化损伤识别结果的具体实现过程。

图3示出根据一个实施例的优化损伤识别结果的方法流程图，所述方法用于对单张图片进行处理，且其执行主体可以为具有处理能力的设备：服务器或者系统或者装置。如图3所示，该方法流程包括以下步骤：步骤s310，获取用户输入的车辆损伤图片；步骤s320，基于预先训练的损伤识别模型，提取图片特征信息，并确定与车辆损伤图片对应的损伤识别结果，其中损伤识别结果至少包括损伤框；步骤s330，向用户展示损伤识别结果，并接收用户基于损伤识别结果做出的更改；步骤s340，基于预先训练的lstm，将损伤识别结果、图片特征信息和用户更改作为输入，得到优化后的损伤识别结果。下面描述以上各个步骤的执行方式。

首先，在步骤s310，获取用户输入的车辆损伤图片。可以理解，该图片可以是普通用户拍摄的车损现场的图片，是有待进行损伤识别的图片。

图4a示出车辆损伤图片的一个示例。该图片是普通用户拍摄的未经处理的现场图片。

接着在步骤s320，基于预先训练的损伤识别模型，提取图片特征信息，并确定与车辆损伤图片对应的损伤识别结果，其中损伤识别结果至少包括损伤框。

在一个实施例中，其中损伤识别模型基于以下步骤预先训练：首先获取标注有损伤识别结果的多张历史车辆损伤图片；然后基于卷积神经网络(convolutionalneuralnetwork，简称cnn)，将多张历史车辆损伤图片作为训练样本，训练损伤识别模型。在一个具体的实施例中，其中标注的损伤识别结果包括损伤框，即，包括损伤对象的边框(boundingbox)和损伤类别，即，边框中损伤对象的类别，相应地，基于该模型识别出来的损伤识别结果包括损伤框和损伤类别。进一步地，其标注的损伤识别结果还可以包括损伤分割结果，例如，损伤的轮廓信息或蒙层(mask)信息，相应地，该模型识别出来的损伤识别结果还可以包括损伤分割结果。

在一个实施例中，将车辆损伤图片输入损伤识别模型之后，该模型会先提取图片特征信息，然后再基于图片特征信息生成损伤识别结果。在一个具体的实施例中，其中图片特征信息可以包括基于cnn生成的特征图(featuremap)，进一步地，基于此特征图可以采集感兴趣区域(regionofinterest，简称roi)中的特征信息，进而进行损伤的分类(classification)、边框回归(boundingboxregression)和分割(segmentation)，再确定出损伤识别结果。在另一个具体的实施例中，其中图片特征信息除了包括特征图，还可以包括cnn网络中其他层的信息，例如，roi的特征信息，或者候选损伤框的特征信息。

以上，可以初步确定出与车辆损伤图片对应的损伤识别结果。接着，在步骤s330，向用户展示损伤识别结果，并接收用户基于损伤识别结果做出的更改。

需要说明的是，用户在查看初步确定的损伤识别结果之后，在认可该损伤识别结果的情况下，可以对此结果进行确认操作，响应于该确认操作可以将此结果直接作为对应车辆损伤图片在单张图片的损伤识别阶段的最终结果，并结束当前流程。

另一方面，当用户对该损伤识别结果不满意的情况下，可以对损伤识别结果进行更改。在一个实施例中，损伤识别结果中可以包括损伤框，相应的更改可以包括更改损伤框，如删除、添加、移动、缩小和放大等。进一步地，在一个具体的实施例中，损伤识别结果中还包括与损伤框对应的损伤类别，相应的更改可以包括更改损伤类别。

根据一个具体的例子，如图4b所示，其中包括基于损伤识别模型，确定出的图4a中车辆损伤图片的损伤识别结果，即三个损伤框和对应的损伤类别。进一步地，假定用户认为右后车门上的损伤框实际上是光反，并非是变形损伤，则可以将该损伤框进行删除，与其对应的损伤类别随之被删除。如图4c所示，图中示出用户修改后的损伤识别结果界面。由此可知，用户更改包括删除损伤类别为右后车门中度变形的损伤框。

以上，可以得到基于损伤识别模型提取的图片特征信息和基于图片特征信息确定的损伤识别结果，以及用户对损伤识别结果的更改数据。然后，在步骤s340，基于预先训练的lstm，将损伤识别结果、图片特征信息和用户更改作为输入，得到优化后的损伤识别结果。

在一个实施例中，如图5所示，h0表示基于损伤识别模型确定的初步损伤识别结果，x1表示图片特征信息，此时用户没有修改，所以输出的h1仍为初步损伤识别结果；进一步地，x2表示图片特征信息和用户基于初步损伤识别结果进行的更改，将h1和x2输入预先训练的lstm中，可以得到的优化后的损伤识别结果h2。

更进一步地，后续可以继续接收用户对损伤识别结果的更改，并将此次更改和图片特征信息作为xn，以及将xn和此次修改所基于的损伤识别结果hn-1输入lstm中，以得到对应的优化识别结果hn。

需要说明的是，预先训练lstm的过程与使用训练好的lstm的过程类似，区别在于在训练lstm的过程中，需要使用大量的标注有损伤识别结果的车辆损伤样本，并结合与工作人员的交互数据，以对lstm进行训练。因此，对lstm的训练过程的介绍可以参见以下对其的使用过程的介绍，在此不作赘述。

此外，考虑到一次碰撞或者刮擦事故造成的车体表面的多处损伤往往具有相似的视觉特征，比如损伤的高度基本一致，痕迹趋于连贯，或者由于刮擦而附着上的颜色相同。同时，对于容易被误判为损伤的反光、污渍等，通常具有类似的视觉效果。根据这样的特点，提出在使用lstm优化损伤识别结果的过程中引入attention机制，即注意力机制，来进一步优化损伤检测的结果。

attention机制是自然语言处理中常常用到的一个概念。在进行自然语言处理，需要理解一个词或一句话的意思的时候，上下文的信息非常关键，可以帮助理解一个词或一句话的准确意思。然而，不同位置的上下文对当前要处理的词句的影响作用并不相同，要投入的“注意力”也就不同，并且对当前词句最有影响的上下文的位置并不固定，因为它可能出现在当前词句之前或之后，距离也不确定。因此就需要attention机制解决这样的问题。

attention机制也可以被应用到图像处理领域中。例如，可以应用该机制去学习和确定，在一张图片中，哪些区域是对识别当前对象比较关键的区域，也就是需要投入更多注意力的区域。

基于lstm可以处理数据序列和attention机制的特点，在本说明书的一个或多个实施例中，借鉴attention机制的思路，对于损伤识别模型识别出的多个损伤框，关注某个损伤框与其他损伤框之间的相似度关联，由此排除异常区域(outlier)，优化损伤检测的结果。

在一个实施例中，损伤识别结果中包括多个损伤框，用户更改包括对其中某个损伤框的删除，被删除的损伤框中的损伤对象很可能不是损伤，如实为污渍等，或者不是此次事故造成的损伤。由此可以推想，在其他损伤框中，如果存在与被删除的损伤框较为相似的损伤框，也需要对其进行删除，并保留不太相似的损伤框。由此，在一个具体的实施例中，用户更改包括删除损伤识别结果中的第一损伤框，相应地，优化损伤识别结果可以包括：首先确定第一损伤框与多个其他损伤框的多个相似度，然后将多个相似度中低于预设阈值的相似度所对应的损伤框，作为优化后的损伤识别结果的一部分。进一步地，在一个具体的实施例中，确定损伤框之间的相似度可以包括，首先确定损伤框对应的特征向量，然后将对应的特征向量之间的点积作为相似度。

根据一个具体的例子，损伤识别结果包括图4b中示出的三个损伤框，用户对其中的“右后车门中度变形”进行了删除，据此，可以分别计算损伤类别为“右后车门中度变形”损伤框(记为损伤框1)与损伤类别为“翼子板中度变形”的损伤框(记为损伤框2)、以及与损伤类别为“右后车门轻度刮擦”的损伤框(记为损伤框3)之间的相似度，假定计算出的相似度分别为0.8和0.1，而预设阈值为0.7，则可以对损伤类别为“翼子板中度变形”的损伤框2进行删除，优化后的损伤识别结果如图4d所示。可以看到，损伤框2与用户删除的损伤框1之间存在较高的相似度(实际上两者都是光反)，在用户确认损伤框1不是真实损伤因而进行删除的情况下，经过损伤优化过程，与损伤框1相似的损伤框2也得到删除。

另一方面，在用户通过更多方式更改损伤框的情况下，可以利用损伤识别模型在生成损伤识别结果过程中产生的候选损伤框，基于用户的更改进行损伤识别优化。

一般来说，损伤识别模型为了识别损伤结果，在提取图片特征信息后，会基于图片特征信息生成候选损伤框，然后再根据预设的判别条件，从候选损伤框中确定出至少一部分损伤框，作为损伤结果中的损伤框。基于此，在用户更改损伤框的情况下，优化损伤识别结果可以包括：首先获取损伤识别模型基于图片特征信息生成的候选损伤框，其中包括所述损伤结果中的损伤框；接着基于用户对损伤识别结果中损伤框的更改，更新候选损伤框；然后，对于更新后的候选损伤框，基于各个候选损伤框之间的相似度，确定出优化后的损伤框，并将优化后的损伤框作为优化后的损伤识别结果的一部分。

进一步地，根据一个具体的实施例，其中从更新后的候选损伤框中确定出优化后的损伤框，包括：首先，确定更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度；接着，将多个相似度输入预定的预测模型，并根据预测模型的输出结果，确定第一候选损伤框是否为异常框；然后，在第一候选损伤框不是异常框的情况下，将第一候选损伤框作为优化后的损伤框中的一部分。

更进一步地，在一个具体的实施例中，确定更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度可以包括：计算第一候选损伤框对应的第一特征向量，分别与多个其他候选损伤框对应的多个其他特征向量的点积，将多个点积结果确定为所述多个相似度。在其他实施例中，还可以基于候选损伤框的特征向量之间的其他数学运算，例如求差值向量，求距离等，确定候选损伤框之间的相似度。

关于候选损伤框的特征向量的提取，在一个例子中，确定与各个候选损伤框对应的特征向量，可以包括：基于图片特征信息中包括的特征图，提取与各个候选损伤框对应的特征向量。在另一个例子中，其中确定与各个候选损伤框对应的特征向量，可以包括：从原始的车辆损伤图片的像素特征中获取各个候选损伤框对应的像素特征，例如rgb像素值，然后基于这些像素特征提取各个候选损伤区域的特征向量。

在一个具体的实施例中，其中预测模型可以通过正样本和负样本预先训练，然后直接将训练好的预测模型作为lstm中的一部分。进一步地，其中正样本包括，多个标注为真实损伤的损伤区域，所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域。需要说明的是，其中的损伤区域和非损伤区域可以理解为对应的标注损伤框所围成的区域。在一个例子中，预测模型可以为线性回归模型。在另一个具体的实施例中，预测模型可以与lstm中的其他部分联合协同训练，也就是说，lstm的训练过程包括对预测模型中参数的确定。

根据一个具体的例子，由损伤识别模型生成的候选损伤框包括损伤框a、损伤框b、损伤框c、损伤框d和损伤框e，其中损伤框a、损伤框b和损伤框c为损伤结果中的损伤框。同时，用户对损伤框的更改包括对损伤框b的删除，以及将损伤框c缩小为损伤框c’，由此可以得到更新后的候选损伤框包括：损伤框a、损伤框c’、损伤框d和损伤框e。然后，可以分别确定损伤框a与损伤框c’、损伤框d和损伤框e之间的相似度，并将这三个相似度输入预测模型中，以确定损伤框a是否为异常框，同理，还可以分别确定出损伤框c’、损伤框d和损伤框e是否为异常框。假定确定出损伤框a、损伤框c’和损伤框d不是异常框，而损伤框e为异常框，由此可以将损伤框a、损伤框c’和损伤框d作为优化后的损伤结果的一部分。

以上，在lstm的基础上引入attention机制，可以实现对损伤识别结果的进一步优化。

综上可知，采用本说明书实施例提供的优化损伤识别结果的方法，首先基于用户拍摄的单张定损图片提取出图片特征信息，并初步识别出损伤识别结果；然后接收用户对损伤识别结果的修改数据；再基于预先训练的lstm，将提取出的图片特征信息、初步识别出的损伤识别结果和用户修改数据作为输入，更新损伤识别结果。如果用户对更新后的损伤识别结果仍不满意，还可以再次修改，如此直到用户对定损结果满意为止。

以上，主要讨论的是针对单张定损图片的优化损伤识别结果的方法。考虑到定损过程中通常涉及到多张定损图片，除了采用前述方法对其中各张定损图片分别进行损伤识别及优化损伤识别结果之外，发明人认为，还可以考虑各张定损图片之间的关联信息，以实现对多张定损图片的损伤识别结果的共同优化。

同样地，考虑到lstm可以处理时间序列信息，本说明书实施例还提供一种用于多张图片的优化损伤识别结果的方法。图6示出根据一个实施例的优化损伤识别结果的方法流程图，所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置，例如，定损客户端。如图6所示，该方法流程包括以下步骤：步骤s610，获取第一车辆损伤图片的第一图片特征信息和与所述第一车辆损伤图片对应的第一损伤识别结果，以及获取第二车辆损伤图片的第二图片特征信息和与所述第二车辆损伤图片对应的第二损伤识别结果；步骤s620，基于预先训练的长短期记忆网络lstm，将第一损伤识别结果、第一图片特征信息、第二图片特征信息和第二损伤识别结果作为输入，得到优化后的第二损伤识别结果。下面介绍以上各步骤的执行方式。

首先，在步骤s610，获取第一车辆损伤图片的第一图片特征信息和与所述第一车辆损伤图片对应的第一损伤识别结果，以及获取第二车辆损伤图片的第二图片特征信息和与所述第二车辆损伤图片对应的第二损伤识别结果。

在一个实施例中，可以基于预先训练的损伤识别模型，提取第一车辆损伤图片的第一图片特征信息，并确定第一损伤识别结果，以及提取第二车辆损伤图片的第二图片特征信息，并确定第二损伤识别结果。其中对于损伤识别模型、图片特征信息和损伤识别结果的介绍可以参见前述实施例，在此不作赘述。

进一步地，在一个具体的实施例中，其中获取的第一损伤识别结果或第二损伤识别结果还可以为基于图3示出的方法优化后的损伤识别结果。在一个例子中，第一损伤识别结果为基于用户交互数据优化后的损伤识别结果，而第二损伤识别结果为基于损伤识别模型初步确定的损伤识别结果，由此，可以结合第一损伤识别结果对第二损伤识别结果进行优化，再将优化后的第二损伤识别结果展示给用户。

接着，在步骤s620，基于预先训练的长短期记忆网络lstm，将第一损伤识别结果、第一图片特征信息、第二图片特征信息和第二损伤识别结果作为输入，得到优化后的第二损伤识别结果。

需要说明的是，此处涉及的预先训练的lstm与前述步骤s340中提及的预先训练的lstm不相同，前述步骤s340中的预先训练的lstm用于根据用户的交互数据优化单张定损图片的定损结果，而此步骤中的lstm用于根据其他图片的定损结果来优化当前图片的定损结果。可以理解的是，这是两个需要分别训练的模型，但是，可以将这两个模型进行嵌套使用。

在一个实施例中，可以将第一图片特征信息和第一损伤识别结果作为初始输入，以及将第二图片特征信息和第二损伤识别结果作为当前时刻的新增输入，并将这两部分的输入共同输入到预先训练的lstm中，以得到优化后的第二损伤识别结果。同样地，可以在lstm的基础上结合attention机制，以使第二损伤识别结果得到更好的优化。

在一个实施例中，第二损伤结果中包括第一损伤框，相应地，优化第二损伤识别结果可以包括：首先，基于区域匹配定位算法，从第一车辆图片中确定与第一损伤框匹配的匹配区域；然后，根据匹配区域对第一损伤框的类别进行优化。

在一个具体的例子中，用户发现图4d中车灯的损伤没有被识别出来，因此增加了一张对车灯拍摄的近景图片，具体如图7a所示。此时，基于损伤识别模型可以确定出图7b中示出的第二损伤识别结果，即，第一损伤框和对应的损伤类别“车灯碎裂”。据此，从图片中识别出车灯碎裂的类别信息，但具体是哪个车灯发生碎裂，比如车辆前灯或车辆尾灯没有被识别出来，但基于图4d可以得知，为车辆右侧尾灯。具体地，优化第二损伤识别结果可以包括：首先，基于区域匹配定位算法，从第一车辆图片中确定与第一损伤框匹配区域；然后，获取基于图片特征信息识别出的匹配区域的部件信息，即车辆右侧尾灯，将第一损伤框的类别优化为“车辆右侧尾灯碎裂”，并将优化后的损伤识别结果展示给用户，如图7c所示。

需要说明的是，在步骤s620之后，一方面，用户可以继续拍摄车辆损伤图片，或者对已拍摄的车辆损伤图片进行选择性删除，基于用户对图片的添加或删除操作，可以采用图6示出的优化方法对损伤识别结果进行更新优化。另一方面，还可以采用图3示出的步骤s330和步骤s340，通过接收用户对第二损伤识别结果的修改，对第二损伤识别结果进行进一步优化，直到用户对第二损伤识别结果满意为止。

此外，在步骤s620之后，可以包括将优化后的第二损伤识别结果和所述第二图片特征信息，以及所述第一损伤识别结果和所述第一图片特征信息作为输入，以优化所述第一损伤识别结果。也就是说，在根据第一损伤识别结果对第二损伤识别结果进行优化以后，接着可以利用优化后的第二损伤识别结果对第一损伤识别结果进行优化。

如前述实施例，优化第二损伤识别结果可以包括：首先基于区域匹配定位算法，从第一车辆图片中确定与第一损伤框匹配的匹配区域；然后根据匹配区域对第一损伤框的类别进行优化。

进一步地，优化第二损伤识别结果可以包括：根据所述匹配区域优化第一损伤识别结果中的至少一个损伤框。根据一个具体的例子，如图7c所示，优化后的第二损伤识别结果包括类别为“车辆右侧尾灯碎裂”的损伤框，据此可以在第一车辆图片中与该损伤框的匹配区域，标识出相应的损伤框，优化后的第一损伤识别结果如图7d所示。

综上可知，采用本说明书实施例提供的优化损伤识别结果的方法，可以结合其他图片的定损结果，对当前图片的定损结果进行优化。

根据再一方面的实施例，还提供一种优化装置，应用于单张图片的处理。图8示出根据一个实施例的优化损伤识别结果的装置结构图，该装置800包括：

获取单元810，用于获取用户输入的车辆损伤图片；

提取单元820，用于基于预先训练的损伤识别模型，提取图片特征信息；

确定单元830，用于确定与所述车辆损伤图片对应的损伤识别结果，所述损伤识别结果至少包括损伤框；

展示单元840，用于向用户展示所述损伤识别结果；

接收单元850，用于接收所述用户基于所述损伤识别结果做出的更改；

优化单元860，用于基于预先训练的长短期记忆网络lstm，将所述损伤识别结果、所述图片特征信息和所述更改作为输入，得到优化后的损伤识别结果。

在一个实施例中，所述提取单元中的损伤识别模型基于以下步骤预先训练：

获取标注有损伤识别结果的多张历史车辆损伤图片；

基于卷积神经网络cnn，将所述多张历史车辆损伤图片作为训练样本，训练所述损伤识别模型。

在一个实施例中，所述损伤识别结果还包括与损伤框对应的损伤类别；所述更改包括更改损伤框，和/或，更改损伤类别；其中所述更改损伤框包括删除、添加、移动、缩小和放大中的至少一种。

进一步地，一方面，在一个具体的实施例中，其中所述更改包括更改损伤框；所述优化单元860具体包括：

获取子单元861，用于根据图片特征信息，获取所述损伤识别模型为获得损伤识别结果而生成的候选损伤框，其中包括所述损伤结果中的损伤框；

更新子单元862，用于基于所述更改，更新所述候选损伤框；

确定子单元863，用于对于更新后的候选损伤框，基于各个候选损伤框之间的相似度，确定出优化后的损伤框，并将优化后的损伤框作为优化后的损伤识别结果的一部分。

更进一步地，在一个例子中，其中所述确定子单元863具体用于：

确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度；

将所述多个相似度输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤框是否为异常框，所述预测模型包含在所述lstm中；

在所述第一候选损伤框不是异常框的情况下，将所述第一候选损伤框作为所述优化后的损伤框中的一部分。

更进一步地，在一个例子中，其中所述确定子单元863具体用于确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度，包括：

计算所述第一候选损伤框对应的第一特征向量，分别与多个其他候选损伤框对应的多个其他特征向量的点积，将多个点积结果确定为所述多个相似度。

在另一个例子中，其中所述预测模型通过正样本和负样本预先训练，所述正样本包括，多个标注为真实损伤的损伤区域，所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域。

在又一个例子中，其中所述预测模型为线性回归模型。

另一方面，在一个具体的实施例中，所述损伤识别结果包括多个损伤框，所述多个损伤框包括第一损伤框，所述更改包括删除所述第一损伤框；所述优化单元860具体用于：

确定所述第一损伤框与多个其他损伤框的多个相似度；

将所述多个相似度中低于预设阈值的相似度所对应的损伤框，作为优化后的损伤识别结果的一部分。

综上可知，采用本说明书实施例提供的优化损伤识别结果的装置，首先基于用户拍摄的单张定损图片提取出图片特征信息，并初步识别出损伤识别结果；然后接收用户对损伤识别结果的修改数据；再基于预先训练的lstm，将提取出的图片特征信息、初步识别出的损伤识别结果和用户修改数据作为输入，更新损伤识别结果。如果用户对更新后的损伤识别结果仍不满意，还可以再次修改，如此直到用户对定损结果满意为止。

根据再一方面的实施例，还提供一种用于优化装置，应用于多张图片的处理。图9示出根据一个实施例的优化损伤识别结果的装置结构图，如图9所示，该装置900包括：

获取单元910，用于获取第一车辆损伤图片的第一图片特征信息和与所述第一车辆损伤图片对应的第一损伤识别结果，以及获取第二车辆损伤图片的第二图片特征信息和与所述第二车辆损伤图片对应的第二损伤识别结果；

第一优化单元920，用于基于预先训练的长短期记忆网络lstm，将所述第一损伤识别结果、所述第一图片特征信息、所述第二图片特征信息和所述第二损伤识别结果作为输入，得到优化后的第二损伤识别结果。

在一个实施例中，其中所述第一图片特征信息和第二图片特征信息基于预先训练的损伤识别模型而分别提取。

在一个实施例中，其中所述第一损伤识别结果和第二损伤识别结果，基于预先训练的损伤识别模型而分别确定，或者，基于图3中示出的方法而分别确定。

在一个实施例中，其中所述第二损伤识别结果包括第一损伤框；所述第一优化单元920具体用于：

基于区域匹配定位算法，从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域；

根据所述匹配区域对所述第一损伤框的类别进行优化。

在一个实施例中，该装置还包括：

第二优化单元930，用于将优化后的第二损伤识别结果和所述第二图片特征信息，以及所述第一损伤识别结果和所述第一图片特征信息作为输入，得到优化后的第一损伤识别结果。

进一步地，在一个具体的实施例中，其中所述第二损伤识别结果包括第一损伤框；所述第一优化单元920具体用于：

基于区域匹配定位算法，从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域；

根据所述匹配区域对所述第一损伤框的类别进行优化；

其中所述第二优化单元930具体用于：根据所述匹配区域优化所述第一损伤识别结果中的至少一个损伤框。

综上可知，采用本说明书实施例提供的优化损伤识别结果的装置，可以结合其他图片的定损结果，对当前图片的定损结果进行优化。

如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3或图6所描述的方法。

根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3或图6所描述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。