优化损伤识别结果的方法及装置与流程

文档序号:19419932发布日期:2019-12-14 01:19阅读:来源:国知局

技术特征:

1.一种优化损伤识别结果的方法,所述方法应用于单张图片的处理,所述方法包括:

获取用户输入的车辆损伤图片;

基于预先训练的损伤识别模型,提取图片特征信息,并确定与所述车辆损伤图片对应的损伤识别结果,所述损伤识别结果至少包括损伤框;

向用户展示所述损伤识别结果,并接收所述用户基于所述损伤识别结果做出的更改;

基于预先训练的长短期记忆网络lstm,将所述损伤识别结果、所述图片特征信息和所述更改作为输入,得到优化后的损伤识别结果。

2.根据权利要求1所述的方法,其中,所述损伤识别模型基于以下步骤预先训练:

获取标注有损伤识别结果的多张历史车辆损伤图片;

基于卷积神经网络cnn,将所述多张历史车辆损伤图片作为训练样本,训练所述损伤识别模型。

3.根据权利要求1所述的方法,其中,所述损伤识别结果还包括与损伤框对应的损伤类别;所述更改包括更改损伤框,和/或,更改损伤类别;其中所述更改损伤框包括删除、添加、移动、缩小和放大中的至少一种。

4.根据权利要求3所述的方法,其中所述更改包括更改损伤框;所述得到优化后的损伤识别结果,包括:

根据所述图片特征信息,获取所述损伤识别模型为获得损伤识别结果而生成的候选损伤框,其中包括所述损伤结果中的损伤框;

基于所述更改,更新所述候选损伤框;

对于更新后的候选损伤框,基于各个候选损伤框之间的相似度,确定出优化后的损伤框,并将优化后的损伤框作为优化后的损伤识别结果的一部分。

5.根据权利要求4所述的方法,其中所述确定出优化后的损伤框,包括:

确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度;

将所述多个相似度输入预定的预测模型,根据预测模型的输出结果,确定第一候选损伤框是否为异常框,所述预测模型包含在所述lstm中;

在所述第一候选损伤框不是异常框的情况下,将所述第一候选损伤框作为所述优化后的损伤框中的一部分。

6.根据权利要求5所述的方法,其中所述确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度,包括:

计算所述第一候选损伤框对应的第一特征向量,分别与多个其他候选损伤框对应的多个其他特征向量的点积,将多个点积结果确定为所述多个相似度。

7.根据权利要求5所述的方法,其中所述预测模型通过正样本和负样本预先训练,所述正样本包括,多个标注为真实损伤的损伤区域,所述负样本包括,多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域。

8.根据权利要求5所述的方法,其中所述预测模型为线性回归模型。

9.根据权利要求3所述的方法,其中,所述损伤识别结果包括多个损伤框,所述多个损伤框包括第一损伤框,所述更改包括删除所述第一损伤框;所述优化所述损伤识别结果,包括:

确定所述第一损伤框与多个其他损伤框的多个相似度;

将所述多个相似度中低于预设阈值的相似度所对应的损伤框,作为优化后的损伤识别结果的一部分。

10.一种优化损伤识别结果的方法,所述方法应用于多张图片的处理,所述方法包括:

获取第一车辆损伤图片的第一图片特征信息和与所述第一车辆损伤图片对应的第一损伤识别结果,以及获取第二车辆损伤图片的第二图片特征信息和与所述第二车辆损伤图片对应的第二损伤识别结果;

基于预先训练的长短期记忆网络lstm,将所述第一损伤识别结果、所述第一图片特征信息、所述第二图片特征信息和所述第二损伤识别结果作为输入,得到优化后的所述第二损伤识别结果。

11.根据权利要求10所述的方法,其中所述第一图片特征信息和第二图片特征信息基于预先训练的损伤识别模型而分别提取。

12.根据权利要求10所述的方法,其中所述第一损伤识别结果和第二损伤识别结果,基于预先训练的损伤识别模型而分别确定,或者,基于权利要求1所述的方法而分别确定。

13.根据权利要求10所述的方法,其中所述第二损伤识别结果包括第一损伤框;所述得到优化后的第二损伤识别结果,包括:

基于区域匹配定位算法,从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域;

根据所述匹配区域对所述第一损伤框的类别进行优化。

14.根据权利要求10所述的方法,还包括:

将优化后的第二损伤识别结果和所述第二图片特征信息,以及所述第一损伤识别结果和所述第一图片特征信息作为输入,得到优化后的第一损伤识别结果。

15.根据权利要求14所述的方法,其中所述第二损伤识别结果包括第一损伤框;所述得到优化后的第二损伤识别结果,包括:

基于区域匹配定位算法,从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域;

根据所述匹配区域对所述第一损伤框的类别进行优化;

其中所述得到优化后的第一损伤识别结果,包括:根据所述匹配区域优化所述第一损伤识别结果中的至少一个损伤框。

16.一种优化损伤识别结果的装置,所述装置应用于单张图片的处理,所述装置包括:

获取单元,用于获取用户输入的车辆损伤图片;

提取单元,用于基于预先训练的损伤识别模型,提取图片特征信息;

确定单元,用于确定与所述车辆损伤图片对应的损伤识别结果,所述损伤识别结果至少包括损伤框;

展示单元,用于向用户展示所述损伤识别结果;

接收单元,用于接收所述用户基于所述损伤识别结果做出的更改;

优化单元,用于基于预先训练的长短期记忆网络lstm,将所述损伤识别结果、所述图片特征信息和所述更改作为输入,得到优化后的损伤识别结果。

17.根据权利要求16所述的装置,其中,所述提取单元中的损伤识别模型基于以下步骤预先训练:

获取标注有损伤识别结果的多张历史车辆损伤图片;

基于卷积神经网络cnn,将所述多张历史车辆损伤图片作为训练样本,训练所述损伤识别模型。

18.根据权利要求16所述的装置,其中,所述损伤识别结果还包括与损伤框对应的损伤类别;所述更改包括更改损伤框,和/或,更改损伤类别;其中所述更改损伤框包括删除、添加、移动、缩小和放大中的至少一种。

19.根据权利要求18所述的装置,其中所述更改包括更改损伤框;所述优化单元具体包括:

获取子单元,用于根据所述图片特征信息,获取所述损伤识别模型为获得损伤识别结果而生成的候选损伤框,其中包括所述损伤结果中的损伤框;

更新子单元,用于基于所述更改,更新所述候选损伤框;

确定子单元,用于对于更新后的候选损伤框,基于各个候选损伤框之间的相似度,确定出优化后的损伤框,并将优化后的损伤框作为优化后的损伤识别结果的一部分。

20.根据权利要求19所述的装置,所述确定子单元具体用于:

确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度;

将所述多个相似度输入预定的预测模型,根据预测模型的输出结果,确定第一候选损伤框是否为异常框,所述预测模型包含在所述lstm中;

在所述第一候选损伤框不是异常框的情况下,将所述第一候选损伤框作为所述优化后的损伤框中的一部分。

21.根据权利要求20所述的装置,其中所述确定子单元具体用于确定所述更新后的候选损伤框中任意的第一候选损伤框与其他候选损伤框的多个相似度,包括:

计算所述第一候选损伤框对应的第一特征向量,分别与多个其他候选损伤框对应的多个其他特征向量的点积,将多个点积结果确定为所述多个相似度。

22.根据权利要求21所述的装置,其中所述预测模型通过正样本和负样本预先训练,所述正样本包括,多个标注为真实损伤的损伤区域,所述负样本包括,多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域。

23.根据权利要求22所述的装置,其中所述预测模型为线性回归模型。

24.根据权利要求18所述的装置,所述损伤识别结果包括多个损伤框,所述多个损伤框包括第一损伤框,所述更改包括删除所述第一损伤框;所述优化单元具体用于:

确定所述第一损伤框与多个其他损伤框的多个相似度;

将所述多个相似度中低于预设阈值的相似度所对应的损伤框,作为优化后的损伤识别结果的一部分。

25.一种优化损伤识别结果的装置,所述装置应用于多张图片的处理,所述装置包括:

获取单元,用于获取第一车辆损伤图片的第一图片特征信息和与所述第一车辆损伤图片对应的第一损伤识别结果,以及获取第二车辆损伤图片的第二图片特征信息和与所述第二车辆损伤图片对应的第二损伤识别结果;

第一优化单元,用于基于预先训练的长短期记忆网络lstm,将所述第一损伤识别结果、所述第一图片特征信息、所述第二图片特征信息和所述第二损伤识别结果作为输入,得到优化后的所述第二损伤识别结果。

26.根据权利要求25所述的装置,其中所述第一图片特征信息和第二图片特征信息基于预先训练的损伤识别模型而分别提取。

27.根据权利要求25所述的装置,其中所述第一损伤识别结果和第二损伤识别结果,基于预先训练的损伤识别模型而分别确定,或者,基于权利要求1所述的方法而分别确定。

28.根据权利要求25所述的装置,其中所述第二损伤识别结果包括第一损伤框;所述第一优化单元具体用于:

基于区域匹配定位算法,从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域;

根据所述匹配区域对所述第一损伤框的类别进行优化。

29.根据权利要求25所述的装置,还包括:

第二优化单元,用于将优化后的第二损伤识别结果和所述第二图片特征信息,以及所述第一损伤识别结果和所述第一图片特征信息作为输入,得到优化后的第一损伤识别结果。

30.根据权利要求29所述的装置,其中所述第二损伤识别结果包括第一损伤框;所述第一优化单元具体用于:

基于区域匹配定位算法,从所述第一车辆图片中确定与所述第一损伤框匹配的匹配区域;

根据所述匹配区域对所述第一损伤框的类别进行优化;

其中所述第二优化单元具体用于:根据所述匹配区域优化所述第一损伤识别结果中的至少一个损伤框。

31.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-15中任一项的所述的方法。

32.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-15中任一项所述的方法。


技术总结
本说明书实施例提供优化损伤识别结果的方法,一方面,该方法包括根据与用户进行交互的数据,对单张图片的损伤识别结果进行优化的方法,具体包括:首先,基于CNN算法识别出单张图片的初步损伤识别结果,展示给用户,并接收用户对初步损伤识别结果的修改,然后结合此修改,通过LSTM和Attention机制影响重新输出损伤识别结果,并再次展示给用户,直到用户满意;另一方面,该方法还包括基于其他图片的损伤识别结果,对当前图片的损伤识别结果进行优化的方法,具体包括:基于CNN算法识别出当前图片的初步损伤识别结果,然后结合其他图片的损伤识别结果,通过LSTM和Attention机制对当前图片的初步损伤识别结果进行优化。

技术研发人员:徐娟
受保护的技术使用者:阿里巴巴集团控股有限公司
技术研发日:2018.09.26
技术公布日:2019.12.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1