损伤等级模型的性能分析方法及系统的制作方法
【专利摘要】损伤等级模型的性能分析方法及系统，包括：对分类模型性能指标进行分析的步骤和对测试数据结果进行分析的步骤。在分类模型训练后，针对每个零件的分类模型都有其相对应的模型参数，对每个零件下的等级分别做出分析。通过对多个性能指标的综合评价，可以避免只根据准确率来判断模型性能而产生的错误判断。
【专利说明】
损伤等级模型的性能分析方法及系统
技术领域
[0001] 本发明属于数据处理领域，具体说是损伤等级模型的性能分析方法及系统。
【背景技术】
[0002] 目前汽车的保有量每年在逐渐的增加，道路交通的不断规划使车辆的行驶速度有 所提升，交通事故的发生率也在增加，汽车再发生碰撞后主要的理赔流程为：出险--报案-- 查勘--定损--核价--核损--核赔--支付，其中定损是根据保险公司所派的专业人员到现场 进行勘察之后，根据损失的部位痕迹及程度进行现场初步定损，或者直接到修理厂、4S店、 定损中屯、去定损。运不但耗费了大量的人力物力，而且在定损的过程中对定损员的专业要 求较高，所W利用目前较为成熟的机器学习方法对汽车碰撞进行远程定损，不但可W解决 人力物力的资源浪费，而且也可更快速更全面的对车辆零件损坏进行判定，所W对车辆低 速碰撞远程定损具有重要的意义。
[0003] 怎样选择适合的模型及数据处理方法，提高对损伤等级判定的准确性是车辆远程 定损技术中重要的步骤。分类模型的好坏是根据已训练好的模型进行测试而得到的结果来 反映的，传统对模型好坏的分析主要是针对在测试后模型的准确率的观察，但是由于训练 及测试样本分布的不均匀等诸多因素的影响，单纯依靠测试结果的准确率已经不能反映模 型的好坏了。
【发明内容】
[0004] 本发明是针对在损伤等级判断模型性能分析过程中单一性能指标不具有客观性 而设计，采用多种性能指标对模型的性能进行分析。
[0005] -方面，本发明提供了损伤等级模型的性能分析方法，包括:对分类模型性能指标 进行分析的步骤和对测试数据结果进行分析的步骤。
[0006] 具体的，在分类模型训练后，针对每个零件的分类模型都有其相对应的模型参数， 将当前等级作为正样例，其他等级作为负样例，具体为：
[0007] 零件的整体准确度:Accura巧=(TP+TN)/(TP+FN+FP+TN)，其中TN为真负类，FP为 假正类，FN为假负类，TP为真正类;反映了分类模型对整体样本的判断能力；在正负样例均 衡的情况下，该项指标越高证明分类模型对整体数据的分类能力越好，如果正负样例不均 衡，该项指标无法正确反映分类模型的性能；
[000引精准度Precision = TP/(TP+FP)，其中TP为真正类，FP为假正类;该项指标也称为 命中率，反映了被分类模型预测为正样例中真实的正样例所占的比重；
[0009]召回率Recall=TP/(TP+FN)，其中FN为假负类，TP为真正类;反映了被分类模型预 测为正样例的正样例与实际正样例数的比值。
[0010]转移性Specificity = TN/(TN+FP)，其中TN为真负类，FP为假正类，反映了被分类 模型预测为负样例的负样例与实际负样例数的比值，是与召回率相对应的指标。
[0011]所述的精准度、召回率、转移性越高，分类模型的分类能力越好;准确度是针对一 个零件进行分析，其他评价指标是对零件下的每个等级进行分析。
[0012] 具体的，该方法还包括Fl-Score =巧召回率*准确率/(召回率+准确率）；该值越 大，说明分类模型的分类效果越好。
[0013] 具体的，该方法还包括:预测提升值Lift =精准度A，该评价指标体现了使用分类 模型对样例进行分类比传统的统计方法性能提高了多少倍，Lift值越大，表明在该等级下 使用分类模型的效果越好。
[0014] 具体的，所述的k = (FN+TP) / (TN+FN+FP巧P)，其中TN为真负类，FP为假正类JN为 假负类，TP为真正类。
[0015] 具体的，R0C曲线的横坐标是假正类率FPR，纵坐标为真正类率TPR，其中FH? = FP/ (TN+FP)，TPR = TP/(FN+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类;ROC曲 线越接近左上角，该分类模型的性能越好。
[0016] 更具体的，AUC被定义为R0C曲线下的面积，AUC值越大的分类模型效果更好。
[0017] 更具体的，分类模型训练时，若是有两个模型精准度相同，召回率越高，分类模型 性能越好;若是有两个模型召回率相同，精准度越高，分类模型性能越好。
[0018] 另一方面，本发明还提供了一种损伤等级模型的性能分析系统，包括:分类模型性 能分析系统和测试数据结果分析系统；
[0019] 所述分类模型性能分析系统对零件的整体准确度、精准度、召回率和转移性进行 求值；
[0020] 所述测试数据结果分析系统对求值结果进行分析。
[0021] 本发明由于采用W上技术方法，能够取得如下的技术效果:通过对多个性能指标 的综合评价，可W避免只根据准确率来判断模型性能而产生的错误判断。根据观察性能指 标，可W观察到样例数据中存在的问题，如不同损伤等级的样例数不均衡等。
【具体实施方式】
[0022] 为使本发明的实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中 的技术方案进行清楚完整的描述：
[0023] 实施例1
[0024] 损伤等级模型的性能分析方法，包括:对分类模型性能指标进行分析的步骤和对 测试数据结果进行分析的步骤。
[0025] 本分析中准确度是针对一个零件进行计算，其他评价指标是对零件下的每个等级 进行分析，在分析过程中将分类视为二分类，即把当前等级视为正样例一一化sitive，其他 等级视为负样例一一Negative,混淆矩阵如下：
[0026]
[0027] 具体为：
[002引零件的整体准确度:Accura巧=(TP+TN)/(TP+FN+FP+TN)，其中TN为真负类，FP为 假正类，FN为假负类，TP为真正类;反映了分类模型对整体样本的判断能力;在正负样例均 衡的情况下，该项指标越高证明分类模型对整体数据的分类能力越好，如果正负样例不均 衡，该项指标无法正确反映分类模型的性能；
[00巧]精准度Precision = TP/(TP+FP)，其中TP为真正类，FP为假正类;该项指标也称为 命中率，反映了被分类模型预测为正样例中真实的正样例所占的比重；
[0030] 召回率Recall = TP/(TP+FN)，其中FN为假负类，TP为真正类；也称为True Positive Rate,反映了被分类模型预测为正样例的正样例与实际正样例数的比值；
[0031] 分类模型训练时，若是有两个模型精准度相同，召回率越高，分类模型性能越好； 若是有两个模型召回率相同，精准度越高，分类模型性能越好。
[0032] 转移性Specificity = TNパTN+FP)，其中TN为真负类，FP为假正类，也称为True 化gative Rate,反映了被分类模型预测为负样例的负样例与实际负样例数的比值，是与召 回率相对应的指标;用来衡量负样例的判断能力；
[0033] 所述的精准度、召回率、转移性越高，分类模型的分类能力越好。
[0034] Fl-Score = 2*召回率*准确率/(召回率+准确率）；该项指标将召回率和准确率的 重要权重的比值设定为1:1，该值越大，说明分类模型的分类效果越好；
[0035] 预测提升值Lift =精准度A，在不使用模型的情况下，估计正例的比例；其中k = (FN+TP)/(TN+FN+FP+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类;该评价 指标体现了使用分类模型对样例进行分类比传统的统计方法性能提高了多少倍，Lift值越 大，表明在该等级下使用分类模型的效果越好。
[0036] R0C曲线的横坐标是假正类率化Ise Positive Rate(FPR)，纵坐标为真正类率 True Positive Rate(TPR)，其中Fra = FP/(TN+FP)，TPR = TP/(FN+TP)，TN为真负类，FP为假 正类，FN为假负类，TP为真正类;ROC曲线越接近左上角，该分类模型的性能越好。ROC曲线有 个很好的特性：当测试集中的正负样例的分布变化时，R0C曲线能够保持不变。在实际的数 据集中经常会出现类不平衡现象，即负样本比正样本多很多或者负样本比正样本少很多， 而且测试数据中的正负样本的分布也可能随着时间变化。
[0037] AUC(Area化der Curve)被定义为R0C曲线下的面积，运个面积的取值范围在0-1 之间，又由于ROC曲线一般都处于y = x运条直线的上方，所WAUC的取值范围在0.5和1之间。 使用AUC值作为评价标准是因为很多时候R0C曲线并不能清晰的说明哪个分类模型的效果 更好，AUC值越大的分类模型效果更好。
[0038] 另一方面，本发明还提供了一种损伤等级模型的性能分析系统，包括:分类模型性 能分析系统和测试数据结果分析系统；
[0039] 所述分类模型性能分析系统对零件的整体准确度、精准度、召回率和转移性进行 求值；
[0040] 所述测试数据结果分析系统对求值结果进行分析。
[0041] W上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其 发明构思加 W等同替换或改变，都应涵盖在本发明的保护范围之内。
【主权项】
1. 损伤等级模型的性能分析方法，其特征在于，包括:对分类模型性能指标进行分析的 步骤和对测试数据结果进行分析的步骤。2. 根据权利要求1所述的损伤等级模型的性能分析方法，其特征在于，在分类模型训练 后，针对每个零件的分类模型都有其相对应的模型参数，将当前等级作为正样例，其他等级 作为负样例，具体为： 零件的整体准确度:Accuracy =(TP+TN)/(TP+FN+FP+TN)，其中TN为真负类，FP为假正 类，FN为假负类，TP为真正类;反映了分类模型对整体样本的判断能力；在正负样例均衡的 情况下，该项指标越高证明分类模型对整体数据的分类能力越好，如果正负样例不均衡，该 项指标无法正确反映分类模型的性能； 精准度PreCisi〇n = TP/(TP+FP)，其中TP为真正类，FP为假正类;反映了被分类模型预 测为正样例中真实的正样例所占的比重； 召回率Recall = TP/(TP+FN)，其中FN为假负类，TP为真正类;反映了被分类模型预测为 正样例的正样例与实际正样例数的比值； 转移性SpecifiCity = TN/(TN+FP)，其中TN为真负类，FP为假正类，反映了被分类模型 预测为负样例的负样例与实际负样例数的比值，是与召回率相对应的指标； 所述的精准度、召回率、转移性越高，分类模型的分类能力越好;准确度是针对一个零 件进行分析，其他评价指标是对零件下的每个等级进行分析。3. 根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，该方法还包括 Fl-Score = 2*召回率*准确率/(召回率+准确率）；该值越大，说明分类模型的分类效果越 好。4. 根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，该方法还包括： 预测提升值Lift =精准度/k，该评价指标体现了使用分类模型对样例进行分类比传统的统 计方法性能提高了多少倍，Lift值越大，表明在该等级下使用分类模型的效果越好。5. 根据权利要求4所述的损伤等级模型的性能分析方法，其特征在于，所述的k =( FN+ TP) / (TN+FN+FP+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类。6. 根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，R0C曲线的横坐 标是假正类率FPR，，纵坐标为真正类率TPR，R0C曲线越接近左上角，该分类模型的性能越 好。7. 根据权利要求6所述的损伤等级模型的性能分析方法，其特征在于，F P R = F P / (T N+ FP)，TPR = TP/(FN+TP)，其中TN为真负类，FP为假正类，FN为假负类，TP为真正类。8. 根据权利要求6所述的损伤等级模型的性能分析方法，其特征在于，AUC被定义为R0C 曲线下的面积，AUC值越大的分类模型效果更好。9. 根据权利要求2所述的损伤等级模型的性能分析方法，其特征在于，分类模型训练 时，若是有两个模型精准度相同，召回率越高，分类模型性能越好;若是有两个模型召回率 相同，精准度越高，分类模型性能越好。10. -种损伤等级模型的性能分析系统，其特征在于，包括:分类模型性能分析系统和 测试数据结果分析系统； 所述分类模型性能分析系统对零件的整体准确度、精准度、召回率和转移性进行求值； 所述测试数据结果分析系统对求值结果进行分析。
【文档编号】G06F19/00GK106066935SQ201610364297
【公开日】2016年11月2日
【申请日】2016年5月27日 公开号201610364297.9, CN 106066935 A, CN 106066935A, CN 201610364297, CN-A-106066935, CN106066935 A, CN106066935A, CN201610364297, CN201610364297.9
【发明人】田雨农, 黄顺亮
【申请人】大连楼兰科技股份有限公司