一种根据图像数据确定目标对象受损程度的方法及系统与流程

本发明涉及图像数据应用技术领域，更具体地，涉及一种根据图像数据确定目标对象受损程度的方法及系统。

背景技术：

卷积神经网络目前应用最广泛的深度神经网络结构，vgg是oxfordvisualgeometrygroup在2014年提出的一系列卷积神经网络模型，特点是采用堆积3x3小卷积核代替传统alexnet卷积网络中较大卷积核(11x11，7x7，5x5)，在相同感受野的条件下提升了网络的深度，从而能学习到更复杂的模式。vgg神经网络模型在人脸识别和图像分类等领域都有所应用。传统图片分类一般需要经过底层特征抽取、特征编码、分类器设计三个过程，而基于深度学习的图像分类方法可以通过学习层次化的特征表示，代替传统图片分类中手工设计或选择图像特征，大幅度提高对复杂的自然场景图片分类的准确率。基于深度学习的图片分类在移动互联网领域具有广泛应用，但多以同种类型的物体辨识为主。基于国家统计局批准、民政部和国家减灾委办公室制定的《特别重大自然灾害损失统计制度》规范的房屋损坏的图片识别和分级目前没有相关报道。规范相关内容如下：

1)倒塌房屋:指因灾导致房屋整体结构塌落，或承重构件多数倾倒或严重损坏，必须进行重建的房屋数量。以具有完整、独立承重结构的一户房屋整体为基本判定单元(一般含多间房屋),以自然间为计算单位；因灾遭受严重损坏，无法修复的牧区帐篷，每顶按3间计算。

2)严重损坏房屋:指因灾导致房屋多数承重构件严重破坏或部分倒塌，需采取排险措施、大修或局部拆除、无维修价值的房屋数量。

3)一般损坏房屋:指因灾导致房屋多数承重构件轻微裂缝，部分明显裂缝；个别非承重构件严重破坏；需一般修理，采取安全措施后可继续使用的房屋间数。

房屋承重结构主要包括以下类型：①钢筋混凝土结构:梁、板、柱。②砖混结构:竖向承重结构包括承重墙、柱；水平承重构件包括楼板、大梁、过梁、屋面板或木屋架。③砖木结构:竖向承重结构包括承重墙、柱；水平承重构件包括楼板、屋架(木结构)。④其他结构：包括土木结构(土墙、木屋架)、木结构(柱、梁、屋架(均为木结构))、石砌结构(石砌墙体、屋盖(木结构或板))。

规范中统计的房屋特指农村地区的各行业、系统的职工住宅用房以及在建农村居民住宅用房。不含独立的厨房、牲畜棚等辅助用房，活动房、工棚、简易房和临时用房。

现有技术目标检测的传统算法有：haar/lbp/积分hog/acf特征+adaboost级联分类器、hog+svm、discriminativelytraineddeformablepartmodels(dpm)、模板匹配等。

近年来利用深度学习实现的目标检测主流算法分为两个类型：两阶段方法和一阶段方法。ssd(singleshotdetector)是一种一阶段方法，主要思路是均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用cnn提取特征后直接进行分类与回归。ssd300模型是ssd方法的一个实现，输入图片的分辨率为300*300。目前针对住房单独进行检测的ssd300实现较少。

目标检测的结果表示：结果包含目标的类别信息以及位置信息。类别用自然数做标记；位置用目标区域的外接矩形框的中心点坐标以及宽、高来表示。

现有技术对自然场景识别存在难度，目前的深度学习图片识别应用大多是基于公开数据集，或基于特定场景、特定样本的识别。自然场景图片识别因图片中可能包含的物体类型以及图片本身的光照、尺寸大小、分辨率、拍摄角度等可变因素较多，识别存在一定难度。并且通过人工审核图片效率低，现有技术的民政减灾系统统计的用户上传的图片一般是人工进行审核，或者仅仅作为其他填报数据的参考，未有真正利用。且如果利用人工进行审核，考虑到主观判断因素差异、审核效率差异等因素，成本较高。

因此，需要一种技术，基于卷积神经网络确定目标对象受损程序。

技术实现要素：

本发明技术方案提供一种根据图像数据确定目标对象受损程度的方法及系统，以解决如何根据图像数据对目标对象受损程序进行确认的问题。

为了解决上述问题，本发明提供了一种根据图像数据确定目标对象受损程度的方法，所述方法包括：

生成基于图像数据确定目标对象受损程度的识别参数，并基于所述识别参数提取待识别的图像数据的图像待识别特征；

将所述图像待识别特征与特征库中每个类别中的所有图像特征进行匹配，当所述图像待识别特征与所述特征库中预设类别的所有图像特征中的任意图像特征的匹配程度大于或等于匹配阈值时，将所述待识别的图像数据确定为预设类别的图像数据；

根据预设类别的受损识别规则在所述待识别的图像数据中确定目标对象的受损区域；以及

确定目标对象的受损区域的损伤特征，并将损伤特征与预先设定的受损程度级别中每个受损程度特征进行匹配，以确定目标对象的受损区域的受损程度。

优选地，在基于所述识别参数提取待识别的图像数据的图像待识别特征之前还包括；通过识别模型提取多个图像数据中每个图像数据的图像特征，建立包括所述多个图像数据的所有图像特征的特征库。

优选地，当所述图像待识别特征与所述特征库中的所有图像特征的匹配程度小于预设阈值时，将所述待识别的图像数据确定为无关类别的图像数据。

优选地，所述生成基于图像数据确定目标对象受损程度的识别参数，并基于所述识别参数提取待识别的图像数据的图像待识别特征之前，还包括：

基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；

对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；

对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。

优选地，还包括：

如果所述单个图像数据损坏或所述单个图像数据信息不完整，则去除所述单个图像数据；

如果所述单个图像数据未损坏并且所述单个图像数据信息完整，则将所述单个图像存储于所述预先设定的目录。

优选地，所述受损程度级别包括：

倒塌、严重损坏、一般损坏或正常。

基于本发明的另一方面，提供一种生成基于图像数据确定目标对象受损程度的识别参数的方法，所述方法包括：

根据目标对象的标识符确定与目标对象相关联的数据文件，并提取数据文件中的图像数据；

选取所述图像数据中的基础图像数据并基于基础图像数据确定基准识别参数，通过所述图像数据中的训练图像数据对所述基准识别参数进行训练，以根据基准识别参数的输出结果对所述基准识别参数进行调整，从而生成待测试的识别参数；

并按预设规则对所述输出结果进行调整，将经过调整的输出结果做为输入数据，对所述待测试的识别参数进行循环训练，直到获取所述待测试的识别参数的输出结果达到稳态状态；

当达到稳态状态的输出结果符合预设要求时，停止对所述待测试的识别参数的训练，将所述待测试的识别参数作为基于图像数据确定目标对象受损程度的识别参数。

优选地，其中所述训练包括检测所述训练图像数据中是否包括目标对象。

优选地，所述根据目标对象的标识符确定与目标对象相关联的数据文件，并提取数据文件中的图像数据之前还包括：

基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；

对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；

对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。

优选地，还包括：

如果所述单个图像数据损坏或所述单个图像数据信息不完整，则去除所述单个图像数据；

如果所述单个图像数据未损坏并且所述单个图像数据信息完整，则将所述单个图像存储于所述预先设定的目录。

优选地，所述选取所述图像数据中的基础图像数据，还包括：

通过非极大值抑制方法选取图像数据中的基础图像数据。

基于本发明的另一方面，提供一种根据图像数据确定目标对象受损程度的系统，所述系统包括：

提取单元，用于生成基于图像数据确定目标对象受损程度的识别参数，并基于所述识别参数提取待识别的图像数据的图像待识别特征；

识别单元，用于将所述图像待识别特征与特征库中每个类别中的所有图像特征进行匹配，当所述图像待识别特征与所述特征库中预设类别的所有图像特征中的任意图像特征的匹配程度大于或等于匹配阈值时，将所述待识别的图像数据确定为预设类别的图像数据；

确定单元，用于根据预设类别的受损识别规则在所述待识别的图像数据中确定目标对象的受损区域；以及

匹配单元，用于确定目标对象的受损区域的损伤特征，并将损伤特征与预先设定的受损程度级别中每个受损程度特征进行匹配，以确定目标对象的受损区域的受损程度。

优选地，还包括建立单元，用于通过识别模型提取多个图像数据中每个图像数据的图像特征，建立包括所述多个图像数据的所有图像特征的特征库。

优选地，所述识别单元还用于：当所述图像待识别特征与所述特征库中的所有图像特征的匹配程度小于预设阈值时，将所述待识别的图像数据确定为无关类别的图像数据。

优选地，所述还包括第一预处理单元，用于：

基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；

对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；

对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。

优选地，所述预处理单元还用于：

如果所述单个图像数据损坏或所述单个图像数据信息不完整，则去除所述单个图像数据；

如果所述单个图像数据未损坏并且所述单个图像数据信息完整，则将所述单个图像存储于所述预先设定的目录。

优选地，所述受损程度级别包括：

倒塌、严重损坏、一般损坏或正常。

基于本发明的另一方面，提供一种生成基于图像数据确定目标对象受损程度的识别参数的系统，所述系统包括：

初始单元，用于根据目标对象的标识符确定与目标对象相关联的数据文件，并提取数据文件中的图像数据；

生成单元，用于选取所述图像数据中的基础图像数据并基于基础图像数据确定基准识别参数，通过所述图像数据中的训练图像数据对所述基准识别参数进行训练，以根据基准识别参数的输出结果对所述基准识别参数进行调整，从而生成待测试的识别参数；

调整单元，用于按预设规则对所述输出结果进行调整，将经过调整的输出结果做为输入数据，对所述待测试的识别参数进行循环训练，直到获取所述待测试的识别参数的输出结果达到稳态状态；

结果单元，用于当达到稳态状态的输出结果符合预设要求时，停止对所述待测试的识别参数的训练，将所述待测试的识别参数作为基于图像数据确定目标对象受损程度的识别参数。

优选地，其中所述训练包括检测所述训练图像数据中是否包括目标对象。

优选地，还包括第二预处理单元，用于：

基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；

对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；

对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。

优选地，还包括选取单元，用于：

如果所述单个图像数据损坏或所述单个图像数据信息不完整，则去除所述单个图像数据；

如果所述单个图像数据未损坏并且所述单个图像数据信息完整，则将所述单个图像存储于所述预先设定的目录。

优选地，所述生成单元用于选取所述图像数据中的基础图像数据，还包括：

通过非极大值抑制方法选取图像数据中的基础图像数据。

本发明技术方案提供一种基于卷积神经网络确定目标对象受损程度的方法及系统，其中方法包括：生成基于图像数据确定目标对象受损程度的识别参数，并基于识别参数提取待识别的图像数据的图像待识别特征；将图像待识别特征与特征库中每个类别中的所有图像特征进行匹配，当图像待识别特征与特征库中预设类别的所有图像特征中的任意图像特征的匹配程度大于或等于匹配阈值时，将待识别的图像数据确定为预设类别的图像数据；根据预设类别的受损识别规则在待识别的图像数据中确定目标对象的受损区域；将目标对象的受损区域与预先设定的受损程度级别中每个受损程度级别进行匹配，以确定目标对象的受损区域的受损程度。本发明技术方案根据训练好的识别参数，提取待识别的图像数据的图像待识别特征，当图像待识别特征被识别为预设类别时，确认图像数据为已知预设的图像数据。本发明技术方案按已知的预设类别确定待识别的图像数据中受损区域，通过对受损区域进行分析，确定目标对象的受损区域的受损程度。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明优选实施方式的生成基于图像数据确定目标对象受损程度的识别参数的方法流程图；

图2为根据本发明优选实施方式的从网络系统中获取打包的图像数据解压后的目录结构示意图；

图3为根据本发明优选实施方式的利用循环提升法对图像数据进行训练的流程示意图；

图4为根据本发明优选实施方式的检测结果示意图；

图5为根据本发明优选实施方式的根据图像数据确定目标对象受损程度的方法流程图；

图6为根据本发明优选实施方式的对图像数据进行房屋受损分析流程示意图；

图7为根据本发明优选实施方式的根据图像数据确定目标对象受损程度的系统结构图；以及

图8为根据本发明优选实施方式的生成基于图像数据确定目标对象受损程度的识别参数的系统结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为根据本发明优选实施方式生成基于图像数据确定目标对象受损程度的识别参数的方法流程图。本申请实施方式提供一种生成基于图像数据确定目标对象受损程度的识别参数的方法，方法包括：

优选地，在步骤101：根据目标对象的标识符确定与目标对象相关联的数据文件，并提取数据文件中的图像数据。优选地，根据目标对象的标识符确定与目标对象相关联的数据文件，并提取数据文件中的图像数据之前还包括：基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。优选地，图像数据包括：网络图像数据和真实图像数据。

本申请对图像数据进行预处理，通过构建pipeline程序，对收集到的多种类型数据(文档、图片、压缩文件、配置文件等)进行提取、去重、验证、模型辅助标注等一系列预处理，提取其中的手机照片、网络下载图片、截图(包含jpg,jpg,jpeg,bmp,png,gif等格式)等完好图片数据。本申请实施方式应用的图像数据可以全部由真实场景的灾情图片组成，也可以包括部分网络图片样本。本申请实施方式提出了先用部分网络图片做为样本训练出一个基准模型，再用真实样本对基准模型进行进一步训练的方法。网络样本获取便利、成本低廉，真实样本获取困难、代价昂贵，本申请实施方式既利用了网络样本获取使得的优势，同时又利用真实样本对基准模型进行训练，提升了模型的准确度。

优选地，方法还包括：如果单个图像数据损坏或单个图像数据信息不完整，则去除所述单个图像数据；如果单个图像数据未损坏并且单个图像数据信息完整，则将单个图像存储于预先设定的目录。

本申请可以从web系统中获取打包的图像数据，解压后目录结构如图2所示。通过构建程序，运用多进程的方法，基于上述特定目录结构，抽取图片到统一路径，在抽取过程中自动去除缩略图(thumbnails)，保留原图。本申请运用md5hash算法，对上一步骤提取的图片进行签名，通过对比签名，删除重复的图片，重复的图片只保留第一张。本申请使用pillow模块，对去重后的图片进行验证处理，使用open,verify和load等方法，检查并去除损坏的图片和exif信息不完整的图片。包括去除无关的文件(文档、压缩文件、配置文件等)。

优选地，在步骤102：选取图像数据中的基础图像数据并基于基础图像数据确定基准识别参数，通过图像数据中的训练图像数据对基准识别参数进行训练，以根据基准识别参数的输出结果对基准识别参数进行调整，从而生成待测试的识别参数。优选地，其中训练包括检测训练图像数据中是否包括目标对象。

优选地，在步骤103：并按预设规则对输出结果进行调整，将经过调整的输出结果做为输入数据，对待测试的识别参数进行循环训练，直到获取待测试的识别参数的输出结果达到稳态状态。

本申请通过利用少量网络图片对基准识别参数进行训练，基准识别参数进行训练的目的是减少人工标注的工作量，从样本中筛选出有效的包含房屋的图片，并进一步利用初步训练的基准识别参数做分类，后续只需要少量人工审核，即可以作为训练样本使用，并且质量很高。

如图3所示，本申请提出的贯穿训练过程始终的一种循环提升的训练方法，这种利用性能一般的基准识别参数辅助进行样本预处理的方法，有效减少了在一般深度识别参数训练中大量重复的次级标注，例如人工标注的工作量。其过程为：构建初始模型m0->使用少量人工标注的样本d1->训练得到性能一般的初始模型m1(包括目标检测模型md1、图片分类模型mc1)->利用初始模型m1初级标注(如辅助标注检测、分类)大量未知样本d2->对标注的结果进行少量的人工审核校正->得到质量较高的样本d2，用来训练初始模型m1->得到性能较高的模型m2(包括目标检测模型md2、图片分类模型mc2)->利用性能较高的模型m2辅助标注新的未知样本d3->对标注的结果进行少量人工审核校正->得到质量较高的样本d3，用来训练模型m3，如此循环训练，不断重复。

本申请，通过图像数据中的训练图像数据对基准识别参数进行训练，指的是运用基准识别参数，对样本图片进行检测识别，提取包含房屋的图片。

通过图像数据中的训练图像数据对基准识别参数进行训练，还包括运用基准识别参数，对样本图片进行初步筛选，得到按照目标类别分类的图片。

本申请中，以上两种对识别参数进行训练的方法可以独立使用，也可以结合使用。如果结合使用，在经过辅助目标检测的图片，只含有房屋，在经过辅助样本初筛，结果为4种可能(正常、一般损坏、严重损坏、倒塌)；如果独立使用，经过辅助样本初筛后的结果为5种可能(无关、正常、一般损坏、严重损坏、倒塌)。

本申请将预处理后的图像数据样本划分为几部分：样本1，样本2，等等。本申请的样本可以部分由网络样本组成，部分由真实样本组成。网络样本用于训练出基准识别参数，提取图像中的房屋普遍特征，真实样本用于进一步对基准识别参数进行训练提升，使其具有对不同受损程度的房屋更精确区分的能力。

本申请选取样本1，使用labelimg标注图片中的房屋位置，制作pascalvoc格式数据集，然后转换为tfrecord格式的房屋检测模型训练样本集1-d。本申请在制作数据集时，修改了pascalvoc_common文件，将输出类别调整两类(不包含房屋和房屋)。本申请利用样本1-d训练ssd房屋检测模型。

ssd300模型结构：ssd采用vgg16作为基础模型，然后在vgg16的基础上新增了卷积层来获得更多的特征图以用于检测。conv_1至conv_4四个卷积块包含10个卷积层，是用来提取图片特征的vgg16网络。

ssd300模型求解目标检测结果外接矩形框的方法：首先定义不同尺度的featuremap，类似于将原图划分为n*n个网格。对于每个网格单元，定义若干个以该网格单元为中心，不同大小、不同长宽比的矩形框(称为defaultbox)作为候选区域，然后，将实际目标对应的矩形框相对网格单元中心点坐标(x，y)及宽高的变化作为模型的输出，以回归的方式求解。

卷积块conv_5至conv_7、block_8至block_11依次提取不同大小的featuremap，block4_box、block7_box、block8_box、block9_box、block10_box、block11_box利用卷积回归求解目标位置和类别。最后通过非极大值抑制方法从候选目标中选取出有效目标。非极大值抑制的一般流程：a、将检测结果视作候选集，针对每类目标，根据置信度对候选集排序，选择置信度最高的目标，将其从候选集中删除，添加到结果集中。b、计算候选集中的元素与上一步得到的目标之间的iou，删除iou大于给定阈值的候选集中对应的元素。c、重复上述过程，直至候选集为空，将结果集作为最终结果输出。

本申请在训练ssd300模型时使用了迁移学习的方法，使用了vgg_voc0712_ssd_300x300_ft_iter_120000.ckpt的断点文件，在训练过程中间隔120秒保存训练summary数据，间隔1200秒保存一次模型，使用的权重衰减因子为0.0006，使用adam优化方法，学习率为0.0002，batchsize为20。检测的结果如图4所示。

本申请通过上述ssd房屋检测方法对图像数据进行检测和分割，保存得到包含房屋的样本1-c。确保样本1-c中只包含需要的和房屋相关的图片。

本申请训练过程中，包括对样本1-c进行人工标注(正常、一般损坏、严重损坏、倒塌)，制作受损分析模型的训练样本1-c。样本1-c中包含正常、一般损坏、严重损坏、倒塌这四种类型的房屋图片。

直接选取样本2，样本2中可能含有与房屋无关的图片，也进行人工标注(无关、正常、一般损坏、严重损坏、倒塌)，制作受损分析模型的训练样本2-c。样本2-c中包含与房屋无关的图片和正常、一般损坏、严重损坏、倒塌房屋总共五种类型的图片。

在实际操作过程中，也可以先不进行房屋检测分割，直接用预处理后的图片，进行房屋受损分析。房屋受损分析模型也可以处理。下面对比两种做法的优劣：

先进行房屋检测分割(目标检测)，再进行受损分析(图片分类)：

本申请通过检测+分类模型级联的集成学习方法，能够提高模型分析的鲁棒性，提高结果的准确率，前端添加的检测模型能够有效应对输入样本中可能的大量噪声；本申请实施方式处理过程更加精细化，将分析过程一分为二，可以在不同阶段对单独对模型进行优化，分别提高检测的准确率和分类的准确率，使得能够很方便地针对分析结果进行改进和提升；本申请能够处理在分类过程中遇到的常见的未知类别无法被识别的问题；如果第一阶段的检测准确率很高，第二阶段能够减少分类的类别数量，本申请能够对分类模型进行简化；经过检测分割后的图片一般分辨率尺寸更小，能够大大减少分类模型的计算量，提高分类效率；由于整体可以分为检测和分类两个模型，拆开后也能够独立复用，检测模型可以单独用来在其他任务中检测相应的目标，分类模型也可以在其他任务中单独用来对特定目标进行分类，模型的重用性更好。

选取图像数据中的基础图像数据并基于基础图像数据确定基准识别参数，通过图像数据中的训练图像数据对基准识别参数进行训练，本申请直接进行受损分析优点为：①快速，易于实现；②优化的过程相对简单；③模型整体参数更少，占用空间更小，易于跨平台部署。

本申请使用迁移学习方法，基于vgg16模型架构，构建受损房屋图片识别模型，实现5级分类(无关、正常、一般损坏、严重损坏、倒塌)。

本申请的迁移学习方法：指的是一个预训练的模型被重新用在另一个任务中。首先在一个基础数据集和基础任务上训练一个基础网络，然后再微调一下学到的特征，或者将它们迁移到第二个目标网络中，用目标数据集和目标任务训练网络。如果特征是泛化的，那么这个过程会奏效，也就是说，这些特征对基础任务和目标任务都是适用的，而不是特定的适用于某个基础任务。此次迁移学习用到的基础数据集是imagenet。

本模型在迁移了imagenet数据集上训练的vgg16基础模型的前提下，去掉了基础模型的顶层，添加了以下层：

flatten：将输入展平，即将多维特征矩阵转换为一维特征向量，以供下一层使用。

dense：即全连接层，dense(n)是一个具有n个隐藏神经元的全连接层。

batchnormalization：在每次sgd时，通过mini-batch来对相应的activation做规范化操作，使得结果(输出信号各个维度)的均值为0，方差为1。bn能够加速收敛和控制过拟合，降低网络对初始化权重不敏感，允许使用较大的学习率。

dropout：在神经网络进行训练的时候，随机让部分神经元失活，就阻断了部分神经元之间的协同作用，从而强制要求一个神经元和随机挑选出的神经元共同进行工作，减轻了部分神经元之间的联合适应性。dropout降低了过拟合风险。

本申请在训练分类模型时采用了以下创新的做法：

先使用粗略标记的样本进行弱监督训练，再使用人工精细标记的样本进行(强)监督训练。粗略标记的样本直接来自于爬虫根据关键词爬取的网络图片，人工精细标记的样本来自于真实灾情场景下用户上传的图片，经过人工仔细甄别、标注、审核、修正后得到的样本。这样做的好处是在将模型提高到相当准确率的要求下，减小了前期训练模型的成本，粗略标记的样本特征可能不完全匹配真实场景下的图片类型，但是也存在较大的相似性。如使用包含房屋的网络图片样本训练的模型，能够帮助提取真实灾情图片中的房屋，在识别房屋这个对象的特征方面，这样做是有帮助的。而且获取粗略标记的样本成本较低，能够短时间内、大量的获得。从而能够在短时间内将模型的基准识别率提高到一个合理的水平，如75％左右。也能够快速及时检验模型的可行性和模型优化改进措施的有效性。

本申请使用样本1-c和2-c，训练上述搭建的基于vgg16的图片识别模型。在训练过程中，不断添加新的样本，可以使用循环提升训练方法。不断提高模型的准确率和减少人工标注新样本的工作量。

优选地，在步骤104：当达到稳态状态的输出结果符合预设要求时，停止对待测试的识别参数的训练，将待测试的识别参数作为基于图像数据确定目标对象受损程度的识别参数。

优选地，选取图像数据中的基础图像数据，还包括：通过非极大值抑制方法选取图像数据中的基础图像数据。

本申请基于卷积神经网络的目标检测模型，将经过信息标注的图像数据作为输入数据，获取图像数据的结果集合，还包括：基于卷积神经网络的目标检测模型通过非极大值抑制方法从输入数据中选取图像数据的结果集合。

图5为根据本发明优选实施方式的根据图像数据确定目标对象受损程度的方法流程图。本申请对图像数据中因灾受损的房屋受损程度自动分级，运用训练好的识别参数，对未知图片进行识别和分级(无关图片、正常房屋图片、一般损坏的房屋图片、严重损坏的房屋图片、倒塌的房屋图片)，并得出每种级别对应的概率。如图5所示，本申请提供一种根据图像数据确定目标对象受损程度的方法，方法包括：

优选地，在步骤501：生成基于图像数据确定目标对象受损程度的识别参数，并基于识别参数提取待识别的图像数据的图像待识别特征。

优选地，在基于识别参数提取待识别的图像数据的图像待识别特征之前还包括；通过识别模型提取多个图像数据中每个图像数据的图像特征，建立包括多个图像数据的所有图像特征的特征库。优选地，当图像待识别特征与特征库中的所有图像特征的匹配程度小于预设阈值时，将待识别的图像数据确定为无关类别的图像数据。

本申请在处理无关类别图片(例如，未知类别的图片)时，采用了以下方法：

首先进行特征搜索，再进行分类识别。现有技术中图片分类普遍存在的一个问题是未知类别图片的分类问题，如构建的模型用来识别a,b,c三类，如果输入新的类别d的样本，则模型只能判定为a,b,c三类中的一种，而无法进行有效的识别。解决这个问题的常见做法有：1)添加足够多的可能的新类别的样本，命名为未知类别，进行训练。这样做的成本很高，因为新样本的可能性太多，很难预测，需要加入巨量的样本才能训练出对新类别样本有很好的识别能力的模型。2)通过二分类模型的级联，即对输入依次进行a,b,c三类别的二分类，如果三次都判定为负类，则认定为未知类别。这种做法具有可操作性，但是级联之后的模型会比原来的模型复杂，而且可能引入更多的时延。

在本申请用训练好的模型，对多个图像的训练样本进行特征提取，存储到文件e；加载已经训练好的模型，依次输入所有训练样本图片，使用vgg16.model_vgg.predict得到提取的特征，对结果进行归一化。使用h5py.file，对所有样本图片的特征向量建立特征文件e、保存。对于每个新输入的样本f，通过训练好的模型提取其特征g。对比g和e中存储的所有特征(特征搜索)，如e中存在与g相似度达到指定阈值(如70％)的特征，则认定f为已知类别的样本(即属于a,b,c中的某一类)，否则模型可以判定f属于未知类别(或者称为与a,b,c无关的类别、背景类别等)。这一做法很好地在模型应用过程中，解决了未知类别的问题。具有很强的实用价值。

优选地，在步骤502：将图像待识别特征与特征库中每个类别中的所有图像特征进行匹配，当图像待识别特征与特征库中预设类别的所有图像特征中的任意图像特征的匹配程度大于或等于匹配阈值时，将待识别的图像数据确定为预设类别的图像数据。

优选地，在步骤503：根据预设类别的受损识别规则在待识别的图像数据中确定目标对象的受损区域。

优选地，在步骤504：确定目标对象的受损区域的损伤特征，并将损伤特征与预先设定的受损程度级别中每个受损程度特征进行匹配，以确定目标对象的受损区域的受损程度。

优选地，生成基于图像数据确定目标对象受损程度的识别参数，并基于识别参数提取待识别的图像数据的图像待识别特征之前，还包括：基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。

优选地，还包括：如果单个图像数据损坏或单个图像数据信息不完整，则去除单个图像数据；如果单个图像数据未损坏并且单个图像数据信息完整，则将单个图像存储于预先设定的目录。

优选地，受损程度级别包括：倒塌、严重损坏、一般损坏或正常。

本申请通过搭建web服务系统，将用户上传图片，实时进行识别和分级。本申请基于bs架构，使用flask框架、html5、javascript、css技术，搭建在线服务系统，用户可以上传图片，实时返回识别结果，并支持用户对结果进行修订和提交。如图6所示。

本申请实施方式通过对图像数据进行预处理，可以排除与灾情无关的数据。通过在线图像识别，可以对图像数据进行筛选，阻止用户上传与自然灾害无关的房屋损失图像，或不符合《特别重大自然灾害损失统计制度》规范的图片。节省系统空间，节省人工审核成本。本申请运用深度神经网络识别房屋建筑结构特征，分析出包含有房屋的图片，节省了人工审核成本。本申请根据房屋受损程度进行分级，按照《特别重大自然灾害损失统计制度》规范，综合多种实际场景的倒损房屋特征，首次实现了自然灾害引起的房屋损失识别和自动评估分级：

本申请实现了灾情快速评估，可以用于区域的灾情损失统计，评估。以及实现了灾情核查，用于用户上报灾情的核查。

图7为根据本发明优选实施方式的根据图像数据确定目标对象受损程度的系统结构图。如图7所示，一种根据图像数据确定目标对象受损程度的系统，系统包括：

提取单元701，用于生成基于图像数据确定目标对象受损程度的识别参数，并基于识别参数提取待识别的图像数据的图像待识别特征。

识别单元702，用于将图像待识别特征与特征库中每个类别中的所有图像特征进行匹配，当图像待识别特征与特征库中预设类别的所有图像特征中的任意图像特征的匹配程度大于或等于匹配阈值时，将待识别的图像数据确定为预设类别的图像数据。优选地，识别单元702还用于：当图像待识别特征与特征库中的所有图像特征的匹配程度小于预设阈值时，将待识别的图像数据确定为无关类别的图像数据。

确定单元703，用于根据预设类别的受损识别规则在待识别的图像数据中确定目标对象的受损区域。

匹配单元704，用于确定目标对象的受损区域的损伤特征，并将损伤特征与预先设定的受损程度级别中每个受损程度特征进行匹配，以确定目标对象的受损区域的受损程度。

优选地系统还包括建立单元，用于通过识别模型提取多个图像数据中每个图像数据的图像特征，建立包括多个图像数据的所有图像特征的特征库。

优选地，系统还包括第一预处理单元，用于：基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。

优选地，预处理单元还用于：如果单个图像数据损坏或单个图像数据信息不完整，则去除单个图像数据；如果单个图像数据未损坏并且单个图像数据信息完整，则将单个图像存储于预先设定的目录。

优选地，受损程度级别包括：倒塌、严重损坏、一般损坏或正常。

本发明优选实施方式的根据图像数据确定目标对象受损程度的系统700与本发明另一优选实施方式的根据图像数据确定目标对象受损程度的方法500相对应，在此不再进行赘述。

图8为根据本发明优选实施方式的生成基于图像数据确定目标对象受损程度的识别参数的系统结构图。如图8所示，一种生成基于图像数据确定目标对象受损程度的识别参数的系统，系统包括：

初始单元801，用于根据目标对象的标识符确定与目标对象相关联的数据文件，并提取数据文件中的图像数据。

生成单元802，用于选取图像数据中的基础图像数据并基于基础图像数据确定基准识别参数，通过图像数据中的训练图像数据对基准识别参数进行训练，以根据基准识别参数的输出结果对基准识别参数进行调整，从而生成待测试的识别参数。优选地，其中训练包括检测训练图像数据中是否包括目标对象。优选地，系统生成单元802还用于选取图像数据中的基础图像数据，还包括：通过非极大值抑制方法选取图像数据中的基础图像数据。

调整单元803，用于按预设规则对输出结果进行调整，将经过调整的输出结果做为输入数据，对待测试的识别参数进行循环训练，直到获取待测试的识别参数的输出结果达到稳态状态。

结果单元804，用于当达到稳态状态的输出结果符合预设要求时，停止对待测试的识别参数的训练，将待测试的识别参数作为基于图像数据确定目标对象受损程度的识别参数。

优选地，系统还包括第二预处理单元，用于：基于预先设定的目录结构，将原始图像数据保存到特定目录所对应的存储位置；对原始图像数据进行签名，通过对原始图像数据的签名进行对比来确定重复的原始图像数据，对重复的原始图像数据进行去重处理以保留单个原始图像数据；对单个图像数据进行格式验证，以确定单个图像数据是否损坏或信息不完整。

优选地，系统还包括选取单元，用于：如果单个图像数据损坏或单个图像数据信息不完整，则去除单个图像数据；如果单个图像数据未损坏并且单个图像数据信息完整，则将单个图像存储于预先设定的目录。

本发明优选实施方式的生成基于图像数据确定目标对象受损程度的识别参数的系统800与本发明另一优选实施方式的生成基于图像数据确定目标对象受损程度的识别参数的方法100相对应，在此不再进行赘述。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个//该[装置、组件等]”都被开放地解释为装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。