一种图像识别方法及系统与流程

本发明实施例涉及图像处理技术领域，具体涉及一种图像识别方法及系统。

背景技术

房地产服务平台为房地产的租赁、交易等提供了很大的便利，得到越来越广泛的应用。但是，现有房地产服务平台中需要人工操作的节点较多，如在房地产租赁平台中，通常需要租赁方客户上传房屋实勘图(包括卧室图、客厅图、厨房图、卫生间图等)及户型图(包括测绘图、标准图、非标图、开发商图、商住两用标准图、简版户型图等)到房地产租赁平台，并通过人工进行标记，如标记为卧室图、客厅图、厨房图、卫生间图或户型图等。

人工进行图像的识别、标记需要大量的人力资源，造成人力资源的浪费，而且标记效率低下。

技术实现要素：

为解决现有技术中人力识别、标记图像任务繁重、效率低下的问题，本发明实施例提供一种图像识别方法及系统。

第一方面，本发明实施例提供一种图像识别方法，该方法包括：利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

第二方面，本发明实施例提供一种图像识别系统，该系统包括：二分类器建立单元，用于利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；m分类器建立单元，用于利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；图像识别单元，用于将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下方法：利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

本发明实施例通过生成二分类器和m分类器，二者结合来实现对图像的自动识别及标记，减少了大量的人工工作量，并且与一个分类器相比，识别准确率更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像识别方法的流程图；

图2是本发明实施例提供的图像识别系统的结构示意图；

图3是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的图像识别方法的流程图。如图1所示，所述方法包括：

步骤101、利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；

利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器，所述二分类器用于识别待测图片为户型图或非户型图。

步骤102、利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；

利用所述非户型图建立训练样本，所述非户型图包括m类别，即m类非户型图，通过所述神经网络进行训练，生成m分类器；所述m分类器用于识别待测图像属于所述m类非户型图时的具体类型或不属于任意一种所述m类非户型图。

其中，m为所述非户型图所划分的类别数，为大于零的整数，m的值根据利用所述非户型图建立训练样本时所划分的类别确定。若所述非户型图划分为卧室图、客厅图、厨房图和卫生间图，则m的取值为4，所述非户型图分为卧室图、客厅图、厨房图和卫生间图4类。所述卧室图、客厅图、厨房图和卫生间图属于实勘图。

因此，所述非户型图的所述m类别可以根据图像识别和区分的需要进行人为设定。

步骤103、将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

将待测图像输入到所述二分类器和所述m分类器进行识别，所述二分类器和所述m分类器可以并行运行，如采用多线程的方式并行运行。

所述二分类器和所述m分类器的输出结果可以为置信分数，所述置信分数为0～1之间的小数；在进行样本训练时，比如输入的图片为卧室图，则将输出为卧室图的标签设置为1，输出为卫生间图等的标签设置为0。若所述二分类器和所述m分类器的输出结果中对于某种类型的置信分数接近于1且大于预设的第一置信阈值，如大于0.85，则可以认为待测图片为对应的类型；若所述二分类器和所述m分类器的输出结果中对于某种类型的置信分数远小于1且小于预设的第二置信阈值，如小于0.1，则认为待测图片不是对应的类型。

根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别。根据所述二分类器的输出结果可以得到所述待测图像为户型图或非户型图，根据所述m分类器的输出结果可以得到所述待测图像为非户型图m分类中的一种或不为非户型图m分类中的任意一种。因此，综合所述二分类器和所述m分类器的输出结果可以得到所述待测图像的类别。

得到所述待测图像的类别之后，根据所述待测图像的类别标记所述待测图像。根据所述待测图像的类别标记所述待测图像具体通过：在得到所述待测图像的类别后，输出所述类别的标记(如卧室图)，并与所述待测图像相匹配。

由于待测图像是从前端获取，每个待测图像对应一个唯一的url地址，在根据所述待测图像的类别标记所述待测图像后，将所述待测图像及对应标记一同发送给前端，以供上传时自动生成图片及对应标记。

需要说明的是，本发明实施例中，上述步骤101和步骤102分别用于生成所述二分类器和所述m分类器，本发明实施例对二者的执行顺序不作具体限定。

另外，本发明实施例还可以用于对其他类型的图片进行识别，并不局限于房地产领域图片。

本发明实施例通过生成二分类器和m分类器，二者结合来实现对图像的自动识别及标记，减少了大量的人工工作量，并且与一个分类器相比，识别准确率更高。

进一步地，基于上述实施例，所述神经网络为卷积神经网络，可与采用卷积神经网络inception-resnet-v2网络结构。卷积神经网络可以实现对图像的良好识别，在上述实施例的基础上，通过利用卷积神经网络，进一步提高了图像识别的准确率。

进一步地，基于上述实施例，所述非户型图包括卧室图、客厅图、厨房图、卫生间图及辅助建筑图。

所述非户型图包括卧室图、客厅图、厨房图和卫生间图及辅助建筑图。其中，所述卧室图、客厅图、厨房图、卫生间图和辅助建筑图属于实勘图；所述辅助建筑图是指除卧室图、客厅图、厨房图和卫生间图之外，如建筑外景图、阳台图、阁楼图等其他建筑图片。所述非户型图包括卧室图、客厅图、厨房图和卫生间图及辅助建筑图，则所述非户型图包括五分类。根据所述卧室图、客厅图、厨房图和卫生间图及辅助建筑图作为训练样本生成的m分类器为五分类器。

在上述实施例的基础上，本发明实施例通过根据房地产应用需求，设定非户型图的具体类型，提高了图像识别的实用性。

进一步地，基于上述实施例，所述根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，具体包括：根据所述二分类器的输出结果得到所述待测图像为户型图或非户型图；若根据所述二分类器的输出结果得到所述待测图像为非户型图，则结合所述m分类器的输出结果得到所述待测图像作为非户型图的具体类别；

其中，若根据所述二分类器的输出结果得到所述待测图像为非户型图，且根据所述m分类器的输出结果得到所述待测图像不为卧室图、客厅图、厨房图、卫生间图及辅助建筑图中的任意一种时，则所述待测图像为不合规图像。

根据所述二分类器的输出结果得到所述待测图像为户型图或非户型图；若根据所述二分类器的输出结果得到所述待测图像为户型图，则可直接认可所述待测图像为户型图的结果；若根据所述二分类器的输出结果得到所述待测图像为非户型图，则结合所述m分类器的输出结果得到所述待测图像作为非户型图的具体类别。

假设m分类器由上述实施例所述的卧室图、客厅图、厨房图和卫生间图及辅助建筑图训练生成，此时m分类器为五分类器。则当所述二分类器的输出结果得到所述待测图像为非户型图时，若所述五分类器对应于卧室图输出的置信分数为0.9，对应于客厅图、厨房图和卫生间图及辅助建筑图输出的置信分数均小于0.1，则可判定所述待测图片为卧室图；若所述m分类器对应的卧室图、客厅图、厨房图和卫生间图及辅助建筑图输出的置信分数均小于0.1，则可获知所述待测图像不是卧室图、客厅图、厨房图和卫生间图及辅助建筑图的任意一种，再结合所述待测图像不是户型图，则可判定所述待测图片为不合规图像。其中，所述不合规图像如动物图像、人物图像等。

因此，根据所述二分类器和所述五分类器的输出结果，可以得到所述待测图像为卧室图、客厅图、厨房图、卫生间图、户型图、辅助建筑图或不合规图像的一种。

在上述实施例的基础上，本发明实施例通过根据二分类得到待测图像是否为户型图，在待测图像为非户型图时，进一步通过m分类器确定待测图像的具体类型，可提高图像识别的效率，并可实现不合规图像的有效识别。

进一步地，基于上述实施例，在所述根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别之后，所述方法还包括：若获知所述待测图像为不合规图像，则过滤掉所述待测图像。

由上述实施例可知，根据所述二分类器和所述m分类器的输出结果可以实现不合规图像的有效识别，若根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别之后，若获知所述待测图像为不合规图像，则过滤掉所述待测图像，禁止上传至房地产平台。

比如，若获知所述待测图像为不合规图像，则将所述待测图像标记为不合规图像，将所述待测图像和对应标记根据所述待测图像的url地址发送给前端，前端在将所述待测图像和对应标记进行上传时，如果系统识别出所述标记为不合规图像，则禁止上传，并可弹出“图像不合规，禁止上传”的提示信息。

不合规图像可能由误操作造成，如上传了错误图像；也可能由恶意上传造成。不合规图像有成千上万种，人工识别任务繁重。因此，实现不合规图像的自动过滤，从而禁止不合规图像的上传，具有积极意义。

在上述实施例的基础上，本发明实施例通过利用二分类器和m分类器，实现对不合规图像的自动识别，正确识别率达到了85％以上，大大减轻了人为辨识不合规图像的负担；并通过对不合规图像的自动过滤及禁止上传，大大提升了安全性和可靠性。

进一步地，基于上述实施例，在执行所述利用户型图和非户型图建立训练样本和所述利用所述非户型图建立训练样本之前，所述方法还包括：对所述户型图和所述非户型图进行预处理。

在执行所述利用户型图和非户型图建立训练样本和所述利用所述非户型图建立训练样本之前，所述方法还包括对所述户型图和所述非户型图进行预处理。所述预处理具体包括：图像裁剪、调整对比度、调整亮度、图像翻转及归一化处理。

通过图像裁剪可以在保留重要信息的基础上，进行裁剪，从而满足系统所需的图像大小需求、并且提高识别准确率；还可以进行随机图像裁剪，以扩充样本量。通过进行对比度调整、亮度调整、图像翻转及归一化处理，不仅可以增强图像的识别度，从而提高识别准确率，同时通过保留调整前后的样本，可以扩充样本量。

在上述实施例的基础上，本发明实施例通过进行在建立样本前，对户型图和非户型图进行预处理，不仅可以提高图像的识别准确率，还可以扩充样本量。

图2是本发明实施例提供的图像识别系统的结构示意图。如图2所示，所述系统包括二分类器建立单元10、m分类器建立单元20和图像识别单元30，其中：

二分类器建立单元10用于利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；

二分类器建立单元10利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器，所述二分类器用于识别待测图片为户型图或非户型图。

m分类器建立单元20用于利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；

m分类器建立单元20利用所述非户型图建立训练样本，所述非户型图包括m类别，即m类非户型图，通过所述神经网络进行训练，生成m分类器；所述m分类器用于识别待测图像属于所述m类非户型图时的具体类型或不属于任意一种所述m类非户型图。

所述非户型图的所述m类别可以根据图像识别和区分的需要进行人为设定。

图像识别单元30用于将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

图像识别单元30将待测图像输入到所述二分类器和所述m分类器进行识别，所述二分类器和所述m分类器可以并行运行。

图像识别单元30根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，所述二分类器和所述m分类器的输出结果可以为置信分数。图像识别单元30根据所述二分类器的输出结果可以得到所述待测图像为户型图或非户型图，根据所述m分类器的输出结果可以得到所述待测图像为非户型图m分类中的一种或不为非户型图m分类中的任意一种。因此，图像识别单元30综合所述二分类器和所述m分类器的输出结果可以得到所述待测图像的类别。

图像识别单元30在得到所述待测图像的类别之后，根据所述待测图像的类别标记所述待测图像。图像识别单元30根据所述待测图像的类别标记所述待测图像具体通过：在得到所述待测图像的类别后，输出所述类别的标记(如卧室图)，并与所述待测图像相匹配。

本发明实施例通过生成二分类器和m分类器，二者结合来实现对图像的自动识别及标记，减少了大量的人工工作量，并且与一个分类器相比，识别准确率更高。

进一步地，基于上述实施例，所述神经网络为卷积神经网络。卷积神经网络可以实现对图像的良好识别，在上述实施例的基础上，通过利用卷积神经网络，进一步提高了图像识别的准确率。

进一步地，基于上述实施例，所述非户型图包括卧室图、客厅图、厨房图、卫生间图及辅助建筑图。

所述非户型图包括卧室图、客厅图、厨房图、卫生间图及辅助建筑图。其中，所述卧室图、客厅图、厨房图、卫生间图及辅助建筑图属于实勘图；所述辅助建筑图是指建筑外景图、阳台图等其他建筑图片。所述非户型图包括卧室图、客厅图、厨房图、卫生间图及辅助建筑图，则所述非户型图包括五分类。根据所述卧室图、客厅图、厨房图、卫生间图及辅助建筑图作为训练样本生成的m分类器为五分类器。

在上述实施例的基础上，本发明实施例通过根据房地产应用需求，设定非户型图的具体类型，提高了图像识别的实用性。

进一步地，基于上述实施例，所述图像识别单元30在用于根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别的过程中，具体用于：根据所述二分类器的输出结果得到所述待测图像为户型图或非户型图；若根据所述二分类器的输出结果得到所述待测图像为非户型图，则结合所述m分类器的输出结果得到所述待测图像作为非户型图的具体类别；

其中，若根据所述二分类器的输出结果得到所述待测图像为非户型图，且根据所述m分类器的输出结果得到所述待测图像不为卧室图、客厅图、厨房图、卫生间图及辅助建筑图中的任意一种时，则所述待测图像为不合规图像。

图像识别单元30根据所述二分类器的输出结果得到所述待测图像为户型图或非户型图；若根据所述二分类器的输出结果得到所述待测图像为户型图，则可直接认可所述待测图像为户型图的结果；若根据所述二分类器的输出结果得到所述待测图像为非户型图，则结合所述m分类器的输出结果得到所述待测图像作为非户型图的具体类别。

若图像识别单元30根据所述二分类器和所述m分类器的输出结果，可以得到所述待测图像即不是户型图，也不是m分类中的任意一种非户型图，则可获知所述待测图像为不合规图像。

在上述实施例的基础上，本发明实施例通过根据二分类得到待测图像是否为户型图，在待测图像为非户型图时，进一步通过m分类器确定待测图像的具体类型，可提高图像识别的效率，并可实现不合规图像的有效识别。

进一步地，基于上述实施例，所述图像识别单元还用于：在根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别之后，若获知所述待测图像为不合规图像，则过滤掉所述待测图像。

图像识别单元30根据所述二分类器和所述m分类器的输出结果可以实现不合规图像的有效识别，若图像识别单元30根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别之后，获知所述待测图像为不合规图像，则过滤掉所述待测图像，禁止上传至房地产平台。

在上述实施例的基础上，本发明实施例通过利用二分类器和m分类器，实现对不合规图像的自动识别，大大减轻了人为辨识不合规图像的负担；并通过对不合规图像的自动过滤及禁止上传，大大提升了安全性和可靠性。

进一步地，基于上述实施例，所述系统还包括预处理单元，用于在所述二分类器建立单元执行所述利用户型图和非户型图建立训练样本之前，以及所述m分类器建立单元执行所述利用所述非户型图建立训练样本之前，对所述户型图和所述非户型图进行预处理。

所述系统还包括预处理单元，用于在所述二分类器建立单元执行所述利用户型图和非户型图建立训练样本之前，以及所述m分类器建立单元执行所述利用所述非户型图建立训练样本之前，对所述户型图和所述非户型图进行预处理。所述预处理具体包括：图像裁剪、调整对比度、调整亮度、图像翻转及归一化处理。

通过图像裁剪可以在保留重要信息的基础上，进行裁剪，从而满足系统所需的图像大小需求、并且提高识别准确率；还可以进行随机图像裁剪，以扩充样本量。通过进行对比度调整、亮度调整、图像翻转及归一化处理，不仅可以增强图像的识别度，从而提高识别准确率，同时通过保留调整前后的样本，可以扩充样本量。

在上述实施例的基础上，本发明实施例通过进行在建立样本前，对户型图和非户型图进行预处理，不仅可以提高图像的识别准确率，还可以扩充样本量。

本发明实施例提供的系统是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。

图3是本发明实施例提供的电子设备的结构示意图。如图3所示，所述电子设备包括处理器301、存储器302和总线303。其中，所述处理器301和所述存储器302通过所述总线303完成相互间的通信；所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：利用户型图和非户型图建立训练样本，通过神经网络进行训练，生成二分类器；利用所述非户型图建立训练样本，通过神经网络进行训练，生成m分类器；其中，m是所述非户型图所划分的类别数；将待测图像输入到所述二分类器和所述m分类器进行识别，根据所述二分类器和所述m分类器的输出结果得到所述待测图像的类别，并根据所述待测图像的类别标记所述待测图像。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。