本发明涉及图像识别技术领域，尤其涉及一种标尺读数的图像识别方法及设备。
背景技术：
随着信息时代的发展，图像数据越发庞大，而且以一个很快的速度在增长。通过这些图像可以发掘出人们的所思所想，为进一步决策提供依据。在进行数据挖掘之前，需要对这些庞大的图像数据进行有效的分类管理。在对图像数据的分类管理中，图像识别是一个基础工作，其在信息提取、信息识别和信息检索方面都有重要的意义和价值。要让计算机像人一样对图像数据进行图像分类或图像识别具有很大的困难，这些困难在于图像数据具有不规则性，不同图像数据的表示方法，图像的数量级不同等方面。深度学习(deeplearning)，尤其是卷积神经网络(cnn)，是近几年来图像处理及模式识别中的研究重点，受到人们越来越多的关注。它是一种建立、模拟人脑进行分析学习的神经网络，能够模仿人脑的机制来解释数据，例如图像，声音和文本。
标尺图像智能识别系统是众多图像识别产品中的一款面向水行业及能源行业的标尺刻度图像自动识别产品，能够自动识别水标尺图片中的读数，并将识别的成果进行专业的业务应用，能够替代传统的人工观测计数，提高用户工作效率，减少人工操作。
从机器学习模型的层次结构来看，机器学习的发展大概经历了两次变革：浅层学习和深度学习。在面对多个变量的异域问题时，浅层学习模型难以对其进行表达，需要多层隐含结点的网络才能有效进行表示，深度学习模型可以简洁有效的来表示复杂的函数。随着大数据的发展，面对庞大的数据，浅层学习结构在模型描述能力方面更是显现出了短板，难以充分挖掘数据的内在表示，只有表达能力更强的模型才能从大数据中发掘出更多更有价值的信息，这也激发了人们探索深度学习模型对复杂函数建模的学习动机。图像识别的研究目标就是根据图像中所具有的某种属性将其划分到预先定义的不同分类中。如何构建图像特征表示和分类模型是解决图像理解问题的关键，很多研究者进行了广泛的研究并提出了一些有效的方法。传统的方法大部分是基于视觉码本模型，该模型很好的利用了人工巧妙设计的图像描述和有效的机器学习模型，但它对图像中层结构和高层语义信息的表示力有限，无法突破语义鸿沟。近年来，深度学习的突破性发展为解决这一问题提供了新的思路，并在许多模式识别问题中得到成功应用。
然而，现有的基于深度学习的图像识别产品，其网络模型强大的假设空间使得模型训练极易陷入局部最优，导致模型泛化能力很差，并不能很好地预测未知的数据。同时，模型训练需要大量的含有语义标签的数据进行训练，增大了人工标注工作量。现有的基于hough变换与harris检测的标尺识别方法，其算法使用中值滤波去除噪声和灰度均衡之后，再使用形态学的细化和轮廓提取技术计算刻线的位置。该算法采用的是传统的图像处理方法，只在少量图像上表现好，不能够很好的适应各种水尺型号(例如，水尺颜色、刻度、尺寸等)及复杂环境(例如，光照、角度等)的变化。现有的基于标尺刻度颜色的标尺定位算法，采用颜色分割的方法提取图像中颜色通道特征并进行阈值分割来对标尺进行定位，但该算法不能很好的适应复杂的环境，例如，当标尺上面存在污痕、斑点、局部损坏或刻度颜色多样时，算法的鲁棒性不高。
技术实现要素：
本发明提供了一种标尺读数的图像识别方法及设备，以提高标尺图像识别对复杂环境的适应性。
本发明实施例提供了一种标尺读数的图像识别方法，包括：获取利用标尺测量待测对象的图像；利用标尺图像检测模型识别所述测量待测对象的图像中的标尺图像沿标尺度量方向的长度，并从所述测量待测对象的图像中截取所述标尺图像；利用标度图像检测模型识别截取的标尺图像中的标度图像沿所述标尺度量方向的长度；根据所述标尺图像沿标尺度量方向的长度、所述标度图像沿标尺度量方向的长度、所述标尺的实际总长度、及所述标尺中标度的实际长度，计算得到所述标尺测量所述待测对象的读数。
一个实施例中，该方法还包括：利用第一训练数据和图像目标检测算法，对初始神经网络进行训练，得到所述标尺图像检测模型；所述第一训练数据包括标尺测量图像和相应的标尺框标签。
一个实施例中，该方法还包括：利用第二训练数据和图像目标检测算法，对初始神经网络进行训练，得到所述标度图像检测模型；所述第二训练数据包括标尺测量图像中的标度图像和相应的标度框标签。
一个实施例中，利用标度图像检测模型识别截取的标尺图像中的标度图像沿所述标尺度量方向的长度，包括：利用标度图像检测模型识别截取的标尺图像中的至少一个标度图像的标度框坐标；根据每个所述标度框坐标计算得到每个所述标度图像沿所述标尺度量方向的初始长度；根据至少一个所述标度图像对应的所述初始长度得到所述截取的标尺图像中的标度图像沿所述标尺度量方向的长度。
一个实施例中，所述初始神经网络为卷积神经网络；所述图像目标检测算法为fasterrcnn目标检测算法；所述方法还包括：基于设定网络结构，使用zfnet算法得到所述初始神经网络。
一个实施例中，所述标尺测量所述待测对象的读数为：
hw＝h–hr/he*scale，
其中，hw表示所述标尺测量所述待测对象的读数，h表示所述标尺的实际总长度，hr表示所述标尺图像沿标尺度量方向的长度，he表示所述标度图像沿标尺度量方向的长度，scale表示所述标尺中标度的实际长度。
一个实施例中，该方法还包括：当所述读数超过设定值时，发送预警信息至终端设备。
一个实施例中，获取利用标尺测量待测对象的图像，包括：获取利用标尺测量待测对象的视频图像；将所述视频图像转换为所述测量待测对象的图像。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各实施例所述方法的步骤。
本发明实施例的标尺读数的图像识别方法、计算机可读存储介质及计算机设备，通过识别出来标尺的长度和标度的长度计算标尺的测量读数，能够不受待测对象表面光线变化、测量角度等的影响，提高了标尺图像识别对复杂环境的适应性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例的标尺读数的图像识别方法的流程示意图。
图2是本发明一实施例中利用标度图像检测模型识别截取的标尺图像中的标度图像沿标尺度量方向的长度的方法流程示意图。
图3是本发明另一实施例的标尺读数的图像识别方法的流程示意图。
图4是本发明一实施例中获取利用标尺测量待测对象的图像的方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1是本发明一实施例的标尺读数的图像识别方法的流程示意图。如图1所示，该标尺读数的图像识别方法，可包括：
步骤s110：获取利用标尺测量待测对象的图像；
步骤s120：利用标尺图像检测模型识别所述测量待测对象的图像中的标尺图像沿标尺度量方向的长度，并从所述测量待测对象的图像中截取所述标尺图像；
步骤s130：利用标度图像检测模型识别截取的标尺图像中的标度图像沿所述标尺度量方向的长度；
步骤s140：根据所述标尺图像沿标尺度量方向的长度、所述标度图像沿标尺度量方向的长度、所述标尺的实际总长度、及所述标尺中标度的实际长度，计算得到所述标尺测量所述待测对象的读数。
该标尺例如为水尺，该待测对象例如为水库、河流等。该标度可指标尺上的一个度量单位，例如为水尺上的标度e。利用标尺测量待测对象时，一般仅有部分标尺可见，例如利用水尺测量水库深度时，一般仅有水面以上部分的水尺可见，所以，所述测量待测对象的图像中的标尺图像中一般仅包含可见部分的标尺。所述标尺图像沿标尺度量方向的长度和所述标度图像沿标尺度量方向的长度可以根据图像中两点间的距离确定。所述标尺的实际总长度和所述标尺中标度的实际长度可以根据真实的标尺确定。所述测量待测对象的图像中可以包含一个或多个标尺图像。标尺图像中标尺部分应包含一个或多个清晰的标度，标尺图像中标尺部分中可以有一个或多个标度残损或缺失。该标尺图像检测模型和该标度图像检测模型可以是针对某种网络结构的参数模型。
本实施例中，通过利用标尺图像检测模型识别所述测量待测对象的图像中的标尺图像沿标尺度量方向的长度，并从所述测量待测对象的图像中截取所述标尺图像，利用标度图像检测模型识别截取的标尺图像中的标度图像沿所述标尺度量方向的长度，并根据所述标尺图像沿标尺度量方向的长度、所述标度图像沿标尺度量方向的长度、所述标尺的实际总长度及所述标尺中标度的实际长度计算所述标尺测量待测对象的读数，实现了通过识别出来标尺的长度和标度的长度计算标尺的测量读数，不受待测对象表面光线变化、测量角度等的影响，提高了标尺图像识别对复杂环境的适应性。
实施例中，在上述步骤s120和步骤s130中，预测时取置信度阈值conf_thresh可为0.7～0.9，例如取0.80，非极大值抑制阈值nms_thresh可为0.2～0.4，例如取0.30。
一些实施例中，标尺读数的图像识别方法，还可包括：利用第一训练数据和图像目标检测算法，对初始神经网络进行训练，得到所述标尺图像检测模型；所述第一训练数据包括标尺测量图像和相应的标尺框标签。标尺测量图像是指利用标尺测量待测对象的图像。每个标尺框标签可以标示标尺测量图像中标尺的位置，可以将标尺框出来。
一些实施例中，标尺读数的图像识别方法，还可包括：利用第二训练数据和图像目标检测算法，对初始神经网络进行训练，得到所述标度图像检测模型；所述第二训练数据包括标尺测量图像中的标度图像和相应的标度框标签。每个标度框标签可以标示标度图像的位置或框坐标。
上述第二训练数据可以基于上述第一训练数据得到。得到所述标尺图像检测模型和得到所述标度图像检测模型所用的初始神经网络可以相同。训练时，迭代次数，例如可以设置为5万次。
图2是本发明一实施例中利用标度图像检测模型识别截取的标尺图像中的标度图像沿标尺度量方向的长度的方法流程示意图。如图2所示，在上述步骤s130中，利用标度图像检测模型识别截取的标尺图像中的标度图像沿所述标尺度量方向的长度，可包括：
步骤s131：利用标度图像检测模型识别截取的标尺图像中的至少一个标度图像的框坐标；
步骤s132：根据每个所述标度框坐标计算得到每个所述标度图像沿所述标尺度量方向的初始长度；
步骤s133：根据至少一个所述标度图像对应的所述初始长度得到所述截取的标尺图像中的标度图像沿所述标尺度量方向的长度。
该截取的标尺图像中的标尺部分可以包含一个或多个清晰的标度。该标度框坐标可包含两个或两个以上标度框上点的坐标。所述标度图像沿所述标尺度量方向的初始长度可以为所述标度框坐标中两点纵坐标的差值。在上述步骤s133中，例如，可以通过对多个所述标度图像对应的所述初始长度求平均得到标度图像沿所述标尺度量方向的长度；或者选取其中一个初始长度作为标度图像沿所述标尺度量方向的长度。
一些实施例中，所述初始神经网络为卷积神经网络。一些实施例中，所述图像目标检测算法为fasterrcnn目标检测算法。
一些实施例中，标尺读数的图像识别方法，还可包括：基于设定网络结构，使用zfnet算法得到所述初始神经网络。
一些实施例中，所述标尺测量所述待测对象的读数为：
hw＝h–hr/he*scale，
其中，hw表示所述标尺测量所述待测对象的读数，h表示所述标尺的实际总长度，hr表示所述标尺图像沿标尺度量方向的长度，he表示所述标度图像沿标尺度量方向的长度，scale表示所述标尺中标度的实际长度。
该实施例中，例如，在利用水尺测量水体深度时，利用水尺的总长度减去水面以上部分水尺(hr/he*scale)的长度，可以得到水尺测量水体的读数，即水深。
图3是本发明另一实施例的标尺读数的图像识别方法的流程示意图。如图3所示，图1所示的标尺读数的图像识别方法，还可包括：
步骤s150：当所述读数超过设定值时，发送预警信息至终端设备。
该终端设备可以为移动终端设备，例如手机。进一步，可以将预警信息发送至终端设备上的app(应用)中，例如短信、微信等。以此，能够在通过标尺测量读数得知待测对象对人们产生威胁时，及时提示相关人员作出应对措施。
图4是本发明一实施例中获取利用标尺测量待测对象的图像的方法流程示意图。如图4所示，在上述步骤s110中，获取利用标尺测量待测对象的图像，可包括：
步骤s111：获取利用标尺测量待测对象的视频图像；
步骤s112：将所述视频图像转换为所述测量待测对象的图像。
该实施例中，视频图像可以从待测对象的监控点获得。可以通过从视频图像中截图获得所述测量待测对象的图像。通过在不同播放时间点的视频画面进行截图可以得到多个所述测量待测对象的图像。
一个具体实施例中，以水尺为例，基于深度学习的水尺图像自动识别算法，可包括：
步骤s1：定义水尺图像识别网络结构，算法使用zfnet作为基础训练网络；
步骤s2：根据步骤s1配置的网络结构与参数，使用fasterrcnn目标检测算法对标尺与标度e分别进行训练，迭代次数均设置为50000次，得到标尺与标度e检测模型；
步骤s3：根据步骤s2得到的标尺检测模型与输入图像i送入网络进行前向计算，预测时取置信度阈值conf_thresh为0.80，非极大值抑制阈值nms_thresh为0.30，得到标尺的回归框坐标并截取出标尺图像；
步骤s4：根据步骤s2得到的标度e检测模型与步骤s3截取的标尺图像送入卷积神经网络进行前向计算，预测时取置信度阈值conf_thresh为0.80，非极大值抑制阈值nms_thresh为0.30，得到标尺上n个标度e的回归框坐标bboxi(x1,y1,x2,y2)，计算标度e框平均高度计算公式为he＝1/n*∑(y2–y1)；
步骤s5：根据步骤s3和步骤s4前向计算得到标尺的位置与标尺图像中标尺的框高度hr与标度e框平均高度he，给定标尺e的单位长度为scale，水尺总高为h，则水深计算公式为：hw＝h–hr/he*scale(单位m)。
本实施例的方法，利用计算机图像自动识别技术自动识别水行业中各类水标尺的读数，以代替传统人工肉眼判断读数，并设定预警条件，自动分析预警，能逐步降低水标尺观测的人工精力投入，真正提升工作效率。能够大幅提升水标尺视频监控能力和力度，发现异常能够更加及时、准确。水标尺视频监控站的作用能够得到最大程度发挥。
一些实施例中，基于标尺读数的图像识别方法的标尺图像智能识别系统主要可包括视频图像的接入部分、图像识别计算模型、计算结果分析预警部分、计算结果展示部分。视频图像的接入可以是指标尺图像智能识别系统与视频监控点设备连接，实时获取视频图像信息，系统自动将视频图像转换图片保存，用于图片内容识别。图像识别计算模型可以是针对水标尺图像建立自动识别计算模型，让计算机能够自动识别出图片中水标尺的读数，并不断自我学习优化，提高识别准确度。计算结果分析预警可以是针对识别出的标尺读数，通过设定预警阈值，自动判断是否超阈值，超阈值后能够自动产生预警信息，并通过微信、短信发送相关人员。计算结果展示可以是针对系统自动识别计算的成果信息，通过web进行直观的展示及查询。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各实施例所述方法的步骤。
综上所述，本发明实施例的标尺读数的图像识别方法、计算机可读存储介质及计算机设备，通过识别出来标尺的长度和标度的长度计算标尺的测量读数，能够不受待测对象表面光线变化、测量角度等的影响，提高了标尺图像识别对复杂环境的适应性。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。