本申请涉及测量领域,具体而言,涉及一种棋盘格角点识别方法、装置、设备及存储介质。
背景技术:
棋盘格作为机器视觉中常用的特征物,可用于摄像头参数标定、目标识别、目标跟踪和空间坐标精确定位等场景。当棋盘格用于空间坐标精确定位时,需要精确获得棋盘格上每个角点的准确像素坐标。
在实践中我们发现,当棋盘格和摄像机的距离较远,棋盘格在画面中所占比例较小,或画面中存在大量干扰角点时,使用现有的(如opencv算法库中公开的)棋盘格角点识别算法需要计算大量角点,耗时较长,且可能识别到错误的角点。特别的,当画面上不存在棋盘格并存在大量干扰角点时,现有算法需要计算很长时间才能得到结论,浪费大量算力和时间。另外,当摄像头因背景干扰未能聚焦在棋盘格图案上时,无法识别棋盘格角点,或识别到不准确的棋盘格角点,影响精度。
技术实现要素:
本申请实施例的目的在于提供一种棋盘格角点识别方法、装置、设备及存储介质,以降低原图像的背景中错误角点对棋盘格角点识别的干扰,进而提高棋盘格角点的识别速度和精度。
本申请第一方面公开一种棋盘格角点识别方法,所述方法包括步骤:
将待检测图像作为棋盘格检测模型的输入,以使得所述棋盘格检测模型输出若干个预选区域及每个所述预选区域的置信度得分,所述预选区域为所述待检测图像中可能包含棋盘格图案的区域;
根据非极大值抑制算法、置信度阈值及所述预选区域的置信度得分对所述若干个预选区域进行筛选,以得到满足第一预设条件的区域;
从所述待检测图像中截取所述满足第一预设条件的区域的图像;
当所述满足第一预设条件的区域的图像的宽度或高度小于预设的尺寸时,等比例拉伸所述满足第一预设条件的区域的图像到预设的尺寸;
对所述满足第一预设条件的区域的图像进行棋盘格角点识别;
当识别出所述满足第一预设条件的区域的图像中包含满足第二预设条件的棋盘格角点时,将所述满足第二预设条件的棋盘格角点的坐标映射到所述待检测图像中。
本申请第一方面公开一种棋盘格角点识别方法通过截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
在本申请第一方面中,作为一种可选的实施方式,所述满足第一预设条件的区域为置信度大于所述置信度阈值的预选区域;
或为置信度大于所述置信度阈值、且与所述若干个预选区域中的其他预选区域不重叠的预选区域。
在本申请第一方面中,作为一种可选的实施方式,所述将所述满足第一预设条件的棋盘格角点的坐标映射到所述待检测图像中,包括:
根据叠加所述满足第二预设条件的棋盘格角点的左上角坐标算法,将所述满足第一预设条件的棋盘格角点的坐标映射到所述待检测图像中。
在本可选的实施方式中,通过叠加左上角坐标的方式,可将棋盘格角点的坐标映射到待检测图像中。
在本申请第一方面中,作为一种可选的实施方式,在所述从所述待检测图像中截取所述满足第一预设条件的区域的图像之后,所述对所述满足第一预设条件的区域的图像进行棋盘格角点识别之前,所述方法还包括:
根据图像处理算法计算所述满足第一预设条件的区域的图像的模糊度;
当所述模糊度大于预设模糊阈值时,控制成像设备对焦所述满足第一预设条件的区域。
在本可选的实施方式,通过判断满足第一预设条件的区域的图像的模糊度,可控制成像设备反复对待检测图像进行对焦,直至满足第一预设条件的区域的图像满足模糊度条件。
在本申请第一方面中,作为一种可选的实施方式,在所述根据图像处理算法计算所述满足第一预设条件的区域的图像的模糊度之后,所述控制成像设备对焦所述满足第一预设条件的区域之前,所述方法还包括:
判断所述成像设备的对焦次数;
当所述成像设备的对焦次数大于对焦次数阈值时,停止控制成像设备对焦所述满足第一预设条件的区域。
在本可选的实施方式中,通过对对焦次数进行判断,可控制成像设备在达到对焦次数阈值时,停止检测,进而防止不断检测所导致的计算耗时和计算量大的缺点。
本申请第二方面公开一种棋盘格检测模型的构建方法,所述方法包括步骤:
采集包含棋盘格图案的样本图片;
利用棋盘格识别算法计算所述棋盘格图案的角点在所述样本图片中的像素坐标;
根据所述棋盘格图案的角点在所述样本图片中的像素坐标计算所述样本图片的棋盘格外轮廓;
复核所述样本图片的棋盘格外轮廓,并对错误的外轮廓进行修正;
根据所述样本图片的棋盘格外轮廓计算所述棋盘格图案在所述样本图片中的区域;
根据所述样本图片、所述棋盘格图案在所述样本图片中的区域生成训练样本,其中,将所述样本图片作为目标检测模型的输入,所述棋盘格图案在所述样本图片中的区域为所述目标检测模型的输出;
根据训练样本训练所述目标检测模型,以将训练后的所述目标检测模型作为棋盘格检测模型,所述棋盘格检测模型应用于如权利要求1-5任一项所述的棋盘格角点识别方法中。
本申请第二方面公开一种棋盘格检测模型的构建方法通过计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。
在本申请第二方面中,作为一种可选的实施方式,在所述采集包含棋盘格图案的样本图片之后,所述根据所述样本图片的棋盘格外轮廓计算所述棋盘格图案在所述样本图片中的区域之前,所述方法还包括:
对所述样本图片进行图像处理,以生成若干个所述样本图片;
以及,所述对所述样本图片进行图像处理包括:
对所述样本图片进行旋转、投射、缩放、裁剪处理。
在本可选的实施方式中,对样本图片进行旋转、投射、缩放、裁剪处理处理,可扩展样本的数量。
在本申请第二方面中,作为一种可选的实施方式,在所述根据所述样本图片、所述棋盘格图案在所述样本图片中的区域生成训练样本之后,所述根据训练样本训练所述目标检测模型,以将训练后的所述目标检测模型作为棋盘格检测模型之前,所述方法还包括:
根据图像模糊处理算法对所述样本图片处理,以得到模糊的棋盘格图像;
将所述模糊的棋盘格图像加入到所述训练样本中。
在本可选的实施方式中,通过图像模糊处理算法对样本图片处理,可得到模糊的棋盘格图像,可以很好的模拟摄像头因背景干扰未能聚焦在棋盘格图案上的场景,使模型能够在摄像头未能聚焦在棋盘格图案上时仍可识别出棋盘格区域,进而提高模型的适应能力和精确度。
在本申请第二方面中,作为一种可选的实施方式,在所述根据训练样本训练所述目标检测模型,以将训练后的所述目标检测模型作为棋盘格检测模型之后,所述方法还包括:
对所述棋盘格检测模型进行剪枝,以删除所述棋盘格检测模型中不满足预设条件的卷积核及所述卷积核的特征图通道。
在本可选的实施方式中,通过对棋盘格检测模型进行剪枝,可删除棋盘格检测模型中不满足预设条件的卷积核及卷积核的特征图通道,从而进一步降低棋盘格检测模型的算力要求,提高其运行速度。
本申请第三方面公开一种棋盘格角点识别装置,所述装置应用于棋盘格角点识别设备中,所述装置包括:
输入模块,用于将待检测图像作为棋盘格检测模型的输入,以使得所述棋盘格检测模型输出若干个预选区域及每个所述预选区域的置信度得分,所述预选区域为所述待检测图像中可能包含棋盘格图案的区域;
筛选模块,用于根据非极大值抑制算法、置信度阈值及所述预选区域的置信度得分对所述若干个预选区域进行筛选,以得到满足第一预设条件的区域;
截取模块,用于从所述待检测图像中截取所述满足第一预设条件的区域的图像;
拉伸模块,用于当所述满足第一预设条件的区域的图像的宽度或高度小于预设的尺寸时,等比例拉伸所述满足第一预设条件的区域的图像到预设的尺寸;
识别模块,用于对所述满足第一预设条件的区域的图像进行棋盘格角点识别;
映射模块,用于当所述识别模块识别出所述满足第一预设条件的区域的图像中包含满足第二预设条件的棋盘格角点时,将所述满足第二预设条件的棋盘格角点的坐标映射到所述待检测图像中。
本申请第三方面公开一种棋盘格角点识别装置通过执行棋盘格角点识别方法,能够截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
本申请第四方面公开一种棋盘格检测模型的构建装置,所述装置应用于所述棋盘格角点识别设备中,所述装置包括:
采集模块,用于采集包含棋盘格图案的样本图片;
第一计算模块,用于根据棋盘格识别算法计算所述棋盘格图案的角点在所述样本图片中的像素坐标;
第二计算模块,用于根据所述棋盘格图案的角点在所述样本图片中的像素坐标计算所述样本图片的棋盘格外轮廓;
修正模块,用于复核所述样本图片的棋盘格外轮廓,并对错误的外轮廓进行修正;
第三计算模块,用于根据所述样本图片的棋盘格外轮廓计算所述棋盘格图案在所述样本图片中的区域;
生成模块,用于根据所述样本图片、所述棋盘格图案在所述样本图片中的区域生成训练样本,其中,将所述样本图片作为目标检测模型的输入,所述棋盘格图案在所述样本图片中的区域为所述目标检测模型的输出;
训练模块,用于根据训练样本训练所述目标检测模型,以将训练后的所述目标检测模型作为棋盘格检测模型。
本申请第四方面公开一种棋盘格检测模型的构建装置通过执行棋盘格检测模型的构建方法,能够通过计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。
本申请第五方面公开一种棋盘格角点识别设备,所述设备包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本申请第一方面公开的棋盘格角点识别方法及本申请第二方面公开的棋盘格检测模型的构建方法。
本申请第五方面公开一种棋盘格角点识别设备通过执行棋盘格检测模型的构建方法,能够计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。与此同时,本申请实施例的棋盘格角点识别设备通过执行棋盘格角点识别方法,能够截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
本申请第六方面公开一种计算机存储介质,该计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本申请第一方面公开的棋盘格角点识别方法及本申请第二方面公开的棋盘格检测模型的构建方法。
本申请第六方面公开一种计算机存储介质通过执行棋盘格检测模型的构建方法,能够计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。与此同时,本申请实施例的棋盘格角点识别设备通过执行棋盘格角点识别方法,能够截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例公开的一种棋盘格角点识别方法的流程示意图;
图2是本申请实施例公开的一种待检测图像的示意图;
图3是本申请实施例公开的棋盘格检测模型输出的若干个预选区域的示意图;
图4是本申请实施例公开一种棋盘格检测模型的构建方法的流程示意图;
图5是本申请实施例公开一种棋盘格角点识别装置的结构示意图;
图6是本申请实施例公开一种棋盘格检测模型的构建装置的结构示意图;
图7是本申请实施例公开的一种棋盘格角点识别设备的结构示意图。
其中,附图标记为:待检测图像2、包含棋盘格图案的区域3、区域3的左上角的像素坐标4。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
实施例一
请参阅图1,图1是本申请实施例公开的一种棋盘格角点识别方法的流程示意图。如图所示,该棋盘格角点识别方法包括步骤:
101、将待检测图像作为棋盘格检测模型的输入,以使得棋盘格检测模型输出若干个预选区域及每个预选区域的置信度得分,预选区域为待检测图像中可能包含棋盘格图案的区域;
102、根据非极大值抑制算法、置信度阈值及预选区域的置信度得分对若干个预选区域进行筛选,以得到满足第一预设条件的区域;
103、从待检测图像中截取满足第一预设条件的区域的图像;
104、当所述满足第一预设条件的区域的图像的宽度或高度小于预设的尺寸时,等比例拉伸所述满足第一预设条件的区域的图像到预设的尺寸;
105、对满足第一预设条件的区域的图像进行棋盘格角点识别;
106、当识别出满足第一预设条件的区域的图像中包含满足第二预设条件的棋盘格角点时,将满足第二预设条件的棋盘格角点的坐标映射到待检测图像中。
在本申请实施例中,可选地,满足第一预设条件的区域是矩形区域。
示例性地,请参图2,图2是本申请实施例公开的一种待检测图像的示意图。如图2所示,待检测图像2包含棋盘格图案。此时,将待检测图像2作为棋盘格检测模型的输入,进而棋盘格检测模型输出包含棋盘格图案的区域3。其中,区域3的左上角的像素坐标4为p(x,y)。进而通过区域3的左上角的像素坐标p(x,y)及区域3的像素宽度和像素高度可将区域3从待检测图像2中截取出。
可见,通过截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
在本申请实施例,作为一种可选的实施方式,满足第一预设条件的区域为置信度大于置信度阈值的预选区域;
或为置信度大于置信度阈值、且与若干个预选区域中的其他预选区域不重叠的预选区域。
示例性地,请参阅图3,图3是本申请实施例公开的棋盘格检测模型输出的若干个预选区域的示意图。如图3所示,假设棋盘格检测模型输出3个预选区域,其中,一个预选区域的置信度得分0.7,一个预选区域的置信度得分为0.8,此时,假设置信度阈值是0.6此时,三个预选区域的置信度得分均大于0.6,但是置信度得分为0.7的预选区域和置信度得分为0.8的预选区域与置信度得分为0.99的预选区域重叠面积大于60%,此时,认为置信度得分为0.7的预选区域和置信度得分为0.8的预选区域与置信度得分为0.99的预选区域重叠,则置信度得分为0.7的预选区域和置信度得分为0.8的预选区域被抑制筛选出。
需要说明的是,在当一个预选区域与另一个预选区域的重叠面积大于50%也可以认为前者是重叠预选区域进而被抑制筛选出,即当一个预选区域与另一个预选区域的重叠面积大于一个值时,可认为前者是重叠预选区域进而被抑制筛选出,这个值可以是50%,也可以是60%或其他数值。
需要说明的是,置信度阈值还以是0.6,也可以是0.7。
在本申请实施例,作为一种可选的实施方式,在步骤105中,将满足第一预设条件的棋盘格角点的坐标映射到待检测图像中,包括子步骤:
根据叠加满足第二预设条件的棋盘格角点的左上角坐标算法,将满足第一预设条件的棋盘格角点的坐标映射到待检测图像中。
在本可选的实施方式中,通过叠加左上角坐标的方式,可将棋盘格角点的坐标映射到待检测图像中。
在本申请实施例中,作为一种可选的实施方式,在步骤103:从待检测图像中截取满足第一预设条件的区域的图像之后,步骤104:对满足第一预设条件的区域的图像进行棋盘格角点识别之前,本申请实施例的方法还包括:
根据图像处理算法计算满足第一预设条件的区域的图像的模糊度;
当模糊度大于预设模糊阈值时,控制成像设备对焦满足第一预设条件的区域。
在本可选的实施方式,通过判断满足第一预设条件的区域的图像的模糊度,可控制成像设备反复对待检测图像进行对焦,直至满足第一预设条件的区域的图像满足模糊度条件。
需要说明的是,待检测图像可以从成像设备中的视频画面中抽取。
在本申请实施例中,作为一种可选的实施方式,在步骤:根据图像处理算法计算满足第一预设条件的区域的图像的模糊度之后,控制成像设备对焦满足第一预设条件的区域之前,本申请实施例的方法还包括步骤:
判断成像设备的对焦次数;
当成像设备的对焦次数大于对焦次数阈值时,停止控制成像设备对焦满足第一预设条件的区域。
在本可选的实施方式中,通过对对焦次数进行判断,可控制成像设备在达到对焦次数阈值时,停止检测,进而防止不断检测所导致的计算耗时和计算量大的缺点。
实施例二
请参阅图4,图4是本申请实施例公开一种棋盘格检测模型的构建方法的流程示意图。如图4所示,本申请实施例的方法包括步骤:
201、采集包含棋盘格图案的样本图片;
202、利用棋盘格识别算法计算所述棋盘格图案的角点在所述样本图片中的像素坐标;
203、根据所述棋盘格图案的角点在所述样本图片中的像素坐标计算所述样本图片的棋盘格外轮廓;
204、复核所述样本图片的棋盘格外轮廓,并对错误的外轮廓进行修正;
205、根据样本图片的棋盘格外轮廓计算棋盘格图案在样本图片中的区域;
206、根据样本图片、棋盘格图案在样本图片中的区域生成训练样本,其中,将样本图片作为目标检测模型的输入,棋盘格图案在样本图片中的区域为目标检测模型的输出;
207、根据训练样本训练目标检测模型,以将训练后的目标检测模型作为棋盘格检测模型。
在申请实施例中,通过计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。
在本申请实施例中,可选地,目标检测模型可以是型号为“yolov3-tiny”的深度学习模型,由于该模型具有对算力要求低、实时性强的优点,因此本申请实施例采用该模型,可进一步降低计算耗时。
需要说明的是,本申请实施例的棋盘格检测模型应用于本申请实施例一公开的棋盘格角点识别方法中。
在本申请实施例中,作为一种可选的实施方式,在步骤201:采集包含棋盘格图案的样本图片之后,步骤202:根据样本图片的棋盘格外轮廓计算棋盘格图案在样本图片中的区域之前,本申请实施例的方法还包括步骤:
对样本图片进行图像处理,以生成若干个样本图片;
以及,对样本图片进行图像处理包括:
对样本图片进行旋转、投射、缩放、裁剪处理。
在本可选的实施方式中,对样本图片进行旋转、投射、缩放、裁剪处理处理,可扩展样本的数量。
在本申请实施例中,作为一种可选的实施方式,在步骤203:根据样本图片、棋盘格图案在样本图片中的区域生成训练样本之后,步骤204:根据训练样本训练目标检测模型,以将训练后的目标检测模型作为棋盘格检测模型之前,本申请实施例的方法还包括步骤:
根据图像模糊处理算法对样本图片处理,以得到模糊的棋盘格图像;
将模糊的棋盘格图像加入到训练样本中。
在本可选的实施方式中,通过图像模糊处理算法对样本图片处理,可得到模糊的棋盘格图像,可以很好的模拟摄像头因背景干扰未能聚焦在棋盘格图案上的场景,使模型能够在摄像头未能聚焦在棋盘格图案上时仍可识别出棋盘格区域,进而提高模型的适应能力和精确度。
在本申请实施例中,作为一种可选的实施方式,在步骤204:根据训练样本训练目标检测模型,以将训练后的目标检测模型作为棋盘格检测模型之后,本申请实施例的方法还包括步骤:
对棋盘格检测模型进行剪枝,以删除棋盘格检测模型中不满足预设条件的卷积核及卷积核的特征图通道。
在本可选的实施方式中,通过对棋盘格检测模型进行剪枝,可删除棋盘格检测模型中不满足预设条件的卷积核及卷积核的特征图通道,从而进一步降低棋盘格检测模的算力要求,提高其运行速度。
实施例三
请参阅图5,图5是本申请实施例公开一种棋盘格角点识别装置的结构示意图,该装置应用于棋盘格角点识别设备中。如图5所示,装置包括:
输入模块301,用于将待检测图像作为棋盘格检测模型的输入,以使得棋盘格检测模型输出若干个预选区域及每个预选区域的置信度得分,预选区域为待检测图像中可能包含棋盘格图案的区域;
筛选模块302,用于根据非极大值抑制算法、置信度阈值及预选区域的置信度得分对若干个预选区域进行筛选,以得到满足第一预设条件的区域;
截取模块303,用于从待检测图像中截取满足第一预设条件的区域的图像;
拉伸模块304,用于当所述满足第一预设条件的区域的图像的宽度或高度小于预设的尺寸时,等比例拉伸所述满足第一预设条件的区域的图像到预设的尺寸;
识别模块305,用于对满足第一预设条件的区域的图像进行棋盘格角点识别;
映射模块306,用于当识别模块识别出满足第一预设条件的区域的图像中包含满足第二预设条件的棋盘格角点时,将满足第二预设条件的棋盘格角点的坐标映射到待检测图像中。
在本申请实施例中,可选地,满足第一预设条件的区域是矩形区域。
示例性地,请参图2,图2是本申请实施例公开的一种待检测图像的示意图。如图2所示,待检测图像2包含棋盘格图案。此时,将待检测图像2作为棋盘格检测模型的输入,进而棋盘格检测模型输出包含棋盘格图案的区域3。其中,区域3的左上角的像素坐标4为p(x,y)。进而通过区域3的左上角的像素坐标p(x,y)及区域3的像素宽度和像素高度可将区域3从待检测图像2中截取出。
可见,通过截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
在本申请实施例,作为一种可选的实施方式,满足第一预设条件的区域为置信度大于置信度阈值的预选区域;
或为置信度大于置信度阈值、且与若干个预选区域中的其他预选区域不重叠的预选区域。
示例性地,请参阅图3,图3是本申请实施例公开的棋盘格检测模型输出的若干个预选区域的示意图。如图3所示,假设棋盘格检测模型输出3个预选区域,其中,一个预选区域的置信度得分0.7,一个预选区域的置信度得分为0.8,此时,假设置信度阈值是0.6此时,三个预选区域的置信度得分均大于0.6,但是置信度得分为0.7的预选区域和置信度得分为0.8的预选区域与置信度得分为0.99的预选区域重叠面积大于60%,此时,认为置信度得分为0.7的预选区域和置信度得分为0.8的预选区域与置信度得分为0.99的预选区域重叠,则置信度得分为0.7的预选区域和置信度得分为0.8的预选区域被抑制筛选出。
需要说明的是,在当一个预选区域与另一个预选区域的重叠面积大于50%也可以认为前者是重叠预选区域进而被抑制筛选出,即当一个预选区域与另一个预选区域的重叠面积大于一个值时,可认为前者是重叠预选区域进而被抑制筛选出,这个值可以是50%,也可以是60%或其他数值
需要说明的是,置信度阈值还以是0.6,也可以是0.7。
在本申请实施例,作为一种可选的实施方式,映射模块305执行步骤:将满足第一预设条件的棋盘格角点的坐标映射到待检测图像中的具体方式为:
根据叠加满足第二预设条件的棋盘格角点的左上角坐标算法,将满足第一预设条件的棋盘格角点的坐标映射到待检测图像中。
在本可选的实施方式中,通过叠加左上角坐标的方式,可将棋盘格角点的坐标映射到待检测图像中。
在本申请实施例中,作为一种可选的实施方式,本申请实施例的装置还包括第四计算模块及控制模块,其中:
第四计算模块,用于根据图像处理算法计算满足第一预设条件的区域的图像的模糊度;
控制模块,用于当模糊度大于预设模糊阈值时,控制成像设备对焦满足第一预设条件的区域。
在本可选的实施方式,通过判断满足第一预设条件的区域的图像的模糊度,可控制成像设备反复对待检测图像进行对焦,直至满足第一预设条件的区域的图像满足模糊度条件。
需要说明的是,待检测图像可以从成像设备中的视频画面中抽取。
在本申请实施例中,作为一种可选的实施方式,本申请实施例的装置还包括判断模块及,其中:
判断模块,用于判断成像设备的对焦次数;
控制模块,还用于当判断模块判断出成像设备的对焦次数大于对焦次数阈值时,停止控制成像设备对焦满足第一预设条件的区域。
在本可选的实施方式中,通过对对焦次数进行判断,可控制成像设备在达到对焦次数阈值时,停止检测,进而防止不断检测所导致的计算耗时和计算量大的缺点。
实施例四
请参阅图6,图6是本申请实施例公开一种棋盘格检测模型的构建装置的结构示意图,该装置应用于棋盘格角点识别设备中。如图6所示,装置包括:
采集模块401,用于采集包含棋盘格图案的样本图片;
第一计算模块402,用于根据棋盘格识别算法计算所述棋盘格图案的角点在所述样本图片中的像素坐标;
第二计算模块403,用于根据所述棋盘格图案的角点在所述样本图片中的像素坐标计算所述样本图片的棋盘格外轮廓;
修正模块404,用于复核所述样本图片的棋盘格外轮廓,并对错误的外轮廓进行修正;
第三计算模块405,用于根据样本图片的棋盘格外轮廓计算棋盘格图案在样本图片中的区域;
生成模块406,用于根据样本图片、棋盘格图案在样本图片中的区域生成训练样本,其中,将样本图片作为目标检测模型的输入,棋盘格图案在样本图片中的区域为目标检测模型的输出;
训练模块407,用于根据训练样本训练目标检测模型,以将训练后的目标检测模型作为棋盘格检测模型。
在申请实施例中,通过计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。
在本申请实施例中,可选地,目标检测模型可以是型号为“yolov3-tiny”的深度学习模型,由于该模型具有对算力要求低、实时性强的优点,因此本申请实施例采用该模型,可进一步降低计算耗时。
需要说明的是,本申请实施例的棋盘格检测模型应用于本申请实施例一公开的棋盘格角点识别方法中。
在本申请实施例中,作为一种可选的实施方式,本申请实施例的装置还包括第一图像处理模块,其中:
第一图像处理模块,用于对样本图片进行图像处理,以生成若干个样本图片。
具体地,第一图像处理模块执行对样本图片进行图像处理的具体方式为:
对样本图片进行旋转、投射、缩放、裁剪处理。
在本可选的实施方式中,对样本图片进行旋转、投射、缩放、裁剪处理处理,可扩展样本的数量。
在本申请实施例中,作为一种可选的实施方式,本申请实施例的装置还包括第二图像处理模块,其中:
第二图像处理模块,用于根据图像模糊处理算法对样本图片处理,以得到模糊的棋盘格图像;
将模糊的棋盘格图像加入到训练样本中。
在本可选的实施方式中,通过图像模糊处理算法对样本图片处理,可得到模糊的棋盘格图像,可以很好的模拟摄像头因背景干扰未能聚焦在棋盘格图案上的场景,使模型能够在摄像头未能聚焦在棋盘格图案上时仍可识别出棋盘格区域,进而提高模型的适应能力和精确度。
在本申请实施例中,作为一种可选的实施方式,本申请实施例的装置还包括裁剪模块,其中:
裁剪模块,用于对棋盘格检测模型进行剪枝,以删除棋盘格检测模型中不满足预设条件的卷积核及卷积核的特征图通道。
在本可选的实施方式中,通过对棋盘格检测模型进行剪枝,可删除棋盘格检测模型中不满足预设条件的卷积核及卷积核的特征图通道,从而进一步降低棋盘格检测模的算力要求,提高其运行速度。
实施例五
请参阅图7,图7是本申请实施例公开的一种棋盘格角点识别设备的结构示意图。如图7所示,该设备包括:
存储有可执行程序代码的存储器502;
与存储器502耦合的处理器501;
处理器501调用存储器502中存储的可执行程序代码,执行本申请实施例一公开的棋盘格角点识别方法及本申请实施例二公开的棋盘格检测模型的构建方法。
本申请实施例的棋盘格角点识别设备通过执行棋盘格检测模型的构建方法,能够计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。与此同时,本申请实施例的棋盘格角点识别设备通过执行棋盘格角点识别方法,能够截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
实施例六
本申请实施例公开一种计算机存储介质,该计算机存储介质存储有计算机指令,计算机指令被调用时,用于执行本申请实施例一公开的棋盘格角点识别方法及本申请实施例二公开的棋盘格检测模型的构建方法。
本申请实施例的计算机存储介质通过执行棋盘格检测模型的构建方法,能够计算获取棋盘格图案在样本图片中的区域可减少模型训练过程中人工标注的工作量,从而提高样本制作效率,与此同时,通过用训练样本训练目标检测模型,可得到棋盘格检测模型。与此同时,本申请实施例的计算机存储介质通过执行棋盘格角点识别方法,能够截取满足第一预设条件的区域的图像,进而对满足第一预设条件的区域的图像进行棋盘格角点识别,可降低待检测图像中的错误角点对棋盘格角点识别的干扰,从而减少棋盘格角点识别过程的计算量和降低计算耗时,与此同时,可提高棋盘格角点识别的精确度。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是,功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。