玻璃棒停靠位置的检测方法、装置、设备及可读存储介质与流程

1.本发明涉及信息技术领域，具体而言，涉及一种玻璃棒停靠位置的检测方法、装置、设备及可读存储介质。


背景技术：

2.为实现对化学实验的评分，需要将学生做实验的过程录制下来，并对录制画面进行人工检测和判断，在组装过滤装置并过滤粗食盐水实验中，检测考生是否将玻璃棒靠在三层滤纸处的操作是一个重要的评分点，现有的人工判断方法存在浪费人力资源且判断效率底等缺点。因此，需要一种基于目标检测算法和图像轮廓补齐的玻璃棒停靠位置的检测方法，实现对玻璃棒停靠位置的准确检测。


技术实现要素：

3.本发明的目的在于提供一种玻璃棒停靠位置的检测方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
4.第一方面，本技术提供了一种玻璃棒停靠位置的检测方法，包括：
5.获取实验考试上传图像和历史实验考试图像，所述实验考试上传图像为俯视角度拍摄的连续帧图像；
6.基于预设的目标检测模型对所述实验考试上传图像进行识别，得到至少一帧包含完整滤纸的滤纸图像，所述目标检测模型为所述历史实验考试图像利用神经网络算法训练得到；
7.将所述滤纸图像进行预处理得到灰度图像，并将所述灰度图像通过霍夫直线检测进行轮廓补齐得到三层滤纸区域；
8.基于所述目标检测模型对所述实验考试上传图像进行识别，得到至少一帧包含玻璃棒与漏斗相交的待检测图像，并根据所述三层滤纸区域和所述待检测图像得到检测结果。
9.第二方面，本技术还提供了玻璃棒停靠位置的检测装置，包括：
10.获取模块，用于获取实验考试上传图像和历史实验考试图像，所述实验考试上传图像为俯视角度拍摄的连续帧图像；
11.分析模块，基于预设的目标检测模型对所述实验考试上传图像进行识别，得到至少一帧包含完整滤纸的滤纸图像，所述目标检测模型为所述历史实验考试图像利用神经网络算法训练得到；
12.处理模块，用于将所述滤纸图像进行预处理得到灰度图像，并将所述灰度图像通过霍夫直线检测进行轮廓补齐得到三层滤纸区域；
13.输出模块，基于所述目标检测模型对所述实验考试上传图像进行识别，得到至少一帧包含玻璃棒与漏斗相交的待检测图像，并根据所述三层滤纸区域和所述待检测图像得到检测结果。
14.第三方面，本技术还提供了一种第三方面，本技术还提供了一种玻璃棒停靠位置的检测设备，包括：
15.存储器，用于存储计算机程序；
16.处理器，用于执行所述计算机程序时实现所述玻璃棒停靠位置的检测方法的步骤。
17.第四方面，本技术还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于玻璃棒停靠位置的检测方法的步骤。设备，包括：
18.存储器，用于存储计算机程序；
19.处理器，用于执行所述计算机程序时实现所述玻璃棒停靠位置的检测方法的步骤。
20.第四方面，本技术还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于玻璃棒停靠位置的检测方法的步骤。
21.本发明的有益效果为：
22.一、本发明通过设置目标检测模型，实现对滤纸区域的自动识别和裁剪，缩小了需要检测滤纸的区域，避免环境可能对滤纸检测造成的干扰，提升了检测效率，提高了检测精度。
23.二、本发明通过在图像处理时进行对比度调整和图像空间转换，通过调整对比度并用亮度通道进行图像处理，提高了检测精度。
24.三、本发明通过使用霍夫直线检测进行轮廓检测和补齐，不仅滤除了噪点、干扰点，还能更准确快速的得到三层滤纸和单层滤纸分界线，提高了检测精度。
25.本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
26.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
27.图1为本发明实施例中所述的玻璃棒停靠位置的检测方法流程示意图；
28.图2为本发明实施例中所述的玻璃棒停靠位置的检测装置结构示意图；
29.图3为本发明实施例中所述的玻璃棒停靠位置的检测设备结构示意图。
30.图中标记：1、获取模块；2、分析模块；21、第一处理单元；22、第二处理单元；23、第一识别单元；24、第三处理单元；3、处理模块；31、第四处理单元；32、第一提取单元；33、第五处理单元；34、第六处理单元；35、第七处理单元；351、第一聚类单元；352、第一分类单元；353、第二分类单元；354、第三分类单元；355、第十处理单元；36、第八处理单元；37、第九处理单元；4、输出模块；41、第十一处理单元；42、第十二处理单元；43、第十三处理单元；801、
处理器；802、存储器；803、多媒体组件；804、i/o接口；805、通信组件。
具体实施方式
31.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
33.实施例1：
34.本实施例提供了一种玻璃棒停靠位置的检测方法。
35.参见图1，图中示出了本方法包括步骤s100、步骤s200、步骤s300和步骤s400。
36.步骤s100、获取实验考试上传图像和历史实验考试图像，实验考试上传图像为俯视角度拍摄的连续帧图像。
37.可以理解的是本步骤中，实验考试上传图像为滤纸所在平面正上方的摄像头拍摄画面，历史实验考试图像为之前实验考试中采集到的图像信息，通过将实验考试上传图像和历史实验考试图像存储和上传，便于后续的处理和识别。
38.步骤s200、基于预设的目标检测模型对实验考试上传图像进行识别，得到至少一帧包含完整滤纸的滤纸图像，目标检测模型为历史实验考试图像利用神经网络算法训练得到。
39.需要说明的是步骤s200包括步骤s210、步骤s220、步骤s230和步骤s240。
40.步骤s210、将实验考试上传图像逐帧进行清晰度检测，根据预设的清晰度阈值筛选得到符合清晰度要求的帧图像集。
41.可以理解的是本步骤中通过摄像头所获取的至少一帧包含所要检测滤纸三层处的图像要求足够清晰，如果发生镜头晃动或其它因素导致滤纸图像模糊变形、或者拍摄条件昏暗导致人眼无法识别到三层滤纸和单层滤纸的差别、又或者镜头严重倾斜导致三层滤纸和单层滤纸处之间的状态与实际不符的情况下，需要抛弃该帧图片选择后续包含所要检测滤纸的一帧图片；通过图像处理可以判断图像的总体亮度、模糊度、色差等手段可以判断图片是否符合检测要求，从而选择使用或者丢弃。
42.步骤s220、将帧图像集及进行归一化处理。
43.可以理解的是本步骤中将图片调整到预设尺寸，如640
×
640，对图像统一尺寸提升后续目标识别的速度和精准度。
44.步骤s230、将归一化处理后的帧图像集输入至目标检测模型进行识别，并根据识别结果筛选出包含完整滤纸信息的第一图像。
45.可以理解的是本步骤中可通过目标检测模型yo l o v5对滤纸所在区域进行目标
检测,如果目标检测模型未能检测到滤纸即滤纸所在区域，则丢弃这一帧图像，转而向摄像头获取另一帧包含滤纸的图像。
46.步骤s240、基于目标检测模型的矩形检测框坐标对第一图像进行裁剪得到滤纸图像。
47.可以理解的是本步骤，在检测到滤纸所在区域的图像上进行得到边界为通过目标识别算法训练出的矩形框，即滤纸区域，然后裁剪出该滤纸，通过对滤纸区域的裁剪可以减小图像尺寸，避免实验中其他器材的信息对滤纸检测造成的干扰，提升了检测效率，提高了检测精度。
48.步骤s300、将滤纸图像进行预处理得到灰度图像，并将灰度图像通过霍夫直线检测进行轮廓补齐得到三层滤纸区域。
49.需要说明的是步骤s300包括步骤s310、步骤s320、步骤s330、步骤s340、步骤s350、步骤s360和步骤s370。
50.步骤s310、基于预设的调整系数对滤纸图像进行对比度调整得到调整图像。
51.可以理解的是本步骤中对rgb空间进行调整。首先设定合适的rgb阈值，并在此阈值基础上计算出合适的调整系数进行对比度调整。阈值作为对比度调整依据，当对比度调整为-1时，图像rgb各分量都等于阀值，图像呈全灰色，灰度图上只有一种颜色，即阀值灰度。其算法实现如下：比较当前像素点三维颜色值与阈值的大小，并获取其差值；当增大对比度时，利用调整系数来指数的放大差值；当减小对比度时，利用调整系数来线性的减小差值；当对比度增量为-1时，差值即减小为0。例如：当前像素点为(50,200,250)，阈值为200；对比度增大后可能为(10,200,255)，对比度减小后可能为(150,200,210)。
52.步骤s320、将调整图像转化至预设的颜色空间并提取预设通道得到的通道图像。
53.可以理解的是本步骤中将rgb图像空间的调整图像转为ycbcr，并提取y通道图像。
54.步骤s330、将通道图像进行二值化处理得到灰度图像。
55.可以理解的是本步骤中设定合适的rgb阈值，进行二值化，此时三层滤纸处为黑色。
56.步骤s340、根据灰度图像的尺寸数据确定中心点，并基于中心点在灰度图像中心分割出圆形区域得到连线图像。
57.可以理解的是本步骤中将图像截成最大的正方形，以中点为圆心，确定合适的半径，滤除滤纸之外像素点的影响，将滤纸之外的图像变为白色。
58.步骤s350、将连线图像进行滤除噪点处理得到除噪图像，除噪图像中圆形连线区域外的像素点为1。
59.需要说明的是步骤s350包括步骤s351、步骤s352、步骤s353、步骤s354和步骤s355。
60.步骤s351、对连线图线中的像素点进行基于密度的聚类算法进行聚类，并根据聚类结果对连线图线中的像素点进行分类。
61.可以理解的是本步骤中通过使用dbsan聚类算法对图像进行去除噪点的处理。
62.步骤s352、将距离小于或等于第一像素点距离的像素点分归为核心点簇。
63.可以理解的是本步骤中核心点簇为三层滤纸区域内部的像素点。
64.步骤s353、将距离大于第一像素点距离且小于第二像素点距离的像素点归为边缘
点簇。
65.可以理解的是本步骤中边缘点簇为三层滤纸区域边缘的像素点步骤s354、将大于第二像素点距离的像素点为孤立点簇。
66.可以理解的是本步骤中孤立点簇为图像噪点。
67.步骤s355、将连线图线中孤立点簇包含的像素点设置为1得到除噪图像。
68.可以理解的是本步骤中将三层滤纸区域之外的图像变为白色，去除外部的噪点。
69.步骤s360、将除噪图像中圆形连线区域内的像素点进行腐蚀膨胀操作，得到腐蚀图像。
70.可以理解的是本步骤中通过膨胀滤纸黑色部分，将黑色中的些许白色变成黑色。
71.步骤s370、对腐蚀图中的进行霍夫直线检测得到三层滤纸与单层滤纸的分界线，根据分界线和腐蚀图中的圆弧部分得到三层滤纸位置信息。
72.可以理解的是本步骤中首先进行边缘轮廓检测，确定合适的半径，滤除圆弧部分，得到三层滤纸和单层滤纸的大致分界线；然后使用霍夫直线检测检测出分界线的直线，得到分界线，经过腐蚀膨胀得到三层滤纸区域，将坐标信息转换为摄像头下拍摄的图像中的坐标，提高了检测精度。
73.步骤s400、基于目标检测模型对实验考试上传图像进行识别，得到至少一帧包含玻璃棒与漏斗相交的待检测图像，并根据三层滤纸区域和待检测图像得到检测结果。
74.需要说明的是步骤s400包括步骤s410、步骤s420和步骤s430。
75.步骤s410、对待检测图像中每一帧图像进行玻璃棒底部端点标记，得到端点坐标。
76.可以理解的是本步骤中得到每一帧图像中的玻璃棒底部端点坐标。
77.步骤s420、逐帧判断待检测图像中的端点坐标是否位于三层滤纸位置内。
78.可以理解的是本步骤判断玻璃棒是否停靠在三层滤纸处。
79.步骤s430、统计待检测图像中的端点坐标位于三层滤纸位置内的图像帧数，若图像帧数大于或等于预设帧数阈值，则说明玻璃棒停靠位置正确。
80.可以理解的是本步骤还需考虑玻璃棒停留的时间，需要玻璃棒端点坐标连续15帧静止不动且位于三层滤纸的区域才能得到玻璃棒停靠位置正确的结论，反之则说明玻璃棒停靠位置错误。
81.实施例2：
82.如图2所示，本实施例提供了一种玻璃棒停靠位置的检测装置，装置包括：
83.获取模块1，用于获取实验考试上传图像和历史实验考试图像，实验考试上传图像为俯视角度拍摄的连续帧图像。
84.分析模块2，基于预设的目标检测模型对实验考试上传图像进行识别，得到至少一帧包含完整滤纸的滤纸图像，目标检测模型为历史实验考试图像利用神经网络算法训练得到。
85.处理模块3，用于将滤纸图像进行预处理得到灰度图像，并将灰度图像通过霍夫直线检测进行轮廓补齐得到三层滤纸区域。
86.输出模块4，基于目标检测模型对实验考试上传图像进行识别，得到至少一帧包含玻璃棒与漏斗相交的待检测图像，并根据三层滤纸区域和待检测图像得到检测结果。
87.在本公开的一种具体实施方式中，分析模块2包括：
88.第一处理单元21，用于将实验考试上传图像逐帧进行清晰度检测，根据预设的清晰度阈值筛选得到符合清晰度要求的帧图像集。
89.第二处理单元22，用于将帧图像集及进行归一化处理。
90.第一识别单元23，用于将归一化处理后的帧图像集输入至目标检测模型进行识别，并根据识别结果筛选出包含完整滤纸信息的第一图像。
91.第三处理单元24，基于目标检测模型的矩形检测框坐标对第一图像进行裁剪得到滤纸图像。
92.在本公开的一种具体实施方式中，处理模块3包括：
93.第四处理单元31，基于预设的调整系数对滤纸图像进行对比度调整得到调整图像。
94.第一提取单元32，将调整图像转化至预设的颜色空间并提取预设通道得到的通道图像。
95.第五处理单元33，用于将通道图像进行二值化处理得到灰度图像。
96.第六处理单元34，用于根据灰度图像的尺寸数据确定中心点，并基于中心点在灰度图像中心分割出圆形区域得到连线图像。
97.第七处理单元35，用于将连线图像进行滤除噪点处理得到除噪图像，除噪图像中圆形连线区域外的像素点为1。
98.第八处理单元36，用于将除噪图像中圆形连线区域内的像素点进行腐蚀膨胀操作，得到腐蚀图像。
99.第九处理单元37，用于对腐蚀图中的进行霍夫直线检测得到三层滤纸与单层滤纸的分界线，根据分界线和腐蚀图中的圆弧部分得到三层滤纸位置信息。
100.在本公开的一种具体实施方式中，第七处理单元35包括：
101.第一聚类单元351，用于对连线图线中的像素点进行基于密度的聚类算法进行聚类，并根据聚类结果对连线图线中的像素点进行分类。
102.第一分类单元352，用于将距离小于或等于第一像素点距离的像素点分归为核心点簇。
103.第二分类单元353，用于将距离大于第一像素点距离且小于第二像素点距离的像素点归为边缘点簇。
104.第三分类单元354，用于将大于第二像素点距离的像素点为孤立点簇。
105.第十处理单元355，用于将连线图线中孤立点簇包含的像素点设置为1得到除噪图像。
106.在本公开的一种具体实施方式中，输出模块4包括：
107.第十一处理单元41，用于对待检测图像中每一帧图像进行玻璃棒底部端点标记，得到端点坐标。
108.第十二处理单元42，用于逐帧判断待检测图像中的端点坐标是否位于三层滤纸位置内。
109.第十三处理单元43，用于统计待检测图像中的端点坐标位于三层滤纸位置内的图像帧数，若图像帧数大于或等于预设帧数阈值，则说明玻璃棒停靠位置正确。
110.实施例3：
111.相应于上面的方法实施例，本实施例中还提供了一种玻璃棒停靠位置的检测设备，下文描述的一种玻璃棒停靠位置的检测设备与上文描述的一种玻璃棒停靠位置的检测方法可相互对应参照。
112.图3是根据示例性实施例示出的一种玻璃棒停靠位置的检测设备800的框图。如图3所示，该玻璃棒停靠位置的检测设备800可以包括：处理器801，存储器802。该玻璃棒停靠位置的检测设备800还可以包括多媒体组件803，i/o接口804，以及通信组件805中的一者或多者。
113.其中，处理器801用于控制该玻璃棒停靠位置的检测设备800的整体操作，以完成上述的玻璃棒停靠位置的检测方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该玻璃棒停靠位置的检测设备800的操作，这些数据例如可以包括用于在该玻璃棒停靠位置的检测设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(stat i c random access memory，简称sram)，电可擦除可编程只读存储器(e l ectr i ca l l y erasab l e programmab l e read-on l y memory，简称eeprom)，可擦除可编程只读存储器(erasab l e programmab l e read-on l y memory，简称eprom)，可编程只读存储器(programmab l e read-on l y memory，简称prom)，只读存储器(read-on l y memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该玻璃棒停靠位置的检测设备800与其他设备之间进行有线或无线通信。无线通信，例如wi-f i，蓝牙，近场通信(near f i e l dcommun i cat i on，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：w i-f i模块，蓝牙模块，nfc模块。
114.在一示例性实施例中，玻璃棒停靠位置的检测设备800可以被一个或多个应用专用集成电路(app l i cat i on spec i f i c i ntegrated c i rcu i t，简称as i c)、数字信号处理器(d i g i ta l s i gna l processor，简称dsp)、数字信号处理设备(d i g i ta l s i gna l process i ng dev i ce，简称dspd)、可编程逻辑器件(programmab l e log i c dev i ce，简称pld)、现场可编程门阵列(f i e l d programmab l e gate ar ray，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的玻璃棒停靠位置的检测方法。
115.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的玻璃棒停靠位置的检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由玻璃棒停靠位置的检测设备800的处理器801执行以完成上述的玻璃棒停靠位置的检测方法。
116.实施例4：
117.相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的
一种可读存储介质与上文描述的一种玻璃棒停靠位置的检测方法可相互对应参照。
118.一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的玻璃棒停靠位置的检测方法的步骤。
119.该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-on l y memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
120.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
121.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。