基于两位置深度图像识别的饮水机控制装置及其控制方法与流程

文档序号:16120685发布日期:2018-11-30 23:09阅读:172来源:国知局

本发明属于饮水机技术领域,具体涉及一种饮水机的出水智能控制装置及其控制方法。

背景技术

随着饮水机的不断普及,广大消费者对饮水机的功能要求也越来越高。目前的饮水机必须通过按键操作完成定量取水,不能实现智能控制取水过程,给使用者带来了一定的不便。



技术实现要素:

本发明解决的技术问题是提供一种饮水机出水智能控制装置及其控制方法,以彩色相机和深度相机技术手段判断饮水机出水口下方是否有杯子存在,以及杯子口沿是否对准出水口,通过上述判断来控制打开或关闭饮水机的出水口水流,以及智能控制出水量。

为实现上述控制装置及其控制方法,本发明所采取的技术方案如下:

基于两位置深度图像识别的饮水机控制装置,包括第一图像获取单元、第二图像获取单元、控制及信息储存/处理单元和电源;电源的输出端连接控制及信息储存/处理单元的电源输入端,用于直接或间接为控制及信息储存/处理单元、第一图像获取单元和第二图像获取单元提供工作电源;控制及信息储存/处理单元分别与第一图像获取单元和第二图像获取单元电连接。

进一步地,饮水机出水口下方出现杯子的空间为图像获取装置拍摄的目标区域,目标区域内包括多个位于饮水机上固定的标志点,作为建立三维坐标系标定点。

进一步地,第一图像获取单元安装在饮水机机体的目标区域上部、近出水口位置,第一图像获取单元向下方向垂直拍摄杯子;第二图像获取单元安装在饮水机机体的目标区域侧部,从侧面位置水平方向拍摄杯子侧面。

进一步地,第一图像获取单元和第二图像获取单元中包括以下两种相机之一:1)深度相机,2)深度相机结合彩色相机,深度相机结合彩色相机为rgb-d相机;深度相机拍摄获得深度图像,rgb-d相机拍摄获得深度图像和彩色图像;第一图像获取单元中深度相机拍摄的为第一深度图像,彩色相机拍摄的为第一彩色图像,第二图像获取单元中深度相机拍摄的为第二深度图像,彩色相机拍摄的为第二彩色图像。

进一步地,第一图像获取单元和第二图像获取单元中深度相机的工作原理是以下四种原理中的一种:i)结构光测量原理、ii)双目视差测量原理、iii)结构光+双目视差测量原理、iv)tof飞行时间测量原理。

本发明基于两位置深度图像识别的饮水机控制装置的控制方法包括如下两种技术方案:

技术方案一:

基于两位置深度图像识别的饮水机控制方法,使用深度相机获得第一深度图像和第二深度图像的步骤包括:

s1.建立目标区域的背景模型:目标区域没有杯子或其他外来物体,控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元分别获得目标区域的多帧背景深度图像并加以处理,将背景深度图像转换为背景点云图像;根据已知的标志点和出水口的位置三维坐标信息以及二图像获取单元的参数,建立目标区域的背景模型,控制及信息储存/处理单元存储该背景模型;

s2.提取目标区域前景深度图像:目标区域放置杯子,饮水机出水口没有出水的情况下,控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元分别获得多帧目标区域的实时第一深度图像和第二深度图像,对第一深度图像和第二深度图像进行噪声阈值处理、平滑处理等,进行前景和背景分割,选择有效算法提取前景轮廓,即杯子的轮廓,并且提取杯子的特征点,通过第一深度图像获得杯子在xy平面上投影诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标等杯子在xy平面上的位置信息;通过第二深度图像获得杯子的最高像素点的三维坐标信息,即获得了杯子的高度信息;

s3.判断杯子是否对准饮水机出水口:根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数,以及杯子第一深度图像在xy平面上投影前后、左右对称具有明显的几何中心的特性,控制及信息储存/处理单元判断饮水机出水口在xy平面上投影是否落在杯子在xy平面上投影内部,并且计算出水口在xy平面上投影和杯子在xy平面上投影几何中心之间的位置关系和距离,即和该几何中心的对准程度,据此对准程度,设定在不同的特定杯中水位高度关闭饮水机出水,给杯子注入特定量的水;

s4.饮水机向杯子里注水:通过以上步骤,所述控制及信息储存/处理单元确定出水口在xy平面上投影落在杯子口沿内部,即饮水机出水口对准了杯子的口沿,控制及信息储存/处理单元发出指令:开启饮水机出水口水流,向杯子里注水;

s5.杯子中注入的水位高度实时检测:在饮水机向杯子里注水过程中,控制及信息储存/处理单元控制第一图像获取单元中深度相机和第二图像获取单元中深度相机以每秒一定帧数的速度实时分别获得第一深度图像和第二深度图像,提取其中杯子中水面的实时高度信息,其中:对于不透明的杯子,杯子中水面的实时高度信息从第一深度图像中提取,对于透明的杯子,杯子中水面的实时高度信息从第二深度图像中提取,或者从第一深度图像和第二深度图像中同时分别提取,取高度大的值为水面高度值;控制及信息储存/处理单元处理、分析、计算杯子中水位平面的深度图像过程包括:通过有效的算法滤除饮水机出水口流下的水流带来的噪声,以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素;

s6.完成用杯子取水过程:当控制及信息储存/处理单元通过对实时第一深度图像和第二深度图像的处理、分析,计算出杯子中的水位到达预设定的特定水位高度时,控制及信息储存/处理单元发出指令:关闭饮水机出水,停止向杯子中注水,停止拍摄深度图像;

s7.更新目标区域的背景模型:取水者从目标区域移走杯子后,一定时间内,没有物体或杯子再次进入目标区域,控制及信息储存/处理单元启动第一图像获取单元和第二图像获取单元中深度相机获得多帧目标区域的第一深度图像和第二深度图像,对目标区域再次建立更新的背景模型,并用该新建立的更新背景模型替代控制及信息储存/处理单元中存储的原有背景模型,作为下次取水的s1步骤:建立目标区域的背景模型。

技术方案二:

基于两位置深度图像识别的饮水机控制方法,使用rgb-d相加获得配准后的第一深度图像和配准后的第二深度图像的步骤包括:

s1.建立目标区域的背景模型:使用rgb-d相机建立的背景模型为深度图像和彩色图像配准后的背景模型,目标区域没有杯子或其他外来物体,控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元中rgb-d相机同步获得目标区域的背景彩色图像和深度图像并加以处理,将图像转换为背景点云图像,对彩色图像和深度图像进行配准,建立彩色图像像素点和深度图像深度信息之间的对应关系,从而得出彩色图像的像素位置和深度图像变换模型;控制及信息储存/处理单元根据配准得出的像素位置和深度变换模型,配准方法包括:采用基于特征点匹配的配准,其中用尺度不变特征变换算法(sift)或者其他相关的特征点算法来检测rgb-d相机同步获得的彩色图像和深度图像的特征点,并对上述图像的特征点进行匹配;用随机一致性算法(ransac)或者其他算法去除上述图像错误的匹配点对,得到正确匹配的特征点对;根据正确匹配的特征点对的位置和深度信息,得到它们之间的对应关系,计算出这两帧图像之间的像素位置和深度变换模型,从而获得更高分辨率的配准后深度图像;

根据已知的标志点和出水口的位置三维坐标信息以及rgb-d相机的参数,建立目标区域的配准后背景模型,控制及信息储存/处理单元存储该配准后背景模型;

s2.提取目标区域前景深度图像:使用rgb-d相机建立的背景模型为深度图像和彩色图像配准后的背景模型,目标区域放置杯子,饮水机出水口没有出水的情况下,控制及信息储存/处理单元通过第一图像获取单元和第二图像获取单元中rgb-d相机同步实时获得目标区域的彩色图像和深度图像,对彩色图像和深度图像做噪声阈值处理、平滑处理等,进行s1步骤所述的配准,实现前景和背景分割,选择有效算法提取前景轮廓,杯子的轮廓,并提取杯子的特征点,通过配准后的第一深度图像获得杯子在xy平面上诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标信息,通过配准后的第二深度图像获得杯子的最高像素点的三维坐标信息,即获得了杯子的高度信息;

s3.判断杯子是否对准饮水机出水口:根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数,以及杯子配准后的第一深度图像在xy平面上投影前后、左右对称,具有一个明显的几何中心的特性,控制及信息储存/处理单元判断出水口在xy平面上投影是否落在杯子的像素点在xy平面上投影的内部和距离该投影的几何中心的位置;

进一步,控制及信息储存/处理单元根据已知的坐标信息,通过分析运算,获得出水口在xy平面上投影和杯子在xy平面上投影的几何中心的对准程度,据此对准程度,设定在不同的特定水位高度关闭饮水机出水,给杯子注入特定量的水;

s4.饮水机向杯子里注水:通过以上步骤,所述控制及信息储存/处理单元确定出水口在xy平面上投影的确落在杯子口沿内部,即饮水机出水口的确对准了杯子的口沿,控制及信息储存/处理单元发出指令:开启饮水机出水口水流,向杯子里注水;

s5.杯子中注入的水位高度实时检测:在饮水机向杯子里注水过程中,控制及信息储存/处理单元控制第一图像获取单元和第二图像获取单元中rgb-d相机以每秒一定帧数的速度同步实时获得杯子的第一彩色图像、第一深度图像和第二彩色图像、第二深度图像,并实时对杯子相应的彩色和深度图像加以处理、配准,分析、计算出杯子中水面的实时高度信息,其中:对于不透明的杯子,杯子中水面的实时高度信息从配准后的第一深度图像中提取,对于透明的杯子,杯子中水面的实时高度信息通过配准后的第一深度和第二深度图像中同时分别提取,当二个值相差在一定的范围dh以内,任取其中的一个值为水面高度,如果相差大于dh,取高度大的值为水面高度值,控制及信息储存/处理单元处理、分析、计算杯子中水位平面的深度图像过程包括:通过有效的算法滤除饮水机出水口流下的水流带来的噪声,以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素;

s6.完成用杯子取水过程:当控制及信息储存/处理单元通过对第一图像获取单元和第二图像获取单元中rgb-d相机获得的同步实时所述监控区域彩色图像和深度图像的处理、配准,分析、计算出杯子中的水位到达预设定的特定水位高度时,控制及信息储存/处理单元发出指令:关闭饮水机出水,停止向杯子中注水,停止拍摄彩色图像和深度图像;

s7.更新目标区域的配准后背景模型:取水者从目标区域移走杯子后,一定时间内,没有物体或杯子再次进入目标区域,控制及信息储存/处理单元启动第一图像获取单元和第二图像获取单元中rgb-d相机同步获得多帧目标区域的彩色图像和深度图像,根据s1步骤,对目标区域再次建立更新的配准后背景模型,并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元中存储的原有背景模型,作为下次取水的s1步骤:建立目标区域的配准后背景模型。

本发明的有益效果:

本发明实现饮水机取水过程智能化,根据使用者的不同的取水量需求,自动出水,防止溢水;同时有效地避免了操作不当导致的误出水。

通过两位置深度图像识别技术,大大增加了本发明装置的适用范围,提高了对透明杯子、薄壁杯子探测能力。

附图说明

图1为本发明基于深度相机的饮水机出水智能控制装置功能单元示意图。

图2为本发明基于深度相机的饮水机出水智能控制装置的饮水机结构示意图。

图3为本发明基于深度相机的饮水机出水智能控制方法的步骤图。

具体实施方式

下面结合附图,对本发明的实施例作进一步详细的描述。

实施例一

一种基于两位置深度图像识别的饮水机控制装置,包括第一图像获取单元1、第二图像获取单元2、控制及信息储存/处理单元3和电源4;电源4的输出端连接控制及信息储存/处理单元3的电源4输入端,用于直接或间接为控制及信息储存/处理单元3、第一图像获取单元1和第二图像获取单元2提供工作电源;控制及信息储存/处理单元3与两个图像获取单元电连接。

进一步地,基于两位置深度图像识别的饮水机控制装置,饮水机出水口下方可能出现杯子的空间为图像获取装置拍摄的目标区域,目标区域内包括多个位于饮水机上固定的标志点,作为建立三维坐标系标定点。

进一步地,基于两位置深度图像识别的饮水机控制装置,第一图像获取单元1从临近饮水机出水口附近位置向下方向垂直拍摄杯子深度图像,第二图像获取单元2从侧面位置水平方向拍摄杯子侧面深度图像。

进一步地,基于两位置深度图像识别的饮水机控制装置,第一图像获取单元1和第二图像获取单元2中包括深度相机,用来拍摄深度图像,其工作原理是以下四种原理中的一种:i)结构光测量原理、ii)双目视差测量原理、iii)结构光+双目视差测量原理、iv)tof飞行时间测量原理。

基于两位置深度图像识别的饮水机控制装置的控制方法,第一图像获取单元1中深度相机从临近饮水机出水口附近位置向下方垂直拍摄获得杯子的第一深度图像,第二图像获取单元2中深度相机从侧面位置水平方向拍摄获得杯子侧面的第二深度图像。

基于两位置深度图像识别的饮水机控制方法,包括以下获得第一深度图像和第二深度图像的步骤:

s1.建立目标区域的背景模型:目标区域没有杯子或其他外来物体,控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2分别获得目标区域的多帧背景深度图像并加以处理,将背景深度图像转换为背景点云图像;根据已知的标志点和出水口的位置三维坐标信息以及两图像获取单元的参数,建立目标区域的背景模型,控制及信息储存/处理单元3存储该背景模型;

s2.提取目标区域前景深度图像:目标区域放置杯子,饮水机出水口没有出水的情况下,控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2分别获得多帧目标区域的实时第一深度图像和第二深度图像,对第一深度图像和第二深度图像进行噪声阈值处理、平滑处理等,进行前景和背景分割,选择有效算法提取前景轮廓,即杯子的轮廓,并且提取杯子的特征点,通过第一深度图像获得杯子在xy平面上投影诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标等杯子在xy平面上的位置信息;通过第二深度图像获得杯子的最高像素点的三维坐标信息,即获得了杯子的高度信息;

s3.判断杯子是否对准饮水机出水口:根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数,以及杯子第一深度图像在xy平面上投影前后、左右对称具有明显的几何中心的特性,控制及信息储存/处理单元3判断饮水机出水口在xy平面上投影是否落在杯子在xy平面上投影内部,并且计算出水口在xy平面上投影和杯子在xy平面上投影几何中心之间的位置关系和距离,即和该几何中心的对准程度,据此对准程度,设定在不同的特定杯中水位高度关闭饮水机出水,给杯子注入特定量的水;

s4.饮水机向杯子里注水:通过以上步骤,所述控制及信息储存/处理单元3确定出水口在xy平面上投影落在杯子口沿内部,即饮水机出水口对准了杯子的口沿,控制及信息储存/处理单元3发出指令:开启饮水机出水口水流,向杯子里注水;

s5.杯子中注入的水位高度实时检测:在饮水机向杯子里注水过程中,控制及信息储存/处理单元3控制第一图像获取单元1中深度相机和第二图像获取单元2中深度相机以每秒一定帧数的速度实时分别获得第一深度图像和第二深度图像,提取其中杯子中水面的实时高度信息,其中:对于不透明的杯子,杯子中水面的实时高度信息从第一深度图像中提取,对于透明的杯子,杯子中水面的实时高度信息从第二深度图像中提取,或者从第一深度图像和第二深度图像中同时分别提取,取高度大的值为水面高度值;控制及信息储存/处理单元3处理、分析、计算杯子中水位平面的深度图像过程包括:通过有效的算法滤除饮水机出水口流下的水流带来的噪声,以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素;

s6.完成用杯子取水过程:当控制及信息储存/处理单元3通过对实时第一深度图像和第二深度图像的处理、分析,计算出杯子中的水位到达预设定的特定水位高度时,控制及信息储存/处理单元3发出指令:关闭饮水机出水,停止向杯子中注水,停止拍摄深度图像;

s7.更新目标区域的背景模型:取水者从目标区域移走杯子后,一定时间内,没有物体或杯子再次进入目标区域,控制及信息储存/处理单元3启动第一图像获取单元1和第二图像获取单元2中深度相机获得多帧目标区域的第一深度图像和第二深度图像,对目标区域再次建立更新的背景模型,并用该新建立的更新背景模型替代控制及信息储存/处理单元3中存储的原有背景模型,作为下次取水的s1步骤:建立目标区域的背景模型。

实施例二

一种基于两位置深度图像识别的饮水机控制装置,包括第一图像获取单元1、第二图像获取单元2、控制及信息储存/处理单元3和电源4;电源4的输出端连接控制及信息储存/处理单元3的电源4输入端,用于直接或间接为控制及信息储存/处理单元3、第一图像获取单元1和第二图像获取单元2提供工作电源;控制及信息储存/处理单元3与两个图像获取单元电连接。

进一步地,基于两位置深度图像识别的饮水机控制装置,饮水机出水口下方可能出现杯子的空间为图像获取装置拍摄的目标区域,目标区域内包括多个位于饮水机上固定的标志点,作为建立三维坐标系标定点。

进一步地,基于两位置深度图像识别的饮水机控制装置,第一图像获取单元1和第二图像获取单元2中包括彩色相机和深度相机(统称为rgb-d相机);彩色相机用来拍摄rgb彩色图像,深度相机用来拍摄深度图像,深度相机工作原理是以下四种原理中的一种:i)结构光测量原理、ii)双目视差测量原理、iii)结构光+双目视差测量原理、iv)tof飞行时间测量原理。

进一步地,基于两位置深度图像识别的饮水机控制方法,第一图像获取单元1从临近饮水机出水口附近位置向下方向垂直拍摄获得杯子的第一深度图像和第一rgb彩色图像,第二图像获取单元2从侧面位置水平方向拍摄获得杯子侧面的第二深度图像和第二rgb彩色图像;

基于两位置深度图像识别的饮水机控制方法,包括以下获得第一深度图像和第二深度图像的步骤:

s1.建立目标区域的背景模型:目标区域没有杯子或其他外来物体,控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2中rgb-d相机同步获得目标区域的背景彩色图像和深度图像并加以处理,将图像转换为背景点云图像,对彩色图像和深度图像进行配准,建立彩色图像像素点和深度图像深度信息之间的对应关系,从而得出彩色图像的像素位置和深度图像变换模型;控制及信息储存/处理单元3根据配准得出的像素位置和深度变换模型,配准方法包括:采用基于特征点匹配的配准,其中用尺度不变特征变换算法(sift)或者其他相关的特征点算法来检测rgb-d相机同步获得的彩色图像和深度图像的特征点,并对上述图像的特征点进行匹配;用随机一致性算法(ransac)或者其他算法去除上述图像错误的匹配点对,得到正确匹配的特征点对;根据正确匹配的特征点对的位置和深度信息,得到它们之间的对应关系,计算出这两帧图像之间的像素位置和深度变换模型,从而获得更高分辨率的配准后深度图像;

根据已知的标志点和出水口的位置三维坐标信息以及rgb-d相机的参数,建立目标区域的配准后背景模型,控制及信息储存/处理单元3存储该配准后背景模型;

s2.提取目标区域前景深度图像:目标区域放置杯子,饮水机出水口没有出水的情况下,控制及信息储存/处理单元3通过第一图像获取单元1和第二图像获取单元2中rgb-d相机同步实时获得目标区域的彩色图像和深度图像,对彩色图像和深度图像做噪声阈值处理、平滑处理等,进行s1步骤所述的配准,实现前景和背景分割,选择有效算法提取前景轮廓,杯子的轮廓,并提取杯子的特征点,通过配准后的第一深度图像获得杯子在xy平面上诸如最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标信息,通过配准后的第二深度图像获得杯子的最高像素点的三维坐标信息,即获得了杯子的高度信息;

s3.判断杯子是否对准饮水机出水口:根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数,以及杯子配准后的第一深度图像在xy平面上投影前后、左右对称,具有一个明显的几何中心的特性,控制及信息储存/处理单元3判断出水口在xy平面上投影是否落在杯子的像素点在xy平面上投影的内部和距离该投影的几何中心的位置;

进一步,控制及信息储存/处理单元3根据已知的坐标信息,通过分析运算,获得出水口在xy平面上投影和杯子在xy平面上投影的几何中心的对准程度,据此对准程度,设定在不同的特定水位高度关闭饮水机出水,给杯子注入特定量的水;

s4.饮水机向杯子里注水:通过以上步骤,所述控制及信息储存/处理单元3确定出水口在xy平面上投影的确落在杯子口沿内部,即饮水机出水口的确对准了杯子的口沿,控制及信息储存/处理单元3发出指令:开启饮水机出水口水流,向杯子里注水;

s5.杯子中注入的水位高度实时检测:在饮水机向杯子里注水过程中,控制及信息储存/处理单元3控制第一图像获取单元1和第二图像获取单元2中rgb-d相机以每秒一定帧数的速度同步实时获得杯子的第一彩色图像、第一深度图像和第二彩色图像、第二深度图像,并实时对杯子相应的彩色和深度图像加以处理、配准,分析、计算出杯子中水面的实时高度信息,其中:对于不透明的杯子,杯子中水面的实时高度信息从配准后的第一深度图像中提取,对于透明的杯子,杯子中水面的实时高度信息通过配准后的第一深度图像和第二深度图像中同时分别提取,当两个值相差在一定的范围dh以内,任取其中的一个值为水面高度,如果相差大于dh,取高度大的值为水面高度值,控制及信息储存/处理单元3处理、分析、计算杯子中水位平面的深度图像过程包括:通过有效的算法滤除饮水机出水口流下的水流带来的噪声,以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素;

s6.完成用杯子取水过程:当控制及信息储存/处理单元3通过对第一图像获取单元1和第二图像获取单元2中rgb-d相机获得的同步实时所述监控区域彩色图像和深度图像的处理、配准,分析、计算出杯子中的水位到达预设定的特定水位高度时,控制及信息储存/处理单元3发出指令:关闭饮水机出水,停止向杯子中注水,停止拍摄彩色图像和深度图像;

s7.更新目标区域的配准后背景模型:取水者从目标区域移走杯子后,一定时间内,没有物体或杯子再次进入目标区域,控制及信息储存/处理单元3启动第一图像获取单元1和第二图像获取单元2中rgb-d相机同步获得多帧目标区域的彩色图像和深度图像,根据s1步骤,对目标区域再次建立更新的配准后背景模型,并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元3中存储的原有背景模型,作为下次取水的s1步骤:建立目标区域的配准后背景模型。

以上所述仅是本发明优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1