一种基于视频采集和频率获取的食品制作控制系统的制作方法
【专利摘要】本发明公开了一种基于视频采集和频率获取的食品制作控制系统，该系统包括加热模块、视频获取模块、频率分析模块和反馈模块；加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度；频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像；通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；反馈模块接收频率分析模块得到的实时食物表面频率，输出控制温度，对加热模块进行控制。本发明根据食物表面的频率确定食物制作时间，让厨房设备形成一个闭环系统，让厨房工作更加智能，食物制作更加准确。
【专利说明】
一种基于视频采集和频率获取的食品制作控制系统
技术领域
[0001]本发明涉及智能食品制作技术，尤其涉及一种以摄像技术获得食物表面频率变化，闭环控制食物制作的系统。
【背景技术】
[0002]目前的厨房内的设备控制系统基本都是开环系统，通过人的主观感觉结合离散的时间刻表进行食物制作控制。不难发现，现有的厨房设备无法准确的从食物本身出发进行灵活的、准确的控制。具体体现为用户只能通过设备推荐或者主观估计，控制食物制作时间，而无法实时结合食物实际制作情况进行控制调整。且现有的控制系统均以时间为控制依据，其离散性决定了其控制结果的较大误差。
【发明内容】
[0003]本发明的目的在于针对现有技术的不足，提供一种基于视频采集和频率获取的食品制作控制系统。
[0004]本发明的目的是通过以下技术方案来实现的:一种基于视频采集和频率获取的食品制作控制系统，包括加热模块、视频获取模块、频率分析模块和反馈模块；
[0005]所述加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度；
[0006]所述视频获取模块通过摄像头获取食品加热过程中的视频图像；
[0007]所述频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像;通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；
[0008]所述反馈模块接收频率分析模块得到的实时食物表面频率，与预设的食品表面频率的目标值进行对比，输出控制温度，对加热模块进行控制。
[0009]进一步地，所述对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解具体为:将原始图像作为金字塔的第O层，第一层图像由第O层图像通过高斯低通滤波和下采样偶数行偶数列得到，再对第一层图像进行与第O层图像相同的操作，得到第2层;对每一层图像循环进行以上操作，构成高斯金字塔;通过对高斯金字塔的第η层与第η — I层分别进行上采样后再相减得到的拉普拉斯金字塔。
[0010]进一步地，所述对分解后的图像进行带通滤波差分放大具体为:对分解后得到的拉普拉斯金字塔图像进行滤波，即在频域内使用对时间序列进行滤波的方式对分解后的每一个空间层的所有像素做统一的处理;对于在一个频带内的与像素值相关的时间序列，采用带通滤波器去提取频带内的感兴趣信号。
[0011]进一步地，所述通过金字塔合成得到震动放大图像具体为:对于叠加放大后的拉普拉斯金字塔，从最后一层图像开始，上采样至倒数第二层图像的大小，并叠加到倒数第二层图像上;再对叠加后的倒数第二层图像做与最后一层图像的相同操作，得到倒数第三层图像，对以上步骤循环进行，得到震动放大图像。
[0012]进一步地，所述通过若干相邻帧的震动放大图像，重建视频得到食物表面频率具体为:对空间分解并且重建的视频，对其每帧取RGB通道中G分量平均值来得到波形图像，从而可以得到食物表面频率。
[0013]本发明的有益效果是:本发明提供了一种新型的食品制作控制系统，替换现有的粗略控制、低效的控制系统;本发明控制系统包括传统的加热模块外，还有视频获取模块、频率分析模块和反馈模块。通过摄像技术获取食品加热过程中的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像;通过若干相邻帧的震动放大图像，重建视频得到食物表面频率;本发明通过放大食品表面在制作过程中的震动，得到食物表面频率变化，并反馈给加热模块，以此实现闭环控制，使设备更加方便的同时也增加了食物制作的效率。
【附图说明】
[0014]图1为本发明控制系统整体框图；
[0015]图2为频率分析模块整体框架；
[0016]图3为金字塔分解框图；
[0017]图4为频率分析模块运动放大框图；
[0018]图5为水沸腾前水面图像放大处理图像，(a)为通过频率分析模块表面放大图像，(b)为拍摄视频原图；
[0019]图6为水沸腾后水面图像放大处理图像，(a)为通过视频分析模块表面放大图像，(b)为拍摄视频原图；
[0020]图7为重建的水沸腾视频中的每帧取RGB通道中的G分量平均值得到的水震动波形图。
【具体实施方式】
[0021]下面结合附图和具体实施例对本发明作进一步详细说明。
[0022]如图1所示，本发明提供的一种基于视频采集和频率获取的食品制作控制系统，包括加热模块、视频获取模块、频率分析模块和反馈模块；
[0023]所述加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度；
[0024]所述视频获取模块通过摄像头获取食品加热过程中的视频图像；
[0025]如图2-4所示，所述频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像;通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；
[0026]所述反馈模块接收频率分析模块得到的实时食物表面频率，与预设的食品表面频率的目标值进行对比，输出控制温度，对加热模块进行控制。
[0027]所述对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解具体为:将原始图像作为金字塔的第O层，第一层图像由第O层图像通过高斯低通滤波和下采样偶数行偶数列得至|J，再对第一层图像进行与第O层图像相同的操作，得到第2层;对每一层图像循环进行以上操作，构成高斯金字塔;通过对高斯金字塔的第η层与第η — I层分别进行上采样后再相减得到的拉普拉斯金字塔。
[0028]所述对分解后的图像进行带通滤波差分放大具体为:对分解后得到的拉普拉斯金字塔图像进行滤波，即在频域内使用对时间序列进行滤波的方式对分解后的每一个空间层的所有像素做统一的处理;对于在一个频带内的与像素值相关的时间序列，采用带通滤波器去提取频带内的感兴趣信号。
[0029]所述通过金字塔合成得到震动放大图像具体为:对于叠加放大后的拉普拉斯金字塔，从最后一层图像开始，上采样至倒数第二层图像的大小，并叠加到倒数第二层图像上；再对叠加后的倒数第二层图像做与最后一层图像的相同操作，得到倒数第三层图像，对以上步骤循环进行，得到震动放大图像。
[0030]所述通过若干相邻帧的震动放大图像，重建视频得到食物表面频率具体为:对空间分解并且重建的视频，对其每帧取RGB通道中G分量平均值来得到波形图像，从而可以得到食物表面频率。
[0031]固体食物在加热过程中，表面震动幅值减小，频率增大;液体食物在加热过程中，表面震动幅值增大，频率减小。以下实施例中，以最基础煮开水为例。
[0032]通过摄像技术得到凉水从加热到烧开过程的视频，对视频的每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像。水沸腾前后的水面图像放大处理图像如图5、6所示。
[0033]在对于水的视频分析的信号滤波环节中，选择了[2_8]Ηζ的信号段，可以显著放大水沸腾前后表面震动变化。
[0034]通过带通滤波器提取到感兴趣信号之后，放大信号重建图像，进而重建视频。在重建的水沸腾视频中，每帧取RGB通道中的G分量平均值可以得到水震动波形。所以，在该环境状态下，当检测到该频段信号较强时，说明水完成加热。以此，输出反馈信号给加热模块，实现闭环控制食物制作。
[0035]同样，分别对面包、牛奶、蛋炒饭、蛋糕的制作过程进行控制试验，均得到较好的效果。对于以面包为代表的固态食品，在加热过程中震动波形呈现一个明显的振幅减小，频率增大的过程，相反，以水为代表的液态食品在加热过车中震动波形呈现一个明显的振幅增大，频率减小的过程。所以在实际实现时，可通过食品表面震动频率变化阈值实现闭环控制。
【主权项】
1.一种基于视频采集和频率获取的食品制作控制系统，包括加热模块、视频获取模块、频率分析模块和反馈模块； 所述加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度； 所述视频获取模块通过摄像头获取食品加热过程中的视频图像； 所述频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像;通过若干相邻帧的震动放大图像，重建视频得到食物表面频率； 所述反馈模块接收频率分析模块得到的实时食物表面频率，与预设的食品表面频率的目标值进行对比，输出控制温度，对加热模块进行控制。2.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于:所述对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解具体为:将原始图像作为金字塔的第O层，第一层图像由第O层图像通过高斯低通滤波和下采样偶数行偶数列得到，再对第一层图像进行与第O层图像相同的操作，得到第2层;对每一层图像循环进行以上操作，构成高斯金字塔;通过对高斯金字塔的第η层与第η — I层分别进行上采样后再相减得到的拉普拉斯金字塔。3.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于:所述对分解后的图像进行带通滤波差分放大具体为:对分解后得到的拉普拉斯金字塔图像进行滤波，即在频域内使用对时间序列进行滤波的方式对分解后的每一个空间层的所有像素做统一的处理;对于在一个频带内的与像素值相关的时间序列，采用带通滤波器去提取频带内的感兴趣信号。4.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于:所述通过金字塔合成得到震动放大图像具体为:对于叠加放大后的拉普拉斯金字塔，从最后一层图像开始，上采样至倒数第二层图像的大小，并叠加到倒数第二层图像上;再对叠加后的倒数第二层图像做与最后一层图像的相同操作，得到倒数第三层图像，对以上步骤循环进行，得到震动放大图像。5.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于:所述通过若干相邻帧的震动放大图像，重建视频得到食物表面频率具体为:对空间分解并且重建的视频，对其每帧取RGB通道中G分量平均值来得到波形图像，从而可以得到食物表面频率。
【文档编号】H04N5/225GK105933583SQ201610329673
【公开日】2016年9月7日
【申请日】2016年5月16日
【发明人】孟濬, 姒卫锜, 刘俊杰, 赵磊
【申请人】浙江大学