本申请要求于2017年3月29日提交且题为“apparatusandmethodforqualitycontrolofapreparationofafoodproduct”的美国临时专利申请第62/478,050号的权益，其通过引用以其整体并入本文中。
发明背景
食品的质量控制，即使在大型商用厨房中，如今也是通过专业人员(例如，厨师)的手动检查来完成。然而，人的检查，即使对于最有经验的专业人士来说，也是主观的并且可能是不一致的。此外，当核查供应的食物(例如，比萨饼)包括所有订购的原料时，人眼可能太慢且不准确，并且可能不足以及时并准确地确定订单被正确制备。
此外，对于监控和控制整个食品制备重要的一些方面(诸如例如，温度)无法通过人的检查来实时正确评估。
因此，需要用于监控食品制备的快速且准确的自动化装置和方法。
发明概述
本发明的实施例可涉及用于食品的质量控制和制备监控的装置和方法。例如在餐厅或餐饮连锁机构厨房中制备的食品可被自动检查，以查明食品是否根据由客户给出的订单来制备。装置可包括成像器和控制器。控制器可被配置为执行具有以下步骤的方法：接收订单相关的数据；从成像器接收食品的图像；基于从数据库接收的预储存的数据对所接收到的图像进行分析，以便提取制备的产品数据；将所提取的制备的产品数据与订单相关的数据进行比较；以及基于该比较来确定食品与所要求的质量水平的符合性。
在一些实施例中，预分类的数据可包括从先前检查的食品的图像中提取的制备的产品数据。在一些实施例中，订单相关的数据可包括以下中的至少一种：食品的类型、在食品上可见的一种或更多种原料、以及至少一种原料在食品上的分布。
在一些实施例中，对所接收的图像进行分析可包括在所提取的制备的产品数据中识别以下中至少一个：食品的类型、在食品的表面上可见的一种或更多种原料、以及至少一种原料在食品的表面上的分布。
在一些实施例中，控制器还可被配置为：接收食品的多个图像；从每个图像中提取制备的产品数据；接收关于每个图像的相应的订单相关的数据；接收关于每个图像的质量水平；以及将关于每个图像的所提取的制备的产品数据以及相应的订单相关的数据和质量水平储存在数据库中。
在一些实施例中，确定食品与所要求的质量水平的符合性可包括确定所提取的制备的产品数据是否指示了该产品具有高于预定的质量水平的质量。
在一些实施例中，装置还可包括温度计，并且控制器还可被配置为：接收食品的温度测量结果；以及其中，并且还基于所接收的温度测量结果确定该食品是否具有所要求的质量。
在一些实施例中，装置还可包括光谱仪，并且控制器还可被配置为：从光谱仪接收与食品的光谱有关的数据；以及还基于所接收的与食品的频谱相关的数据，确定该食品是否具有所要求的质量。在一些实施例中，食品的描述还包括熟的程度，并且与食品的光谱相关的数据可指示熟的程度。在一些实施例中，食品的描述还可包括营养价值，与食品的光谱相关的数据可指示食品的营养价值。
附图简述
关于本发明的主题，在说明书的结论部分中被特别指出并被清楚地要求保护。然而，当与附图一起阅读时，通过参考以下详细描述，可最好地关于操作的组织和方法以及其目的、特征和优点来理解本发明，在附图中：
图1a是根据本发明的一些实施例的用于监控食品制备的装置的示意图；
图1b是根据本发明的一些实施例的用于监控食品制备的装置的图示；
图2是根据本发明的一些实施例监控食品制备的方法的流程图；以及
图3是根据本发明的一些实施例的在监控食品制备的方法中用于收集预储存数据的附加步骤的流程图。
应当理解，为了说明的简单和清楚，图中所示的元素不一定按比例绘制。例如，为了清楚起见，一些元素的尺寸可以相对于其他元素被放大。此外，在认为适当的情况下，附图标记可在图中重复以指示对应或类似的元素。
本发明的详细描述
在以下详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践本发明。在其它实例中，没有对众所周知的方法、规程以及组件、模块、单元和/或电路进行详细描述，以便不模糊本发明。根据一个实施例所描述的一些特征或元素可与根据其他实施例所描述的特征或元素结合。为了清楚起见，可能不会重复讨论相同或类似的特征或元素。
虽然本发明的实施例不限于此，但使用诸如例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“建立”、“分析”、“核查”等的术语的讨论可以指计算机的操作和/或过程、计算平台、计算系统或其他电子计算设备，其操纵在计算机的寄存器和/或存储器内表示为物理(例如，电子)量的数据和/或将其变换为在计算机的寄存器和/或存储器或者可储存指令以执行操作和/或过程的其他信息非暂时性储存介质内类似表示为物理量的其他数据。虽然本发明的实施例不限于此，但本文中所使用的术语“多个(plurality)”和“多个(aplurality)”可包括例如“多个(multiple)”或“两个或更多个”。在整个说明书中可使用术语“多个(plurality)”或“多个(aplurality)”来对两个或更多个组件、设备、元件、单元、参数等进行描述。另外，所描述的方法实施例或其元素中的一些可在同一时间点或同时发生或被同时执行。
本发明的实施例可涉及用于监控食品制备的装置和方法。例如在餐厅或食物链厨房中制备的食品可被自动检查，以查明食品是否根据由客户给出的订单来制备。例如，可自动检查从烤箱出来的比萨饼，以查看面团是否被烘烤到正确的程度、奶酪是否均匀且适量地散布、以及配料是否与客户的订单匹配(例如，1/2意大利辣香肠，1/2洋葱)。在又另一示例中，根据本发明的一些实施例的装置可自动检查汉堡包食物，以验证汉堡包大小正确(例如，300克)、达到正确的熟的程度、添加了正确的酱汁、并且与其提供了正确的配菜。
在一些实施例中，食品(例如，比萨饼、汉堡包、寿司等)可被放置在装置中，以便检查食品制备质量。除了术语制备质量的规则意义之外，在本申请范围内，“制备质量”可以指产品的量、产品的新鲜度、产品的放置顺序、产品的颜色、营养价值和温度。该装置可包括成像器，其被配置成拍摄所制备的食品的至少一个图像。在一些实施例中，该装置还可包括诸如温度计、光谱仪和/或刻度表的附加传感器。设备还可包括控制器，其可被配置为从温度计、光谱仪和/或刻度表接收至少一个图像,可选地可接收测量结果，以确定食品的质量。
现在参照图1a，其是根据本发明的一些实施例的用于监控食品制备的装置的示意图。装置100可包括至少一个成像器105、控制器110、数据库120和用户接口130。装置100还可包括通信单元140、温度计107和/或光谱仪109。装置100可经由通信单元140与用户设备10进行通信。在一些实施例中，成像器105可以是用户设备10的成像器。用户设备10可以是智能电话、平板电脑、膝上型电脑等。
在一些实施例中，成像器105可以是集成到装置100的专用成像器。成像器105(被包括在设备10中或装置100中)可以是被配置为捕获图像并将该图像发送到控制器110的任何光学设备、相机等。
温度计107可以是被配置为测量食品的温度的任何温度计，例如，温度计可包括热电偶。温度计107可将食品的温度测量结果发送到控制器110。
光谱仪109可包括可被配置为根据从食品接收的光谱(例如，在ir频谱中)测量食品的属性的任何设备。属性可包括可能会引起对食品的营养价值进行识别的食品的温度和化学组成/结合。光谱仪109可将与光谱测量结果相关的数据(例如，频谱和/或属性)发送到控制器110。
控制器110(例如，服务器)可以是或可包括处理器112，该处理器可以是例如中央处理单元(cpu)、芯片、基于云的计算服务或任何合适的计算设备或计算操作应用设备、操作系统114和存储器116。处理器112可被配置为通过例如执行被储存在诸如存储器116的存储器中的指令来执行根据本发明的实施例的方法。处理器112可被配置为执行根据本发明的一些实施例的监控食品制备的方法。
操作系统114可以是或可包括任何代码段，其被设计和/或配置为执行涉及控制器110的以下任务：协调、调度、仲裁、监督、控制或其他方式的管理操作，例如，程序的调度。操作系统114可以是商业操作系统。存储器116可以是或可包括例如基于云的存储器、随机存取存储器(ram)、只读存储器(rom)、动态ram(dram)、同步dram(sd-ram)、双数据速率(ddr)存储器芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或者其他合适的存储器单元或储存单元。存储器116可以是或可包括多个存储器单元，它们可以是相同或不同的。
存储器116可储存任何可执行代码，例如，应用程序、程序、过程、任务或脚本。可执行代码可包括用于监控食品制备的代码或者用于执行根据本发明的实施例的方法的任何其他代码或指令。可执行代码可由可能受控于操作系统114的处理器112执行。
数据库120可以是或可包括例如硬盘驱动、软盘驱动、光盘(cd)驱动、cd可记录(cd-r)驱动、通用串行总线(usb)设备或其他合适的可移动和/或固定的储存单元。另外或可替代地，数据库120可包括任何基于云的储存服务。内容可被储存在数据库120中，并且可以从数据库120加载到可由处理器112对其进行处理的存储器116中。例如，根据本发明的实施例，数据库120可包括食品的图像、温度测量结果、光谱、以及所提取的制备的产品数据以及相应的订单相关的数据和制备质量水平。
用户接口130可以是或可包括屏幕、触摸屏或掌上电脑、鼠标、键盘等。用户接口130可包括音频设备，诸如一个或更多个扬声器、耳机、打印机和/或任何其它合适的设备。
通信单元140可被配置为在控制器110和装置100的其他组件(例如，成像器105、温度计107、光谱仪109等)之间进行通信，以及与用户设备10进行通信。通信单元140可包括有线或无线的网络接口卡(nic)、调制解调器等。此外，任何适用的输入/输出(i/o)设备可直接连接到控制器110，或者经由通信单元140或例如经由通用串行总线(usb)设备或外部硬驱动等连接到控制器。
现在参照图1b，其是根据本发明的一些实施例的用于监控食品制备的装置的示例的图示。装置100可包括用于保持装置100的至少一些组件(例如，成像器105、温度计107和/或光谱仪109)的壳体102。壳体102还可被配置为接收用于检查的食品20(例如，比萨饼)，并且可包括用于接收食品20的表面或托盘。在一些实施例中，装置100还可包括用于照明被检查的食品20的光源104。壳体102还可保持光源104，使得来自光源104的光被引导朝向食品20。在一些实施例中，壳体102可保持装置100的附加组件，例如，通信单元140(未图示)。另外，壳体102还可包括用于保持用户设备10的保持器(未图示)。保持器可被设计为保持用户设备10，使得用户设备10的成像器可被引导朝向食品20的表面，从而允许成像器捕获食品20的图像。在一些实施例中，壳体102还可包括一个或更多个光学透镜103，其用于进一步聚焦用户设备10的成像器的视场并将其引导朝向放置在托盘108上的被检查的食品20。
现在参照图2，其是根据本发明的一些实施例的监控食品制备的方法的流程图。图2的方法可由设备100的处理器112或由任何其他处理器自动执行。在操作210中，可例如由处理器112接收订单相关的数据。订单相关的数据可包括制备食品所要求的所有数据，例如，食物的类型(例如，比萨饼、寿司、汉堡包等)、食品上可见的原料(蘑菇、鲑鱼、意大利辣香肠、双份奶酪等)、至少一种原料在食品上的分布、熟的程度(例如，中等、半熟、全熟等)、配菜(例如，炸薯条、米饭等)等。订单相关的数据可从食品供应商(例如，餐馆)的数据库接收，从由供应商的雇员操作的计算机设备实时接收，通过互联网从用户设备接收(例如，当用户使用在线食品订购服务时)等。
在操作220中，食品(例如，食品20)的图像可从成像器(例如，成像器105或用户设备10的成像器)接收。制备的食品10可被放置在壳体102中进行检查，使得至少一个成像器105和/或用户设备10的成像器可拍摄食品20的一个或更多个图像。
在操作230中，可基于从数据库(例如，数据库120)接收的预储存的数据对所接收的图像进行分析，以便提取制备的产品数据。图像可经受本领域中已知的任何图像处理。
例如，(例如，可运行在用户设备10上的)深度卷积神经网络算法可用于识别一个或更多个捕获的图像中的食品20(例如，比萨饼)。在另一示例中，基于对图像的每个像素的分析，全卷积网络算法可应用于识别细节，诸如配料。在又另一示例中，神经型传递算法(neuralstyletransferalgorithm)可应用于增强图像纹理并使产品图像更易于理解。
经处理的图像可与预储存的数据进行比较，该预储存的数据可包括从先前检查的食品的图像中提取的制备的产品数据。比较可产生产品相关的数据的识别。例如，控制器可将通过全卷积网络算法处理的图像与先前储存的经处理图像进行比较，其中先前储存的经处理图像包括使用全卷积网络算法完成的图像中的与产品数据相关联的小细节(诸如，例如，配料)的识别。图3中公开了收集预储存的数据的方法。在一些实施例中，比较可允许在所提取的制备的产品数据中识别以下中的至少一个：食品的类型、在食品的表面上可见的一种或更多种原料、以及至少一种原料在食品的表面上的分布。
在操作240中，所提取的制备的产品数据可与订单相关的数据进行比较，以查看食品是否包括正确食物类型，是否所有订购的原料的量和分布充分。例如，如果订单产品是洋葱意大利辣香肠比萨饼，则比较可验证是否给该洋葱意大利辣香肠比萨饼制备以正确的量和分布的洋葱和意大利辣香肠。在又另一示例中，如果订单包括有西红柿、生菜但不以腌菜和土豆泥为配菜的200克的汉堡包，则比较可验证所有需要的原料是否被包括在产品中，且没有其他原料(例如，腌菜)被错误地添加。
在操作250中，可基于比较来确定食品与所要求的制备质量水平的符合性。本文中所使用的术语“制备质量”可包括应该满足以便用于待提供/输送给客户的食品的一组制备参数。例如，制备参数可包括待提供的产品所处的温度范围、各种原料的颜色/纹理(例如，面团的颜色、蔬菜的新鲜度、奶酪的颜色、炸薯条的颜色等)、各种原料的量和分布等。在一些实施例中，如果所提取的制备的产品数据显示产品没有按照订单来制备，则食品可被标记为“不具有所要求的质量水平”。然而，如果所提取的制备的产品数据显示食品被正确制备，则可使用所提取的制备的产品数据进行附加的监控。
在一些实施例中，预储存的数据可包括经处理的图像(所提取的制备的产品数据)与所要求的制备质量水平之间的关联(例如，一组制备参数)。因此，从所接收的产品图像提取的制备的产品数据可与预储存的提取的制备的产品数据进行比较，以查看该产品是否具有所要求的质量水平。在一些实施例中，可确定两个以上的质量水平(即，比仅仅足够/不足更多的水平)。
在一些实施例中，可确定三个质量水平，不足、足够和几乎足够。例如，如果食品达到不足的质量水平，则可不提供产品，如果食品达到足够的质量水平，则可提供食品，以及如果食品达到“几乎足够”的质量水平，则食品可由可确定食品是否可被提供的人类检查者(例如，厨师)进一步检查。
在一些实施例中，质量水平可包括分配给食品的不同属性的质量水平。例如，比萨饼的质量水平可包括奶酪的覆盖面积、面团的颜色、酱汁的覆盖范围、配菜的量和分布等。在一些实施例中，可给予每个属性以质量水平，并且食品的质量水平可基于每个属性的质量水平来计算。在一些实施例中，可给每个属性分配以不同的权重，并且计算可包括给予每个属性质量水平以分配的权重。例如，可给予奶酪的覆盖范围以比配菜的分布更高的权重。
在一些实施例中，食品的温度测量结果可从温度传感器/温度计(例如，温度计107)接收。在一些实施例中，食品与所要求的质量水平的符合性(在操作250中)还可基于温度测量结果来确定。例如，比萨饼的温度可被测量并与用于提供/输送比萨饼的所需温度进行比较。如果温度太低(例如，比萨饼可能被冷输送)，则可重新加热或丢弃该比萨饼。
在一些实施例中，与食品的频谱相关的数据可从光谱仪109接收。例如，与频谱相关的数据可包括频谱和/或从频谱提取的属性，诸如温度、化学组成、化学结合、营养价值等。在一些实施例中，食品与所要求的质量水平的符合性(在操作250中)还可基于所接收的与频谱相关的数据来确定。所接收的频谱可指示食品内部的温度，因此可例如确定汉堡包或牛排的熟的程度。在一些实施例中，频谱可指示食品的营养价值，诸如蛋白质、脂肪、碳水化合物等。
现在参照图3，其是根据本发明的一些实施例的在监控食品制备的方法中用于收集预储存的数据的附加步骤的流程图。图3的步骤可由处理器102或由任何其他处理器执行。在操作310中，可例如从成像器105或用户设备10的成像器接收食品的多个图像。可在多个食品的制备期间拍摄食品的多个图像。例如，多个图像可包括以下的图像：各种类型比萨饼、各种类型的寿司、各种类型的面食等。
在操作320中，可例如使用以上公开的相同的图像处理方法将制备的产品数据从每个图像中提取出来。
在操作330中，可例如从用户设备或数据库接收关于每个图像的相应的订单相关的数据。
在操作340中，可从用户设备和/或用户接口接收关于每个图像的质量水平。例如，专业人员(例如，厨师)可确定出现在多个图像中的每个食品的质量水平，并可使用用户设备或用户接口将所确定的质量水平上传到控制器110。
在操作350中，可将关于每个图像的所提取的制备的产品数据以及相应的订单相关的数据和质量水平储存在数据库(例如，数据库120)中。数据库120可包括与订单相关的数据相关联的所提取的制备的产品数据和质量水平的查找表。例如，查找表可包括用“比萨饼”+“意大利辣香肠”的订单相关的数据和给定该比萨饼的质量水平(例如，不足)从制备的的比萨饼意大利辣香肠的图像中提取的数据。查找表可包括用“比萨饼”+“意大利辣香肠”的订单相关的数据和给定附加比萨饼的质量水平(例如，足够)从附加制备的比萨饼意大利辣香肠的图像提取的数据。因此，操作230中的从比萨饼意大利辣香肠的图像中提取的数据可与被储存在数据库中的提取的数据进行比较，以查看所制备的意大利辣香肠比萨饼是否具有足够的质量水平。
虽然本文已经图示和描述了本发明的某些特征，但是本领域普通技术人员将想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和改变。