专利名称：用具，厨房和住宅的控制的制作方法
用具，厨房和住宅的控制
本申请要求2008年5月20日提交的美国临时申请61/0 , 643，Meal Preparation and Appliance Control 的权益。
本申请是发明人的共同未决申请12/358404(申请日为2009年1月23日)； 11/980722(申请日 2007 年 10 月 31 日)；11/980721(申请日 2007 年 10 月 31 日)； 11/980710(申请日 2007 年 10 月 31 日)；11/8321；34(申请日 2007 年 8 月 1 日)； 11/272868(申请日2005年11月15日)；11/045131(申请日2005年1月31日)；和 10/934762(申请日2004年9月7日)的部分继续申请，这些申请的公开内容在此引为参考。
本申请还涉及发明人的共同未决申请11/980718(申请日2007年10月31 日)；11/980715(申请日2007年10月31日)；11/85洸90(申请日2007年9月10 日)；11/495666(申请日 2006 年 7 月 31 日)；11/439442(申请日 2006 年 5 月 M 日)；11/376158(申请日2006年3月16日)；11/3712M(申请日2006年3月9日)； 11/349350(申请日 2006 年 2 月 8 日)；11/319807(申请日 2005 年 12 月 29 日)； 11/272868(申请日2005年11月15日)；11/186898(申请日2005年7月22日)；和 10/893534(申请日2004年7月19日)，这些申请的公开内容在此引为参考。技术领域
公开的本发明涉及住宅(home)中的用具的控制的领域，并且涉及用具还与音频系统和因特网资源的联网和连通性，以及这些元件以连接方式的集成。优选的设备通常采用视频投影系统和一部或多部TV摄像机。本发明的实施例可用于增强厨房中的人的社会互动和乐趣，并且减少食物准备的工作量。本发明可以用在房屋中的多间房间中，并且有助于房屋中的老年人和其它人保持良好状态。
背景技术：
文献中已存在大量的家庭自动化、“数字家庭”和相关主题的讨论、尤其是关于可以联网在一起的娱乐系统(例如TV，游戏程序，音频系统)的讨论，但是这些几乎没有商用。 在一些情况下，各个公司为了区别其产品而添加的特征实际上使得用具更难以使用。在本发明人的相关的共同未决的申请中尤其是在车辆环境的上下文中已经讨论了使用的困难性的问题，不过这里存在许多相似性。例如，需要能够由各种用户操作。另一个例子是有时在住宅中、尤其是在厨房中存在的既有压力又分心的情形。
另外，许多家庭中父母双方有一方工作，或者双方都工作，从而需要以即时而无差错的方式以及减小压力的方式帮助厨房中的人烹调出新的健康的、但不熟悉的菜肴。于是， 存在相关联的能够容易地测量液体或粒状材料的体积、重量、面积或尺寸和其它变量以在菜肴中加入所需的量的需要。
发明人相信需要提供厨房中的新方法和设备，所述新方法和设备可允许从发生大量的家庭活动的中央位置有效地控制住宅中的各项服务。还需要减少厨房中的不必要的重复劳动。另外，在厨房中需要最大限度地利用空间，在橱柜空间有限的某些国家中尤其如此。
还需要可提高家用系统、尤其是烤箱和炉灶(range)的操作的安全性的设备。并且，需要确保家中的老年人和残疾人通常保持状态良好的新方法。对于视力受损或者承受压力的人来说，还需要更易于看见、更易于操作和不易搞得心烦意乱的控制。发明内容
本发明涉及发明人的若干共同未决的申请和在先专利，它们描述了一种新形式的 RTD控制表面，该RTD控制表面目的在于满足上述需要，提供大量的能够使厨房和房屋工作容易的新增功能，同时使用户可以在做家务时进行网络购物，网络社交等等。
本发明包括包含在众多实施例中的许多新方法和设备。在一个优选的背面投影实施例中，通常基于背面投影的并且通常是平的大屏幕位于柜台(例如，厨柜)或用具的顶部。屏幕的各个部分可以是弯曲的，例如在工作台面或炉灶的后挡板向上弯曲。类似于发明人的其它待审申请中的许多车辆实施例，屏幕的形状可以为不规则形状，以卷绕住宅中的固定物品，比如炉灶燃烧器，燃气控制旋钮，水龙头，或者其他公共事业的产品。希望的是， 屏幕也可被取下以便清洁，这在屏幕表面包含会积留碎屑的作为触摸基准的压痕或者浮凸元件或者其它形状的情况下尤其有帮助。
本发明优选地利用机器视觉来查看各种控制元件(诸如旋钮或滑动器或开关)的位置。照相机图像或其它光电获得的信号的这种机器视觉处理还能够查看用户的手和手指的动作，而且还能够查看用户在进行各项作业(比如揉面，切割肉排之类)方面的动作。本发明还可以可选地采用机器视觉或其它光电技术来确定重量和度量，从而极大地帮助和简化厨房中的工作。
如在发明人的引用的申请中公开的，与适当的计算机软件耦合的机器视觉感测还能够确定人在空间中做出的手势(gesture)命令，能够确定人或者他们所处理的物体的各种特征，或者在一些情况下确定他们的移动和动作。在下面的实施例中也将公开本发明的许多其它的与机器视觉有关的特征。
在本发明的一个实施例中，照相机和机器视觉系统用于确保灶台(range top)操作的安全，并且使得能够安全地控制搅拌机器人或其它设备。尤其是背面投影形式的本发明考虑到了生动的风格。任何形状，以及任何图案或颜色如你所愿地投影到工作表面屏幕上。也可以采用可互换的形状和功能。所述屏幕和控制表面不仅能够被结合到柜台中，而且可被结合到洗衣机、干衣机和炉灶的顶部中。就工作表面/屏幕来说，可以弯曲所述工作表面/屏幕，以例如在侧面或背面等将其打扫干净。该表面可以位于水或热附近，因为就基于投影的本发明来说，投影和感测电子组件通常位于较远的位置。如发明人在在先申请和这里所述，这使它们能够被放置在浴室中，灶台上等等。
这里进一步公开的基本思想涉及位于厨房的设备，该设备充当住宅及其用具的控制中心，本发明可以是位于工作台面的显示器，或者如另外公开的那样，是投影到柜台、用具的顶部或者诸如可在冰箱门上的垂直面上的显示。它可以是多个用具和功能的控制中心和/或作为用于信息、家庭联网/自动化、连通性和食物准备的独立单元。本发明允许进行在别处不知晓存在的其他新功能和控制的重新配置，同时变得日益负担得起。
关键特征(比如可重新配置的直观而可触摸的控件，或者虚拟模拟的真实控件 (诸如旋钮或开关))可单独地或组合地用于控制住宅中的所有用具，还包括HVAC，音响系统等。因而，学习曲线被缩短或消除，因为甚至能够把现有的用具控件布局映射到屏幕上-针对单一用户的情况经济并且有效地定制系统。另外，如果这样的技术被用在车辆中， 如期望的那样，存在住宅和汽车之间具有公共人机控制系统的可能性。
本发明的可选的并且独特的食物准备中心方面可以可选地包含供水服务或烹饪服务。食物准备工作面还充当投影屏幕，在所述投影屏幕上能够感测多个物品，比如放在上面的人的双手和手指。诸如液面，面积，体积，切割指令和重量，也可获得独特的测量和指导能力。结合例如从网络下载的菜谱，这些测量可以自动进行并且利用任何语言用任何单位记录。
该设备可补充/替换常规的炉台和/或水槽。在一种形式中，可以说是“在屏幕上烹饪”。供水服务方面允许把设备的影响范围延伸到例如水槽、浴室和洗衣盆。并且，该单元还可充当书写或者留下便条、排列照片等的计算机化桌面。本发明能够充当娱乐系统， 结果TV图像和声音能够在岛状案台(island)、柜台或其它位置上显示，也能够在因特网网站，相册和其它东西上显示。
利用本发明，工作中的母亲例如可在炉灶上搅拌某些东西的同时进行通常的因特网事务(比如购物)，该操作也可使用本发明自动操作。屏幕和炉台实际上可以共存。另外，她不必寻找量杯和勺子，因为在一种可选的配置中这都由该设备完成。她也不必转换单位。总之，在目的是烹调美味、健康的膳食的情况下，提供了一个真正的省时设备。
本发明还是家中的用具、HVAC和电子系统的控制系统，并且当被适当配置时可以是其它地方(比如工厂，小型商店等)中的用具、HVAC和电子系统的控制系统。对优选实施例来说基本的是约150流明的投影仪/传感器模块，它把文本或图形投影到致冷器(这里也称为冰箱)、洗碗机、炉灶、洗衣机或干衣机的顶面或正面上，并且可选地利用传感能力感测该顶面或正面上的活动。根据需要，该投影仪/传感器模块将附带该表面和光学组件一起出售。在另一种形式下，对书桌或餐桌同样如此。一些应用能够利用预定用于蜂窝电话机的低功率/低成本投影仪(例如，15-35流明)。甚至可以利用基于计算机的智能蜂窝电话机(带或不带这样的投影仪)来控制用具或系统本身。
如希望的，投影仪/传感器模块结合驱动图形、判读输入并且连接到I/O的计算机一起使用。投影仪/传感器模块还可用于利用机器视觉进行食物的测量，并且与因特网及其它数据和通信实用工具连接。
本发明的一个实施例采用典型地被正面投影的实物大小的屏幕投影以节省空间， 并且还可提供用于与显示的投影图像互动的基于机器视觉的装置。可以采用2D摄像机(比如网络摄像机)和/或3D摄像机(例如Canesta Corporation的3D摄像机)可被用作这种机器视觉处理的输入。用于互动的装置可以利用人的双手的前端或者其它身体部位，或者可以借助在厨房中进行活动时人所处理的事物。在一个实施例中，机器视觉可用于进一步确定厨房中的一个或多个人的移动、动作、身份或其它特性。虽然这也可适当地用在其它房间中，不过厨房被认为是可能希望这种交互性的主要场所。
本发明的一些形式利用背面投影，而其它则利用正面投影来显示图像。在一些情况下，如另外在共同未决申请中教导的那样，也可利用更常规的平板显示器(诸如LCD或OLEO显示器)。
本发明的一个目的是测量、帮助和通知，例如向用户提供饮食建议，包括在组合的屏幕和工作表面上的所测量的材料的卡路里含量的计算。另外，本发明的一个目的是从数据存储器(本地的或者因特网上的)提供烹饪或其它准备建议，包括在哪里可行的对于烹饪操作(例如，烘焙)的这种信息的自动传送。
本发明的另一个目的是根据确定的材料广度(material extent)来提供成形或切割建议，该材料广度可用于计算近似的度量。
本发明的又一个目的是提供一种从公共控制面板控制家中或者其它场所中的多个用具的方法和设备，在该公共控制面板中设置了模拟各个设备的实际控件的虚拟控件。
本发明的又一个目的是提供一种新型系统，除了主要关注的厨房中的活动之外， 该新型系统还帮助在家中的老年人，部分失明的人和其它残疾人。
本发明的一个目的是提供易于清洁的显示器和工作表面。
本发明的又一个目的是公开了用于降低用具成本并且改进用户的人机界面 (human interface)的方法和设备。
本发明的一个目的是提高厨房设备和家中的其它设备的操作安全性。
本发明的一个目的是增强烹饪和厨房活动以及其它活动的社会性。本发明将食物准备空间与显示、测量和互动空间相组合，并且还提供各种控制功能，这些都以使用有趣并且有益的方式实行。
本发明的又一个目的是提供一种用于图像的控制和其它功能的自由空间手势方法。
本发明的一个目的是安全地提供某些食物准备家务的机器人操作。
本发明的其它特征和优点将在下面的本发明的优选实施例的详细说明中陈述，或者根据该详细说明是清晰的。
图Ia用侧视图示出本发明的位于岛状或半岛状案台的台面的实施例，包括和控制系统一起工作的可洗、可更换和可互换的工作板和显示表面。
图Ib示出具有添加的部件(feature)(诸如一体化水槽和炉灶燃烧器)的一种形式的岛状案台的透视图。
图Ic示出工作板，该工作板具有部分弯曲的表面、投影的键盘、在一个或多个期望位置的浮凸部件、以及因特网显示器，以允许在烹饪或进行其它活动的同时在线购物。
图Id示出工作板作为砧板的使用。
图加示出采用普通的、直观的物理控制零件的本发明的可重新配置的控制和显示部件。
图2b示出其操作利用旋转、开合和其它触摸命令的外部音频系统的虚拟映射控制面板。
图2c示出用于加热和空调服务的虚拟控制面板。
图3示出具有形成工作面的保护盖的IXD感测显示器。
图如示出从工作面上方的信息投影和感测。
图4b是附加的天花板实施例。
图fe示出用具控制面板实施例。
图5b示出可替换的显示和控制面。
图6a示出低成本控制实施例。
图6b示出向图6a的设备提供被照明的控制标志的一种方法。
图6c示出采用在倾斜角度处的小型投影仪的组合洗衣机和干衣机显示器和控件的重新配置。
图7a示出本发明的可用于测量容器中的液面和指导用户的一个实施例。
图7b示出本发明的可用于测量容器中的液面的可替代的实施例。
图8示出利用具有倾斜侧壁的特殊容器的从屏幕和工作面上方或下方的液面测量。
图9a，9b示出具有直接称重能力的工作板。
图10示出本发明的浴室水槽。
图11示出本发明的向下翻转书房书桌实施例，还示出类似于图2的壁装式控制
图12a示出和本发明一起使用的手指手势输入。
图12b示出住宅平面图和状态的显示。
图12c表示利用其右手食指触摸烤箱的虚拟图形的人。
图13示出通过监测移动、位置和药物摄取来帮助在家中安全生活的实施例。
图14示出本发明的在抽油烟机中使用一部或多部摄像机用于炉灶控制功能和机器人控制的实施例。
图15示出图加的一种形式，其中蜂窝电话机的屏幕图像被直接映射到工作面上， 并且通过触摸工作面或操作控件来直接控制该电话机及其功能。
图16进一步示出与图14的设备相关的感测技术。
图17a示出用于炉子控制和因特网连接的背面投影实施例。
图18a是包括厨房中的一个或多个人的特性或动作的感测的正面投影实施例。
图18b是面向冰箱的正视图。
图18c是另一个冰箱实施例，其中屏幕在冷冻室下置型冰箱的主要冰箱门上，从而允许在冰箱门上显示类似完全长度的基本逼真的图像。
图19示出在厨房、浴室、洗衣房或人可能在该处工作的其它场所中的水槽之后的采用正面投影显示的实施例。
图20示出对于在炉灶后面的屏幕的微波安装投影，其在底部具有弯曲下部。
图21是联网的用具和其它外围接口的示图，其中主控件(这种情况下，位于厨房厨柜中)中的软件不仅与所述用具接口连接，而且控制该用具的操作细节。
图22示出通过动态灌注的监测的液体或材料交换的确定。
图23示出本发明的具有常规旋钮和开关的基于投影仪的汽车中控面板(center stack)或用具控制面板。
图M是图23中所示汽车中控面板的可替代的汽车中控面板。
具体实施方式
图Ia示出本发明的位于岛状案台的台面的实施例，包括可洗的工作板和显示面， 其中除了传感之外，放置在该表面上的人的双手或手指或者加工物体还被光电感测。另外， 还示出了还出于控制或其它目的所希望的物理控制零件(诸如旋钮和开关)的感测。
图Ia利用侧视图示出本发明的厨房厨柜100，在此情况下该厨柜100在厨房的岛状案台101中具有独特的帮助食物准备的能力。本发明利用在发明人的许多共同未决申请和专利中所示的RTD设备，并利用TV摄像机或其它光电传感器和投影仪组合105(由计算机106控制)，在形成厨柜的一部分的诸如102的屏幕上投影，并且感测屏幕表面102上的例如人的双手或手指或加工物体或食物或其它材料，如后所述，该屏幕表面102还可形成在其上可进行厨房作业的工作板。可以使用在发明人的在先申请中公开的关于摄像机， LED，投影仪等的所有布置。空间110用于示出在厨柜中可以可选地放置抽屉或洗碗机或烤箱的地方。
为了使靠近厨柜站立的人看到的图像最大化，可以使用菲涅耳(Fresnel)透镜或棱镜屏幕来帮助把光导引到这些人。如果人只站立在厨柜的一侧(如果厨柜贴着墙壁，那么情况通常就是这样)，那么可以导引更多的光。
另外示出的是还出于控制或其它目的所希望的(例如，用于控制附近炉灶的温度或时间的)诸如旋钮120之类的物理控制零件的感测，所述炉灶通过网络与计算机106互连，计算机106处理摄像机图像或者来自屏幕和工作面的其它光学感测数据。
计算机106还驱动包含在105或其它视频图像显示设备中的投影仪，以在工作板表面上显示图像(在这种情况下从背面)。如果希望的话，所述工作板可以位于洗碗机的顶部中，该洗碗机是独立的或者嵌入厨柜中，并且工作板表面典型地但非必须地与台面齐平。 还设置麦克风121和扬声器122，以使能够进行来自和去往计算机的通信。与家中的其它用具和服务的和/或与因特网的无线或有线连接常常是所希望的(参见图21)。
如在共同未决的申请中公开的那样，本发明的摄像机或其它光电传感器可感测用户的手指(诸如手指118)或者其它身体部位(诸如其它手指或手)。这样，输入命令和动作也可被输入计算机106。
另外，如在在先申请中所述，工作面可用相对于投影仪图像和摄像机(或者利用的其它光电感测装置)透射的材料构成，使得手指位置、手的位置，和诸如一堆饼干或比萨面团或其它物体(包括旋钮120或其它物理控制零件)之类的物体可被感测并且在希望时被照明。作为本发明的一个主要特征，工作面可以被取下以便清洁。另外，在因在工作面上进行切割等而损坏工作面的情况下，可以更换工作面。由于所有的光学感测和计算设备都在下面，因此它们能够被诸如111之类的适当窗口保护。当不用于烹饪时，工作面可以用作显示流行节目的TV图像、或者从因特网下载的关于感兴趣的食谱的数据或者其它所希望的信息的屏幕。
计算机典型地利用包括无线方法的已知手段连接到因特网，并且可用于把网络上的信息显示在工作板上，在所示情况下该工作板适当地是透明的，以允许用户和也在厨房中的其他人看见这样的信息。计算机还可传送利用摄像机获得的或者借助麦克风输入的视频或感测信息。这种因特网连接也有助于把本发明用作对于家庭成员、朋友和其它信息源的网络社交的手段，该网络社交可能是某人的食物准备体验的一部分。
利用包括在105中的传感器(诸如TV摄像机)和驻留在计算机106中的适当机器视觉程序(诸如Matrox成像库)，可测量在工作板上的物体(比如面团115)在工作板的平面中的广度X和Y。某些材料的此数据可用于近似体积，因为当在水平方向达到一定广度时材料一般地以典型的堆高放置。在一个例子中，通过把期望的堆广度和形状的图像投影到工作面的屏幕上，计算机106中的程序指导用户如何制成堆。
本发明的光电传感器还可查看用于在工作板上加工材料的一些工具。例如，可以监测用于辗轧面团115的擀面杖移动(滚动)多远以及重复多少次。同一设备可查看其它加工物体，比如松肉锤。当达到多次重复时能够生成信号，或者其它这样的信息。
作为上面所示设备的可替代方案，投影仪和/或摄像机可被安装在天花板上。这是最灵活的布置，因为几乎不需要厨柜中的深度。在一个例子中，可将LCD或其它平面显示器用于工作板(优选地具有保护性盖玻璃)，并使用具有顶置摄像机的设备130，以从工作板区域获得信息。在另一个例子中，组合的传感器/投影模块130可以与考虑到对于投射的视频图像信息的良好漫反射系数特性而选择的普通材料的工作板一起使用(与发明人在诸如11/980,722的共同未决的申请中所示的类似)。设备130可以不显眼地例如位于连接到天花板的灯轨上，从灯轨获得电力，并且例如无线地向远程计算机传送数据以及传送来自远程计算机的数据。这种形式将在下面讨论，因为存在可用的不同测量方法，以及诸如碍事的双手或其它身体部分的要解决的问题。不过，另一种可能性是利用空间中的手势来控制整个或部分系统。例如，这样的手势可以是把手停留在将在显示的食谱表示中描述的物品上方，这种情况下，例如在比萨面团115上方挥手。应注意，用户的蜂窝电话机126 也可用于把数据输入计算机106中，从而也允许蜂窝电话机中的信息被如图15中所示地显示，或者用于其它用途。屏幕表面也可用于例如从显示的电话号码的列表中把呼叫指令输入蜂窝电话机中。在连接到家庭电网的时候，蜂窝电话机能够方便地被充电。
图Ib示出与图Ia的岛状案台相关的岛状案台或其它柜台131，其添加有部件(诸如一体化水槽132)，并且还包括利用投影仪激光束133的如图7中所讨论的置于测量圆MC 上的容器中的液面检测，该投影仪激光束133与如上所述的背面投影单元140所照明的投影工作面134 —起使用。另一方面，还示出了具有带有三个燃烧器的炉灶单元136 (可以选择燃烧器的数目以适应应用)的工作面135。工作面可以由陶瓷玻璃，耐热玻璃或者其它适当的耐热材料制成，并且这种加热元件的设置不会影响间隔开的摄像机和投影仪单元138。 从而，这使工作面可以用作砧板，TV显示器，因特网显示器和灶台。屏幕和工作面能够在燃烧器附近提供接下来做什么的指令，否则在某人在所有燃烧器上为聚会等准备食物的情况下会造成混乱。控制系统计算机(诸如106)可对平底锅在燃烧器上的时间计时，或者确定何时发生沸腾，甚至还能够从因特网或其它下载的食谱数字地获得指令，从而自动指示何时调低加热。这可通过利用步进马达调小炉灶燃烧器，或者电气地改变电流(如果是感应式电燃烧器的话)来实现。
具有背面投影显示器的灶台135不但可用作显示器，还可用作键盘或其它控件。 从而，能够在照料燃烧器上的东西的同时进行某些因特网活动。希望地的是使背面投影显示器的电子组件的位置尽可能地远离燃烧器，以使热问题降至最小。另一方面，可以利用正面投影显示器，如在下面的附图中所述。
可在计算机106中对被投影的炉灶显示器编程，以当燃烧器上的某物超时时使指示发亮或者发出警报，或者如果希望的话，可在其附近作为颜色表示热水平。所有类型的其他显示的或可听的数据组合是可能的。可以显示来自下载的食谱的图形图示，所述图形图示向人显示要做什么。通过投影显示(和机器视觉感测)，容易改变大小以适应厨房和厨柜的设计。显示可以刚好直到各个部分的边缘。如在上文及共同未决的申请中所公开的，可以感测诸如143的控制旋钮，以操作炉灶或水面或所希望的其它功能。
此附图还示出用于增强设备的一般控制和连通性的因特网连接142(如果希望的话，它可以是无线连接)，在希望时还允许与准备食物的人的被感测的活动相结合的因特网连接食谱功能。本发明的一个极好的方面在于允许使用内置于系统内的TV连接经由因特网进行与朋友和家人的社交烹饪活动，并且还示出使用本发明的与家人和朋友的社交网络烹饪的例子。这可用于成立烹饪俱乐部，便于著名厨师远程指导，等等。例如，著名的巴黎厨师可在美国的5个家庭的有限班级中进行烹饪课程。在厨师一方，他不仅能够监测他们的活动，而且能够监测尺寸、面积、形状、大小，甚至颜色的度量以及重量的量(例如，利用诸如130的顶置式摄像机)，从而帮助学生完成作业。
在这个例子中，人在工作板上的活动可以连同可被感测摄像机或其它光电传感器 (顶置式或在工作板之后)查看并拾取的手的位置或其它数据一起被传送到另一人的工作板。通常也将传送话音，整个厨房的活动的单独的视频图像(类似于在杆148上的网络摄像机147的视频图像)也将如此。这样，一个人能够向一个或多个其他人展示例如如何把诸如一块面团之类的材料成形。并且，面团尺寸和其它参数也可被感测和传送，比描述的目前的近似努力更精确。本发明不仅领会你将拍摄厨房环境的视频，而且可拾取从一人给另一人的并且还传送给可以说在线的社交网络上的其它成员的玩笑话和指令。
可替代地，可以具有带有分离的水龙头和排水管而没有炉灶的系统。它可以是半岛状的或常规的与墙壁相邻的厨柜，而不是在厨房中的岛状案台上。另一方面，也可将本发明用于内嵌式洗碗机，在该洗碗机中洗碗机的顶部可以是本发明的工作板。
图Ic示出由投影仪/传感器模块151照明和感测的工作板150的表面。假定该投影仪/传感器的形式具有足够的景深，工作板的表面在后挡板区域152中向上弯曲，从而也可在更垂直的表面区域152上进行投影和/或感测。例如，发明人已发现广角式投影仪 /传感器(诸如Samsung LED TV中使用的投影仪/传感器)具有这样的特性，具有非常广角的透镜的摄像机同样如此(应注意此外，出于感测的目的，很少需要完美的聚焦)。摄像机(或者其它传感器)典型地被带通滤波以消除顶置的室内灯的影响，如果吸顶灯是荧光灯的话，会被透射近顶的黑色塑料阻挡。如同公开的那样，这假定摄像机具有用于感测控件、物体、手指等的相关联的近顶光源。
可以在没有摄像机的情况下使用投影仪部分，或者显示器可以是另一种显示器， 诸如可以如图所示弯曲的OLEO显示器。另外示范了某些种类的柔性IXD型显示器。在一个例子中，向上弯曲的后挡板区域可作为易于阅读的告示或留言板，并且类似于其它屏幕可以显示图片等。通常，后挡板是垂直的，位于墙壁附近。
另外，示出投影的虚拟键盘155，当需要时，该虚拟键盘可例如在按压按钮156(根据需要为真实的物理开关或触摸图标)、在按键位置处的浮凸部件上使用。利用旋钮157 可选择其它投影信息(诸如允许在烹饪或进行其它活动的同时进行在线购物的因特网显示)，可除了刚刚提及的键盘之外还提供这样的信息和触摸感测能力，或者作为该键盘的替代提供这样的信息和触摸感测能力(从而允许更大的字母)。如果希望的话，利用本发明的触摸能力实现数据的导航。
虚拟键盘155没有物理移动的按键，从而避免碎屑由于例如在工作板上进行的作业而进入按键中。如在共同未决的申请中所指出的，如果希望的话，可以使用实际上小的浮凸部件以便可触摸地定位按键或者其它位置。根据需要，可以设置诸如微小凸纹160之类的浮凸部件，以指示一个或多个字母位于虚拟投影键盘上的位置。本申请的一个重大优点在于能够在进行其它事情(比如烹饪家务)时，从眼角瞥见按键然后触摸所述按键。
可以呈现的信息可以是例如根据测量的材料的饮食建议、烹饪建议或者对于烹饪操作的信息的自动传送、或者根据确定的材料广度的切割建议。在工作板上的食物的近似体积、面积和广度都可利用本发明的摄像机或其它光电传感器被确定。由于数据被投影，因此工作面也可被令人满意地取下以便清洁，在屏幕表面包含可能积留碎屑的压痕或浮凸元件或者其它形状作为触摸基准的情况下这是特别有益的。如果足够小的话，那么一些工作面可在洗碗机中被清洗。
关于一种具有诸如157的旋钮选择器的使用简单的形式，除“因特网”(它会显示诸如IE之类的浏览器页面)外的其它旋钮位置可包括
1.婴儿房。这会使婴儿房和婴儿床的TV监控图像显示在屏幕和工作板150的至少一部分的上，或者观察例如在其它房间中玩耍的儿童。
2.安全。从安全摄像机获得的图像可以例如通过指示在附近已发生运动的红外传感器信号被显示，可选地被自动提示。
3.食谱(利用其它手段进一步选择所需的页等等)。例如，可以具有食谱编号触摸图标。
虽然利用本发明可使用触摸图标或其它触摸屏功能来选择各种功能，但是旋钮 157(和或许其它的也在屏幕上的物理旋钮)代表一种熟悉并且触觉的选择功能的方式，这能够帮助人们操作设备。并且，通常使得在分心的时候更快速和更容易使用。
本发明的另一种应用是记录和显示家人便条。不仅可利用触摸屏进行输入，而且也可通过将诸如170的书写页面朝下地放在工作板上来输入(可替代地，如果利用顶置的摄像机或其它光电传感器130获得数据，则书写页可以面朝上)。透明区或者甚至散射区 (尤其是散射位于顶面或顶面附近时)中的背面投影或其它背面感测工作板可被用于读取放在工作站上的手写便条或其它便条，根据需要，读取的内容可被保存在计算机存储器中以便稍后显示，或者显示在其它监视器上，或者放置在文件位置(诸如食谱或其它文件的文件位置)中。如果是从上方感测的话，那么可从例如摄像机130拍摄的摄像机图像中直接感测书写页。应注意，也可按照这种方式记录食谱的各页，从而可仅通过从计算机存储器调出所需页面的jpeg(或其它)图像来使用珍视的书籍，而不会在书上洒落各种东西。注意，这种功能能够读入照片、手写便条，还可用于确定笔迹。另外，如在共同未决的申请中所公开的，如果希望的话，可以读取手势签名，以例如核实操作者(例如，父母)是否有资格操作特定的设备，或者改变计算机功能。
另外应注意，在屏幕下面的摄像机或其它光电传感器也可用于读取编码的程序指令，顶置式摄像机130也可同样如此。在引为参考的Peter Smith和发明人的若干共同未决的申请中已充分论述了这种编码程序指令读取活动。这些申请公开了利用计算机作为辅助来进行常见任务的基于纸张的简单方法，并且尤其适合于不通晓计算机的那些人，或者适合于具有便条、收据或者其它书写形式的信息并且只希望快速地对它们进行某些操作(诸如把其归档到数据库中或者用电子邮件发送)的那些人。
图Id示出工作板作为切蔬菜、肉或其它物体的砧板的应用。应注意，工作板可由能够经受要在其上进行的工作的玻璃或硬塑料或其它材料构成。例如在砧板模式下，这些材料中的一些能够经受在它们之上使用的刀具。
在一个典型的、但绝非详尽无遗的例子中，这种情况下，工作面175被用于切割一块肉。这种情况下，放在工作板175上的一块肉180将被切成两份。计算机呈现投影轮廓 181，该投影轮廓181展示肉的当前形状(已用系统的摄像机或其它光电传感器测量肉的轮廓)，并且随后向操作者展示附加步骤。比如沿线a_b切割这块肉。一旦完成切割，照相机就可被用于确定现在存在大小适当的两块肉，并指令操作者接下来做什么。这种系统的优点在于所述指令可以采用操作人感到舒适的任何语言。计算机可以提供象形图或其它指令信息，并且计算机也可根据需要在扬声器上提供不同语言的话音文件。计算机可以由用户编程，或者直接根据从网络或其它地方下载的食谱指南被编程，以根据正在切割的肉的种类(诸如肉排)显示给定的大小和形状。这样，如果已知肉类型的粗略厚度，那么就知道近似的重量和烹饪时间。可在切割前输入包装上的重量，随后能够根据切割数据估计后续各部分。
如果所希望的形状和大小的投影来自头顶(例如参见图4)，那么刚刚提及的切割过程更容易。在如这里所述投影来自下方的情况下，该大小应被投影得比实际期望的大小稍大，从而在切割到投影的内部时，你能够看到该投影。
虽说明了肉的切割，不过该技术也可用于切鱼、面团、椰菜或者其它物品。投影图像也可用于指示用户切割什么，比如可以说是“看起来像”的一块肉排。
图加示出本发明的台面与家中的其它用具或数据设备的互连，还示出对用具控制面板的应用。这用于任何家庭控制系统，不过合乎逻辑的地方是厨房。厨房中的承担家务的人从而会倾向于使用所述控制系统，而不是直接使用越来越难以理解的洗衣机上的控制。他或她会从厨房中的控制面板跟踪进展，而不必下楼到例如洗衣房中。另外，可削减洗衣机和干衣机的一些费用，并且归因于人对所提供功能的理解的大幅提升，功能性得到改善。在图6中指出了另外的控制成本节约方法。
在一种互动模式下，如图加中所示，如在发明人的许多共同未决申请中所述，可重新配置在工作板205(顶视图)的屏幕和控制面上的诸如旋钮201和202的旋钮(或者诸如开关之类的其它控制零件)的功能，该许多共同未决申请还举例说明了在家中的墙壁上的这种控制面。如图所示，在所示模式下，旋钮201选择设备或功能，并且旋钮202选择设备的工作模式。标志可在旋钮202上变化，以适应正在控制的设备。如图所示，词语PERM PRESS用于洗衣周期(washer cycle)。在一种工作模式下其它未选择的特征(例如，Normal Wash(正常洗衣))标志变得更暗。工作板的屏幕表面，或者在工作板内的屏幕表面(如果不包含整体)随后可图示设备(这种情况下，洗衣机)的操作的图形和其它帮助。如果希望的话，可在工作板的触摸屏上操作表示洗衣机的状态功能的图形图像。对于目前通过洗衣机的按钮等控制的洗衣周期的特殊设定可作为替代(或者可选地作为附加地)被从厨房控制以节约一定费用。文字可被显示在旋钮上和/或旋钮附近或者同时显示在旋钮上和旋钮附近，以指示功能，所述标志也可改变大小或颜色，或者以另一种方式变化，以指示选择。 如果希望的话，也可显示受控设备的图片210 (包括其功能)。
应注意，例如图加的旋钮201和202可以是例如通过两根手指的扭转动作来旋转的虚拟显示旋钮，如在发明人的共同未决申请11/27观68中所示。这种概念可被扩展成按照这种方式控制所有系统，不过实际上显示在设备的实际表面上的控件的虚拟图，并使用控制面板上的虚拟面板来映射它们，指令诸如106之类的计算机向它们传送信号，以执行期望的功能。根据需要，这种信号传输可以是无线传输或有线传输。
例如，考虑图2b，图2b在工作板屏幕表面上图示外部音响系统(例如，现在拥有的 SONY音响系统，不过该音响系统具有要被远程控制的必要的输入连接)的虚拟映射控制面板的投影(或者其它显示)，所述外部音响系统的操作是利用音量旋钮220的虚拟旋转和虚拟按钮电台选择按钮221-224的操作实现的。如果希望的话，显示在屏幕230上的SONY 控制面板的背景图像可以仅仅是利用数字摄像机拍摄的实际物品的JPEG图像(或者从因特网下载的照片)，在该背景图像中覆盖该虚拟控制功能。通过两根手指(通常拇指和食指)的扭转运动来转动旋钮220会调高或调低音量，就如同转动位于比如说起居室中的真实SONY音响系统的物理旋钮一样。可以显示所选电台的呼号(例如WXYZ)，就像它们在实际设备上那样。或者，如果你希望的话，那么可以对于希望的任何控件布局或显示配置来对系统进行重新编程。一般来说，主张使控件保持相同，以在家中产生较少的混乱。
在这个例子中，相同的真实旋钮201被示出，选择音响系统控制面板，不过，这也可以是虚拟图标显示的选择按钮或者其它虚拟控件。或者它可以是物理开关或者任何东西。先前所示的另一个真实按钮202如果希望的话可在这种情况下处于运行状态，或者可被用于独立地控制可超驰(override)该系统的其它功能。例如，如果选择了旋钮202上的位置A，那么显示的所有条目会与灶台或砧板作业相关，或者显示婴儿房视频监视画面，或者因特网，或者分配给A的任何功能。所有这些选择和更多的选择如果希望的话可在旋钮 202上被提供，或者借助触摸图标被提供，或者借助它们的任意组合被提供。
图2c示出用于加热和空调服务的虚拟显示的控制面板225，包含触摸图标温度升高和降低开关261和沈2、温度设置显示沈5，及加热空气和风扇开启开关组270。例如，工作板屏幕上的空闲空间用于示出将从因特网下载的天气预报显示期望的时间段的显示区 260,以帮助设置各个控件。如果希望，旋钮202可被用于辅助如在选择的加热炉模式下可实行的这些功能中的任一功能，例如，以向下滚动并且选择呈现其天气的各个日子的更多信息。本发明的优点在于可按照非常易于阅读的形式、正好在控件附近、并且在家中最经常使用的地方提供这样的相关信息。
图加中另外示出了本发明的这样的应用，即控制系统或用具的用户把其蜂窝电话机280插入设备中的插槽观1，在此这种情况下插入工作板205中。这样，蜂窝电话机可被连接并且这样一来被充电，并且连接到系统计算机106，以致系统计算机106播放保存在蜂窝电话机中的歌曲，或者利用蜂窝电话机通过蜂窝网络与其他人合作。歌曲的播放列表或电话号码可被显示在工作板的屏幕上，以帮助快速选择要进行的任务。如果蜂窝电话机中可利用足够的处理能力，那么作为计算机106的可替代方案，蜂窝电话机的计算机可被用于操作部分或者整个系统。这也允许用携带在你口袋中的你的信息来操作其它这样的控制面板。
另一种显示的控制面板可以是外部干衣机的虚拟映射面板。应认识到，这也可以是外部洗衣机的面板，并且这样的两个设备通常位于远离厨房的地方，能够从此面板控制这样的两个设备，这能够节约在实际设备处的费用。在不必下楼的情况下，也能够了解洗衣机的状态。
作为图1的投影仪显示器的可替代方案，图3中所示的是与IXD像素、诸如Siarp 公司生产的感测检测器的矩阵(但是，目前的尺寸比这里描绘的尺寸小)结合的工作面LCD 显示器375。为了避免损害在显示器之上设置热塑聚碳酸酯(Iexan)塑料保护罩377。类似于发明人已公开的基于背面投影的系统的摄像机图像，利用该显示器获得的从显示器或房间照射到显示器中的检测器的光的图像由计算机380(它也用于驱动显示器)处理。这种方案也可用在所公开发明的其它工作板中，并且具有比背面投影设备薄的优点。不过，目前开发较少，并且表面、尺寸、配置和活动的选择更受限。另外，修理费用也高得多，因为LCD 部分会因重的平底锅掉在设备上而破裂，除非保护罩厚得以致于当透过保护罩观察图像时提供的图像不太理想。设备能够看到手指触摸的位置383，并且利用来自显示器的光394， 配置在显示器中的检测器能够看到在安装到保护罩377的滚道392中旋转的旋钮391背面的数据395。
图如进一步示出在图1中讨论的情况，其中沿着首先关于图Ia中的摄像机130提及的线路，从头顶上进行信息的投影和感测。在Peter Smith和发明人的若干共同未决的申请(例如11/184076，11/832134，11/980，722)中以及在引用申请中的相关上下文中也描述了这种布置。如图所示，工作板401上的工作面400由投影仪405在其上投影，并用摄像机406观察，投影仪405和摄像机406都由计算机410驱动和处理。用户412查看工作面上的图像。根据需要，摄像机406也可感测用户的一根或多根手指(诸如415)或者用户的手的位置。在这个例子中，感测到指尖416触摸到饼干面团417。如本领域中已知的可以设置结构化光线投影仪，当用户的手指在工作面上推动面团417时，结构化光线投影仪可以结合摄像机406获得的图像被用于勾画面团417的形状的轮廓。可替代地并且更准确地， 例如，通过用马达移动工作板本身，或者利用旋转镜沿着水平方向扫描激光光束，可以使激光线自动扫描工作面。如果不需要机械移动的话，那么可以投影网格，而不是线条。获得的数据可由计算机410处理，并且在投影图像或者其它显示画面上以形状或者计算的体积的形式呈现给用户。如果合理地已知面团密度(例如可以下载自食谱)，那么可以呈现从该计算的体积推断的重量。这使得还可以计算估计的面团的卡路里含量，并通过适当的计算，计算最终烘焙好的饼干的卡路里含量。卡路里的预测使得可以削减面团大小，如果期望较轻的馅料较少的饼干的话。从上方的光截面数据也可以与利用基于背面投影的摄像机系统从下方获得的面积和形状数据结合使用。
图4b是由投影仪405在其上投影并用摄像机406观察的工作面440的透视图，投影仪405和摄像机406都由计算机410驱动和处理。投影仪和传感器安装到厨房天花板中的轨道灯具430上，不过，也可以是任何其它适当的底座。另外示出的是利用表面445上的圆点标记或者指示器450的旋钮441的感测。光线460/461被示出为通过线投影仪420被投影，其中照相机406上的图像在460和461之间的偏移表示饼干(这种情况下，扁平的饼干)的高度。在发明人的美国专利5940302中，示出了利用这种系统的体积和形状计算。在扁平饼干的情况下，可通过确定饼干的直径(通过观察摄像机图像获得)，把所述直径乘以JI再乘以在所有点确定的高度(这种情况下，所述高度是相同的数值h)，可以计算体积。
摄像机不必直接在头顶上，可以安装在从厨柜竖起的杆上(比如图Ib的杆423上的网络摄像机42 ，并成一定角度地观察工作板上的物体。应注意，摄像机或其它光电传感器用于感测在灶台附近或灶台上的小孩，发出警报，并关闭燃烧器。注意，对于诸如此应用的一些应用，可以使用也连接到计算机410的超声波传感器或雷达传感器。摄像机也可用于确定炉子上的水是否在沸腾，和可被通告或用于自动提示控制(比如降低加热)的所关心的其它条件。
与背面投影形式相比，顶置形式具有几个优点。例如，它为抽屉，微波炉或其它东西节省了厨柜下面的空间。这种情况下，投影仪和摄像机“投射”距离仅仅由小于自由空间中天花板到厨柜距离的距离构成。工作板可以是期望的任何工作板，只要能够在该工作板上看到图像即可，并且该工作板不必透射光。主要的缺陷在于双手，头或其它身体部位会阻挡投影的图像，台面上的物体通常也会阻挡投影的图像。不过，通过适当注意，并且明智地选择什么内容投影在何处，能够大大减轻该缺陷。例如，详细信息最好投影在远离直接工作区的区域中。事实上，本发明包含利用摄像机和运动、手识别软件或其它手段感测作业在何处进行(例如，切割肉排)，并用信号通知计算机以控制投影仪，把食谱或其它信息投影到另一个区域。
图如示出对于用具控制面板(这种情况下，洗衣机503或干衣机504)的应用。 注意，一个面板可以服务于这两者，因为它能够被重新配置。例如，通过利用在许多共同未决的申请中讨论的RTD发明，洗衣机503上的控制面板502的旋钮501可从控制洗衣程序被重新配置成控制干衣机程序。这种情况下，因为一个面板可服务于洗衣机和干衣机两者， 因此能够节约成本，同时仍可分别为洗衣机和干衣机提供清楚的、大的并且易于使用的控件。可以使用可替代的常规设计的手动旋转开关旋钮(而不是固态设备)，它可被机动化 (motorize)以用于远程计算机控制。
如在发明人的待审申请11/832134中所述，可通过低成本的投影仪/传感器模块照明显示和控制面510，所述低成本的投影仪/传感器模块可以基于被认为即将到来的大量蜂窝电话机应用。这允许利用与现有洗衣机类似的、但完全是电子的和可重新配置的可触摸旋钮实现系统的最大灵活性和功能的完全重新配置。
刚刚描述的本发明利用固态继电器或其它器件来根据需要切换功能。这通常比老式的基于机械的旋钮旋转开关更昂贵。在成本极为重要的情况下，可以使用常规设计的手动旋钮，该旋钮可(例如通过步进马达)被机动化，以允许利用诸如图1的单元实现远程计算机控制。不过，归因于投影或其它显示系统，标志可以重新配置。由于显示在屏幕510上的信息可以是任何信息，而不仅仅是控制功能标记或者指示灯(tell tale light)，因此可把它无线连接到比如说儿童房中的TV监视器，以致当在洗衣时可监视在儿童房中或者在外部院子中发生的事。可选地，还可提供上面提及的其它功能。注意，控制面板能够卷绕滚筒的有趣特征增大了虚线530中所示的可用于触摸功能，TV观看或其它功能的屏幕大小。
图恥示出相同的布置，不过具有不同形状的控制面板和更大的滚筒。另外示出物理“热键”开关M0，该开关根据需要把屏幕和控制面从洗衣机变成干衣机以及从干衣机变成洗衣机。对于具有组合的洗衣机和干衣机功能的那些机器(诸如在空间受限的地区比如意大利销售的机器)，洗衣机和干衣机的双重控制有价值。这种情况下，控制面板可以可选地提供这两种功能的信息，并且当按一种模式或另一种模式操作机器时，能够简单地在它们之间被切换。另外参见图6c。
同一控制面板思想可用于控制炉灶和烤箱组合、或者炉灶和微波炉、或者要被控制的用具或其它设备的任何其它分组。此外，受控设备不必被并置。例如，除了洗衣机和干衣机之外，面板502还可控制语音系统，或者设备的TV功能。或者甚至因特网。沿着上面的工作板公开的各条线路。
图6示出本发明的低成本控制布置，在最简单的情况下，该布置只被用于控制，而具有很少的或者不具有复杂显示能力。它对于不需要复杂显示互动的用具、卡车、汽车和其它许多应用是理想的。另外在发明人的共同未决的申请(例如11/980710)中公开的主要前提是用于蜂窝电话机或自动化应用的单一低成本摄像机600连同LED 605 一起可用于照明和感测控制面630上的各种各样的多个物理控制零件(如旋钮620和滑动开关62 的位置。摄像机收集的图像数据由简单的计算机装置610(诸如与摄像机一体化的DSP)处理， 并且提供给I/O的输出用于实现由用户与旋钮和开关(以及需要的其它控件，诸如转盘滑动器等)互动所进行的控制选择。
这种系统非常廉价，因为已预测到如果批量大的话，那么摄像机和计算机部分可以低到几美元，并且如果在控制零件上使用回射器或者其它高对比度目标以致几乎不需要光的话，LED仅仅为10美分。这里，控件不暴露在环境光之下，从而不需要更高的功率或者复杂的计算机处理。也不需要近顶操作或者带通滤光片，如果环境光问题持续存在的话， 那么需要该近顶操作或者带通滤光片。
本发明的这一方面不仅廉价(对于具有10个控件的面板来说，每个受控变量或器件(不包括塑料物品)为30美分的量级)，而且易于设计和定制。例如不需要产生专用的电路板。这在许多领域具有数不清的益处。它允许非常经济的小的控制面板体积。计算机还可以可选地从其它传感器获得输入并进行控制，从而使系统更加通用。摄像机还能够感测覆盖的构件(诸如所示的塑料构件640)的缩进位置。这使该构件可以用作触控板(诸如膝上型计算机上的触控板)，或者和例如许多用具目前所具有的触摸开关位置一起使用。 在发明人的共同未决的申请中示出了合适的感测方法的例子。各个控件是用侧视图表示的，诸如旋钮开关之类的其它控件可以位于延伸到纸面之外的表面上。
还可以使用如在发明人的申请11/980710中公开的适合于图5的应用的一种形式，包括两个固定的投影仪650 (在该附图中的纸面之外隔开)。例如，一个用于干衣机控制面图像，另一个用于洗衣机。这种情况下，如在共同未决的申请中公开的，图像数据将被投影到其上的控制面630的区域需要是透射性和散射性的，以便形成背面投影屏幕。增加的成本极低(比如5美元)，不过不具有提供视频或实时信息的能力，除非使用分离的显示器 (诸如LCD面板，例如条状LCD或者LED类型的或者其它平面显示器670)，在这种情况下， 需要与控制面630的电连接。在能够负担成本的情况下，可以使用LCD面板或者其它常规显示器，或者可替代地使用例如可用在蜂窝电话机中的低成本LCOS、MEMS或者其它视频投影仪，同样记得视频显示器的驱动电路也有成本。用具中的这种投影仪也可用于向用户提供TV图像或因特网连接。应注意，控制面630可以弯曲的或者不规则的，而通常不影响摄像机查看希望的控制信息(诸如旋钮位置、手指触摸位置等)的能力。
图6b示出利用图6a的设备在车辆中提供用于夜间驾驶的照明标志的方法。图6b示出利用图6a的设备提供照明标志的一种方法。如图所示，旋钮651安装在控制面652上， 并由摄像机665利用来自LED6M(这种情况下，IR LED)的具有穿透在摄像机之前的带通滤光片665的波长的光(从而其它波长的光不能有意义地影响摄像机图像)感测，以确定旋转位置。在夜间，白色LED(可替代地，可以是有色的)被开启，并透过在已用激光刻出词语VOL (或者对收音机旋钮来说，Volume (音量))的构件652中被切出的狭缝。可根据需要控制LED 660明亮或暗淡，并且对于其它标记可合理地切割出许多其它这样的刻槽。如果希望的，并且如果使用白色LED，那么可在一些刻槽上放置有色滤光片，以使它们表现出不同的颜色。如果需要的话，使用滤光片除去从客舱透过狭缝的环境光中的绝大部分。
图6c示出采用诸如在发明人的共同未决的申请中公开的小型传感器/投影仪的用于单个用具的组合洗衣机和干衣机系统。例如，这种投影仪和传感器组合可以基于用于蜂窝电话机应用的Microvision品牌“微微投影仪(pico projector)”。投影仪685由计算机690控制，该计算机690从系统的旋钮、开关和触摸屏命令获得输入。视频图像被倾斜地投影到屏幕和控制面675的背面，该背面上已放置有3MTRAF转向膜以使图像转向用户。 在屏幕上过扫描投影图像，从而期望的整个屏幕表面可被照明。
图中表示了两种状态，每一种状态根据需要由电源和控制按钮671或672启动，以操作机器的洗衣机或干衣机部分或者一对机器。如在发明人的待审申请11/045131以及其它申请中公开的那样，主控制和选择旋钮676可以可选地在其中心具有时髦的信息屏幕。 旋钮可以采取径向厚度为t的环形物的形式，并且如果希望的话(并如共同未决的申请中公开的那样)，可被按如下方式设计，即如当前的许多常规旋钮那样能够被压入或者拉出以启动或停止循环。旋钮指示器可以是物理指针，或者可如682那样只是被投影到屏幕表面上，或者可替代地，可被投影到该旋钮表面或其它旋钮表面上。在这个例子中设置了两个其它旋钮678和679。如共同未决的申请中所示，可以设置更多的旋钮或开关或滑动器或其它控件。这些控件可被光学感测，不过可替代地或者附加地，也可利用本领域中已知的电子方式感测这些控件。后者的若干种希望形式之一是电容式触摸开关。
如在共同未决的申请中公开的可以可选地设置的虚拟触摸输入的区域被对于洗衣机模式示出为682并且在干衣机模式中示出为683。根据需要，对不同模式来说这些功能或指示符可不同。应注意，当期望连接到除洗衣机或干衣机外的其他服务(诸如用于收听观看TV的外部节目源)时，可以按下可选按钮674，按钮674把旋钮676变成辅助选择旋钮，并且呈现其它图像，而整个标记和其它洗衣机功能指示可被删除，或者使得它们的字母或指示变小或否则变得不那么可见。根据需要，洗衣或干衣动作如果被预订则可继续进行。
如在发明人的共同未决的申请中所指出的，TV的图像可被投影以正好在旋钮(或者开关或其它控件)上的屏幕上显现。已发现，实际上，尤其在环形旋钮的径向厚度小以致不会明显使图像模糊不清的情况下，这通常不会过度破坏对图像的整体理解。
如图所示，如在发明人的共同未决的'868申请(与美国专利7084859相关)以及在其它几件共同未决的申请中所示的，投影仪685(由接收来自旋钮，开关和触摸屏幕命令的输入的计算机690控制)可以成角度从而以一定角度倾斜地投影到屏幕和控制面的背面上。在通常可取地利用矩阵式图像芯片所示的情况下，所述芯片可被倾斜，以致投影的像面从一端到另一端在屏幕上聚焦。如果使用这种技术，那么可在计算机中校正图像以致在整个屏幕上呈现均勻的倍率。在离投影仪的远端，过扫描屏幕，以致近端能够被充分照明。
这种系统允许用户利用投影的或者以其它方式显示的图形来区分用具，并且如在前面的情况下指出的那样，用户也可容易地改变控制面板和屏幕形状，包括弯曲形状和切割周边的使用。用户能够容易地改变语言以适应不同的市场或购买者。另外，如在发明人的申请11/045131和其它地方指出的那样，还可在旋钮或其它控制元件面上显示图案、颜色等。
就最简单的形式来说，本发明可以利用摄像机或其它光电传感器来仅仅感测屏幕和控制面上的控制位置。或者，可以如同公开的那样利用投影仪，或者利用如在图23中示出的常规控制感测技术。重要的是如上文关于洗衣机和干衣机所指出的，设备的功能可被用于控制多个用具。例如，另一个例子将如图14中所示，其中同一计算机1410和控制系统可控制炉灶，烤箱和微波炉任意之一或者全部。与图14的控制面板不同的控制面板可以位于炉子的正面或背面，正如目前的常规设备中那样。
也可利用类似的方式控制相同设备的不同功能。例如，干衣机中的如图6c中的控制面板可从干衣程序特定控制面板切换成全部干衣机控制面板，切换成显示TV节目或因特网馈送内容的娱乐面板。如果希望的话，它也可包含更复杂的触摸屏功能，如发明人的'868申请和美国专利7084859的多点触摸屏。
图7a示出本发明的可用于测量容器中的液面的实施例，该实施例还采用显示在工作板表面上的指令。对某些人来说，主要的困难是通常放入量杯中的材料尤其是液体以及粒状材料的测量。预期本发明可通过如下操作帮助解决这个问题，即从食谱获得事实上刚好所需的数据。随后向用户显示所述数据，或者另外监测用户正在倒入容器顶部的材料的量，并且通过稍微提前向用户发出报警来告知用户何时可能倒入足够的量，使得用户能够降低倾倒的速度。注意，可以正好在放置容器的地方附近显示液体和信息。
可如图3中所示，在表面(示出为背面投影，不过也可以是正面投影的)上显示在该处应放置容器的投影的测量圆Me，以致摄像机能够确定容器中的液体的高度，并比较该高度与该容器或容器类型(例如，一组8个相同的威士忌酒杯之一)的预先校准值。
通过观察透过液体(在这种情况下，所述液体必须适当地透明)，投影到诸如饮水杯21之类容器的底部的激光束光斑720的位置，由计算机745分析的摄像机730可感测液面746。由于液体的折射率，光斑的位置将与容器中的液体的高度成比例。不过，如果液体或粒状材料不透明，那么可以使用不同的激光三角测量法，其中现在由在液体上方的摄像机观察激光光斑，并且仍归因于激光束与摄像机光轴成一定角度，当容器中的液体(或粒状材料)升高时，所述激光光斑在摄像机的像面中移动。根据需要，关于液体体积的信息 747被显示在屏幕上或者通过扬声器通知。
应注意，假定容器是透明的并且具有相当简单的设计，如图所示通过利用其图像由计算机745处理的摄像机750，也可从侧面观察液面。对于这种应用，最希望的是用背光模式照亮玻璃容器和液体，不过也可采用例如来自侧面工作的照相机的顶LED 751的正面光，但是应注意将摄像机和光源定位成避免来自容器的侧壁的直接且明亮的背反射。在许多情况下，正常的室内光线也可起作用。与在液体的弯液面之上或之下的空气或液体相比， 所述弯液面形成图像的较暗部分。
侧面观察技术也允许确定容器中的粒状材料高度，因为这种材料的顶部产生与在其上方的空气形成对比的图像。侧面观察系统还可感测牛奶和其它不透明液体，另外，还应注意，侧面观察系统通常更快地对注入材料作出反应，另外，所述注入不会妨碍摄像机视场。
一种可替代的顶部感测方法是如图7b中所示把摄像机770定位成与容器765的轴线764和工作面法线成一定角度，并且查看容器的优选地浅色并且漫反射的侧壁。在多数照明条件下，能够辨别液体(或粒状材料)和侧壁之间的分界766。当期望时，可以使用通常与摄像机并置的专用光源771诸如顶LED(以便不可见)。如图所示，与摄像机图像传感器784有关的处理之后的分界线的图像是针对两个不同的液体高度(容器中的较低高度 785和较高高度786)的插入物(虚线)。
如果容器765如饮水杯、梅森食品瓶等那样具有透明侧壁，那么可利用背光(诸如来自在工作面屏幕之下的投影仪781的背光780)确定液面，可以使投影仪781对准位置 780以便照明分界。在一个例子中，图7的设备中的液体测量的校准步骤是
首先，把选择的容器放在工作板上指示的位置处。可选地，利用摄像机730或投影仪传感器模块，测量容器的直径D或容器的性质的另一变量，从而稍后可利用摄像机和计算机系统来识别该容器。
其次，用第一已知量(比如说100ml)的液体填充容器。确定从容器的底部到液体的范围R的变化。
第三，倒入另一已知量的液体并确定该距离。如果未倒入标准的校准量，那么利用键盘输入倒入的量。传感器是成比例的，这是获得整个距离中的体积所需的全部-只要玻璃容器本身具有恒定的横截面，并且角度校正因子已知，它们可以是用于任何给定的设置的。如果不是这样，比如茶壶，那么可以利用常见量(诸如半杯，四分之一杯等)简单地校准，并利用它测量那些点以创建例如查寻表。
该过程可对于想要使用的每种容器进行一次。由于所有测量和计算一般都是数字化的，因此不必再次进行该过程。利用更多数据点的更复杂的校准也是可能的。
另一方面，设备的制造商或第三方可提供具有关于高度变化对体积的已知校准值的专用容器。这些值可利用例如CD或闪速驱动器输入计算机中、下载自网站或者任何适合的。这种情况下，不需要在家中校准；假定范围传感器本身是线性的。例如，校准值可从无液体的容器底部的初始测量的测量开始。
图8示出采用容器800的液面测量，容器800例如具有带有已知斜度的锥形内部区域801，该锥形内部区域801容纳其光学性质随着存在于容器中的液体或者其它物质810 的水平面变化的待测材料。摄像机815在工作面820之下，其中从下方观察分界环A，液体高度沿着特殊的塑料或玻璃容器的锥形内壁在分界环处终止，该容器被放置在工作面上来自上方的照明825使分界环更清晰的位置处。计算机860中的机器视觉软件分析来自摄像机815或可替代的摄像机850的图像(为清楚起见，未示出连接线)，并利用已知的斜度值， 或者提供的保存在查寻表中的容器对于填充各种体积的响应，来确定容器中的体积。适当的照明可由诸如851和852之类的LED、顶置式投影仪(在用于信息呈现或其它用途的情况下)、或者其它光源提供。锥角越小，液体高度的清晰度越大，因为对于任何给定的倒入量液体向进一步侧面移动。这种检测是几何学的，不过对较少量的液体最灵敏。不过，通过仅使通常圆形的容器的一侧倾斜，也可获得更线性的响应。在测量位置处的工作面不应过度漫射，因为否则分界环图像变得不清楚。也可以具有几乎完全透明的而具有很小的漫射或者没有漫射的工作面的部分(诸如部分821)。通常，从下方投射很少的光或者不投射光到该区域，因为它会直接冲击用户眼睛。该区域一般较小，因为可使用的容器的直径通常小于等于6英寸。
在另一种变型中，可以利用背面的投影仪通过容器的底部照明分界。这种情况下， 使光投射透过容器的底部，并且锥体的侧壁和液体的顶部之间的接口处立即可见。注意，如果希望地话工作面的透明部分可由漫射部分替换，或者当不需要测量时可在其上面覆盖漫射构件。
如果期望不依赖于在工作面之下的任何光学元件，那么可以使用来自上方的照明和摄像机感测，比如摄像机850观察容器800中的液体或材料的顶部。这种情况下，通过利用来自紧邻侧壁的反射的差异，可确定在锥体顶部的材料的宽度或直径W。
如果获得材料体积数据，并且材料种类已知，那么对于已知的材料密度可计算重量。而且，在一些情况下，通过知晓材料的特性，可根据从工作面之上或之下感测到的材料的测量面积来推断出可靠的重量，通过摄像机可容易地确定材料在工作面的笛卡尔轴上的面积(诸如比萨面团的面积)。如果通常知道正在形成这样的面积，那么你几乎能够假定可靠的高度、分布，从而近似体积。不过这不是特别准确。一些食谱不要求精确性，而一些则要求精确性。就要求更加准确的食谱来说，可以利用充当例如计量器(scale)的反射工作
例如考虑示出具有直接称重能力的工作板的图9a，其中整个屏幕和工作面900或其一部分也被用作重量计量器。在这种情况下，表面900由在其背面具有3M vikuiti分散材料901的耐冲击玻璃制成，并用4个支承件定位，图中表示了其中的两个支承件905和 906。支承件包含对力起反应的压电传感器，其信号调节输出由计算机920进行分析。提供这样的输出信号，该输出信号指示与当工作面上没有任何东西的情形(皮重情形)相比，由搁在工作面上的物体构成的力的变化。此皮重情形可由本发明的传感器感测，并且每当存在时，取零读数。当屏幕的尺寸增大从而增大皮重时，系统也起作用，不过变得不太精确。归因于在工作面上进行的作业，换能器不断被运用。因此，出于此原因，工作面上的一小部分是更希望的，即使在这种情况下，某些区域中的投影被该部分的支承件阻挡。另外为了避免碎屑，围绕周边使用密封。
图9b中表示了一种可替代的方法。在这种情况下，在整个屏幕和工作面960内两个挠曲部950和951支持上述类型的刚性透明但是漫射的称重盘955，一个挠曲部951靠近屏幕侧，以最少地破坏投影图像。称重盘因物体负荷而偏斜，所述偏斜被测量，可以利用在共同未决的申请中公开的传感器或者利用其它装置进行该测量。挠曲部是钢铁或其它弹性材料，并且可针对期望的重量范围而容易地选择。这里的问题是落入缝隙中的碎屑(从而在多数情况下，需要密封环)，以及在工作面要承受来自所进行的作业的负荷的情况下与前一方法相比稍微有些脆弱的结构。因此，这部分应主要用于显示(如果不是完全用于显示的话)，或者用于搁置物体，而不施加重压。
另一种可替代方案是使用薄横截面的屏幕的一部分，从而放在其上的物体将使其像受负荷作用的薄膜那样偏斜。如在其它共同未决的申请中所示，用摄像机测量该偏斜，并且在假定所述偏斜与作用力成比例并且已被预先校准的情况下，根据测量结果确定重量。 这种方法的问题在于典型的屏幕材料不是特别有弹性。
本发明包含低成本的可更换工作板，在该工作板获得过多的诸如在其上切菜而导致的磨损可更换。当过度磨损时，通过利用已知的装置(诸如螺钉、维可牢尼龙搭扣 (Velcro)等)能够容易地把工作板从厨柜上取下，并换上新的或者重新磨光的工作板。另一个优点在于工作面和屏幕包括其上面的任何旋钮或其它控件可被容易地清洁，对于基于 LCD或其它平面显示器的控制系统不存在此任务。此外，借助不会损坏工作面的材料的任何手段(诸如热水、抗菌浴、放射性辐射等)，工作面可被消毒。这对于商业用途(诸如医院厨房或者需要无菌设备的其它地方来说也是重要的。
为了延长工作面寿命并且和提供其它益处，可以使用抗刮擦材料(诸如尼龙或特氟龙(Teflon))。如果用于背面投影，那么屏幕需要是透光和漫射的。在一些情况下，构件 150的材料可以形成用于投影应用的体漫射体。例如，通过在诸如有机玻璃(Lucite)之类的透明塑料元件上涂覆或层叠薄薄的特氟龙或尼龙喷涂层，可以形成漫射但是耐用的屏眷ο
就背面投影来说，通过利用结合到屏幕表面中的微形状，通常能够优先地沿着一个方向导引光线。一个例子是3M生产的TRAF微复制棱镜膜(micro-implicated prismatic film)，它能够把光以一定角度导引到岛状厨柜的一侧，或者如图1中所示，导引到岛状厨柜的两侧。当靠近厨柜站立的人与工作面的表面法线成一定角度时，这是有益的。可以微形成正面或背面，以使光优先地射向与站立在厨柜(在岛状案台中)周围的人对应的侧面。 可以提供合乎情理的任意形状的工作板(圆形，正方形，矩形，不规则形状，菱形等)，可按要求投影任意图案或颜色，并且如果希望的话，该颜色和图案可以每天变化。
发明人的美国专利7084859和共同未决的申请'868已举例说明了发明人的RTD 发明在浴室沐浴器以及存在水并且可对常规电子器件造成危害的其它地方的使用。图10 示出在这种情况下对于浴室盆或厨房水槽固定件1000的另一种应用，具有小型投影仪传感器单元1010及触摸和控制面1015，触摸和控制面1015包括弯曲的显示面并且具有物理控制输入，在后者的情况下，所述物理控制输入是借助旋钮1020和在纸面内的另一个旋钮 (为清楚起见，未示出)实现的。如果需要，也可以提供单旋钮系统来混合热水和冷水。由于水是通过在计算机1030控制下启动的阀门被控制的，计算机1030还控制表面1015(通常，由正面具有漫射表面或者背面具有3M vikuiti或者其它珠状背面投影屏幕材料的有机玻璃或玻璃构成)的感测和投影，因此当传感器/投影仪1010组合发觉液面过高时能够自动关水，或者当液面逼近设定点时能够缓慢地使水减少。可以结合常规的热敏电阻或其它温度传感器以感测水温，并且自动控制(和显示)用户利用触摸面1015设定的温度。可替代地，如果需要，控制旋钮1020可以把功能改变成温度旋钮。投影屏幕能够显示不同的语言，颜色等等。例如，它可显示英语1021或意大利语1022。使用的摄像机或其它传感器也可依据返回的图像的变化确定液面，确定结果可被用于在液面超过限度时把水关掉。如在共同未决的申请中公开的那样，可以设置屏幕上的可选触摸输入。例如，这样的输入可用在菜单中，以改变语言功能，改变最高温度设定，要显示的信息和其它特征。
图11示出本发明的向下翻转书房书桌实施例，还示出类似于图2的壁装式控制面。如图所示，用户的手指1100正在通过触摸投影面1105来作出触摸感应命令，该触摸投影面1105在连接到计算机1120的投影/感测模块1110前面向下翻转以便工作。如果希望的话，这继而可结合壁装式大屏幕设备1130 —起工作，壁装式大屏幕设备1130能够利用虚拟或真实控件，来操作受控物品(诸如可位于办公桌附近的工厂设备)。这种下翻屏幕 (可替代地，可以从桌面向上翻)可用于多点触控或其它应用，以及启动物理控件(如果存在的话)。如果蜂窝电话机投影仪变得普及的话，那么投影/感测模块可便宜。该设备可以和普通鼠标或其它输入一起使用，能够替代膝上型或桌面计算机。或者它可被看作膝上型计算机的辅助，用于特殊的触摸或控制操作。
图12进一步示出在图加中提出的一点，并示出在本发明的屏幕和工作面上使用的手指手势和其它屏幕输入。例如，图1 示出工作面1200，在该工作面上利用用户的左手(或其手指)把衣物的图像1210移动到洗衣机的图像1215上，以便开始也被拖动到洗衣机图像1215中的“洗衣循环“e””。通过把右手的手指放在指示洗衣机(WASHER)的图标上，启动洗衣机图形控制图像。由于感测允许多点触摸，因此如果需要，左手和右手手指都能够同时在屏幕上操作。如果需要，通常显示触摸图标的诸如洗衣机，干衣机等的各个位置可具有微小的浮凸部件，以帮助找到它们，如在图Ic和共同未决的申请中所示。
图12b示出屏幕上有住宅平面图的控制面板1200。如果被适当接口的话，那么每个房间中的灯和其它服务可被示出，并且可通过利用该面板的触摸感应能力被从该面板控制。通过触摸条目或在其附近的控制图标，能够改变状态。
图12c示出用户利用其右手食指1242触摸烤箱的虚拟图形，而同时用其左手把饼干的图形表示(或者这种情况下，真实的制饼干面团1238)移动到烤箱图形之上。这种情况下，用户可先前已认识到饼干要被烘焙，从而关于该温度循环启动烤箱。如果希望的话， 也可显示来自因特网的食谱，从所述食谱可推导出烤箱温度。手指1242对图形1236的触摸可被用于启动烤箱，或者可替代地，把与饼干相关的图形或者真实物体1238移动到烤箱图形例如可被用于启动烤箱。
存在当厨房中的人不在控制面附近而想要进行控制输入时以他们的手势作为辅助的潜在需要。摄像机能够感测手势，并利用相同的计算机和视觉程序来确定输入。空间中的手势或手指姿势也可以和本发明一起使用。顶置式摄像机或传感器/投影仪模块(诸如130)、或者侧装式摄像机(诸如图Ib中所示的摄像机)可用于通过利用诸如手指头之类的身体部位或者利用拿在手中的物体(比如平勺)来观察人的手势。在这里引为参考的共同未决的申请(包括11/186898和发明人的美国专利6750848)中已经描述了各种计算机设施的这种基于手势的控制。
在本申请中，存在几种特殊情形。首先，顶置式摄像机能够看到在工作面前面或者在工作面之上的手的移动，尤其是在显示器照亮工作面的情况下。这种简单的感测是两维的，即摄像机的xy视场。从而从左到右移动手经过该视场例如可构成命令，比如关闭燃烧器，或者把屏幕的控制功能切换到洗衣房，或者显示婴儿房图像等。也可这样利用手指姿势，并且几乎存在无限种可能性。不过要真正有用，手势应直观。
如在共同未决的申请中教导的那样，也可以利用摄像机来在多于两维的维度中进行查看，在用户周围的某物或者拿着的物体已知的情况下尤其如此。这可以是可用于求解单摄像机摄影测量方程式的特征位置，并且可以是例如一件衣服上或者诸如平底锅，勺子之类的器具的人为特征。
如果屏幕仅仅适度漫射(例如，高增益背面投影屏幕)，也可从背面查看接近于屏幕的手势。类似于在头顶上，这也可包括观察你何时把某物放在例如燃烧器上，和如果需要的话在该时刻启动定时功能。
本发明的工作板也可用作或多或少平行于台面的并且如在前文申请和专利中已提及的所示平面形式的书桌。用户可以例如用以多点触控法以操作由投影仪投影到其表面上的家庭照片，或者在另一个例子中，用户可以实际利用该设备读取用户会放到屏幕上的文档或其它数据。这是因为摄像机能够实现该功能，只要放置摄像机的部分有助于这种读取即可。由于工作面可互换以及可洗，因而为此可以把平的或者在某个区域中平的漫射工作服务设施用于这些类型的计算机互动和文档读取。这从而允许使用该设备读入可从食品杂货店得到的收据，或者电话账单，或者希望读入计算机中的任何其它文档。
工作板可以充当在厨房中使用、或者如果该设备位于别处的话例如在书房中使用的桌子。该特定工作板可以与用作例如砧板的工作板互换，从而构成更好的书写或绘画用表面，如前在共同未决的申请中所述，绘画和书写可由计算机确定，并被保存或传送。可以向上倾斜工作面，直到使其更具有书桌的性质。它可被平齐地嵌入厨柜或其它表面中，不过随后当希望以这种模式使用时被弹出，投影感测的景深可允许这种情况。
图13示出本发明的可用于家中的老年人，残疾者和需要某些帮助来监测他们日常生活的其他人的另一方面。例如，通过尤其对于过去一直未做过饭的老年人使做饭变得不太困难，本发明的上述厨房工作面将在这方面有所帮助。它还提高了安全度，因为能够用摄像机监控厨房中的活动，并对危险的情形(比如水沸腾过长时间、炉子开着等)发出报警。事实上，如果需要，系统可以包括燃烧器和烤箱的自动关闭。
在这一点上，将详述通常监测家中的活动以帮助老年人和监测他们保持良好状态的思想。在现在举例说明的例子中，本发明的摄像机系统被以与如上所述方式几乎相同的方式使用，不过用于监测在房中之人身上的简单的近顶反射目标的位置。(可替代地，在一些情况下，也可可靠地使用具有高对比度的着色目标)。在一定程度上，至少所述系统不会侵犯隐私，因为摄像机装有红外滤光片，从而由于除了来自目标的红外反射之外的亮度级低，因此不会拍摄人物本身的图片。这具有许多优点，主要在于它提供了常见的家居问题的低成本解决方案。例如，考虑具有4个房间的小型公寓1300。中央计算机1302，或者在远程服务器上的计算机不断监视在这4个房间中的4部(或者更多的)摄像机1305-1308，该摄像机被安置成查看房间，至少安置在使用区中。在本例中，摄像机与计算机1302无线连接，但是摄像机可以是便宜的易于与计算机连接的菊链式带电线摄像机。
目的是精确地跟踪人上的一个或多个特征(典型地但非必需的，高对比度人造目标)，以便注意到摔倒；偏离正常路线(比如到浴室的路径)，一天的频次；异常动作(比如走路不稳、点头过多)。摄像机也可用于安全用途。本发明不仅能够注意到人的移动，而且能够注意到空间中的物体的移动，比如门的打开，马桶座圈的升降，厨房器具的使用等等。
如在前面引用的申请中指出的那样，个人可具有环绕或贴附在个人身体的各个部位或者与个人相关的物体上的反光材料或高对比度着色材料。这些包括环绕脚踝和手腕的套圈、头饰带，或者也可使诸如&0切1! light 7615之类的目标材料成为衣服的一部分，例如显示某些区域的外形轮廓，简单地充当装饰等等。
一种简单的应用是房屋中的人1301戴着具有单一反光目标1303的帽子或者某种其它东西(比如假发)。在该人未睡觉时，位于公寓的各个房间的各个上方角落中的摄像机1305，1306，1307和1308可看见该目标。摄像机一般也采用近IR光源(例如，880nm，为清楚起见未示出)。目标物保留在人头部，和在他们去往的房物中各处时在房屋中的各处。 如果人突然摔倒，那么能够看到该目标物。看到的目标物会被看到在视场中掉落，然后或者可能根本不可见，或者肯定会固定不动一会儿或者保持固定不动。这种识别标志可用于预测可能的摔倒，从而发出提醒看护者可能发生某事的声音报警。这种情况下，为了避免错误报警和必须使某人立即到达现场，TV摄像机从红外照明模式变成可见光照明模式，并产生该房间的常规图像，第一图像是发生的事件的数据。看护者随后能够查看该图像，了解是否发生了不好的事情，或关于那一点确保人实际上在所述房间中。如果该人不在所述房间中， 那么也可按照这种方式查看其它房间。
对红外照明的需要是为了使整个系统对房屋中的人来说不触目。红外照明还允许系统在不希望点亮任何可见光的夜间工作。如果摄像机也要被用于拍摄视像，假定需要彩色图像，那么必须移开用在摄像机上的任何红外带通滤光片。如果顶图像就够了，那么可以仅仅提高顶能量，直到产生令人满意的足以识别问题的顶曝光。这方面对于确定 Alzheimer患者和其它痴呆症患者是否在正确地方同样重要。
反光材料还可用于衣服上的棱纹或其它装饰。对许多老年人来说，上面具有呼叫按钮的吊挂项链是希望的。项链本身可由反光的绳状或带状材料制成，可在人的脖子周围以及从正面以及背面看到所述项链，假定衣领不会阻挡视线。
这样，可精确地看见和记录作为移动结果的各种光学识别标志。例如，可以记录比方说起床和夜晚上盥洗室之类日常活动的识别标志。这具有在床铺之外的移动的正常识别标志，假定适当的目标或清楚可见的自然特征位于人身上，而在床上例如作为睡衣的一部分。可以跟踪到盥洗室的移动，包括门的打开，门本身也可作为目标，诸如具有也能够被摄像机1307看到的目标1321的门1320。能够被作为目标的其它东西可以是任何事物，尤其是日常生活依赖于的那些物品。例如，厕所构件，水龙头，厨房中的各种器具，炉灶等等。简而言之，可能与人的行为或安全有关并且在导致某类问题的行为的潜在异常的意义上需要被监视的任何事物。电冰箱门1340是具有能够被厨房中的摄像机1306观察到的目标1341 的另一个事物。
目标都不必是特别突出的，因为它们不必清楚地反射可见光。即使它们将与可见光摄像机一起使用，它们也可是小的和/或是装饰性的。
这样，本发明成本非常低，因为摄像机和光源或廉价的中控计算机1302也可用于家中的其它用途，和通过因特网与看护者的PC通信，事实上在1302中用于分析目标或其它图像的机器视觉处理中的一些也可用于其它任务。这些任务之一是在Peter Smith和发明人的专利申请“PERSONAL INTERFACES FOR INDEPENDENT LIVINGAND HEALTH”中所示的“邮箱(postbox)”或活页夹方法。实质上相同的设备的另一种可能应用是用于上面的基于锻炼的游戏，其中传感器能够监视在锻炼时的人的活动。
在上面的申请中，我们给出了在人头顶上的单一目标的例子。对于该位置的要点在于其能够被在房间角落的顶置式摄像机看到。不过，存在许多其它可能的目标位置。事实上，在人身上可能存在不止一个目标。在受到一些遮蔽或者目标之一有问题时，这也允许从不同有利位置查看以及查看不同的活动。
例如，存在某些种类的能够指示可通过按照这种方式使用本发明看出的某些医疗问题的活动，比如从坐下到站起之后的步行。由于房间中的床可被作为目标，因此也能够看见该人是否在床上或其附近，而不必获得完整的房间图像。也可查看人的不稳定动作，尤其是如果人身上的多个目标点被作为目标的情况。应注意，微小的闪光LEO也能够构成目标， 不过需要电池供电并且更引人注意。
药物分配单元。对于身体不灵巧或者受损的人以及进行多个医疗疗程或复杂医疗疗程的人来说，还存在利用摄像机传感器观察服药的应用，服药对家中的许多老年人(尤其是轻度或中度痴呆的老年人)来说也是问题。这也归因于他们在一天的不同时间服用的药物的数目和种类，因为计算机注意到该时间，并且连接到计算机的摄像机能够看到药箱， 比如包括带有易于看见的目标的门(例如，带有目标1365的门1361)的药箱1360。能够确定人在什么时候走到药箱面前以及哪些门被打开。如果打开了错误的门，并且摄像机未被遮挡以致看不到该门，那么可以发生某种声音，所述声音可向该人指出他拿的是对于该时间来说是错误的药。这绝不是小问题，因为可能在一天的不同时间有15种不同的药丸。本发明可能不能做你希望的任何事，比如当人把药丸放入嘴中时，实际计数药丸的数目。不过本发明至少开始着手解决该问题。并且通过使门每次只分发一颗药丸，在一定程度上能够解决该问题。因此，然后必须记录人是否将在一天中的门必须被开关3次的时间服下3颗某种类型的350mg药丸。摄像机和计算机能够容易地看见和进行该任务。应注意，与常规类型的自动药物分配器相比，认为本系统被认为花费不大。
一种更复杂的机器视觉形式的摄像机可看到人的手指或其它数据，比如在人的衣袖上的目标或其它部件，并且注意到在伸入药箱之后，人把手指抬起至少放到其嘴边，指示药物已被服下。甚至更准确的是，如果第一部摄像机不能进行观察的话，如同未被定位成观察从药箱1360取药的人的脸部的摄像机1305的情况，利用设置成查看人的手指和面部的可选的第二部摄像机，直接观察该人。
虽然本发明的基于机器视觉的摄像机系统不能容易地测量人的生命特征，不过可用于提醒人去往公寓中能够测量体温或脉搏或其它变量的地方。而且，能够观察到人实际把其手臂放入血压计或者其它机器中，从而量取例如脉搏。同样，如果人与反光目标或其它高对比度部件合作，那么能够容易地完成该任务。甚至这些应用中的一些应用的人的普通特征可原样利用机器视觉被经济地处理。不过，反光体有助于监视夜间的红外运动，以及使系统简单有效。
安全运行。应注意，这种形式的系统是安全的。即，如果不能看到预期在人身上的目标，那么基本上可听到警报(例如，通过因特网向看护者警报)，以再次人工检查图像，从而确保事情正常。换句话说，如果目标看不到，那么系统不能报告令人满意的信息。看护者可通过简单地远程查看图像来超驰该系统，并且或许还可检查红外图像以及了解目标不见了的原因。例如，可能是人例如在帽子上插上花，而花盖住所述目标的某种意外事件。
除了在某类报警的情况下使摄像机切换到图像之外，计算机还可开启麦克风，以及记录正在发生的事。这也可用于监听心音或肺音，如果麦克风能够辨别它们的话，使得或许可听出典型肺炎或充血问题。本发明中的摄像机系统允许在现场的护士传送高清晰度的伤口图像。
获得的数据的分析可完全由自动化装置进行，并且在一些情况下，能够提供人体机能的评估。例如，一种评估可以是从扶椅站起来所用的时间，如果感测系统能够看到指示该机能的关于人向上移动的数据，那么能够确定该时间。过慢、踌躇，躯干的异常动作，或者上肢摇晃蹒跚-所有这些事情可被加入到评估程序中以便将来确定该患者可能的情况，以及只是监测到未发生任何不当之事。也可利用本发明监视家务杂事或者每天重复进行的另一活动的熟练和反应时间。
关于家庭应用已经描述了本发明的食物准备方面。不过，本发明的许多方面也可用在饭店厨房和其它商业设施中。另外，虽然已经主要讨论了大的用具，不过，工作板代表的控制中心也可控制较小的用具，如果这样的较小用具适合于通信的话。例子可以是搅拌器，微波炉，华夫烙饼模等。它们也可以是厨房外的电气服务设施，比如车库门，在住宅的任何部分处的灯或摄像机，等等。
另外注意，在图12的例子中，还可以在工作面上玩游戏。如在发明人的共同未决的申请和引用发明(例如10/934762和11/980722)中公开的那样，通过把棋盘投影到工作面上，并感测红色或黑色的跳棋棋子或者白色或黑色的国际象棋棋子，也能够用真实的棋子玩经典游戏。甚至能够感测常见的厨房物品，并把它们保存为棋子。例如，你可告诉系统盐瓶(其图像由包括在光学投影仪和传感器模块105中的摄像机获得和保存，并利用诸如 Matrox MIL之类的计算机算法视觉程序被识别)是国际象棋中的象。当摄像机随后获得盐瓶图像时，它被识别为一个人的象，诸如此类。或者你可以与计算机对弈，计算机会为其走棋而在屏幕上生成虚拟图形。也可玩所有虚拟生成的游戏。这种游戏活动能力允许厨柜在饭后起到作为游戏桌的双重用途，从而玩虚拟图形呈现的游戏，或者另一方面，利用诸如光电感测的或以其它方式感测的推盘游戏撞球之类的真实物体玩游戏，如在发明人的共同未决的申请中所示。
下面的实施例讨论对于家庭和用具的其它应用。应注意，存在通过在本申请和发明人的共同未决的申请以及在先专利中的公开可实现的各种信息显示和控制互动可能性
例如，通过利用在数百流明或以上的范围中的基于LED的显示器，现在能够经济地(例如，1000美元以下)以低成本正面投影信息。在多数家庭条件下，这足以观看大的图像。成本取决于总流明数和对广角透镜(如果需要的话)的要求。与投射比(throw ratio) 大于0. 6的广角透镜相比，投射比小于0. 6的广角透镜通常生产费用更高，并且为了处理失真和作为结果的其它因素，还需要更多的计算机图像校正。
可以在台面上的或者构成用具的一部分诸如冰箱门或者洗衣机顶面的屏幕上进行正面投影。另一方面，可以正面投影到能够被机动化以便从炉灶或水槽垂直升起的屏幕上。应用这种投影的基本要求是被投影的表面应是足以适应这种应用的漫射和反射表面， 并且所述表面通常没有会妨碍投影的图像的物体。不过，在一些情况下，这样的物体(包括手和手指)具有发信号或控制用途。除了投影用于信息娱乐和控制用途的信息之外，本发明中采用的设备能够通过利用摄像机(或者其他光电传感器)感测屏幕上的旋钮或开关或其它控制特征件。所述摄像机可以位于投影仪壳体中(如果需要的话)，或者位于别处，例如在侧面，以沿着投影方向而不是垂直于投影方向提供视图。下面将在几个附图中表示这种正面投影的例子。
除了提供有用的信息和控制特征之外，还需要减少厨房中的不必要的重复劳动， 尤其是浪费时间的搅拌和混合作业有关的重复劳动，该时间可以更好地花费在其它活动上。在一些情况下，搅拌还产生潜在的安全危险。另外，在灶台上可存在许多其它与安全有关的状况，通过应用机器视觉技术能够帮助该状况。
图14示出本发明的一个实施例，所述实施例利用(通过配线或无线地)连接到诸如计算机1410之类的计算机的抽油烟机1405中的一部或多部摄像机(诸如1401)，该计算机可以是独立的，或者内置于诸如炉灶1415之类的用具中。摄像机和计算机系统可用于监视在炉灶顶部的活动，还可用于控制可用于搅拌在炉灶顶部上的锅(诸如1425)中的物体的机器人(比如1420)。混合机器人还可沿着另一方向被转到相邻的厨柜和抽屉单元1416， 并且例如通过将其降低到壶1417中用作饮料或其它东西的混合器。可通过利用室内光线或者利用专用光源(比如以820nm的波长工作的顶LED光源403)提供照明。如果使用这样的光源，那么摄像机可包含只使该波长通过的带通滤光片，使系统相对而言不受室内光线变化的影响。当使用例如特殊的反光物体时这是有益的(例如，参见发明人的共同未决的申请)，该反光物体例如可以在诸如机械臂1420之类的物体上。如果需要，可以使用3D 摄像机(比如Canesta公司生产的飞行时间Iidar式3D摄像机)，或者利用在炉灶两侧的立体摄像机对(比如1407和1408)以获取炉灶。
具有相关计算机1410的这种摄像机系统可用于确定在平底锅中存在沸水，并且向用户提醒这种情形(或者不存在沸水，或者不同的沸腾程度)。通过利用在PC计算机 1410上运行的Matrox MIL视觉库中的已知机器视觉算法(或者其它适当的专用机器视觉系统诸如Cognex公司的机器视觉系统)，所述摄像机系统能够看见炉灶上的锅柄位置，以及不应在该处的物体的存在，比如儿童的手臂，并且诸如利用与计算机1410连接的扬声器 1412发出声音报警。当锅柄1431被检测到在炉灶边界之外并且因而可能被经过的人撞到， 或者被小孩抓到时，也可发生这种声音报警。扬声器也可用于娱乐或者与用于向炉灶的适当漫射表面投影的投影仪1452或者可替代的或可选的投影仪(为清楚起见，没有示出)相关的信息，该可替代的或可选的投影仪用于向屏幕1460(虚线)上投影，屏幕1460可以被下拉，被机动化从而响应命令而降下来，或者内置于抽油烟机中。如在发明人的共同未决申请11/980722的图10及其它图中所示，例如，可通过在投影仪壳体中或者别处的摄像机或其它光电传感器来关于指示点1465的位置感测旋钮1461 (虚线)。
基于摄像机和计算机的机器视觉系统也可用于控制可用于搅拌的机器人1420。 该机器人可以位于炉灶本身中，可被拉起和降低到其内容将被搅拌的锅1425中。可选地， 如虚线所示，该机器人也可沿着另一方向被转到相邻的厨柜并且用作混合器。虽然这里显示有围绕马达(为清楚起见而未示出)驱动的轴1423旋转的混合桨叶1421。不过可希望地是，能够以负担得起的费用机械实现桨叶或其它混合元件被驱动进行偏心运动、或者图8 的运动、或者其它运动。
还需要可提高家庭系统、尤其是烤箱/炉灶的操作的安全性的设备。当鼓励更多的老年人和残疾人在家中生活时尤其如此。对视力受损或者承受压力的人来说，还需要更容易查看的、更容易操作的并且不易搞得心烦意乱的控制。
图15示出图加的一种形式，其中iPhone(苹果手机)1510或其它智能电话与如图 1教导的本发明相连接，其屏幕图像1500被直接映射到工作面上(可选地，处于横向模式 1505)，并且通过触摸工作面，直接控制电话及其功能。在这种情况下，不仅能够控制iPhone 的各种功能本身，而且能够控制当该设备插入诸如插槽280中或者用其它手段(诸如蓝牙、 USB、WIFI等)被连接时激活的任何特殊功能。这种情况下，iWione被示出成插入厨柜中的插槽中。
图15的一种变形是以图Ic的开关156或旋钮157的方式，利用工作面上的物理控件，可实现诸如播放列表滚动的控制的控制特征。
图16进一步示出与图14的设备相关的感测技术。考虑通过摄像机1401(诸如 Logitech公司生产的具有1. 3百万像素的CMOS网络摄像机)拍摄的炉灶顶部及其周围环境的图像1600。在照明充分的情况下，该摄像机能够至少一秒30次获得该图像，如果室内照明不足，如所述那样，所述照明可用诸如1403之类的LED提供。
在第一应用例子中，摄像机被用于在一个或多个炉灶燃烧器上的平底锅中的沸腾状态，所述炉灶燃烧器的图像是1620,1625和用虚线表示的1630(当被平底锅1635遮住时)。如果炉子控件和摄像机由公共计算机系统(比如1410)控制，那么当燃烧器开启时， 摄像机可用于查看燃烧器的图像区域。检测在其上的平底锅图像，这指示需要关于沸腾状况监视平底锅。另外感测的(并且与诸如通过扬声器1412可听到的报警功能连接)是燃烧器开启、而平底锅未放在其上的状况。这通常是不希望的，尤其是如果已过去过多的时间。
感测的第二件事是平底锅中的水或其它液体及其沸腾状态。这可通过查看放置所有平底锅的燃烧器的中央区域(例如，1650)中的图像区1637，并分析水中的气泡对图像的影响来确定。图像中的空间频率变化越高，气泡越多，从而沸腾状态越高。例如，横跨燃烧器1630上的摄像机视场关注区域(ROI)的中央区域(平底锅图像1635存在于该区域)的图像的线AA的图像轨迹1640在其上具有指示沸腾的高频率噪声1650，而图像迹1645则不。可替代地或者附加地，可通过连续地减去该区域中的平底锅液体的图像以基于时间的方式分析这种变化。
沸腾水监视器中的最简单动作是发出水正沸腾的音频或可视报警。不过，当自动连接到炉灶时，实际上能够以各种方式降低加热，例如减小到低沸腾状态，或者甚至完全关闭燃烧器。相反，如果水被认为沸腾而实际上没有沸腾，那么也可用信号发生报警。
另外还注意，摄像机可具有与之相关的它自己的微计算机，以便独立于炉灶控制来处理图像和声音报警。这种情况下，持续地关注三个燃烧器区域，并确定平底锅图像(如果有的话)。平底锅图像通常是反射背景上的暗环。作为一个处理例子，如果存在平底锅图像，那么感测该平底锅中的沸腾状况。
摄像机系统的另一个主要应用是安全性。这里的主要问题是感测炉子上的异常情况，诸如人进入炉子范围，燃烧器开启但是未放置平底锅，以及平底锅(诸如1635)的锅柄危险地伸出炉灶边缘从而可能被小孩碰到。
捕获炉子顶部的关注区域及刚好在它外侧的区域的图像。如图像1600中所示，通过分析该图像可确定锅柄伸出边缘，其中锅柄图像1627明显与炉灶边缘的图像16 相交。
持续一分钟的若干分之一或更长时间的静态情形诸如锅柄易于确定，并且通常可与食物准备活动中在炉子周围的正常动作区分开。在不误报警的情况下更难以确定的是是否有不应出现在那里的某物进入或离开该空间。简单地处理这种情况的一种方法是当厨师离开炉灶的范围时，设定警报。从而，进入炉灶1600图像的周边的任何物体都会被视作报警的理由。
也比较简单的第二种方法是认为大于一定值的物体不能在炉灶的范围中存在任何相当长的时间。这还可排除通常圆形的物体，比如平底锅。例如本质上非圆的大于手臂的物体可导致报警。第三种方法是寻找某些运动比如搅拌，并把这些排除在报警之外。第四种方法是利用摄像机的颜色感测能力，寻找颜色尤其是肉色。可建立这种报警的精确方式通常取决于在活动的正常过程中预期有什么，家中的孩子的年龄，和厨师的习惯。如果所有平底锅和炉灶顶部都不是肉色，那么更易于辨别人在炉灶和燃烧器附近的存在。
图17示出用于炉灶控制和各种娱乐的背面投影实施例。在这个例子中，关于炉灶1720的控制和使用，举例说明了几种新特征。如在共同未决的申请中教导的包含带有广角透镜的LED投影仪和相关联的感测摄像机和显示器和设备控制计算机的背面投影引擎 1700在阴凉区域中向上在抽油烟机1701(或者可替代的，微波炉)中或附近(如发明人在共同未决的申请中关于其它用途教导的那样)。在背面投影屏幕部分1710上存在控件，这种情况下为常见的旋钮和开关(诸如旋钮1711)。控件可以是物理控件(也由耐热材料制成，如果不需要透过它们投影的话，所述材料甚至可以不透明)。屏幕是耐热玻璃或者能够经受来自燃烧器和烤箱的热的其它透明材料。如在别处和在共同未决的申请中教导的那样，也可借助触摸或手势实现控制。因特网或其它数据连接1715通过著名厨师、影星或任何其它希望的场景的实际大小图像，视频或静止图像，允许进行食谱、指令和社交互动。也可包括如下所述的确定人的动作的可选摄像机1740。
图18a是正面投影实施例，包括厨房中的一个或多个人的特性或动作的感测，其中人1800正在岛状案台式厨柜1805前工作，并且优选地显示实际大小的图像的屏幕设置在冰箱1815的上部冷冻室部分上。
如在本申请中的其它地方描述的，顶置式视频投影仪1820可用于投影TV图像、来自因特网的食谱和其它信息。这种情况下附接到投影仪(或者与投影仪并置)的摄像机 1822和控制投影仪的计算机(为清楚起见而未示出)感测在冰箱1801的正面上的控件，比如旋钮1812。旋钮和其它物理控件，以及触摸例如参见共同未决的申请诸如11/980722的图10和其它附图。
另外示出的是向外注视厨房中的一个或多个人的摄像机1830。该摄像机能够感测人1800所做出的头部，手或面部姿态，在其图像被处理以确定所述姿态之后，该姿态可被用于控制顶置式投影仪1820的TV图像。还示出了可替代的下翻式屏幕1811 (在不希望在冰箱门上具有屏幕的情况下)。该屏幕可在冰箱上方，或者可以是覆盖冰箱及上面的碗柜的大屏幕。
在本实施例中，姿态和话音识别被用于与位于抽油烟机或另一位置的摄像机通信。另外，厨房中的一个或多个人的其它特性也可被感测，并用作控制显示器、扬声器、用具或其它设备的程序的输入。这样的特性可以是人脸上的微笑的存在、人的身份、人手中拿着的器具(比如平勺或搅拌碗)等等。也可使用专门的易于检测的物体，比如上面具有特殊图形或颜色的闪光卡。这能够产生鲁棒的信号化和控制系统，而不需要大量的计算机处理。 不过应注意，当从摄像机1822观察时，背景典型地是恒定的，或者当从摄像机1830观察时， 背景不那么恒定。从而，具有和不具有信号化条目的图像的减法应使得其更容易辨别。
图18b是面对冰箱的正视图，示出在冰箱1815上部的具备屏幕1810的冷冻室部分1840。该屏幕可以是永久的或者临时的，并且可根据需要取下。
图18c是用正视图和侧视图表示的另一个冰箱实施例。这种情况下，它采用在冷冻室下置式冰箱的门1876上的屏幕1890，从而允许利用座架1881中的投影仪1880(如果希望的话，带有可选的光电传感器单元)，在冰箱门上显示准全长的基本逼真的图像1875。虽然投影仪可被安装在天花板上，不过这种情况下，投影仪被安装在冰箱的顶部，倾斜地投影到在冰箱门的正面上的屏幕表面上。在一些可替代情况中，这样的投影仪可以安装在侧面或者安装在墙上，并且倾斜地侧向投影到屏幕上。
图19进一步示出采用在厨房、浴室、洗衣房或人可能在该处工作的其它地方的水槽之后的正面投影显示的实施例中的人机互动。如图所示，人1900在厨柜1911中的厨房水槽1910前工作。在头上可以有或者可以没有碗柜1915，不过通常在上方且靠一边或者另一边存在至少有一个碗柜。如在上面的图18的实施例中那样，投影仪1920把信息投影到屏幕1925上，并且如果需要的化，一体化摄像机或其它感测能力可感测屏幕上的控制位置，以控制附近的相关设备，比如洗碗机，垃圾处理器或垃圾压实机。类似地，数据可被操作或显示，受监视或控制的家中的其它活动也如上所述。
还示出的是添加的控制模式，和本发明的独特社会交互方面。对于这种控制，摄像机1940被设置成附接在碗柜上，如图所示。可替代地或者附加地，摄像机1945可如提及的那样与投影仪相关联，该摄像机也可观察人以及在屏幕上的物体。摄像机和投影仪通过配线(未示出)或者无线地连接到控制计算机1950。一个或多个摄像机可以是2D或3D类型的摄像机。或者两者的组合。可根据需要提供诸如顶LED之类的辅助光源，以帮助可以采用的摄像机中的任一个或两者的信号检测。
如前所述的优点在于本发明的屏幕能够在这种环境中成功工作，而没有电气危险。所述屏幕可被溅水而不会受损，甚至能够抵挡锅柄，银器等的适当碰撞。
如上所述，本发明的一个目的是增强烹饪和厨房活动的社会特征。获得实物大小的图像增强了与其图像被显示的人物的互动感，该图像被显示的人物可以是家庭成员，影星，著名厨师或者甚至宠物。如上所述，所述互动可以是借助手势或话音(借助麦克风I960 和话音识别软件)，其图像被显示的人物继而可通过诸如1965的扬声器与用户谈话。显示的图像可以是经由例如Skype TV到驱动投影仪1920，并根据需要与扬声器、因特网和麦克风接口的计算机1950的直播图像。
除了物理控件位置诸如旋钮旋转位置的感测之外，本实施例的摄像机还有两种主要的附加用途。第一附加用途是查看人的手势或控制物体，以便导致某些动作，例如改变投影仪的TV频道，或者控制炉灶以关闭燃烧器。例如，一种简单情况是如果人1900想要指示屏幕1925上的投影图标框1960(用虚线表示)。在这个例子中，他们仅仅抬起他们的手 1955，直到手挡住对该图标框的投影，摄像机1945感测该阻挡情况，该摄像机1945感测到投影图标框的不存在。只要选择项相对少以致不会模糊，那么这就会运行良好。应注意，如果手1955高度可见，那么能够感测到手本身或手中的物体。不过该人对这意味着什么没有任何参考，除非它是空间的运动手势，比方说以S形运动摆手。例如，摄像机1940或摄像机 1945能够感测到这种运动。假定问题是从用户互动的观点看，看起来更好的是仅仅阻挡屏幕上的事物。标准会是在附图的垂直方向上的被阻挡的最上部投影图像图形为答案。这假设该人正在从屏幕的底部逼近，这种情况下归因于投影的角度，人实际上(并且有益的是) 在进出纸面的方向或者说ζ方向上。如果类似于图18，投影仪高度倾斜地投影，那么会不太像这样。
也可利用摄像机1945或1940来观察人可能举起以指示控制功能的物体。这可以是人体的部位，比如头，手或手指，或者可以是拿在手中的某物。例如，如果计算机识别到人正在晃动勺子，这可以是开启TV投影的编程指示。
除了控制活动之外，摄像机和计算机1950中的相关机器视觉程序也可用于感测其它事情，例如，在厨房(或者其它房间，如果在那里采用本发明的话)中的一个或多个人的状态。感测到的这种状态可以是人是否在微笑或皱眉等等。如果人在进行某种动作，比如点头，转头或者飞吻，那么此动作能够被感测。能够感测服装类物体诸如外衣上的图案， 或者服装的种类诸如橡胶手套或围裙。
对社交互动，系统能够这样地观察人，并且或许实时来自因特网来源的程序可评论他们的服装或他们的服饰，以了解某位朋友是否出现在他们面前，并通过经扬声器谈话以及借助麦克风及话音识别程序排除除来自他们之外的信息，使系统可以是交互的。计算机也可以在能够通过因特网连接到在别处的某物的地点。这种能力允许某人在洗碗时进行交互式视频会话，与真实的某人(比如其图像被投影到屏幕上的家庭成员)或者某个录音或动画视频体验或游戏中的某人谈话。
某些水槽在它们之上具有窗户。如果存在为向外观看而需要的窗户(或者在浴室的情况下，镜子)，那么通过甚至借助电动装置向上折起屏幕，或者向下把屏幕滑入厨柜中， 可把屏幕移开。也可设置可设计成漫射光的窗户或镜子。如果位于浴室水槽上方，那么设备不仅可用于显示信息，而且可用于提供用户的从后面和侧面看来的摄像机图像，以帮助各种活动。由于多数人在其水槽上方没有窗户，因此显示的虚拟图像可以是模拟户外景色的户外景色图像。这种图像可由LCD或其它显示器提供，而不仅仅由投影仪提供。不过需要防水，并且对目前的多数平板显示器来说，有水的环境是非常危险的。
图20示出用于炉子和/或微波炉，多种娱乐和其它用途的正面投影布置。投影仪和一体化计算机和显示器驱动器2005被安装在微波炉2010的底部，并投射到在炉灶2020 的后方的屏幕2015上。如上所述，该设备可以接口到因特网或者家中的其它用具和服务。 本例中的屏幕具有在底部的弯曲下部2016。利用如在共同未决的申请中公开的一体的或者分离的感测摄像机或感测式投影仪，能够感测诸如旋钮2025的位置之类的信息。在这个例子中，投影仪成为微波炉的组成部分，不过如果不使用微波炉的话也可单独设置投影仪，或者需要的话，该投影仪可以从侧面或者从天花板或者碗柜下面投影。如果受热是问题，那么可以把投影仪设置在微波炉的侧面或上面，图像被光学地传送到投影窗的位置。注意微波炉也可按照图14的方式配备摄像机，以控制机器人，和提供操作安全及其它特征。
屏幕的投影面可以由可易于清洁以致能够快速除去飞溅物等的耐热材料制成。该材料还应充分散射光以充当观看屏幕。令人满意的表面是具有耐高温漆的喷砂反射玻璃或者钢制品。如果烹饪时要操作旋钮和控件的话，旋钮和控件的位置应高于预计的平底锅水平面(虚线2040)之上，并且远离炉灶表面2020。
图21是联网用具和其它外围接口的示图，其中主控制器(这种情况下，位于厨房厨柜中)中的软件不仅与各个用具接口，而且控制各个用具的操作细节，可通过利用来自各个来源的下载内容在产品寿命期内在软件中改变所述细节和其它个人特征。
例如，可以把洗衣机的控件看作如图21中图解所示的中央控制面的外围设备。另一个这样的外围接口是在发明人的申请11/85沈90中描述的“缓冲”装置，所述缓冲装置可按照类似的方式内加入这里说明的许多实施例中，不过较小。这样的外围接口可以起TV遥控器的作用，和遥控例如所有的用具。
投影屏幕的特征之一在于它能够移开。另外，就厨柜空间来说，投影屏幕的存在并不造成妨碍，它被安装到天花板上或者在微波炉或者任何东西前面，投影仪在天花板上，你不必把任何东西向下置于地面上。地面是首要的不动产(real estate) 0
借助本发明，你不必像目前那样观察微波炉的内部以监视烹饪进展。投影仪本身 (或者可以使用的其它显示器，比如LED监视器)可借助置于微波炉内以查看其中的材料的摄像机，来投影图像以向你显示什么在微波炉中。该摄像机图像也可远程传给其它位置，比如主控制面板，或者另一个房间。这使你可具有按照与图18的冰箱门上的屏幕类似的方式可以充当投影屏幕的空白门。在一些人的眼中，这具有安全性方面的优点。另外，可以进行在该位置在微波炉的正面的手指和控件位置的感测，以便控制微波炉或其它设备。
应注意屏幕可下拉到微波炉前面或者在厨柜上，或者它可以向下摆动。另外，它还可带着摄像机。从而，例如只有当投影仪屏幕降下时，该摄像机才被开启。
对于一些应用来说，希望地是食物或人物被近似实物大小地显示，面向上身，以产生真实感。屏幕可以实现这一点，而不使用过多的空间。一个重要特征在于如果使用投影仪，或者放在冰箱或微波炉正面上的话，屏幕不形成妨碍。正面投影屏幕能够容易地移开， 你不必在橱柜(首要的不动产)上放置任何东西。投影仪目前正好可以用作HDTV。本发明可以用于交互式食谱互动，可以利用设计使用户加入厨师社团，发言，通过讲述或者显示如何做某些饭菜等来帮助用户烹饪。用户可以介绍他们的朋友加入该系统，计算机中的面部跟踪程序能够区分谁是谁(如果这有助于该交互性设计)。这种设计可以利用保存的响应(比如影星对厨房中的某人的动作，服装，或者所说的话的响应)的视频剪辑，产生投影图像。或者如果屏幕显示画面上的人物是虚拟和3D图形生成的，那么交互性更好，不过不太真实。
公开的本发明可用于如下这样的视力受损者，即希望在其厨房中工作或者利用其浴室，但是不具有允许利用诸如设备上的标记之类的普通信息源的视觉。本发明允许例如对于给定的控制功能使信息变得更大或者更亮。
图22示出通过监视动态灌注的液体或材料交换确定。图22示出确定从容器2203 倒入杯子2205中的液体或粒状材料2200的系统。作为灌注的替代，例如液体或其它材料可以从龙头流注到杯子中。灌注材料(这种情况下，水)由连接到计算机2227的摄像机 2210 (置于工作面2215上，比如图Ib中的摄像机147)监视。为了获得最好的结果，容器被置于标记成在摄像机像场的中央区域中的区域之中。在计算机中运行的机器视觉程序例程 (比如Matrox MIL)通过动态监视灌注的材料的有效横截面尺寸d，确定到灌注期间(或之后)的特定时刻的平均横截面面积，并乘以到所述时刻的灌注时间，能够进行确定。这允许计算灌注的体积，假定横截面合理地为已知形状(比如圆形)，这种情况下，横截面面积为 π X (0. 5d)2。如果在灌注期间横截面尺寸d变化，那么使用所有d值的总积分值。
在这个简单的例子中，通过获得摄像机2210获得的图像2240中的边缘位置2230 和2231的信息，摄像机2210只在一个视图中确定d。这种图像处理可用现代PC计算机在普通的室内照明条件下完成。不过为了确保良好的图像，当和反光体(例如在灌注位置2251 之后的2250)和轴上LED照明2255 —起使用时，能够使边缘位置图像非常清楚。为了更准确，可以相互成直角地使用两部摄像机来获得两个平面中的横截面尺寸，两组数据被用于计算平均横截面，例如所述横截面可以是椭圆形。应注意，通过简单地进行已知量的灌注，并把灌注的材料输入计算机中，系统能够了解典型的横截面。这假定在距工作面的高度和其它变量方面，所述灌注是比较稳定的。也可利用给定材料的数值的通用表格在计算机内形成查寻表。当灌注操作已灌注了足以匹配预置限度的材料时，可以给出停止灌注的指令。 这可以分为两个阶段，减慢阶段和停止阶段。所述指令可是以听觉或视觉指令。如果向计算机说明了所述材料是什么材料，据此能够查出其密度，并将该密度乘以灌注的体积，能够计算灌注的材料的大致重量。这种情况下，可以发生重量停止警报。
图23示出本发明的基于投影仪的控制面板2300，它包含类似于发明人的共同未决申请的一些实施例(诸如11/045131中的图6)被布置的适合于汽车中控台或用具或具有常规旋钮和开关的其它应用的漫射屏幕部分2301。屏幕和控制面2300被成形为包封所示的两个旋钮2310和2315以及按钮开关组2322的相当大部分。这样，可以相对于所述旋钮和开关编程地改变标志和其它信息，尽管所述旋钮和开关的设计是常规设计。注意，使用了遮罩元件，以阻挡一些投影光，和在旋钮周围形成均勻的环形区。如在其它地方和在共同未决的申请中指出的那样，表面2300在其至少一部分表面上也可以是曲线的。
旋钮2315转动旋转编码器2360的轴2358。用粘合剂2365把该编码器粘附在元件2300和/或备选的支承件2370(虚线)上。可以按照不阻挡光从2305到屏幕2301的投影的任何方式，提供到编码器的读出和信号调节连接。
旋钮的指示器部分可以印刷在旋钮表面上，比如圆点2350，或者它可以像虚线 2355似地延伸，从而如图所示重叠在显示器正面上，以在形成投影到屏幕上的任何数据 (比如标志或图形)的指针。另一方面，可在屏幕上虚拟投影该指针，以对应于检测到的旋钮圆周位置。作为另一种备选方案，对于其中旋钮具有显示元件(比如在其表面上的投影屏幕)的那些实施例，该指针可被投影到旋钮表面本身上。通常希望利用作为可实行为不遮蔽屏幕上的数据的浅部的旋钮电位计或编码器读出装置，尤其是如果旋钮或开关没有位于如截面AA的侧视图中所示的投影仪角度的极值时。在一些情况下，希望的是具有遮罩 2380，以致杂散的投影光或漫射效应不会在旋钮周围产生令人不快的图像。可替代地或者附加地，可以使用如在共同未决的申请中所示的Fresnel透镜来基本准直投影仪图像，以便越过旋钮和开关(或者其它物理控件)投影到屏幕上。这将与两种其它的旋钮安装方法一起被示出。
图M中表示了备选的汽车中控台布置，这种情况下，两个旋钮基本上完全在控制面元件的界限内，所述控制面元件已被简单切割，以使两个旋钮能够就位。用计算机M14 控制的投影仪MlO对具备漫射体M05的控制面元件MOO投影，投影仪MlO的发散输出由Fresnel透镜M12准直。控制面元件MOO上面安装有两个旋钮M20和M50。在一种情况下，在控制面元件MOO中形成孔，所述孔使得通过利用螺纹螺母M21能够固定旋钮 2420,螺纹螺母M21螺纹连接到轴箱MM上，轴箱MM附接到旋转编码器M30。在另一种情况下，旋钮M50在安装到控制面元件MOO的正面的编码元件M51上旋转，从而不需要在其中形成开孔。不过这通常要求连接到编码器的配线要么是透明导线，要么以某种方式被隐藏在内饰条等下面。可选的不透明遮罩可被用于阻止投影光被看见。为了清楚起见， 未示出旋钮旋转位置传感器M30和M51与计算机M14的电连接。
在图M的例子中，设置了感测手指接近度的三个开关，这种情况下为非接触式开关，比如电容式开关2483，M85和2486，以便在计算机M14的控制下，把控制面板的功能从一种用具切换成另一种用具。利用电子电路连接，例如通过在控制面元件MOO上的透明导体，操作这些开关。正如旋钮的功能能够被改变那样，电容式(或者种类的)开关的功能能够被改变。例如，考虑辅助开关M90的使用，辅助开关M90被用于把三个开关的功能从用具选择状态改变成用于其它功能(诸如TV，音响系统和因特网摄像机互动的选择设备。在这些新的状态下，一个或两个旋钮的功能也能够被改变。例如，旋钮M50可变成用于电视台选择的调谐器旋钮，而在本例中，旋钮M20允许进行远程保存的音频文件的播放列表选择滚动。在这两种情况下，假定设置有适当的接口和通信设施。
如果使用离轴Fresnel透镜，那么来自投影仪的光可以倾斜地接近控制面，从而减小设备的深度。还参见发明人的共同未决的申请。注意，可以在计算机M14的命令下使诸如螺线管M94之类的脉动元件脉动，从而把力信号F送入元件MOO中，以指示所示的开关或旋钮的各种动作或状态，如在共同未决的申请中公开的那样。虽然，旋钮、开关或其它单元通常可被安装到控制面上，不过它们也不是必须被安装到控制面上。
应注意本发明的屏幕，尤其是如图18中所示的垂直平面中的屏幕可用于帮助锻炼和康复，如在发明人的共同未决的申请12/358404中公开的那样。在这种情况下，其中公开的利用网络摄像机或其它单独的摄像机输入视频游戏命令的简单并且低成本的感测技术可用于输入控制各种家庭功能的命令。
尽管已结合众多的实施例说明了本发明，不过应理解，已经描述的具体机制和技术只有举例说明本发明的原理，并且可对所描述的方法和设备做出各种修改，而不脱离本发明的精神和范围。
权利要求
1.用于至少一个家庭设备的控制系统，包括 视频图像投影仪；具有图像被投影到其上的表面的部件；以及用于感测与所述表面上的所投影的图像相关的控制信号的计算机装置。
2.按照权利要求1所述的设备，其中所述设备是家用用具。
3.按照权利要求1所述的设备，其中在所述部件表面上进行作业。
4.按照权利要求1所述的设备，其中所述表面的至少一部分是曲线的。
5.按照权利要求1所述的设备，还包括用于产生所述控制信号的TV摄像机。
6.按照权利要求1所述的设备，还包括附接于所述表面的物理控制部件。
7.按照权利要求1所述的设备，还包括用于从一个设备到另一个设备改变所述控制系统的功能的装置。
8.按照权利要求1所述的设备，其中所述控制信号是通过触摸所述表面产生的。
9.按照权利要求1所述的设备，其中所述部件能够被取下以便清洁。
10.按照权利要求1所述的设备，其中所述显示的图像与具有不同的控件布局的多个设备的控制面板相关。
11.按照权利要求1所述的设备，其中所述投影的图像与连接到所述计算机的设备的显不相关。
12.一种提供交互式厨房活动的方法，包括下述步骤 提供投影屏幕表面；利用计算机控制的视频图像投影仪把信息投影到所述表面上； 提供用于观察在所述厨房中工作的至少一个人的摄像机或其它光电传感器； 利用所述计算机，确定与所述人相关的信息；以及利用所述信息，向所述人投影感兴趣的图像。
13.一种食物准备方法，包括下述步骤 提供计算机；提供由所述计算机控制的图像显示设备；以及利用所述显示设备，在工作面上显示与食物相关的信息，其中所述食物在所述工作面上被切割、成形或以其它方式加工。
14.一种材料测量方法，包括下述步骤 提供计算机；提供与所述计算机接口并被布置成观察流入容器中的材料的摄像机； 在所述材料流入时确定所述材料的至少一个尺寸； 对于流动时间间隔将所述材料的尺寸积分；以及利用所述积分，确定蓄积在所述容器中的材料的量。
15.一种控制面板，包括具有曲线表面的部件，在所述曲线表面的至少一部分上显示图像；能够由所述控制面板的用户操作的多个控制装置，所述装置设置在所述表面上；计算机，用于确定所述控制装置的位置或状态并且控制所述图像的显示。
16.按照权利要求15所述的设备，还包括用于感测手指触摸位置的装置。
17.按照权利要求15所述的设备，其中所述控制装置中的至少一个是旋钮。
18.按照权利要求17所述的设备，其中所述显示的图像指示所述旋钮的圆周位置。
19.按照权利要求17所述的设备，其中控制装置是开关。
20.按照权利要求19所述的设备，其中所述开关在不接触用户手指的情况下工作。
21.按照权利要求15所述的设备，包括能够编程的触觉反馈装置。
22.按照权利要求15所述的设备，其中显示的与所述控制装置中的至少一个相关的标志被改变，以便从控制一个设备变成控制另一个设备。
全文摘要
本发明涉及家用用具的控制、它们还与音响系统和因特网资源的联网和连通性、以及这些元件的连接集成的领域。优选的设备通常采用视频投影系统和一部或多部TV摄像机。本发明的实施例可用于增强厨房中的人的社会互动和乐趣，减少食物准备工作。本发明可以用在住宅中的多间房间中，有助于使房中的老年人和其他人保持良好状态。
文档编号G05B19/042GK102498442SQ201080028358
公开日2012年6月13日 申请日期2010年5月19日 优先权日2009年5月19日
发明者T·R·普赖尔 申请人:苹果公司