专利名称：在普及计算环境中集成视觉和对象信息的制作方法
技术领域：
本发明涉及利用视觉信息进行场景分析的研究领域。
背景技术：
利用视觉信息进行场景分析是一个热门研究领域。特别是，已经报道了对受约束的环境和受限数量的对象的成功应用，即面孔辨识。同时，在自然环境中来自单筒望远镜或立体摄像系统的纯粹视觉信号的成功受到限制。通常添加额外的传感器，例如雷达或红外线传感器，以支持并减轻由视觉系统所做的处理。
“普及计算”涉及具有处理和通信能力的设备，但是不认为这些设备是传统的计算机。在普及和普适计算环境(pervasive and ubiquitouscomputing environment)中，环境中的每个元件或对象发送一些信息，这些信息能够被其它任何对象，和/或者进入该环境中的新的对象使用。例如，被带入这种计算环境中的能够自动检测并连接到可用的打印机和网络上的移动计算机。然而，这种小的计算设备不限于科技产品，它们能够容易地用于衣服中或附在日常使用的物体上。
英国的GB 2347834A公开了普及计算设备。
美国的US2003/0149803A1公开了在使用多模式集成的普适计算环境中的一种系统。
发明内容
本发明的目的是改善计算设备的收集关于其环境中对象的信息的能力。
借助于独立权利要求的特征来实现这个目的。从属权利要求进一步发展了本发明的中心思想。
根据本发明的第一方面，计算系统可以从环境中收集信息，特别是关于其环境中的对象的信息，该系统包括，用于从所述环境中收集视觉信息的装置；用于接收信息的装置，所述信息是由所述计算系统的所述环境中的对象主动发送的；以及，用于合并所述视觉信息以及所述无线接收的信息以辨识对象的装置。
该计算系统可以是移动计算设备。
该计算设备可以是(例如，具有人类特点的)机器人。
该计算设备可以安装到汽车或摩托车上。
该计算设备可以是固定设备。
本发明的另一个方面涉及一种从环境中收集信息的方法，该方法包括以下步骤从所述环境中收集视觉信息；接收由计算系统的所述环境中的对象主动发送的信息；以及，合并所述视觉信息以及所述无线接收的信息以辨识对象。
本发明的又一个方面涉及一种实现这种方法的计算机程序产品。
现在将参照
本发明的另外的特征，优点和目的，附图中只有一个图，其示意性地示出了根据本发明的系统。
具体实施例方式
在附图中，附图标记1一般地指定了用于收集和逻辑地处理关于环境的多模式信息(multimodal information)的系统，具体地说，所述多模式信息是关于计算设备9的环境中的对象2的多模式信息。应注意，“环境”表示计算设备9周围的一个区域，所述区域被定义为，使得计算设备9能够收集知觉信息或能够接收位于所述区域中的对象无线发送的信号。
计算设备9具有用于收集信息的至少两个设备6，7，也就是，视觉传感器装置6(摄像机等)和天线7，该天线7具有用于接收从对象2无线发送的信息的后继接收机部分(图中未示出)。
在集成器单元8中合并和处理两个输入数据流，该集成器单元8对由该至少两个多模式输入流识别的对象作出判定，并且能够基于所述判定产生输出信号10，以例如激活致动器或使计算设备向所识别的对象移动。
对象2具有用于发送有关相关对象2的信息的RF ID标签。
因此，本发明提出了一种集成器单元8，其能够对视觉信息和从普及或普适计算环境中的对象或元件发送的信息进行合并。因此，通常从纯粹的视觉分析中很难获得的信息能够被来自对象自身的信息进行扩充，反之亦然。将由对象发送的信息称为“主观信息”，将由视觉系统收集的信息称为“客观信息”。
这种区分的原因如下，由对象发送的信息仅是来自对象自身视角的信息，即是以对象为中心的。这种信息的示例如下“静态信息”，如存在、形状、颜色、重量、对称性信息、脆性等；“动态信息”温度、满/空等。
然而，视觉系统能够收集不仅仅以对象为中心的信息，还考虑多个对象的关系以及它们的位置，因此，称这种信息是客观的。这种区分还强调本发明和现有技术之间的区分，现有技术通常着眼于给系统添加额外的传感器设备，并且融合由这些不同设备提供的信息。而本发明是合并不同类型的信息，即主观信息和客观信息。
通常，如下文，摄像机系统和集成器被安装在移动平台上，如具有人类特点的机器人，但也可以构思另选的方案。平台将进入一个普及计算环境，在最简单的一种情况中，该环境可以是一个能够提供有关其自身信息的对象。集成器在不同的阶段将该信息与视觉信息处理系统和行为发生系统进行合并。在移动平台方案中，对象可能是桌上的杯子。该杯子例如具有一RF ID标签，该标签用以发送有关杯子存在的主观信息，如形状、颜色、重量、适度的脆度。一旦接收到来自集成器的请求激活信号，RF ID标签就能够主动地发送该信息。
同时，视觉系统能够提供桌上的对象的几种假设(某些假设可能是假相或者是来自不属于所述普及计算环境的一部分的对象)。基于如颜色这样粗略的信息，集成器能够使视觉系统集中在其视野中的特定部分上。利用形状信息，可以确定该对象是否被部分地阻挡。此外，可以推断出该对象的哪一侧正在面向移动平台，例如为抓取目的，对于平台来说可能有必要改变其位置。仅仅依据客观信息源或者主观信息源，很难判定两个对象是相互部分地阻挡的还是同一个对象的不同部分。使用普及计算环境和视觉信息，集成器可以不费多少力气就能得出这种判定。此外，集成器能够向整个系统中的其它设备(如操纵器)提供额外的信息，如有关易碎性或者满/空的程度。驱动操纵器的系统可以使用该信息来决定如何接近该对象以及以多大的力量来接近该对象。
集成器系统的应用举例如下进入到普及计算环境中的具有集成器系统和摄像机系统的有人类特点的机器人；具有集成器系统和摄像机系统的汽车，其从其它汽车、行人的智能衣服、交通信号和其它可能配有普及计算设备的与交通场景相关的对象中收集信息。
固定的集成器和摄像机系统，对象进入其监视范围之内。示例可以是室内系统或者在机场，银行，火车站等地方的监视系统。普及计算对象可以进入到固定系统的范围内，普及计算对象例如是智能衣服，行李等。
在诸如PDA(个人数字助理)，膝上型电脑或者移动电话这样的移动设备上的集成器和摄像机系统。
该系统可以概括如下1、安装在有源的且自主的移动平台(例如具有人类特点的机器人)上的一个系统，包括摄像机部分和集成器部分，集成器部分能够执行上述的主观信息和客观信息的组合，用于场景分析、进而用于控制整个系统中的附加设备如操纵器。
2.安装在无源的或者部分有源的且非自主或部分自主的移动平台(例如汽车)上的一个系统，包括摄像机部分和集成器部分，集成器部分能够执行上述的主观信息和客观信息的组合，用于场景分析、进而用于控制像灯光、刹车或者安全带等附加设备。
3.一个固定的系统，包括摄像机部分和集成器部分，集成器部分能够执行上述的主观信息和客观信息的组合，用于场景分析、进而用于控制报警设备这样的附加设备，或者向用户提供所请求的信息。
权利要求
1.一种用于从环境中收集信息的计算系统，该系统包括用于从所述环境中收集视觉信息的装置；用于接收信息的装置，所述信息是由所述计算系统的所述环境中的对象主动发送的；以及，用于合并所述视觉信息以及所述无线接收的信息以辨识对象的装置。
2.根据权利要求1的计算系统，特征在于，其是移动计算设备。
3.根据前述任意一个权利要求的计算设备，特征在于，其是机器人。
4.根据权利要求1的计算设备，特征在于，其被安装到汽车或摩托车中。
5.根据权利要求1的计算设备，特征在于，其是固定设备。
6.一种从环境中收集信息的方法，该方法包括以下步骤从所述环境中收集视觉信息；接收由计算系统的所述环境中的对象主动发送的信息；以及，合并所述视觉信息以及所述无线接收的信息以辨识对象。
7.一种计算机软件程序产品，当在计算设备上运行时，其实现根据权利要求6的方法。
全文摘要
在普及计算环境中集成视觉和对象信息。一种用于从环境中收集信息的计算系统，该系统包括用于从该环境中收集视觉信息的装置；用于接收信息的装置，该信息是由计算系统环境中的对象主动发送的；以及用于合并该视觉信息和无线接收的信息以辨识对象的装置。
文档编号G06F17/00GK1667651SQ20051000749
公开日2005年9月14日 申请日期2005年2月22日 优先权日2004年3月3日
发明者克里斯蒂安·格里克 申请人:本田研究所欧洲有限公司