信息处理设备、信息处理方法和程序的制作方法

专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及包括相机和投影仪的信息处理设备、用于该信息处理设备的信息处理 方法和有形计算机可读介质。
背景技术：
过去，相机拍摄的图像被投影仪显示的设备是已知的。例如，日本专利申请早期公 开No. 2006-251206 (下文中称为专利文献1)公开了一种信息呈现设备，其中相机拍摄的物 体(object)的拍摄图像和从输入设备输入的附加信息被组合以创建投影图像，并且投影 图像与物体所在的位置相关联并被投影。因此，信息呈现设备即使在物体移动之后也能留 下物体的轨迹。

发明内容
另外，可能存在用户期望在设备中存储(捕获)如上所述由相机拍摄并由投影仪 投影的物体的图像的情况。在专利文献1公开的技术中，物体的拍摄图像在信息呈现设备 中被捕获以与附加信息相组合，但是捕获是自动执行的并且用户不参与该处理。因此，当用 户将预期物体置于拍摄(成像)范围中时，有可能用户不想要的图像被存储。另外，尽管在专利文献1公开的技术中，与物体相关联的附加信息被叠加在投影 图像上，但是附加信息是由与相机和投影仪相连的信息呈现设备的输入设备(键盘、鼠标 等)输入的。这种技术假定了诸如演示、web会议等的情况，其中多人共享大尺寸屏幕等上 的投影图像，并且每个人从手边的信息呈现设备输入有关投影图像的信息。然而，假定在物体被置于诸如桌子和地板之类的较小区域中的时候对物体拍摄图 像并投影的情况，用户关注其投影区，并且还需要握住物体或者将其置于投影区内。因此， 在用户利用输入设备执行用于将物体的图像存储在设备中的操作的情况下，操作变得复 杂，并且导致缺乏直观性。考虑到上述情形，需要一种能够通过简单直观的操作存储由相机拍摄并由投影仪 投影的图像的信息处理设备、信息处理方法和包括程序的有形计算机可读介质。根据本发明的一个实施例，提供了一种包括投影仪、相机、第一存储装置和控制器 的信息处理设备。投影仪将包含第一操作图像的投影图像投影到预定区域上。相机对预定 区域内的对象(subject)的图像进行拍摄。第一存储装置是RAM(随机访问存储器)、内置 闪存、存储卡、HDD(硬盘驱动器)、光盘等等。控制器基于相机拍摄的拍摄图像检测对第一 操作图像的操作，并在检测到该操作时控制第一存储装置存储拍摄图像中的至少所述对象 的图像。第一操作图像指用作用户操作目标的图像，例如图标、按钮、图形和字符。对第一 操作图像的操作的检测是通过例如利用不同时刻拍摄图像之间的差异来检测用户的手指 是否触摸第一操作图像来进行的。对象例如是名片、CD封套等等，但是并不限于此，各种事 物均可假定为对象。
利用该结构，当检测到对投影图像中包含的第一操作图像的操作时，存储对象的 图像。由此，用户可以仅通过对投影图像的操作来容易且直观地使第一存储装置存储预期 对象的图像，而无需触摸便携式信息设备自身。信息处理设备还可包括第二存储装置。在这种情况下，控制器基于拍摄图像识别 对象的元数据并控制第二存储装置将该元数据存储为预定列表的一部分。另外，第二存储装置可以与元数据一同存储在第一存储装置中存储的拍摄图像或 者从拍摄图像提取的对象的图像。第二存储装置是RAM、内置闪存、存储卡、HDD、光盘等等，并且可以与第一存储装置 相同，或者与其不同。在第一存储装置和第二存储装置彼此不同的情况下，一般而言，第一 存储装置是诸如RAM(剪贴板)之类的临时记录介质，而第二存储装置是诸如内置闪存、存 储卡、HDD和光盘之类的非易失性记录介质。元数据是与对象相关的数据，例如对象的身份、版权信息和对象中包含的字符 的数据。元数据的识别是利用诸如模式匹配和特征识别之类的图像识别技术以及诸如 OCR(光学字符阅读器)之类的字符识别技术执行的。预定列表是与每个对象的类型相对应 的列表，例如内容列表和联系人列表。元数据可以与对象的图像一起被存储为列表的一部 分，或者可以与对象的图像分开存储。因此，用户可以通过简单且直观的操作使得信息处理设备在第二存储装置中不仅 存储对象的图像自身，还存储对象的元数据。控制器可以控制投影仪在投影图像中包括指示是否已识别出元数据的信息。因此，用户可以容易地获知是否已识别出对象的元数据。另外，在尚未识别出元数 据的情况下，用户可以通过执行用于提高识别精度的操作(例如改变预定区域内对象的位 置或姿态)来可靠地执行识别。控制器可以控制投影仪在从检测到操作起的预定时间段内使投影图像的照度大 于在检测到该操作之前的照度。因此，信息处理设备可以利用投影仪的投影图像人工再现现有技术中静止相机的 闪光。因而，用户可以直观地识别出图像已被存储，而无需检查存储的图像。该预定时间段 例如约为0. 5至1. 5秒，但是并不限于该范围。预定时间段可以是任何时间段，只要用户可 以识别出图像已被存储即可。控制器可以基于拍摄图像检测在预定区域内是否存在对象，并且在检测到在预定 区域内存在对象时控制投影仪在投影图像中包括第一操作图像。因此，由于仅当预定区域内存在对象时才投影第一操作图像，因此可以防止第一 操作图像在对象不存在的情况下被投影，并且可以防止削弱可见性。另外，用户可以容易地 识别出对象的图像准备好被存储。对象的存在/不存在是利用不同时刻拍摄图像之间的差 异来检测的。当检测到元数据已被识别的对象不存在于预定区域内时，控制器可以控制第二存 储装置存储元数据。因此，在对象的图像被存储在第一存储装置中之后，用户可以仅通过从预定区域 中移除对象来使得对象的图像和元数据被存储在第二存储装置中作为列表的一部分。在这种情况下，控制器可以从预定区域内存在的多个对象识别各自的元数据。然后，在检测到多个对象全都不存在于预定区域内时，控制器可以控制第二存储装置一次存 储多条元数据分别作为预定列表的一部分。因此，通过仅将多个对象置于预定区域内并在对象的图像被存储在第一存储装置 中之后从预定区域中移除对象，用户可以在第二存储装置中一次存储所有对象的图像和元 数据。另外，控制器可以从第一对象和与第一对象不同类型的第二对象识别出多条元数 据，第一对象和第二对象存在于预定区域内。然后，控制器可以在检测到第一对象不存在于 预定区域内时控制第二存储装置存储第一对象的第一元数据作为第一列表的一部分。类似 地，控制器可以在检测到第二对象不存在于预定区域内时控制第二存储装置存储第二对象 的第二元数据作为第二列表的一部分。因此，通过仅将不同类型的对象置于预定区域内并在对象的图像被存储在第一存 储装置中之后从预定区域中移除对象，用户可以使所有对象的元数据被存储在第二存储装 置中作为与对象的类型相对应的列表的一部分。控制器可以在识别出元数据时控制投影仪在投影图像中包括不同于第一操作图 像的第二操作图像。然后，控制器可以基于拍摄图像检测对第二操作图像的操作，并且在检 测到该操作时控制第二存储装置存储元数据。第二操作图像也是用作用户操作目标的图像，例如图标、按钮、图形和字符，并且 以可与第一操作图像区分的状态被投影。因此，用户可以通过对第二操作图像的简单且直观的操作来在第二存储装置中存 储对象的元数据作为列表的一部分。在这种情况下，控制器可以从存在于预定区域内的多个对象识别多条元数据。然 后，控制器可以在检测到对第二操作图像的操作时控制第二存储装置一次存储多条元数据 作为预定列表的一部分。因此，通过仅将多个对象置于预定区域内并在对象的图像被存储在第一存储装置 中之后对第二操作图像执行单次操作，用户可以使所有对象的元数据被存储在第二存储装 置中。另外，控制器可以从第一对象和与第一对象不同类型的第二对象识别多条元数 据，第一对象和第二对象存在于预定区域内。然后，控制器可以在检测到对第二操作图像的 操作时控制第二存储装置存储第一对象和第一对象的第一元数据作为第一列表的一部分。 类似地，控制器可以控制第二存储装置存储第二对象和第二对象的第二元数据作为第二列 表的一部分。因此，通过仅将不同类型的对象置于预定区域内并在对象的图像被存储在第一存 储装置中之后对第二操作图像执行单次操作，用户可以使对象的元数据被存储在第二存储 装置中作为与对象的类型相对应的列表的一部分。控制器可以控制投影仪投影动画，该动画利用对象的图像示出元数据如何被存储 为预定列表的一部分。因此，通过使用户看到元数据被存储的状态，信息处理设备可以使用户容易地获 知到元数据已被存储，同时增加用户的兴趣。控制器可以在对象的图像被存储在第一存储装置中之后检测对象是否从对象的图像被存储时所在的位置移动。然后，控制器可以在检测到对象已移动时控制投影仪将存 储在第一存储装置中的对象的图像投影到对象的图像被存储时所在的位置。因此，即使当对象被从预定区域移除时，用户也可以容易地识别出对象的图像已 被存储在第一存储装置中。根据本发明的另一个实施例，提供了一种信息处理设备中的信息处理方法，该信 息处理设备包括投影仪、相机和存储装置。在信息处理方法中，投影仪将包含操作图像的投影图像投影到预定区域上。相机 拍摄预定区域内的对象的图像。基于相机拍摄的拍摄图像检测对操作图像的操作。当检测 到该操作时，将拍摄图像中的至少所述对象的图像存储在存储装置中。由于当该信息处理方法检测到对投影图像中包含的操作图像的操作时存储对象 的图像，因此用户可以仅通过对投影图像的操作来容易且直观地使存储装置存储预期对象 的图像，而无需触摸信息处理设备自身。根据本发明的另一个实施例，提供了一种包括程序的有形计算机可读介质，该程 序使得包括投影仪、相机和存储装置的信息处理设备执行投影步骤、图像拍摄步骤、检测步 骤和存储步骤。投影步骤包括由投影仪将包含操作图像的投影图像投影到预定区域上。图像拍摄 步骤包括由相机拍摄预定区域内的对象的图像。检测步骤包括基于相机拍摄的拍摄图像检 测对操作图像的操作。存储步骤包括在检测到该操作时将拍摄图像中的至少所述对象的图 像存储在存储装置中。通过执行该程序，当检测到对投影图像中包含的操作图像的操作时，存储对象的 图像。因此，用户可以仅通过对投影图像的操作来容易且直观地使存储部分存储预期对象 的图像，而无需触摸信息处理设备自身。根据本发明的实施例，可以通过容易且直观的操作来存储由相机拍摄并由投影仪 投影的图像。本发明的这些和其他的目的、特征和优点将通过下面在附图中示出的对最佳模式 实施例的详细描述变清楚。


图1是示出根据本发明一个实施例的便携式信息设备的外观和使用状态的示图；图2是示出根据本发明实施例的便携式信息设备的硬件结构的示图；图3是示出当根据本发明实施例的便携式信息设备捕获由相机拍摄的图像时的 操作流程的流程图；图4A-B是示出在本发明的实施例中当CPU检测到在投影区内存在对象并且投影 “捕获”按钮时的投影区的状态的示图；图5A-B是示出在本发明的实施例中当CPU检测到已按下了“捕获”按钮并且捕获 拍摄图像时的投影区的状态的示图；图6A-B是示出在本发明的实施例中当CPU检测到在投影区内存在多个对象并且 投影“捕获”按钮时的投影区的状态的示图；图7A-B是示出在本发明的实施例中在投影区内存在多个对象的情况下、当CPU检
7测到已按下了“捕获”按钮并且捕获拍摄图像时的投影区的状态的示图；图8是示出当根据本发明实施例的便携式信息设备存储对象的图像和对象的元 数据时的操作流程的流程图；图9A-B是示出在本发明的实施例中对象图像在捕获之后被投影的状态的示图；图10A-B是示出在本发明的实施例中元数据的识别结果显示图像被投影的状态 的示图；图11A-C是示出在本发明的实施例中当名片的字符信息被存储在联系人列表中 时投影的动画的示图；图12是示出在本发明的另一实施例中在基于对按钮的用户操作存储元数据的情 况下、便携式信息设备的操作流程的流程图；图13A-B是示出在本发明的另一实施例中在投影区内投影用于存储元数据的按 钮的状态的示图；图14A-B是示出在本发明的另一实施例中分别捕获投影区内不同类型的对象并 存储其元数据的例子的示图；图15是示出在本发明的另一实施例中在投影区和成像区不一致的情况下、投影 图像的例子的示图；以及图16A-C是示出在本发明的另一实施例中在动画执行期间校正错误字符的状态 的示图。
具体实施例方式下文中将参考附图描述本发明的实施例。(系统的概况)图1是示出根据本发明一个实施例的便携式信息设备的外观和使用状态的示图。如图1所示，根据该实施例的便携式信息设备100例如包括手掌大小的外壳1，并 且在使用时被置于桌子、地面等的水平面上。当然，便携式信息设备100可以在使用时被悬 挂在墙壁等的垂直面上。便携式信息设备100包括投影仪2、相机3和显示屏4。投影仪2将包含⑶I (图形用户界面)和图像数据的投影图像投影到桌子或地面 的预定范围中的矩形投影区10中。相机3对投影区10拍摄图像。即，投影仪2的投影范围 和相机3的拍摄范围彼此一致。用户利用手H的手指等对投影仪2的投影图像执行操作， 并且便携式信息设备100随后通过相机3识别用户的操作并执行与该操作相对应的处理。 另外，便携式信息设备100对用户置于投影区10内的对象拍照并存储(捕获)与用户对投 影图像的操作相符的拍摄图像。而且，便携式信息设备100通过投影仪2投影所捕获的拍 摄图像或者从该拍摄图像提取的对象的图像。(便携式信息设备的硬件结构)图2是示出便携式信息设备100的硬件结构的示图。如图2所示，便携式信息设备100除了包括投影仪2、相机3和显示屏4以外，还包 括CPU(中央处理单元)11、RAM(随机访问存储器)12、闪存13、扬声器14和键/开关部分 15。便携式信息设备100还包括各种接口，例如存储卡I/F (接口)16和外部I/F (接口)18。
CPU 11与便携式信息设备100的各个部分交换信号以执行各种操作，并总地控制 投影处理、成像处理和其他处理。RAM 12用作CPU 11的工作区，并且临时存储各种类型的数据，例如包括由相机 3拍摄的图像、从该拍摄图像提取的对象的图像、要由CPU 11处理的从该对象识别的元数 据、以及程序。RAM 12包括用于临时存储(捕获)上述拍摄图像或对象图像的区域(剪贴 板)。闪存13例如是NAND型的。闪存13存储各种类型的数据，包括拍摄图像、对象的图 像和元数据、由投影仪2投影的图像、音频和文本、以及诸如要由CPU 11执行的控制程序和 应用之类的各种程序。另外，在该实施例中，闪存13还捕获拍摄图像或对象的提取图像，并 且存储用于识别和存储元数据的应用程序。该应用可以存储在诸如存储卡 17之类的另一 记录介质中。便携式信息设备100可包括HDD来替代闪存13或者作为对闪存13的补充。扬声器14在图像被拍摄或者执行其他操作时输出存储在闪存13中的音频。键/开关部分15接受与以下功能相对应的操作不能通过对触摸面板5的操作执 行的功能(例如电源的开/关和各种功能的开关)和能通过对触摸面板5的操作执行的功 能，并向CPU 11发送输入信号。存储卡I/F 16连接到诸如记忆棒之类的各种类型的存储卡17，并在存储卡17中 存储各种类型的数据(例如上述拍摄图像)。另外，存储卡I/F 16将存储卡17内的各种类 型的数据读出到RAM 12，并通过CPU 11再现数据。外部I/F 18基于USB(通用串行总线)、无线LAN(局域网)等的各种标准通过有 线或无线连接与外部设备交换各种类型的数据。投影仪2例如是液晶投影仪，并且包括投影控制器21、光源22、液晶面板23和投 影光学系统24。光源22例如是LED (发光二极管)，并且以与输送的电流量相对应的亮度照射液晶 面板23。液晶面板23用作调制装置，并且根据来自投影控制器21的驱动信号生成投影图 像(光图像)。投影光学系统24投影从液晶面板23发射的调制光。投影控制器21基于来 自CPU 11的指令向光源22和液晶面板23提供控制信号。当然，投影仪2并不限于液晶投影仪，而可以是其他操作系统的投影仪，例如 DLP (注册商标)投影仪和LCOS (硅上液晶)投影仪。投影仪2将包含用于用户操作的图像的投影图像(后面将描述)投影到投影区10 上，并进一步将由相机3拍摄并被RAM 12捕获的拍摄图像或对象的图像投影到投影区10 上。相机3包括成像控制器31、成像装置32和成像光学系统33。CXD (电荷耦合器件)图像传感器或CMOS (互补金属氧化物半导体)图像传感器被 用作成像装置32。成像光学系统33在成像装置32的成像表面上形成对象的图像。成像控 制器31基于来自CPU 11的指令驱动成像装置32并对从成像装置32输出的图像信号执行 预定信号处理。在信号处理之后的拍摄图像被CPU 11用于检测对投影图像的用户操作。另外，基 于检测到的用户操作在RAM 12的剪贴板等中捕获拍摄图像，并随后适当地将其存储在闪 存13或存储卡17中。
显示屏4例如是IXD (液晶显示屏)或TFT (薄膜晶体管)的OELD (有机电致发光 显示屏)等，并且包括触摸面板5。例如，在用户对便携式信息设备100中的数据执行操作 或者执行投影仪2和相机3的各种设置操作的情况下，显示屏4在CPU 11的控制下显示用 于触摸操作的GUI或各种类型的数据。
显示屏4可以不包括触摸面板5，并且用户的操作可以仅从键/开关部分15输入。(便携式信息设备的操作)接下来，将描述如上所述构造的便携式信息设备100的操作。在下面的描述中， CPU 11被描述为操作的主体，但是CPU 11的操作是与RAM 12中展开的程序协同执行的。(便携式信息设备的捕获操作)首先，将描述便携式信息设备100的捕获操作。图3是示出当便携式信息设备100捕获由相机3拍摄的图像时的操作流程的流程 图。如图3所示，便携式信息设备100的CPU 11首先通过投影仪2将投影图像投影到 投影区10上，并通过相机3对投影区10进行拍照(步骤41)。随后，CPU 11分析相机3所拍摄的图像并且判断在投影区10内是否存在除了用 户的手H以外的对象(步骤42)。当识别出对象存在(“是”)时，CPU 11控制投影仪2将“捕获”按钮的图像投影 在投影区10内(步骤43)。然后，CPU 11判断用户的手指是否按下了所投影的“捕获”按钮(用户的手指是否 触摸了投影区10内“捕获”按钮的区域)。该判断也是通过对由相机3拍摄的图像执行图 像分析来进行的。随后，当检测到已按下了上述“捕获”按钮50( “是”)时，CPUll控制相机3聚焦 在投影区10内存在的对象上(步骤45)。CPU 11随后通过相机3捕获聚焦的拍摄图像(步骤46)。所捕获的拍摄图像例如 被存储在RAM 12的剪贴板中。在这种情况下，CPU 11将投影仪2的投影图像的照度增大一预定时间段(例如一 秒)。同时，CPU 11从扬声器14输出一般相机的闪光声音(步骤47)。通过这些操作，CPU 11人工再现了一般相机的闪光和闪光声音。图4A-B是示出当CPU 11检测到在投影区10内存在对象并且投影“捕获”按钮时 的投影区10的状态的示图。图4A-B示出了 CD封套(CD外壳)作为对象被拍摄图像的例子。如图4A所示，当用户用手H将⑶封套J置于投影区10内时，CPU 11识别出手H 和被相机3拍摄的CD封套J的图像。CPU 11将拍摄图像与预先存储的元数据(包括手的 形状、颜色等)进行模式匹配，并执行诸如边缘提取之类的图像分析处理，从而检测到在投 影区10内存在除了手H以外的物体。此时，CPU 11识别出在投影区10内存在一物体，但 是并未将该物体识别为CD封套J。当检测到对象存在时，CPU 11控制投影仪2将“捕获”按钮50投影在例如投影区 10的右下部分上，如图4B所示。“捕获”按钮50当然并不限于包括“捕获”字符的按钮，而是可以是任何按钮、图标等，只要用户可以理解该按钮或图标是用于执行捕获操作的操作图像即可。图5A-B是示出当CPU 11检测到已按下了“捕获”按钮50并且捕获拍摄图像时的 投影区10的状态的示图。如图5A所示，通过基于由相机3拍摄的图像识别出在“捕获”按钮50周围的拍摄 图像发生改变，CPU 11检测到用户已用手指等按下了 “捕获”按钮50。
当检测到已按下了“捕获”按钮50时，CPU 11在一预定时间段(例如，从该检测起 一秒)之后通过相机3捕获拍摄图像。同时，CPU 11控制投影仪2增大投影图像的照度，如 图5B所示。因此，可视地再现了一般相机的闪光。与闪光一同，CPU 11还从扬声器14输 出模仿闪光声音的声音。在投影区10内可能存在多个对象。图6A-B是示出当CPU 11检测到在投影区10内存在多个对象并且投影“捕获”按 钮50时的投影区10的状态的示图。图7A-B是示出当CPU 11检测到在投影区10内存在 多个对象的情况下已按下了 “捕获”按钮50并且捕获拍摄图像时的投影区10的状态的示 图。这些图示出了作为对象的多个名片的图像被拍摄的例子。例如，如图6A所示，当用户用手H将名片Cl至C5置于投影区10内时，CPU 11识 别出手H和被相机3拍摄的名片Cl至C5的图像。与图4A-B的情况一样，CPU 11执行图 像分析处理等。当检测到在投影区10内存在除了手H以外的多个物体时，CPU 11通过投 影仪2投影“捕获”按钮50，如图6B所示。如图7A所示，当CPU 11基于由相机3拍摄的图像检测到用户已按下了“捕获”按 钮50(与图5A-B的情况一样)时，CPU 11通过相机3捕获拍摄图像。同时，CPU 11将投影 仪2对投影图像的照度增大一预定时间段，并从扬声器14输出闪光声音。(便携式信息设备的对象元数据存储操作)接下来，将描述便携式信息设备100存储对象元数据的操作。图8是示出当便携式信息设备100存储对象的元数据时的操作流程的流程图。如图8所示，在捕获了拍摄图像之后，CPU 11对捕获图像执行诸如边缘提取之类 的图像分析处理并提取对象的区域中的图像(步骤81)。下文中，对象的区域中的提取图像 被称为对象图像。对象图像被临时存储在例如RAM 12中。随后，CPU 11判断在投影区10内除了手H以外的对象是否从已捕获了拍摄图像 的位置移动。该判断例如是通过将在捕获拍摄图像时的相机3的拍摄图像与在经过一预定 时间段之后的拍摄图像相比较并取二者之差来进行的。当判断出对象已移动(“是”)时，CPU 11控制投影仪2将对象图像投影到在捕获 时对象所在的位置处(步骤83)。图9A-B是示出对象图像被投影时的状态的示图。图9A示出了在CD封套J是对象的情况下的投影状态。当检测到用户已用手H将 ⑶封套J从捕获时的位置移动时，CPU 11将通过从捕获图像中提取⑶封套J的区域而获 得的CD封套图像51投影到CD封套J的图像被捕获时的位置。图9B示出了在多个名片Cl至C5是对象的情况下的投影状态。当检测到用户已 用手H将名片Cl至C5从捕获时的位置移动时，CPU 11将通过从捕获图像中提取名片Cl至 C5的区域而获得的多个名片图像52a至52e投影到名片Cl至C5的图像被捕获时的位置。
通过图9A和9B所示的处理，用户可以容易地获悉对象已被捕获。返回图8，CPU 11随后判断投影区10内的所有对象是否已被移出投影区10(不存在)(步骤84)。该判断也是通过分析由相机3拍摄的图像来执行的。当判断出所有对象已被移出投影区10( “是”)时，CPU 11控制投影仪2从投影图 像中删除“捕获”按钮50 (步骤85)。在后续步骤的处理执行期间也视需要执行步骤84和 85中的处理。随后，CPU 11从提取的对象图像中识别对象的元数据(步骤86)。这里，元数据是 与对象相关的数据，例如包括对象的身份(该对象是什么)和对象中包含的字符的数据。元 数据的识别是利用诸如模式匹配和特征识别之类的图像识别技术来进行的。当对象是有版 权作品时，版权信息(作者姓名、有版权作品的名称)可以被识别为元数据。对于该识别，除 了图像识别技术以外，还可使用诸如OCR之类的字符识别技术。另外，便携式信息设备100 可包括用于将对象图像发送到网络上的搜索引擎并获取相应版权信息的通信装置。随后，当已从对象识别出元数据(“是”)时，CPU 11控制投影仪2投影指示识别 已成功的图像，当未识别出元数据(“否”)时则投影指示识别已失败的图像(步骤88和 89)。图10A-B是示出在指示元数据的识别已成功或失败的图像(下文中称为识别结果 显示图像)被投影时的状态的示图。图IOA示出了在对象是⑶封套J的情况下的投影状态。在CPUll已成功识别出 CD封套J的元数据(CD封套的身份)的情况下，CPU 11投影“已识别”的字符作为识别结 果显示图像53，例如通过在⑶封套图像51附近以气球或弹出框形式显示。另外，CPU 11 控制投影仪2在CD封套图像51周围投影指示元数据识别目标的框54。图IOB示出了在对象是多个名片Cl至C5的情况下的投影状态。在CPU 11已成 功识别出名片Cl至C5的元数据(例如，在名片中描述的字符)的情况下，CPU 11在名片 图像52的附近投影“已识别”的字符作为识别结果显示图像53，并且在CPU 11失败的情况 下，CPUll还通过投影仪2投影“失败”的字符。框54也被投影在每个名片图像52的周围。 图IOB示出了与名片图像52a、52b、52c和52e相对应的名片C1、C2、C3和C5中的字符的识 别已成功，而与名片图像52d相对应的名片C4中的字符的识别失败的例子。由此，用户可以容易地获知元数据的识别结果。另外，至于元数据尚未被识别的名 片，当用户将与该名片图像相对应的名片置于投影区10中以使该名片的图像被再次捕获 时，元数据可以被正确地识别。当然，用于指示元数据的识别结果的显示并不限于上述的“已识别”和“失败”的 字符，而是可以用任何显示，只要用户可以获知识别结果即可。返回图8，CPU 11随后判断作为元数据识别目标的对象是否为名片(步骤90)。当 判断出该对象是名片(“是”)时，CPU 11将名片的元数据作为联系人列表的一部分存储在 闪存13等中(步骤91)。在存在多个名片的情况下，各个名片的元数据被一次存储。这里，联系人列表用于列举包括姓名、公司名称、地址、电话号码、电子邮件地址等 的字符信息，这些字符信息是逐个人地从名片中识别出来的。在名片的字符信息被存储在 联系人列表中的情况下，CPU 11控制投影仪2投影指示该存储状态的动画。图IlA-C是示出当名片的字符信息被存储在联系人列表中时的动画的示图。该动画被投影为从捕获操作到元数据识别结果的投影操作的一系列处理。另外，在图IlA-C中，假定CPU 11已成功识别出所有名片Cl至C5上的字符信息。如图IlA所示，CPU 11控制投影仪2将名片图像52a至52e排列在例如垂直方向 上，并将被识别为字符信息的姓名55(553至550投影在紧邻名片图像52a至52e的位置 处。如图IlB和IlC所示，CPU 11投影动画，在动画中，名片图像52a至52e例如按姓 名的字母顺序叠加，并且每个名片图像顺序存放在一行56的适当位置处，该行56由已按字 母顺序存储在联系人列表中的所有名片构成。这里，与字符信息一同，名片图像52a至52e自身也可存储在联系人列表中。通过上述动画，便携式信息设备100可以帮助用户容易地获知名片Cl至C5被存 储作为联系人列表的一部分并且增加用户的兴趣。另外，由于多个名片的字符信息被一次识别和存储，因此与逐个名片执行存储处 理的情况相比，可以使CPU 11的处理高效并节省用户的时间和劳动。返回图8，当CPU 11判断出对象不是名片(“否”)时，CPU 11判断对象是否为⑶ 封套(步骤92)。当判断出对象是CD封套(“是”)时，CPU 11使得闪存13等将CD封套的 元数据存储为音乐集的一部分。这里，音乐集用于将⑶封套图像51自身存储为照片集。然而，基于⑶封套图像 51, CPU 11可以将与CD封套图像51相对应的唱片名称、艺术家姓名等识别为元数据，并将 其与CD封套图像51 —同存储在音乐集中。此外，CPU 11可以从例如因特网下载与元数据已被识别的⑶封套J相对应或与 其相关联的音乐数据。另外，在便携式信息设备100连接到外部设备并且音乐数据被存储 在外部设备中的情况下，CPU 11可以进行如下安排经由例如外部I/F 18将音乐数据从外 部设备发送到便携式信息设备100。当判断出对象不是名片或⑶封套(“否”)时，CPU 11终止处理。然而，在便携式 信息设备100还包括用于从除了名片和CD封套以外的对象识别元数据并存储该元数据的 应用的情况下，执行相应的处理。另外，在执行上述处理时，用于从名片识别元数据的应用和用于从CD封套识别元 数据的应用可以单独存在，或者作为一个应用的多个功能存在。在检测到在投影区10内存在对象的情况下，在图3的步骤42和后续步骤中描述 的处理再次投影在上述步骤85中删除的“捕获”按钮50。通过上述处理，便携式信息设备100可以在检测到对包含在投影图像中的“捕获” 按钮50的操作时捕获对象的图像。另外，便携式信息设备100可以在投影区10内用作触 发的所有对象都不存在的情况下从对象图像识别元数据并存储该元数据。因此，用户可以 仅通过对投影图像的操作来容易且直观地捕获预期对象的图像并且识别及存储元数据，而 无需触摸便携式信息设备100自身。而且，通过将预期对象置于投影区10内并按下“捕获” 按钮50，用户可以将便携式信息设备100用作大尺寸伪相机，其中投影区10被视作取景器， 而“捕获”按钮50被视作快门按钮。(修改例)本发明并不仅限于上述实施例，而是可以进行各种修改，而不脱离本发明的精神。
在上述实施例中，CPU 11在投影区10内被用作触发的所有对象都不存在(移出 投影区10)的情况下从对象图像识别元数据并存储该元数据。然而，CPU 11可以使用户判 断是否存储所识别的元数据并基于用户的操作存储元数据。例如，CPU 11可以控制投影仪2以使用于执行存储元数据的命令操作的按钮的图 像被包含在投影图像中。图12 是示出在基于对按钮图像的用户操作来存储元数据的情况下便携式信息设 备100的操作流程的流程图。如图12所示，CPU 11所执行的步骤121至129的处理与上述图8中的步骤81至 89的处理相同。随后，在CPU 11判断出对象是名片(步骤130 “是”)的情况下，CPU 11控制投影 仪2以使投影图像包括“保存为联系人”按钮(步骤131)。然后，CPU 11基于由相机3拍摄的图像判断用户是否已用手指等按下了“保存为 联系人”按钮(步骤132)。当判断出已按下了“保存为联系人”按钮(“是”)时，CPU 11按上述实施例中那 样将元数据存储在联系人列表中(步骤133)。另外，当判断出对象是⑶封套(步骤134: “是”)时，CPU 11控制投影仪2以使投 影图像包括“保存为音乐集”按钮(步骤135)。接下来，CPU 11基于由相机3拍摄的图像判断用户是否已用手指等按下了 “保存 为音乐集”按钮(步骤136)。然后，当判断出已按下了“保存为音乐集”按钮(是)时，CPU 11按上述实施例中 那样将CD封套图像51存储在音乐集中(步骤137)。这些“保存为联系人”按钮和“保存为音乐集”按钮当然并不限于包括这些字符的 按钮。即，可以投影任何按钮、图标等，只要用户可以理解该按钮等是用于执行存储各个对 象的元数据的处理的操作图像即可。图13A-B是示出在投影区10内投影了“保存为音乐集”按钮和“保存为联系人”按 钮的情况下的状态的示图。图13A示出了对象是⑶封套J的情况的例子。当判断出对象是⑶封套时，CPU 11控制投影仪2例如在⑶封套图像51的附近、以可与“捕获”按钮50清楚区分的方式投 影“保存为音乐集”按钮61。在CPU 11检测到用户已按下“保存为音乐集”按钮61的情况下，CPU 11执行存储 ⑶封套图像51的处理。图13B示出了对象是多个名片Cl至C5的情况的例子。当识别出所有名片Cl至 C5中每一个上的字符信息并判断出对象是名片时，CPU 11控制投影仪2投影“保存为联系 人”按钮62。在图13B中，对于与多个名片Cl至C5相对应的名片图像52a至52e仅投影了一 个“保存为联系人”按钮62，但是也可以为每个名片图像投影“保存为联系人”按钮62。在 这种情况下，不一定总能成功识别出所有名片的字符信息，可以仅针对字符信息已被成功 识别的名片显示“保存为联系人”按钮。当检测到用户已按下“保存为联系人”按钮62时，CPU 11 一次存储多个名片图像52a 至 52e 。通过上述处理，便携式信息设备100可以在识别出元数据之后基于对投影图像的 用户操作判断元数据和对象图像是否被存储在诸如联系人列表和音乐集之类的列表中并 执行该操作。因此，用户可以通过容易的操作确实地判定是否将对象的元数据和对象图像 存储在列表中。在上述实施例中，单独描述了在投影区10内存在作为对象的CD封套的情况和在 投影区10内存在名片的情况。然而，在投影区10内同时存在上述不同类型的对象的情况 下，CPU 11可以针对每个对象单独执行捕获处理和元数据识别/存储处理。图14A-B是示出如上所述在投影区10内同时存在不同类型的对象的情况下的状 态的示图。如图14A所示，在CPU 11识别出在投影区10内存在不同类型的对象(⑶封套J 和名片C)的情况下，CPU 11使得投影仪2投影用于捕获由相机3拍摄的图像的“捕获”按 钮50，该图像包括⑶封套J和名片C两者。在CPU 11检测到已按下“捕获”按钮50的情况下，CPU 11捕获投影图像并从捕获 图像中提取⑶封套图像51和名片图像52，如图14B所示。随后，CPU 11使得投影仪2在识别结果显示图像53之后投影“保存为音乐集”按 钮61和“保存为联系人”按钮62。然后，根据对这些按钮的用户操作，CPU 11将名片C的 字符信息存储在联系人列表中，并将CD封套图像51存储在音乐集中。另外，在未投影“保存为音乐集”按钮61和“保存为联系人”按钮62的情况下，CPU 11在每次投影区10内的CD封套J或名片C被移出投影区10时执行存储处理。通过上述处理，仅通过一次将不同类型的对象置于投影区10中并对投影图像执 行操作，用户可以使不同类型的对象的元数据等被容易地存储在相应列表中。在上述实施例中，投影仪2的投影区10和相机3的成像区彼此一致。然而，投影 区10和成像区可以不一致。图15是示出这种情况下的投影图像的例子的示图。如图15所示，成像区110被设在投影区10中作为其一部分。在从投影区10中排 除成像区110而获得的非成像区120中投影了 “捕获”按钮50。因此，可以防止“捕获”按钮50或者按下“捕获”按钮50的用户的手指被捕获，其 结果是用户可以使便携式信息设备100存储除预期对象以外的不必要物体不被显示的捕 获图像。在上述实施例中，CPU 11控制投影仪2增大投影图像的照度并控制扬声器14在 捕获时输出闪光声音。然而，替代这种处理，CPU 11可以使投影仪2投影指示已进行捕获 的图标或文本。在上述实施例中，当“捕获”按钮50被按下时执行捕获处理。然而，捕获处理的触 发并不限于“捕获”按钮50的按下。便携式信息设备100可以在识别出指示捕获的用户语 音(例如“捕获”)时执行捕获处理。在这种情况下，可以不显示“捕获”按钮50。在上述实施例中，如图IlA-C所示，从诸如名片之类的对象的捕获图像(对象图 像)中识别出的元数据(例如，字符信息)被存储在预定列表(联系人列表)中的状态被 显示为动画。这里，在作为字符识别目标的对象包含多个项目(例如，姓名、公司名称、地址等)的字符串的情况下，除了要识别的字符自身错误的情况以外，还可能存在每个字符串 的项目和要识别的字符串不对应的情况。例如，可能存在作为公司名称要识别的字符串被 错误地识别为姓名的情况。当发生这样的错误字符识别时，要存储的列表也是错误的，这导 致不方便。为此，便携式信息设备100可以在动画执行期间基于用户的操作输入来校正这种 错误的字符串。图16A-C是示出在动画执行期间校正错误字符的状态的示图。如图16A所示，公司名称161被错误地显示在根据在动画执行期间垂直排列的多 个名片图像52中的名片图像52a、要显示姓名的区域处。在这种情况下，如图16A所示，用 户用手H的手指等触摸公司名称161被错误显示的区域。便携式信息设备的CPU 11基于由相机3拍摄的图像检测到该触摸。如图16B所 示，CPU 11随后控制投影仪2显示校正候选列表栏162，校正候选列表栏162用于呈现已从 名片图像52a中识别出的字符串的列表作为校正候选。当如图16B所示用户通过手指的触摸从校正候选列表栏162中选择正确字符串 (姓名)时，CPU 11从由相机3拍摄的图像检测到该触摸。然后，CPU 11将迄今为止显示 的公司名称161改变为所选字符串(姓名55a)，如图16C所示。由此，正确字符串也被存储 在闪存13的联系人列表中。通过上述处理，即使在要识别的字符串的项目错误时，便携式信息设备100也可 以通过呈现校正候选以供用户触摸而使用户容易地校正错误。替代校正候选列表栏162，CPU 11可以显示例如软件键盘并利用用户从键盘输入 的字符串来校正错误的字符串。在上述实施例中，CD封套和名片被描述为对象的例子，但是对象当然并不限于此。例如，便携式信息设备100可以将餐馆中的餐馆信息卡作为对象来捕获，从该捕 获图像中识别字符信息，并将该信息存储为餐馆列表的一部分。另外，便携式信息设备100可以将酒瓶作为对象来捕获，从该捕获图像中识别字 符信息，并将该信息存储为酒列表的一部分。在上述实施例中可以应用本发明的便携式信息设备100的例子包括各种信息处 理设备，例如蜂窝电话、PDA(个人数字助理)、智能电话、便携式音乐/视频播放器、电子辞 典和电子档案夹。而且，本发明并不限于便携式信息设备，而是可类似地应用于各种固定信 息处理设备。本申请包含与2009年4月14日向日本专利局提交的日本在先专利申请JP 2009-097723中公开的内容有关的主题，上述申请的全部内容通过引用而结合于此。本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、 子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。
权利要求
一种信息处理设备，包括投影仪，用于将包含第一操作图像的投影图像投影到预定区域上；相机，用于拍摄所述预定区域内的对象的图像；第一存储装置；以及控制器，用于基于所述相机拍摄的拍摄图像检测对所述第一操作图像的操作，并在检测到该操作时控制所述第一存储装置存储所述拍摄图像中的至少所述对象的图像。
2.如权利要求1所述的信息处理设备，还包括第二存储装置，其中所述控制器基于所述拍摄图像识别所述对象的元数据并控制所述第二存储装置 将该元数据存储为预定列表的一部分。
3.如权利要求2所述的信息处理设备，其 中所述控制器控制所述投影仪在所述投影图像中包括指示是否已识别出所述元数 据的信息。
4.如权利要求3所述的信息处理设备，其中所述控制器控制所述投影仪在从检测到所述操作起的预定时间段内使得所述投 影图像的照度大于在检测到所述操作前的照度。
5.如权利要求4所述的信息处理设备，其中所述控制器基于所述拍摄图像检测在所述预定区域内是否存在所述对象，并且在 检测出在所述预定区域内存在所述对象时控制所述投影仪在所述投影图像中包括所述第 一操作图像。
6.如权利要求2所述的信息处理设备，其中当检测到基于所述拍摄图像已识别出元数据的对象不存在于所述预定区域内时， 所述控制器控制所述第二存储装置存储所述元数据。
7.如权利要求6所述的信息处理设备，其中所述控制器从所述预定区域内存在的多个对象识别多条元数据，并且在检测到所 述多个对象全都不存在于所述预定区域内时控制所述第二存储装置一次存储所述多条元 数据作为所述预定列表的一部分。
8.如权利要求6所述的信息处理设备，其中所述控制器从第一对象和与第一对象不同类型的第二对象识别多条元数据，所述 第一对象和所述第二对象存在于所述预定区域内，并且所述控制器在检测到所述第一对象 不存在于所述预定区域内时控制所述第二存储装置存储所述第一对象的第一元数据作为 第一列表的一部分，而在检测到所述第二对象不存在于所述预定区域内时存储所述第二对 象的第二元数据作为第二列表的一部分。
9.如权利要求2所述的信息处理设备，其中所述控制器在识别出所述元数据时控制所述投影仪在所述投影图像中包括不同 于所述第一操作图像的第二操作图像，基于所述拍摄图像检测对所述第二操作图像的操 作，并且在检测到该操作时控制所述第二存储装置存储所述元数据。
10.如权利要求9所述的信息处理设备，其中所述控制器从存在于所述预定区域内的多个对象识别多条元数据，并且在检测到 对所述第二操作图像的操作时控制所述第二存储装置一次存储所述多条元数据作为所述2预定列表的一部分。
11.如权利要求9所述的信息处理设备，其中所述控制器从第一对象和与第一对象不同类型的第二对象识别多条元数据，所述 第一对象和所述第二对象存在于所述预定区域内，并且所述控制器在检测到对所述第二操 作图像的操作时控制所述第二存储装置存储所述第一对象和所述第一对象的第一元数据 作为第一列表的一部分并且存储所述第二对象和所述第二对象的第二元数据作为第二列 表的一部分。
12.如权利要求2所述的信息处理设备，其中所述控制器控制所述投影仪投影动画，该动画利用所述对象的图像示出元数据如 何被存储为所述预定列表的一部分。
13.如权利要求5所述的信息处理设备，其中所述控制器在所述对象的图像被存储在所述第一存储装置中之后检测所述对象 是否从所述对象的图像被存储时所在的位置移动，并且在检测到所述对象已移动时控制所 述投影仪将存储在所述第一存储装置中的对象的图像投影到所述对象的图像被存储时所 在的位置。
14.一种信息处理设备中的信息处理方法，所述信息处理设备包括投影仪、相机和存储 装置，所述方法包括由所述投影仪将包含操作图像的投影图像投影到预定区域上；由所述相机拍摄所述预定区域内的对象的图像；基于所述相机拍摄的拍摄图像检测对所述操作图像的操作；以及在检测到该操作时将所述拍摄图像中的至少所述对象的图像存储在所述存储装置中。
15.一种包括程序的有形计算机可读介质，所述程序使包括投影仪、相机和存储装置的 信息处理设备执行以下步骤由所述投影仪将包含操作图像的投影图像投影到预定区域上的步骤；由所述相机拍摄所述预定区域内的对象的图像的步骤；基于所述相机拍摄的拍摄图像检测对所述操作图像的操作的步骤；以及在检测到该操作时将所述拍摄图像中的至少所述对象的图像存储在所述存储装置中 的步骤。
全文摘要
本发明公开了信息处理设备、信息处理方法和程序。该信息处理设备包括投影仪、相机、第一存储装置和控制器。投影仪将包含第一操作图像的投影图像投影到预定区域上。相机对预定区域内的对象的图像拍摄。控制器基于相机拍摄的拍摄图像检测对第一操作图像的操作，并在检测到该操作时控制第一存储装置至少存储拍摄图像中的对象的图像。
文档编号H04N5/76GK101867755SQ20101015441
公开日2010年10月20日 申请日期2010年4月2日 优先权日2009年4月14日
发明者城井学 申请人:索尼公司