应用图像传感器的电子设备的制作方法

专利名称：应用图像传感器的电子设备的制作方法
技术领域：
本发明涉及例如数字照相机、拍摄机、PDA、便携式电话、信息输入装置、机器人和产业设备等应用照相机的电子设备。
关于现有的应用照相机的电子设备，在日本专利JP-A-6-296206中，论述了关于便携式信息设备的内容。下面对该现有实例进行说明。
通过接口取入来自照相机的图像数据，将取入的图像数据输出显示在液晶显示部，同时，在图像压缩——扩展回路上压缩该取入的图像数据后将其存储在数据RAM中。另外，在数据RAM中存储由键输入输入的备忘录数据和地址名簿数据等，检索该存储数据，在液晶显示部显示输出。
另外，在日本专利JP-A-11-345079中公开了一种应用光学动作传感器IC的手持式定点装置的现有实例。下面说明该实例。
光学动作传感器IC的响应被数字化，作为帧存储在存储器中。通过移动头部，生成由变换图像信息后的图形形成的连续的帧，通过与自身相关联地比较移动方向和移动量而求得可靠。接触检测器检测手持式定点装置的头部的指示器与工作面接触的时间。在手持式定点装置的机身上设置有代替计算机的鼠标的功能的按钮。
在所述第一个现有技术中，问题在于虽然能够在液晶显示部显示输出照相机图像，但另外，因为要输入手写的文字和图形，所以需要鼠标和输入板等输入装置，从而导致所谓的装置的体积变大或笨重。
另一方面，第二个现有技术的对象是手持式定点装置，不能显示和记录输入的图像。
本发明的目的在于提供一种能够显示并记录输入的图像、而且不用新增加鼠标和输入板就能够输入手写文字和图形的电子设备。
为了实现所述目的，在本发明中，输出由图像传感器拍摄的图像后，对由该图像传感器拍摄的图像进行处理，计算图像传感器的移动信息。
或者，输出由图像传感器拍摄的图像后，对由该图像传感器拍摄的图像进行处理，计算图像传感器的被摄物的移动信息。
为了现鼠标的功能，利用计算后的移动信息进行定点用光标的控制。通过按钮与声音或拍摄的图像状态的联动，能够进行点击、双击、拖动的控制。
为了实现输入板的功能，利用计算的移动信息来控制图形输入用光标。通过按钮与声音或拍摄的图像状态的联动，能够进行笔提起、笔落下的控制。
另外，还能利用输入的图形信息进行文字的识别。
也可以利用计算的移动信息进行签字鉴别。
关于机器人和产业设备的控制，通过利用计算的移动信息，能够进行操纵器的控制(或伺服控制)。
移动信息的计算方法包括预先拍摄对应于绝对坐标信息的对象物，求出该绝对坐标信息；进行连续拍摄的图像的对应点计算；从连续拍摄的图像中抽出对象的被摄物，计算其对应点。这里，也可以预先设定对象的被摄物的特征。
进行连续拍摄的图像的对应点计算的方法包括通过在连续拍摄的图像中，对其中一个图像的中央附近的部分图像从另一个图像的较大部分图像中进行搜寻，来计算对应点；通过在连续拍摄的图像中，对其中一个图像的特征多的部分图像从另一个图像的较大部分图像中进行搜寻，来计算对应点。
另外，在对应点计算中，通过进行不受照明变动影响的相关演算，例如标准化相互相关和高频成分取出后一般化Hough变换，使在自然光和荧光灯等照明下的稳定计算成为可能。
另外，求出来自连续图像的转动信息，与此对应来补正移动信息，以正确反映图像传感器的移动方向。
具有加速度的传感器，对应于加速度信息来补正移动信息，从而能够计算出补正移动物体上的振动后的图像传感器的移动信息。
在输出由图像传感器拍摄的图像后，计算移动信息时，变更扫描速度和扫描领域等图像传感器扫描条件。


图1是本发明的基本构成的一个例子；图2是图1的跟踪处理部的实施例；图3是图1的接口的实施例；图4是图1的接口的另一实施例；图5是图1的跟踪处理部的另一实施例；图6是图1的跟踪处理部的另一实施例；图7是图1的跟踪处理部的另一实施例；图8是图1的跟踪处理部的另一实施例；图9是表示本发明的另一实施例的框图；图10是表示本发明的另一实施例的框图；图11是表示本发明的另一实施例的框图；图12是表示本发明的另一实施例的框图；图13是表示本发明的另一实施例的框图；图14是说明本发明的控制方法的图；图15是说明从当前位置向目标位置的控制特性的图；图16是表示应用画面数据的反馈控制系统的构成例子的图；图17是表示基于编目画面数据进行控制的装置构成例子的图；图18是表示配备多个照相机的装置构成例子的图；图19是表示配备多个照相机的反馈控制系统的构成例子的图；图20是配备图像传感器的多轴机械手；图21是表示扩大了图像传感器的视野范围的构成例子的图；图22是表示本发明的一个使用形态的图；图23是表示本发明的一个使用形态的图；图24是表示本发明的一个使用形态的图；图25是表示本发明的一个使用形态的图；图26是表示本发明的一个使用形态的图；图27是表示本发明的一个使用形态的图；图28是表示将本发明应用于拍摄机和数字照相机的形态的图；图29是表示本发明的电子设备的状态迁移的一个形态的图；图30是表示本发明的电子设备的显示画面的一个形态的图31是表示本发明的电子设备的显示画面的一个形态的图。
下面，针对本发明的一个实施例进行详细说明。如图1所示的基本构成由输入图像数据的图像传感器、显示由所述图像传感器输入的图像数据的显示装置和从所述图像传感器输入的图像数据检测对象物体的位置信息的装置构成。
本发明的特征在于在图像显示和位置信息检测中共用一个(或一组)图像传感器。据此，通过把视觉把握的控制对象的位置与该控制对象的实际所处的位置信息进行对应，能够基于视觉控制指示，进行具体的控制对象的控制。作为图像传感器可利用CCD、CMOS和真空管型的摄象元件等。显示装置可利用液晶显示器和CRT等。位置信息检测装置可利用例如CPU、个人计算机等。下面，将控制对象所处的场所称为环境。因此，图像传感器输入的是关于环境的图像数据，显示的是环境的图像数据，进行在环境中的控制对象的位置的控制。
用图13来详细说明本发明的另一个实施例。图13所示的功能块之间的连接表示逻辑上的连接。
由根据控制器1301读出并实行存储在ROM1307中的程序来进行整个动作。
根据图中未示的方式切换，设定为图像显示方式时，首先，通过接口1305向显示缓冲器1302传送由图像传感器1306拍摄的图像。也可以暂时存储于RAM1308内后再传送。显示缓冲器1302的图像根据液晶驱动器1303显示在液晶显示部1304上。
另一方面，当设定为移动方式时，通过接口1305在RAM1308中存储由图像传感器1306拍摄的图像。跟踪处理部1309从存储的连续图像来计算移动信息。
这里，跟踪处理部1309的处理内容用图2表示并详细说明。将来自存储在RAM1308中的第1帧图像的中央的部分图像作为参考图像(201)。然后，为了求出该参考图像处在存储在RAM1308中的第二帧图像中的哪一部分，将来自所述第二帧图像的、比参考图像大的中央部分图像作为检索图像(202)。进行从检索图像求得参考图像的模式匹配处理(203)。
在模式匹配中，根据预先设定的相似度计算，求得参考图像和与参考图像相同尺寸的检索图像内的各部分图像的相似度，决定相似度最高的部分图像的位置。作为该相似度的计算方法是求得对应像素间的差的总和，除相互相关等外，还有标准化相互相关，和从参考图像以及检索图像等中分别抽取高频成分，通过一般化Hough变换等，量化该高频成分的对应等方法。
模式匹配处理后，确定的部分图像的相似度比预先设定的极限值大时，将参考图像与该部分图像的位置不吻合作为移动信息输出，当不比极限值大时，则将位置相吻合作为移动信息输出(204)。
之后，用相同的方法从所述第二帧的图像来设定在下面的模式匹配处理中用的参考图像及从存储在RAM1308中的第三帧的图像来设定检索图像(205)，重复进行模式匹配处理。
利用所述计算的移动信息，控制器1301计算在液晶显示部1304中显示的图像输入用光标的移动，向显示缓冲器1302传送光标的位置。假定所述光标被显示在最初的特定位置上。另外，对应于特定的按钮按下等情况，恢复到初始位置。
也可以不控制图像输入用光标，而控制定点用光标。
在所述实施例中，虽然把跟踪处理部的参考图像作为第一帧的中央部分图像，但也可以通过抽出高频成分等来从第一帧求出特征信息，将特征量多的部分图像作为参考图像。
另外，使用图中未示的按钮来控制笔提起、笔落下，能够输入有效的图形。在这种按下按钮为笔落下，释放按钮为笔提起(或是相反情况)的设定以外，也可以是对应于按钮的按下、在触发器中交替切换笔提起和笔落下的方法。还可不采用按下/释放按钮的方式，而是通过声音的大小、振动的大小和图像模糊程度的大小等来控制。
在定点用光标的场合，使用图中未示的按钮能够实现点击，双击和拖动。这种场合下，一次按下按钮为点击，连续两次按下按钮为双击，一边按下一边移动光标为拖动。还可不采用按下/释放按钮的方式，而是通过声音的大小、振动的大小和图像模糊程度的大小等来控制。
根据所述的图像输入用光标移动信息和笔提起、笔落下信息，能够形成手写文字或图形。该手写文字或图形可以原样显示在液晶显示部1304中，也可以在显示后或不加以显示的情况下进行文字识别。作为对象文字，可以是日语(汉字、平假名、片假名)、外语(不仅仅字母表)、Graffiti等特殊字符、符号、暗号等。另外，可以在显示后或不加以显示的情况下用于签字鉴别。在文字识别的场合中，没有笔提起、笔落下信息也可以进行文字识别。
可以用图中未示的按钮实施文字识别后的所希望的文字的选择，也可以由所述图形输入用光标(或定点用光标)以及笔落下(或点击)信息来指定其选择。
也可以由所述图形输入用光标(或定点用光标)以及笔落下(或点击)信息来指定显示的文字或图形的属性。
接口1305的构成例子如图3所示。在这里，由A/D转换器将图像传感器1306的模拟输出信号转换成数字信号，由信号处理电路302进行特定的信号处理。虽然图3中未记载，但也可以暂时存储在帧存储器中。
接口1306的其它构成如图4所示。在图4中，除了A/D转换器、信号处理电路外，还具有图像传感器设定部403。图像传感器设定部对应于图像显示方式或移动方式，能够变更图像传感器的扫描条件(扫描速度、扫描尺寸等)。因此，例如在图像显示方式下，以30帧/秒来扫描图像传感器的全部，在移动方式下，能够以较高速度的帧速率来扫描图像传感器的一部分。
在以上的实施例中，能通过一只手的操作来输入移动信息。另外，不需要预先准备作为被摄物的对象物。
在图22中表示本发明的实施形态的一个例子。电子设备2201具有液晶显示器2202、照相机2204和按钮2203。一边起动所述电子设备2201，一边按下和释放按钮2203，于是在液晶显示器2202上显示文字。另外，如图23所示，用照相机2304取得图像后，一边起动电子设备2301，一边按下和释放按钮2303，则在取得的图像上显示文字。
另外，如图24所示，设想一边起动电子设备2401，一边按下和释放按钮2403，则也能在另一个电子设备2402的一个液晶显示器2405上显示文字。而按钮2403可以不在电子设备2402中，而是在电子设备2401的一侧上。电子设备之间可以如图24所示那样是有线的，也可以如图25所示是无线的。
作为本发明的其它实施例，是使图13的跟踪处理部的处理按图5所示的那样来进行。在这种场合下，由图像传感器拍摄的物体有必要是预先对应地给定了绝对坐标的物体。
设定为图像显示方式时的操作与前面的实施例相同。
关于设定为移动方式时的由图像传感器1306拍摄的图像通过接口1305存储在RAM1308中也是相同的。另外，虽然在由跟踪处理部计算移动信息这一点上是相同的，但不同的是，其计算方法不是图2的方法，而是图5的方法。
在本实施例中，由拍摄的图像取得绝对坐标信息。
在这里，对应于绝对坐标，可以用(100，50)等数字来表示，也可以用一元或二元条形码等符号来表示。
首先，根据OCR或BCR等方法，从最初图像求得拍摄领域中心的绝对坐标(501)。接着，用同样的方法从下一个拍摄图像求得中心的绝对坐标(502)。从这两个坐标来计算移动信息，并输出(503)。之后，重复这些处理。
跟踪处理部的处理也可以如图6所示那样，只求出拍摄的图像的绝对坐标。在这种场合下，控制器1301由连续图像的绝对坐标来计算移动信息。
在该实施例中，也能够用单手操作来输入移动信息。另外，由于能够用一个帧来求得坐标信息，所以不会有所谓的移动信息的误差的积累。
作为本发明的其它实施例，是使图13的跟踪处理部的处理按图5所示的那样来进行。在图7的跟踪处理中，从图像传感器拍摄的图像中检测出较多地含有包含在预先指定的颜色范围内颜色的对象物(701、702)，输出该对象物的重心位置。
控制器1301从连续图像的重心位置来计算移动信息。
该实施例用于固定图像传感器后识别用手指或笔在空中描写的文字或符号的场合。
作为对象物的特性，可以不必是颜色，而是形状。另外，也可以不必是重心位置，而是外接圆(或矩形)或内接圆(或矩形)的中心。或者，如图8所示，从连续图像中检测出移动量大的物体(802)，输出该物体的重心位置。
在该实施例中，因为能够在其本身处在静止的状态下使用电子设备，利于方便地确认显示在画面上的光标等信息。另外，因为预先判定了对象物的特征，所以能够期望减少移动信息计算中的错误。
如图26所示的是本发明的实施例的一个例子。电子设备2601具有液晶显示器2602、照相机2604和按钮2603。例如用左手拿着所述电子设备2601，一边移动右手的手指2605，一边按下和释放按钮2603，则在液晶显示器2602上显示文字。可以预先对右手的指头施加特定的图样。不是手指时，也可以是具有特定的颜色、图样或形状的对象物。
以下表示作成电子邮件的例子。图29是输入文字/图形时的电子设备的状态迁移图。状态2901是确定准备用手写输入文字/图形的起点的状态。状态2902是输入手写文字/图形信息时的状态。状态2903是从手写文字中识别的文字/图形的几个候选中选择合适的候选的等待状态。
从状态2901向状态2902的迁移2904根据准备输入的文字/图形的起点的确定而启动。起点的确定，可以通过例如判定笔已静止(移动量在一定时间、特定范围以下)，或按下特定的按钮等来进行。
确定起点后，向状态2902迁移，操作者手写所期望的文字/图形。在这里，为向操作者通知起点的确定，虽然在状态2901中不能描画轨迹，但可在状态2902中描画轨迹，或变化显示的光标的颜色或形状，或变化画面的整体颜色，或变化液晶显示器的特定位置的显示。按下特定的按钮，还可以删除不想要的描画信息。
另外，从状态2902向状态2903的迁移2905，根据检测到期望的文字/图形的手写输入的终止来启动。作为手写输入终止的检测方法，可以通过例如判定笔已静止(移动量在一定时间、特定范围以下)，或者光标从在此前输入的文字/图形的重心移动了规定距离以上的距离，或按下特定的按钮等来进行。在文字/图形的输入中，也可根据特定的情况来控制笔提起/笔落下。在这种场合中，可以将笔提起的时间超过了特定的时间，或笔提起中的动作被识别为特定的姿势等情况检测为手写输入的终止。
检测出手写输入的终止后，输出手写输入文字/图形的识别结果。在一笔写成的文字/图形的场合中，使用与之对应的识别算法，在液晶显示器上显示一个或多个候选。
从状态2903向状态2901的迁移2906，通过根据期望的文字/图形来选择所述显示为候选的任一个而启动。作为选择手段，可以是按下对应于候选所在位置的按钮，还可以是用手写来表示对应的候选的识别因子，等。选择的文字/图形插入在此前输入的文字/图形系列的特定位置中。
图30表示本发明的电子设备的液晶显示器的显示例。在图30中，领域3001是显示邮件的文字/图形系列的区域，区域3002是显示手写文字/图形用的区域，区域3003是显示候选的区域。3004是光标。
另外，在图31中，表示本发明的电子设备的液晶显示器的其它显示例。在该例子中，区域3101是显示邮件的文字/图形系列的区域，区域3102是显示手写文字/图形或显示候选的区域。手写文字/图形的显示和候选的显示在时间上被分开。也就是说，在图29中，在状态2901和状态2902中，在区域3102是显示手写文字/图形用的区域，在状态2903时变为显示候选用的区域。3103是光标。
另外，如图27所示，由照相机2704取得图像后，一边移动右手手指2705，一边按下和释放按钮2703，一边在取得的图像上显示文字。
另外，也可以不用左手把持电子设备，而是将其放置在适当的场所来使用。
用图9来说明本发明的其它实施例。在图9中，表示基于跟踪处理部输出的移动信息来控制操纵器910的实施例。
该实施例能够用于，例如，在操纵器的前面安装图像传感器、从图像传感器拍摄的图像来识别操纵器正在操作何处，等场合。
可用多关节机器人和伺服装置来取代操纵器。
用图10来说明本发明的其它实施例。在图10中，除了跟踪处理部外，还增加了回转角测量部1010，用于检测图像传感器与初期位置(或前一帧)相比较，回转了多少角度的信息。
因此，由于在由跟踪处理部计算的移动信息中，考虑了所述回转信息，所以求出了真实的移动信息(移动方向)。
例如，当计算出图像传感器与初期位置相比回转了x度时，对于由跟踪处理部计算的移动方向，把补正x度后的移动方向作为真实移动方向来计算。控制器1001使用该真实移动方向来实施图形输入用光标控制、定点用光标控制、签字鉴别或操纵器控制。也可以与回转信息一起作用，进行高度的识别或控制。
用图11来说明本发明的其它实施例。在图11中，除了跟踪处理部外，还增加了扩大缩小测量部1110，用于检测图像传感器与被摄物的距离与初期位置(或前一帧)相比，有多少增减的信息。即，与前一帧相比，被摄物如果被扩大的话，则识别出图像传感器与被摄物的距离接近，反之，如果被摄物被缩小，则识别出图像传感器与被摄物的距离增大。关于距离的变化量，预先测定它与扩大缩小测量部测量的倍率之间的对应关系，再利用该对应关系和扩大缩小测量部求得的倍率来求得该变化量。
控制器1101利用由跟踪处理部求出的移动信息和所述图像传感器与被摄物的距离增减的信息，进行图形输入用光标控制、定点用光标控制、签字鉴别或操纵器控制。具体而言，在图形输入用光标控制的场合中，根据所述移动信息计算出光标的位置，根据所述图像传感器与被摄物的距离来计算判定笔提起/笔落下等。在定点用光标控制的场合中，对应于所述图像传感器与被摄物的距离，也可以不用移动光标。在签字鉴别中，也能够利用图像传感器与被摄物的距离变动信息作为鉴别信息。在操纵器控制中，能够使用图像传感器与被摄物的距离的变动信息，识别图像传感器(或被摄物)的较详细的位置，反映到控制上。
追加如图10中所示的实施例所述的追加回转角测量部，也可进行所述识别及/或控制。
用图12来说明本发明的其它实施例。在图12中，除了跟踪处理部外，还增加了加速度传感器1210，不仅测量图像传感器与被摄物的相对移动信息，还测量(相对于地球)绝对移动信息。
在移动物体上使用本实施例构成的电子设备时，从跟踪处理部求得的移动信息和由加速度传感器所得到的移动信息求得由移动物体引起的振动影响，向由跟踪处理部求得的移动信息反映该影响，以消减由振动引起的不期望的移动信息。
图14表示具有控制图像传感器与环境的相对位置的构成的装置的控制方法的一个例子。假设在当前画面的中央显示的地方是图像传感器的位置所在。一边看该画面，一边从图像传感器所处的当前位置在画面上指示目标位置。基于在位置信息检测装置检测的信号，画面上的指示内容为作为移动距离(距离和方向)算出当前位置＝(x0，y0)与目标位置(x1，y1)的差量＝(dx，dy)后，作为对于所述装置的指示信号。作为其它的目标设定，可以利用向目标位置移动的移动矢量(方向，移动速度等)。
本发明不限于具有图像传感器的装置构成，例如具有车轮的移动装置、控制图像传感器方向的拍摄装置、具有图像传感器的机械手等等。通过向这些装置的驱动系统提供基于前述指示的控制信号，能够控制图像传感器与拍摄环境的相对位置。或者是可搬动型的照相机装置，能够利用手持的位置信息。
图15表示这些装置从当前位置向目标位置的控制特性。在实际的装置构成中，虽然多是需要多元系统的控制，但这里表示的不过是基本的一元位置控制。虽然从一个图像传感器只能得到二元的图像数据，但为了进行位置控制，需变换成供给多元驱动系统的控制信号。这一点，在加强的装置构成中用多元方程式确定关系是不成问题的。即使是非线性元素，也能够根据某种近似处理进行控制信号的变换。如所周知，为了实现响应的即应性和稳定性，还可利用反馈控制系统。本发明在进行所述的目标位置的设定的同时，还在反馈信号的检测中利用所述的图像传感器。
这里，目标位置设定方法能够进行根据画面上鼠标等输入装置的指示。或者，能够把在预先记录好的目标位置上输入的画面数据作为目标位置的指示信号加以利用。即，通过进行从图像传感器输入的图像数据和记录图像数据的匹配处理，算出在画面上的移动距离。所述的记录画面数据，例如是作为一般症状例的特征画面，能够利用该记录画面，实行关于图像传感器所处环境中的存在位置的判定及有无存在的判定等。
图16是表示使用画面数据的反馈控制系统的构成例子的图。使用图像传感器输入控制对象所处环境。所述该图像传感器拍摄的图像数据被提供给向操作者提示用的显示装置和控制用的位置信息检测装置。
操作者的目的是控制具有图像传感器的控制对象的位置，实现容易的目标位置的设定，提高即应性和稳定性。为此，本发明向操作者提供可一边观察画面一边进行位置控制的接口，其特征在于还利用从图像传感器算出的位置信息作为反馈信号并进行控制。当前位置与目标位置的差量作为控制信号被赋予控制对象，对驱动系统进行控制。对于控制系统，使用当前位置与目标位置进行控制，由于能预先设定途中的轨迹，还能够预先算出向驱动系统的控制信号，所以具有提高即应性及稳定性的效果。
操作者的目标位置的设定能够利用一边观察画面一边操作用的鼠标、输入板、操纵杆等。这些输入装置设定的信号为画面上的目标位置或向目标位置移动用的矢量信息(移动方向、移动速度等)等。例如鼠标、输入板等适于位置设定，操纵杆等适于矢量的设定。此外，可以单独或组合利用。另外，在进行这些指示的输入装置中，通过组合生成对应于驱动系统所受的反作用力的信号的机构，能够向操作者反馈动作。
本发明在反馈控制系统方面不限于反馈环的构成。可以是对控制对象利用单一控制信号的单环路，也可以是利用多种控制信号的多环路。例如，操作者通过手动加入指示信号，能够构成使所述图像传感器算出的位置信息多重归还的反馈控制系统。在这种构成中，操作者随着时间的变化任意设定目标位置，能够尽早进行稳定跟踪的控制。
图17是基于预先记录的画面数据进行控制的装置构成。进行记录画面数据和从图像传感器输入的画面数据的相关演算，因而算出相关度最高的场所作为目标位置。作为算出结果的目标位置不仅能够作为控制对象的控制信号利用，还能够作为检测结果向操作者进行提示。
在图像传感器的视野范围小时，可附加能使传感器的视野角度在环境内扫描的检索程序。具体而言，通过使图像传感器的头部摆动，便可变为全范围的拍摄。在相关的演算中，在检测出成为匹配候选的相关性时，因具有向操作者提示该画面位置为候选的手段而能够提高操作性。例如显示装置方面，能够在显示画面中用点、光标、闪烁等签字来显示候选场所的位置。
当然也可通过组合操作者的手动操作来提高检测的精度。
本发明不限定图像传感器的个数。例如图18所示，可具有多个照相机。它具有扩大图像传感器的视野范围、检测三元位置、缩短拍摄时间、缩短环境内的扫描时间的优点。具体而言，VGA(640×480像素)尺寸的图像传感器，一边是数毫米大小，而且多数成本低，所以在构成装置方面不存在问题，反而所述优点更突出。
如图19所示，来自多个图像传感器的输入通过根据开关回路的切换，能够简单地构成处理装置。为了使用来自不同视点的多个图像数据，在利用数字照相机等作为能够控制空间上的位置设定的图像传感器时，因为发生了由透镜系统等引起的图像畸变，所以要对这些图像畸变加以补正后再使用。在此，对此处的畸变的补正的方法和手段不加以限定。
如图20所示的作为一个例子的具有图像传感器的多轴机械手，能够在空间上以多个自由度移动的场合内，能够控制向任意位置的移动。虽然以往多利用旋转编码器等控制回转角度，但根据本发明能够利用由图像传感器输入的位置信息，所以能够利用图像数据进行直至达到目标位置的控制。另外，在本发明中，使用来自图像传感器的图像数据，能够检测出到达目标位置的途中轨迹的障碍物，因此，通过配置回避该障碍物的控制装置，能够辅助多自由度系统的控制。
另外，作为扩大图像传感器的视野范围的办法，可利用图像传感器的扫描。如图21所示，对环境而言，如果图像传感器的视野范围窄，可通过移动拍摄方向输入全部图像数据。使用所述位置信息检测装置从该输入图像数据检测视野位置，并通过在画面再构成装置中合成输入画面，便能够对用单一的图像传感器无法输入的视野范围制成图像数据。合成结果可在存储器准备的虚拟视野范围(存储器画面)中写入。因此，操作者能够从存储器中读出目标位置的周围的图像数据，并在显示装置中显示。
另外，可利用画面的滚动功能，一边任意滚动存储器上的合成画面，一边设定目标位置，生成对应于该目标位置的控制对象的控制信号。
图像传感器的扫描，可通过使用电机驱动系统来使传感器本身实现头部摆动的运动。或者通过所述的多个图像传感器的组合来实现和扫描等价的效果。另外，也能够在所述存储器画面上进行预先记录的画面数据的相关演算。能够进行全部画面的候选点的检测及显示。
下面，使用图28来表示应用于拍摄机、数字照相机的本发明的一个例子。图28表示整体构成。用图像传感器906拍摄的图像通过接口905显示在由液晶驱动器903、LCD904构成的显示部上。拍摄机和数字照相机的用户根据显示所取场景按下拍摄指示按钮3005，来自图像传感器906的图像就存储在存储部908中。这是与现有装置相同的动作。在这里，停止拍摄指示按钮3005的按下时，跟踪处理部909动作，跟踪来自图像传感器906的图像，计算坐标、在文字别部3001进行文字识别。也就是就，用户在想取的图像处按下拍摄指示按钮后，通过启动照相机，就能输入作为对应于所取图像的特征的文字。该文字特征通过附加部3002附加于图像中，并存储在记忆部908中，之后，当检索所需的图像时，能提高效率。该输入文字通过使用美国3COM公司提倡的GRAFITY文字，能用一个笔画输入字母表，具有使识别处理简单的优点。另外，作为文字输入的时机，如果仅限定在图像输入之后，由于在输入连续图像时可能发生时间的损失，所以也可另外设置文字输入按钮，使图像输入指示与文字输入的切换变为可能。
另外，这里所说的环境不限于固定的四边形的房屋，也可以是室外风景画面中的环境、洞窟等周围封闭的环境，随时间变化的不定形的环境等。
根据本发明，可以显示和存储输入的图像、不必新附加鼠标和输入板就能够进行手写文字和图形的输入。
另外，在操纵器的头部安装图像传感器的情况下，对应于动作指令，反馈从图像传感器求得的移动信息，从而能够改善对于操纵器的指令值的动作的跟踪性能。
权利要求
1.一种具有图像传感器的电子设备，其特征在于，具有输出由所述图像传感器拍摄的图像的装置，和通过处理由所述图像传感器拍摄的图像来计算图像传感器的移动信息的装置。
2.如权利要求1所述的电子设备，其特征在于利用计算的移动信息进行定点用光标的控制。
3.如权利要求1所述的电子设备，其特征在于利用计算的移动信息进行图形输入用光标的控制。
4.如权利要求1所述的电子设备，其特征在于利用计算的移动信息进行传感器的鉴别。
5.如权利要求1所述的电子设备，其特征在于利用计算的移动信息进行操纵器的控制。
6.如权利要求2所述的电子设备，其特征在于根据与按钮的联动，进行点击、双击、拖动的控制。
7.如权利要求2所述的电子设备，其特征在于根据与声音的联动，进行点击、双击、拖动的控制。
8.如权利要求2所述的电子设备，其特征在于根据与拍摄图像状态的联动，进行点击、双击、拖动的控制。
9.如权利要求3所述的电子设备，其特征在于根据与按钮的联动，进行笔提起、笔落下的控制。
10.如权利要求3所述的电子设备，其特征在于根据与声音的联动，进行笔提起、笔落下的控制。
11.如权利要求3所述的电子设备，其特征在于根据与拍摄的图像的状态的联动，进行笔提起、笔落下的控制。
12.如权利要求3所述的电子设备，其特征在于利用输入的图形信息进行文字识别。
13.如权利要求1所述的电子设备，其特征在于预先拍摄对应于绝对坐标信息的对象物，通过求出所述绝对坐标信息来计算移动信息。
14.如权利要求1所述的电子设备，其特征在于通过进行连续拍摄的图像的对应点的计算来计算移动信息。
15.如权利要求14所述的电子设备，其特征在于在连续拍摄的图像内，对一个图像中央附近的部分图像从另一个图像的更大的部分图像中进行检索，以此作对应点计算。
16.如权利要求14所述的电子设备，其特征在于在连续拍摄的图像内，对一个图像的特征多的部分图像从另一个图像的更大的部分图像中进行检索，以此作对应点计算。
17.如权利要求14所述的电子设备，其特征在于根据不受照明变动影响的相关演算，进行对应点的计算。
18.如权利要求17所述的电子设备，其特征在于作为不受照明变动影响的相关演算，进行标准化的相互相关。
19.如权利要求17所述的电子设备，其特征在于作为不受照明变动影响的相关演算，进行抽出高频成分后的一般化Hough变换。
20.如权利要求14所述的电子设备，其特征在于对应于求得的图像的回转信息，补正移动信息。
21.如权利要求1所述的电子设备，其特征在于还具有加速度传感器，对应于从所述加速度传感器输出的信息，补正移动信息。
22.如权利要求1所述的电子设备，其特征在于在输出由所述图像传感器拍摄的图像时以及在计算移动信息时，变更所述图像传感器的扫描条件。
23.如权利要求22所述的电子设备，其特征在于所述图像传感器的扫描条件为扫描速度。
24.如权利要求22所述的电子设备，其特征在于所述图像传感器的扫描条件为扫描区域。
25.如权利要求1所述的电子设备，其特征在于通过移动电子设备机身，计算所述电子设备的移动信息。
26.一种具有图像传感器的电子设备，其特征在于具有输出由所述图像传感器拍摄的图像的装置，和通过处理由所述图像传感器拍摄的图像，计算所述图像传感器的被摄物的移动信息的装置。
27.如权利要求26所述的电子设备，其特征在于利用计算的移动信息进行定点用光标的控制。
28.如权利要求26所述的电子设备，其特征在于利用计算的移动信息进行图形输入用光标的控制。
29.如权利要求26所述的电子设备，其特征在于利用计算的移动信息进行传感器的鉴别。
30.如权利要求26所述的电子设备，其特征在于利用计算的移动信息进行操纵器的控制。
31.如权利要求27所述的电子设备，其特征在于根据与按钮的联动，进行点击、双击、拖动的控制。
32.如权利要求27所述的电子设备，其特征在于根据与声音的联动，进行点击、双击、拖动的控制。
33.如权利要求27所述的电子设备，其特征在于根据与拍摄图像状态的联动，进行点击、双击、拖动的控制。
34.如权利要求28所述的电子设备，其特征在于根据与按钮的联动，进行笔提起、笔落下的控制。
35.如权利要求28所述的电子设备，其特征在于根据与声音的联动，进行笔提起、笔落下的控制。
36.如权利要求28所述的电子设备，其特征在于根据与拍摄的图像的状态的联动，进行笔提起、笔落下的控制。
37.如权利要求28所述的电子设备，其特征在于利用输入的图形信息进行文字识别。
38.如权利要求26所述的电子设备，其特征在于从连续拍摄的图像中抽出作为对象的被摄物，通过对所述被抽出的被摄物作对应点计算来计算移动信息。
39.如权利要求26所述的电子设备，其特征在于预先设定作为对象的被摄物的特征。
40.如权利要求26所述的电子设备，其特征在于在输出由所述图像传感器拍摄的图像时以及在计算移动信息时，变更所述图像传感器的扫描条件。
41.如权利要求40所述的电子设备，其特征在于所述图像传感器扫描条件为扫描速度。
42.如权利要求40所述的电子设备，其特征在于所述图像传感器扫描条件为扫描区域。
43.如权利要求26所述的电子设备，其特征在于通过在所述图像传感器的视野内移动第三物体，计算该第三物体的移动信息。
44.一种电子设备，具有图像传感器、显示由所述图像传感器拍摄的图像的显示部和存储由所述显示部显示的信息的存储部，其特征在于对由所述图像传感器拍摄的图像的移动信息进行文字识别，将所述识别结果作为属性附加到拍摄的图像的手段。
45.如权利要求44所述的电子设备，其特征在于使用表达英文数字的符号作为属性。
46.如权利要求45所述的电子设备，其特征在于将属性作为表达1个字符的英文数字的符号而使用Grafity字符。
47.如权利要求44所述的一种电子设备，其特征在于具有切换拍摄图像的方式和输入记号的方式的按钮。
48.如权利要求47所述的一种电子设备，其特征在于具有指示图像拍摄的按钮、和在解除所述指示图像输入的按钮时，在预先设定的一定时间内切换为输入记号的方式的装置。
全文摘要
一种能够显示并存储输入图象的电子设备,输出由图像传感器拍摄的图像,使用能够根据在位置信息检测装置处理的由图像传感器拍摄的图像来计算图像传感器本身或图像传感器拍摄的被摄物的移动信息的图像传感器、不必新增加鼠标和输入板,能够输入手写文字和图形。
文档编号G06F3/033GK1361466SQ01117048
公开日2002年7月31日 申请日期2001年2月28日 优先权日2000年12月25日
发明者池田光二, 犬塚达基, 葛贯壮四郎, 中岛启介, 藤井健二郎 申请人:株式会社日立制作所