专利名称：带摄象机的笔型输入装置的制作方法
技术领域：
本发明涉及使用更加方便的带摄象机的笔型输入装置，确切地说，本发明涉及采用使用者能简单地调用信息处理装置的功能的用户界面方式的带摄象机的笔型输入装置。即，本发明涉及用于信息处理装置中的手持式图象输入装置。
背景技术：
作为与带摄象机的笔型输入装置有关的现有技术，存在一种如ACM出版社出版的“计算系统中的人为因素”(CHI95,CONFERENCE COMPANION,P256-P257)所述的MEMO-PEN(记忆笔)。MEMO-PEN是笔杆周嵌入了小型摄象机且隔着笔尖对笔尖附近连续摄影以记录笔迹的装置。MEMO-PEN的摄象机的摄影范围被限制在判断笔迹方向所需的狭窄区域中。
在MEMO-PEN中，由于摄象机嵌装到笔杆中，所以不会比使用者手持部位更靠前地设置光学系统，使用者的手防碍了摄象机的视野。因此，即使采用视野广阔的光学系统，但由于光学系统离对象物(纸)的距离有限，所以存在着摄象机视野无法扩大的问题。此外，在使用者自然握持笔的状态下，由于笔杆通常相对垂直面大角度倾斜，所以嵌入笔杆的摄象机所拍摄的图象变成了倾斜看对象物的图象。
MEMO-PEN的功能是这样的，记录使用者用MEMO-PEN书写的笔迹，随后借助任何信息处理装置重现笔迹或者识别文字。就是说，在收集笔迹数据当中，即使用者使用MEMO-PEN当中，不能采用带摄象机的笔型输入装置进行被称为调出信息处理装置功能的用户界面。因此，适用于输入中的处理对象(笔迹)的处理类型不能由笔指定。此外，在采用MEMO-PEN的场合中，由于笔尖与笔迹位置通常一致，所以没有必要调节输入对象(笔迹)与笔尖的位置关系。
此外，作为与带摄象机的笔型输入装置有关的现有技术，存在一种如ACM出版社所出版的“计算系统中的人为因素”的97年学报(CHI97,CONFERENCEPROCEEDINGS,P327-P334)所述的被称为“纸连接”(paperlink)的系统。在纸连接中，作为使用者输入处理对象用的装置采用了装有小型摄象机的笔型输入装置。在使用者自然握笔的状态下，小型摄象机设置在从正方往下看对象(纸)的位置上。摄象机的视野被设定成能够拍摄到笔尖附近数厘米见方的范围。所拍摄的笔尖附近的图象被输入信息处理装置中并且对应于其内容进行各种处理。如果所输入的对象是已知的，则进行与其对应的预定处理。例如，打开预定文件向使用者进行提示，或者开始进行预定程序，所输入对象如果是未知的，则暂时存储起来并将其用作用于随后进行的命令的自变量。
本发明要解决的问题是，在将小型摄象机安装在笔型输入装置上且用图象输入对象的装置中，使用状况恶化的事情。
在MEMO-PEN中本发明要解决的问题是，为了将包括光学系统的摄象机装入笔杆中，很难使摄象机保持宽广的视野。
此外，与上述纸连接系统有关地存在这样的问题，即由于首先要将笔杆和摄象机的中心轴设置在同一平面上，所以不能通过自然操作指示纵长图象。
此外，在纸连接输入装置中，指示对象的方法不是一类的，所以不能同时指定处理对象与处理的类型。
此外，在象纸连接系统这样地摄象机从上向下拍笔尖的结构中，如果使用者使指示对象与笔尖重叠，则笔尖遮住指示对象，从而转变为不能正确输入的状态。
此外，由于笔尖和指定对象不能如上所述地重叠，所以必须使对象的指示方法反映使用者的喜好。就是说，在带摄象机的笔型输入装置中，指示对象位置与笔尖位置之间的关系因使用者的指示方法的喜好而各不相同。例如，当使用者指示横长形对象时，无法感觉出一个使用者想指示正中央附近而其它使用者指示右下。指示对象时的笔倾斜度等也因使用者不同而不同。
发明内容
本发明的目的是解决上述问题并且提供一种使用状况更好的带摄象机的笔型输入装置。
为实现上述目的，在本发明中采取了以下措施。
在本发明中，在将摄象机装在笔上时，将摄象机中心轴错开一点地设置在笔的中心左右。在使用者从右侧指示纵长对象时，即使用者用右手指示对象时，将摄象机设置在笔杆的左侧。由此一来，笔杆不会进入摄象机与对象之间而构成障碍。相反地，在使用者从左侧指示纵长对象时，即使用者用左手指示对象时，摄象机被设置在笔杆的右侧。此外，代替将摄象机左右错移地进行固定的方式，一边使摄象机在0度-90度范围内左右转动，一边左右移动。
在小型摄象机或装有小型摄象机的笔的部分上，设置了指定适用于所指示对象的处理的类型的处理指定装置。该处理指定装置例如是用多色圆珠笔更换笔尖颜色的半成装置。使用者预先通过该处理指定装置设定预定处理并且能够与指定处理对象同时地开始进行处理。处理指定装置可以是改变笔尖形状或颜色的装置。由于笔尖是指示对象的部分，所以使用者一边在视线中捕捉指示对象，同时也能看到对应于处理种类的笔尖的形状或颜色。
在设置了教导使用者正确的对象指示方法的指示方法教导机构的同时，设置了检测出使用者的对象指示方法不正确的错误指示检测机构。错误指示检测机构例如，将所检测对象的区域与笔尖书写区域的重合并且能够判断出使用者的对象指示方法为非正确。此外，在对象抽取上连续地仅失败规定次数时，也可以判断出使用者的对象指示方法为非正确。
此外，为了设定使用者采用带摄象机的笔型输入装置进行对向指定时的喜好，而设置了指示差异的补正手段。指示差异补正手段与一般的图形输入板显示器的视差补正手段不同，它是记录与带摄象机的笔型输入装置和由其指示的对象的位置关系有关的使用者喜好的机构。
图1是表示采用视频笔的系统的整体结构的图。
图2表示视频笔的结构。
图3是从上方看视频笔的视图。
图4表示用视频笔拍摄横写文字行的图象的一个例子。
图5表示用视频笔拍摄纵写的文字行的图象的一个例子。
图6从上方表示左撇子用视频笔的结构。
图7定量地说明视频笔的摄象机错移量。
图8表示视频笔的摄象机错移量极少的笔尖形状的例子。
图9表示视频笔的结构。
图10是从上方表示视频笔的图(横写用设定)。
图11是从上方表示视频笔的图(纵写用设定)。
图12表示通过横写用设定拍摄横长对象的图象的一个例子。
图13表示通过纵写用设定拍摄纵长对象的图象的一个例子。
图14表示处理指定装置的整体结构。
图15表示用视频笔指示差异对象时的一个例子。
图16表示在抽取对象后检测笔尖与对象重合的例子。
图17表示教导指示物的画面的一个例子。
图18表示指示指示差异补正手段所示信息的一个例子。
图19表示指示差异补正页的一个例子。
图20表示为指示补正而拍摄标准图象所得图象的一个例子。
图21表示信息处理装置内部结构。
图22表示输入二进制图象一例的横长对象时的例子。
图23举例表示指示差异补正值。
图24说明指示差异补正数据。
图25说明对象抽取。
图26举例表示所抽取对象的图象。
图27说明倾斜度补正。
图28举例表示倾斜度补正后的对象的图象。
图29举例表示特征量。
图30举例表示图象词典的结构。
图31举例表示处理表的结构。
图32举例表示操作表的结构。
图33举例表示信息处理装置的显示画面。
最佳实施形态图1是实施本发明的硬件结构的一个例子。使用者利用装有小型摄象机101的笔型输入装置能够将数据输入信息处理装置102中并同时执行信息处理装置102的命令。
这样的带摄象机的笔型输入装置在以下说明书中被称为视频笔103。当使用者用视频笔103指示某物时，装在视频笔103前端的开关即笔尖开关被接通。在检测到笔尖开关被接通时，信息处理装置102从视频笔103的摄象机101中读取图象并与其内容相应地进行各种处理。例如，从图象中抽取文字行，对其进行文字识别并转入词典程序中，并在显示器105上显示出结果。
图2是表示视频笔103结构的一个例子。笔杆201是使用者手持的部分，在其前端上安装了笔尖开关104。笔尖开关104的前端例如成棒形，当使用者用视频笔103指示对象时，其棒体被压入笔杆201中，从而接通电触点。能够拍摄到视频笔103前端附近地将摄象机101安装在笔杆201上。摄象机101通过摄象机202定位件202被安装在笔杆201上。在使用者按照手持要领而握住视频笔103时，尽可能将摄象机101安装在能垂直向下拍摄前端附近的位置上。市销小型摄象机能够被用作为摄象机101。在采用四分之一英寸摄象元件的小型摄象机中，截面是直径小于1厘米的圆形，长度是数厘米。又，笔杆201与通常的笔一样，它是直径约为1厘米的截面成圆形的棒形笔。
图3表示在与使用者握持图2所示视频笔103时相同的状态前从正上方往下看的情况。在这种场合下，摄象机101设置在竖直方向上，看到的是与截面形状相同的圆。在这里应注意的是，笔杆201不与摄象机101设置成同一平面状。摄象机101比安装笔杆201的平面向左上方错开了一点。这是要考虑到防止在用视频笔103指点纵写文字行时笔杆201遮住对象行。
图4是用图2所示的视频笔103拍摄横写文字行的图象的例子。视频笔103的笔尖401比图象中心略靠右下地进行书写。在中央部拍摄使用者所指示的对象图形402。
图5是用图2所示的视频笔103拍摄纵写文字行的图象的例子。视频笔103的笔尖401在与图4相同的位置上进行书写。这当然是为了固定摄象机101与笔杆201的位置关系。在图5中，对象图形501在图象中心上下进行书写。此时，摄象机101比笔杆201向左侧错开了一点，因此，笔杆201没有构成障碍地遮住纵写文字中的对象图形501。
图6是与图3同样地表示构成左撇子用视频笔103时的摄象机101设置方法。在图3所示的视频笔103中，以右手操作为前提，希望用右手从右侧指示纵长对象，而为了用左手从左侧指示纵长对象，摄象机101可以设置在比笔杆201向右错开一点的位置上。这样，在用视频闭103从左侧指示纵长对象时，也防止了笔杆201遮住对象。
图7表示使得摄象机101相对笔杆201的中心平面而错开多少程度为佳的情况。为了不让笔杆201遮住纵长对象，摄象机101所拍摄的部分必须错开笔杆201大小701的一半以上。然而，根据笔尖401的形状，比上述错开距离略小一些也就够了。例如，在进入摄象机101图象的范围内的笔尖401是图8所示形状时，错位距离大于0即可。因此，摄象机的错位可以如此地通过进入摄象机图象范围内的笔杆201进行调整，使得大于比笔杆201中心线更向指示对象侧偏出的部分的宽度。
图9表示视频笔103结构的另一个例子。笔杆201部分与图2所示的笔杆部分相同，而摄象机101安装方法不一样。
图10是在与使用者握持图9所示视频笔103时相同的状态前从正上方往下看的情况。在这种场合下，与图3的情况不同地，摄象机101设置在与笔杆201相同的平面上。因此，尽管指示横长对象上没有问题的，而当指示纵长对象时如纵写的文章行，笔杆构成了障碍。
为了解决这个问题，在图9所示的视频笔103中，摄象机101相对笔杆201转动90度角并且向左错开。图11表示从上望下看摄象机101转动并向左错开状态的视图。摄象机定位件202中间弯曲，在使摄象机101转动90度的同时，使其向左偏出。当在这种状态下指示纵长对象时，笔杆201没有遮住对象。
图12是不使摄象机101转动并在图10的状态下时拍摄横长对象的图象的一个例子。笔尖401书写位置在图象中央的略下方，此外的结构与图4的场合基本一样。就是说，当指示横长对象时，图2所示的视频笔103可以说与图9所示的视频笔103在指示横长对象时几乎相同。
另一方面，图13是在摄象机101成为图11所示状态地指示纵长对象时的图象的一个例子。在这种情况下，由于摄象机101转动了90度，所以笔尖401在图象中心的左下侧书写。纵长对象在图象横向上变长地被写入。由于用市场销售的摄象机拍摄的图象一般是横长的，所以存在着这样的优点，即在图9所示的视频笔103的结构中，在指示纵长对象时，也有效地利用了摄象元件的象素。
即，当用图2所示的视频笔103指示纵长对象时，如图4所示地，只能输入存放在图象短边中的对象，而在图9所示的视频笔103中，如图13所示，能够输入存放在图象长边中的对象。
不过，在图9所示的视频笔103中，在指示纵长对象和指示横长对象的场合下，使用者不能切换摄象机101的配置，这一点是不利的。因此，当摄象机101清晰度及摄象范围十分大时，希望采用图2的结构，若不是上述情况，则希望采用图9的结构。
又，对于图9所示的视频笔103的结构，其优点在于，如果摄象机101向右偏出，则也能够在从左侧指示的场合下处理纵长对象。
在图9所示的视频笔103中，为了让信息处理装置102判断对象是横长的还是纵长的，视频笔103的摄象机101必须知道设定在何处。这可以通过电读取摄象机定位件202的状态来实现，或根据所拍图象判断来实现。就是说，调查笔尖401在图象何处上书写，能够确定摄象机101位于何处。如果笔尖401如图12所示在图象中央下侧书写，则这是拍摄横长对象的场合。而如果笔尖401如图13所示在图象左下侧书写，则这是从右侧指示纵长对象的场合。同样地，笔尖401如果在图象右下侧书写，则是从左侧指示纵长对象的场合。
在视频笔103笔杆201的部分上，安装了指定适用于所指示对象的处理的类型的处理指定装置1401。处理指定装置1401例如是切换彩色圆珠笔颜色的半成品。在图14中画出了处理指定装置1401的一个例子。使用者通过转动位于笔杆201上端的转动部1402来选择对应于起动处理的颜色。这样一来，从笔尖401露出对应于所选颜色的笔芯。
如果使用者预先通过处理指定装置1401设定规定处理，则在指定处理对象的同时能够启动该处理。处理指定装置1401也可以改变笔尖401的形状或颜色。由于笔尖401是用于指示对象的部分，所以使用者一边在视野中捕捉指示对象并同时能够看见对应于处理种类的笔尖401的形状或颜色。
为了读取处理指定装置的状态即选择哪个笔芯，例如考虑利用电触点的结构。在这种场合下，例如在笔尖开关401接通时，读取处理指定装置1401的状态。
此外，由于笔尖401也进入摄象机101的视野中，所以在处理来自摄象机101的图象时，即使不采用特殊电信号，也可以通过图象处理特定处理类型。由于笔尖401与摄象机101的位置关系是已知的，所以预先计算出笔尖401、尤其是笔芯位于来自摄象机101的输入图象中的何处。在图象处理过程中，检查位于该位置的颜色，从而可以容易地判断出现所选择的处理的类型。
在本发明的用户界面方法中，使用者利用视频笔103地利用图象把处理对象输入到信息处理装置102中。因此，为了正确输入处理对象，使用者必须通过视频笔103获知正确的对象指定方法。即，视频笔103的笔尖401不要遮盖住对象，而笔尖401也不要与对象分开。
但是，初次使用视频笔103的使用者如图15所示地将笔尖401叠放在对象上。在这个状态下，象笔输入式计算机那样地指示的对象是系统的显示物，在配备有输入用笔指示的显示器上的坐标的手段的情况下，不存在问题。然而，在象本发明的用户界面方法那样地从俯拍摄笔尖401附近的图象中抽取指示对象的场合下，指示对象被笔尖401挡住是很大的问题。
如上所述，为了对付使用者把笔尖401叠放在对象上的情况，必须设置检测引起这样状态并且教导使用者正确的指示方法的指示方法教导机构。
能够如下述这样检测出笔尖401与指示对象重合。即，将作为对象而抽取的区域与笔尖401应写区域进行比较，如果存在两者重叠的部分，则可以判断出使用者重叠放置了笔尖401和对象。图16是作为对象而抽取的区域1601与笔尖401所写的1602重叠时的一个例子。顺便说一句，由于笔杆201与摄像机101的位置关系是已知的，所以能够预先求出笔尖401书写区域。按照上述方法检测出使用者将笔尖401叠放在对象上，而按照本用户界面方法显示出教导使用者正确的对象指示方法的教导画面。在连续无法抽取对象达到规定次数如3次时，可以显示出指示方法教导画面。
图17是上述教导画面的一个例子并在信息处理装置102的显示器105上显示出来。指示方法教导画面教导使用者不要用笔尖401遮住指示对象，并且在横长对象的情况下教导指示数厘米下侧，而在纵长对象的情况下，教导指示数厘米右横。
在指示方法教导画面上，添加了后述的调用指示差异补正手段的指示差异补正按钮1701。
在使用者用视频笔103指示对象的场合下，其指示方法因人而异。例如，在指示横长对象的场合中，也有的使用者指示对象的中心下侧，也有人指示对象的右下。笔相对于对象的角度因人而异。例如，在指示横长对象的场合下，有从对象正下方指示的使用者，也有从对象的右下指示的使用者。此外，从指示对象到笔尖401的距离也因人而异。例如，在指示横长对象时，有靠近地指示对象下侧的使用者，也有指示离对象下侧1厘米左右的地方的使用者。
上述的由使用者导致的对象指示方法的差异必然反映在使用者抽取指示对象时的参数中。也不知有无必要根据情况来调整视频笔102笔杆201与摄象机101的位置关系。而按照本发明的用户界面方法，提供了预先记录下由使用者导致的指示方法差异(在此称之为“指示差异”)的手段。这个手段被称为指示差异补正手段。
在初次起用本发明的用户界面方法的场合中以及所述的按压指示差异补正按钮1701等时，调用指示差异补正手段。使用者使用指示差异补正手段例如能够如下所述地记录下使用者的喜好。当使用者起用指示差异补正手段时，在显示器105上显示出图18所示的信息。使用者依据信息用视频笔103指点如图19所示的指示差异补正页上的选项。指示差异补正页指的是在单张纸上印刷横长对象。其对象和标准图形1901的形状以及大小被预先记录在信息处理装置102中。
当使用者用视频笔103指示标准图形1901时，例如作为输入图象而获得了图20。信息处理装置102读取这样的信息，即在对该图象进行图象处理中，使用者针对对象用笔尖401指点哪个边以及指示时的笔杆201的角度是多少。这样读取到的且与使用者对象指定有关的喜好被用作信息处理装置102从输入图象中抽取处理对象时的参考值。
在本实施例中，对象与使用者所指位置之间的距离(对象最小距离)与视频笔103的倾斜度(标准倾斜度)作为使用者喜好地被记录在案。至于各自的求算方法，在以后说明信息处理装置102的对象抽出部时详细描述。
图21是实施本发明的整体结构的一个例子，它具体画出了信息处理装置102的内部结构。以下说明各自组成要件的动作。
(1)视频笔接口2101当使用者用视频笔103指示要输入对象时，装在视频笔103前端的笔尖开关104接通。在视频笔接口2101检测出笔尖开关104接通时，它取出一帧来自摄象机101的图象并转入二进制部2102。转入二进制部2102的图象例如是横320位、纵240位每个象素具有24位色度分彩色图象。
视频笔接口2101读取安装在视频笔103上的处理指定装置1401的状态并且被写入处理指定缓冲存储器2103。写入处理指定缓冲存储器2103的数据例如是用处理指定装置1401挑选的笔芯的编号。不过，在编号是零时，处于没有指定任何处理的状态。
(2)二进制部2102二进制部2102将输入图象转变为二进制图象，作为转换结果，二进制图象被转移到对象抽出部2104中。图22是从二进制部2102转入对象抽出部2104中的二进制图象的一个例子。
在不通过电触点读取处理指定装置1401状态构成的情况下，在输入图象而二进制化前，检查笔芯所写区域的颜色并依此判断选择了哪种颜色的笔芯，从而在处理指定缓冲存储器2103中写入所选笔芯的编号。
(3)对象抽出部2104对象抽出部2104是从来自二进制部2102的二进制图象中抽取处理对象的部分。在传来的二进制图象中，除对象外，还写入了各种各样的东西。例如，可能笔尖401也进行写入，书写在对象附近的内容也被写入。对象抽出部2104的任务就是从传来的二进制图象中只抽取对象并且把该图象传给倾斜度补正部2105。
使用者指示对象时的喜好被存储于指示差异缓冲存储器2112中。指示差异补正缓冲存储器2112的内容例如是如图23所示的值的组合，即对象最小距离2301与标准倾斜度2302的组合。在使用者指示标准图形1901时，以笔尖401离对象的距离值为基准地求出对象最小距离2301。对象最小距离2301能够被确定为如图24中的线段D的长度(位)。标准倾斜度2302是表示使用者倾斜视频笔103多大角度的值，例如它能够被确定为图24的倾斜度A的大小。对象最小距离2301的初期值例如是20，标准倾斜度2302的初期值例如是0。在图24的场合下，对象最小距离2301是18位，标准倾斜度2302是32度。
用图25说明对象抽出部2104从二进制图象中抽取图象的处理。在以下说明中，图象中的坐标系以左上为原点。在说明所述的常数中，CAMX是图象中的笔尖401的X坐标，CAMY是其Y坐标，D是对象最小距离2301。由于笔杆201与摄象机101的位置关系是已知的，所以CAMX、CAMY可以是预算值，D如上所述地是从指示差异补正缓冲存储器2112中读出的值。
首先，对象抽出部2104从笔尖401坐标(CAMX、CAMY)仅D上的点S起(CAMX、CAMY-D)向上地找出对象的象素。就是说，沿图25中的线段L查找对象的象素。在这个阶段内，如果根本看不到认为属于对象的象素，则对象抽取失败。在此看到的对象的象素作为对象区域地被存储起来。
接着，对象抽出部2104检查对象区域附近并将距离对象区在预定距离内的象素收入新对象区内。预定距离例如是10位。随着这种处理，缓慢扩大对象区域。在随后没有取入象素时，对象抽出部2104结束上述扩张处理。在该扩张处理结束时，作为对象区存储下来的象素集合被判断为是使用者所指示的对象。
在对象抽出部2104结束对象抽取时，比较所抽取的对象区域和笔尖401所反映的区域，两者有部分重合的情况能够被判断为使用者重叠放置笔尖401与对象。例如，存在图16这样的情况。因此，在这样的情况下，提示使用者指示方法教导画面并且教导正确的对象制定方法。在对象抽取连续失败的场合下，也向使用者提示指示方法教导画面并教导正确的对象指定方法。
例如，当在图22所示的二进制图象上适用上述方法时，作为对象地抽取图26的图形。被抽取的图象转交给倾斜度补正部2105。
(4)倾斜度补正部2105倾斜度补正部2105是从来自对象抽出部2104的对象图象中计算出对象的倾斜度并对其进行补正的部分。
首先，倾斜度补正部2105计算出所取对象的主轴的倾斜度。图27的角度R是主轴倾斜角，在这种情况下，它为-28度。这是在摄象机101所拍画像中的对象的倾斜角。
接着，倾斜度补正机构2105将以上算出的主轴倾斜度与指示差异补正缓冲存储器2112中的标准倾斜度的值还原地算出对象相对其所写纸张的的倾斜度。在以下说明中，该倾斜度被称为实际倾斜度。确切地说，图象中对象的倾斜度与标准倾斜度值之和成为实际倾斜度。在本实施例中，由于图象中对象的倾斜度为-28度并且标准倾斜度为32度，所以由此求出的实际倾斜度为4度。
在实际倾斜度接近0的范围如在-45度到45度之间的情况下，倾斜度补正部2105判断出对象是横长的，图象中的主轴倾斜度变为0地使对象的图象转动。因此，在上述例子的场合下，只使图象转动-28度。转动后的对象的图象在图28中示出了。相反地，实际倾斜度不在上述范围内时，倾斜度补正部2105判断出对象是纵长的，在图象中的主轴倾斜度变为90度地使对象的图象转动。
倾斜度补正部2105在结束上述处理后把倾斜度得到补正的对象的图象转入特征抽出部2106中。倾斜度得到补正的对象的图象被存储在对象保存部中。在对象保存部中，在保持图象的场合下，如果存在已保存的图象，则分解丢弃该图象。
(5)特征抽出部2106特征抽出部2106是从来自倾斜度补正部2105的对象图象中抽取特征量的部分。特征量是指如对象所含的象素数、外插矩形的大小、重心位置等。这些特征量被用于以后识别对象。特征量的一个例子如图29中所示。由对象象素数PIX-NUM、对象外插宽度BOX-WIDTH、对象外插高度BOX-HEIGHT、重心X坐标COG-X、重心Y坐标COG-Y等构成特征量。这些值都是整数值。
(6)对象识别部2107对象识别部2107是使用来自特征抽出部2106的特征量判断是否已记录了现处理中的对象的部分。
对象识别部2107将记录在图形词典2113中的多个特征量与来自特征抽出部2106的特征量进行比较并检查有无相近特征量。图形词典2113如图30所示地由保存其所包括的项目数的词典项目数区和0个以上的图形词典项目构成。此外，图形词典项目由保存特征量的特征量区和对象识别编号区构成。在本实施例中，作为存放在对象识别编号区的对象识别编号，采用自然数值(1,2,3…)。
对象识别部2107从图形词典2113中找出具有与输入特征量相近的特征量的图形词典项目并且把存储于该项目的对象识别编号区内的对象识别编号送往动作执行部2108。如果看不到具有与输入特征量相近的特征量的记录图形，则对象识别部2107作为对象识别编号而将-1送往动作执行部2108。
(7)动作执行部动作执行部2108是根据来自对象识别部2107的对象识别编号进行规定处理的部分。以下说明其处理内容。
对象识别编号为-1时，即输入对象不在已记录的图形中时，动作执行部2108读出存储于对象保存部中的对象图象并且将其存储在图形缓冲存储器2109中。此时，如果在图形缓冲存储器2109中有已存储的图象，则新存储的图象追加在其右侧。图形缓冲存储器2109所存储的对象图形一直被保存到在后来的处理中被使用。
当对象识别编号为-1时，即输入对象不在已记录的图形中时，动作执行部2108读取保存在处理指定缓冲存储器中的笔芯的编号。笔芯的编号为0时，不进行任何动作，当笔芯编号不为0时，施行对应于编号的动作。笔芯编号与动作通过处理表协调对应。
处理表如图31所示地由保存其所包含项目数的处理项目数区与0个以上的处理指定项目构成。处理指定项目由保存笔芯编号的状态区和在设定其编号时保存应进行动作的处理指定区构成。当处理指定缓冲存储器所存的笔芯编号不为0时，动作执行部2108使用处理表检查对应其编号的处理并执行该处理。
另一方面，来自对象识别部2107的对象识别编号不为-1时，即输入图形在已记录图形中时，动作执行部2108使用动作表检查该对象识别编号对应于何种动作并执行该动作。
动作表如图32所示地由保存其所包含的项目数的动作项目数区与0个以上的动作指定项目构成。动作指定项目由保存对象识别编号的对象编号区以及在检测出其对象时保存应进行动作的动作区构成。
动作执行部2108调查具有由对象识别部2107所赋予的对象识别编号一样的编号的动作指定项目是否在动作表中，若在该表中，则读出该动作指定项目的动作区。
例如，OPEN动作就属于动作执行部2108能够执行的动作。动作执行部2108应执行的动作是OPEN时，动作执行部2108首先将存储于图形缓冲存储器2109中的图形存储在某个确定标识符的图形画像文件(如pattern.bmp等)中。接着，参照连续存储于动作名OPEN中的文件名或程序名，打开该文件或者启动该程序。
通过动作执行部2108启动的程序能够读取图形画像文件而可以将其利用于任意处理中。例如，图形图像文件所存的图象能够被视作是文字列而尝试进行文字识别。通过动作执行部2108启动的程序能够利用信息处理装置102的任意功能。例如，能够调用装入信息处理装置102的百科词典程序的功能，或能够调用地图程序的功能。
如果组合成上述结构，则能够实现这样的程序，即作为由动作执行部2108启动的程序地对图形缓冲存储器2109的内容进行文字识别并表示转入百科词典程序地检查上述内容的意味。
图33是在实施本发明的信息处理装置102的显示器105上显示的画面的一个例子。使用者用视频笔103输入的图象显示于处理过程显示区内。在处理过程显示区内，也表示出处理所输入的图象的过程。处理过程显示区的右侧是系统信息区。在这里，显示出信息处理装置102提供给使用者的信息。在画面的下侧是图形缓冲存储器。在图形缓冲存储器区内，以使用者用视频笔103指示的处理对象而显示暂时存放在信息处理装置102的内容。
根据本发明，能够通过自然的操作输入对象。又，其优点在于，使用者的操作次数大幅度减少。此外，防止了使用者重复、混乱错误的对象指定方法。
权利要求
1．一种带摄象机的笔型输入装置，它具备笔、安装在所述笔上并拍摄笔尖的摄象机，其特征在于，所述摄象机拍摄的图象的中心位置比笔尖靠左地将所述摄象机安装在所述笔上。
2．一种带摄象机的笔型输入装置，它具有笔、安装在所述笔上并拍摄笔尖的摄象机，其特征在于，所述摄象机拍摄的图象的中央位置比所述笔尖靠右地将所述摄象机安装在所述笔上。
3．如权利要求1或2所述的带摄象机的笔型输入装置，其特征在于，所述摄象机能够至少在0度～90度的范围内相对笔杆能够转动地被安装在所述笔上。
4．一种带摄象机的笔型输入装置，它具有笔、装在所述笔上并拍摄笔尖的摄象机、对所述摄象机拍摄的图象进行处理的信息处理装置，其特征在于，所述信息处理装置根据由所述摄象机拍摄的图象的所述笔尖的位置来判断所述摄象机拍摄的对象图象的方向。
5．一种带摄象机的笔型输入装置，它具有笔、装在所述笔上并拍摄笔尖的摄象机、对所述摄象机拍摄的图象进行处理的信息处理装置，其特征在于，所述信息处理装置在从所述摄象机拍摄的图象抽取应处理的对象的同时根据拍摄的图象决定应执行的处理并且对抽取的对象进行处理。
6．如权利要求5所述的带摄象机的笔型输入装置，其特征在于，所述信息处理装置根据用所述摄象机拍摄的颜色决定应执行的处理。
7．一种带摄象机的笔型输入装置，它具有笔、装在所述笔上并拍摄笔尖的摄象机、对所述摄象机拍摄的图象进行处理的信息处理装置，其特征在于，所述信息处理装置检测出从所述摄象机拍摄的图象中抽取的对象以及所述笔尖的位置并根据该检测结果显示出表示笔的指示的画面。
8．如权利要求7所述的带摄象机的笔型输入装置，其特征在于，所述信息处理装置在拍摄所述抽取对象与该笔尖规定次数重叠而成的图象的情况下，显示出表示笔的指示的画面。
9．一种带摄象机的笔型输入装置，它具有笔、装在所述笔上并拍摄笔尖的摄象机和对所述摄象机拍摄的图象进行处理的信息处理装置，其特征在于，所述信息处理装置抽取所述摄象机拍摄的标准图象，根据抽取的结果补正拍摄的图象并且抽取对象。
全文摘要
本文揭示了一种改善设计装置结构使得使用更加方便的带摄象机的笔型输入装置。该带摄象机的笔型输入装置的结构也适用于指示横长或纵长的对象。此外,它具有同时指定对象与处理内容的手段以及检测出使用者用错误的方式指示对象并相应地教导使用者使用正确的对象指示方法的手段。
文档编号G06F3/033GK1323427SQ9981023
公开日2001年11月21日 申请日期1999年8月12日 优先权日1998年8月31日
发明者荒井俊史, 待井君吉, 桂晃洋, 渡边英之 申请人:株式会社日立制作所, 日立比亚机械股份有限公司