手写输入输出系统、手写输入薄板、信息输入系统、信息输入辅助薄板的制作方法

专利名称：手写输入输出系统、手写输入薄板、信息输入系统、信息输入辅助薄板的制作方法
技术领域：
本发明涉及一种用于将文字、图形等手写信息输入电脑系统的手写输入输出系统、手写输入薄板。本发明涉及一种用于辅助向电脑系统输入的信息输入系统、信息输入辅助薄板。
背景技术：
电脑逐渐被应用于生活中的各个领域。除了像制作文书和计算这些已有的用途之外，还增加了绘画、建筑/机械的制图等，电脑的功能及用途有了飞跃性的发展。以往，在进行这些行为时，需要使用键盘、鼠标、图形输入板及CAD系统等来进行文字输入、制图等操作。但是，用键盘输入文字、用图形输入板或CAD系统制图的情况存在很多烦杂的操作，需要花费大量时间才能掌握。特别是对于老年人以及对操作机器有障碍的人来说，存在操作困难的问题。而且，在能进行键盘、鼠标等的操作且能熟练运用电脑的人，与无法进行那些操作且不能熟练运用电脑的人之间，出现信息、机会上的差距即“数字鸿沟”也会逐渐成为问题。为了解决上述问题，有人提出了将手写信息输入电脑的系统。这种系统由底座和绘画装置构成，将绘画装置相对于底座移动，就会产生图形信息(手写信息)。底座上设置有微细点即位置编码图形，该位置编码图形上登记着底座上的位置信息。用绘画装置在底座上描画，绘画装置就会读取位置编码图形。电脑系统将用绘画装置获得的底座上的位置信息记录为图形输入。这样，就能够将所描画的内容输入到电脑系统，输出到显示器，保存到存储器(例如，专利文献1)。已有技术文献专利文献专利文献1日本特表2003-5^387号公报

发明内容
发明所要解决的课题但是，应用于专利文献1系统的位置编码图形仅登记了位置信息。因此，电脑系统仅能输入用绘画装置描绘的图形信息，例如，书的页码等，而且为了输入/记录与图形信息相关联的各种信息，必须另行设置与用于描画的区域不同的区域。因此，手写输入输出系统变得很烦杂，对于用户来说也存在需要在多个区域进行操作的问题。另外，对于与用绘画装置描绘的图形信息对应的所有位置信息，必须设有用于输入/记录与图形信息相关联的各种信息的参照一览表。特别是在描画区域不是矩形而是多边形或是由曲线围成的区域的情况下，需要有与该区域内的所有位置信息相对应的参照一览表。本发明是鉴于上述问题而开发的，其技术课题是简单且廉价地提供一种能够通过手写来输入文字、图形等的手写输入输出系统。另外，其技术课题还是提供一种不仅文字、 图形的信息，与这些信息相关联的信息也能够一概输入的手写输入输出系统。课题的解决方案〈手写输入输出系统〉本发明的手写输入输出系统的特征在于，其设有，在至少一部分或多个区域上设有形成有重复定义了坐标信息及代码信息的点阵图形的写入区域的介质，拍摄并发送该写入区域的该点阵图形的摄像装置，通过存储由该摄像装置拍摄/发送的该点阵图形的图像数据并对该图像数据进行代码解析，来求出由该坐标信息及该代码信息构成的轨迹信息的点阵图形解析装置，根据所解析的该坐标信息的变化，对在该写入区域面上划写的文字及/ 或图形的该轨迹信息进行识别的轨迹识别装置，以及将以所识别的识别信息为基础的处理命令与该轨迹信息向信息处理装置发送的处理命令装置。由上述特征可见，本发明的手写输入输出系统通过形成于介质上的点阵图形不仅定义坐标信息还定义代码信息，能够实现处理命令装置向信息处理部统一发送轨迹信息和基于轨迹信息的处理命令。所述介质最好是在其至少一部分或多个区域上进一步形成有与所述写入区域相关联的文本、图画、照片。根据上述特征，在本发明的手写输入输出系统中，用户能够很容易得知应该在写入区域的位置及写入区域上写入什么样的事项。所述介质最好同时重新重叠形成有所述点阵图形与至少在所述写入区域面上描绘的所述轨迹信息或该轨迹信息的编辑结果信息，及/或所述介质面上的印刷信息。根据上述特征，本发明的手写输入输出系统能够将已手写输入一次的介质与新点阵图形一起重叠印刷，在该介质上进一步写入/编辑。所述介质最好是，对于一定的介质面及/或所述写入区域面，在将定义特定所述写入区域的特定信息及/或操作指示(程序的起动、指令的输入、数据的输入输出/检索、 检索对象的指定等)的代码信息进行重复而形成的所述点阵图形上，重叠形成有表示该代码信息的图标。根据上述特征，在本发明的手写输入输出系统中，用户通过看图标就能够很容易得知代码信息具有什么样的含义(发送什么样的处理命令)。所述图标最好是与所述点阵图形重叠形成在贴纸、便签或其他介质面上。根据上述特征，在本发明的手写输入输出系统中，图标在介质面上可自由布局，因此布局的自由度提高。所述介质最好是，将设有所述写入区域的该介质作为第1介质，而且还设有形成有将用于特定该第1介质面及/或所述写入区域面的代码信息进行重复定义的点阵图形的第2介质，通过用所述摄像装置读取该第2介质上形成的代码信息，输出所述第1介质面上的印刷信息及/或所述写入区域面上描绘的所述轨迹信息、及/或与该轨迹信息相关联的 信息。根据上述特征，本发明的手写输入输出系统通过将特定介质面的代码信息印刷在另外的介质(记事本等)上，并用摄像装置点触，能够检索/输出在介质面上手写输入的信息。另外，还能扩大介质的写入区域的空间。
所述第2介质最好具有贴纸、便签等形态或卡片状的形态。根据上述特征，本发明的手写输入输出系统能够进一步提高写入区域的布局的自由度，还能根据用户的便利性和喜好，自由自在地运行在写入区域内手写输入的信息的检索、输出。所述介质最好是，所述手写输入输出系统在所述写入区域的监视器面上重叠使用的，形成有重复定义了坐标信息及/或代码信息的点阵图形的透明介质，即格栅板。根据上述特征，本发明的手写输入输出系统能够提供操作性良好的触摸屏。所述介质最好是，所述手写输入输出系统在印刷有所述写入区域的介质上重叠使用的，形成有重复定义了坐标信息及/或代码信息的点阵图形的透明介质，即格栅板。根据上述特征，本发明的手写输入输出系统即使不在监视器面上重叠格栅板，也能够在介质面上覆盖格栅板来进行手写输入。所述摄像装置最好进一步设有，经由摄像口向所述介质面照射一定波长的光的照射装置，以及拍摄该一定波长的反射光并将其作为图像数据向所述点阵图形解析装置发送的摄像元件；该点阵图形解析装置使该照射装置在第1预先确定的时间发出一定强度的光，在超过该点阵图形解析装置存储由该摄像元件拍摄发送的该图像数据的时间之后，能将该图像数据作为残像固定在该摄像元件上，进一步地，在比该点阵图形解析装置对该图像数据进行代码解析所必需的解析时间多的第2预先确定的时间经过之后，再次发出该一定强度的光，该第1预先确定的时间与该第2预先确定的时间是连续的，最好进一步设有控制该照射装置的光控制装置。根据上述特征，本发明的手写输入输出系统在进行写入时，对于摄像装置在介质面上的移动，点阵图形不会模糊而且还能印相在摄像元件上，通过解析其残像，即使摄像装置的帧速(摄像速度)很低也能进行手写输入。所述光控制装置最好在由所述点阵图形解析装置进行的所述图像数据的代码解析结束之后，无需等待所述第2预先确定的时间，直接指示所述照射装置发光，该照射装置在所述第1预先确定的时间之内发出所述一定强度的光，该点阵图形解析装置存储由所述摄像装置重新拍摄/发送的图像数据，进行代码解析。根据上述特征，本发明的手写输入输出系统在代码解析为理想的点阵图形的摄像 /解析或错误等，且比第2预先确定的时间还早结束了的情况下，通过直接转移到下一个代码解析，能够缩短摄像间隔，取得平滑的轨迹信息。所述光控制装置最好在所述点阵图形解析装置的该点阵图形的解析时间内，无需等待所述第2预先确定的时间，直接指示所述照射装置发光，该照射装置在所述第1预先确定的时间内发出所述一定强度的光，所述点阵图形解析装置在该解析时间内存储由所述摄像装置重新拍摄/发送的图像数据，在该解析时间结束之后直接对该图像数据进行代码解析。根据上述特征，本发明的手写输入输出系统通过点阵图形解析装置在代码解析期间存储下一个图像数据，在代码解析结束之后直接转移到下一个图像数据的代码解析，能够进一步地缩短摄像间隔，取得平滑的轨迹信息。所述摄像装置最好进一步设有指示用突起部，在所述写入区域面上用该指示用突起部划写所描绘的文字及/或图形时，拍摄该指示用突起部附近的轨迹上的所述点阵图形，所述点阵图形解析装置存储由该摄像装置发送的该点阵图形的图像数据，对该点阵图形进行代码解析，求出由所述坐标信息及所述代码信息构成的轨迹信息。根据上述特征，本发明的手写输入输出系统可以很容易视认写入区域面上的摄像装置的划写位置。所述摄像装置最好进一步设有至少一个笔尖，在所述写入区域面上用该笔尖划写所描绘的文字及/或图形时，拍摄/发送该笔尖附近的轨迹上的所述点阵图形，所述点阵图形解析装置存储由该摄像装置拍摄/发送的该点阵图形的图像数据，对该点阵图形进行代码解析，求出由所述坐标信息及所述代码信息构成的轨迹信息。根据上述特征，本发明的手写输入输出系统可以在写入区域面上保留摄像装置附近的轨迹。所述指示用突起部最好进一步设有至少一个笔尖，在该指示用突起部内收藏该笔尖的收藏空间，以及控制该笔尖的收藏/取出的按钮。根据上述特征，本发明的手写输入输出系统可以分别用于，想保留写入区域面上描绘的摄像装置附近的轨迹的情况和不想保留的情况。所述摄像装置最好进一步设有消去由所述指示用突起部在所述写入区域面上描绘的文字及/或图形的消去装置，在该写入区域面上，用该消去装置消去划写的区域的同时，拍摄该消去装置附近的轨迹上的点阵图形，所述处理命令装置向信息处理装置发送将该文字及/或图形的所述轨迹信息消去的处理命令和所述轨迹信息。根据上述特征，本发明的手写输入输出系统不仅能在写入区域面上和信息处理装置上使写入信息的输入对应，还能使写入信息的消去对应。所述轨迹识别装置最好将所述点阵图形解析装置进行代码解析所得到的所述坐标信息，补正成与该写入区域面上划写或描绘的文字及/或图形的轨迹一致或近似。根据上述特征，本发明的手写输入输出系统即使在轨迹识别装置识别的轨迹信息与介质上的轨迹不同的情况下，也能够通过补正轨迹信息，使其与实际轨迹一致或近似到不妨碍实用的程度。所述轨迹识别装置最好进一步设有计时装置，该计时装置对所述摄像装置与所述写入区域面接触的时间及离开的时间进行计时，记录摄像装置接触该写入区域面与所描绘的轨迹的顺序相接触的时间，并发送到所述信息处理装置。根据上述特征，本发明的手写输入输出系统通过信息处理装置掌握手写输入所需时间，并与正常时间进行比较，能够对笔者的性格、年龄、性别等进行各种各样的研究。所述计时装置最好记录所述摄像装置接触所述写入区域面的时间和所述点阵图形解析装置求出所述轨迹信息的时间，并发送到所述信息处理装置。根据上述特征，本发明的手写输入输出系统通过掌握笔的移动速度，可以解析笔画和书写难度，还可以进一步地推测笔者的心理状态和健康状态。所述处理命令装置最好根据所述代码信息及/或所述识别信息，能够专心输入特定所述写入区域的特定信息及/或操作指示(程序的起动、指令的输入、数据的输入输出/ 检索、检索对象的指定等)。根据上述特征，本发明的手写输入输出系统中，根据代码信息及/或识别信息，处理命令装置可以对信息处理装置发出独特的指示。这是本发明中最重要的功能，能够很容易特定常在哪个写入区域内写入，或对哪个写入区域进行什么样的操作指示。所述轨迹识别装置最好进一步根据所述代码信息，参照与所述写入区域内写入的内容相关的预先分类的文字及/或图形信息模式一览表，以高精度识别所述轨迹信息。根据上述特征，因为本发明的手写输入输出系统在识别轨迹信息时，根据代码信息，参照预先分类的文字及/或图形信息模式一览表，所以能够准确地识别轨迹信息。所述轨迹识别装置最好在识别了所述轨迹信息之后，进一步根据所解析的所述坐标信息的变化，参照与所述代码信息对应的预先定义的含义信息代码一览表(辞典)，将该文字及/或该图形或者由一个或多个该文字构成的语句的含义信息转换成含义信息代码， 所述处理命令装置将该含义信息代码与基于该含义信息的所述处理命令发送到所述信息处理装置。根据上述特征，本发明的手写输入输出系统通过在轨迹识别时参照含义信息代码一览表，能够高精度地识别轨迹信息，而且能够通过转换成含义信息代码，将处理命令作为其含义发送。所述处理命令装置最好命令所述信息处理装置运行将由所述轨迹识别装置获得的所述轨迹信息的识别结果作为文书及/或图形来输入的第一种操作。根据上述特征，本发明的手写输入输出系统能够通过手写输入来撰写文书和绘画。所述处理命令装置最好命令所述信息处理装置运行将由所述轨迹识别装置获得的所述轨迹信息的识别结果作为注释来输入的第二种操作。根据上述特征，本发明的手写输入输出系统通过手写输入，除了输入的文书和画， 还能输入注释文书。所述处理命令装置最好命令所述信息处理装置运行将由所述轨迹识别装置获得的所述轨迹信息的识别结果作为编辑文书及/或图形、及/或注释的编辑记号，根据该编辑记号编辑文书及/或图形、及/或注释的第三种操作。根据上述特征，本发明的手写输入输出系统能够通过手写输入编辑文书和图像 (也包括不是由手写输入输出系统获得的)。本发明的手写输入输出系统最好进一步设有，对通过将至少与所述介质面相接触的所述摄像装置的摄像光轴相对于该介质面的垂直线倾斜而形成的倾斜度及倾斜方向进行测定的角度测定装置，以及，以在该摄像装置与该介质面相接触时测定的该倾斜度及该方向为基准，并对由倾斜该摄像装置的动作即网格倾斜动作获得的该倾斜度及/或该方向的一定的变化进行解析的角度变化识别装置；所述处理命令装置根据该解析结果，向所述信息处理装置发送预先确定的处理命令。根据上述特征，本发明的手写输入输出系统能够根据摄像装置的网格倾斜动作进行操作指示。所述介质最好是相对于所述写入区域的方向，在该写入区域形成有以一定角度配置的所述点阵图形；所述角度测定装置及所述角度变化识别装置最好是以在所述摄像装置与该写入区域面相接触时所读取的该点阵图形的方向为基础，对相对于该写入区域的方向倾斜的方向及/或所述倾斜度的一定的变化进行解析。根据上述特征，本发明的手写输入输出系统除了角度变化还能以点阵图形的方向为基准，识别倾斜度及其变化。所述处理命令装置最好是，在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第一预先确定的方向时，命令所述信息处理装置运行将由所述轨迹识别装置获得的轨迹信息的识别结果作为文书及/或图形来输入的第一种操作。根据上述特征，本发明的手写输入输出系统能够根据网格倾斜动作切换到第一种操作。所述处理命令装置最好是，在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第二预先确定的方向时，命令所述信息处理装置运行将由所述轨迹识别装置获得的轨迹信息的识别结果作为注释来输入的第二种操作。根据上述特征，本发明的手写输入输出系统能够根据网格倾斜动作切换到第二种操作。所述处理命令装置最好是，在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第三预先确定的方向时，命令所述信息处理装置运行将由所述轨迹识别装置获得的轨迹信息的识别结果作为编辑文书及/或注释的编辑记号，根据该编辑记号编辑文书及/或图形、及/或注释的第三种操作。根据上述特征，本发明的手写输入输出系统能够根据网格倾斜动作切换到第三种操作。所述处理命令装置最好是，在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第四预先确定的方向时，命令所述信息处理装置结束所述第三种操作。根据上述特征，本发明的手写输入输出系统能够根据网格倾斜动作结束第三种操作，切换到原来的第一种或第二种操作，还能再次运行第三种操作。所述处理命令装置最好是，在所述点阵图形解析装置识别出，当决定所述信息处理装置是否运行预先确定的处理时所述摄像装置在一定时间内仅点触一次介质面时，向该信息处理装置发送决定不运行该预先确定的处理的命令；在该点阵图形解析装置识别出所述摄像装置点触一次介质面，并在一定时间内再点触一次介质面时，向该信息处理装置发送决定运行该预先确定的处理的命令。根据上述特征，本发明的手写输入输出系统仅通过摄像装置对介质面点触的动作，就能指示处理的决定/否决。所述手写输入输出系统最好进一步设有，对在将所述摄像装置的摄像光轴相对于所述写入区域面大概垂直状竖立并与该写入区域面相接触时所读取的所述点阵图形的方向和该摄像装置的角度形成的旋转角进行读取的旋转角读取装置，以及，以在该摄像装置与该介质面相接触时测定的该旋转角为基准，并通过将该摄像光轴根据旋转该摄像装置的动作即网格旋转动作向一定的旋转方向旋转，来解析该旋转角的一定的变化的旋转角变化识别装置；所述处理命令装置根据该解析结果，向所述信息处理装置发送预先确定的处理命令。
根据上述特征，本发明的手写输入输出系统能够根据网格倾斜动作进行指示。所述处理命令装置最好是，在所述旋转角变化识别装置识别出所述摄像装置旋转到第一预先确定的方向时，命令所述信息处理装置保存运行中的应用程序上的文件内容的变更结果；在该旋转角变化识别装置识别出该摄像装置旋转到与该第一预先确定的方向为相反方向的第二预先确定的方向时，命令该信息处理装置取消运行中的应用程序上的文件内容的变更。根据上述特征，本发明的手写输入输出系统能够根据网格旋转动作对文件内容的变更结果的保存、变更的取消进行指示。所述处理命令装置最好是，在所述旋转角变化识别装置识别出，所述摄像装置旋转到第一预先确定的方向，并在一定时间内旋转到与该第一预先确定的方向为相反方向的第二预先确定的方向时，命令所述信息处理装置起动手写输入用应用程序；在该旋转角变化识别装置识别出，该摄像装置旋转到该第二预先确定的方向，并在一定时间内旋转到该第一预先确定的方向时，结束该手写输入用应用程序。根据上述特征，本发明的手写输入输出系统能够根据网格旋转动作对手写输入用应用程序的起动/结束进行指示。所述手写输入输出系统最好进一步设有，在用所述摄像装置拍摄所述写入区域并通过所述点阵图形解析装置求出坐标信息及代码信息之后，不是通过一定的操作用该摄像装置在该写入区域划写或描绘文字，而是收录声音的声音收录装置，以及，参照与所述代码信息对应的预先定义的声音识别信息一览表(辞典)，识别所收录的声音并转换成文字信息发送到信息处理装置的声音识别装置。根据上述特征，本发明的手写输入输出系统能够以声音输入代替手写输入。所述一定的操作最好是通过用所述摄像装置在所述写入区域划写或描绘表示声音输入的记号来进行。根据上述特征，本发明的手写输入输出系统能够在手写输入中的一系列操作的扩展上很容易切换到声音输入，能够在写入区域或电脑上保留已开始声音输入的过程。所述一定的操作最好是通过将所述摄像装置与所述写入区域接触再跳起的动作来进行。根据上述特征，本发明的手写输入输出系统能够以更简单的操作很容易切换到声音输入，不用在写入区域保留已开始声音输入的过程就能使用声音输入。所述一定的操作最好是通过将一定的语言收录到所述声音收录装置，并用所述声音识别装置识别该一定的语言来进行。根据上述特征，本发明的手写输入输出系统不用记忆繁琐的操作就能更生动地开始操作声音输入。所述介质最好用该介质上的所述代码信息预先定义声音引导的指示信息，所述手写输入输出系统最好进一步设有将在该写入区域写入的内容通过该声音引导来解说的声音输出装置。<手写输入薄板>本发明的手写输入薄板的特征在于，其由在至少一部分或多个区域上设有形成有重复定义了坐标信息及代码信息的点阵图形的写入区域的介质构成。
根据上述特征，本发明的手写输入薄板通过形成于介质上的点阵图形不仅定义坐标信息还定义代码信息，还能够在手写输入时统一输入坐标信息与独特的信息或命令。所述介质最好进一步重叠形成有与所述写入区域相关联的文本、图画、照片。根据上述特征，在使用本发明的手写输入薄板进行手写输入时，用户能够很容易得知写入区域的内容。所述介质最好是，在将定义特定一定的介质面及/或所述写入区域面的特定信息及/或操作指示(程序的起动、指令的输入、数据的输入输出/检索、检索对象的指定等)的代码信息进行重复而形成的所述点阵图形上，进一步重叠形成有表示该代码信息的图标。根据上述特征，在使用本发明的手写输入薄板进行手写输入时，用户能够进一步地得知以代码信息为基础所输入的独特的信息或命令的内容。所述图标最好是与所述点阵图形一起形成在贴纸、便签或其他介质面上。根据上述特征，本发明的手写输入薄板能够提高介质的布局的自由度，还能根据用户的便利性和喜好，自由自在地运行在写入区域内手写输入的信息的检索、输出。所述手写输入薄板最好在所述写入区域内及/或区域周边进一步设有盲字。根据上述特征，本发明的手写输入薄板有利于在视觉障碍者进行手写输入时维持与健康人同样的输入效率。所述手写输入薄板最好是，为了在所述写入区域进行写入时不露出所述摄像装置，沿该写入区域的外周进一步设有较窄的凸起引导。根据上述特征，本发明的手写输入薄板为了能在写入区域用摄像装置正确地划写、描绘而设置引导装置，有利于在视觉障碍者进行手写输入时维持与健康人同样的输入效率。〈信息输入系统〉本发明的信息输入系统的特征在于，其由，层叠有，反射来自一面侧的红外线并同时具有透射可视光的特性的红外线反射层，和设置在该红外线反射层的一面侧，并由具有漫反射红外线的特性的材料构成的，在至少一部分或多个区域上配置有重复定义了坐标信息及/或代码信息的点阵图形的点的点阵图形层，以及，设置在该点阵图形层的与该红外线反射层相反的一侧，并具有透射红外线及可视光的特性的保护层的信息输入辅助薄板即格栅板，在至少介质面的一部分上用具有吸收红外线的特性的材料形成有该点阵图形的点的介质，拍摄发送该点阵图形的摄像装置，以及，通过根据一定的判定方法判定在将该介质面的该点阵图形通过该摄像装置拍摄/发送所得的该点阵图形的图像数据的基础上以比周围低的光亮度拍摄的点部，或者，在将该格栅板的该点阵图形通过该摄像装置拍摄/发送所得的该点阵图形的图像数据的基础上以比周围低的光亮度拍摄的点部，并将该点阵图形的图像数据存储到存储元件中，进行代码解析，来输入该坐标信息及/或该代码信息的点阵图形解析装置构成。根据上述特征，本发明的信息输入系统不用在格栅板上设置漫反射层就能避免眼球现象。所述一定的判定方法最好是由，将由m行η列的像素构成的存储到存储元件中的摄像图像在每行(i)上从左端开始向右，依次求出仅相距一定间隔(k)的像素之间的光亮度(BL (i, j))的差分(ABL = BL(i, j+k)_BL(i，j))，根据该差分是超过还是达不到一定的正/负临界值来判定的方法，和，在以比周围低的该光亮度拍摄的点部的判定中，在该光亮度的差分达不到负临界值时将右侧的像素作为点来判定，判定点从该像素开始，在超过正临界值时同样判定右侧的像素不是点，判定点直到其跟前的像素为止才结束的方法，以及，在以比周围高的该光亮度拍摄的点部的判定中，在该光亮度的差分超过正临界值时将右侧的像素作为点来判定，判定点从该像素开始，在达不到负临界值时判定同一右侧的像素不是点，点直到其跟前的像素为止才结束的方法构成的判定方法，所述点阵图形解析装置根据该一定的判定方法，判定是在所述介质面或所述格栅板上设置的所述点阵图形中的哪个，根据该一定的判定方法进行代码解析。所述一定的判定方法最好是，测定所述摄像图像的一定区域的光亮度，如果超过一定的临界值，则使用以比周围低的所述光亮度拍摄的点部的判定方法，如果达不到一定的临界值，则使用以比周围高的所述光亮度拍摄的点部的判定方法。〈信息输入辅助薄板〉本发明的信息输入辅助薄板的特征在于，其层叠有，反射来自一面侧的红外线并同时具有透射可视光的特性的红外线反射层，设置在该红外线反射层的一面侧，并由具有漫反射红外线的特性的材料构成的，在至少一部分或多个区域上配置有重复定义了坐标信息及/或代码信息的点阵图形的点的点阵图形层，以及，设置在该点阵图形层的与该红外线反射层相反的一侧，并具有透射红外线及可视光的特性的保护层。根据上述特征，本发明的信息输入辅助薄板不用设置漫反射层就能避免眼球现象。本发明的信息输入辅助薄板的特征在于，其层叠有，反射入射到各个面的红外线并同时具有透射可视光的特性的红外线反射层，设置在该红外线反射层的两面并由具有吸收红外线的特性的材料构成的，配置有所述点阵图形的点的点阵图形层，以及，设置在所述点阵图形层的各处甚至是外侧，并具有吸收从各个方向入射的红外线及可视光的特性的保护层；由配置在所述点阵图形层各处的所述点阵图形所图形化的坐标信息及/或代码信息，相互之间相同或不同。根据上述特征，本发明的信息输入辅助薄板不用设置漫反射层就能避免眼球现象。在本发明的手写输入输出系统及手写输入薄板上，所述写入区域最好是任意形状。以往，如果想要仅用坐标信息特定写入区域的话，就必须将表示写入区域的边界的坐标用一览表或函数预先定义，必须逐次判定输入的坐标值是不是在该一览表或函数的范畴内。因此，解析变得复杂化，如果仅用坐标信息特定写入区域，因为要维持内存使用和运算速度等的解析效率，所以需要写入区域大致为矩形。本发明通过用代码信息特定写入区域，不管写入区域是什么形状都能发挥同样的解析效率。在本发明的手写输入输出系统及手写输入薄板上，所述介质最好是，在配置信息点的方框的区域内，为了能够形成方框的大小与方向而设置多个基准点，配置多个从该基准点定义的虚拟基准点，从该虚拟基准点的距离和方向开始配置定义坐标信息或者坐标信息及代码信息的该信息点，用该多个虚拟基准点的信息点的配置方向的组合内的一定的信息点的配置方向的组合，在至少一部分或多个区域上设置形成有重复定义坐标信息或者坐标信息及代码信息的点阵图形的写入区域，所述点阵图形解析装置根据该一定的信息点的配置方向的组合来辨别是否是该写入区域，并处理手写输入。根据上述特征，在手写输入时，不用对另行设在手写输入输出系统上的按钮的操作和用摄像装置定义了手写输入的操作指示的点阵图形的读取进行处理，仅用点阵图形解析装置对一定的信息点的配置方向的组合进行代码解析来辨别是否是写入区域，如果是写入区域则进行作为手写输入的处理。如果不是写入区域则进行与代码信息及/或坐标信息相关联的信息的输出及/或命令处理的运行。在本发明的手写输入输出系统及手写输入薄板上，所述一定的信息点的配置方向的组合最好是在所述多个虚拟基准点上，将所述信息点从该虚拟基准点开始配置在上下左右方向线及斜方向线中的任一方向线上的配置方向的组合内的一定的信息点的配置方向的组合。根据上述特征，信息点的配置方向限于上下左右/斜方向，因此，点阵图形解析装置能够正确识别一定的信息点的配置方向的组合，辨别是否是写入区域，如果是写入区域则进行作为手写输入的处理。如果不是写入区域则进行与代码信息及/或坐标信息相关联的信息的输出及/或命令处理的运行。在所述代码信息上最好定义有表示是写入区域的写入标记，所述点阵图形解析装置根据该写入标记来辨别是否是该写入区域，并处理手写输入。根据上述特征，摄像装置读入形成于介质面上的点阵图形之后，点阵图形解析装置立刻根据写入标记辨别该区域是否是写入区域，如果是写入区域则进行作为手写输入的处理。如果不是写入区域则进行与代码信息及/或坐标信息相关联的信息输出及/或命令处理的运行。在所述代码信息上最好定义有特定所述写入区域的特定信息及/或表示写入处理的操作指示，所述点阵图形解析装置辨别是否是该特定信息及/或该操作指示，并处理手写输入输出。根据上述特征，摄像装置读入形成于介质面上的点阵图形之后，能够瞬间特定在哪个写入区域写入。在该写入区域内手写输入的内容属于一定类别的情况下，通过与该类别的辞典的对照核查，识别率明显提高。另外，能够判断怎样处理写入的内容，进行适当的处理。所述轨迹信息最好是由所述摄像装置的摄像中心的坐标信息、或设在该摄像装置附近的所述指示用突起部或所述笔尖接触所述写入区域面的位置的坐标信息与所述代码信息构成的，可以通过所述点阵图形解析装置，以所述点阵图形上定义的坐标信息为基础进行插值计算来求出。根据上述特征，点阵图形定义的坐标信息因为定义1组XY坐标值的每个方框的增量为1单位，所以为了准确地再现轨迹信息，能够以坐标信息为基础进行插值计算来求出不足所必要的1单位的一定精度。例如，在一个方框的大小为2mm的情况下，为了准确地再现文字，以其1/10 1/20的0. 1 0. 2mm左右的精度求出XY坐标值，识别轨迹信息即可。发明效果本发明能够提供一种通过具有上述各种特征，与已有技术相比性质及考虑问题完全不同的，能够给用户带来多样且新的附加价值与便利性的手写输入输出系统。


图1是表示本发明的手写输入输出系统的使用状态的外观图。图2是表示本发明的手写输入输出系统的第一实施例的结构的方框图。图3是表示本发明的手写输入输出系统的第二实施例的结构的方框图。图4是表示本发明的手写输入输出系统的第三实施例的结构的方框图。图5是表示本发明的手写输入输出系统的第四实施例的结构的方框图。图6是表示本发明的手写输入输出系统的第五实施例的结构的方框图。图7是表示本发明的手写输入输出系统的第六实施例的结构的方框图。图8是用于本发明的手写输入输出系统的点阵图形的说明图(1)。图9是用于本发明的手写输入输出系统的点阵图形的说明图O)。图10是用于本发明的手写输入输出系统的点阵图形的说明图(3)。图11是用于本发明的手写输入输出系统的点阵图形的说明图0)。图12是用于本发明的手写输入输出系统的点阵图形的说明图(5)。图13是用于本发明的手写输入输出系统的点阵图形的说明图(6)。图14是用于本发明的手写输入输出系统的方向点的说明图。图15是用于本发明的手写输入输出系统的点阵图形的说明图(7)。图16是表示用于本发明的手写输入输出系统的摄像部的整体结构的外观图。图17是用于本发明的手写输入输出系统的摄像部的功能说明图(1)。图18是用于本发明的手写输入输出系统的摄像部的功能说明图(2)。图19是用于本发明的手写输入输出系统的摄像部的功能说明图(3)。图20是用于本发明的手写输入输出系统的摄像部的功能说明图(4)。图21是用于本发明的手写输入输出系统的摄像部的功能说明图(5)。图22是用于本发明的手写输入输出系统的摄像部的功能说明图(6)。图23是用于本发明的手写输入输出系统的摄像部的功能说明图(7)。图M是用于本发明的手写输入输出系统的摄像部的功能说明图(8)。图25是用于本发明的手写输入输出系统的摄像部的功能说明图(9)。图沈是用于本发明的手写输入输出系统的摄像部的功能说明图(10)。图27是用于本发明的手写输入输出系统的摄像部的功能说明图(11)。图观是用于本发明的手写输入输出系统的摄像部的功能说明图(12)。图四是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 ⑴。图30是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (2)。图31是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (3)。图32是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 ⑷。图33是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (5)。
图34是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (6)。图35是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 ⑵。图36是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 ⑶。图37是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 ⑶。图38是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (10)。图39是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (11)。图40是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (12)。图41是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (13)。图42是形成有用于本发明的手写输入输出系统的写入区域的介质的功能的说明图(14)。图43是用于本发明的手写输入输出系统的摄像部的倾斜方向的说明图(1)。图44是用于本发明的手写输入输出系统的摄像部的倾斜方向的说明图O)。图45是用于本发明的手写输入输出系统的摄像部的倾斜方向的说明图(3)。图46是用于本发明的手写输入输出系统的摄像部的倾斜方向的说明图⑷。图47是用于本发明的手写输入输出系统的摄像部的倾斜方向的说明图(5)。图48是用于本发明的手写输入输出系统的摄像部的点触动作与跳起动作的辨别方法的说明图。图49是在本发明的手写输入输出系统上的第一种操作的说明图。图50是在本发明的手写输入输出系统上的第二种操作的说明图(1)。图51是在本发明的手写输入输出系统上的第二种操作的说明图O)。图52是在本发明的手写输入输出系统上的第二种操作的说明图(3)。图53是在本发明的手写输入输出系统上的第三种操作的说明图(1)。图M是在本发明的手写输入输出系统上的第三种操作的说明图(2)。图55是在本发明的手写输入输出系统上的第三种操作的说明图(3)。图56是在本发明的手写输入输出系统上的第三种操作的说明图(4)。图57是在本发明的手写输入输出系统上的第三种操作的说明图(5)。
/角度的计算方法 /角度的计算方法 /角度的计算方法 /角度的计算方法 /角度的计算方法
图58是在本发明的手写输入输出系统上的第三种操作的说明图(6)。图59是在本发明的手写输入输出系统上通过摄像部的旋转动作得到的文件变更结果的保存方法的说明图。图60是在本发明的手写输入输出系统上通过摄像部的旋转动作得到的文件内容变更的取消方法的说明图。图61是在本发明的手写输入输出系统上通过摄像部的旋转动作得到的应用程序的起动方法的说明图。图62是在本发明的手写输入输出系统上通过摄像部的旋转动作得到的应用程序的结束方法的说明图。图63是在本发明的手写输入输出系统上通过摄像部向四方倾斜的动作得到的应用程序的切换方法的说明图(1)。图64是在本发明的手写输入输出系统上通过摄像部向四方倾斜的动作得到的应用程序的切换方法的说明图O)。图65是本发明的手写输入输出系统上的摄像部的点触动作的说明图。图66是说明本发明的手写输入输出系统上的声音收录部及声音输出部的结构的方框图。图67是在本发明的手写输入输出系统上的摄像部的跳起动作的说明图。图68是用于本发明的手写输入输出系统的介质的一个实施例即格栅板的说明图 ⑴。图69是用于本发明的手写输入输出系统的介质的一个实施例即格栅板的说明图 ⑵。图70是用于本发明的手写输入输出系统的介质的一个实施例即格栅板的说明图 ⑶。图71是用于本发明的手写输入输出系统的介质的一个实施例即格栅板的说明图 ⑷。图72是用于本发明的手写输入输出系统的介质的一个实施例即格栅板的说明图 ⑶。图73是用于本发明的信息输入系统的格栅板的说明图(1)。图74是用于本发明的信息输入系统的格栅板的说明图(2)。图75是用于本发明的信息输入系统的格栅板的说明图(3)。图76是用于本发明的信息输入系统的格栅板的说明图(4)。图77是用于本发明的信息输入系统的格栅板的说明图(5)。图78是形成有用于本发明的手写输入输出系统的写入区域的介质的功能说明图 (15)。图79是用于本发明的手写输入输出系统的点阵图形的说明图(7)。图80是用于本发明的手写输入输出系统的点阵图形的说明图(8)。附图标记说明1 手写输入输出系统2 介质
3扫描器
4电脑
5服务器
6显不器
7摄像部
8点阵图形解析部
9轨迹识别部
10处理命令部
11信息处理部
12摄像元件
13照射部
14光控制部
15计时部
16角度测定部
17角度变化识别部
18旋转角读取部
19旋转角变化识别部
20声音收录部
21声音识别部
22声音输出部
23发送部
24发送按钮
25再次发送按钮
26话筒
27声音播放按钮
28指示用突起部
29笔
30笔收藏按钮
31笔型扫描器
32光导
33透镜
34LED
35C-MOS传感器
36PCB
37笔
38侧板引导
39盲字
40中央处理装置(MPU)
41话筒
42放大器
43A/D转换器
44压缩线路
45扬声器
46耳机
具体实施例方式关于本发明的实施方式，使用附图进行以下说明。<系统整体结构的说明>图1是表示本发明的手写输入输出系统1的使用状态的一个示例的外观图。根据该图，在介质2上使用扫描器3写入，写入的文书在显示器6上显示。这是通过扫描器3拍摄写入的轨迹上的点阵图形，然后电脑4进行解析(根据需要访问服务器5)来实现的。但是，电脑4也可以内置在扫描器3中。图2是表示本发明的手写输入输出系统的第一实施例的结构的方框图。该手写输入输出系统1通过至少设有介质2 (手写输入薄板)、摄像部7 (摄像装置)、点阵图形解析部8(点阵图形解析装置)、轨迹识别部9 (轨迹识别装置)、处理命令部 10(处理命令装置)来对信息处理部11进行各种命令，根据需要访问各种服务器5。图3是表示本发明的手写输入输出系统1的第二实施例的结构的方框图。第二实施例中，除了第一实施例具有的结构之外，还进一步设有摄像元件12、照射部13、光控制部 14。如该图中的虚线所示，摄像元件12和照射部13与摄像部7是一体的，光控制部14 与点阵图形解析部8是一体的。图4是表示本发明的手写输入输出系统1的第三实施例的结构的方框图。第三实施例中，除了第一实施例具有的结构之外，还进一步设有计时部15。如该图中的虚线所示，计时部15与轨迹识别部9是一体的。图5是表示本发明的手写输入输出系统1的第四实施例的结构的方框图。第四实施例中，除了第一实施例具有的结构之外，还进一步设有角度测定部16、角度变化识别部 17。如该图中的虚线所示，角度测定部16和角度变化识别部17与点阵图形解析部8 是一体的。图6是表示本发明的手写输入输出系统1的第五实施例的结构的方框图。第五实施例中，除了第一实施例具有的结构之外，还进一步设有旋转角读取部18、旋转角变化识别部19。如该图中的虚线所示，旋转角读取部18和旋转角变化识别部19与点阵图形解析部8是一体的。图7是表示本发明的手写输入输出系统1的第六实施例的结构的方框图。第六实施例中，除了第一实施例具有的结构之外，还进一步设有声音收录部20、声音识别部21、声音输出部22。〈点阵图形〉
关于本发明的手写输入输出系统1中使用的点阵图形，通过图8 15进行以下说明。 <点阵图形的说明GRIDD图8 图15是表示本发明的手写输入输出系统1中形成于介质2上的点阵图形的一个示例即GRIDl的说明图。此外，在这些图中，纵横方向的格子线是为了便于说明而添加的，在实际的印刷面上并不存在。构成点阵图形101的关键点102、信息点103、基准格子点104等，在摄像装置即扫描器3具有红外线照射装置的情况下，最好是用吸收该红外光的隐形油墨或碳素油墨来印刷。图8是表示点阵图形101的信息点以及由其定义的数据的比特表示的一个示例的扩大图。图9(a)、(b)是表示将关键点102配置在中心的信息点103的说明图。使用点阵图形的信息输入输出方法是由点阵图形101的生成、该点阵图形101的识别以及从该点阵图形101中输出信息及程序的方法构成的。即，通过内置在扫描器3中的摄像部7将点阵图形101作为图像数据读取，通过首先提取基准格子点104，然后根据基准格子点104的原本所在位置上没有打点来提取关键点102，再提取信息点103，来进行数字化，提取信息区域，求得信息的数值化，根据该数值信息，使信息及程序从该点阵图形101 输出。例如，使声音等信息或程序从该点阵图形101向信息输出装置、个人电脑、PDA或手机等输出。点阵图形101的生成是根据点代码生成算法，为了识别数值信息而将微细点，即关键点102、信息点103、基准格子点104，遵循一定的规则进行排列。如图7所示，表示信息的点阵图形101的方框是以关键点102为基准而配置5X5个基准格子点104，在由4个基准格子点104包围在中心的虚拟格子点5的周围配置信息点103。在该方框中可以定义任意的数值信息。此外，图8的图示例表示使点阵图形101的方框(粗线框内)4个并列的状态。此外，点阵图形101并不限定于4个方框，在上下左右方向上重复配置多少次都可以， 这一点无需赘述。在用摄像部7将该点阵图形101作为图像数据读取时，基准格子点104可以矫正因该摄像部7的镜头歪或斜而导致的摄像及纸面的伸缩、介质表面的弯曲、印刷时的歪斜。 具体来说，求出将歪斜的4个基准格子点104转换成原本的正方形的补正用函数(Xn，Yn)= f(Xn’，Υη’)，用该同一函数补正信息点103，求出正确的信息点103的矢量。在点阵图形101上配置基准格子点104的话，则用摄像部7读取该点阵图形101所得到的图像数据可以补正因摄像部7导致的歪斜，因此，即使是在用镜头歪斜率高的普通照相机读取点阵图形101的图像数据时，也可以正确识别。另外，即使相对于点阵图形101 的面将摄像部7倾斜来读取，也可以正确识别该点阵图形101。如图8所示，关键点102是将方框四角上的4个基准格子点104向一定方向偏离配置的点。该关键点102是表示信息点103的一个方框份儿的点阵图形101的代表点。例如，将点阵图形101的方框四角上的基准格子点104向上方偏离了相邻基准格子点104的间隔的20% (基准格子点之间的间隔为0. 5mm的情况下是0. Imm)左右的点。但是，这个数值并不限定于此，是根据点阵图形101的方框大小可变化的。信息点103是识别各种信息的点。该信息点103是以关键点102为代表点，配置在其周围，同时，将由4个基准格子点104包围的中心作为虚拟格子点5，配置在以该点为起始点并通过矢量表示出的终点上。例如，该信息点103被基准格子点104所包围，如图9(a) 所示，是从该虚拟格子点5偏离了相邻基准格子点104的间隔的20% (基准格子点之间的间隔为0. 5mm的情况下是0. Imm)左右的点，为了具有由矢量表示的方向和长度，使其沿顺时针方向每次转动45度，配置在8个方向上，表示3比特。因此，可以用一个方框的点阵图形101来表示3比特X 16个=201比特。图 9(b)表示在图3的点阵图形上每个格子具有2比特的信息点103的定义方法， 向+方向及X方向偏离点，各定义了 2比特信息。这样，虽然本来能定义201比特信息，但是根据用途分割后，可以每32比特的提供数据。根据+方向及X方向的组合，可以实现最大216(约65000)种点阵图形格式。并不限定于此，也可以配置在16个方向上表示4比特，当然也可以进行各种变更。此外，在使摄像装置即扫描器3靠近或接触介质面来拍摄点阵图形的情况下，考虑到美观、针对纸质的印刷精度、摄像部7的解像度以及最合适的数字化，关键点102、信息点103或基准格子点104的点直径最好是相邻基准格子点104的间隔的6 16% (基准格子点之间的间隔为0. 5mm的情况下是0. 03 0. 08mm)左右。但是，需要根据摄像装置即扫描器3的摄像口的大小，形成在摄像区域内拍摄一定的点阵图形，适当地确定一个方框的点阵图形的配置尺寸及点直径，这一点是无需赘述的。进一步地，考虑到针对摄像面积的必要信息量以及各种点102、103、104的误认，基准格子点104的间隔最好是纵横方向上 0. 3 0. 5mm左右。考虑到基准格子点104与信息点103的误认，关键点102的偏离最好是格子间隔的20 25%左右。另一方面，虽然没有图示，但是将作为摄像装置的非接触的扫描器或手机的内置照相机从介质面仅偏离一定距离来拍摄点阵图形的情况下，需要形成在摄像区域内拍摄一定的点阵图形，适当地确定一个方框的点阵图形的配置尺寸及点直径，这一点是无需赘述的。该信息点103与由4个基准格子点104包围的虚拟格子点之间的间隔最好是相邻虚拟格子点5之间的距离的15 30%左右。这是因为，如果信息点103与虚拟格子点5之间的距离比该间隔近的话，点与点容易被看成一个大块，会难以识别点阵图形101 ；相反， 如果信息点103和虚拟格子点5之间的距离比该间隔远的话，会很难认定其是否是以相邻的任一虚拟格子点5为中心并具有矢量方向性的信息点103。如图8所示，一个点阵图形是由4X4个方框区域构成的，在各方框内配置了 2比特的信息点103。图9表示该信息点103的点代码格式的一个示例。如图10所示，在一个点阵图形中记录了奇偶校验、代码值、X坐标、Y坐标。此外， 关于格式，详见后述。图11是信息点103以及在此定义的数据的比特表示的示例，表示其他形态。另外，关于信息点103，如果使用距离由基准格子点104包围的虚拟格子点5长和短两种，且矢量方向为8个方向的话，可以表示4比特。这时，长的最好为相邻虚拟格子点5 之间的距离的25 30%左右，短的最好为15 20%左右。但是，长和短的信息点103的中心间隔最好要比这些点的直径长。考虑到美观，由4个基准格子点104包围的信息点103最好是一个点。但是，如果忽略美观而想使信息量增多的话，通过在每个矢量上分配1比特，用多个点表示信息点 103，就可以拥有大量的信息。例如，在同心圆的8个方向的矢量上，用由4个格子点4包围的信息点103可以表示28的信息，用一个方框的16个信息点可以表示2128的信息。图12是信息点以及在此定义的数据的比特表示的示例，(a)表示配置了 2个点， (b)表示配置了 4个点，以及(c)表示配置了 5个点。图13表示点阵图形101的变化例，(a)为6个信息点配置型的概略图，(b)为9个信息点配置型的概略图，(c)为12个信息点配置型的概略图，(d)为1036个信息点配置型的概略图。
图8所示的点阵图形101表示在一个方框内配置了 16个(4X4)信息点103的示例。但是，该信息点103并不限定于在一个方框内配置16个，还可以进行各种变更。例如， 根据必要信息量的大小或摄像部7的解像度，有在一个方框内配置6个(2X3)信息点103 的(a)，在一个方框内配置9个(3X3)信息点103的(b)，在一个方框内配置12个(3X4) 信息点103的(c)，或者在一个方框内配置36个信息点103的(d)。<点阵图形的说明方向点>接下来，关于点阵图形的其他形态即方向点，通过图14进行说明。本点阵图形是根据方框的形状来定义点阵图形的方向的。在图14(a)中，首先配置了基准点201a 201e。根据连接该基准点201a 201e的线，定义了表示方框方向的形状(此处为朝上的五边形)。然后，基于该基准点配置了虚拟基准点201f、201g、201h，在以该虚拟基准点为起始点并具有方向和长度的矢量终点上配置了信息点203。这样，在该图中，可以根据基准点的配置方法来定义方框的方向。然后根据定义方框方向的方向点，也可以定义方框整体的大小。另外，该方框在上下左右方向上重复配置多少次都可以，这一点无需赘述。此外，在图14(a)中，虽然基准点201a 201e与信息点203全都是用同一形状来说明的，但是基准点201a 201e也可以是比信息点203更大的形状。另外，如果该基准点 201a 201e与信息点203可识别，那么可以是任何形状，三角形、四边形及其以上的多边形都可以。图14(b)表示根据方框的虚拟格子点上是否有信息点来定义信息。此外，图14(c)表示将图14(a)所示的方框在纵横方向上每两个进行连接。本发明的手写输入输出系统1中，形成于介质2上的点阵图形并不限于GRID1，只要是定义了 XY坐标信息及代码信息的就可以。例如，可以使用日本专利第3766678号(GRID2)、日本专利第3858051号(GRID3)、 日本专利第3858052号(GRID4)、日本特愿2009-165163 (流点阵图形)。<点阵图形的格式的说明>图15是关于本发明的手写输入输出系统1中形成于介质2上的点阵图形的格式的说明图。如该图(d)所示，点阵图形是由4X4个方框区域构成的，在该方框内区划为(㈣ C31,。(a)与(b)表示各区域的点代码格式。该图(a)是登记了页代码、X坐标及Y坐标的格式。页代码在介质2为册子状的情况等之下，表示介质2的页数；X坐标及Y坐标分别表示在介质上的位置(坐标值)。这样，用户通过扫描器3读取介质2，就可以由一次读取操作同时识别该介质的页数以及读取处的坐标位置。
该图(b)是登记了页代码、动作代码、X坐标及Y坐标的格式。动作代码表示操作指示。例如，仅定义在绘有设置于该页上的表示“扩大”、“缩小”等操作的图标的区域内，主要包含在用于后述图标区域的点阵图形中。另外，在动作代码定义于该页的整个写入区域内，并在手写输入中或手写输入后进行必要的处理的情况下，也可以将该命令处理关联到动作代码进行运行。例如，命令处理是在手写输入中或手写输入后进行文字识别、向其他信息处理装置发送的处理。此外，这里虽然说明了作为页代码的利用，但是()内的特定写入区域代码也可以在一面介质面内设置多个，通过用唯一的代码定义那些写入区域，能够瞬间判断在哪里写入。当然，也可以合并到页代码进行定义，使能够判断哪页的哪个特定写入区域。进一步地，在手写输入的内容属于一定类别的情况下，通过与该类别的辞典的对照核查，识别率明显提高。该手写输入的内容当然不只是文字，也可以是记号、插图。当然，动作代码也可以同样合并到特定写入区域代码进行定义，运行命令处理。该图(c)表示，通过设置写入区域标记，如果用摄像装置拍摄形成于介质面上的点阵图形，并用点阵图形解析部8进行解析的话，则立刻得知是否是写入区域，如果不是写入区域，则运行与该代码值及/或坐标值相关联的信息输出及/或命令处理，如果是写入区域，则通过轨迹识别装置运行手写输入的预先确定的处理。该写入区域标记当然也可以并设该图(a)、(b)的页代码(特定写入区域代码)或动作代码。这样，本发明的点阵图形可以将页代码或动作代码等各种代码信息和XY坐标登记在一个格式上。另外，除此之外，也可以是能够仅登记XY坐标或仅登记代码信息并富有灵活性的格式。〈摄像部〉图16 图28是用于本发明的手写输入输出系统1的摄像部7的说明图。此外，摄像部7最好是适合人手持的大小、形状，其中图16所示的笔型的形状最好。该图(a)表示笔型形状的摄像部7的最基本的实施方式。在该实施方式中，设置了指示用突起部23和发送部24，没有图示出的C-MOS传感器等大致内置在笔的轴线上。发送部24用于摄像部7通过红外线通信、无线通信等方法向其他部件发送信号，虽然为方便说明进行了图示，但是实际上不一定必须设置在从外观可以看到的位置上。该图(b)表示笔型形状的摄像部7的其他实施方式。在该实施方式中，设置了接受用户操作的两个按钮。这两个按钮是发送按钮25和再次发送按钮26，用户要想从摄像部 7向其他部件发送信号，可以通过按钮操作来指示。此处，再次发送按钮26用于在发送按钮 25的信号发送由于遮蔽物的存在等不能向接收端的部件发送的情况下再次发送相同信号。该图(c)表示笔型形状的摄像部7的其他实施方式。在该实施方式中，设置了接受用户的声音输入的话筒27和声音播放按钮28。话筒27用于收录用于后述的声音识别的声音，声音播放按钮28用于播放后述的声音引导。该图(d)表示笔型形状的摄像部7的其他实施方式。在该实施方式中，在指示用突起部23的内部空间里收藏着笔29，按下笔收藏按钮30，笔29就会出来。图17(a)是表示构成本发明的手写输入输出系统1的摄像部7的一个实施例即笔型扫描器31的顶端部的剖面图。所述笔型扫描器31设有，内部形成中空部且其顶端具有开口部的光导32，配置在临近该光导32开口部的位置上的透镜33，配置在与该透镜33同一面上并向形成有点阵图形的介质面照射一定波长的光的光源LED34(照射部13)，配置在从透镜33往后的位置上的C-MOS传感器35 (摄像元件12)，更靠后的位置上的PCB36，以及在此处设置的没有图示的CPU。光导32的中空部形成了从透镜33朝向开口部的直径逐渐变大的锥形。此处，CPU具有前述的点阵图形解析部8、轨迹识别部9、处理命令部10及信息处理部11中的任意一个或全部的作用光导32为透明或乳白色的树脂制，其内部作为导光路发挥功能。来自LED34的照射光从光导32的内部通过，从所述开口部向介质2照射。光导32为乳白色树脂制的情况下，来自LED34的照射光在通过光导32的内部时会适度的扩散，因此，从开口部照射介质2 的光能够更均勻。〈LED的发光时间的控制〉该图(b)表示每小时的LED34的发光时间。LED34在每个一定的时间，瞬间以一定强度发光，曝光介质2。C-MOS传感器35拍摄来自介质2的反射光，将其作为图像数据向点阵图形解析部8发送。该图(c)表示每小时的C-MOS传感器35的元件的反应状态。LED34以一定强度发光，介质2曝光的瞬间的介质2的残像印相在C-MOS传感器35的元件上。此处，一定时间 tk是指在直到摄像元件12的残像消失的时间内，保持在点阵图形解析部8能够解析的残像状态所必需的时间。如果LED34发光的时间ft在一定的时间α以下的话，如该图(d)所示，因为点的残像清楚地印相在C-MOS传感器35的元件上，所以将该残像作为图像数据向点阵图形解析部8发送。这种情况下，发送是在残像保留在元件上的时间、之内进行的。另一方面，如果LED34发光的时间ft大大超出一定的时间α的话，如该图(e)所示，点的残像很模糊地印相在C-MOS传感器35的元件上，不能读取正确的数值。所涉及的摄像方法在使用C-MOS传感器的情况下特别有效，但是取代上述摄像方法而使用CCD照相机也是没有问题的。关于用于本发明的手写输入输出系统1的光控制部14及点阵图形解析部8的功能，通过图18进行说明。该图(a)是对由光控制部14控制的LED34的发光时间，及通过摄像元件12拍摄点阵图形并发送到存储元件的时间，及由点阵图形解析部8获得的图像数据的解析时间的第一模式进行说明的时间系列。在第一模式中，发光ftn、摄像Jn、解析atn依次进行，解析atn 结束之后，直到经过了一定时间ts，下一次的发光4 +1才进行。此处，一定时间％是在摄像元件12对点阵图形进行摄像、发送、解析所需要的时间的预测值中，将最大值作为摄像、发送、解析的预测时间来定义的。该图(b)是对由光控制部14控制的LED34的发光时间，及由摄像元件12进行的点阵图形的摄像/发送时间，及由点阵图形解析部8获得的图像数据的解析时间的第二模式进行说明的时间系列。在第二模式中，解析atn结束之后，光控制部14检测解析的结束， 且下一次的发光ftn+1立刻进行，下一次的点阵图形的摄像rtn+1和解析atn+1相继进行。该图(c)是对由光控制部14控制的LED34的发光时间，及由摄像元件12进行的点阵图形的摄像/发送时间，及由点阵图形解析部8获得的图像数据的解析时间的第三模式进行说明的时间系列。在第三模式中，通过设置多个任务处理或光控制部14及点阵图形解析部8，与解析atn_i同时进行用于下一次解析的点阵图形的摄像Jn，解析Ari结束之后发光ftn+1立刻进行，然后，已在摄像Jn内拍摄的图像数据的解析atn相继进行。此外，进一步地，虽然也可以与发光ftn+1同时开始解析atn，但是因为LED34的发光时间极短，所以在从 LED34发光到点阵图形解析部8完成图像数据解析的合计时间里，几乎没有变化。 〈笔的安装〉另外，笔型扫描器31安装有作为书写工具的笔37。通常用笔等书写工具印字时， 因为是在使其倾斜的状态下使用，所以笔型扫描器31的外周形成为可倾斜至45度。这种情况下，通过拍摄笔37的顶端附近的介质面，能够正确地解析从摄像中心偏离的位置上的笔37印字时的笔迹和移动距离等。另外，通过后述的偏差补正，能够更正确地解析笔迹。作为书写工具的笔37可以通过各种方法收藏，也可以不在介质上残留笔迹。收藏方法可以是直接利用用于一般的圆珠笔等笔的技术。例如，可以采用摁式、旋转式的收藏方法，也可以盖笔帽。另外，也能像一般的三色圆珠笔那样可以更换笔。这种情况下，不仅是颜色不同的笔之间更换，还可以取代笔而使用橡皮或修正液。进一步地，取代笔37而设置指示用突起部23 (手写笔)，也可以用来拍摄指示用突起部23的笔迹附近。在指示用突起部23内设置收藏空间来收藏笔37，也可以作为指示用突起部使用。<偏差补正>如图17(a)所示，在笔型扫描器31上，摄像部7拍摄的点阵图形定义的XY坐标值与笔37实际写入的轨迹上的点阵图形定义的XY坐标值不同。而且，轨迹上的点阵图形定义的XY坐标值转换成介质面上的写入区域内的xy坐标值，需要进行写入输入或操作指示。对于本发明的手写输入输出系统1中，将摄像部7拍摄的点阵图形的XY坐标值补正为笔37实际写入的轨迹上的点阵图形的补正方法，以及从点阵图形坐标系的XY坐标值转换成写入区域坐标系的xy坐标值的转换方法，说明如下。<写入区域的坐标系与点阵图形的坐标系的关系>图19表示写入区域的一个示例。写入区域坐标系的左下角定为(0，0)。写入区域的xy坐标值为mm表示。例如，如果是(16，40)的坐标位置，则表示从写入区域的左下角向右移动16mm，向上移动40mm的位置。在写入区域内，连续形成有将点阵图形坐标系的XY坐标值定义为1组的点阵图形的方框。XY坐标值表示方框的中心点的位置。为了使点阵图形坐标系的坐标值与写入区域坐标系的坐标值相区别，表示为〔Χ，γ〕。以写入区域的左下角为坐标系的原点(0，0)，使定义了〔0，0〕的点阵图形的方框的左下角与原点(0，0) —致，这样，点阵图形坐标系的XY坐标值，如图20所示，不管在哪个写入区域，都会形成左下角为〔-0. 5,-0. 5〕的点阵图形。这种情况下，在形成于各写入区域内的点阵图形上定义固有代码值来特定各写入区域。不需要相互特定的情况下，定义同一代码值也可以。
另外，如图22所示，形成在纸面整体上定义了 XY坐标值的点阵图形，在写入区域定义除上述XY坐标值之外的固有代码值。这种情况下，写入区域的左下角的XY坐标值为 (XnO, YnO) (η为特定写入区域的编号)。接着，将各方框的一条边用Lmm表示，则XY坐标值如下所述转换成写入区域坐标系。如图20所示，在以原点(0，0)的XY坐标值为〔-0.5，-0.5)且形成有点阵图形的情况下，点阵图形坐标系中的坐标〔X，Y〕在写入区域坐标系中为(Χ X L+L/2，Y X L+L/2)。此外，如图21所示，以写入区域的左下角为坐标系的原点(0，0)，使定义了〔0，0〕 的点阵图形的方框的中心点与原点一致，则为(XXL，YXL)。此外，图21的示例中的写入区域坐标系与点阵图形坐标系的关系与图19的扩大图部分的示例相同。如图22所示，在写入区域的左下角的XY坐标值为〔ΧηΟ,ΥηΟ〕的情况下，点阵图形坐标系中的坐标〔X，Y〕在写入区域η坐标系中为((X-XnO) X L, (Y-YnO) X L)。〈摄像中心C在点阵图形坐标系上的XY坐标值〔Xe，Yc〕的计算〉用图23对摄像中心C的XY坐标值〔Xe，Yc)的计算方法进行说明。将摄像图像暂时存储到一定解像度的帧缓冲区，通过图像解析，求出构成相邻方框的中心间隔的像素数M。方框的中心间隔等于方框的一条边的长度L，因此，将相对于L 的摄像图像的每一像素的尺寸用点阵图形坐标系中的值k表示，则k = L/M。同样通过图像解析，求出构成离摄像中心C最近的方框中心P (Xp, Yp)与摄像中心C之间的间隔的像素数U。从摄像中心C到离摄像中心最近的方框中心P的距离CP为CP = kXu。接着，为了使点阵图形的方向(写入区域的方向)为写入区域的上方向，在点阵图形形成于纸面上的情况下，将点阵图形的方向与PC矢量所成的角用Θ'表示(以左旋转为正方向)，则求出(Xe, Yc) = (Xp-CPXsin θ ‘ , Yp+CPXcos θ ‘〕。<笔尖在写入区域坐标系上的xy坐标值Q(xq，yq)的计算(笔相对于纸面垂直的情况)>如图24所示，写入区域坐标系上的摄像中心C的坐标值为(xc，yc)，笔尖在介质面上的坐标值为Q(xq，yq)。如图25所示，将点C与点Q的χ坐标值、y坐标值的差分分别用Axq、Ayq表示，则求出Axq = xq-xcAyq = yq-yc0为了使点阵图形的方向为写入区域上方向，在形成有点阵图形的情况下，将以摄像中心C为起始点并以笔尖为终点的CQ矢量的方向作为笔型扫描器31的方向。将点阵图形的方向与笔型扫描器31的方向所成的角用θ表示(以左旋转为正方向)°另外，如图26所示，在笔型扫描器31相对于纸面垂直的状态下，将从摄像中心C 到笔尖Q的距离用s表示，则Δ xq及Δ yq为Axq = -s X sin θAyq = s X cos θ。因此，xq及yq为 xq = xc-s X sin θyq = yc+sXcos θ。〈笔尖在写入区域坐标系上的xy坐标值Q'(xq' , yq')的计算(笔相对于纸面倾斜的情况)>如图27所示，在笔型扫描器31相对于纸面倾斜的情况下，从所述摄像中心C到笔尖Q的距离发生变化。当笔型扫描器31主体的从纸面的法线方向开始的倾斜度(以下称为“笔的倾斜度”)为α时，从摄像中心到笔尖的距离用s'表示，则所述算式以S — S'进行置换，变成xq' =xc-s' Xsin θyq' = yc+s' Xcos θ。另外，s' = s/cosa，因此，将其代入该式，则变成xq' =xc-s' Xsin θ /cos ayq' = yc+s' Xcos θ /cos a 0<在以笔尖收在笔主体中的状态来利用的情况下的从摄像中心到笔尖的距离>此外，如图28所示，将笔尖收起来之后，虽然笔型扫描器31仅靠近纸面AL，但并不会影响s及s'，计算式是相同的。〈笔的倾斜度α的计算方法〉为了测出笔的倾斜度a，也可以在笔主体上设置倾斜度传感器等倾斜度测量装置。或者，也可以求出摄像图像的预先确定的多个ρ处的光亮度BLi，j = l，p，用最亮处与最暗处的光亮度差Δ BL从关系式a =f (ABL)中求出笔的倾斜度a。也可以像a = f(BLi,j = l，p)那样，将BLi，j作为参数，用傅里叶函数或sin函数求出a。另外，也可以预先做出ABL与α相对应的一览表，推算a。此外，笔倾斜的方向是通过测量从BLi，j = 1，ρ的最暗处到最亮处的方向来求出的。< 介质 2>图29 42是用于本发明的手写输入输出系统1的介质2的说明图。图29表示在表面整体上印刷(形成)点阵图形并作为写入区域的介质2。所述点阵图形定义了 XY坐标值及页代码。这里的页代码是指用代码信息来特定介质的代码。图30表示在印刷有定义了页代码及XY坐标值的点阵图形的区域内，印刷有进一步定义了动作代码的另外的点阵图形的介质2。这里的动作代码是指，对于向用代码信息特定的介质进行的手写输入，命令信息处理部11进行一定操作(特别是应用程序的操作)的代码。这样，可以提高安全性，减少错误操作。本介质是多张为一组，每张上分配有不同的页代码。页代码是，例如第一页为 “01”，第二页为“02”，第三页为“03”。在印刷有定义了动作代码的点阵图形的区域内，可以将用于向用户说明所述动作代码具有怎样的含义的文本、图画、照片、图标进行重叠印刷。例如，重叠印刷有文本图标 “开始”的区域的动作代码，命令信息处理部11起动手写输入输出用应用程序。重叠印刷有文本图标“中止”的区域的动作代码，命令信息处理部11将手写输入输出用应用程序的输入结果作废(取 消)，或者，在决定信息处理部11是否运行预先确定的处理时，命令信息处理部11中止处理的运行。重叠印刷有文本图标“保存”的区域的动作代码，命令信息处理部11保存手写输入输出用应用程序的输入结果。重叠印刷有文本图标“结束”的区域的动作代码，命令信息处理部11结束手写输入输出用应用程序。图31表示印刷有定义了 XY坐标值及页代码的点阵图形的区域与印刷有定义了动作代码及页代码的点阵图形的区域是划分开的介质2。这种情况下，不用选择将介质的哪页作为对象，就能仅对通过页代码特定的页运行各种命令。这样，可以提高安全性，减少错误操作。图32表示印刷有定义了 XY坐标值及页代码的点阵图形的第一介质与印刷有仅定义了动作代码的点阵图形的纸控制器即第二介质。这种情况下，不管在介质的哪一页，都能运行针对手写输入的各种命令。此外，将写入区域与图标分开设置的情况，如图32所示，除了作为纸控制器的情况之外，还可以作为贴纸、便签、卡片粘贴在其他介质上。此外，重叠印刷有文本图标“正文输入”的区域的动作代码，命令信息处理部11在手写输入输出用应用程序的操作中进行作为正文的文字或图形的输入。重叠印刷有文本图标“注释输入”的区域的动作代码，命令信息处理部11在手写输入输出用应用程序的操作中进行作为注释的文字或图形的输入。重叠印刷有文本图标“编辑”的区域的动作代码，命令信息处理部11在手写输入输出用应用程序的操作中进行文字或图形的编辑(即，也能编辑通过手写输入输出用应用程序以外的应用程序制作的文书、图像等文件)。重叠印刷有文本图标“决定”的区域的动作代码，在决定信息处理部11是否运行预先确定的处理时，命令信息处理部11决定处理的运行。图33表示印刷有定义了 XY坐标值及页代码A的点阵图形的第一介质与印刷有定义了动作代码及页代码A的点阵图形的纸控制器即第二介质形成了一个册子。这种情况下，也可以在写入区域内印刷在各页登记了相同的XY坐标的点阵图形。 原因就是，在进行写入操作时，如果使用登记有动作代码及页代码的控制器区域的图标的话，能够特定写入区域。也就是说，不用变更XY坐标值，就能改变写入区域的位置、页。这种情况下，不用选择将介质的哪页作为对象，就能仅对通过页代码特定的页运行各种命令。 这样，可以提高安全性，减少错误操作。除了上述之外，也可以在写入区域整体上印刷定义了命令信息处理部起动手写输入输出用应用程序的动作代码的点阵图形。这种情况下，在介质面上进行写入，手写输入输出用应用程序就会自动起动。另外，介质上的写入区域并不限于一个，也可以定义多个。
(关于设有多个写入区域的情况)关于设有多个写入区域的情况，通过图34 38，使用四个示例进行如下说明。<第1示例>第1示例的情况是，如图34所示，在每个写入区域内都形成定义了不同点阵图形坐标系的XY坐标值与特定写入区域的代码值的点阵图形。在该图中，在各个写入区域内都形成有定义了点阵图形坐标系的XY坐标值与特定写入区域的代码值m、η的点阵图形。代码值通过定义多个信息，可以包含将写入区域以及页码进行分类的分类编号等。包含页码的话，就能辨别是哪页的哪个写入区域，写入区域内有信息与处理命令择一等选择项目，作为共同的代码来处理的情况下，可以将所定义的页码和特定选择项目的信息合并作为代码值来定义。此外，如图35所示，在写入区域内也可以划分区域，定义不同的代码值。在该图中，代码值为nl、n2、n3、n4。这样，在一个写入区域内就可以设定多个选择项目。在该第1示例中，各区域的左下角通常为0(原点)，因此，具有容易处理的优点。〈第2示例〉第2示例的情况是，如图36所示，在整个预先确定的区域上形成有定义了一个点阵图形坐标系的XY坐标值的点阵图形，写入区域的点阵图形上也同时定义了 XY坐标与代码值。在该图中，在一个以预先确定的区域的左下角为原点的点阵图形坐标系中定义了 XY坐标值的点阵图形形成于整个预先确定的区域上。该预先确定的区域内的两个写入区域分别定义了左下角为〔Xm0，Ym0〕、〔ΧηΟ,ΥηΟ〕的XY坐标值以及特定写入区域的代码值m、n。代码值与第1示例的相同，在写入区域内也可以划分区域，定义不同的代码值。此外，在写入区域以外的形成有点阵图形的区域内不能写入。根据第2示例，通过读取XY坐标值，很容易得知写入区域布局在预先确定的区域内的哪里。< H 3 τγΜ >第3示例的情况是，如图37所示，在写入区域中，进一步嵌入写入区域。在该图中，定义了一个以预先确定的区域的左下角为原点的点阵图形坐标系的XY 坐标值以及特定写入区域的代码值L的点阵图形形成于整个预先确定的区域上。该预先确定的写入区域内的两个写入区域分别定义了左下角为〔Xm0，Ym0〕、(XnO, YnO)的XY坐标值以及特定写入区域的代码值m、η。根据该示例，在自由写入文章或图形的大写入区域内配置选择项目栏等小写入区域是很容易的。假如想通过第1示例实现此点的话，在写入区域内进一步形成写入区域时，需要设置孔为空的写入区域，点阵图形的形成变成了复杂的操作。进一步地，在一个坐标系中，如果能在写入区域内形成写入区域的话，可以通过改变输入形式，忽略写入区域内的写入区域，为了能进行写入操作而设定。例如，在写入区域内的写入区域进行写入的情况，只有更改输入形式或描绘有特定记号的情况，也可以设置有效的设定。 此外，代码值与第1示例的相同，在写入区域内也可以划分区域，定义不同的代码值。在该示例中，通过读取XY坐标值，很容易得知写入区域布局在哪里。〈第4示例>第4示例的情况是，如图38所示，在整个预先确定的区域上确定一个点阵图形坐标系，在写入区域上形成定义了该坐标系的XY坐标值以及特定写入区域的代码值的点阵图形。在该图中，在预先确定的区域内确定一个以左下角为原点的坐标系，在该区域内的两个写入区域上，形成有分别定义了左下角为〔XmO，YmO〕、〔XnO，YnO)的XY坐标值以及特定写入区域的代码值m、η的点阵图形。在该示例中，与第2示例不同，在写入区域以外的范围内没有形成点阵图形。在该示例中，如果有图画、文本等印刷物的原稿和点阵图形的原稿的话，配合印刷物的原稿的坐标系，进行通过配置马赛克来自动布局写入区域的范围的马赛克处理，可以制作点阵图形的原稿，可以很容易地发行点阵图形。另外，在读取点阵图形时，通过读取XY坐标值，可以得知写入区域布局在预先确定的区域内的哪里，因此，可以用于例如配置在纸面上的哪里广告效果才会高等的调查。此外，虽然以上说明中全部是用点阵图形坐标系进行说明的，但是，即使用从点阵图形坐标系转换来的写入区域坐标系也是相同的，这一点是当然的。图39表示在介质上定义了多个写入区域的具体例即文件。该图(a)表示在所述文件上，各写入区域上定义有XY坐标值的原点以及命令进行写入区域特定的特定代码。在该图(a)中，写入区域“姓名”内定义有写入区域“注音假名”，写入区域“住址” 内定义有写入区域“邮编”，写入区域“周边的地图”内定义有写入区域“徒步(所用时间)”、 “电车(所用时间)”、“公交(所用时间)”。另外，写入区域“性别”分别划分为写入区域“男”和“女”，写入区域“出生年月日” 分别划分为写入区域“年”、“月”、“日”。这样的写入区域的布局可以通过分别分配不同的特定代码来实现。该图(b)表示在所述文件上，各写入区域上没有定义XY坐标值的原点，而是仅定义有命令进行写入区域特定的特定代码。通过构成这样的结构，能够特定写入信息在整个介质面上的位置。图40表示在图39的文件上实际进行了手写输入的状态。该图(a)表示实际进行了手写输入的图39(a)的文件。该图(b)表示接收到该图(a)的手写输入，将信息处理部11所进行的处理的结果在显示器6上显示，或通过印刷来输出的状态。本发明的手写输入输出系统1通过将手写输入的文字及图形用一些方法识别，来进行如该图(b)那样的输出，详见后述。〈重新印刷点阵图形〉在本发明的手写输入输出系统1中进行手写输入，也可以在信息处理部11上印刷使其反映手写输入的内容，再次进行手写输入。图41 (a)表示重叠印刷有轨迹识别部9识别的轨迹信息和点阵图形的介质2。虽然没有图示，但是在图41(a)所示的介质2上也可以重新印刷与最初在进行了手写输入的介质2上印刷的点阵图形不同的点阵图形。图41 (b)表示重叠印刷有信息处理部11所进行的处理的结果和点阵图形的介质 2。虽然没有图示，但是在图41(b)所示的介质2上也可以重新印刷与最初在进行了手写输入的介质2上印刷的点阵图形不同的点阵图形。这种情况下，XY坐标是相同的，可以仅变更页代码进行印刷。<盲字/侧板>另外，在介质2上也可以进一步设置侧板引导38(较窄的凸起)或盲字39。图42表示在写入区域的外周设有侧板引导38，在写入区域上同时设有点阵图形和盲字39的突起。通过这样设置侧板引导38，有视觉障碍的用户使用手写输入输出时也能知道写入区域的位置，通过将盲字39与点阵图形设在相同区域，有视觉障碍的用户使用手写输入输出时也能保证同样的输入效率。〈点阵图形解析部〉点阵图形解析部8按照使用了所述GRIDl的点阵图形的信息输入输出方法，通过对图像数据进行代码解析，求出点阵图形定义的XY坐标信息及代码信息。在本发明的手写输入输出系统1中，点阵图形解析部8依次对用户通过摄像部7 在介质上写入(划写)的轨迹进行代码解析，因此，XY坐标信息及代码信息是表示该轨迹的(轨迹信息)。<轨迹识别部>轨迹识别部9根据轨迹信息的变化，识别介质上写入的文字、图形。轨迹识别的方法是像一般的OCR(光学文字读取装置)一样，通过将文字、图形作为图画考虑，参照数据库内的文字、图形的XY坐标的类型来进行的方法。在本发明中特别是可以根据代码信息，预先指示在写入区域写入的内容。即，通过参照预先分类的文字及/或图形信息模式一览表，可以以高精度识别轨迹信息。具体例是， 如果指示预先仅记载阿拉伯数字的话，因为轨迹识别部9仅参照阿拉伯数字的一览表，所以识别率提高。不能识别的情况下，像通常那样参照数据库内的所有文字、图形即可。进一步地，进行了上述轨迹识别之后，通过参照与代码信息对应的预先定义的含义信息代码一览表(辞典)，可以将在写入区域写入的文字及/或图形或者由一个或多个文字构成的语句的含义信息转换成含义信息代码。即，轨迹识别部9在例如写入了“东京都文京区”的情况下，首先对“东”、“京”、“都”、“文”、“京”、“区”逐一进行类型识别，进一步地，通过参照含义信息代码一览表(辞典)，转换成作为与“东京都”预先对应的内容而定义的含义信息代码和作为与“文京区”预先对应的内容而定义的含义信息代码，信息处理部可以识别出所输入的是地名“东京都”、“文京区”。另外，参照含义信息代码一览表(辞典)也会辅助文字的类型识别。例如，在由于用户将“东京”的“东，，字写得很不工整而导致轨迹识别部9很难识别用户写的是“东，，还是“车”的情况下，如果在含义信息代码一览表中定义有熟语“东京”，而没有定义熟语“车京”(熟语“车京”通常不存在)的话，轨迹识别部9就能识别出用户写的字是“东”。
〈计时部〉本发明的手写输入输出系统1还可以进一步设有计时部15。计时部15具有测出时间信息的功能。此处，时间信息 (1)作为摄像部7接触写入区域面所描绘的笔迹的顺序。(2)作为从摄像部7接触写入区域面到离开为止的时间的集合，忽略开始写之后， 摄像部7处于离开状态的时间。也就是说，省略摄像部7处于离开状态的时间，从(1)的开始与结束的时间，记述手写输入的时间与其顺序。这样，可以得知写字的时间，以及文字识别的精度的提高和对象者的文字输入速度。(3)通过记录摄像部7接触、离开写入区域面的所有时间，可以得知问卷调查或商品选择等需要多少时间，通过与正常时间相比较，可以掌握难易度、思考状态以及笔者的性格、年龄、性别等。(4)另外，通过掌握笔的移动速度，可以解析文字的笔画和书写难度，还可以进一步地推测笔者的心理状态和健康状态。<角度测定部/角度变化识别部>本发明的手写输入输出系统1还可以进一步设有角度测定部16和角度变化识别部17。角度测定部16和角度变化识别部17测定/识别摄像部7相对于介质面的倾斜度。角度测定/角度变化识别的方法可以直接使用所述笔的倾斜度α的计算方法。这种情况下，摄像部7即使不具有笔也能测定/识别倾斜度。另外，如图43 47所示，可以使用日本特愿2005-267565号(PCT/SG2006/000267)的信息输出装置的发明中所公开的倾斜度的计算方法。但是，也可以使用除此之外的方法。此外，作为倾斜度测定/识别基准的摄像部7相对于介质面的角度变化的识别，能够以摄像部7相对于介质面垂直竖立时的角度以及摄像部7与介质面接触时的角度为基准。<旋转角读取部/旋转角变化识别部>本发明的手写输入输出系统1还可以进一步设有旋转角读取部18和旋转角变化识别部19。旋转角读取部18和旋转角变化识别部19读取/识别使摄像部7的摄像光轴大致垂直竖立并旋转时的旋转角。此外，求出点阵图形的方向与摄像部7的方向所成的角度的方法虽然在偏差补正的项目中已进行了说明，但是该方法不论有没有笔都能用于旋转角的读取/识别方法。艮口， 点阵图形的方向通常是一定的，因此，能够使摄像部7相对于介质面垂直竖立，将最初拍摄时的点阵图形的方向与摄像部7的方向所成的角度θ工与一定时间经过后的点阵图形的方向与摄像部7的方向所成的角度θ2(以左旋转为正方向)的差作为旋转角来读取/识别。<点触动作与跳起动作的辨别方法>在本发明的手写输入输出系统1中，通过图48，对摄像部7点触写入区域的动作 (点触动作)与从接触写入区域的状态跳起的动作(跳起动作)的辨别方法进行说明。如该图(a)所示，在摄像部7点触写入区域的情况下，摄像部7点触写入区域的瞬间能够拍摄写入区域的点阵图形。然后，摄像部7—从写入区域离开，来自LED34的照射光就不在介质面反射，因此，C-MOS传感器35无法检测来自LED34的照射光(来自介质面的反射光)，如该图(C)所示，无法拍摄点阵图形。如该图(b)所示，从摄像部7接触写入区域的状态跳起的情况下，摄像部7点触写入区域的瞬间能够拍摄写入区域的点阵图形，也就是说至此为止与点触写入区域的动作相同。然后，摄像部7 —从接触写入区域的状态跳起，根据摄像部7的顶端仍在一定时间内对着写入区域，因为来自LED34的照射光在介质面反射，所以虽然C-MOS传感器35大体拍摄介质面上的点阵图形，但是由于摄像部7的移动速度很快，所以如该图(d)所示，点阵图形模糊不清，无法解析。S卩，将摄像部7 点触写入区域并拍摄点阵图形进行解析的瞬间作为基准时间，解析在一定时间经过后(例如0.2秒后)拍摄的图像数据，不拍摄点阵图形(不检测反射光) 时，摄像部7做点触动作，处理命令部10向信息处理部11发送与点触动作相对应的预先定义的处理命令。拍摄点阵图形(检测反射光)，点阵图形模糊不清无法解析时，摄像部7做跳起动作，处理命令部10向信息处理部11发送与跳起动作相对应的预先定义的处理命令。 此外，如该图(e)所示，能够解析点阵图形时，无非就是通常的手写输入动作。<处理命令部>处理命令部10将以轨迹识别部9所识别的信息为基础的处理命令与轨迹信息一起向信息处理部11发送。已说明的由印刷在介质面上的点阵图形定义的基于页代码来特定页的命令、基于特定代码来特定写入区域的命令、及基于动作代码的各种命令都是由处理命令部10实际向信息处理部11发送的。另外，处理命令部10命令信息处理部11进行手写输入输出用应用程序的各种操作的运行，详见后述。进一步地，向信息处理部11发送根据角度测定部16/角度变化识别部17所得的测定/识别结果以及旋转角读取部18/旋转角变化识别部19所得的读取/识别结果所预先决定的处理命令。<信息处理部>信息处理部11接收本发明的手写输入输出系统1所进行的处理命令，运行各种处理。<服务器>本发明的手写输入输出系统1还可以根据需要访问记录有各种信息的服务器5。<轨迹识别用服务器>在服务器5上能够存储例如轨迹识别用的信息。像一般的0CR(光学文字读取装置)所采用的那样，在多个文字及图形上定义并存储有XY坐标类型。另外，在文字及图形上定义并存储有用于将其分类的分类代码。进一步地，在文字及图形上，通过参照含义信息代码一览表(辞典)，定义并存储有由一个或多个文字构成的语句或图形，或者用于输出语句与图形的组合的含义信息代码。在本发明的手写输入输出系统1中，不仅能用XY坐标信息还能用代码信息来特定写入区域，因此，即使写入区域的量(数)很庞大，也可以很容易地管理。特别是，在谁都能利用的共有的全球服务器上存储写入信息的情况下极其有效。
<其他服务器> 无需说明在服务器5上除了轨迹识别用信息之外，还可以存储声音、文书、图像、 动画、应用程序及其他各种信息。例如，可以存储手写输入输出用应用程序。即，信息处理部11不具有手写输入输出用应用程序时，可以检索服务器内部，运行服务器上的手写输入输出用应用程序。但是，也可以优先运行服务器上的手写输入输出用应用程序。此外，还可以取代服务器5，运行其他的信息处理部11的手写输入输出用应用程序。当然，服务器5除了上述实施例之外，也可以改变各种方式来实施。<手写输入输出用应用程序>关于在本发明的手写输入输出系统1中运行的手写输入输出用应用程序，说明如下。所述应用程序是通过运行各种操作，使对介质面的写入也在电脑上反映的系统。对介质面的写入可以是通过处理命令部10向信息处理部11实时发送命令，一边看显示处理结果的显示器6 —边进行，也可以是不看显示器6进行写入，写入后处理命令部 10向信息处理部11发送命令。〈写入操作〉关于在本发明的手写输入输出系统1上的写入操作，说明如下。写入操作是通过将想要输入的文字或图形用摄像部7在介质面的写入区域写入来进行的。在摄像部7在介质面上移动的期间，摄像部7在一定时间间隔内拍摄重叠印刷在写入区域上的点阵图形。之后的步骤如前述已说明的一样。关于手写输入输出系统1运行的各操作，说明如下。<文字及图形的识别方法>图49是说明手写输入正文文字的第一种操作的示意图。如该图(a)所示，用摄像部7在写入区域写字，如该图(b)所示，摄像部7就会依次拍摄轨迹上的点阵图形，点阵图形解析部8取得由XY坐标信息与代码信息构成的轨迹信肩、ο此外，为了便于说明，在该图(b)中，轨迹上的点阵图形的摄像位置的间隔很宽， 但实际上是比较窄的。如该图(c)所示，根据以轨迹信息为基础进行识别的结果，信息处理部11运行第一种操作，将结果输出到显示器6。如该图(d)所示，识别图形的情况与识别文字的情况在识别方法上没有任何变化，如该图(e)所示，识别结果显示在显示器6上。但是，不进行文字及图形的识别，也可以将点阵图形解析部8要求的XY坐标信息照原样进行输入输出。这种情况下，本发明的手写输入输出系统1作为数位板发挥功能。〈第二种操作〉如图50所示，第二种操作是手写输入注释文字的操作。此外，在该图中，为了便于说明，将注释部分用虚线框起来了，但实际上是不需要写入虚线的。文字或图形的识别方法与第一种操作的方法相同。
第二种操作中输入的注释文字在信息处理部11上也是作为区别于正文的注释来识别的。如图51所示，注释可以是在行间写的内容保持原样反映在信息处理部11上，但是如图52所示，注释也可以是通过用下划线指定正文中的想插入注释的部分，在信息处理部 11上在正文的旁边列举注释。〈第三种操作〉
第三种操作是编辑所手写输入的文字的操作。各编辑是通过在信息处理部11上作为编辑记号用摄像部7写入预先定义的文字或图形来进行的。文字或图形的识别方法与第一种操作的方法相同。图53是用于本发明的第三种操作即编辑操作的编辑记号的说明图。形成一个封闭区域的线是指选择区域内的文字或图形的编辑记号。不封闭区域的括弧状的两组线是指选择两组线之间的文字或图形的编辑记号。“ >，，记号是指在剪切&粘贴时指定剪切对象的编辑记号。双线是指删除(消去)的编辑记号。“卜 >，，是指删除(消去)的编辑记号。iM 是指取消编辑记号“卜的编辑的编辑记号。往返三次以上的折线是指编辑取消的编辑记号。双方向的箭头是指所选择的文字或图形之间的调换的编辑记号。
仅单方向的箭头是指直接指定粘贴处的编辑记号。文字(A)、(B)、(C)......是指在将所选择的文字或图形做上标记后的状态下复
制(剪切)，指定位于离开位置的粘贴处的编辑记号。当然还可以定义除上述以外的编辑记号。图54表示运行第三种操作前的介质2。在介质2上运行了第一种操作，写有手写输入的文书或手写输入的结果、印刷的文书。图55是第三种操作中的介质2上的编辑状态的说明图。如该图(a)所示，在写入封闭区域的线时，将在手写输入输出用应用程序上通过线封闭的区域内作为一个编辑对象来识别。如该图(b)所示，在写入不封闭区域的括弧状的线时，通过在其后的区域上，如该图(C)所示，绘出对应的括弧封闭状的线，将其中间的区域作为一个编辑对象，在手写输入输出用应用程序上进行识别。特别是用于编辑对象跨过数行的情况。如该图(d)所示，在选择了编辑对象的状态下在表示编辑对象的线上画出“卜时，在手写输入输出用应用程序上删除编辑对象的文字。如该图(e)所示，在选择了编辑对象的状态下画出从编辑对象到一定位置进行指定的箭头时，在手写输入输出用应用程序上，在指定了编辑对象的区域内进行剪切&粘贴或复制&粘贴。此处，粘贴处不只是在文字与文字之间(或者行首或行尾)插入，如该图 (f)所示，也能通过将粘贴处作为编辑对象来删除原来的文字，在其上写字。这种情况下，如该图(g)所示，在表示复制处的编辑对象的线上添加画出表示删除的编辑记号即“ 记号时，在手写输入输出用应用程序上作为剪切&粘贴来处理，并删除剪切处的对象。如该图(h)所示，在没有添加画出“ 记号时，在手写输入输出用应用程序上作为复制&粘贴来处理。如该图⑴所示，在编辑对象上添加画出作为编辑记号的标记㈧、(B)，那么在做上标记(A)、(B)后的状态下复制编辑对象，之后就可以不管多少次的任意粘贴。进一步地， 如该图(j)所示，在不同页等或离开的位置上也可以粘贴。如该图(k)所示，在文字上划双线，则在手写输入输出用应用程序上删除划有双线的文字。如该图(1)所示，用双方向的箭头的编辑记号连接两个编辑对象，则在手写输入输出用应用程序上进行编辑对象之间的调换。图56表示使在介质2上进行的第三种操作中的各编辑的结果反映在手写输入输出用应用程序上的文章。图57是在图60所示的第三种操作的编辑进行之后，取消编辑并返回编辑前的状态的操作的说明图。如该图(a)所示，在附加作为编辑记号的“ > ”记号并删除了一次的区域上添加表示否定的编辑记号即折线，则在手写输入输出用应用程序上，在删除了一次的区域内取消删除，区域返回原来的状态。如该图(b)所示，在对附加作为编辑记号的标记㈧并复制&粘贴一次的粘贴处进行指定的编辑记号即箭头部分上添加折线，则在手写输入输出用应用程序上，返回进行复制&粘贴并插入文字之前的状态。图58表示使在介质2上进行的第三种操作中的编辑的取消的结果反映在手写输入输出用应用程序上的文章。〈各操作的层次关系〉关于各操作的层次关系，说明如下。各操作可以是将第三种操作与第一及第二种操作并列的操作。这种情况下，在运行第三种操作时，同时编辑正文的文字及注释的文字。另一方面，第三种操作还可以作为分别从属于第一种操作及第二种操作的辅助操作。这种情况下，在运行作为从属于第一种操作的辅助操作的第三种操作时，仅编辑正文的文字，在运行作为从属于第二种操作的辅助操作的第三种操作时，仅编辑注释的文字。当然，本发明的手写输入输出系统1除了上述第一至第三种操作外，还可以根据需要作为能够运行各种操作的系统来变更实施。〈向电脑的保存〉如图59所示，通过将摄像部7保持接触在介质面上使其向右旋转一定旋转角度 (例10度以上)，处理命令部10命令信息处理部11将输入的文字及文书结构的结果(文件内容的变更结果)保存。摄像部7的主体在具有能够记录编辑过程的功能的情况下，将上述文书结构的结果发送到信息处理部11。如图60所示，通过将摄像部7保持接触在介质面上使其向左旋转一定旋转角度 (例10度以上)，处理命令部10命令信息处理部11将输入的文字及文书结构的结果作废(取消文件 内容的变更)。对于摄像部7的旋转的识别，利用前述的旋转角读取/旋转角变化识别的方法。<应用程序的起动/结束>如图61所示，通过将摄像部7保持接触在介质面上使其向右旋转一定旋转角度 (例10度以上)，然后保持原样在一定时间内(例1秒以内)使其向左旋转一定旋转角度 (例10度以上)，处理命令部10命令信息处理部11起动手写输入输出用应用程序。如图62所示，通过将摄像部7保持接触在介质面上使其向左旋转一定旋转角度 (例10度以上)，然后保持原样在一定时间内(例1秒以内)使其向右旋转一定旋转角度 (例10度以上)，处理命令部10命令信息处理部11结束手写输入输出用应用程序。<操作的切换动作——方法1>通过图63，对于进行操作切换的第一种方法，说明如下。在该方法中，利用前述的角度测定/角度变化识别的方法。如该图(a)所示，通过将摄像部7竖立在介质面上，并以介质面与摄像部7所成的角度为基准向介质面的左侧仅倾斜一定的角度(例15度以上)，处理命令部10命令信息处理部11开始手写输入正文的第一种操作。如该图(b)所示，通过将摄像部7竖立在介质面上，并以介质面与摄像部7所成的角度为基准向介质面的右侧仅倾斜一定的角度(例15度以上)，处理命令部10命令信息处理部11开始手写输入注释的第二种操作。如该图(c)所示，通过将摄像部7竖立在介质面上，并以介质面与摄像部7所成的角度为基准向介质面的上侧仅倾斜一定的角度(例15度以上)，处理命令部10命令信息处理部11开始编辑正文及注释的第三种操作。如该图(d)所示，通过将摄像部7竖立在介质面上，并以介质面与摄像部7所成的角度为基准向介质面的下侧仅倾斜一定的角度(例15度以上)，处理命令部10命令信息处理部11结束现在正在运行的操作，开始预先设定的正常时间(起动时间)的操作。此外，图64是补足进行操作切换的第一种方法的说明的从正上方看的平面图。
<操作的切换动作——方法2>对于进行操作切换的第二种方法，说明如下。操作切换还可以通过设在摄像部7的主体上的按钮等输入装置来进行。另外，除了摄像部7之外，还可以通过鼠标、键盘等外部输入装置来进行操作切换。<操作的切换动作——方法3>对于进行操作切换的第三种方法，说明如下。在内部收藏有多个笔尖可以进行更换的实施方式的摄像部7上，还可以与笔尖的更换动作联动来切换操作。这种情况下，每种操作都可以用颜色区分开，因此，即使在介质上也可以很容易实现各操作的区分。另外，取代笔尖而安装橡皮或修正液的情况下，即使在信息处理部11上不写入而是消去文字或图形也可以。<决定/取消>
在信息处理部11决定是否运行预先确定的处理时，如图65(a)所示，在将摄像部 7垂直状竖立在介质面上，点触一次介质面后，在一定时间内(例1秒以内)再点触一次介质面时，处理命令部10命令信息处理部11决定处理的运行。如该图(b)所示，在将摄像部7垂直状竖立在介质面上，点触一次介质面后，在一定时间内(例1秒以内)不点触介质面时，处理命令部10命令信息处理部11中止处理的运行。〈其他使用方法〉以上结构是以在介质2上保留写入过程为前提的，但是，如上所述，本发明的手写输入输出系统1不用在介质2上保留写入过程，就能边看显示器6边进行手写输入。<声音识别>本发明的手写输入输出系统还可以进行声音识别及声音引导，来作为辅助手写输入的方法。<声音收录部>声音收录部20，如图66所示，是以中央处理装置(MPU) 40为中心构成的。S卩，通过中央处理装置(MPU) 40的控制，从话筒41输入的声音信息经由放大器42，通过A/D转换器 43、压缩线路44来处理，作为数字声音信息记录下来。<声音识别部>声音识别部21将录下来的声音信息转换成对应的文本信息，处理命令部10将基于文本信息的处理命令与文本信息一起发送到信息处理部11。这里，通过在声音识别之后拍摄定义有分类代码的点阵图形，可以提高声音识别的精度。即，在检索数据库输出文本信息时，不用参照所有的文本信息，通过参照与分类代码对应的声音识别信息一览表内的文本信息，声音识别的精度就会提高。例如，在发声为“上野”的情况下，很难掌握那是地名上野还是人名上野，但是，在拍摄了表示“住址”的分类代码后，“上野”的发声作为声音信息输入的情况下，“上野”的声音信息与住址输入的类别代码一起向信息处理部11发送。<向声音收录代码切换>本发明的手写输入输出系统1在代替手写输入而进行声音收录的情况下，需要通过进行一定操作来切换到声音收录模式。对于向声音收录模式切换的方法，说明如下。<描画特定记号>作为向声音收录模式切换的第一种方法，是通过摄像部7写入(划写、描绘)表示向声音收录模式切换的特定记号来切换到声音收录模式的方法。通过轨迹识别部9识别表示向声音收录模式切换的特定记号的轨迹并发送到声音收录部20(或通过处理命令部10 发送)，声音收录部20开始声音收录。< 跳笔 >作为向声音收录模式切换的第二种方法，如图67所示，是通过使摄像部7在接触介质面的写入区域的状态下做跳起动作来切换到声音收录模式的方法。<根据声音识别的切换>作为向声音收录模式切换的第三种方法，是通过收录一定的声音到声音收录部 20，且声音识别部21识别一定的声音，来切换到声音收录模式的方法。
处理命令部10在根据上述各种方法进行操作的情况下，命令信息处理部11在手写输入输出用应用程序上代替手写输入而进行声音输入。〈声音输出部〉声音输出部22根据来自处理命令部10的指示，播放预先确定的声音文件。声音文件是预先数字化并存储的内容，通过A/D转换器42、放大器42，从扬声器45或耳机46输
出ο〈声音引导〉在本发明的手写输入输出系统1中，通过利用代码信息，还可以对进行手写输入的用户进行声音引导。S卩，通过在印刷于写入区域的点阵图形上定义有命令信息处理部11播放声音的声音引导代码，开始手写输入(摄像部7拍摄点阵图形)后，与声音引导代码预先对应存储的声音文件通过声音输出部22播放。当然，声音引导代码及对应的声音文件还可以用于声音引导以外的情况。<格栅板>图68 图72是表示在本发明的手写输入输出系统1中，将信息输入辅助薄板即格栅板安装在显示器上来使用的实施例的说明图。该格栅板是在透明的薄板上形成有点阵图形，通过重叠粘贴在监视器面上，发挥作为触摸屏的功能。通过将日本特愿2007-230776号(PCT/JP2008/002188)中公开的格栅板作为介质 2来使用，能够将介质粘贴在显示器6的监视器面上作为触摸屏。但是，也可以采用格栅板以外的装置。另外，除了将格栅板作为介质2来使用外，还可以将格栅板重叠在介质2上来使用。这样的使用方法，第一，在想用本发明的手写输入输出系统1对印刷(记载)在不是手写输入输出用的介质上的文书或图像进行编辑的情况下，第二，在用户对将摄像部7贴放在监视器面上这点感觉抵触的情况下，是特别有效的。图68 图69是表示将格栅板安装在显示器6上来使用的实施例的说明图。图68表示在信息处理装置即通用的电脑系统上使用格栅板。本实施例中，在个人电脑等的液晶显示器(IXD)或CRT(显像管)等的显示器画面上粘贴格栅板。格栅板是由透明薄膜形成的，印刷有点阵图形。该点阵图形，详见后述，将XY坐标值及/或代码值用一定的算法进行了图形化。在电脑主体上连接着点阵图形读取装置即扫描器。用户按照透视出的画面的指示，用扫描器点触格栅板。扫描器读取点阵图形，并通过USB数据线发送到个人电脑，个人电脑的中央处理装置(CPU)解析点阵图形，求出格栅板上的XY坐标值，并进一步转换成显示器上的xy坐标值，根据坐标值的信息能够进行触摸屏形式的输入。由此，通过本薄板可以进行触摸屏形式的输入，可以提供廉价的便利性良好的触摸屏。另外，在浏览互联网站时，即使是没有设定链接信息的信息，也可以检索关联信息进行参照。此外，在图68中是使用个人电脑作为信息处理装置的，但是本发明并不仅限于此，信息处理装置可以是个人电脑、PDA、电视接收器、正面及背面投影仪、游戏机、卡拉OK 装置、手机终端装置、POS终端装置、ATM、KIOSK终端、汽车导航系统、柏青哥、钟表、智能手机等。在这些装置上，格栅板作为触摸屏形式的输入装置，配置在显示器或屏幕的显示画面上。图69是表示图68所说明的格栅板的内部构造的剖视图。该图(a)是表示用扫描器点触着格栅板的状态的纵剖视图。如该图所示，格栅板是，从显示装置侧开始，依次层叠有红外线反射层、点阵图形层、保护用透明薄板(保护层)的构造。红外线反射层是在用乙烯、聚氯乙烯、聚丙烯等透射可视光线的材料制成的蒸镀用透明薄板上，蒸镀有红外线反射材料的结构。红外线反射层使从扫描器的红外线照射装置照射并透射保护用透明薄板的红外线向扫描器反射，同时使可视光透射。同时，隔断来自显示装置的红外线。这样，可以只将从扫描器的红外线照射装置照射来的红外线光作为照射光，可以只拍摄明亮的清晰的点阵图形，可以正确地解析点代码。在点阵图形层上，印刷有将由碳素油墨等具有吸收红外线特性的材料构成的点按照后述的一定的规则进行排列的点阵图形。保护用透明薄板是用乙烯、聚氯乙烯、聚丙烯等透射可视光线及红外线的材料制成的。反复用扫描器点触点阵图形，就会出现点磨损，不能正确读取点阵图形的问题。于是， 通过设置保护用透明薄板，可以防止点的磨损和脏污，可以使薄板长期使用。在扫描器中，内置有红外线照射装置即IR-LED、删减其反射光的一定波长成分的 IR滤光镜、摄像元件即C-MOS传感器以及透镜。扫描器拍摄照射到格栅板的照射光的反射光。如上所述，点阵图形是用具有吸收红外线的特性的油墨印刷的，因此，在C-MOS传感器的摄像图像中，仅点的部分拍摄成黑色。这种情况下，红外线反射层上被镜面反射的反射层，如该图所示，不向透镜入射反射光，如该图(b)所示，拍摄成中央为漆黑的状态。因此，无法实现不遗漏点阵图形的拍摄。 因此，有必要使红外线漫反射并入射到透镜。即，如图70(a)所示，在点阵图形印刷层与红外线反射层之间设置红外线扩散层。该红外线扩散层是由透明或半透明的材质形成的。这样，如该图(b)所示，从IR-LED照射来的红外线在红外线反射层进行镜面反射，在红外线扩散层进行扩散，所有拍摄区域的反射光入射到透镜。此外，该图中在格栅板上设置有红外线扩散层，但是，本发明并不仅限于此，在扫描器的摄像口还可以设置由红外线扩散材料制成的滤光镜。图71是表示格栅板的各种构造的剖视图。该图(a)是由反射红外线并同时具有透射可视光的特性的红外线反射层与点阵图形层构成的格栅板。如图所示，从红外线照射装置照射来的红外线首先在点阵图形层的形成有点的部分(以下称为点部)被吸收，在其以外的区域透射。然后，所透射的红外线在红外线反射层进行镜面反射，透射除点部外的点阵图形层。该图(b)是在红外线反射层与点阵图形层之间设置有透射可视光并同时使所述红外线扩散的红外线扩散层的格栅板。如图所示，从红外线照射装置照射来的红外线首先在点阵图形层的点部被吸收，在其以外的区域透射。然后，所透射的红外线在红外线扩散层进行扩散之后，在红外线反射层进行镜面反射，再次在红外线扩散层进行扩散，透射除点部外的点阵图形层。该图(c)是在点阵图形层的一面侧，即红外线反射层的相反侧上，设置有透射可视光并同时使红外线光扩散的红外线扩散层的格栅板。如图所示，从红外线照射装置照射
45来的红外线首先在红外线扩散层进行扩散之后，在点阵图形层的点部被吸收，在其以外的区域透射。然后，所透射的红外线在红外线反射层进行镜面反射，再次透射除点部外的点阵图形层，在红外线扩散层进行扩散。该图(d)是由漫反射来自一面侧的红外线并同时具有透射可视光的特性的红外线漫反射层与点阵图形层构成的格栅板。如图所示，从红外线照射装置照射来的红外线首先在点阵图形层的点部被吸收，在其以外的区域透射。然后，所透射的红外线在红外线漫反射层进行漫反射，透射除点部外的点阵图形层。该图(e)是在该图(a)所示的格栅板的点阵图形层侧的外面设置有具有透射红外线光及可视光的特性的保护层的格栅板。通过设置这样的保护层，可以防止点的磨损和脏污，可以使薄板长期使用。此外，不仅该图(a)，保护层还可以设置在(b) (d)所示的格栅板的点阵图形层侧的外面。该图(f)是具有在该图(a)所示的格栅板上也反射来自点阵图形层的相反侧的红外线的特性的格栅板。通过具有这样的特性，可以隔断来自安装有本发明的格栅板的显示器画面或屏幕的红外线，只将从红外线照射装置照射来的红外线光作为照射光。因此，可以只拍摄明亮的清晰度点阵图形，可以正确地解析点代码。此外，不仅该图(a)，在(b) (e)所示的格栅板上，也可以具有也反射来自点阵图形层的相反侧(另一面侧)的红外线的特性。该图(g)是在该图(a)所示的格栅板上，在红外线反射层的与点阵图形层相反的一侧上设置有黏着层的格栅板。黏着层是由可拆卸的材质制成的。该黏着层仅在将格栅板粘贴在显示装置或介质上来使用的情况下是必需的，如后所述，在将格栅板摆放或夹在印刷物上来使用的情况下不是必需的。通过设置这样的黏着层，可以很容易将格栅板粘贴在
显不器等上。此外，不仅该图(a)，黏着层还可以设置在(b) (e)所示的格栅板上红外线反射层的与点阵图形层相反的一侧。图72表示格栅板的其他实施例。本实施例的特征在于，在薄板的两面设有点阵图形层。该图(a)是由将向各面照射的红外线反射到各个方向并同时具有透射可视光的特性的红外线反射层与设置在红外线反射层的两面上的点阵图形层构成的格栅板。这样， 薄板的两面都可以利用，因此便利性得到提高。该图(b)是在红外线反射层与各面的点阵图形层之间设置有透射可视光并同时使来自各个方向的红外线光扩散的红外线扩散层的格栅板。该图(c)是在红外线反射层与各面的点阵图形层两者的外面设置有红外线扩散层的格栅板。该图(d)是由红外线漫反射层与设置在红外线漫反射层的两面上的点阵图形层构成的格栅板。该图(e)是在该图(a)所示的格栅板的外面两面上设置有具有透射来自各个方向的红外线光及可视光的特性的保护层的信息输入辅助薄板。此外，不仅该图(a)，保护层还可以设置在(b) (d)所示的格栅板的外面两面上。
该图(f)是在该图(a)所示的格栅板上的红外线反射层的与点阵图形层的各相反侧，即格栅板的外面两面上，设置有黏着层的格栅板。此外，不仅该图(a)，黏着层还可以设置在(b) (e)所示的格栅板的外面两面上。关于该图(a) (f)的格栅板上的各层的说明及反射，与前述说明相同，因此，此处省略说明。此外，在该图所示的格栅板上，还可以在红外线反射层或红外线漫反射层的一面侧与另一面侧的点阵图形层上，将不同的坐标值及/或代码值进行图形化。另外，在图71 72所示的格栅板上，还可以在点阵图形层或其他的层上，用红外线透射材料或红外线反射材料构成的油墨重叠印刷文本、插图、照片等。<关于格栅板的课题>如上所述，如果不在格栅板上设置红外线漫反射层，那么在薄板表面上会镜面反射，因此，在摄像元件的中心周围会出现不入射红外线反射光的区域，会出现如图69(b)那样的黑眼球位于中央的眼球现象。因此，需要设置漫反射层，成本会变高。<课题解决方案>于是，在未设置漫反射层的格栅板的情况下，使用通过漫反射原材料(漫反射油墨)来形成点阵图形的方法。根据该方法，由漫反射原材料形成的点，如图73(a)所示，将红外线漫反射到所有方向，因此，入射到该点的红外线必定会入射到摄像元件。因此，如图 73(b)所示，在摄像图像上，在点阵图形的黑眼球区域内会检测出白点。<关于白点与黑点的辨别方法>关于能够辨别在通常的介质面上印刷的以往的黑点，并且也能识别在未设置漫反射层的格栅板上印刷的所述白点的算法，说明如下。作为最简单的方法，就是在开始解析白点时，使摄像图像全部反转为黑白(正片负片)，照原样使用解析黑点的解析算法的方法。例如，在图像的各像素上将入射光光亮度以8比特(黑0 白255)来表示的情况下，以任意像素(像素编号为i、j)的光亮度为 BL(i、j)，则使黑白反转的光亮度(i、j)可以通过下述算式得到。瓦(算式)(i、j)= 255-BL (i、j)。但是，在该方法中，需要在所有的像素上进行黑白反转计算，存在需要很多计算时间的问题。因此，不使用该方法，对通过变更黑点用的临界值，解析眼球区域内的白点的算法来辨别的方法进行具体说明。首先，通过图74(a)来说明黑点辨别的解析算法。该算法是以行单位进行的扫描线算法，从左端开始向右，求出仅相距一定间隔的像素之间的光亮度的差分，进行该差分是超过还是达不到一定的正/负临界值的判定，在达不到负临界值的情况下将右侧的像素判定为点，判定点从该像素开始。另外，在超过正临界值的情况下同样判定右侧的像素不是点，判定点直到其跟前的像素为止才结束。可是，如果用绝对量的临界值来判定点的话，在倾斜着扫描器所拍摄的图像上会出现明暗，暗部的光亮度的下降很明显，不能判定暗部区域的点。但是，如上所述，通过使用判定两点间的光亮度的差分的临界值，即使在暗部区域的图像上也能正确地判定点。此处，不用相邻像素之间的光亮度的差分，而是用相距一定间隔的像素之间的差分的理由是，在点的轮廓模糊不清的情况下所拍摄的图像等上，轮廓周边的光亮度的变化很小，因此，获得差分的像素之间太近的话，差分会变得很小，变成不超过临界值的值，无法辨别点。例如，该一定间隔为“4”的情况下，j行的像素编号i与像素编号i+4之间的差分为ABL(i、j)，则其求出方法如下述算式。(算式)八81^(士、」)=BL(i+4、j)_BL(i、j)。所用的临界值为φ (φ>0)。此夕卜，在以光亮度为8比特(光亮度0 255)来表示的情况下，在明部区域φ=25~50左右比较合适，在暗部区域φ=8~16比较合适。这样，通过动态地变更与点部分的明暗小的暗部区域和明暗大的明部区域的临界值，可以进一步正确地判定点。此处，ABL(i、j)相对于临界值φ，如果ABL (i、j) <-φ，则判断为点从i+4的位置的像素开始。如果ABL (i、j) >φ，则判断为点在i+3的位置的像素结束。在白点的位置的解析算法中，将该临界值判定颠倒过来。即，ABL(i、j)相对于相同的临界值φ，如果ABL (i、j) >φ，则判断为点从i+4 的位置的像素开始。如果ABL (i、j) <-φ，则判断为点在i+3的位置的像素结束。如果使用该方法的话，不用在所有的像素上反转黑白，就能简单地实现白点的位置的判定。<将眼球变大的笔型扫描器的形状>在使用格栅板，通过扫描器读取白点的情况下，必须将黑眼球变得更大，并扩大点阵图形的检查范围。于是，对使黑眼球变得更大的扫描器的形状进行说明。如图75所示，从摄像开口部的口端内周围发出的红外线在格栅板上进行镜面反射，假想一个可入射到摄像元件的光路，在比该光路更靠外侧的地方设置光导，将红外线均勻地照射在整个介质面上。这样，从光导发出的红外线可以在格栅板上进行镜面反射，可以使拍摄的图像的大部分区域变成黑眼球。这时，为了使多余的红外线在格栅板上进行镜面反射且不入射到摄像元件，需要在图中所示的位置上设置遮光部。此外，在构造上倾斜扫描器的情况下，黑眼球区域会变少，但是摄像区域会扩大，拍摄的白点的数量增加，因此，可以毫无问题地解析点代码。<是否与介质相接触的判定方法>在用扫描器与介质面相接触的期间，通常会读取介质面上的代码，例如，如果用户无意中微妙地偏离了读取位置，就会读取与用户的意图不同的代码，播放不同的内容。如果想排除这样的状态，即使读取了与第一次不同的代码，设定为忽略即可。但是，如果是像手写输入那样用扫描器在介质面上划写的话，就必须输入依次读取的代码(坐标值)。因此， 在忽略错误，接着读取了新的坐标值时，通常作为正常输入来处理即可。进一步地，在产生了由扫描器的稍微移动所造成的读取错误的情况下，发生一次错误的话，就设定成将接下来所读取的同一代码作为第一次所读取的代码来输入，这种情况下，就会发生相同的内容
开始很多次(发生像“哈罗、哈罗、哈罗......”那样的播放)的现象，无法进行恰当的操作。
于是，进行扫描器是否与介质面相接触的判定，只要不使扫描器从介质面离开，则忽略接着读取的同一代码(也可以忽略不同的代码)，扫描器与介质面相接触，需要使与第一次所读取的代码相对应的内容或命令的运行继续。当然，如果使扫描器从介质面暂且离开，然后再次与介质面相接触的话，不用说就是结束继续运行中的内容或命令，开始与新读取的代码(不管是同一代码还是不同代码)相对应的内容或命令的运行。此外，即使与介质面相接触但不能读取代码的情况下，继续运行。使用这种方法时，如果只将配置在介质面上的黑点作为对象的话，可以单纯测定读取图像的中心部的光亮度，判定如果是明亮的则笔与介质面相接触，如果是暗的则笔不与介质面相接触。此外，只测定中心部的光亮度的理由是，即使倾斜扫描器，中心部的光亮度的下降对判定的影响也很少，通过只将中心部作为测定区域，可以将测定时间控制在最小限度。但是，在既能读取黑点也能读取白点的扫描器上，读取白点时，因为读取图像的中心部变得很暗，所以判定为笔不与介质面相接触。于是，关于判定既能读取黑点也能读取白点的扫描器不与普通介质面(印刷介质面等)和格栅板面中的任何一个或哪一个相接触的方法，通过图76进行说明。首先，通过摄像元件取得图像(SlO)。测定所取得的图像中心部是否明亮(S20)，如果中心部明亮，则判定为扫描器与普通介质面相接触(S25)。图像中心部是否明亮的测定是根据图像中心部的光亮度是否超过一定的临界值来判定的。如果没有判定为中心部明亮，则在图像上搜索白点(S30)。如果检测出白点，则判定为与格栅板相接触(S35)。如果没有判定为存在白点，则判定为扫描器不与介质面相接触(S40)。S25、S35、S40的判定之后，结束解析。关于从该S30的暗部区域搜索白点，如图77所示，从摄像图像的中心的像素中，呈旋涡状在预先确定的区域内(必定存在一定量的点的最小区域)判定周边的像素是不是白
点ο在上述中，在通过S25判定为与普通介质面相接触时，开始黑点的解析(以往的算法)。在通过S35判定为与格栅板相接触时，开始白点的解析(新的算法)。<关于伴随优先权主张而新追加的事项><关于摄像元件的残像特性>此外，在有如图17(c)所示的元件的电荷时，除了该图(C)所示的外，可以让一定时间tk内的摄像元件12的残像的消失变得更缓慢。<关于写入区域的形状>在以上说明中，写入区域都是矩形，但是，如果像本发明这样用代码信息特定写入区域的话，如图78所示，写入区域的形状是，例如多边形、圆形、椭圆形、心形、星形、或者重叠印刷插图与点阵图形时沿着该插图实际存在的线的形状等，不管是什么样的，都可以发挥同样的解析效率。以往，如果想要仅用坐标信息特定写入区域的话，就必须将表示写入区域的边界的坐标用一览表或函数预先定义，必须逐次判定输入的坐标值是不是在该一览表或函数的范畴内。因此，解析变得复杂化，如果仅用坐标信息特定写入区域，因为要将内存使用和运
算速度等的解析效率的下降控制在最小限度，所以需要写入区域为矩形。此外，如果是矩
形，则将矩形区域的XY坐标值的最小值与最大值存储在一览表中，判定输入的坐标值是否
在那个范围内。因此，即使是矩形，对于代码信息对写入区域的特定，用于判定内存使用是
不是4倍以上，是不是在写入区域内的多余的比较运算需要4次。进一步地，如果有多个写
入区域，则预测需要判定是哪个区域，需要庞大的内存使用和运算速度。本发明中，写入区
域不管是什么样的形状，代码信息都直接特定写入区域，因此，不用进行多余的内存使用和
运算，就能特定写入区域。 <根据配置方向的组合的辨别> 对进行自动的操作辨别的另一个方法进行说明。像GRID1、GRID3那样，在使用通过保持着与基准位置的距离和方向的配置信息点来定义信息(第一数值化信息)的点阵图形的情况下，可以相对于是将信息点配置在+ 方向线上(上下左右方向线上)还是配置在X方向上(斜方向线上)的信息点的配置方向的组合本身来定义信息(第二数值化信息)，因此，如果将在X方向线上配置信息点的情况作为“0”，将在+方向线上配置信息点的情况作为“1”，则图79(b)的点阵图形上的第二数值化信息为“1010010110100101”，图80(b)的点阵图形上的第二数值化信息为 “0000000011111111”。另外，不仅是信息点的配置方向，通过将从虚拟基准点配置信息点的距离(配置距离)作为两个以上的图形，根据信息点相对于虚拟基准点配置在哪个距离上的组合，也
可以定义第二数值化信息。当然，还可以根据信息点的配置方向与配置距离这两方的组合来定义第二数值化 fn息ο即，第二数值化信息是指根据称为信息点的配置方向或配置距离的信息点的配置法则本身所定义的信息。至此为止，发明人提出了定义代码信息与坐标信息这两方的点阵图形的格式，但是，那种格式的点阵图形为了增加信息点的数量，需要将点阵图形的分布面积扩大设置，同时，笔型扫描器的光学读取单元也要读取点阵图形，因此还需要具有大的读取区域。因此，在具有读取精度小、运算速度小且运算要领少的光学读取单元的玩具等上， 很难利用定义代码信息与坐标信息这两方的格式，但是，根据上述方法，即使是信息点少的、分布面积小的点阵图形，也能定义大量的信息。产业上的可利用性本发明的手写输入输出系统，第一，具有没有掌握用于电脑操作的鼠标、键盘、图形输入板这些已有的输入用装置的使用技巧的人，能够以与在纸介质上写入相同的感觉来使用的作为输入用装置的产业上的利用可能性。而且，具有作为主要以孩子为对象的玩具， 特别是作为智育用玩具的产业上的利用可能性。本发明的手写输入输出系统，第二，根据与坐标信息同时读取的代码信息能够特定写入区域，因此，手写输入的内容属于一定类别的情况下，通过与该类别的辞典的对照核查，识别率明显提高。本发明的手写输入输出系统，第三，操作者不用进行特别的操作，仅通过读取点阵图形就能辨别是否是写入区域，像使用谁都熟悉的书写工具那样能够直观地实现手写输入。
权利要求
1.一种手写输入输出系统，其特征在于，其设有，在至少一部分或多个区域上设有形成有重复定义了坐标信息及代码信息的点阵图形的写入区域的介质，拍摄并发送该写入区域的该点阵图形的摄像装置，通过将由该摄像装置拍摄/发送的该点阵图形的图像数据存储到存储元件中，并对该图像数据进行代码解析，来求出由该坐标信息及该代码信息构成的轨迹信息的点阵图形解析装置，根据所解析的该坐标信息的变化，对在该写入区域面上划写的文字及/或图形的该轨迹信息进行识别的轨迹识别装置，以及，将以所识别的识别信息为基础的处理命令和该轨迹信息向信息处理装置发送的处理命令装置。
2.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质在其至少一部分或多个区域上进一步形成有与所述写入区域相关联的文本、图画、照片。
3.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质同时重新重叠形成有所述点阵图形与至少在所述写入区域面上描绘的所述轨迹信息或该轨迹信息的编辑结果信息，及/或所述介质面上的印刷信息。
4.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质对于一定的介质面及/或所述写入区域面，在将定义特定所述写入区域的特定信息及/或操作指示(程序的起动、指令的输入、数据的输入输出/检索、检索对象的指定等)的代码信息进行重复而形成的所述点阵图形上，重叠形成有表示该代码信息的图标。
5.根据权利要求4所述的手写输入输出系统，其特征在于，所述图标与所述点阵图形重叠形成在贴纸、便签或其他介质面上。
6.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质将设有所述写入区域的该介质作为第1介质，而且还设有形成有将用于特定该第1介质面及/或所述写入区域面的代码信息进行重复定义的点阵图形的第2介质，通过用所述摄像装置读取该第2介质上形成的代码信息，输出所述第1介质面上的印刷信息及/或所述写入区域面上描绘的所述轨迹信息、及/或与该轨迹信息相关联的信息。
7.根据权利要求6所述的手写输入输出系统，其特征在于，所述第2介质具有贴纸、便签等形态或卡片状的形态。
8.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质是，所述手写输入输出系统在所述写入区域的监视器面上重叠使用的，形成有重复定义了坐标信息及/或代码信息的点阵图形的透明的信息输入辅助薄板，即格栅板。
9.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质是，所述手写输入输出系统在印刷有所述写入区域的介质上重叠使用的，形成有重复定义了坐标信息及/或代码信息的点阵图形的透明的信息输入辅助薄板，即格栅板。
10.根据权利要求1所述的手写输入输出系统，其特征在于，所述摄像装置进一步设有经由摄像口向所述介质面照射一定波长的光的照射装置，以及拍摄该一定波长的反射光并将其作为图像数据向所述点阵图形解析装置发送的摄像元件；该点阵图形解析装置使该照射装置在第1预先确定的时间发出一定强度的光，在超过该点阵图形解析装置将由该摄像元件拍摄发送的该图像数据存储到存储元件中的时间之后，能将该图像数据作为残像固定在该摄像元件上，进一步地，在比该点阵图形解析装置对该图像数据进行代码解析所必需的解析时间多的第2预先确定的时间经过之后，再次发出该一定强度的光，该第1预先确定的时间与该第2预先确定的时间是连续的，最好进一步设有控制该照射装置的光控制装置。
11.根据权利要求10所述的手写输入输出系统，其特征在于，所述光控制装置在由所述点阵图形解析装置进行的所述图像数据的代码解析结束之后，无需等待所述第2预先确定的时间，直接指示所述照射装置发光，该照射装置在所述第1预先确定的时间之内发出所述一定强度的光，该点阵图形解析装置将由所述摄像装置重新拍摄/发送的图像数据存储到存储元件中，进行代码解析。
12.根据权利要求10所述的手写输入输出系统，其特征在于，所述光控制装置在所述点阵图形解析装置的该点阵图形的解析时间内，无需等待所述第2预先确定的时间，直接指示所述照射装置发光，该照射装置在所述第1预先确定的时间内发出所述一定强度的光，所述点阵图形解析装置在该解析时间内，将由所述摄像装置重新拍摄/发送的图像数据存储到存储元件中，在该解析时间结束之后，直接对该图像数据进行代码解析。
13.根据权利要求1所述的手写输入输出系统，其特征在于，所述摄像装置进一步设有指示用突起部，在所述写入区域面上用该指示用突起部划写所描绘的文字及/或图形时，拍摄该指示用突起部附近的轨迹上的所述点阵图形，所述点阵图形解析装置将由该摄像装置发送的该点阵图形的图像数据存储到存储元件中，对该点阵图形进行代码解析，求出由所述坐标信息及所述代码信息构成的轨迹信息。
14.根据权利要求1所述的手写输入输出系统，其特征在于，所述摄像装置进一步设有至少一个笔尖，在所述写入区域面上用该笔尖划写所描绘的文字及/或图形时，拍摄/发送该笔尖附近的轨迹上的所述点阵图形，所述点阵图形解析装置将由该摄像装置拍摄/发送的该点阵图形的图像数据存储到存储元件中，对该点阵图形进行代码解析，求出由所述坐标信息及所述代码信息构成的轨迹信息。
15.根据权利要求13所述的手写输入输出系统，其特征在于，所述指示用突起部进一步设有至少一个笔尖，在该指示用突起部内收藏该笔尖的收藏空间，以及控制该笔尖的收藏/取出的按钮。
16.根据权利要求13所述的手写输入输出系统，其特征在于，所述摄像装置进一步设有消去由所述指示用突起部在所述写入区域面上描绘的文字及/或图形的消去装置，在该写入区域面上，用该消去装置消去划写的区域的同时，拍摄该消去装置附近的轨迹上的点阵图形，所述处理命令装置向信息处理装置发送将该文字及/或图形的所述轨迹信息消去的处理命令和所述轨迹信息。
17.根据权利要求1所述的手写输入输出系统，其特征在于，所述轨迹识别装置将所述点阵图形解析装置进行代码解析所得到的所述坐标信息，补正成与该写入区域面上划写或描绘的文字及/或图形的轨迹一致或近似。
18.根据权利要求1所述的手写输入输出系统，其特征在于，所述轨迹识别装置进一步设有计时装置，该计时装置对所述摄像装置与所述写入区域面接触的时间及离开的时间进行计时，记录该摄像装置接触该写入区域面与所描绘的轨迹的顺序相接触的时间，并发送到所述信息处理装置。
19.根据权利要求18所述的手写输入输出系统，其特征在于，所述计时装置记录所述摄像装置接触所述写入区域面的时间和所述点阵图形解析装置求出所述轨迹信息的时间， 并发送到所述信息处理装置。
20.根据权利要求1所述的手写输入输出系统，其特征在于，所述处理命令装置根据所述代码信息及/或所述识别信息，能够专心输入特定所述写入区域的特定信息及/或操作指示(程序的起动、指令的输入、数据的输入输出/检索、检索对象的指定等)。
21.根据权利要求1所述的手写输入输出系统，其特征在于，所述轨迹识别装置进一步根据所述代码信息，参照与所述写入区域内写入的内容相关的预先分类的文字及/或图形信息模式，以高精度识别所述轨迹信息。
22.根据权利要求1所述的手写输入输出系统，其特征在于，所述轨迹识别装置进一步根据所解析的所述坐标信息的变化，参照与所述代码信息对应的预先定义的含义信息代码一览表(辞典)，将该文字及/或该图形或者由一个或多个该文字构成的语句的含义信息转换成含义信息代码，所述处理命令装置将该含义信息代码与基于该含义信息的所述处理命令发送到所述信息处理装置。
23.根据权利要求1所述的手写输入输出系统，其特征在于，所述处理命令装置命令所述信息处理装置运行将由所述轨迹识别装置获得的所述轨迹信息的识别结果作为文书及/ 或图形来输入的第一种操作。
24.根据权利要求1所述的手写输入输出系统，其特征在于，所述处理命令装置命令所述信息处理装置运行将由所述轨迹识别装置获得的所述轨迹信息的识别结果作为注释来输入的第二种操作。
25.根据权利要求1所述的手写输入输出系统，其特征在于，所述处理命令装置命令所述信息处理装置运行将由所述轨迹识别装置获得的所述轨迹信息的识别结果作为编辑文书及/或图形、及/或注释的编辑记号，根据该编辑记号编辑文书及/或图形、及/或注释的第三种操作。
26.根据权利要求1所述的手写输入输出系统，其特征在于，其进一步设有，对通过将至少与所述介质面相接触的所述摄像装置的摄像光轴相对于该介质面的垂直线倾斜而形成的倾斜度及倾斜方向进行测定的角度测定装置，以及，以在该摄像装置与该介质面相接触时测定的该倾斜度及该方向为基准，并对由倾斜该摄像装置的动作即网格倾斜动作获得的该倾斜度及/或该方向的一定的变化进行解析的角度变化识别装置；所述处理命令装置根据该解析结果，向所述信息处理装置发送预先确定的处理命令。
27.根据权利要求沈所述的手写输入输出系统，其特征在于，所述介质相对于所述写入区域的方向，在该写入区域形成有以一定角度配置的所述点阵图形；所述角度测定装置及所述角度变化识别装置以在所述摄像装置与该写入区域面相接触时所读取的该点阵图形的方向为基础，对相对于该写入区域的方向倾斜的方向及/或所述倾斜度的一定的变化进行解析。
28.根据权利要求沈或27所述的手写输入输出系统，其特征在于，所述处理命令装置在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第一预先确定的方向时，命令所述信息处理装置运行将由所述轨迹识别装置获得的轨迹信息的识别结果作为文书及/或图形来输入的第一种操作。
29.根据权利要求沈或27所述的手写输入输出系统，其特征在于，所述处理命令装置在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第二预先确定的方向时，命令所述信息处理装置运行将由所述轨迹识别装置获得的轨迹信息的识别结果作为注释来输入的第二种操作。
30.根据权利要求沈或27所述的手写输入输出系统，其特征在于，所述处理命令装置在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第三预先确定的方向时，命令所述信息处理装置运行将由所述轨迹识别装置获得的轨迹信息的识别结果作为编辑文书及/或注释的编辑记号，根据该编辑记号编辑文书及/或图形、及/或注释的第三种操作。
31.根据权利要求30所述的手写输入输出系统，其特征在于，所述处理命令装置在所述角度变化识别装置识别出，所述摄像装置通过所述网格倾斜动作，相对于所述摄像装置或所述写入区域的朝上方向倾斜成第四预先确定的方向时，命令所述信息处理装置结束所述第三种操作。
32.根据权利要求1所述的手写输入输出系统，其特征在于，所述处理命令装置在所述点阵图形解析装置识别出，当决定所述信息处理装置是否运行预先确定的处理时所述摄像装置在一定时间内仅点触一次介质面时，向该信息处理装置发送决定不运行该预先确定的处理的命令；在该点阵图形解析装置识别出所述摄像装置点触一次介质面，并在一定时间内再点触一次介质面时，向该信息处理装置发送决定运行该预先确定的处理的命令。
33.根据权利要求1所述的手写输入输出系统，其特征在于，其进一步设有，对在将所述摄像装置的摄像光轴相对于所述写入区域面大概垂直状竖立并与该写入区域面相接触时所读取的所述点阵图形的方向和该摄像装置的角度所形成的旋转角进行读取的旋转角读取装置，以及，以在该摄像装置与该介质面相接触时测定的该旋转角为基准，并通过将该摄像光轴根据旋转该摄像装置的动作即网格旋转动作向一定的旋转方向旋转，来解析该旋转角的一定的变化的旋转角变化识别装置；所述处理命令装置根据该解析结果，向所述信息处理装置发送预先确定的处理命令。
34.根据权利要求33所述的手写输入输出系统，其特征在于，所述处理命令装置在所述旋转角变化识别装置识别出所述摄像装置旋转到第一预先确定的方向时，命令所述信息处理装置保存运行中的应用程序上的文件内容的变更结果；在该旋转角变化识别装置识别出该摄像装置旋转到与该第一预先确定的方向为相反方向的第二预先确定的方向时，命令该信息处理装置取消运行中的应用程序上的文件内容的变更。
35.根据权利要求33所述的手写输入输出系统，其特征在于，所述处理命令装置在所述旋转角变化识别装置识别出，所述摄像装置旋转到第一预先确定的方向，并在一定时间内旋转到与该第一预先确定的方向为相反方向的第二预先确定的方向时，命令所述信息处理装置起动手写输入用应用程序；在该旋转角变化识别装置识别出，该摄像装置旋转到该第二预先确定的方向，并在一定时间内旋转到该第一预先确定的方向时，命令所述信息处理装置结束该手写输入用应用程序。
36.根据权利要求1所述的手写输入输出系统，其特征在于，其进一步设有，在用所述摄像装置拍摄所述写入区域并通过所述点阵图形解析装置求出坐标信息及代码信息之后， 不是通过一定的操作用该摄像装置在该写入区域划写或描绘文字，而是收录声音的声音收录装置，以及，参照与所述代码信息对应的预先定义的声音识别信息一览表(辞典)，识别所收录的声音并转换成文字信息发送到信息处理装置的声音识别装置。
37.根据权利要求36所述的手写输入输出系统，其特征在于，所述一定的操作通过用所述摄像装置在所述写入区域划写或描绘表示声音输入的记号来进行。
38.根据权利要求36所述的手写输入输出系统，其特征在于，所述一定的操作通过将所述摄像装置与所述写入区域接触再跳起的动作来进行。
39.根据权利要求36所述的手写输入输出系统，其特征在于，所述一定的操作通过将一定的语言收录到所述声音收录装置，并用所述声音识别装置识别该一定的语言来进行。
40.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质用该介质上的所述代码信息预先定义声音引导的指示信息，所述手写输入输出系统进一步设有将在该写入区域写入的内容通过该声音引导来解说的声音输出装置。
41.一种手写输入薄板，其特征在于，其由在至少一部分或多个区域上设有形成有重复定义了坐标信息及代码信息的点阵图形的写入区域的介质构成。
42.根据权利要求41所述的手写输入薄板，其特征在于，所述介质进一步重叠形成有与所述写入区域相关联的文本、图画、照片。
43.根据权利要求41所述的手写输入薄板，其特征在于，所述介质在将定义特定一定的介质面及/或所述写入区域面的特定信息及/或操作指示(程序的起动、指令的输入、数据的输入输出/检索、检索对象的指定等)的代码信息进行重复而形成的所述点阵图形上， 进一步重叠形成有表示该代码信息的图标。
44.根据权利要求43所述的手写输入薄板，其特征在于，所述图标与所述点阵图形一起形成在贴纸、便签或其他介质面上。
45.根据权利要求41所述的手写输入薄板，其特征在于，其在所述写入区域内及/或区域周边进一步设有盲字。
46.根据权利要求41所述的手写输入薄板，其特征在于，为了在所述写入区域进行写入时不露出所述摄像装置，沿该写入区域的外周进一步设有较窄的凸起引导。
47.一种信息输入系统，其特征在于，其由，层叠有，反射来自一面侧的红外线并同时具有透射可视光的特性的红外线反射层，设置在该红外线反射层的一面侧，并由具有漫反射红外线的特性的材料构成的，在至少一部分或多个区域上配置有重复定义了坐标信息及/或代码信息的点阵图形的点的点阵图形层，以及，设置在该点阵图形层的与该红外线反射层相反的一侧，并具有透射红外线及可视光的特性的保护层的信息输入辅助薄板即格栅板，在至少介质面的一部分上用具有吸收红外线的特性的材料形成有该点阵图形的点的介质，拍摄并发送该点阵图形的摄像装置，以及，通过根据一定的判定方法判定在将该介质面的该点阵图形通过该摄像装置拍摄/发送所得的该点阵图形的图像数据的基础上以比周围低的光亮度拍摄的点部，或者，在将该格栅板的该点阵图形通过该摄像装置拍摄/发送所得的该点阵图形的图像数据的基础上以比周围低的光亮度拍摄的点部，并将该点阵图形的图像数据存储到存储元件中，进行代码解析，来输入该坐标信息及/或该代码信息的点阵图形解析装置构成。
48.根据权利要求47所述的信息输入系统，其特征在于，所述一定的判定方法是由， 将由m行η列的像素构成的存储到存储元件中的摄像图像在每行(i)上从左端开始向右，依次求出仅相距一定间隔(k)的像素之间的光亮度(BL(i，j))的差分(ABL = BL(i， j+k)-BL(i, j))，根据该差分是超过还是达不到一定的正/负临界值来判定的方法，和，在以比周围低的该光亮度拍摄的点部的判定中，在该光亮度的差分达不到负临界值时将右侧的像素作为点来判定，判定点从该像素开始，在超过正临界值时同样判定右侧的像素不是点，判定点直到其跟前的像素为止才结束的方法，以及，在以比周围高的该光亮度拍摄的点部的判定中，在该光亮度的差分超过正临界值时将右侧的像素作为点来判定，判定点从该像素开始，在达不到负临界值时判定同一右侧的像素不是点，点直到其跟前的像素为止才结束的方法构成的判定方法；所述点阵图形解析装置根据该一定的判定方法，判定是在所述介质面或所述格栅板上设置的所述点阵图形中的哪个，根据该一定的判定方法进行代码解析。
49.根据权利要求48所述的信息输入系统，其特征在于，所述一定的判定方法测定所述摄像图像的一定区域的光亮度，如果超过一定的临界值，则使用以比周围低的所述光亮度拍摄的点部的判定方法，如果达不到一定的临界值，则使用以比周围高的所述光亮度拍摄的点部的判定方法。
50.一种信息输入辅助薄板，其特征在于，其层叠有，反射来自一面侧的红外线并同时具有透射可视光的特性的红外线反射层，设置在该红外线反射层的一面侧，并由具有漫反射红外线的特性的材料构成的，在至少一部分或多个区域上配置有重复定义了坐标信息及/或代码信息的点阵图形的点的点阵图形层，以及，设置在该点阵图形层的与该红外线反射层相反的一侧，并具有透射红外线及可视光的特性的保护层。
51.一种信息输入辅助薄板，其特征在于，其层叠有，反射入射到各个面的红外线并同时具有透射可视光的特性的红外线反射层，设置在该红外线反射层的两面并由具有吸收红外线的特性的材料构成的，配置有所述点阵图形的点的点阵图形层，以及，设置在所述点阵图形层的各处甚至是外侧，并具有吸收从各个方向入射的红外线及可视光的特性的保护层；由配置在所述点阵图形层各处的所述点阵图形所图形化的坐标信息及/或代码信息， 相互之间相同或不同。
52.根据权利要求1所述的手写输入输出系统，其特征在于，所述写入区域是任意形状。
53.根据权利要求41所述的手写输入薄板，其特征在于，所述写入区域是任意形状。
54.根据权利要求1所述的手写输入输出系统，其特征在于，所述介质在配置信息点的方框的区域内，为了能够形成方框的大小与方向而设置多个基准点，配置多个从该基准点定义的虚拟基准点，从该虚拟基准点的距离和方向开始配置定义坐标信息或者坐标信息及代码信息的该信息点，用该多个虚拟基准点的信息点的配置方向的组合内的一定的信息点的配置方向的组合，在至少一部分或多个区域上设置形成有重复定义坐标信息或者坐标信息及代码信息的点阵图形的写入区域，所述点阵图形解析装置根据该一定的信息点的配置方向的组合来辨别是否是该写入区域，并处理手写输入。
55.根据权利要求41所述的手写输入薄板，其特征在于，所述介质在配置信息点的方框的区域内，为了能够形成方框的大小与方向而设置多个基准点，配置多个从该基准点定义的虚拟基准点，从该虚拟基准点的距离和方向开始配置定义坐标信息或者坐标信息及代码信息的该信息点，用该多个虚拟基准点的信息点的配置方向的组合内的一定的信息点的配置方向的组合，在至少一部分或多个区域上设置形成有重复定义坐标信息或者坐标信息及代码信息的点阵图形的写入区域，所述点阵图形解析装置根据该一定的信息点的配置方向的组合来辨别是否是该写入区域，并处理手写输入。方向的组合在所述多个虚拟基准点上，将所述信息点从该虚拟基准点开始配置在上下左右方向线及斜方向线中的任一方向线上的配置方向的组合内的一定的信息点的配置方向的组合。
56.根据权利要求M所述的手写输入输出系统，其特征在于，所述一定的信息点的配置
57.根据权利要求55所述的手写输入薄板，其特征在于，所述一定的信息点的配置方向的组合在所述多个虚拟基准点上，将所述信息点从该虚拟基准点开始配置在上下左右方向线及斜方向线中的任一方向线上的配置方向的组合内的一定的信息点的配置方向的组合。
58.根据权利要求1所述的手写输入输出系统，其特征在于，在所述代码信息上定义有表示是写入区域的写入标记，所述点阵图形解析装置根据该写入标记来辨别是否是该写入区域，并处理手写输入。
59.根据权利要求1所述的手写输入输出系统，其特征在于，在所述代码信息上定义有特定所述写入区域的特定信息及/或表示写入处理的操作指示，所述点阵图形解析装置辨别是否是该特定信息及/或该操作指示，并处理手写输入输出。
60.根据权利要求13或14所述的手写输入输出系统，其特征在于，所述轨迹信息是由所述摄像装置的摄像中心的坐标信息、或设在该摄像装置附近的所述指示用突起部或所述笔尖接触所述写入区域面的位置的坐标信息与所述代码信息构成的，可以通过所述点阵图形解析装置，以所述点阵图形上定义的坐标信息为基础进行插值计算来求出。
全文摘要
简单且廉价地提供一种能够手写输入文字或图形等的手写输入输出系统。以此为课题，该手写输入输出系统通过摄像装置拍摄/发送设有形成有定义了坐标信息/代码信息的点阵图形的写入区域的介质，通过点阵图形解析装置存储该点阵图形的图像数据，通过代码解析求出轨迹信息，根据所解析的该坐标信息的变化，轨迹识别装置对在该写入区域面上划写的文字及图形的该轨迹信息进行识别，通过处理命令装置向信息处理装置发送该轨迹信息和以所识别的识别信息为基础的处理命令，能够手写输入文字或图形等。另外，还提供一种不仅文字或图形的信息，与这些信息相关联的信息也能够一概输入的手写输入输出系统。
文档编号G06F3/042GK102224484SQ200980147150
公开日2011年10月19日 申请日期2009年11月25日 优先权日2008年11月25日
发明者吉田健治 申请人:吉田健治