专利名称：信息处理装置和对原稿数据进行显示操作的方法
技术领域：
本发明涉及一种信息处理装置和一种用于对原稿数据进行显示操作的图形用户界面(GUI)组件显示方法。
背景技术：
迄今为止，已经存在具有数字转换器的个人计算机(personalcomputer，PC)、个人数字助理(personal digital assistance，PDA)、或大屏幕显示设备等具有手写输入单元的信息处理装置。通常，在这种信息处理装置中，使用键盘或鼠标来操作显示在屏幕上的GUI。一个这样的信息处理装置具有给GUI指令以执行手写输入命令的功能。这样的信息处理装置使用于会议系统中。
例如，日本特开2004-342024号公报论述了一种适用于通过在写字板上利用记录笔等笔型指示设备描绘图形或字符，在监视器的屏幕上绘制图形、输入字符和选择项目的装置。
另外，已经开发出了在会议上使用通过扫描普通文档或原稿计算机化的数据进行演示的相关技术。例如，在根据使用通过扫描原稿获得的原稿数据的相关技术进行演示的情况下，演示者可以从容地选择表示进行操作的指令。另外，也出现了通过尽可能放大所显示的图像来显示由原稿数据所表示的图像的需求。
发明内容
本发明一方面是克服上述问题，并且例如增强对于表示当前所显示的原稿的图像的原稿数据的可操作性。
根据本发明的一个方面，一种信息处理装置包括解释单元，用于解释写在计算机化原稿数据上的命令；创建单元，用于创建图形用户界面组件，该图形用户界面组件用于进行由该解释单元所解释的该命令的执行；以及显示控制单元，用于使显示装置显示与表示执行的目标的目标数据相对应的原稿数据，并在与该原稿数据上所的命令相对应的位置处显示该图形用户界面组件。
根据本发明的另一方面，一种用于在信息处理装置中进行显示原稿数据的操作的方法包括解释写在原稿数据上的命令；创建图形用户界面组件，该图形用户界面组件用于进行所解释的该命令的执行；以及使显示装置显示与表示该执行的目标的目标数据相对应的原稿数据，并在与写在该原稿数据上的该命令相对应的位置处显示所创建的该图形用户界面组件。
根据本发明的另一方面，一种存储有计算机可读的指令的存储介质，该计算机可读的指令用于执行在信息处理装置中进行显示原稿数据的操作的方法，由存储在该计算机可读的介质上的该计算机可读的指令所执行的方法包括解释写在原稿数据上的命令；创建图形用户界面组件，该图形用户界面组件用于进行所解释的该命令的执行；以及使显示装置显示与表示该执行的目标的目标数据相对应的原稿数据，并在与写在该原稿数据上的该命令相对应的位置处显示该图形用户界面组件。
通过以下结合附图对典型实施例的详细说明，本发明的进一步的特征和方面是显而易见的。
包括在说明书中并构成说明书的一部分的附图，示出了本发明的典型实施例，并与说明书一起用来解释本发明的原理。
图1是示出显示装置的典型硬件结构的框图；图2是示出显示系统的典型结构的框图；图3是示出该显示系统的典型功能结构的框图；
图4是更详细地示出该显示系统的典型功能结构的框图；图5是示出第一典型实施例中其上写有手写命令的待扫描的原稿的例子的图；图6是示出在根据第一典型实施例的显示装置中所显示的显示屏幕图像的例子的图；图7是示出关于在根据第一典型实施例的显示装置中所显示的GUI组件的数据的例子的表；图8是示出由根据第一典型实施例的显示装置进行的全部处理的例子的流程图；图9是示出所扫描原稿解释处理的例子的流程图；图10是示出手写命令定义数据的例子的表；图11是示出手写命令去除处理的流程图；图12是示出GUI组件创建处理的流程图；图13是示出所扫描原稿显示处理的流程图；图14是示出GUI组件显示处理的流程图；图15是示出执行处理的流程图；图16是示出在第二典型实施例中其上写有手写命令的待扫描的原稿的例子的图；图17是示出在根据第二典型实施例的显示装置中所显示的显示屏幕图像的例子的图；图18是示出关于在根据第二典型实施例的显示装置中所显示的GUI组件的数据的例子的表；图19是示出指令目标指定处理的例子的流程图；图20是示出可执行处理定义数据的例子的表；图21是示出相应的对象指定处理的流程图；图22是示出在第二典型实施例中其上写有手写命令的待扫描的原稿的另一例子的图；
图23是示出在根据第二典型实施例的显示装置中所显示的显示屏幕图像的另一例子的图；图24是示出关于在根据第二典型实施例的显示装置中所显示的GUI组件的数据的另一例子的表；图25是示出在第三典型实施例中其上写有手写命令的待扫描的原稿的例子的图；图26是示出在根据第三典型实施例的显示装置中所显示的显示屏幕图像的例子的图；图27是示出关于在根据第三典型实施例的显示装置中所显示的GUI组件的数据的例子的表；图28是示出在根据第三典型实施例的显示装置中所显示的GUI组件改变操作屏幕图像的图；图29是示出对图26所示的显示屏幕进行图28所示的GUI组件改变操作之后，在显示装置中所显示的显示屏幕图像的例子的图；图30是示出关于在根据第三典型实施例的显示装置中所显示的GUI组件的数据的另一例子的表；图31是示出GUI组件改变处理的例子的流程图；图32是示出有效GUI组件列表显示处理的例子的流程图；图33是示出在根据第三典型实施例的显示装置中所显示的GUI组件改变操作屏幕图像的图；图34是示出对图33所示的显示屏幕进行GUI组件改变操作之后，在显示装置中所显示的显示屏幕图像的例子的图；图35是示出关于对图33所示的显示屏幕进行GUI组件改变操作之后，在显示装置中所显示的GUI组件的数据的例子的表；图36是示出在根据第四典型实施例的显示装置中所显示的显示屏幕图像的例子的图；图37是示出由根据第四典型实施例的显示装置进行的全部处理的例子的流程图；图38是示出关于在根据第四典型实施例的显示装置中所显示的GUI组件的数据的例子的表；图39是示出GUI组件改变处理的另一例子的流程图；图40是示出在根据第五典型实施例的显示装置中所显示的显示屏幕图像的例子的图；图41是示出执行允许判断处理的例子的流程图；图42是示出其上写有手写命令和手写操作内容的原稿的例子的图；图43是示出在根据第六典型实施例的显示装置中所显示的显示屏幕图像的例子的图；图44是示出关于在根据第六典型实施例的显示装置中所显示的GUI组件的数据的例子的表；图45是示出操作指定处理的例子的流程图；图46是示出操作关联处理的例子的流程图；图47是示出其上写有手写命令且其中嵌入表示操作内容的电子水印的原稿的例子的图；图48是示出其上写有手写命令的原稿和用户通过输入单元用来定义与该原稿或该手写命令相对应的操作的定义数据中的每一个的例子的图；图49是示出在具有数字转换器的显示装置中所显示的显示屏幕图像的例子的图；图50是示出在具有麦克风的显示装置中所显示的显示屏幕图像的例子的图；图51是示出在具有照相机的显示装置中所显示的显示屏幕图像的例子的图。
具体实施例方式
以下将参照附图对本发明的典型实施例进行说明。
图1是示出用作信息处理装置的显示装置的典型硬件结构的框图。
图1中所示的输入单元1通过网络接收表示由多功能外围设备扫描的原稿的原稿数据。中央处理单元(CPU)2对各种处理进行计算和逻辑判断。CPU 2控制与总线6连接的显示装置的各组件。CPU 2还根据存储在在后面说明的程序存储器4中的程序提供后面说明的功能并进行在流程图中所说明的处理。
输出单元3输出数据。输出单元3是液晶显示器(liquid crystaldisplay，LCD)或阴极射线二极管(cathode ray tube，CRT)等显示设备。程序存储器4存储程序，并且其既可以是只读存储器(read-only memory，ROM)也可以是将程序从外部存储设备或介质装载到其中的随机存取存储器(random access memory，RAM)。
数据存储器5存储在各种处理中生成的数据。被存储在数据存储器5中的电子数据的例子有如下数据将在后面说明的表示所扫描原稿的数据；表示与该扫描原稿有关的GUI组件的GUI组件数据；表示将手写命令从中去除的原稿的数据；以及注册数据。数据存储器5是例如RAM。辅助存储设备7是硬盘驱动设备等非易失性存储设备。数据存储器5适于在处理前预先从辅助存储设备7中装载处理所需的数据。可选地，每当需要数据时，数据存储器5参照存储在辅助存储设备7中的数据。总线6传送用于指定由CPU 2所控制的各组件的地址信号、CPU 2所用来控制各组件的控制信号、以及在组件间传送的数据。
图2是示出显示系统的典型结构的框图。
如图2所示，通过图像形成装置22(多功能外围设备)扫描纸原稿21。将用作与纸原稿21相对应的计算机化原稿数据的所扫描原稿数据24显示在显示装置23的屏幕上。另外，如图2所示，将写在原稿21上的手写命令25和26的识别结果显示为在显示装置23的屏幕上可操作的GUI组件27和28。GUI组件27和28分别与手写命令25和26相对应。根据本典型实施例，GUI是被可视呈现的且使得用户(操作者)可以使用指示设备等直观地进行操作的图形用户界面。
图3是示出图2中所示的显示系统的功能结构的框图。为了简化说明，图3示出了根据功能将该图像系统分成原稿读取装置31、显示装置32、以及记录装置33的例子。图2中所示的图像形成装置22包括图3中所示的原稿读取装置31。图2中所示的显示装置23对应于图3中所示的显示装置32。记录装置33对应于图1中所示的数据存储器5。数据库35对应于图1中所示的辅助存储设备7。也就是说，根据本典型实施例，将数据库35结合在显示装置23中。然而，数据库35可以是外部设备。
通过原稿读取装置31的扫描单元扫描图3中所示的原稿21。所扫描原稿解释单元解释所扫描原稿。GUI组件创建单元根据由所扫描原稿解释单元进行的解释结果，创建GUI组件。将表示所扫描原稿和所创建的GUI组件的数据通过网络34发送给显示装置32和记录装置33。
显示装置32同时显示由原稿读取装置31扫描的原稿和GUI组件，并接受由用户进行的操作。记录装置33在发送给其的所扫描原稿与GUI组件之间进行关联，并将相互关联的所扫描原稿和GUI组件记录在数据库35中。响应于用户所进行的操作读取所记录的数据。
图4是更详细地示出显示系统的功能结构的框图。通过图2中所示的图像形成装置22和显示装置23的硬件来实现该显示系统的功能。
如图4所示，显示系统包括扫描和显示单元41、执行单元42、以及GUI组件改变单元43，作为主要功能组件。扫描和显示单元41扫描原稿并将所扫描原稿显示在显示屏幕上。执行单元42根据显示在显示屏幕上的GUI组件和使用菜单项的用户操作指令执行处理。GUI组件改变单元43改变显示在其上的GUI组件。
扫描和显示单元41包括扫描单元48、所扫描原稿解释单元49、以及所扫描原稿显示单元4g。扫描单元48扫描原稿。所扫描原稿解释单元49将由扫描单元48生成的数据解释为表示由扫描单元48扫描的原稿44的计算机化数据。所扫描原稿显示单元4g显示通过去除手写命令获得的所扫描原稿45和GUI组件46，其中所扫描原稿45和GUI组件46是由所扫描原稿解释单元49进行分析的结果。
所扫描原稿解释单元49包括指令解释单元4a、指令目标指定单元4b、手写命令去除单元4c、操作指定单元4d、操作关联单元4e、以及GUI组件创建单元4f。指令解释单元4a解释在所扫描原稿44上所写的手写命令，并指定由该手写命令所指定的处理。由该手写命令指定的处理包括打印处理、再现处理、下一页处理、音量改变处理、以及发送处理。指令目标指定单元4b通过参照可执行的处理定义数据47指定表示由该手写命令指定的对象(指令目标对象)的数据。指令目标对象是表示指令目标的数据，例如运动图像、静止图像、所扫描原稿本身(或整个所扫描原稿)。
手写命令去除单元4c从所扫描原稿中去除手写命令以生成剩余所扫描原稿45。操作指定单元4d指定与由手写命令所指定的处理相对应的操作。操作关联单元4e将手写命令与对应于由该手写命令所指定的处理的操作进行关联。GUI组件创建单元4f创建与手写命令相对应的GUI组件46，还创建与GUI组件46相对应的GUI组件数据。例如，GUI组件创建单元4f根据由指令解释单元4a指定的手写命令所指定的处理和由指令目标指定单元4b所指定的命令目标对象，创建GUI组件46和与GUI组件46相对应的GUI组件数据。
所扫描原稿显示单元4g包括剩余所扫描原稿显示单元4h和GUI组件显示单元4i。剩余所扫描原稿显示单元4h显示剩余所扫描原稿45。GUI组件显示单元4i显示GUI组件46。
执行单元42包括菜单执行指令解释单元4m、GUI组件执行指令解释单元4n、执行允许判断单元4o、以及处理执行单元4p。菜单执行指令解释单元4m解释由菜单项所给出的指令以执行处理。GUI组件执行指令解释单元4n解释由GUI组件所给出的指令以执行处理。执行允许判断单元4o判断所指定的处理是否是可执行的。处理执行单元4p执行所指定的处理。
GUI组件改变单元43包括有效GUI组件列表单元4j、GUI组件替换单元4k、以及可选目标指定单元4l。有效GUI组件列表单元4j显示可变的有效GUI组件的列表。GUI组件替换单元4k用另一GUI组件替换所指定的GUI组件。当所指定的GUI组件46没有出现在由有效GUI组件列表单元4j所显示的列表中时，可选目标指定单元41指定可选指令目标。
第一典型实施例参照图5～15说明第一典型实施例，该第一典型实施例适用于根据由图像形成装置22所扫描的其上写有手写命令的原稿，将与该手写命令相对应的GUI组件与该原稿一起显示在显示装置23的显示屏幕上。另外，以下说明显示装置23通过从中去除解释为手写命令的部分显示所扫描原稿的例子。
图5是示出在第一典型实施例中其上写有手写命令的待扫描的纸原稿的例子的图。图5中所示的原稿51包括文本区52和图像区53。将命令54手写在原稿51上。
图6是示出在根据第一典型实施例的显示装置23中所显示的显示屏幕图像的例子的图。将由与图5中所示的原稿51相对应的计算机化数据表示的所扫描原稿24显示在显示装置23的屏幕上。所扫描原稿24包括文本区62和图像区63。将与通过图5中所示的手写命令54创建的“打印按钮”相对应的GUI组件64显示在显示装置23的屏幕上。
图7是示出关于在根据第一典型实施例的显示装置23中所显示的GUI组件的数据(附属信息)的例子的表。GUI组件数据71包括关于与GUI组件相对应的功能的信息和关于GUI组件的相对显示位置和大小的信息。例如，图7中所示的GUI组件数据71对应于图6中所示的GUI组件64。根据图7中所示的GUI组件数据71，将“打印”功能记录为与将对指令目标进行的处理相对应的功能。将数据(70，10)和(90，25)记录为GUI组件的相对显示位置和大小。将图7中所示的数据存储在数据存储器5中。
图8是示出由根据第一典型实施例的显示系统进行的全部处理的例子的流程图。假定以下处理由显示装置23的CPU 2或图像形成装置22的CPU(未示出)根据预先存储在显示装置23或图像形成装置22中的程序来执行。
在步骤S801，图像形成装置22或显示装置23进行初始化，例如，显示操作屏幕的操作。随后，在步骤S802，图像形成装置22或显示装置23进行用户操作并接受用户操作(或事件)。
然后，在步骤S803，图像形成装置22或显示装置23判断事件。如果图像形成装置22检测到用户给出的扫描和显示指令，则系统进入步骤S804。可选地，如果显示装置23检测到执行指令，则系统进入步骤S807。可选地，如果显示装置23检测到GUI组件改变指令，则系统进入到步骤S808。
在步骤S804，图像形成装置22扫描其上写有手写命令的原稿以获取表示所扫描原稿的计算机化数据。然后，图像形成装置22将所获取的数据传送给显示装置23。随后，在步骤S805，显示装置23进行所扫描原稿解释处理，并将写在所扫描原稿上的手写命令解释为例如GUI组件。后面将参照图9详细说明由显示装置23进行的所扫描原稿解释处理。然后，在步骤S806，显示装置23进行所扫描原稿显示处理以将GUI组件与从中去除了手写命令的所扫描原稿一起进行显示。然后，系统返回到步骤S802。将GUI组件显示在与写有手写命令的位置相对应的位置处。后面将参照图13详细说明由显示装置23进行的所扫描原稿显示处理。
在步骤S807，响应于执行指令，显示装置23进行与由用户指定的菜单项或GUI组件相对应的处理。然后，系统返回到步骤S802。下面将参照图15说明由显示装置23进行的执行处理。在步骤S808，响应于GUI组件改变指令，显示装置23进行GUI组件改变(或替换)处理，以将当前显示的GUI组件改变成指定的GUI组件。然后，系统返回到步骤S802。后面将参照图31详细说明由显示装置23进行的GUI组件改变处理。
图9是示出由显示装置23进行的所扫描原稿解释处理的例子的流程图。以下对图9中所示的处理进行说明，假定通过作为显示装置23的功能组件的、图4中所示的所扫描原稿解释单元49进行该处理(顺便提及，适用于进行该处理的硬件为CPU 2)。
在步骤S901，所扫描原稿解释单元49进行指令解释处理以解释由计算机化数据表示的写在所扫描原稿上的手写命令。因此，所扫描原稿解释单元49指定由该手写命令所指定的处理。随后，在步骤S902，所扫描原稿解释单元49根据在步骤S901中所进行的解释结果判断是否存在由该手写命令给出的指令。如果所扫描原稿解释单元49判断出存在由该手写命令所给出的指令，则处理进入步骤S903。如果所扫描原稿解释单元49判断出没有由该手写命令给出的指令，则所扫描原稿解释处理结束。
在步骤S903，所扫描原稿解释单元49进行指令目标指定处理以指定由该手写命令给出的指令的指令目标。后面将参照图19详细说明指令目标指定处理。随后，在步骤S904，所扫描原稿解释单元49判断在步骤S903中由该手写命令给出的指令的指令目标的指定是否成功。如果所扫描原稿解释单元49判断出在步骤S903中由该手写命令给出的指令的指令目标的指定成功，则处理进入步骤S905。如果所扫描原稿解释单元49判断出该指令目标的指定未成功，则所扫描原稿解释处理结束。
在步骤S905，所扫描原稿解释单元49进行手写命令去除处理以从所扫描原稿中去除手写命令。后面将参照图11详细说明手写命令去除处理。随后，在步骤S906，所扫描原稿解释单元49进行操作指定处理。因此，所扫描原稿解释单元49根据写在该原稿上的字符串、嵌入该原稿中的电子水印、和用户所确定(或输入)的定义数据，指定与该手写命令所指定的处理相对应的操作。后面将参照图45详细说明操作指定处理。
随后，在步骤S907，所扫描原稿解释单元49进行操作关联处理以将该手写命令与在由该手写命令所指定的和在步骤S906中所指定的处理中所进行的操作进行关联。后面将参照图46详细说明操作关联处理。
在步骤S908，所扫描原稿解释单元49根据在步骤S907中相互关联的手写命令和在由该手写命令所指定的处理中所进行的操作，以及根据在后面将说明的图10中所示的手写命令定义数据，进行GUI组件创建处理。作为GUI组件创建处理的结果，所扫描原稿解释单元49创建与在步骤S907中相互关联的手写命令和在由该手写命令所指定的处理中进行的操作相对应的GUI组件。然后，所扫描原稿解释单元49完成所扫描原稿解释处理。后面将参照图12详细说明GUI组件创建处理。
图10是示出手写命令定义数据的例子的表。如图10所示，手写命令定义数据包括表示手写命令的笔划信息、关于执行指令的功能命令、以及显示在显示装置23的显示屏幕上的GUI组件。例如，手写命令定义数据101定义与写在图5中所示的所扫描原稿上的手写命令54的笔划信息相同的笔划信息。手写命令定义数据101还定义与写在图5中所示的所扫描原稿上的手写命令相对应的“打印”命令。手写命令定义数据101还定义与图6中所示的“打印按钮”相对应的GUI组件64相同的GUI组件。手写命令定义数据被存储在数据存储器5中。
图11是示出手写命令去除处理的流程图。以下对图11中所示的处理进行说明，假定由图4中所示的所扫描原稿解释单元49的手写命令去除单元4c进行该处理。
在步骤S1101中，手写命令去除单元4c在例如变量“处理目标”中设置用于识别所提取的手写命令的值，以初始化变量“处理目标”。例如，在存在两个所提取的手写命令的情况下，手写命令去除单元4c设置表示变量“处理目标”中的两个手写命令中的第一个的值。
在步骤S1102，手写命令去除单元4c判断是否存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令。如果手写命令去除单元4c判断出具有与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1102为“是”)，则处理进入步骤S1103。相反，如果手写命令去除单元4c判断出不存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1102为“否”)，则手写命令去除处理结束。
在步骤S1103，手写命令去除单元4c进行相应的笔划去除处理，以删除与在变量“处理目标”中所设置的值相对应的手写命令。也就是说，手写命令去除单元4c从所扫描原稿中去除对应于与在变量“处理目标”中所设置的值相对应的手写命令的笔划。随后，在步骤S1104，手写命令去除单元4c增加在变量“处理目标”中所设置的值，例如加1。然后，处理返回到步骤S1102。
图12是示出GUI组件创建处理的流程图。以下对图12中所示的处理进行说明，假定由图4中所示的所扫描原稿解释单元49的GUI组件创建单元4f进行该处理。
在步骤S1201，GUI组件创建单元4f在变量“处理目标”中设置用于识别所提取的手写命令的值，以初始化变量“处理目标”。例如，在存在两个所提取的手写命令的情况下，GUI组件创建单元4f在变量“处理目标”中设置表示两个手写命令中的第一个的值。
在步骤S1202，GUI组件创建单元4f判断是否存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令。如果GUI组件创建单元4f判断出存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1202为“是”)，则处理进入步骤S1203。相反，如果GUI组件创建单元4f判断出不存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1202为“否”)，则GUI组件创建处理结束。
在步骤S1203，GUI组件创建单元4f进行相对位置大小确定处理，以相对于该所扫描原稿，确定对应于与在“处理目标”中所设置的值相对应的手写命令的笔划的相对位置和大小。随后，在步骤S1204，GUI组件创建单元4f进行GUI组件创建处理以在步骤S1203中获得的相对位置(相对显示位置)处创建具有在步骤S1203中获得的大小的GUI组件。
随后，在步骤S1205，GUI组件创建单元4f增加在变量“处理目标”中所设置的值，例如加1。然后，处理返回到步骤S1202。
图13是示出所扫描原稿显示处理的例子的流程图。以下对图13中所示的处理进行说明，假定由作为显示装置23的功能组件的图4中所示的所扫描原稿显示单元4g进行该处理。
在步骤S1301，所扫描原稿显示单元4g进行剩余所扫描原稿显示处理，以在显示装置23中显示处于从中去除了手写命令的状态下的所扫描原稿。随后，在步骤S1302，所扫描原稿显示单元4g根据写在当前显示的所扫描原稿中的手写命令的解释结果，判断是否存在与该手写命令相对应的指令。如果所扫描原稿显示单元4g判断出存在与该手写指令相对应的指令，则处理进入步骤S1303。如果所扫描原稿显示单元4g判断出不存在与该手写指令相对应的指令，则处理完成所扫描原稿显示处理。
在步骤S1303，所扫描原稿显示单元4g进行GUI组件显示处理以显示与由该手写命令所表示的指令相对应的GUI组件。以下参照图14详细说明GUI组件显示处理。
图14是示出GUI组件显示处理的例子的流程图。以下对图14所示的处理进行说明，假定由图4中所示的所扫描原稿显示单元4g的GUI组件显示单元4i进行该处理。
在步骤S1401，GUI组件显示单元4i在变量“处理目标”中设置用于识别所提取的手写命令的值，以初始化变量“处理目标”。例如，在存在两个所提取的手写命令的情况下，GUI组件显示单元4i在变量“处理目标”中设置表示两个手写命令中的第一个的值。
在步骤S1402，GUI组件显示单元4i判断是否存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令。如果GUI组件显示单元4i判断出存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1402为“是”)，则处理进入步骤S1403。相反，如果GUI组件显示单元4i判断出不存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1402为“否”)，则GUI组件显示处理结束。
在步骤S1403，GUI组件显示单元4i进行绝对位置大小确定处理，以根据在图12中所示的步骤S1204中所创建的GUI组件(或表示GUI组件的GUI组件数据)确定在显示装置23的屏幕上的GUI组件的绝对位置和大小。随后，在步骤S1404，GUI组件显示单元4i进行GUI组件显示处理，以在步骤S1403中所确定的位置处显示对应于与在“处理目标”中所设置的值相对应的手写命令且具有在步骤S1403所获得的大小的GUI组件。
随后，在步骤S1405，GUI组件显示单元4i增加在变量“处理目标”中所设置的值例，如加1。然后，处理返回到步骤S1402。
另外，GUI组件显示单元4i直接显示手写命令，而不是图12中的生成的GUI组件。
图15是示出执行处理的例子的流程图。以下对图15中所示的处理进行说明，假定由图4中所示的显示装置23的执行单元42进行该处理。
在步骤S1501，执行单元42判断用户所进行的操作是否是用以执行通过菜单项所指定的处理的指令。如果执行单元42判断出用户所进行的操作是用以执行通过菜单项所指定的处理的指令，则处理进入步骤S1502。如果执行单元42判断出用户所进行的操作与用以执行通过菜单项所指定的处理的指令不同，则处理进入步骤S1503。
在步骤S1502，执行单元42进行菜单驱动的指令解释处理，以解释用以执行通过菜单项所指定的处理的指令。另一方面，在步骤S1503，执行单元42进行GUI组件执行指令解释处理，以解释用以执行与该GUI组件相对应的处理的指令。例如，执行单元42根据与用户所操作的GUI组件相对应的GUI组件数据，指定处理(或与该处理相对应的功能)、在该处理中所进行的操作、以及与该处理相对应的指令目标。
在步骤S1504，执行单元42进行执行允许判断处理，以判断用以执行处理的用户指令是否是可执行的。后面将参照图41详细说明执行允许判断处理。随后，如果执行单元42在步骤S1505根据在步骤S1504中的判断结果判断出允许执行，则处理进入步骤S1506。如果执行单元42判断出不允许执行，则处理完成执行处理。
在步骤S1506，执行单元42发出指令以进行处理执行。从而，进行各处理。
如上所述，根据第一典型实施例，显示装置23使得表示手写命令的识别结果的GUI组件显示在该显示装置的屏幕上。这消除了对用以防止错误识别的发生所进行的专门确认步骤的需要。同时，可以降低故障发生的风险。另外，可以增强对于表示当前所显示的原稿的数据的可操作性。
根据第一典型实施例，如图6所示，显示装置23使得GUI组件位于其屏幕上。因此，用户可以通过使用该GUI组件对于该原稿数据进行任意次数的处理。从而，可以加强对于表示当前所显示的原稿的数据的可操作性。
根据第一典型实施例，显示装置23识别写在普通原稿上的手写命令，并通过使GUI组件出现在其屏幕上来显示识别结果。这消除了对使用专用纸张的需要。因此，可以更加容易地增强对于表示当前所显示的原稿的数据的可操作性。
根据第一典型实施例，显示装置23通过使GUI组件出现在其屏幕上与手写命令相对应的位置处，来显示手写命令的识别结果。另外，显示装置23还将所扫描原稿显示在其屏幕上。因此，在通过显示装置检查所扫描原稿之后或同时，用户可以使用GUI组件指示执行打印处理等处理。因此，可以增强对于表示当前所显示的原稿的数据的可操作性。
根据第一典型实施例，显示装置23通过将所扫描原稿与GUI组件关联，将表示所扫描原稿的数据和与其相对应的GUI组件存储在图3中所示的数据库35中。因而，当再次利用所扫描原稿时，还可以再次利用相应的GUI组件。因此，可以增强对于表示当前所显示的原稿的数据的可操作性。
尽管在第一典型实施例的说明中已经说明了在显示装置23的屏幕上显示从中去除了手写命令的所扫描原稿的例子，但是可以不从中去除手写命令而显示所扫描原稿。可选地，通过在数据存储器5中搜索表示与所扫描原稿相对应的原始原稿的数据，可以显示该原始原稿。
第二典型实施例接着参照图16～24说明第二典型实施例，在第二典型实施例中，在原稿的特定区包括指令目标的情况下，显示装置23显示GUI组件。包括图像形成装置22和显示装置23的显示系统的结构与根据第一典型实施例的显示系统类似。因此，不再重复对该显示系统的说明。
图16是示出在第二典型实施例中其上写有手写命令的待扫描的纸原稿例子的图。图16中所示的原稿161包括文本区162和图像区163。将命令164手写在原稿161上以与图像区163重叠。
图17是示出在根据第二典型实施例的显示装置23中所显示的显示屏幕图像的图。将由与图16中所示的原稿161相对应的计算机化数据表示的所扫描原稿171显示在显示装置23的屏幕上。所扫描原稿171包括文本区172和图像区173。与由图16中所示的手写命令164创建的“再现按钮”相对应的GUI组件174被显示在显示装置23的屏幕上。图像区173与包括在与所扫描原稿171相对应的且通过显示装置23搜索的原始原稿中的运动图像相关联。“再现按钮”意味着可以进行对该运动图像的操作。
图18是示出关于在根据第二典型实施例的显示装置23中所显示的GUI组件的数据的表。GUI组件数据181包括关于与GUI组件相对应的功能的信息、关于该GUI组件的相对显示位置和大小的信息、以及关于指令目标对象的信息。图18中所示的GUI组件数据181对应于例如图17中所示的GUI组件174。根据图18中所示的GUI组件数据181，将“运动图像对象173”记录为指令目标。将“再现”功能记录为与对该指令目标将进行的处理相对应的功能。数据(50，85)和(60，95)被记录为GUI组件的相对显示位置和大小。GUI组件数据181被存储在数据存储器5中。
图19是示出指令目标指定处理的例子的流程图。以下对图19中所示的处理进行，说明假定由图4中所示的并且用作显示装置23的功能组件的所扫描原稿解释单元49的指令目标指定单元4b进行该处理。
在步骤S1901，指令目标指定单元4b进行原始原稿搜索处理，以搜索与所扫描原稿相对应的原始原稿。随后，如果指令目标指定单元4b在步骤S1902根据在步骤S1901中的搜索结果判断出存在原始原稿，则处理进入步骤S1904。如果指令目标指定单元4b判断出不存在原始原稿，则处理进入步骤S1903。
在步骤S1903，指令目标指定单元4b进行对象提取处理，以通过对所扫描原稿进行图像分析来提取文本、图形以及图像等对象。随后，处理进入步骤S1904。
在步骤S1904，指令目标指定单元4b在例如变量“处理目标”中设置用于识别所提取的手写命令的值，以初始化变量“处理目标”。例如，在存在两个所提取的手写命令的情况下，指令目标指定单元4b在变量“处理目标”中设置表示两个手写命令中的第一个的值。
在步骤S1905，指令目标指定单元4b判断是否存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令。如果指令目标指定单元4b判断出存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1905为“是”)，则处理进入步骤S1906。如果指令目标指定单元4b判断出不存在与在变量“处理目标”中所设置的值相对应的所提取的手写命令(步骤S1905为“否”)，则指令目标指定处理结束。
在步骤S1906，指令目标指定单元4b使用与图4中所示种类的指令目标相对应的可执行处理定义数据47进行相应对象指定处理。指令目标指定单元4b在原始原稿中或在步骤S1903所提取的对象中，指定由作为处理目标的手写命令所指定的指令目标的对象。以下参照图20详细说明可执行处理定义数据47。以下将参照图21详细说明相应对象指定处理。
随后，在步骤S1907，指令目标指定单元4b判断在步骤S1906所进行的相应对象指定处理中，对由作为处理目标的手写命令所指定的指令目标的对象的指定是否成功。如果指令目标指定单元4b判断出对象指定成功，则处理进入步骤S1908。如果指令目标指定单元4b判断出对象指定不成功，则处理进入步骤S1909。
在步骤S1908，指令目标指定单元4b采用在步骤S1906中指定的对象作为由作为处理目标的手写命令所指定的指令目标。另一方面，在步骤S1909，指令目标指定单元4b判断出在例如图9所示的步骤S901中所进行的将对象识别为手写命令是错误的。然后，指令目标指定单元4b从所扫描原稿中删除当前用作处理目标的手写命令。随后，处理进入步骤S1910。
在步骤S1910，指令目标指定单元4b增加在变量“处理目标”中所设置的值，例如加1。然后，处理返回到步骤S1905。
图20是示出与图4中所示的指令目标种类相对应的可执行处理定义数据的例子的表。由数据存储器5保持这些数据。图20所示的可执行处理定义数据包括指令目标种类数据和表示对应于各目标种类数据的可执行处理列表的可执行处理列表数据。例如，可执行处理定义数据201将指令目标种类定义为与图17中所示的运动图像对象173相对应的“运动图像”。可执行处理定义数据201将与指令目标种类“运动图像”相对应的可执行处理列表定义为包括“打印”处理、“再现”处理、“音量改变”处理、以及“发送”处理的列表。可执行处理定义数据202将与指令目标种类“静止图像”相对应的可执行处理列表定义为包括“打印”处理和“发送”处理的列表。可执行处理定义数据203将与指令目标种类“所扫描原稿本身”相对应的可执行处理列表定义为包括“打印”处理、“下一页”处理、以及“发送”处理的列表。
图21是示出相应对象指定处理的例子的流程图。以下对图21中所示的处理进行说明，假定由图4中所示的指令目标指定单元4b进行该处理。
在步骤S2101中，指令目标指定单元4b在变量“目标解释”中设置用于识别在图9所示的步骤S901中的指令解释处理中进行的手写命令的解释结果的值，以初始化变量“目标解释”。例如，在存在两个手写命令的解释结果的情况下，指令目标指定单元4b在变量“目标解释”中设置表示手写命令的两个解释结果中的第一个的值。
在步骤S2102，指令目标指定单元4b判断是否存在与在变量“目标解释”中所设置的值相对应的手写命令的解释结果。如果指令目标指定单元4b判断出存在与在变量“目标解释”中所设置的值相对应的手写命令的解释结果(步骤S2102为“是”)，则处理进入步骤S2103。如果指令目标指定单元4b判断出不存在与在变量“目标解释”中所设置的值相对应的手写命令的解释结果(步骤S2102为“否”)，则指令目标指定处理结束。
在步骤S2103，指令目标指定单元4b在变量“指令目标对象”中设置用于识别位于手写命令附近的对象的值，以初始化变量“指令目标对象”。例如，在手写命令附近存在两个对象的情况下，指令目标指定单元4b在变量“指令目标对象”中设置表示两个对象中最接近该手写命令的那个对象的值。
在步骤S2104，指令目标指定单元4b判断是否存在位于该手写命令附近且对应于在变量“指令目标对象”中所设置的值的对象。如果指令目标指定单元4b判断出存在位于该手写命令附近且对应于在变量“指令目标对象”中所设置的值的对象(步骤S2104为“是”)，则处理进入步骤S2105。如果指令目标指定单元4b判断出不存在位于该手写命令附近且对应于在变量“指令目标对象”中所设置的值的对象(步骤S2104为“否”)，则处理进入步骤S2108。
在步骤S2105，指令目标指定单元4b通过参照图20中所示的可执行处理定义数据进行有效性判断处理。指令目标指定单元4b判断由例如在图9所示的步骤S901中所进行的指令解释处理中进行的手写命令所指定的指令的解释(即，由手写命令所指定的处理)对于指令目标对象是否是有效处理。
在步骤S2106，如果指令目标指定单元4b判断出由该手写命令所指定的指令的解释所表示的处理对于该指令目标对象是无效处理，则处理进入步骤S2107。如果指令目标指定单元4b判断出由该手写命令所指定的指令的解释所表示的处理对于指令目标对象是有效处理，则相应对象指定处理结束。
在步骤S2107，指令目标指定单元4b增加在变量“指令目标对象”中所设置的值，例如加1。然后，处理返回到步骤S2104。在步骤S2108，指令目标指定单元4b增加将在变量“目标解释”中所设置的值，例如加1。然后，处理返回到步骤S2102。
在步骤S2105中所进行的有效性判断处理中，指令目标指定单元4b可以通过参照图20中所示的可执行处理定义数据，并通过例如判断对同一指令目标对象进行的功能(或处理)是否相互重叠，来判断该有效性。也就是说，在对原稿中的同一指令目标对象写有类似的两个手写命令的情况下，对同一指令目标对象进行的功能(或处理)相互重叠。因而，指令目标指定单元4b可以判断出由该手写命令所表示的指令的解释是无效的。可选地，在上述情况下，指令目标指定单元4b可以判断出该解释不是无效的。也就是说，指令目标指定单元4b可以将两个手写命令解释为分别具有不同功能的命令，而不是具有相同功能的命令。因而，指令目标指定单元4b可以判断出该解释是有效的。
图22是示出在第二典型实施例中其上写有手写命令的待扫描的原稿221的另一例子的图。图22中所示的原稿221包括文本区222和表区223。用手写命令224以与表区223重叠。
图23是示出在根据第二典型实施例的显示装置23中所显示的显示屏幕图像的另一例子的图。将通过与图22中所示的原稿221相对应的计算机化数据表示的所扫描原稿231显示在显示装置23的屏幕上。所扫描原稿231包括文本区232和表区233。表区233与如下表相关联，该表包括在与通过显示装置23在所扫描原稿231中搜索的原始原稿相对应的区域中。
将与处理目标是所扫描原稿本身的“下一页按钮”相对应的GUI组件234显示在显示装置23的屏幕上。这是因为在使用与图22中所示的手写命令224相对应的“再现按钮”的情况下，不能对作为指令目标的表进行处理。因而，显示装置23改变指令目标和GUI组件。
图24是示出关于在根据第二典型实施例的显示装置23中所显示的GUI组件的数据的另一例子的表。GUI组件数据241包括关于与该GUI组件相对应的功能的信息、关于该GUI组件的相对显示位置和大小的信息、以及关于指令目标对象的信息。图24中所示的GUI组件数据241对应于例如图23中所示的GUI组件234。图24中所示的GUI组件数据241意味着将“所扫描原稿本身”231记录为指令目标；将“下一页”功能记录为将对该指令目标进行的功能；以及将值(50，85)和(60，95)记录为该GUI组件的相对显示位置和大小。将GUI组件数据241保持在数据存储器5中。
如上所述，根据第二典型实施例，显示装置23适当地指定与GUI组件相对应的指令目标。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。另外，根据第二典型实施例，显示装置23仅创建有效GUI组件。
因此，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
第三典型实施例通过参照图25～35说明第三典型实施例，在第三典型实施例中，显示装置23改变被错误识别的GUI组件。包括图像形成装置22和显示装置23的显示系统的结构与根据第一典型实施例的显示系统类似。因而，不再重复对该显示系统的说明。
图25是示出在第三典型实施例中其上写有手写命令的待扫描的纸原稿251的例子的图。图25中所示的原稿251包括文本区252和图像区253。将命令254和255用手写在原稿251上。
图26是示出在根据第三典型实施例的显示装置23中所显示的显示屏幕图像的图。将由与图25中所示的原稿251相对应的计算机化数据表示的所扫描原稿261显示在显示装置23的屏幕上。所扫描原稿261包括文本区262和图像区263。分别与由图25中所示的手写命令254和255创建的“再现按钮”相对应的GUI组件264和265被显示在显示装置23的屏幕上。图像区263与包括在与所扫描原稿261相对应的且通过显示装置23搜索的原始原稿中的运动图像相关联。“再现按钮”意味着可以进行对该运动图像的操作。
图27是示出关于在根据第三典型实施例的显示装置23中所显示的GUI组件的数据的例子的表。GUI组件数据包括关于与GUI组件相对应的功能的信息、关于该GUI组件的相对显示位置和大小的信息、以及关于指令目标对象的信息。将GUI组件数据271保持在数据存储器5中。图27中所示的GUI组件数据271对应于例如图26中所示的GUI组件264。
根据图27中所示的GUI组件数据271，将“运动图像对象263”记录为指令目标。将“再现”功能记录为与将对该指令目标进行的处理相对应的功能。将数据(50，55)和(60，65)记录为该GUI组件的相对显示位置和大小。假定本典型实施例允许对同一指令目标进行同一功能(或对其进行相同处理)的GUI组件相互重叠，因而设有两个“再现按钮”。在禁止对同一指令目标进行同一功能(或对其进行相同处理)的GUI组件相互重叠的情况下，设有具有不同功能的GUI组件。
图28是示出在根据第三典型实施例的显示装置23中所示出的GUI组件改变操作屏幕图像的图。将与图25中所示的原稿251相对应的所扫描原稿261显示在图28中所示的显示装置23的显示屏幕上。另外，在图28中所示的显示装置23的显示屏幕上显示有文本区262、图像区263、以及表示根据图25中所示的手写命令254和255创建的“再现按钮”的GUI组件264和265。
图28示出响应于通过用户指定与“再现按钮”相对应的GUI组件265所进行的有效GUI列表窗口显示指令操作而显示有效GUI列表窗口281的例子。在该例子的有效GUI列表窗口281中，使得与“音量改变按钮”相对应的GUI组件282处于被选中状态。另外，在该例子中，用粗线框表示包括与有效GUI列表中的GUI组件相对应的指令目标对象的区263，以便用户可辨别。
例如，当通过用户使用指示设备按压与GUI组件相对应的按钮至少预定时间段时，显示装置23判断出用户进行有效GUI列表窗口显示指令操作。然后，如图28所示，显示装置23在其屏幕上显示有效GUI列表窗口281。
图29是示出对图26所示的显示屏幕进行图28所示的GUI组件改变操作之后在显示装置中所显示的显示屏幕图像的例子的图。图29中所示的显示屏幕图像与图26中所示的显示屏幕图像的不同之处在于与“再现按钮”相对应的GUI组件265被改变成与“音量改变按钮”相对应的GUI组件291。
图30是示出关于在根据第三典型实施例的显示装置23中所显示的GUI组件的数据的表。在图30中所示的GUI组件数据与图27中所示的GUI组件数据的不同之处在于将GUI组件数据272改变成(或替换成)GUI组件数据301。将图30中所示的GUI组件数据保持在数据存储器5中。
图31是示出GUI组件改变处理的例子的流程图。以下对图31中所示的处理进行说明，假定由用作显示装置23的功能组件的图4中所示的GUI组件改变单元43进行该处理。
在步骤S3101，GUI组件改变单元43进行有效GUI组件列表处理。GUI组件改变单元43显示例如通过指示设备的按压从当前所显示的GUI组件中选择的且与可用作指令目标的指令目标对象相对应的GUI组件的列表(或有效GUI列表窗口)。下面将参照图32详细说明有效GUI组件列表处理。
在步骤S3102，GUI组件改变单元43进行用户操作处理并接受用户操作(或事件)。在步骤S3103，如果GUI组件改变单元43判断出用户指示显示可选GUI组件列表，则处理进入步骤S3104。在步骤S3103，如果GUI组件改变单元43判断出用户指示选择可选的GUI组件，则处理进入步骤S3106。
在步骤S3104，GUI组件改变单元43进行可选的指令目标指定处理，以指定可选的指令目标对象，而不是与当前在所扫描原稿中选择的GUI组件相对应的指令目标的指令目标对象。随后，在步骤S3105，GUI组件改变单元43进行有效GUI组件列表处理，并显示与在步骤S3104中所指定的可选的指令目标对象有关的有效GUI组件的列表(即，有效GUI列表窗口)。然后，处理返回到步骤S3102。
在步骤S3106，GUI组件改变单元43进行GUI组件替换处理。GUI组件改变单元43利用从有效GUI列表窗口中选择的GUI组件(例如，图28中所示的GUI组件282)替换当前在所扫描原稿中选择的GUI组件(例如，图28中所示的GUI组件265)。
图32是示出有效GUI组件列表处理的例子的流程图。以下对图32中所示的处理进行说明，假定由图4中所示的GUI组件改变单元43的有效GUI组件列表单元4j进行该处理。
在步骤S3201，有效GUI组件列表单元4j初始化有效GUI组件列表。随后，在步骤S3202，有效GUI组件列表单元4j进行处理以获取表示与指令目标种类相对应的可执行处理的数据。有效GUI组件列表单元4j从图20中所示的可执行处理定义数据中获取与当前指令目标对象(例如，运动图像、静止图像、以及所扫描原稿本身)相对应的可执行处理的可执行处理列表。例如，在当前指令目标对象是运动图像的情况下，有效GUI组件列表单元4j获取包括“打印”处理、“再现”处理、“音量改变”处理、以及“发送”处理的可执行处理列表。
在步骤S3203，有效GUI组件列表单元4j在变量“处理目标”中设置用于识别包括在步骤S3202中所获取的可执行处理列表中的可执行处理的值，以初始化变量“处理目标”。例如，在可执行处理列表中存在四个可执行处理的情况下，有效GUI组件列表单元4j在变量“处理目标”中设置表示记录在可执行处理列表的开头单元格中的可执行处理的值。
在步骤S3204，有效GUI组件列表单元4j判断是否存在与在变量“处理目标”中所设置的值相对应的可执行处理。如果有效GUI组件列表单元4j判断出存在与在变量“处理目标”中所设置的值相对应的可执行处理(步骤S3204为“是”)，则处理进入步骤S3205。如果有效GUI组件列表单元4j判断出不存在与在变量“处理目标”中所设置的值相对应的可执行处理(步骤S3204为“否”)，则有效GUI组件列表处理结束。
在步骤S3205，有效GUI组件列表单元4j进行相应GUI组件列表添加处理，以将与对要处理的指令目标对象所进行的可执行处理相对应的GUI组件添加到有效GUI组件的列表。然后，有效GUI组件列表单元4j显示该列表。
随后，在步骤S3206，有效GUI组件列表单元4j增加在变量“处理目标”中所设置的值，例如加1。然后，处理返回到步骤S3204。
在有效GUI组件列表处理中，有效GUI组件列表单元4j可以显示有效GUI组件列表，在有效GUI组件列表中，按照由图20中所示的可执行处理定义数据所定义的顺序排列GUI组件。可选地，在有效GUI组件列表处理中，有效GUI组件列表单元4j可以根据通过例如所扫描原稿解释单元49所进行的手写命令的解释结果，显示有效GUI组件列表，在有效GUI组件列表中，按照形状的相似程度从形状最接近手写命令的GUI组件开始排列GUI组件。因而，用户可以通过从列表的顶端开始连续检查列表的单元格以搜索GUI组件的列表，发现形状与用户所写的手写命令最接近的有效GUI组件。
可选地，在有效GUI组件列表处理中，有效GUI组件列表单元4j可以从有效GUI组件列表中排除每个形状不同于手写命令的形状的量等于或大于阈值的GUI组件。因而，可以从有效GUI组件列表中删除每个形状不同于手写命令的形状的量等于或大于阈值的GUI组件。因此，可以显示适当的GUI组件的列表。
图33是示出在根据第三典型实施例的显示装置23中所显示的GUI组件改变操作屏幕图像的例子的图。图33示出如下例子，在该例子中，作为用户进行可选GUI组件列表指令操作的结果，将与可选指令目标对象相对应的有效GUI组件的列表331显示在图28中所示的GUI组件改变操作屏幕上。用户所进行的可选GUI组件列表指令操作是例如按下可选GUI组件列表显示按钮283的操作。图33还示出在有效GUI组件列表331中由用户选择与“下一页按钮”相对应的GUI组件332的例子。
响应于与GUI组件265相对应的指令目标对象263向可选指令目标对象261的改变，将图33中所示的有效GUI组件列表331显示在显示装置23中。将图33中所示的有效GUI组件列表331显示在显示装置23中，使得可以看见与GUI组件265相对应的指令目标对象的改变。
图34是示出在对图33中所示的GUI组件改变操作显示屏幕进行GUI组件改变操作之后在显示装置23中所显示的显示屏幕图像的例子的图。图34中所示的显示屏幕图像与图33中所示的显示屏幕图像的不同之处在于用与“下一页按钮”相对应的GUI组件341替换了与“再现按钮”相对应的GUI组件265。
图35是示出关于在对图33中所示的GUI组件改变操作显示屏幕进行GUI组件改变操作之后在显示装置23中所显示的GUI组件的数据的表。图35中所示的GUI组件数据与图27中所示的GUI组件数据的不同之处在于将GUI组件272改变成GUI组件351。
根据图27中所示的GUI组件数据272，将“再现”功能记录为在对指令目标的处理中进行的功能。将“运动图像263”记录为指令目标。同时，根据图35中所示的GUI组件数据351，将“下一页”功能记录为在对指令目标的处理中进行的功能。将“所扫描原稿本身261”记录为指令目标。将图35中所示的GUI组件数据保持在数据存储器5中。
如上所述，根据第三典型实施例，显示装置23根据来自用户的指令将错误识别的GUI组件改变成适当的GUI组件。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
根据第三典型实施例，显示装置23根据来自用户的指令显示与指令目标相对应的有效GUI组件的列表。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
根据第三典型实施例，显示装置23可以反复进行用于指定可选指令目标的处理。因而，例如，在有效GUI列表窗口中不包括有效GUI组件的情况下，用户可以重新指定指令目标。因此，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
第四典型实施例通过参照图36～39说明第四典型实施例，在第四典型实施例中，当显示所扫描原稿时，显示装置23在显示与不显示与所扫描原稿相对应的相关GUI组件之间进行切换。包括图像形成装置22和显示装置23的显示系统的结构与根据第一典型实施例的显示系统类似。因而，不再重复对该显示系统的说明。
图36是示出在根据第四典型实施例的显示装置23中所显示的显示屏幕图像的例子的图。将由计算机化数据表示的所扫描原稿261和GUI组件264和341显示在显示装置23的屏幕上。
图36中所示的显示装置23具有GUI组件显示切换按钮361。例如，当接收用户通过按下GUI组件切换按钮361发出的GUI组件切换指令时，显示装置23在显示与不显示每一GUI组件264和341之间进行切换。
图37是示出由根据第四典型实施例的显示系统进行的全部处理的例子的流程图。在步骤S3701，图像形成装置22和显示装置23进行初始化处理，以进行如显示操作屏幕图像的操作等初始化操作。随后，在步骤S3702，图像形成装置22和显示装置33接受用户操作(或事件)。
随后，在步骤S3703，图像形成装置22和显示装置23判断事件。如果图像形成装置22判断出用户指示扫描和显示，则处理进入步骤S3704。如果显示装置23判断出用户指示执行处理，则处理进入步骤S3707。如果显示装置23判断出用户指示改变GUI组件，则处理进入步骤S3708。如果显示装置23判断出用户指示切换GUI组件的显示，则处理进入步骤S3709。
在步骤S3704，通过图像形成装置22扫描其上写有手写命令的原稿。因而，图像形成装置22获取表示所扫描原稿的计算机化数据。随后，在步骤S3705，显示装置23进行所扫描原稿解释处理，以将例如将写在所扫描原稿上的手写命令解释为GUI组件。然后，在步骤S3706，显示装置23进行所扫描原稿显示处理，以将GUI组件与从中去除了手写命令的所扫描原稿一起进行显示。
在步骤S3707，显示装置23进行执行处理。因而，显示装置23进行由用户指示的且与菜单项或GUI组件相对应的处理。在步骤S3708，显示装置23进行GUI组件改变(或替换)处理。因而，显示装置23将当前所显示的GUI组件改变成所指定的GUI组件。在步骤S3709，显示装置23进行GUI组件显示切换处理。因而，显示装置23在显示与不显示GUI组件之间进行切换。下面参照图39详细说明GUI组件显示切换处理。
在处理事件(扫描和显示指令的步骤S3704-S3706、执行指令的步骤S3707、GUI组件改变指令的步骤S3708、或组件显示改变指令的步骤S3709)之后，处理返回到步骤S3702。
图38是示出根据第四典型实施例的GUI组件数据的例子的表。GUI组件数据包括表示识别GUI组件数据的ID的信息、关于与该GUI组件相对应的功能的信息、关于该GUI组件的相对显示位置和大小的信息、关于用于识别相应的所扫描原稿的所扫描原稿ID的信息、以及关于指令目标对象的信息。将图38中所示的GUI组件数据保持在数据存储器5中。根据GUI组件数据382，记录表示GUI组件数据的ID“115”。将“下一页”功能记录为与指令目标相对应的功能。将数据(60，85)和(70，95)记录为该GUI组件的相对显示位置和大小。根据GUI组件数据382，记录所扫描原稿ID“file021”(例如，对应于图36中所示的所扫描原稿261)。另外，将表示“所扫描原稿本身261”的信息记录为表示指令目标的信息。
图39是示出GUI组件改变处理的例子的流程图。在步骤S3901，显示装置23判断GUI组件的当前显示状态。如果显示装置23判断出当前显示了GUI组件，则处理进入步骤S3902。如果显示装置23判断出GUI组件当前处于不显示状态，则处理进入步骤S3903。
在步骤S3902，显示装置23进行GUI组件不显示处理，以使当前所显示的GUI组件处于不显示状态。然后，显示装置23结束GUI组件显示切换处理。另一方面，在步骤S3903，显示装置23进行相应GUI组件获取处理，以在图38中所示的GUI组件数据中搜索与当前显示在显示装置23中的所扫描原稿相对应的GUI组件。
随后，在步骤S3904，显示装置23进行GUI组件显示处理。然后，显示装置23在其屏幕上显示在步骤S3903中获得的所有GUI组件。随后，显示装置23终止GUI组件显示切换处理。
在上述说明中，已经说明了如果显示装置23判断出用户指示切换GUI组件的显示，则显示装置23在显示与不显示GUI组件之间进行切换。然而，如果显示装置23判断出用户指示切换GUI组件的显示，则可以切换显示模式。另外，显示装置23可以在切换显示模式之后，在所扫描原稿显示处理中根据显示模式进行GUI组件的显示和不显示。
如上所述，根据第四典型实施例，显示装置23将所扫描原稿与相应的GUI组件关联，并存储和管理所扫描原稿和相应的GUI组件。另外，显示装置23根据来自用户的指令进行GUI组件的显示和不显示。因而，显示装置23可以仅在需要时才显示GUI组件。因此，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
第五典型实施例以下，参照图40和41说明第五典型实施例，在第五典型实施例中，显示装置23可以禁止除了执行与GUI组件相对应的处理以外的处理。包括图像形成装置22和显示装置23的显示系统的结构与根据第一典型实施例的显示系统类似。因而，不再重复对该显示系统的说明。
图40是示出在根据第五典型实施例的显示装置23中所显示的显示屏幕图像的例子的图。由计算机化数据、GUI组件264和341、以及菜单栏401表示的所扫描原稿261被显示在显示装置23的屏幕上。在图40所示的例子中，菜单项402的子菜单405从菜单栏401展开而显示，并且用户选择了子菜单项407的“打印”处理。
图41是示出执行允许判断处理的例子的流程图。以下对图41中所示的处理进行说明，假定由图4中所示的执行单元42进行该处理。在步骤S4101，执行单元42判断当前的执行模式。如果执行单元42判断出当前的执行模式是执行限制模式，则处理进入步骤S4102。如果执行单元42判断出当前的执行模式是无限制模式，则处理允许执行，并完成执行允许判断处理。
在步骤S4102，执行单元42进行当前所显示的GUI组件搜索处理，以判断与用户通过使用菜单项指示执行的处理相对应的GUI组件是否被显示在显示装置23中。在步骤S4103，如果执行单元42判断出与用户通过使用菜单项指示执行的处理相对应的GUI组件被显示在显示装置23中，则执行单元42允许执行该处理。然后，执行单元42完成执行允许判断处理。在步骤S4103，如果执行单元42判断出没有与用户通过使用菜单项指示执行的处理相对应的GUI组件被显示在显示装置23中，则执行单元42禁止执行该处理。然后，执行单元42完成执行允许判断处理。
如上所述，根据第五典型实施例，显示装置23可以禁止除了与创建且显示的GUI组件相对应的处理的执行以外的处理的执行。因而，可以防止故障。可以增强对于表示当前所显示的原稿的原稿数据的可操作性。因为可以防止故障，因而可确保安全性(即，可以增强安全性)。
第六典型实施例通过参照图42～48说明以下处理，在该处理中，显示装置23指定与手写命令相对应的操作并将该操作与该手写命令相关联。
图42是示出其上写有手写命令和手写操作内容的原稿的例子的图。图42中所示的原稿51包括文本区52和图像区53。另外，在原稿51上还写有手写命令421、手写操作内容422、以及手写命令关联指令423。
图43是示出在根据第六典型实施例的显示装置23中所显示的显示屏幕图像的例子的图。将由与在图42中所示的原稿51相对应的计算机化数据表示的所扫描原稿261显示在显示装置23的屏幕上。另外，与根据图42中所示的手写命令421创建的“发送”相对应的GUI组件431和根据图42中所示的手写操作内容422创建的操作气球帮助432被显示在显示装置23的屏幕上。GUI组件431和操作气球帮助432通过手写命令关联指令423相互关联。当将指示设备置于GUI组件431上时，操作气球帮助432可以通过显示装置23显示。
图44是示出关于在根据第六典型实施例的显示装置23中所显示的GUI组件的数据的例子的表。GUI组件数据包括关于与GUI组件相对应的功能的信息、关于该GUI组件的相对显示位置和大小的信息、关于指令目标对象的信息、以及关于与该GUI组件相对应的操作的信息。将图44中所示的GUI组件数据保持在数据存储器5中。例如，根据GUI组件数据441，将“发送”记录为与指令目标相对应的功能。将数据(70，10)和(90，25)分别记录为GUI组件的相对显示位置和大小。根据GUI组件数据441，将“所扫描原稿本身261”记录为指令目标。另外，将符号“Yamada”记录为表示操作的数据。也就是说，当用户按下与GUI组件数据441相对应的GUI组件时，执行单元42根据GUI组件数据441将表示整个所扫描原稿261的数据发送给“Yamada”。
图45是示出操作指定处理的例子的流程图。以下对图45中所示的处理进行说明，假定由图4中所示的所扫描原稿解释单元49的操作指定单元4d进行该处理。
在步骤S4501，操作指定单元4d进行字符识别处理，以识别写在所扫描原稿上的字符。随后，在步骤S4502，操作指定单元4d判断在步骤S4501中所进行的字符识别是否成功。如果操作指定单元4d判断出在步骤S4501中所进行的字符识别成功，则处理进入步骤S4503。如果操作指定单元4d判断出在步骤S4501中所进行的字符识别不成功，则操作指定处理结束。
在步骤S4503，操作指定单元4d进行相应数据提取处理，以从所扫描原稿中提取与在步骤S4501中识别出的字符或字符串相对应的数据(例如，图42中所示的手写操作内容422)。然后，处理完成操作指定处理。
图46是示出操作关联处理的例子的流程图。以下对图46中所示的处理进行说明，假定由图4中所示的所扫描原稿解释单元49的操作关联单元4e进行该处理。
在步骤S4601，操作关联单元4e进行关联提取处理，以从写在所扫描原稿上的手写命令关联指令(例如，图42中所示的手写命令关联指令423)中提取关于手写命令与操作之间的关联的信息。随后，在步骤S4602，操作关联单元4e判断在步骤S4601中所进行的关于关联的信息的提取是否成功。如果操作关联单元4e判断出在步骤S4601中所进行的关于关联的信息的提取成功，则处理进入步骤S4603。如果操作关联单元4e判断出在步骤S4601中所进行的关于关联的信息的提取不成功，则操作关联处理结束。
在步骤S4603，操作关联单元4e进行数据提炼处理，以从关于在步骤S4601中所提取的关联的信息中提炼该手写命令与该操作之间的组合。
图47是示出其上写有手写命令且其中嵌入了表示操作内容的电子水印的原稿的例子的图。图47中所示的原稿51包括文本区52和图像区53。另外，手写命令421被写在原稿51上。电子水印操作内容471被嵌入原稿51中。尽管在图4中未示出，但是，显示装置23可具有作为功能组件的用于打印的打印单元。因而，例如，图47中所示的原稿51可被打印或输出。可选地，可以将待打印的数据输出给图像形成装置22。
例如，在表示操作内容的数据被作为电子水印嵌入原稿中的情况下，操作指定单元4d在图45中所示的操作指定处理中识别嵌入原稿中的电子水印。操作指定单元4d从所扫描原稿中提取与所识别的电子水印相对应的数据。与其对应的数据为例如图47中所示的电子水印操作内容471。
图48是示出其上写有手写命令的原稿和用户通过输入单元用来定义与原稿或手写命令相对应的操作的定义数据中的每一个的例子的图。图48中所示的原稿51包括文本区52和图像区53。另外，将手写命令421写在原稿51上。例如，当将原稿51读入显示装置23时，用户在显示装置23中定义与图48中所示的原稿51或手写命令421相对应的定义操作的定义数据481。
如上所述，根据第六典型实施例，显示装置23基于手写命令、手写操作内容、以及写在原稿上的手写命令关联指令，将手写命令(或GUI组件)与操作内容相关联。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
根据第六典型实施例，显示装置23通过使用电子水印将写在原稿上的手写命令与对应于嵌入其中的手写命令的操作内容相关联。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
根据第六典型实施例，显示装置23基于写在原稿上的手写命令和用户通过输入单元定义操作内容的定义数据，将手写命令(或GUI组件)与操作内容相关联。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
第七典型实施例参照图49～51说明第七典型实施例，在第七典型实施例中，显示装置23根据除写在所扫描原稿上的手写命令以外的数据来创建GUI组件。
图49是示出在具有数字转换器的显示装置23中所显示的显示屏幕图像的例子的图。通过使用数字转换器(坐标输入装置)在显示屏幕上进行笔输入操作，写手写命令491。因而，可以实现与在上述典型实施例中所执行的操作类似的操作。
图50是示出在具有麦克风的显示装置23中所显示的显示屏幕图像的例子的图。通过使用麦克风502进行声音输入操作将声音命令501写到显示装置23。因而，可以实现与在上述典型实施例中所进行的操作类似的操作。为了使显示装置23指定GUI组件的相对显示位置和大小，与上述典型实施例类似，用户可以使用声音发出相应的指令。
图51是示出在具有照相机的显示装置23中所显示的显示屏幕图像的例子的图。通过使用照相机512进行图像输入操作将手势命令511写到显示装置23。因而，可以实现与在上述典型实施例中所进行的操作类似的操作。为了使显示装置23指定GUI组件的相对显示位置和大小，与上述典型实施例类似，用户可以通过打手势发出相应的指令。
如上所述，根据第七典型实施例，显示装置23可以基于通过进行笔输入操作输入的手写命令，进行创建和显示GUI组件等与在上述典型实施例中所进行的操作类似的操作。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
根据第七典型实施例，显示装置23可以基于通过使用麦克风输入的声音命令，进行创建和显示GUI组件等与在上述典型实施例中所进行的操作类似的操作。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
根据第七典型实施例，显示装置23可以基于通过使用照相机输入的手势命令，进行创建和显示GUI组件等与在上述典型实施例中所进行的操作类似的操作。因而，可以增强对于表示当前所显示的原稿的原稿数据的可操作性。
因而，如上所述，根据本发明的典型实施例，可以增强对于表示当前所显示的原稿的图像的原稿数据的可操作性。
本发明可应用于包括多个设备(例如，显示设备和复合设备)的系统。另外，本发明可应用于单个装置设备(例如，具有扫描功能的显示设备、具有监控器等的显示单元的多功能外围设备、或能够在触摸式面板上显示所扫描原稿的多功能外围设备)。
尽管参考典型实施例说明了本发明，但应当理解，本发明不局限于所公开的实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改和等同结构和功能。
权利要求
1.一种信息处理装置，其包括解释单元，用于解释写在原稿数据上的命令；创建单元，用于创建图形用户界面组件，该图形用户界面组件用于进行由该解释单元解释的该命令的执行；以及显示控制单元，用于使显示装置显示与表示该执行的目标的目标数据相对应的原稿数据，并在与写在该原稿数据上的该命令相对应的位置处显示该图形用户界面组件。
2.根据权利要求1所述的信息处理装置，其特征在于，该解释单元用于将由用户输入的手写指令数据解释为写在该原稿数据上的该命令。
3.根据权利要求1所述的信息处理装置，其特征在于，该显示控制单元用于在显示与不显示该图形用户界面组件之间进行切换。
4.根据权利要求1所述的信息处理装置，其特征在于，还包括处理执行单元，该处理执行单元用于对该目标数据执行与该命令相对应的处理。
5.根据权利要求4所述的信息处理装置，其特征在于，该处理执行单元用于判断是否允许执行该处理，并且该处理执行单元被配置成不执行除了与由该显示控制单元所显示的该图形用户界面组件相对应的处理以外的处理。
6.根据权利要求1所述的信息处理装置，其特征在于，由该显示控制单元所显示的该图形用户界面组件是写在该原稿数据上的命令。
7.一种用于在信息处理装置中进行显示原稿数据的操作的方法，该方法包括解释写在原稿数据上的命令；创建图形用户界面组件，该图形用户界面组件用于进行所解释的该命令的执行；以及使显示装置显示与表示该执行的目标的目标数据相对应的原稿数据，并在与写在该原稿数据上的该命令相对应的位置处显示所创建的该图形用户界面组件。
8.根据权利要求7所述的方法，其特征在于，解释该命令包括将由用户输入的手写指令数据解释为写在该原稿数据上的命令。
9.根据权利要求7所述的方法，其特征在于，使该显示装置显示原稿数据包括在显示与不显示该图形用户界面组件之间进行切换。
10.根据权利要求7所述的方法，其特征在于，还包括对该目标数据执行与该命令相对应的处理。
11.根据权利要求10所述的方法，其特征在于，对该目标数据执行与该命令相对应的处理包括判断是否允许执行该处理，并且不执行除了与所显示的图形用户界面组件相对应的处理以外的处理。
12.根据权利要求7所述的方法，其特征在于，由该显示控制单元所显示的该图形用户界面组件是写在该原稿数据上的命令。
全文摘要
本发明提供一种信息处理装置和对原稿数据进行显示操作的方法。该信息处理装置包括解释单元，用于解释写在计算机化的原稿数据上的命令；创建单元，用于创建图形用户界面组件，即GUI组件，该GUI组件用于进行由该解释单元解释的该命令的执行；以及显示控制单元，用于使显示装置显示与表示该执行的目标的目标数据相对应的原稿数据，并在与写在该原稿数据上的命令相对应的位置处显示所创建的GUI组件。
文档编号G06F9/44GK1928851SQ200610127798
公开日2007年3月14日 申请日期2006年9月8日 优先权日2005年9月8日
发明者若井圣范 申请人:佳能株式会社