信息处理装置和信息处理方法
【专利摘要】本发明根据一种实施例，一种与显示信息的显示单元关联的信息处理装置和方法，包括：第一检测单元，第二检测单元和执行单元。第一检测单元检测选择命令和第一目标。手写输入的所述选择命令指示包含在显示单元上显示的信息中的目标的选择。关于所述信息另外手写输入第一目标。第二检测单元在从包含在所述的信息内的目标中检测第二目标。由所述选择命令指示所述第二目标被选。执行单元用所述第一目标和所述第二目标来进行指定的处理。
【专利说明】信息处理装置和信息处理方法
[0001]相关申请的交叉引用
[0002]本申请基于2012年11月20日提出的N0.2012-253889日本专利申请并要求其优先权的权益；其全部内容通过引用被结合于此。
【技术领域】
[0003]这里所述的实施例涉及一种信息处理装置和一种信息处理方法。
【背景技术】
[0004]已知一种信息处理装置，在该信息处理装置中，从数据库检索符合用户以手写输入的检索请求的文件。
【发明内容】
[0005]实施例的目的是提供能够按照手写输入以准确地方式来进行操作的信息处理装置。
[0006]按照实施例，与显示信息的显示单元关联的信息处理装置，包括第一检测单元，第二检测单元和执行单元。第一检测单元被配置为检测选择命令和第一目标。选择命令被手写输入以指示包含在显示单元上显示的信息中的目标的选择。第一目标关于信息被另外手写输入。第二检测单元被配置为从包括在信息中的目标之中检测第二目标。指示第二目标由选择命令所选择。执行单元被配置为使用第一目标和第二目标来进行指定的处理。
[0007]根据上述的信息处理装置，能以更准确的方式进行按照手写输入的处理。
【专利附图】
【附图说明】
[0008]图1是图解按照实施例的信息处理装置的方框图；
[0009]图2是图解被检测目标的实例的图；
[0010]图3是说明检测目标所进行的处理的流程图；
[0011]图4是说明形状判定处理的流程图；
[0012]图5是说明判定闭合环路的处理的流程图；
[0013]图6是说明判定在闭合环路内侧是否包含笔迹的处理的说明图；
[0014]图7是说明判定在横线近旁上部是否有笔迹的处理的说明图；
[0015]图8是图解墨水数据结构的图；
[0016]图9是说明按照实施例的信息处理的流程图；
[0017]图10是说明笔划分析和应答处理的实例的流程图；
[0018]图11是说明目标选择检测处理的流程图；
[0019]图12是说明关系命令检测处理的流程图；
[0020]图13是说明笔划分析和应答处理的另一个实例的流程图；
[0021]图14是图解被显示的文件数据的实例的图；[0022]图15是图解包含在文件数据中的目标的数据结构的图；
[0023]图16是说明目标的分层结构的实例的图；
[0024]图17是图解在检索处理期间进行的示范性的处理顺序的图；
[0025]图18是图解当省略关系命令的输入时，在检索处理期间进行的示范性的处理顺序的图；
[0026]图19是图解当省略附加目标的输入时，在检索处理期间进行的示范性的处理顺序的图；
[0027]图20是图解当同样省略关系命令的输入时，在检索处理期间进行的示范性的处理顺序的图；
[0028]图21是图解在选择命令、关注的区域和选择的目标之间的关系的图；
[0029]图22是图解利用被视为检索查询的图像目标来进行检索的实例图；
[0030]图23是图解在检索处理期间所遵循的顺序的实例的图；
[0031]图24是图解在检索处理期间所遵循的顺序的另一个实例的图；
[0032]图25是图解在检索处理期间所遵循的顺序的又一个实例的图；
[0033]图26是图解在检索处理期间所遵循的顺序的又一个实例的图；
[0034]图27是图解在检索处理期间所遵循的顺序的又一个实例的图；
[0035]图28是图解在检测处理期间所用的数据的图；
[0036]图29是图解动画显示的实例的图；
[0037]图30是图解动画显示的另一个实例的图；
[0038]图31是图解从其消除不需要的命令的屏幕的实例的图；
[0039]图32是图解在检索命令和检索处理类型之间的关系的图；
[0040]图33是图解输出检索结果的实例的图；
[0041]图34是图解输出检索结果的另一个实例的图；
[0042]图35至37是说明现存目标的新选和再选的图；
[0043]图38是图解当执行检索命令时的示范性的屏面转移的图；
[0044]图39是图解在将日程加入计划表的处理期间的示范性的屏面转移的图；
[0045]图40是图解当进行附注释的显示时的示范性的屏面转移的图；
[0046]图41是说明改变附注释的显示的显示模式的方法的图；
[0047]图42是根据该实施例的信息处理装置的硬件配置图。
【具体实施方式】
[0048]下面参照附图，详述根据本发明的信息处理装置的示范性的实施例。
[0049]在诸如智能手机的触敏板显示终端进行检索的情况下，通常实行下面的方法:轻拍用于输入检索查询的窗口并移动光标；利用所显示的软件键盘键入字符；以及轻拍检索按钮。替代地，有一些终端，在这些终端中，出现能够写入手写字符的窗口，作为软件键盘的替代物。然后，以手写输入的笔划数据被识别并被转换成视为检索查询的字符串。然而，在这种方法中，从输入检索查询直至进行检索，需要进行一系列的处理，诸如移动光标、输入检索查询字符串、以及按压按钮。不仅取决于检索对象，而且需要输入不同的检索查询。
[0050]作为使输入检索查询的处理简化的已知实例，进行检索，同时将已经显示的字符串视为检索查询。例如，已知一种技术，在该技术中，在显示屏上显示文件数据文档数据的技术，并且当在显示屏上选择该文件数据文档数据中的字符串被选于显示屏上时，与该字符串有关的信息被立即显示，而不需揿按压检索按钮。就此时的选择方法而论，使用指示装置的光标在被显示的文字串上跟踪。然而，在这种方法中，在选择检索查询后立即进行检索。为此，不但不可能指定检索对象，而且还不可能在同时进行注释(后述)。
[0051]随着近年来手写平板终端的普及，能在代表笔记本或素描本的屏上手写字符串或图片的应用，或能在屏上显示现存的文档数据并能用手在该屏上写记录的应用，都已得到发展。特别是，后者的应用能通过对目标划圈或划下划线，来标记出现在文档数据中并被用户认为是重要的目标(文字串或图像)。而且在这个目标的近旁作引线或注释也成为可能。如此，关于显示文档数据以及及能使用户在显示器上进行写入处理，诸如对文档数据中的目标划圈或划下划线的情况，其目的是通过将其与其他目标进行区分，来记住(注释)这个目标。接着，如在那个目标附近写入文字串等等，则对划圈/划下划线及写入的信息总体地表示关于那个目标的注释信息。
[0052]同时，如上面给出的例子所述，当用户想进行某种检索，同时使用文档数据中的特定目标作为检索查询时，极自然地对它划圈或划下划线来选择那个特定目标。然而，这种在它本身上写入的处理不能够从上述的注释意图中被区分开来。因此，为区分两者，有需要进行某种附加输入。在当用户通过进行附加的输入作为一部分写入处理，来接着划圈等时，有必要根据写入的内容，在注释意图与检索意图两者之间加以区分。
[0053]在根据实施例的信息处理装置中，提供一种新的方法，该方法能使用户通过从显示单元上显示的信息(文档)中选择将被视为检索查询的目标(即，通过选择检索查询目标)，来进行检索。更具体地说，从用户写入的内容之中，根据该实施例的信息处理装置检测诸如选择命令、关系命令和检索命令的命令。利用选择命令作为选择要被处理的目标的指示。例如，以划圈或划下划线的形式发出该选择命令。关系命令被用作关连多个目标的指示。例如，以引线或从该目标出发的箭头的形式发出关系命令。检索命令被用作进行检索处理的指示。例如，检索命令是表示特定图案的字符串形式，如“？”，“在WEB检索”，“英语翻译是什么？ ”，“什么意思？ ”，及“同义语是什么？ ”。
[0054]此外，在该实施例中，提供一种方法，该方法能处理以单个方式或总体方式对不同的检索对象发出的检索命令，并能处理该检索的检索结果。更具体地说，下列命令可用作检索命令:“所有对象检索”，“全部命令”，及“简化的命令”。而且，以此种方式提供构架，即，对应于每个命令的检索对象可以独立的方式或组合的方式被检索。这时，根据检索对象组织检索结果，并呈现给用户。这里，所有对象检索指使用所选的目标进行的总检索。如果所选择的目标代表手写的字符，那么可以对类似于该手写字符的字符进行检索。替换地，可在识别手写字符的文本之后进行检索，或对包含类似文本的文件进行检索。如果所选的目标代表图像，那么可以检索类似的图像或检索属于类似图像的信息。在这种情况下，检索对象依赖于该系统。同时，用户可事先登记该检索对象，并可对检索加上预定的限制。
[0055]这里，通过对显示的文档实施本能的和迅速的写入选择命令、关系命令或检索命令的方法，用户有可能指定检索查询并进行有关这个检索查询的信息的检索。这时，通过改变要写入的检索命令，有可能以独立的方式或组合进行对不同检索对象的检索。
[0056]同时，本实施例中，对进行检索处理同时主要目标视为检索查询的例子作出解释。但本实施例的应用不限于检索处理。即，实施例可适用于使用指定目标的任何的处理。例如，如后面所述，本实施例可适用于将指定目标登记到计划表中的处理。在将本实施例用到检索处理以外的处理时，可用该特定处理的运行命令替代上述的检索命令。
[0057]在本实施例中，显示单元上显示的文档可以是或不是手写文档。例如，手写文档包括手写的数据(后述)。非手写文档是一种例如包括以字符码表现的数据的文档(如文本数据)。文本数据例如可对用光学扫描仪或照相机拍摄手写文档所得到的图像通过进行字符识别来取得。
[0058]图1是图解根据实施例的信息处理装置100的示范性的方框图。如图1所示，信息处理装置100包括显示单元121,输入单元122,存储单元123,通信单元124,显示控制单元111，取得单元112，第一检测单元113，第二检测单元114，执行单元115，及存储控制单元116。
[0059]显示单元121在其上显示多种信息。这里，可用触敏显示器构成显示单元121。
[0060]输入单元122接收各种指令的输入。这里，可用例如鼠标、按钮、遥控器、键盘、如麦克风的声音数据识别装置、及图像识别装置中的一多或多个的组合来构成。
[0061]同时，显示单元121和输入单元122也可以集成的方式来构成。例如，显示单元121和输入单元122可以构成为具有显示功能和输入功能的用户接口(UI)。UI单元例如是装备触敏板的液晶显示器(LED)。
[0062]存储单元123用来存储多种信息。可用任何一种通用存储媒介如硬盘驱动器(HDD)、光盘、存储 卡、或随机存取存储器(RAM)来构成存储单元123。
[0063]通信单元124与外部装置进行通信。通信单元124例如被连接到置于信息处理装置100之外的存储单元130。存储单元130用来存储检索目标的信息，如WEB数据131、语义辞典132、翻译等效字典133、及相关文档134。这里，相关文档134代表一组分类成预定种类的文档。替换地，相关文档134可代表一组按用户定义的种类来分类的文档。例如，相关文档134可代表一组编辑手写文档的相关文档，或可以是一组不同种类的相关文档。关于相对于手写字符的检索，有可能从已经被在线识别的手写文档之中检索相似的字符或相似的文档。同时，图1中，只图解单个存储单元130。但存储单元130可分成多个物理上不同的存储装置。
[0064]关于检索目标的信息可以是手写文档的形式，或是非手写文档的形式，如文本数据。在准备对手写文档进行检索的情况下，存储单元130可包括手写文档数据库(DB)(未图示)。
[0065]显示控制单元111控制在显示单元121上的信息的显示。例如，显示控制单元111在显示单元121上显示已被输入的文档数据。而且,显示控制单元111在显示单元121上显示手写输入的笔划数据。如后面所述，显示控制单元111进行控制，以便根据各个时刻来改变所显示数据的显示模式，各个时刻诸如是在进行处理之前的时刻、处理期间的时刻、进行处理之后的时刻。
[0066]取得单元112经输入单元122取得笔迹数据。由取得单元112取得的笔迹数据包括基于逐笔分离的坐标的时间系列数据。例如笔迹数据表达成如下方式。
[0067]笔划l:(x (I, I), (y (I, l),x (l,2),y (1,2),…，(x (I,N (l)),y (I,N (I)))
[0068]笔划2:(x (2，l)，(y (2，l)，x (2，2)，y (2,2),…，(x (2，N (2)),y (2，N (2)))[0069]…
[0070]这里，N (i)代表在采样笔划i时的点数。同时，存在手写文档DB中的手写文档也包含该笔迹数据。
[0071]第一检测单元113基于那个笔迹的坐标数据，判定由取得单元112取得的笔迹的形状；并检测手写输入的目标。如选择命令、关系命令和检索命令的上述命令中的每一个对应于以这种方式检测的目标。就上述的命令以外的字符串而言，第一检测单元113检测字符串作为附加的目标(第一目标)。
[0072]图2是图解检测的目标的实例的图。图2中，示出字符串、下划线和闭合线作为示范性的目标。根据笔迹的形状对分类这些目标进行分类。目标20是字符串目标，例如表示手写输入(或选自显示的文档)的字符串“IDEA”。这里，不用说字符串的内容不限于“IDEA”，并可任意地设置。目标22是下划线目标。经常是为强调字符串而画下划线的情况。目标23是闭合线目标，如圆形闭合线或四边形闭合线。与划下划线的方式相同，为了强调字符串，以及为了从其他字符串中区分出特定的字符串，画出闭合线。
[0073]第二检测单元114检测选自显示的信息的目标(第二目标)。例如，第二检测单元114从显示的文档数据中检测根据选择命令被选的目标(第二目标)。
[0074]下面参照图3的流程图说明为检测目标而进行的具体处理。
[0075]首先，判定已被输入的笔迹的形状(步骤S51)。第一检测单元113参考由取得单元112取得作为输入的笔迹数据中包含的坐标数据，并判定笔迹的形状以检测目标，如字符串目标、下划线目标及闭合线目标。同时，目标的形状不限于上述的形状。另一方面，也可检测下划线以外的例如引线和箭头。这里，检测引线或箭头作为表示关系命令的目标。
[0076]图4是说明形状判定处理的流程图，该形状判定处理根据由取得单元112取得的笔迹的坐标数据来完成。
[0077]参照图4，第一检测单元113判定输入的笔迹是否具有单一笔划(步骤S61)。如输入的笔迹具有单一笔划(步骤S61的单一笔划)，那么第一检测单元113判定该单一笔划是否形成闭合环路(步骤S62)。参照图5说明判定闭合环路的处理。第一检测单元113判定折线P[1]，P[2]，…，P[n-1]，及P[n]是否为闭合曲线。每条折线的线段被表示为L[i]=P[i]P[i+1]。第一检测单元113检查L[i]:和L[j](i〈j)是否互相交叉。若L[i]和L[j](i〈j)是互相交叉，则第一检测单元113判定P[i],…，P[j+l]形成闭合曲线。例如,在图5示例中，线段L[2]和线段L[7]互相相交。因此Ρ[2]，".，Ρ[8]形成闭合曲线。此外，第一检测单元113计算笔划的起点Ρ[0]至终点Ρ[8]之间的距离(单一笔划的笔划数据)。如算得的距离比笔划的总长度来得小，则第一检测单元113判定形成闭合线。因此，如该单一笔划的笔迹形成闭合环路(步骤S62中“是”)，则第一检测单元113判定该笔迹是否包含在闭合环路的内侧(步骤S64)。
[0078]参看图6，说明判定笔迹是否包含在闭合环路的内侧的处理。对于用于判定的对象笔迹，如所有点Q[l]，Q[2]，…，Q[Μ]都在闭合环路曲线内，则第一检测单元113判定笔迹被包含在闭合环路内。而且，以下面的方式可判定点Q是否包含在闭合环路之内。假设ρ[ι] (χ[ι]，Y[ι]，ρ[2] (χ[2]，Y[2]，…，ρ[ν-ι] (Χ[Ν-1]，Υ[Ν-1])构成闭合环路曲线，并假设Q (X，Y)代表用于判定的对象点。
[0079](I)计算通过两点P[i]和P[i+1]的直线f[i] (x, y) =0为[0080]f (x,y)= (Y[i+1]—Y[i])* (x—X[i]) — (X[i+1]—X[i] )* (y— [Y[i]] )=0。而如果满足i=N，则通过两点P[N]和P[0]的直线f[N]成为f[N] (x，y) =0
[0081](2)判定相对于直线的移动方向的Q (X，Y)侧。为此，计算f[i] (X，Y)。如其值为正，则Q (X，Y)相对于直线的移动方向处于右侧。另一方面，如其值为负，则Q (Χ，Υ)相对于直线的移动方向处于左侧。
[0082](3)对每个“i”，重复(I)和(2)的处理，如在所有直线f[i] (x，y)中得到Q (X，Y)为相同的符号，则判定点Q在闭合环路的内侧。
[0083]如判定笔迹被包含在闭合环路的内侧(步骤S64)，则第一检测单元113检测“闭合线”作为目标。在这种情况下，第一检测单元113可检测“闭合线”作为指示选择命令的目标。
[0084]同时，如判定未形成闭合回路(步骤S62中的否或步骤S64中的否)，则第一检测单元113判定笔迹的单一笔划是否为横线(步骤S63)。例如，第一检测单元113解决了已知的线性回归问题，并将直线适用于折线。如该处理得到的回归误差在阈值范围内，则第一检测单元113判定该折线为直线。当判定折线为直线时，如直线的斜率绝对值等于或小于预定的值，则第一检测单元113判定直线斜向一边。如判定直线是横线(步骤S63的“是”)，则第一检测单元113判定笔迹是否在横线的上部近旁(步骤S65)。
[0085]参照图7说明判定笔迹是否在横线的上部近旁的处理。
[0086]如用于判定的对象笔迹的所有点Q[l]，Q[2]，…，Q[Μ]在线段的上部近旁，则第一检测单元113判定笔迹在横线的上部近旁。可用如下方式判定点Q是否在横线的上部近旁。假定 ρ[1] (Χ[1]，y[1]和 Ρ[2] (Χ[2]，y[2])构成线段，满足 Χ[1]〈Χ[2]，并且 Q (Χ，Υ)代表判定的对象点。然后，若下面四个表达式同时得到满足，则可判定点Q在横线的上部近芳。
[0087]Χ[1]〈Χ
[0088]Χ〈Χ[2]
[0089]Y〉(Y[I]+Y[2] )/2
[0090]Y〈 (Y[l]+Y[2] ) /2+C,
[0091]其中C是预定的阈值。
[0092]当判定该比较在横线的上部近旁时(步骤S65中的“是”)，第一检测单元113检测“下划线”作为目标。在这种情况下，第一检测单元113可检测“下划线”作为指示选择命令的目标。
[0093]同时，如判定横线并不存在(步骤S63中的“否”或步骤S65中的“否”)，以及如判定输入的笔迹具有多个笔划(步骤S61中的多个笔划)，则第一检测单元113检测“字符串”作为目标。如检测的“字符串”是特定的字符串，则第一检测单元113可检测该字符串作为指示检索命令的目标。例如，如“字符串”是“在WEB检索”，则可以检索该“字符串”作为指示检索命令的目标。
[0094]回到参照图3的说明，第一检测单元113判定所检测的单元是不是选择命令(步骤S52)。若所检测的目标不是选择命令(步骤S52中的“否”)，则第一检测单元113不作改变地输出所检测的目标及输出输入的笔迹数据。另一方面，若所检测的目标是选择命令(步骤S52中的“是”)，则第二检测单元114从所显示的文档中检测按照选择命令选出的目标(步骤S53)。例如，当选择命令是“闭合线”的情况下，第二检测单元114从文档中由“闭合线”包围的区域中检测并输出诸如字符串的目标。
[0095]同时，若所显示的文档是手写文档，则第二检测单元114可检测在选择命令所指示的部分的笔迹的数据。类似地，若所显示的文档是非手写文档，如文本数据，则第二检测单元114可检测选择命令中指示的部分的文本数据。
[0096]然后，以这种方式检测的目标被发送到执行单元115。同时，由第一检测单元113执行的上述的检测方法只是一个例子。即，它并不是唯一可能的方法。只要是检测诸如手写输入的符号或字符串的目标，任何方法都可用。类似地，由第二检测单元114执行的上述的检测方法只是一个例子。即，它并不是唯一可能的方法。只要是检测从显示的信息中所选的目标，任何方法都可用。
[0097]执行单元115使用检测的目标进行处理。例如，当检索命令被检测时，执行单元115进行检索处理，其中，至少处理在选择命令中选出的目标被视为检索查询。
[0098]检索对象是一种能用字符码串和笔迹的数据进行交替检查并恢复的信息。
[0099]当手写文档以外的文本数据是检索对象时，执行单元115进行检索处理，其中，例如，对应于被检测目标的文本数据被视为检索查询。若检测的目标代表手写字符，则执行单元115对手写字符进行字符识别，将手写字符转换成文本数据，并将该文本数据视为检索查询。
[0100]在当手写文档是检索对象时，执行单元115进行检索处理，其中，例如，将对应于被检测目标的笔迹的数据视为检索查询。具体地说，在手写文档DB中，对类似于或匹配于该字符串的笔迹进行检索。
[0101]下面说明在手写文档DB中检索类似于或匹配于字符串检索查询的笔迹的处理的具体例子。执行单元115例如进行特征矢量匹配，并检索与表示检索查询的笔迹的笔划顺序类似的笔划顺序。参照图8解释笔划数据(笔迹数据)的示范性的具体结构。
[0102]这里，“笔划”是指以手写输入的笔划，并表示从笔等等与输入屏接触时直至离开输入屏时的轨迹。通常，在预定的时刻(例如在恒定的周期)，轨迹上的点被采样。因而，笔划被表现为一串米样的点。
[0103]在图8(b)中图解的实例中，单一笔划的笔划结构被表现为笔在其上移动的平面上的坐标值的集合(即，表现为点结构)。具体说，笔划结构包括一个由下面各项构成的阵列，即表示构成笔划的点数的“点的总数”，“开始时刻”，“外接图形”，以及等效于总点数的“点结构”。这里，“开始时刻”指示笔与输入屏接触并写入笔划的时刻。“外接图形”表示相对于文档平面上的笔划的轨迹的外接的图形(最好是，表示包含文档平面上的笔划的最小面积的矩形)。
[0104]点的结构取决于输入设备。在图8 (C)中图解的实例中，单点结构具有如下的四个值:点被采样的X坐标值；点被采样的I坐标值；笔压；以及距起始点的时间差。这里，例如,上述的“开始时刻”表示起始点。
[0105]同时，坐标表示文档平面上的坐标系统。例如，以左上角为原点，坐标值可表示为向右下角继续增加的正值。
[0106]当输入设备不能取得笔压时，或当虽然取得笔压，但在后续的处理中不使用时，可从图8 (C)中省略笔压。替换地，可写入指示笔压无效性的数据。[0107]同时，在图8 (b)和(C)的例子中，出现在笔划结构中的单点结构的区域中，也提到输入装置中的实际数据，如X坐标值和I坐标值。替换地，可以单独的方式管理笔划结构数据和点结构数据。在这种情况下，在笔划结构中出现单点结构的区域中，可写入相对于各点结构的链接信息。
[0108]作为在检索与表示检索查询的笔迹的笔划顺序类似的笔划顺序时的特征矢量匹配的具体例子，可能实施例如动态程序(DP)匹配技术。同时，用户指定的笔划顺序的笔划数可不必匹配用户所要的笔划数。这是因为，存在由不同的书写者以不同的笔划数写入具有相同意义的字符串的可能性。例如，随书写者而定，可只以单一笔划写入相同字符的两个笔划。例如，通过实施考虑单一笔划和N个笔划之间对应性的匹配技术，有可能进行对笔划变化的切实匹配(例如参看增田、内田、迫江的《在线字符识别的DP匹配的实验最佳化》，电气与电子工程联合会议，九州，2005,得自 http://human, ait.kyushu-u.ac.jp/?uchida/Papers/masudashibu2005.pdf)。
[0109]例如，考虑为匹配的包含在对象笔划顺序中的每个笔划是起始点，进行用户指定的检索查询的笔划顺序的变换，并计算笔划顺序之间的类似度。然后，在从各起始点计算类似度之后，以降序分类该类似度。因为考虑每笔是起始点，所以得到包括重迭的结果。接着进行峰值检测，综合每个重迭笔划的范围。
[0110]除了上述的匹配技术外，也可执行各种其他的匹配技术。
[0111]存储控制单元116控制将信息存入存储单元123的处理。
[0112]同时，显示控制单元111，第一检测单元113、执行单元115和存储控制单元116可由在诸如中央处理单元(CPU)的处理单元运行计算机程序来被实现，即，可用软件来被实现；或可使用诸如积分电路(IC)的硬件来被实现，或可使用软件和硬件的组合来被实现。
[0113]图9的说明是在按实施例以上述方式配置的信息处理装置100中进行的信息处理。图9是说明按照本该实施例的信息处理的例子的流程图。
[0114]首先，就图9的流程图中涉及的参数定义和函数作出说明。
[0115]参数
[0116]docid:文档 ID (给定的)
[0117]docdata:对应于已经输入的docid的文档数据
[0118]OL:到现在为止已被选的docdata中的现存目标的列表(在再选中用)
[0119]Null:列表的空状态
[0120]S:已输入的单笔数据
[0121]SL:笔划S的列表(等效于上述的笔划顺序)
[0122]objl:已被选的现存目标的列表(在图10中(后述)单个目标，在图13中(后述)允许多个目标)
[0123]arc:写入的关系命令(如引线)
[0124]ST:写入的附加笔划的列表
[0125]obj2:docdata以外的附加目标，写入作为附加笔划
[0126]cmd:作为附加笔划写入的命令，并包括检索命令或预定的附加命令
[0127]mode:内部控制模式。下面的说明中，model表示现存目标选择命令的写入(检测)，mode2表不关系命令的与入(检测)，mode3表不附加笔划的与入(检测)。[0128]函数
[0129]loaddoc ():接收文档数据的输入的函数。函数1addoc ()读取docid中指定的文档数据，并返回docdata类实例。格式:docdata=loaddoc (docid)
[0130]inputs ():接收单组笔划数据的输入的函数。inputs ()接收落笔时开始、提笔时结束的单一笔划的输入；并且返回S类实例。格式:S=inputS ()。
[0131]dispS ():显示笔划S的函数。格式:dispS ()。
[0132]dtctobjK ):分析SL并检测docdata中现存目标的选择的函数。响应于检测，函数dtctobjl ()返回obj类实例。响应于不检测，函数dtctobjl ()归零。格式:obj=dtctobjl(SL, docdata, 0L)。
[0133]dtctarc ():分析SL及检测关系命令的函数。格式:arc=dtctarc (SL, objl,docdata)。
[0134]addlist():附加地登录数据到列表中的函数。格式:list=addlist (list, data)。
[0135]recog ():识别附加笔划ST，提取obj2和cmd，及返回类实例的函数。如没有附加的笔划ST被识别，函数recog ()使obj2和cmd为零。格式:(obj2, cmd) =recog (ST)0
[0136]dispanote ():进行附注释的显示的函数。格式:dispanote (arc, obj2)。
[0137]dispcmd ():显示检测的命令的函数。格式:dispcmd (arc, obj2)。
[0138]exec ():执行具有objl和obj2为自变量的cmd的函数。格式:exec (cmd,objl,obj2)。
[0139]savedata ():保存数据的函数。
[0140]参看图9，显示控制单元111接收按用户指定要显示的文档数据的输入(docdata=loaddoc( docid)),并在显示数据上显示该文档数据(步骤S51)。然后,第一检测单元113对目标的列表OL进行初始化(0L=nulI)(步骤S2)。接着，进行笔划分析和应答处理，分析输入笔划(输入笔迹)并按分析结果发送应答(步骤S14)。在步骤S14进行笔划分析和应答处理期间，进行从步骤S3至步骤S12的下述处理。
[0141]首先，取得单元112接收笔划S的输入并将笔划S显示在显示单元121上(dispS(S=inputS O), SL=addlist (SL, S))(步骤S3)。然后,第一检测单元113判定现存目标选择命令是否被检测(步骤S4)。这里，现存目标表示包含在被显示的文档数据中的目标。当现存目标选择命令被检测时，第二检测单元114利用objl=dtctobjl (SL, docdata, 0L),并检测按选择命令从所显示的文档数据(docdata)中所选的目标objl。如从用来存储已选的和现有的目标的列表OL中再选任何的现存目标，那么第二检测单元114从该列表OL中检测指定的(选择的)目标。
[0142]同时，如没有现存目标选择命令被选择(步骤S4的否)，则系统控制回到步骤S3并重复处理。另一方面，如现存目标选择命令被选择(步骤S4的是)，则第一检测单元113判定关系命令是否被检测(步骤S5)。例如,第一检测单元113判定用arc=dtctarc (SL, objl,docdata)检测的目标arc是否代表关系命令。
[0143]如没有关系命令被检测(步骤S5的否)，则系统控制回到步骤S3并重复处理。另一方面，如关系命令被检测(步骤S5的是)，则第一检测单元113判定附加笔划的写入是否已完成(步骤S6)。例如，如笔划S已写入用于写入附加笔划的写入框外的区域中，则第一检测单元113判定附加笔划的写入已完成。但，写入是否完成的判定不限于这一方法。例如，如不能在笔离开之后的预定的时间内取得手写数据，则第一检测单元113可判定写入已完成。
[0144]如没有完成写入(步骤S6的否)，则第一检测单元113记录该附加笔划(ST=addliSt (ST, S))(步骤S7)。然后，系统控制回到步骤S3并重复处理。
[0145]当写入已完成(步骤S6的是)时，第一检测单元113识别附加笔划((obj2，cmd)=recog (st))(步骤 S8)。
[0146]这里，如上所述，识别笔划意味着根据笔迹的坐标数据(参看图9，根据所写附加笔划的列表)判定笔迹的形状，从而检测目标。如判定所检测的目标对应特定的命令，则第一检测单元113将判定的命令放入cmd。例如，若从附加笔划的形状中检测到诸如“？”和“在WEB上检索”的目标，则第一检测单元113判定该目标相当于检索命令，并将这些目标放入cmd ο
[0147]但，如判定所检测的目标代表字符串而不是命令，则第一检测单元113将该目标放入obj2。例如，如从附加的笔划的形状中检测到诸如不对应于任何特定命令的“国内的”那种目标，则第一检测单元113将此目标放入obj2。在检索期间，这个目标(附加目标)被例如视为检索查询，加到现存目标objl。
[0148]执行单元115判定命令是否被检测(步骤S9)。如命令被检测(步骤S9的是)，则执行单元115在显示单元121上显示此命令(dispcmd (arc,obj2))(步骤S10)。例如，在显示单元121上，执行单元115显示已检测的关系命令arc和已检测的附加目标obj2。
[0149]然后，执行单元115按照用户执行命令的指示来执行检测的命令(exec (cmd,objl，obj2))(步骤S11)。例如，当检测到检索命令时，执行单元115使用包含objl和obj2的检索查询进行检索处理。此时，objl代表上面提到的第二目标，obj2代表上面提到的第一目标。
[0150]同时，如没有命令被检测(步骤S9的否)，则执行单元115判定从附加笔划中检测的目标表示注释，并进行附注释的显示(dispanote (arc，obj2))(步骤S12)。例如，执行单元115对显示控制单元111发出请求,使在显示单元121上显示所检测的关系命令arc和所检测的附加命令ob j2。
[0151]然后，执行单元115将检测的目标的数据保存到存储单元123 (savedata O)(步骤S13)。这标志着处理的结束。保存的数据由用户在以后涉及到过去手写输入的历史时来使用。保存数据的目的地不限于存储单元123。另一方面，数据可保存到外部设备，诸如存储单元130。例如，数据可以先保存到存储单元123，然后在预定时刻将该数据转移(或拷贝)到外部设备，诸如存储单元130。
[0152]图9中图解实例，其中，如以下列次序检测到目标(如命令)时，执行单元115执行命令，其次序是:(1)选择现有命令；(2)检测关系命令；(3)检测附加笔划的命令。但执行命令的条件和时刻不限于这种情况。另一方面，考虑没有关系命令被检测(步骤S5的否)而以下面的次序检测到目标的情况，(I)现存目标被选择以及(2)附加笔划的命令被检测。这时，可用被选择的现存目标执行命令。有关命令执行时刻的说明在后面详述。
[0153]下面更详细地说明图9中步骤S14所执行笔划分析和应答处理。图10是解释笔划分析和应答处理的例子的流程图。图10中，各步骤上所示的括弧包含图9中对应的步骤号码。[0154]首先，取得单元112对每个参数进行初始化(mode=0, ST=SL=null,objl=obj2=arc=null)(步骤S101)。步骤S102的处理等同于图9中的步骤S3。
[0155]然后，第一检测单元113判定模式是不是选择等待模式Uode=O),即，判定选择命令的检测是不是等待(步骤S103)。如模式是选择模式(步骤SlOl的是)，则第一检测单元113判定目标是不是被再选(步骤S104)。这里，目标的再选表示从用来存储已选的和现存的目标的列表OL中选择现存目标。如目标不被再选(步骤S104的否)，则第一检测单元113判定目标是不是新选(步骤S105)。目标的新选表示从显示的文档数据中的新选目标(docdata)。如目标不是新选，则系统回到步骤S102并重复处理。
[0156]同时，如目标被再选(步骤S104的是)，或目标被新选(步骤105的是)，则第一检测单元113将新选的目标加到选择目标的列表objl中(objl=addlist (objl, obj))(步骤S106)。而且，第一检测单元113更新该模式为已选的模式(关系命令等待模式)(模式I)。进而，第一检测单元113将笔划的列表SL初始化(SL=null)。在从步骤105转移时，第一检测单元113将新选的目标obj加到选择的和现存的目标的列表OL中(0L=addlist (0L，obj))。然后系统回到步骤S102并重复处理。
[0157]同时，如判定选择不是等待(步骤S103的否)，则第一检测单元113判定模式是不是已选模式(mode=l)，即，关系命令的检测是不是等待(步骤S107)。如该模式是已选模式(步骤S107的是)，则第一检测单元113判定关系命令(如引线)是不是被检测(步骤S108)。这里，引线只是关系命令的实例，另一个目标，如箭头，也可以是关系命令。
[0158]如没有关系命令被检测(步骤S108的否)，则系统回到步骤S102并重复处理。另一方面，如关系命令被检测(步骤S108的是)，则第一检测单元113将检测的关系命令(如引线)放入arc (步骤S109)。而且，第一检测单元113将该模式更新为附加笔划检测等待模式(mode=2)。进而第一检测单元113将附加笔划的列表ST和笔划的列表SL初始化(ST=SL=null)。此时，显示控制单元111可显示写入框W，以便能够写入附加笔划。然后系统回到步骤S102并重复处理。
[0159]同时，如判定模式不是已选模式(步骤S107的否)，则第一检测单元113判定写入是不是已完成(步骤S110)。这里，在步骤SllO和步骤Slll进行的处理分别等同于图9中步骤S6和步骤S7进行的处理。
[0160]当完成写入时(步骤SllO的是)，第一检测单元113识别附加的笔划((obj2，cmd)=recog (ST))(步骤S112)。此时，可配置得使显示控制单元111消除写入框W的显示，以及作为写入完成的指示，消除写在写入框W外面的笔划S的显示。
[0161]从步骤SI 13至步骤SI 16进行的后续处理分别等同于图9中步骤S9至步骤S12进行的处理。
[0162]下面参照图10进一步详细说明检测目标的选择的处理(步骤S104和步骤S105)。图11是说明目标选择检测处理的实例的流程图。
[0163]第一检测单元113判定笔划S的列表SL是不是被包含在目标的任一外接矩形中，所述目标被包含在现存目标的列表OL中(步骤S201)。如笔划S的列表SL被包含在目标的任一外接矩形中(步骤S201的是)，则第一检测单元113检测已被再选的目标(步骤S202)。这时，第一检测单元113将包含列入列表SL的笔划S的目标放入obj。然后，显示控制单元111消除列入列表SL的笔划S的显示(步骤S203)。结果，只要轻拍这个目标，就能再选用户想再选的目标。
[0164]另一方面，如列表SL不包含在现存目标的列表OL所含目标的任一外接矩形中(步骤S201的否)，则第一检测单元113试图检测闭合线或下划线。通过进行图5至7说明的方法可以实现检测。另一方面，这里说明通过进行更简单的方法来完成检测。第一检测单元113计算被包含在列表SL中的笔划S的外接矩形R，并计算外接矩形R的纵向距离“a”(步骤S211)。然后，第一检测单元113计算被包含在列表SL中的笔划S的总长度“b”(步骤 S212)。
[0165]接着，第一检测单元113判定总长度b是不是大于纵向距离a的两倍(即，是否满足b〉aX2)(步骤S213)。如总长度b是大于纵向距离a的两倍(步骤S213的是)，则第一检测单元113将外接矩形R置于关注的区域T中(步骤S214)。另一方面，如纵向距离a等于外接矩形R的横向宽度，且总长度b等于或小于纵向距离a的两倍(步骤S213的否和步骤S215的是)，则第一检测单元113将通过向上扩展外接矩形R所形成的区域作为所关注区域T (步骤S216)。否则(步骤S215的否)，第二检测单元114将objl置零，作为没有目标被检测的表示(步骤S220)。这标志着处理的结束。
[0166]关于总长度b大于纵向长度a的两倍的情况，可以假设实现环绕。类似地，关于总长度b大于纵向长度a的1.2倍的情况，可以假设划出下划线。如能区分划圈和划下划线，则总长度b可与纵向长度a的两倍或1.2倍以外的值相比较。
[0167]第二检测单元114从文档数据(docdata)中检测这样的现存目标，其与所关注区域T的重迭度(例如迭合区域的尺寸比)等于或大于预定的阈值(步骤S217)。得到在关注区域T和重迭区域尺寸之间的比，例如作为在所关注区域T和现存目标之间重迭区域的尺寸相对于全部现存目标的尺寸的比例。
[0168]第二检测单元114判定是否检测到这种现存目标(步骤S218)。如检测到这种现存目标(步骤S218的是)，则第二检测单元114将检测的目标放入obj (步骤S219)。另一方面，如没检测到这种目标(步骤S218的否)，则第二检测单元114使obj为零(步骤S220)。这标志着处理的结束。
[0169]下面进一步详细说明图10中步骤S108执行的关系命令检测处理。图12是说明关系命令检测处理的实例的流程图。在图12的流程图的右侧给出多个数据的具体例子。这些例子中，上侧的例子有关选择命令表示划圈的情况，而下侧的例子有关选择命令表示划下划线的情况。在图12的流程图中开始处理时，已选和现存目标的列表objl至少在其中登记有单个现存目标。下面是相对于记录列表objl中的各目标进行的处理。
[0170]第一检测单元113判定包含在列表SL中笔划的开始点是不是出现在区域Ul内，区域Ul是包含在列表ObjI中的各目标的选择命令的外接矩形通过向左、向右、向上和向下扩展预定的长度来形成的(步骤S301)。在图12中的划圈例子中，判定笔划开始点PO出现在区域Ul内。
[0171]对任一个目标，如笔划的开始点没有出现在区域Ul内(步骤S301的否)，则第一检测单元113判定包含在列表SL中笔划的开始点是不是出现在区域U2内，区域U2是包含在列表objl中的各目标的外接矩形通过向左、向右、向上和向下扩展预定的长度来形成的(步骤S302)。在图12中的下划线例子中，判定笔划开始点PO出现在区域U2内。
[0172]如笔划的开始点没有出现在区域U2内(步骤S302的否)，则第一检测单元113执行设置(arc=nulI)，表示没有关系命令(如引线)被检测(步骤S303)。这标志着处理的结束。
[0173]同时，如笔划的开始点出现在区域Ul内(步骤S301的是)，或笔划的开始点出现在区域U2内(步骤S302的是)，则第一检测单元113判定包含在列表SL内的笔划的结束点是不是不但出现在区域Ul或区域U2之外，而且还出现在其他目标的外接矩形之外(步骤S304)。在图12示出的例中，判定笔划的结束点Pl出现在区域Ul和区域U2之外。
[0174]如笔划的结束点不但出现在区域Ul或区域U2之外，而且还出现在其他目标的外接矩形之外(步骤S304的是)，则第一检测单元113检测包含在列表SL中的笔划作为关系命令(如引线)Carc=SL)(步骤S305)。
[0175]另一方面，如笔划的结束点不出现在区域Ul或区域U2之外，或笔划的结束点不出现在其他目标的外接矩形之外(步骤S304的否)，则第一检测单元113进行设置(arc=null),以表示关系命令(如引线)的非检测(步骤S303)。这标志着处理的结束。
[0176]参照图10，当一个目标(单个目标)被选(步骤S104的是或步骤S105的是)，则系统控制前进到关系命令检测处理(向步骤S108)。另一方面，可配置成能选择多个目标。
[0177]图13是说明在允许选择多个目标时笔划分析和应答处理的实例的流程图。与图10比较，步骤S103-2、步骤S105-2和步骤S107-2中的处理分别不同于图10中步骤S103、步骤S105和步骤S107中的处理。此外，图13中所示的处理等同于图10中的处理。由相同的步骤号码标明相同的处理，其说明不再重复。
[0178]与图10中步骤S103进行的处理相比，步骤S103-2的处理有如下的差别:不但在mode=0时,而且在mode=l时,判定模式为选择等待模式；以及,如判定模式不是选择等待模式(步骤S103-2的否)，则系统控制进到步骤S110。
[0179]与图10中步骤S105进行的处理相比，步骤S105-2的处理有如下的差别:如目标不是新选(步骤S105-2的否)，则系统控制进到步骤S107-2。
[0180]与图10中步骤S107进行的处理相比，步骤S107-2的处理有如下的差别:如判定模式不是已选模式(mode=l)(步骤S107-2的否)，则系统控制回到步骤S102。
[0181]作为进行这些处理的结果，有可能选择多个目标直至关系命令被检测，S卩，直至模式在步骤S109被更新为mode=2。
[0182]下面说明本实施例进行信息处理的具体实例。图14是被显示的文档数据的实例图。图14示出文档数据包含文本目标701和图像目标702的例子。
[0183]图15是图解包含在文档数据中的目标的数据结构图的实例的图。如图15所示，文档数据可包含文本目标，图像目标及移动图像目标。目标的类型不限于上述的类型。即，例如文档数据也可包括含有手写文档的目标，或包括音频目标。
[0184]文本目标(句OBJ)在分层结构中例如可包括字目标(字OBJ)和字符目标(字符OBJ)。代表字符、记号和符号的字符码被嵌入文本目标中。对于文本目标，设置一组限制字符的矩形(一组字符外接矩形)作为显示区。
[0185]图像目标例如可包括显示图像的目标(图像显示OBJ)和上述的句0BJ，如标题等第。图像和字符码被嵌入图像目标中。对于图像目标，设置一组显示图像的矩形(图像矩形)和上述的字符外接矩形作为显示区。
[0186]移动图像目标例如可包括图像显示0BJ，起动和重放的按钮目标(按钮0BJ)，及上述的句目标，诸如标题等等。移动图像、图像和字符码被嵌入移动图像目标中。对于移动图像目标，设置一组图像矩形和字符外接矩形作为显示区。
[0187]图16是说明目标的分层结构的实例图。
[0188]文本目标701在第一层中可包括装进内矩形的句OBJ。这里为了方便而画出矩形，并不需要显示在显示单元121上。图16中画出文本目标701包含10个字符OBJ。
[0189]每个句OBJ在较低层(第二层)上包含字OBJ。图16中，表示在较低部分的各矩形901对应于字OBJ。参看图16，在“.EACH CARRIER”部分，包含三个字0BJ，即“?”，“EACH”，“CARRIER”。例如借助形态分析可得到字0BJ。[0190]每个字OBJ在较低层(第三层)中还包含字符0BJ。图16中，各矩形902对应字符0BJ。各字符OBJ包含显示区数据和字符码数据。显示区数据表示显示对应的字符OBJ的区。
[0191]图像目标702在第一层中可包括装入内矩形的图像显示OBJ和句0BJ。图16中，蜂窝电话的图像相当于图像显示0BJ。显示在蜂窝电话下面的“PRODUCT OF COMPANY T(公司T的产品)”相当于句0BJ。这个句OBJ的分层结构相同于参照文本目标701说明过的句OBJ的分层结构。图像显示OBJ例如包括显示区数据和图像数据。
[0192]预先设定图16所示的数据结构，可在输入该文档数据时被输入作为文档数据的一部分。另一方面，可配置成识别和分析(经形态分析)含有文档数据的图像，产生具有如图16所示的结构的数据。同时，图16的数据结构只是个例子，并不是唯一可能的数据结构。另一方面，附在图像目标702的图像上的标题(在图16说明的例子中是“公司T的产品”)可以是文本目标。此外，在包含手写文档的目标的情况下，可包括笔划数据代替字符码数据。
[0193]图17是说明在检索处理期间进行处理的顺序的示范性的图。图17示出的例中，以特定的次序写入现存目标选择命令1001 (划圈或下划线)，关系命令1002 (写引线或箭头)，附加目标1003 (写任意的字符串)，检索命令1004 (写“？ ”之类)。参看图9，选择命令1001和关系命令1002在步骤S4和步骤S5中分别被检测，而附加目标1003和检索命令1004在步骤S8中被检测。在图17所示的例中，执行单元115使用在响应于选择命令1001时选入的现存目标“CARRIER (携带者)”，和使用附加目标1003 (=DOMESTIC (国内))，进行检索处理。例如，执行单元115执行检索，在其中只有一个目标(只有现存目标或只有附加目标)被视为检索查询，以及执行检索，在其中AND条件被视为检索查询(即执行AND检索)。但执行检索处理的方法不限于这一方法。另一方面，例如执行单元115可以只执行目标的AND检索。
[0194]同时，有可能省略在图17示出的关系命令的输入。图18是当省略关系命令的输入时，在检索处理期间执行的处理顺序的示范性的图。图18所示的例中，以特定次序写入现存目标选择命令1101，附加目标1103，及检索目标1104。在这种情况下，执行单元115也使用在响应于选择命令1001时选入的现存目标“CARRIER”，和使用附加目标1003(=D0MESTIC)，进行检索处理。
[0195]同时，也有可能省略附加目标的输入。图19是当省略附加目标的输入时，在检索处理期间执行的处理顺序的示范性的图。图19所示的例中，以特定次序写入现存目标选择命令1201，关系命令1202和检索命令1204。在这种情况下，执行单元115使用在响应于选择命令1201时选入的现存目标“CARRIER”，进行检索处理。
[0196]而且，也可从图19中省略关系命令的输入。图20是当省略关系命令的输入时，在检索处理期间执行的处理顺序的示范性的图。图20所示的例中，以特定次序写入现存目标选择命令1301和检索命令1304。在这种情况下，执行单元115使用在响应于选择命令1301时选入的现存目标“CARRIER”，进行检索处理。
[0197]下面说明执行选择现存目标的写入的例子(S卩，写入选择命令的例子)和选择现存目标的例子。图21是说明在选择命令、所关注区域及选择的目标之间关系的实例的图。
[0198]矩形902对应字符OBJ的显示区。矩形901对应字OBJ的显示区。在图21的下部，示出响应于对这种文本目标发出的三种不同的选择命令的输入时目标选择的例子。
[0199]在对字符串“CARRIER”以重迭方式写入下划线1401的情况下，通过向上延伸下划线1401的外接矩形达预定的量所形成的三角形成为所关注区域1402。这时，选择词语“CARRIER”作为现存目标，具有与关注区域1402的干扰尺寸比等于或大于阈值。这里，干扰尺寸例如是关注区域1402与现存目标之间重迭区的尺寸。
[0200]在字符串“CARRIER”下面以正确方式(没有重迭)写下划线1411的情况下，通过向上延伸下划线1411的外接矩形达预定的量所形成的三角形成为所关注的区域1412。这时，选择词语“CARRIER”作为现存目标，具有与关注区域1402的干扰尺寸比等于或大于阈值。
[0201]在包围字符串“CARRIER”写圈线1421的情况下，圈线1421的外接矩形成为关注区1422。这时，选择词语“EACH CARRIER”作为现存目标，具有与关注区域1422的干扰尺寸比等于或大于阈值。
[0202]图22是图解利用被视为检索查询的图像目标进行检索的实例的图。当选择命令是如图22示出的圈线的形式的情况下，圈线的外接矩形成为关注区1501。关注区1501内包含蜂窝电话和字符串“PRODUCT OF COMPANY T”。如假设输入附加目标1502(“SPECIFICATIONS (说明)”)，则以下列方式执行在其中目标被视为检索查询的检索和目标的AND检索。
[0203](I)类似图像检索，蜂窝电话被视为检索查询
[0204](2)信息检索，现存目标“PRODUCT OF COMPANY T”被处理作为检索查询
[0205](3)信息检索，附加目标“SPECIFICATIONS”被处理作为检索查询
[0206](4) (I)和(2)的 AND 检索
[0207](5) (I)和(3)的 AND 检索
[0208](6) (2)和(3)的 AND 检索
[0209](7) (1)、(2)和(3)的 AND 检索
[0210]图23是说明在检索处理期间所遵循的顺序的实例的图。这里，屏幕1601、1603、1604是屏幕的例子，选择命令1611、目标1613、及目标1614以其特定次序分别输入屏幕中。在此前的说明中，没有考虑手写输入的时间间隔。但也可配置成通过考虑时间间隔来检测各命令。
[0211]例如，在当选择命令1611的检测时刻和目标1613的检测时刻之间的差异是在预定的时间范围内的情况下，第一检测单元113可检测目标1613作为附加的目标。同时，目标的检测(选择)次序是任意的。例如，即使在当目标1613被较早地检测而选择命令1611被较晚地检测的情况下，只要其检测时刻之间的差异在预定的时间范围内，目标1613就可选择作为附加的目标。
[0212]另一方面，如检测时刻之间的差异大于预定的时间范围，那么第一检测单元113可判定目标1613是注释。而且，如附加目标(目标1613)的检测时刻和目标1614的检测时刻之间的差异是在预定的时间范围内，那么第一检测单元113可检测目标1614作为检索命令。
[0213]图24是图解在检索处理期间所遵循的顺序的另一个实例的图。这里，屏幕1701、1702、1704是屏幕的例子，选择命令1711、目标1712、及目标1714以特定次序分别输入屏幕中。如选择命令1711的检测时刻和目标1712的检测时刻之间的差异是在预定的时间范围内，那么第一检测单元113可检测目标1712作为关系命令。类似地，如目标1712 (关系命令)的检测时刻和目标1714的检测时刻之间的差异是在预定的时间范围内，那么第一检测单元113可检测目标1714作为检索命令。
[0214]图25是图解在检索处理期间所遵循的顺序的又一个实例的图。图25示出可选择多个现存目标的情况。这里，屏幕1801-1、1801-2、1802和1804是屏幕的例子，选择命令1811-1、选择命令1811-2、目标1812、及目标1814以其特定次序分别输入屏幕中。如选择命令1811-1的检测时刻和选择命令1811-2的检测时刻之间的差异是在预定的时间范围内，那么第一检测单元113可响应于这些选择命令将选择的目标加入现存目标的列表(objl)中。
[0215]图26是图解在检索处理期间所遵循的顺序的又一个实例的图。图26示出在预定的时间过去之后，选择命令和事先写入的说明重新组合并被视为检索查询的情况。这里，屏幕1901-1、1901-2、1902-1，1902-2和1904是屏幕的例子，先前写入包含选择命令和说明的1911-1，先前写入包含选择命令的1911-2，目标1912-2，及目标1914以其特定次序分别输入屏中。假定是在目标1912-1的输入之前，要写先前写入1911-1和先前写入1911-2。
[0216]在这种情况中下，同样，如果如写入关系命令(目标1912-1和目标1912-2)使以确保保证预定的位置关系，则检索查询中也可包含对应于先前写入的1911-1和先前写入的1911-2的目标。例如，如在满足下面给出的条件(I)至(5)的情况下，则检索查询中可包含:响应于先前写入的1911-1中包含的选择命令而被选的现存目标(“NUMBER OF SMARTPHONESUBSCRIBERS”)和标题(“超过3000万人”)，以及响应于先前写入的1911-2中包含的选择命令而被选的现存目标(“CARRIER”)。
[0217](I)目标1912-1对先前写入的1911-2具有预定的位置关系
[0218](2)目标1912-2对包含在先前写入的1911-2中的选择命令具有预定的位置关系
[0219](3)目标1914对目标1912-1和目标1912-2具有预定的位置关系
[0220](4)目标1912-1的输入时刻和目标1912-2的输入时刻之间的差异是在预定的时间之内
[0221](5)目标1912-2的输入时刻和目标1914的输入时刻之间的差异是在预定的时间之内
[0222]这里，预定的位置关系表示这样的关系，其中笔划的端点(起点或终点)出现在选择命令的外接矩形之内(或在通过扩展外接矩形到一预定长度而形成的区域之内)。
[0223]图27是图解在检索处理期间所遵循的顺序的又一个实例的图。图27说明的进行检索的实例中，通过不同于图26的方法来写入位置命令。这里，屏幕2001、2002、2003和2004是屏幕的例子，选择命令2011，选择命令2012，，目标2013，及目标2014以其特定次序分别输入屏幕中。图27所示的例中，用作关系命令的目标2013结合多个选择命令(选择命令2011和选择命令2012)。这种情况下，如命令满足预定的位置关系，也可能进行检索处理，可处理相当于多个选择命令的多个现存目标作为检索查询。
[0224]图28是说明在检测处理期间所用的数据(检索查询数据)的实例图。如图28所示，可处理含有字符码的数据(字符码串数据(“CARRIER”))和图像数据作为检索查询数据。在使用字符码串数据时，匹配于或相似于字符码串数据的句子得以恢复。在使用图像数据时，匹配于或相似于图像数据的图像得以恢复。通过实施任何的常规方法，如比较得自图像数据的特征量的方法，可完成类似的图像检索。
[0225]同时，在处理期间以及在处理之后，执行单元115可改变目标的显示模式，使用户能识别处理在进行中或处理已经完成。例如，在检索处理当中，显示控制单元111可显示动画，其中选择命令、关系命令和检索命令中至少一个的显示改变。另一方面，显示控制单元111可改变下面各命令的显示模式中的至少一个:色彩，亮度(闪烁)，笔划宽度，大小，形状(如起波纹)及位置(摆动)。 [0226]而且，在检索处理完成之后，显示控制单元111可从显示单元121消除关系命令和检索命令。结果，有可能从显示中消除不需要的命令笔划数据，并保证在背景中显示的文档数据的可读性方面不受损失。
[0227]图29和图30是说明动画显示的实例的图。在图29例示的动画中，关系命令和检索命令在选择命令的椭圆轨道转动时旋转。当检索结束时，显示控制单元111可结束动画显示，然后在各自原来的位置上显示关系命令和检索命令。
[0228]图30图解的动画中，图29中示出的关系命令和检索命令被变成两个球(闪烁之类)，并以与图29中相同的方式被移动。当检索结束时，显示控制单元111完成显示，两个球变得较小和较暗，以至最终消失。
[0229]图31是说明从其上消除不需要的命令的屏幕的实例的图。此外，当检索结束时，显示控制单元111改变选择命令的显示模式。例如，当检索结束时，显示控制单元111可改变选择命令的色彩、笔划宽度(如加粗)、和形状(如变成椭圆形)。另一方面，显示控制单元111可进一步消除选择命令。
[0230]如此前所述，本实施例中，不但可用从显示的文档中检测的现存目标，而且可用以手写附加输入的附加目标，来完成如检索处理的处理。结果，可以更准确的方式完成手写输入的处理。在图17所示的例中，不仅用响应于选择命令1001而选择的现存目标“CARRIER”，而且用附加目标1003 (= “DOMESTIC”)，来完成检索处理。
[0231]此外，可如此配置，使按检索命令的型式来改变要检索的文档(或文档组)。图32是说明在检索命令和检索处理类型(要检索的文档的类型)之间的关系的图。在图32的例中，检索命令被分类成全对象检索、完全命令和简化的命令。对象检索表示通过考虑所有文档为检索对象来完成检索处理的运行命令。完全命令和简化的命令表示通过考虑某些文档为检索对象来完成检索处理的运行命令。完全命令包括能鉴别认为是对象检索的文档的字。简化的命令通过使用记号之类简化完全命令的内容来形成。
[0232]图32中图解完全命令“在WEB上检索”具有其对应的简化命令“W ? ”的实例。同时，例如在存储单元123中存储着检测用作检索命令的字符串和记号。
[0233]图32中，“在WEB上检索”表示检索命令，其中WEB上的数据(如WEB数据131)是检索对象。“关连的文档检索”表示检索命令，其中关连文档134是检索对象。“辞典检索”表示检索命令，其中语义辞典132是检索对象。“翻译等效检索”表示检索命令，其中，翻译等效辞典133是检索对象。
[0234]在图17说明的例中，使用包括响应于选择命令1001而选择的现存目标“CARRIER”及包括附加目标1003 (= “DOMESTIC”)的检索查询，执行等效于全部对象检索的检索命令1004 (“？ ”)。
[0235]同时在本实施例中，可检测如“在WEB上检索”的字符串，作为附加目标1003。在当指定这种字符串的情况下，可配置执行单元115，用在附加目标中指定的文档作为检索对象，并用现存目标作为检索查询，来完成检索。因此，即使不是做成图32所示的配置，其中按照检索命令的类型改变被考虑是检索对象的文档，也仍然可能完成限定的检索对象的处理。
[0236]另一方面，可代替按检索命令的类型改变检索对象，配置成对一些或全部检索对象文档进行检索处理，并对各检索对象文档显示检索结果。
[0237]图33是图解输出检索结果的实例的图。图33图解了显示当处理现存目标“CARRIER”作为检索查询时得到的检索结果的实例。而且，在图33中做了对各检索对象文档可选择的分离标记。例如，在标记2601至2604中，显示控制单元111可对WEB数据、关连文档、语义辞典和翻译等效辞典分别地显示检索处理的检索结果。
[0238]显示控制单元111不需要等到取得所有检索对象的检索结果。代替它的是，在取得任一个检索对象的检索结果的时间点上，显示控制单元111可开始显示检索结果。而且，到任一个检索对象的检索结果被取得之前，显示控制单元111可以上述的方式完成改变数据的显示模式的处理。
[0239]这里，不论来自用户的指令如何，显示控制单元111可在取得这个检索结果的时间点上开始显示检索结果。另一方面，显示控制单元111可响应于来自用户检索结果显示指令(诸如在屏幕上或目标上的轻拍)的检测，显示检索结果。
[0240]图34是说明输出检索结果的另一个实例的图。图34说明显示当处理现存目标“CARRIER”和现存目标“NUMBER OF SMARTPHONE SUBSCRIBERS”作为检索查询时得到的检索结果的例子。例如，在标记2701至2703中，显示控制单元111可显示两个目标的AND检索的检索结果，及使用各目标检索的检索结果。
[0241]下面说明现存目标的新选和再选的例子。图35至37是说明现存目标的新选和再选的具体例子的图。
[0242]图35说明其中通过划圈的方式来新选现存目标，并当划圈部分(划圈的外接矩形)的内部在以后被轻拍时，判定现存目标被再选。图36说明其中以四边形中包围来新选现存目标，并当包围部分(四边形圈的外接矩形)的内部在以后被轻拍时，判定现存目标被再选。图37说明其中通过划下划线来新选现存目标，并当在通过扩展下划线的外接矩形形成的矩形的内部以后被轻拍时，判定现存目标被再选。同时，显示控制单元111可消除轻拍的笔划(图11中说明的步骤S203)。
[0243]图38是说明当执行检索命令时的示范性的屏幕转移的图。图38中，以屏幕3101、屏幕3102、屏幕3103、屏幕3104、屏幕3105和屏幕3106的次序发生屏幕的转移。
[0244]屏幕3101是现存目标选择命令被写入于其中的屏幕的实例。这时，模式从“O”更新到“1”，“NUMBER OF SMARTPHONE SUBSCRIBERS” 被放入 objl。屏幕 3102 是关系命令(弓丨线)被写入于其中的屏幕的实例。这时，模式从“I”更新到“2”，引线被放入arc。屏幕3103是关于关系命令的笔划的终点显示写入框于其中的屏幕。
[0245]屏幕3104是附加目标被写入于其中的屏幕的实例。这此例中，“DOMESTIC”和“？”被放入笔划的列表ST中。屏幕3105是一例通知写入完成的屏幕。例如当用户在写入框外边轻拍时，写入完成被检测。(图9中步骤S6)。同时显示控制单元111可消除轻拍的笔划的显示3112。
[0246]屏幕3106是在其中完成附加笔划的识别、检索处理的执行、及检索结果的显示的屏幕的实例。作为识别附加笔划的结果，“DOMESTIC”被放入obj2，“？ ”被放入cmd。从而，完成“NUMBER OF SMARTPHONE SUBSCRIBERS”和“DOMESTIC”被视为检索查询的检索处理。然后，在检索结果显示部3114显示检索处理的检索结果。如图38中区域3113所示，在检索处理完成后，显示控制单元111可抹去关系命令(arc)、写入框及附加笔划(ST)的显示。
[0247]除了上述的检索处理外，也可配置执行单元115完成任意的处理，如计划表的登记处理。图39是图解当将日程加到计划表的处理期间的屏幕转移的图。图39中，以屏幕3201、屏幕3202、屏幕3203、屏幕3204、屏幕3205和屏幕3206的次序发生屏幕的转移。
[0248]图39所示的例中，“0ctoberl2”和“C”被放入笔划的列表ST中。这里C是表示将目标添加作为计划表的日程的命令。另一方面，可设置字符串或“C”以外的记号作为日程附加命令。
[0249]结果，如屏幕3206所示，通过加字符串“CARRIER-WISEUNDERSTANDING OF MARKETSHARE (掌握按携带者区分的市场份额)”作为10月12日的日程，完成处理。以与图38相同的方式，显示控制单元111可消除轻拍的笔划的显示3212并消除3213区中的显示。而且，显示控制单元111能在显示部3214显示日程添加结果。作为日程被添加的目标可以是文本数据(字符码串)，或是手写数据。
[0250]图40是当进行附注释的显示时的屏幕转移的示范性的图。图40中，以屏幕3301、屏幕3302、屏幕3303、屏幕3304、屏幕3305和屏幕3306的次序发生屏幕的转移。图40是因没有检测到诸如关系命令(图38)或日程添加命令(图39)的预定的运行命令而判定附加目标是注释的例子。
[0251]关于屏幕3301至屏幕3303的处理分别等同于图38中说明的关于屏幕3101至屏幕3103的处理。在屏幕3304中输入不包含如“？ ”和“C”命令的字符串“0000”。这时，如写入完成被检测，则附加的笔划被识别(图9的步骤S8)，置“0000”于ob j2，置零于cmd。判定检测的目标是注释，在显示区3313进行附注释的显示(图9的步骤S12)。
[0252]显示控制单元111可消除轻拍笔划的显示3312。另一方面，显示控制单元111在将它显示在显示单元121上之前改变附注释的显示的显示模式。
[0253]图41是说明改变附注释的显示的显示模式的方法。图41说明在被显示之前在附注释时被检测作为关系命令的引线被格式化成一直线的例子。但改变显示的方法不限于这一方法。另一方面，可对检测作为注释的附加目标(手写笔划数据)进行字符识别，并以预定的字型显示得到的字符码。
[0254]以这种方式，按照本实施例的信息处理装置中，使用从显示的文档检测现存目标及使用附加的目标，完成诸如检索处理的处理。结果，可以更准确的方式完成按照手写输入的处理。[0255]下面关于图42的说明是按照本实施例的信息处理装置的硬件配置。图42是解释按本实施例的信息处理装置的硬件配置的说明图。
[0256]按照本实施例的信息处理装置包括:控制设备，如控制整个设备的中央处理单元(CPU)51 ;存储多种数据或多种程序的存储设备，如只读存储器(ROM)52和随机存取存储器(RAM) 53 ;通信I/F54，通过与网络建立连接进行通信，及控制与外部设备的通信；总线61，与其他组成单元互相连接。
[0257]同时在按照本实施例的信息处理装置中被执行的计算机程序，事先存入R0M52中。
[0258]另一方面，在按照本实施例的信息处理装置中被执行的计算机程序，能以可安装的或可执行的文档的形式记录在计算机可读的记录媒体中，诸如小型盘只读存储器(⑶-R0M)，软盘(FD)，可读小型盘(⑶-R)，数字通用盘(DVD)，并可提供作为计算机程序产
品O
[0259]再一方面，在按照本实施例的信息处理装置中被执行的计算机程序，可被保存作为连接到因特网上的计算机可下载的文档，或通过如因特网的网络分布可资利用。
[0260]同时，在按照本实施例的信息处理装置中被执行的计算机程序，可进行计算机功能作为信息处理装置的构成单元。在这种计算机中，CPU51从计算机可读的存储媒体中读计算机程序，并运行之。这样计算机程序就载入主存储设备中。
[0261]按照上述的本实施例的信息处理装置，信息处理装置包括:第一检测单元，第二检测单元，和执行单元。配置第一检测单元来检测选择命令和第一目标。对在显示单元显示的信息，以手写方式输入选择命令，指示包含在信息中的目标的选择。对信息以手写方式输入第一目标。配置第二检测单元从信息所含的目标中检测第二目标。由选择命令指示第二目标被选。配置执行单元使用第一目标和第二目标来进行具体的处理。因此按照手写输入的处理能以更准确的方式来完成。
[0262]虽然叙述了一定的实施例，但本实施例仅以例子的方式提出，并不用来限制本发明的范围。事实上，此处叙述的新颖实施例可体现在多种其他形式上；而且，此处叙述的实施例的形式中可作种种省略、替代和改变而不脱离本发明的精神。伴随的权利要求及其等效要求被打算用来覆盖此种形式和修正，同样落入本发明的范围和精神之中。
【权利要求】
1.一种与显示信息的显示单元关联的信息处理装置，其特征在于，包括: 第一检测单元，所述第一检测单元被配置成检测被手写输入以指示包含在所述显示单元上显示的所述信息中的目标的选择的选择命令，并被配置成检测与所述信息相关的被另外手写输入的第一目标； 第二检测单元，所述第二检测单元被配置成在从包含在所述信息中的目标之中检测第二目标，指示所述第二目标由所述选择命令所选择，和 执行单元，所述执行单元被配置成使用所述第一目标和所述第二目标来进行指定的处理。
2.如权利要求1所述的装置，其特征在于， 所述第一检测单元被配置为进一步检测指示处理的执行的运行命令，所述运行命令相对于所述信息被手写输入，和 所述执行单元使用所述第一目标和所述第二目标，进行被指示为由所述运行命令执行的处理。
3.如权利要求2所述的装置，其特征在于，进一步包括显示控制单元，所述显示控制单元被配置为在所述显示单元上显示所述运行命令， 所述显示控制单元被配置为在进行所述处理之后，从所述显示单元上消除所显示的运行命令。
4.如权利要求2所述的装置，其特征在于，进一步包括显示控制单元，所述显示控制单元被配置为在所述显示单元上显示所述运行命令，以使所述运行命令的显示模式在所述处理之前和所述处理期间是不同的。
5.如权利要求2所述的装置，其特征在于，所述第一检测单元被配置为检测所述运行命令，对于所述运行命令，所述第二目标的检测时刻和手写输入的时刻之间的差异在预定的时段之内。
6.如权利要求2所述的装置，其特征在于，所述第一检测单元被配置为进一步 检测关系命令，所述关系命令指示与所述选择命令建立关系，所述关系命令相对于所述信息被手写输入，以及 检测由所述关系命令指示以与所述选择命令建立关系的运行命令。
7.如权利要求6所述的装置，其特征在于，所述第一检测单元检测所述运行命令，对于所述运行命令，所述关系命令的检测时刻和手写输入的时刻之间的差异在预定的时段之内。
8.如权利要求6所述的装置，其特征在于，所述第一检测单元被配置为检测使存在于离开所述选择命令预定距离之内的点作为端点的线，作为所述关系命令。
9.如权利要求1所述的装置，其特征在于，所述第一检测单元被配置为检测匹配于或类似于特定图案的目标，作为所述运行命令。
10.如权利要求1所述的装置，其特征在于，进一步包括显示控制单元，所述显示控制单元被配置为在所述显示单元上显示所述选择命令，以使所述选择命令的显示模式在所述处理之前和所述处理期间是不同的。
11.如权利要求1所述的装置，其特征在于，进一步包括显示控制单元，所述显示控制单元被配置为在所述显示单元上显示所述选择命令，以使所述选择命令的显示模式在所述处理之前和所述处理之后是不同的。
12.如权利要求1所述的装置，其特征在于，所述第二检测单元被配置为从包含在所述信息的目标之中，检测与手写输入指定的区域重叠程度等于或大于预定阈值的目标，作为所述第二目标。
13.一种信息处理方法，其特征在于，包括: 检测被手写输入以指示包含在显示单元上显示的信息中的目标的选择的选择命令； 检测与所述信息相关的被另外手写输入的第一目标； 从包含在所述信息中 的目标之中检测第二目标，所述第二目标被指示为由选择命令所选择；及 使用所述第一目标和所述第二目标进行指定的处理。
【文档编号】G06F17/30GK103838566SQ201310574271
【公开日】2014年6月4日 申请日期:2013年11月15日 优先权日:2012年11月20日
【发明者】铃木薰, 山地雄土, 登内洋次郎, 井本和范, 山内康晋 申请人:株式会社东芝