信息处理装置的制作方法

本发明涉及一种信息处理装置。

背景技术：

专利文献1中公开有如下内容，即，无需在意电子化，而以与利用笔及手写的标签时相等的方便性来对记入在卡片或底纸上的关键词等信息进行电子化作为课题，使用具备小型内置相机、存储器、图像处理器及通信单元的输入设备和编入有用于对通过输入设备在哪一纸张的哪一位置上输入了信息等的信息进行识别的信息且安装有无线标签的纸张(卡片及底纸)，在桌面进行头脑风暴法或kj法，所记入的笔信息、纸张信息及无线标签的位置信息发送至服务器，服务器组合笔信息、纸张信息及标签的位置信息，计算并存储各纸张上所记载的文字信息、纸张上的文字信息的位置信息及纸张的位置信息，存储机构内的信息作为通过信息处理装置进行电子化的信息而能够阅览。

专利文献1：日本特开2008-123265号公报

技术实现要素：

在电子标签系统中的标签的制作时，有时会记入手写文字。而且，识别该手写文字而制作出记入文本信息的标签。但是，手写文字识别中有时会误识别。另一方面，当制作标签时，有时由该制作人一边书写一边进行说明。并且，当对标签进行了操作时，由该操作人员进行说明。而且，能够对语音进行语音识别。

本发明的目的在于提供一种，与单独识别标签中的手写文字的情况相比，能够提高文字识别的识别结果的准确率的信息处理装置。

用于实现该目的的本发明的宗旨基于以下各项的发明。

方案1的发明为信息处理装置，其具有：文字识别机构，在能够粘贴于底纸的标签的制作时对手写文字进行识别；语音识别机构，对语音进行识别；及修正机构，使用所述语音识别机构的识别结果，对基于所述文字识别机构的识别结果进行修正。

方案2的发明为方案1所述的信息处理装置，所述语音识别机构对所述标签所涉及的语音进行识别。

方案3的发明为方案2所述的信息处理装置，所述语音识别机构将关于所述标签手写成为所述文字识别机构的对象的文字的期间中的语音设为识别对象。

方案4的发明为方案3所述的信息处理装置，所述语音识别机构将制作所述标签的操作人员的语音设为识别对象。

方案5的发明为方案2所述的信息处理装置，所述语音识别机构将操作所述标签的期间中的语音设为识别对象。

方案6的发明为方案5所述的信息处理装置，所述语音识别机构将由主持人或该标签的制作人操作所述标签的期间中的语音设为识别对象。

方案7的发明为方案1所述的信息处理装置，其还具有附加机构，将所述语音识别机构的识别结果作为所述标签的元信息来附加。

方案8的发明为方案7所述的信息处理装置，所述附加机构将手写在所述标签上的图形作为所述元信息来附加。

方案9的发明为方案8所述的信息处理装置，所述附加机构将无法通过所述文字识别机构识别的手写部分设为所述图形。

发明效果

根据本发明的第1方案的信息处理装置，与单独识别标签上手写的文字的情况相比，能够提高文字识别的识别结果的准确率。

根据本发明的第2方案的信息处理装置，能够将标签所涉及的语音的识别结果用于修正。

根据本发明的第3方案的信息处理装置，能够将关于标签手写文字的期间中的语音的识别结果用于修正。

根据本发明的第4方案的信息处理装置，能够将制作标签的操作人员的语音的识别结果用于修正。

根据本发明的第5方案的信息处理装置，能够将制作标签的期间中的语音的识别结果用于修正。

根据本发明的第6方案的信息处理装置，能够将由主持人或该标签的制作人操作标签的期间中的语音的识别结果用于修正。

根据本发明的第7方案的信息处理装置，能够将语音识别的识别结果作为标签的元信息来附加。

根据本发明的第8方案的信息处理装置，能够对标签上手写的图形附加元信息。

根据本发明的第9方案的信息处理装置，能够将无法进行文字识别的手写部分设为图形。

附图说明

根据以下附图，对本发明的实施方式进行详细叙述。

图1是关于本实施方式的结构例的概念性模块结构图。

图2是表示利用了本实施方式的标签系统的结构例的说明图。

图3(a)～图3(c)是表示本实施方式所使用的会议室等中的电子标签终端及共享画面用终端的使用例的说明图。

图4是表示手写识别结果表的数据结构例的说明图。

图5是表示语音识别结果表的数据结构例的说明图。

图6是表示标签信息表的数据结构例的说明图。

图7是表示基于本实施方式的处理例的流程图。

图8(a)～图8(b)是表示基于本实施方式的处理例的说明图。

图9是表示基于本实施方式的处理例的说明图。

图10是表示基于本实施方式的处理例的流程图。

图11是表示基于本实施方式的处理例的说明图。

图12是表示基于本实施方式的处理例的流程图。

图13是表示基于本实施方式的处理例的流程图。

图14是表示基于本实施方式的处理例的流程图。

图15是表示实现本实施方式的计算机的硬件结构例的框图。

符号说明

100-标签生成装置，105-标签生成开始检测模块，110-标签信息接收模块，115-文本数据接收模块，120-手写信息接收模块，125-语音信息接收模块，130-文字识别模块，135-语音识别模块，140-对应关联模块，145-文字识别结果修正模块，150-标签生成模块，155-标签操作检测模块，200-共享画面用终端，205，255-话筒，250-电子标签终端，280-会议室，294-底纸/标签等信息存储装置，298、299-通信线路。

具体实施方式

以下，根据附图对用于实现本发明的一实施方式的例子进行说明。

图1表示关于本实施方式的结构例的概念性模块结构图。

另外，模块是指通常理论上能够分离的软件(计算机程序)及硬件等组件。因此，本实施方式中的模块不仅指计算机程序中的模块，还指硬件结构上的模块。因此，本实施方式兼备用于作为这些模块而发挥功能的计算机程序(用于使计算机执行各顺序的程序、用于使计算机作为各机构而发挥功能的程序、用于使计算机实现各功能的程序)、系统及方法的说明。但是，为了便于说明，使用“进行存储”、“使其存储”及与它们相等的词句，当实施方式为计算机程序时，这些词句表示存储于存储装置，或以存储于存储装置的方式进行控制。并且，模块可以与功能一对一对应，但在实际安装中，可以将1个模块由1个程序来构成，也可以将多个模块由1个程序来构成，相反也可以将1个模块由多个程序来构成。并且，多个模块可以由1台计算机执行，也可以通过分散或并排环境下的计算机而1个模块由多个计算机执行。另外，可以在1个模块中包含其他模块。并且，以下，“连接”除了物理连接以外，还可以利用于逻辑连接(数据的授受、命令、数据之间的参考关系、登录等)的情况。“预先设定”是指作为对象进行处理之前进行设定，还包含开始基于本实施方式的处理之前是理所当然的，即使在开始基于本实施方式的处理之后，只要是作为对象的处理之前，则按照此时的状况/状态，或按照当前的状况/状态进行设定。当存在多个“预先设定的值”时，可以是分别不同的值，也可以是2以上的值(当然也包含所有的值)相同。并且，“当为a时，进行b”这一记载以“判断是否为a，当判断为a时，进行b”的含义来使用。但是，不需要是否为a的判断的情况除外。并且，当如“a、b、c”等列举事物时，若无特别说明则为例示列举，包含仅选择其中1个的情况(例如，仅a)。

并且，系统或装置除了多个计算机、硬件及装置等通过网络(包含一对一对应的通信连接)等通信机构连接的结构以外，还包含通过1个计算机、硬件及装置等实现的情况。“装置”及“系统”作为彼此含义相同的词语来使用。当然，“系统”中并不包含只不过是人为约定的社会性“构造”(社会系统)的系统。

并且，设为如下，即，当每次进行基于各模块的处理或在模块内进行多个处理时，每次进行该处理时，从存储装置读出成为对象的信息，在进行该处理之后，将处理结果存储于存储装置。因此，关于处理前从存储装置的读出、处理后的对存储装置的存储，有时省略说明。另外，作为这里的存储装置，可以包含硬盘、ram(随机存取存储器(randomaccessmemory))、外部存储介质、经由通信线路的存储装置及cpu(中央处理器(centralprocessingunit))内的寄存器等。

本实施方式即标签生成装置100为进行与聚会中所使用的底纸及标签(也称为电子标签、电子卡等)相关的处理的装置，如图1的例子所示，具有标签生成开始检测模块105、标签信息接收模块110、文字识别模块130、语音识别模块135、对应关联模块140、文字识别结果修正模块145、标签生成模块150及标签操作检测模块155。另外，聚会只要是多人聚集在一起交流的聚会，则例如包含会议、讨论会、创意分享会、研究会、咨询、议论、集会及研讨会等。本实施方式涉及一种利用了电子标签及底纸的电子标签系统(也称为电子白板等)。

如图2的例子所示，具体而言，具有标签生成装置100的共享画面用终端200及电子标签终端250使用标签而用于由主持人(通常为1个人)和多名参加人员进行的聚会。参加人员使用作为参加人员用终端的电子标签终端250，制作出记载有创意等的标签。并且，主持人也可以使用共享画面用终端200制作出记载有创意等的标签。

如图3(a)～图3(c)的例子所示，通常，作为电子标签终端250具有多个如各参加人员所携带的电子标签终端250a、电子标签终端250b等(以下，代表性的称为电子标签终端250)。而且，共享画面用终端200从电子标签终端250接收标签，并在底纸(或背景)上粘贴该标签。主持人使用共享画面用终端200的显示装置即共享画面在该底纸上进行标签位置的决定或变更，或标签的汇总(也称为对第1标签与第2标签建立关联、形成组等)，或标签信息的自制等，以进行聚会。另外，在本实施方式中，参加人员中包含主持人。

标签生成开始检测模块105与标签信息接收模块110连接。标签生成开始检测模块105检测在共享画面用终端200或电子标签终端250上进行标签的生成的情况。例如，检测出标签生成用按钮的按下即可。

标签信息接收模块110具有文本数据接收模块115、手写信息接收模块120及语音信息接收模块125，且与标签生成开始检测模块105连接。标签信息接收模块110接收写入于标签的信息(数据)。在此，作为写入于标签的信息，有文本数据及手写数据。而且，语音数据作为手写数据的识别辅助数据或标签的元数据而接收。

文本数据接收模块115与标签生成模块150连接。文本数据接收模块115接收成为标签内容的文本数据。例如，接收参加人员使用键盘(包含显示于显示器上的虚拟键盘)及鼠标等打入的文本数据。

手写信息接收模块120与文字识别模块130连接。手写信息接收模块120接收成为标签内容的手写数据。例如，接收使用手指及笔等写入于触摸面板上的手写数据。这里的手写数据为表示手指及笔等的动作的数据即比划数据。这里的比划数据包含手指、笔等的比划的起点位置坐标、终点的位置坐标、所写入的日期(可以是年、月、日、时、分、秒、秒以下或它们的组合)信息。而且，在文字识别模块130中成为文字识别的对象，成为写入于标签内的文本数据或图形数据。

另外，手写信息接收模块120开始接收手写数据的契机为标签生成开始检测模块105检测到进行标签的生成之时。

语音信息接收模块125与语音识别模块135及标签操作检测模块155连接。语音信息接收模块125接收语音数据。例如，可以是除了设置于电子标签终端250的话筒255及设置于共享画面用终端200的话筒205以外，还通过设置于手写用笔的话筒及设置于用户衣服等的可携带计算机内的话筒等接收的语音的数字数据。这里的语音数据中还可以包含接收该语音的日期信息。而且，成为语音识别模块135中的语音识别对象。

另外，语音信息接收模块125开始接收语音数据的契机为标签生成开始检测模块105检测到进行标签的生成时，或标签操作检测模块155检测到进行了对标签的操作时。

文字识别模块130与标签信息接收模块110的手写信息接收模块120及对应关联模块140连接。文字识别模块130在能够粘贴于底纸上的标签的制作时对手写的文字进行识别。并且，也可以计算出关于该识别结果的可信度。这里的可信度是指该识别结果准确的概率，值越高其识别结果的可靠性越高。文字识别模块130例如使用已知的文字识别技术即可。具体而言，可以使用在线手写文字识别。

文字识别模块130作为文字识别处理的结果例如生成手写识别结果表400。图4是表示手写识别结果表400的数据结构例的说明图。手写识别结果表400具有标签id栏405、开始日期栏410、结束日期栏415、手写原始数据栏420、用户id栏425、识别结果1栏430、可信度1栏435、识别结果2栏440及可信度2栏445。在本实施方式中，标签id栏405存储有用于唯一地识别标签的信息(标签id：identification(识别))。这里的标签为已进行手写的标签。开始日期栏410存储有开始手写的日期(可以是年、月、日、时、分、秒、秒以下或它们的组合)。结束日期栏415存储有手写结束的日期。手写原始数据栏420存储有手写的原始数据(前述的比划数据)。在本实施方式中，用户id栏425存储有用于唯一地识别该手写用户的信息(用户id)。识别结果1栏430存储有基于文字识别模块130的识别结果1(可信度为第1位的识别结果)。可信度1栏435存储有该识别结果1的可信度1。识别结果2栏440存储有基于文字识别模块130的识别结果2(可信度为第2位的识别结果)。可信度2栏445存储有该识别结果2的可信度2。此外，也可以存储可信度第3位以下的识别结果及可信度。

语音识别模块135与标签信息接收模块110的语音信息接收模块125及对应关联模块140连接。语音识别模块135对语音进行识别。语音识别模块135例如使用已知的语音识别技术即可。

并且，语音识别模块135可以设为对标签所涉及的语音进行识别。

例如，语音识别模块135可以将关于标签手写成为文字识别模块130的对象的文字期间的语音设为识别对象。

并且，例如，语音识别模块135也可以将制作标签的操作人员的语音设为识别对象。这里的识别对象的语音为设置于制作标签的电子标签终端250及其附近(包含前述的可携带计算机)或操作电子标签终端250的笔等的话筒所接收的语音。另外，当在共享画面上制作标签时，将主持人的语音设为识别对象，此时的识别对象即语音成为设置于共享画面及其附近或操作共享画面的笔等的话筒所接收的语音。

并且，例如，语音识别模块135也可以将操作标签期间的语音设为识别对象。

语音识别模块135也可以将由主持人或其标签制作人操作标签期间的语音设为识别对象。

语音识别模块135作为语音识别处理的结果例如生成语音识别结果表500。图5是表示语音识别结果表500的数据结构例的说明图。语音识别结果表500具有标签id栏505、开始日期栏510、结束日期栏515、语音原始数据栏520、用户id栏525、识别结果1栏530、可信度1栏535、识别结果2栏540及可信度2栏545。标签id栏505存储有标签id。这里的标签为制作标签时或说明标签时产生语音的标签。开始日期栏510存储有语音录音开始的日期。另外，也可以是因语音的产生而开始录音的日期。结束日期栏515存储有语音录音结束的日期。语音原始数据栏520存储有语音的原始数据。用户id栏525存储有发出该语音的用户的用户id。识别结果1栏530存储有基于语音识别模块135的识别结果1。可信度1栏535存储有该识别结果1的可信度1。识别结果2栏540存储有基于语音识别模块135的识别结果2。可信度2栏545存储有该识别结果2的可信度2。

对应关联模块140与文字识别模块130、语音识别模块135及文字识别结果修正模块145连接。对应关联模块140对基于文字识别模块130的文字识别结果与基于语音识别模块135的语音识别结果建立对应关联。例如，也可以按照写入手写数据的日期及接收了语音的日期，对文字识别结果与语音识别结果建立对应关联。并且，当进行了对标签的操作时，也可以对语音信息接收模块125所接收的语音与该标签内的文字识别结果建立对应关联。

文字识别结果修正模块145与对应关联模块140及标签生成模块150连接。文字识别结果修正模块145使用语音识别模块135的识别结果对基于文字识别模块130的识别结果进行修正。关于修正方法，利用图13及图14的例子进行后述。

标签生成模块150与标签信息接收模块110的文本数据接收模块115及文字识别结果修正模块145连接。标签生成模块150生成将通过文本数据接收模块115接收的文本数据设为内容的标签或将通过文字识别结果修正模块145修正的文字的识别结果设为内容的标签。

并且，标签生成模块150可以将语音识别模块135的识别结果作为标签的元信息来附加。

并且，标签生成模块150可以将标签上所手写的图形作为元信息来附加。在该情况下，也可以将通过文字识别模块130无法识别出的手写部分设为图形。

标签生成模块150作为标签的生成结果，例如生成标签信息表600。图6是表示标签信息表600的数据结构例的说明图。标签信息表600具有标签id栏602、底纸id栏604、粘贴位置栏606、尺寸栏608、制作日期栏610、制作人栏612、粘贴日期栏614、颜色栏616、网格线形状栏618、网格线颜色栏620、网格线粗细栏622、所属组栏624、内容类别栏626、内容栏628、手写原始数据栏630、制作时语音识别结果数据栏632、开始日期栏634、结束日期栏636、说明时语音识别结果数据栏638、开始日期栏640及结束日期栏642。标签id栏602存储有标签id。在本实施方式中，底纸id栏604存储有用于唯一地识别底纸的信息(底纸id)。即，底纸id表示粘贴有该标签id的标签的底纸。粘贴位置栏606存储有粘贴该标签的位置。即，存储有底纸上的粘贴位置。例如为底纸的xy坐标系中的坐标。尺寸栏608存储有该标签的尺寸。例如，当所显示的标签为矩形时，存储有宽度及高度。制作日期栏610存储有制作出该标签的日期。制作人栏612存储有该标签的制作人(用户id)。或可以存储制作出该标签的信息处理装置(电子标签终端250或共享画面用终端200的设备id)。粘贴日期栏614存储有该标签粘贴在底纸上的日期。颜色栏616存储有该标签的显示颜色。网格线形状栏618存储有显示该标签时的网格线的形状(实线、点线、虚线、波浪线、双重线等)。网格线颜色栏620存储有显示该标签时的网格线的颜色。网格线粗细栏622存储有显示该标签时的网格线的粗细。所属组栏624存储有与该标签所属的组相关的信息。例如，可以存储表示该标签是否属于组的信息，当属于组时，可以存储组id或属于该组的其他标签id等。内容类别栏626存储有记载有该标签的内容的类别，具体而言，存储有表示“文本”、“手写文字识别结果”、“图形”及“图像”等信息。内容栏628存储有写入于该标签中的内容。例如，当内容类别栏626为“文本”及“手写文字识别结果”时，为文本数据，当为“图形”时，为比划数据，当为“图像”时，为图像数据(通过电子相机等拍摄的图像数据)。当内容类别栏626为“手写文字识别结果”时，手写原始数据栏630存储有手写的原始数据。当显示标签时，可以显示手写文字识别结果即文本数据，也可以显示手写文字其本身。制作时语音识别结果数据栏632存储有制作该标签时的语音的识别结果数据。开始日期栏634存储有开始录音制作时语音识别结果数据栏632的语音的日期。结束日期栏636存储有制作时语音识别结果数据栏632的语音录音结束的日期。说明时语音识别结果数据栏638存储有说明该标签时的语音的识别结果数据。开始日期栏640存储有说明时语音识别结果数据栏638的语音录音开始的日期。结束日期栏642存储有说明时语音识别结果数据栏638的语音录音结束的日期。

标签操作检测模块155与标签信息接收模块110的语音信息接收模块125连接。标签操作检测模块155检测在共享画面用终端200或电子标签终端250上进行对标签的操作。例如，检测出选择标签的操作及放大显示标签的操作(用于说明该标签的操作)等即可。

图2是表示利用了本实施方式的标签系统的结构例的说明图。

共享画面用终端200(共享画面用终端200a、共享画面用终端200b)具有标签生成装置100(标签生成装置100x、标签生成装置100y)，且连接有话筒205(话筒205a、话筒205b)。

电子标签终端250(电子标签终端250a～电子标签终端250e)具有标签生成装置100(标签生成装置100a～标签生成装置100e)，且连接有话筒255(话筒255a～话筒255e)。

话筒205及话筒255可以分别内置于共享画面用终端200及电子标签终端250。

共享画面用终端200通常具备大画面显示装置，由主持人操作。该显示装置为所有参加人员都能看到的显示装置。各电子标签终端250由聚会的参加人员操作，通常，各参加人员各携带1台。例如，作为电子标签终端250使用平板型终端等。

在图2的例子中，会议室280a中设置有共享画面用终端200a、电子标签终端250a、电子标签终端250b及电子标签终端250c，并进行聚会。共享画面用终端200a、电子标签终端250a、电子标签终端250b及电子标签终端250c分别经由通信线路298连接。通信线路298可以是无线、有线及它们的组合，例如，也可以是作为通信设施的因特网及企业网等。

并且，会议室280b中设置有共享画面用终端200b、电子标签终端250d及电子标签终端250e，并进行聚会。共享画面用终端200b、电子标签终端250d及电子标签终端250e分别经由通信线路298连接。

而且，底纸/标签等信息存储装置294、会议室280a内的设备及会议室280b内的设备分别经由通信线路299连接。并且，基于底纸/标签等信息存储装置294的功能可以作为云服务来实现。

底纸/标签等信息存储装置294存储有与标签相关的信息。各共享画面用终端200使用底纸/标签等信息存储装置294而进行处理。在该情况下，可以在多个共享画面用终端200中共享底纸/标签等信息存储装置294内的与标签相关的信息。即，可以设为共享画面用终端200b能够利用共享画面用终端200a所管理的与底纸及标签相关的信息。尤其在1个项目内设计多个聚会(例如，会议室280a、会议室280b中的聚会)时，可以将与相同的任务对应的标签粘贴在其他聚会中的底纸上。由此，变得在一方聚会中能够掌握另一方聚会中的相同任务的状况。

例如，参加人员使用电子标签终端250生成标签。在该情况下，标签中记载手写文字。与使用了键盘等的情况相比，手写容易描绘图形、变更文字大小等能够在文章中强调轻重缓急。即，容易反映出制作人的意图，容易增加1片标签内的信息量。

但是，仅靠手写文字，无法进行向下一工序的信息交接及搜索等有所限制。于是，进行对该手写文字进行文字识别。作为对手写文字的文字识别技术，有(1)文字形状的识别、(2)比划数据的识别。但是，文字识别的准确度并不理想，尤其，若图形混在一起，则精确度降低。

另一方面，有时一边通过手写对标签进行记录，一边对其他参加人员进行解说。并且，之后，有时对该标签进行说明。因此，本实施方式对该解说、说明等中的语音进行识别而对手写文字的识别结果进行修正，由此提高手写文字的识别结果的精确度。

图3(a)～图3(c)是表示本实施方式所使用的会议室等中的电子标签终端250及共享画面用终端200的使用例的说明图。

如图3(a)的例子所示，会议室等内聚集有参加人员311、312及主持人321。参加人员311利用电子标签终端250a，参加人员312利用电子标签终端250b。通常，对每一参加人员赋予1个终端装置(电子标签终端250a等)，如图3(c)的例子所示的电子标签终端250，是笔记本程度大小(例如，a4、b5、7～10英寸等)的平板型终端，使用手指或笔等进行操作。由参加人员制作出记载有文本数据、手写文字及图形等的标签信息。另外，终端装置并不限于平板型终端，也可以是具备键盘及鼠标等的pc(包含笔记型pc)等。

图3(a)的例所示的共享画面用终端200x为投影仪，显示底纸及标签。并且，共享画面用终端200y为电子白板，检测主持人321的手指或笔等的动作，将副底纸或标签粘贴在底纸(表面)上，接收进行副底纸或标签的移动及副底纸或标签的建立关联(组化)等的操作。例如，在共享画面用终端200y设置有笔，并且通过检测该笔从预先设定的笔座的离开(主持人321为了操作而拿起笔)及笔尖的位置(笔尖与共享画面用终端200y接触等)，接收对底纸、副底纸及标签的操作。例如，在笔座中设置传感器(因笔的重力而开关被开启关闭的传感器等)，检测出多个笔(黑色笔、红色笔、蓝色笔等)中使用哪支笔即可。并且，共享画面用终端200y的显示画面整体为触摸传感器，检测出接触显示画面的位置、压力即可。本例子中，笔的开启关闭由笔座控制，无需一定要存在笔座。也可以设为在笔侧直接控制开启关闭。关于颜色的变更，也不需要笔座，可以在显示画面上的一部分准备彩色调色板，并通过笔(或与其类似物)等触碰目标颜色来变更颜色，或使笔具备用于发出改变颜色的命令的功能(按钮或滑块等)。

并且，共享画面用终端200可以是如图3(b)的例子所示那样的电子白板。电子白板通常具有大画面显示装置(至少大于电子标签终端250的显示装置)，该显示装置为触摸面板，检测显示画面上所接触的位置、压力。例如，作为画面可以是80英寸等的大小。

图7是表示基于本实施方式的处理例的流程图。

在步骤s702中，标签生成开始检测模块105检测标签生成开始。例如，检测标签生成开始按钮的按下。如图8(a)的例子所示，用户用笔850对标签记载画面800进行手写。例如，书写文字及图形。而且，当进行该手写时，用户发出语音。该语音可以是说明用的语音(一边进行说明一边制作标签时)或自言自语的语音。步骤s704、步骤s706的处理和步骤s708、步骤s710的处理同时进行。

在步骤s704中，手写信息接收模块120接收手写信息。

在步骤s706中，文字识别模块130进行文字识别。

在步骤s708中，语音信息接收模块125接收语音信息。

在步骤s710中，语音识别模块135进行语音识别。

在步骤s712中，对应关联模块140对文字识别结果与语音识别结果建立对应关联。利用图9的例子进行说明。图9表示生成标签的过程。

由用户一边发出语音950一边生成手写文字910。

标签制作开始时912之后有记入开始时914，生成手写文字910，有记入结束时916，在标签制作结束时920生成标签。手写信息获取期间918为从记入开始时914至记入结束时916。对应关联语音信息获取期间952为从标签制作开始时912至标签制作结束时920。在对应关联语音信息获取期间952至少包含手写信息获取期间918即可。

手写文字910的识别结果及语音950的识别结果中分别附加有日期信息(手写识别结果表400的开始日期栏410和结束日期栏415以及语音识别结果表500的开始日期栏510和结束日期栏515)，因此以使该日期信息一致的方式对手写文字910与语音950的识别结果建立对应关联。另外，作为这里的“一致”，可以利用日期信息建立严格的对应关联，但通常，也存在书写手写文字910的时刻与发出语音950的时刻错开的情况，因此也可以将预先设定的范围的期间内的语音950的识别结果与手写文字910的识别结果的日期建立对应关联。

在步骤s714中，文字识别结果修正模块145使用语音识别结果对文字识别结果进行修正。例如，作为文字识别结果，“0(数字零)”和“o(英文字母的欧)”几乎没有区别。即，可信度变低，或两者的可信度的差分变小。但是，语音中发声为“ok”，因此语音识别为“o(英文字母的欧)”。使用该语音识别结果而将文字识别结果确定为“o(英文字母的欧)”。具体而言，进行如后述的图13或图14的例所示那样的修正处理。

在步骤s716中，标签生成模块150将语音识别结果作为元信息来赋予。具体而言，这里的“元信息的赋予”表示在图6的例子中示出的标签信息表600的制作时在语音识别结果数据栏632中存储语音识别结果。

在步骤s718中，标签生成模块150生成标签。

作为该处理结束之后的标签记载画面800的显示例，如图8(b)所示。即，在文字识别提示区域820显示步骤s714的处理结果。

在标签记载画面800显示文字识别提示区域820及图形提示区域825。在文字识别提示区域820显示步骤s714中的处理结果即“あいうえok”，在图形提示区域825显示无法进行文字识别的图形。具体而言，是文字识别的可信度低于预先设定的阈值的比划数据，且为即便使用语音识别结果也无法修正时的比划数据。另外，以成为与手写位置相同部位的方式显示文字识别结果。

图10是表示基于本实施方式的处理例的流程图。

在步骤s1002中，标签操作检测模块155检测对标签的操作。例如，检测标签的选择操作及放大显示操作等。

在步骤s1004中，语音信息接收模块125接收语音信息。

在步骤s1006中，语音识别模块135进行语音识别。

在步骤s1008中，对应关联模块140对文字识别结果与语音识别结果建立对应关联。另外，这里的对应关联不会产生手写而仅对作为对象的标签中的文字识别结果与语音识别结果(步骤s1006中的语音识别结果)建立对应关联。但是，直接朗读标签内的文字的情况较多，因此对文字识别结果内的顺序与语音识别结果内的顺序建立对应关联。图11的例子表示说明标签时的过程。

作为标签操作1110，操作开始时1112之后有操作结束时1120。于是，成为对象的语音1150的期间为从操作开始时1112至操作结束时1120的对应关联语音信息获取期间1152。

在步骤s1010中，文字识别结果修正模块145使用语音识别结果对文字识别结果进行修正。例如，进行如后述的图14的例所示那样的修正处理。

在步骤s1012中，标签生成模块150将语音识别结果作为元信息来赋予。

在步骤s1014中，标签生成模块150对标签进行修正。

图12是表示基于本实施方式的处理例的流程图。是表示获取图10的例子中示出的处理(使用了说明标签时的语音的处理)中的语音的话筒的控制处理例的图。

在步骤s1202中提取通过共享画面用终端200操作的标签的标签id。

在步骤s1204中，将该共享画面用终端200的话筒205设为开启。即，为了使共享画面用终端200的主持人应对说明该标签的情况。

在步骤s1206中，提取制作出该标签id的标签的用户。

在步骤s1208中，将该用户所利用的电子标签终端250的话筒255设为开启。即，为了使标签制作人应对说明该标签的情况。

在已决定标签制作人进行说明的聚会中，可以省略步骤s1204的处理。在已决定主持人进行说明的聚会中，可以省略步骤s1206、步骤s1208的处理。也可以在聚会开始设定关于由谁说明标签的规则，并按照该设定，进行图12的例子所示的处理(省略步骤s1204的处理，或省略步骤s1206、步骤s1208的处理)。

图13是表示基于本实施方式的处理例的流程图。是表示使用语音识别结果对文字识别结果进行修正的处理例的图。通过图7的例子中示出的处理来进行。

在步骤s1302中，判断是否为“手写文字的识别结果1的可信度1＜阈值a”，当为“手写文字的识别结果1的可信度1＜阈值a”时，转到步骤s1304，除此以外时，结束处理(步骤s1399)。另外，也可以设为，当可信度1与可信度2的差分小于预先设定的值时，转到步骤s1308，除此以外时，转到步骤s1312。

在步骤s1304中，提取与进行了手写的日期对应的日期的语音的识别结果。

在步骤s1306中，判断是否为“该语音的识别结果1的可信度1＜阈值b”，当为“该语音的识别结果1的可信度1＜阈值b”时，转到步骤s1308，除此以外时，转到步骤s1312。另外，阈值a及阈值b可以是相同的值，也可以是不同的值。

在步骤s1308中，促使用户进行修正。即，因为文字识别结果、语音识别结果这两者不准确的概率高。另外，作为修正候选，可以将文字识别结果或语音识别结果显示为能够选择。

在步骤s1310中，按照用户的修正操作，对手写文字的识别结果进行修正。

在步骤s1312中，将手写文字的识别结果修正为语音的识别结果。即，因为与文字识别结果相比，语音识别结果更可靠。

图14是表示基于本实施方式的处理例的流程图。是表示使用语音识别结果对文字识别结果进行修正的处理例的图。通过图7、图10的例子中示出的处理来进行。

在步骤s1402中，判断是否为“手写文字的识别结果1的可信度1＜阈值a”，当为“手写文字的识别结果1的可信度1＜阈值a”时，转到步骤s1404，除此以外时，结束处理(步骤s1499)。

在步骤s1404中，提取作为对象的手写文字前后的文字识别结果。

在步骤s1406中，判断在语音识别结果内是否存在所提取的文字组合，当存在时，转到步骤s1408，除此以外时，结束处理(步骤s1499)。

在步骤s1408中，将手写文字的识别结果修正为语音的识别结果。

例如，当作为对象的手写文字的识别结果为“x”(“x”的可信度小于阈值a)，其之前的文字为“a”，其之后的文字为“b”时，搜索出在语音识别结果内是否存在“a”“任意的1个文字”“b”这一字符串(以正规表现来记载时为“a？b”)即可。

而且，有时，在步骤s1408中，将手写文字的识别结果即“x”修正为被语音识别结果内的“a”及“b”包围的文字。

另外，将前后的文字设为1个文字，但也可以是多个文字。并且，将修正对象即文字设为1个文字，但也可以是多个文字。并且，可以进行形态分析等文法处理而进行修正。

另外，如图15中例示，作为本实施方式的程序所执行的计算机的硬件结构为常规计算机，具体而言是个人计算机及能够成为服务器的计算机等。即，作为具体例，作为处理部(运算部)使用cpu1501，作为存储装置使用ram1502、rom1503、hd1504。作为hd1504，例如可以使用硬盘及ssd(固态硬盘(solidstatedrive))。由标签生成开始检测模块105、标签信息接收模块110、文字识别模块130、语音识别模块135、对应关联模块140、文字识别结果修正模块145、标签生成模块150及标签操作检测模块155等执行程序的cpu1501；存储该程序及数据的ram1502；存储有用于启动本计算机的程序等的rom1503；存储有基于文字识别模块130的识别结果、基于语音识别模块135的识别结果、手写识别结果表400、语音识别结果表500及标签信息表600等的辅助存储装置(可以是闪存等)即hd1504；根据使用者对键盘、鼠标、触摸屏、话筒及相机(包含视线检测相机等)等的操作(包含动作、语音、视线等)而接收数据的接收装置1506；crt、液晶显示器及扬声器等输出装置1505；网络接口卡等用于与通信网络连接的通信线路接口1507；及连结它们而用于进行数据的交换的总线1508构成。也可以是这些计算机通过网络多台彼此连接。

在前述的实施方式中，关于基于计算机程序的方式，在本硬件结构的系统中读出软件即计算机程序，并使软件与硬件资源联动，以实现前述的实施方式。

另外，图15所示的硬件结构表示1个结构例，本实施方式并不限于图15所示的结构，只要是能够执行本实施方式中进行说明的模块的结构即可。例如，可以将一部分模块由专用硬件(例如，面向特定用途的集成电路(applicationspecificintegratedcircuit：asic)等)来构成，也可以是一部分模块通过外部系统内的通信线路连接的方式，还可以是多个图15所示的系统通过通信线路彼此连接而彼此协同动作的方式。并且，尤其除了个人计算机以外，还可以组装便携式信息通信设备(包含移动电话、智能手机、移动设备、可携带计算机等)、信息家电、机器人、复印机、传真机、扫描仪、打印机及复合机(具有扫描仪、打印机、复印机及传真机等中的2个以上功能的图像处理装置)等。

并且，在前述实施方式的说明中的比较处理中，使用“以上”、“以下”、“更大”及“更小(小于)”的用语只要在其组合中不出现矛盾，可以分别采用“更大”、“更小(小于)”、“以上”及“以下”。

另外，关于所说明的程序，可以存储于记录介质之后提供，并且，也可以由通信机构提供该程序。在该情况下，例如，关于所说明的程序，可以理解为“记录有程序的计算机可读取的记录介质”的发明。

“记录有程序的计算机可读取的记录介质”是指为了程序的安装、执行及程序的流通等而使用的记录有程序的用计算机可读取的记录介质。

另外，作为记录介质，例如包含：数字通用光盘(dvd)，且通过dvd论坛认证的标准即“dvd-r、dvd-rw、dvd-ram等”、通过dvd+rw认证的标准即“dvd+r、dvd+rw等”；光盘(cd)，且只读存储器(cd-rom)、只读光盘(cd-r)、可擦写光盘(cd-rw)等；蓝光光碟(blu-ray(注册商标)disc)；光磁盘(mo)；软磁盘(fd)；磁带硬盘；只读存储器(rom)；电可擦除只读存储器(eeprom(注册商标))；闪存；随机存取存储器(ram)；及sd(安全数字(securedigital))存储卡等。

而且，所述程序的全部或其一部分可以记录于所述记录介质中而进行保存或流通等。并且，可以通过通信，例如使用局域网(lan)、man(man)、广域网(wan)、因特网、企业网及外联网等中所使用的有线网络或无线通信网络以及它们的组合等传输介质来传输，并且，也可以担载于载波而进行传输。

而且，所述程序可以是其他程序的一部分或全部，或也可以与个别程序一同记录于记录介质中。并且，也可以分割为多个记录介质来记录。并且，压缩或加密等，只要是能够恢复则可以是任何方式来记录。

上述本发明的实施方式是以例示及说明为目的而提供的。另外，本发明的实施方式并不全面详尽地包括本发明，并且并不将本发明限定于所公开的方式。很显然，对本发明所属的领域中的技术人员而言，各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此，本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。