输入显示装置和输入显示方法与流程

本发明涉及在显示器显示表示语音识别结果的字符串的输入显示装置和输入显示方法。

背景技术：

在以下的专利文献1中公开有在显示器显示表示语音识别结果的字符串的输入显示装置。

在该输入显示装置中，当用户使用笔型输入器进行描绘线的操作时，检测该线的始点和终点，在显示器描画连接该始点和终点的直线。

然后，当用户使用传声器输入语音时，实施该语音的识别处理，沿着已描画的直线显示表示该语音识别结果的字符串。

现有技术文献

专利文献

专利文献1：日本特开2012-88969号公报(图2、图3、图6)

技术实现要素：

发明要解决的课题

现有的输入显示装置如上所述构成，因此，如果用户使用笔型输入器进行描绘线的操作，则在显示器描画连接该线的始点和终点的直线。因此，在用户使用传声器输入语音之前，能够事前掌握显示表示语音识别结果的字符串的位置。但是，描画于显示器的线限于连接始点和终点的直线，因此，存在无法按照用户的自由设计来显示表示语音识别结果的字符串这样的课题。

本发明正是为了解决上述课题而完成的，其目的在于，得到能够按照用户的自由设计来显示表示语音识别结果的字符串的输入显示装置和输入显示方法。

用于解决课题的手段

本发明的输入显示装置设置有：操作受理部，其受理描写操作；轨迹图像生成部，其根据由操作受理部受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像；以及字符串取得部，其取得表示语音识别结果的字符串，显示控制部在显示器显示由轨迹图像生成部生成的轨迹图像，并且在轨迹图像上重叠显示由字符串取得部取得的字符串。

发明效果

根据本发明，构成为设置有：操作受理部，其受理描写操作；轨迹图像生成部，其根据由操作受理部受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像；以及字符串取得部，其取得表示语音识别结果的字符串，显示控制部在显示器显示由轨迹图像生成部生成的轨迹图像，并且在轨迹图像上重叠显示由字符串取得部取得的字符串。因此，具有能够按照用户的自由设计来显示表示语音识别结果的字符串的效果。

附图说明

图1是示出本发明的实施方式1的输入显示装置的结构图。

图2是本发明的实施方式1的输入显示装置的硬件结构图。

图3是输入显示装置由计算机构成时的硬件结构图。

图4是示出本发明的实施方式1的输入显示装置的处理内容即输入显示方法的流程图(其一)。

图5是示出本发明的实施方式1的输入显示装置的处理内容即输入显示方法的流程图(其二)。

图6是示出字符管理db中存储的字符属性表的说明图。

图7是示出在生成表示语音识别结果的字符串之前生成了轨迹图像时的显示处理的说明图。

图8是示出在生成轨迹图像之前生成了表示语音识别结果的字符串时的显示处理的说明图。

图9是示出本发明的实施方式2的输入显示装置的结构图。

图10是本发明的实施方式2的输入显示装置的硬件结构图。

图11是示出本发明的实施方式2的输入显示装置的处理内容即输入显示方法的流程图。

图12是示出根据用户的笔压设定了线宽的轨迹图像的说明图。

图13是示出根据描写的速度设定了线宽的轨迹图像的说明图。

图14是示出根据中途变化的用户的笔压或描写的速度设定了线宽的轨迹图像的说明图。

图15是示出本发明的实施方式3的输入显示装置的结构图。

图16是本发明的实施方式3的输入显示装置的硬件结构图。

图17是示出本发明的实施方式3的输入显示装置的处理内容即输入显示方法的流程图。

图18是示出与语音的语言对应的轨迹图像的颜色的说明图。

图19是示出本发明的实施方式4的输入显示装置的结构图。

图20是本发明的实施方式4的输入显示装置的硬件结构图。

图21是示出切换了由操作受理部1受理的操作时的处理内容的流程图。

图22是示出用于切换由操作受理部1受理的操作的操作的一例的说明图。

图23是示出根据画图操作内容而生成的图画的图像的一例的说明图。

具体实施方式

下面，为了更加详细地说明本发明，根据附图对用于实施本发明的方式进行说明。

实施方式1

图1是示出本发明的实施方式1的输入显示装置的结构图，图2是本发明的实施方式1的输入显示装置的硬件结构图。

在图1和图2中，操作受理部1通过指示器件21来实现，实施受理描写操作作为用户操作的处理。

在该实施方式1中，作为指示器件21，假设使用触摸面板，但是，不限于触摸面板，例如能够使用操纵杆、指示杆(轨迹点)、触摸板、手写笔、数据手套、轨迹球、手写板、鼠标、光笔、手柄等。

字符管理db2例如通过ram或硬盘等存储器22来实现，存储表示字符种类、字符尺寸、字符高度、字符宽度的对应关系的字符属性表。

字符管理部3例如通过由安装有cpu(centralprocessingunit：中央处理单元)的半导体集成电路或单片微计算机等构成的字符管理处理电路23来实现。字符管理部3实施如下处理：事前设定显示于显示器29的字符的尺寸，参照字符管理db2中存储的字符属性表，将表示与该字符尺寸对应的字符高度的字符属性信息输出到轨迹图像生成部4。

轨迹图像生成部4例如通过由安装有gpu(graphicsprocessingunit：图形处理单元)的半导体集成电路或单片微计算机等构成的图像生成处理电路24来实现。轨迹图像生成部4实施如下处理：根据由操作受理部1受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像。此时，生成线宽与从字符管理部3输出的字符属性信息所示的字符高度对应的轨迹图像。

字符串取得部5由语音检测部6、语音识别辞典db7和语音识别部8构成，实施取得表示语音识别结果的字符串的处理。

语音检测部6例如通过传声器25来实现，检测用户的语音。

语音识别辞典db7例如通过ram或硬盘等存储器26来实现，语音识别辞典db7例如由记述有人发声的较小单位即音素的声音特征的声音模型、以及记述有要进行语音识别的词语的识别辞典构成。

语音识别部8例如通过由安装有cpu的半导体集成电路或单片微计算机等构成的语音识别处理电路27来实现，搭载有识别由语音检测部6检测到的语音的语音识别引擎。

即，语音识别部8实施如下处理：对由语音检测部6检测到的语音进行分析，计算该语音的声音特征，从语音识别辞典db7的识别辞典中记述的词语中，搜索具有与该计算出的声音特征最接近的声音特征的词语，将表示该词语的字符串作为表示语音识别结果的字符串输出到显示控制部9。

在图1中，示出字符串取得部5安装有语音识别辞典db7和语音识别部8的例子，但是，也可以代替语音识别辞典db7和语音识别部8而安装数据发送接收部。

该数据发送接收部例如是能够经由因特网或lan等通信路径与未图示的语音识别服务器进行数据发送接收的网卡等网络通信设备，向语音识别服务器发送表示由语音检测部6检测到的语音的数据。

语音识别服务器搭载有识别语音的语音识别引擎，当接收到从数据发送接收部发送的表示语音的数据后，识别该语音，向该数据发送接收部发送表示该语音识别结果的字符串。

该数据发送接收部接收到从语音识别服务器发送的表示语音识别结果的字符串后，将该字符串输出到显示控制部9。

显示控制部9例如通过由安装有gpu的半导体集成电路或单片微计算机等构成的显示处理电路28来实现。显示控制部9实施如下处理：在显示器29显示由轨迹图像生成部4生成的轨迹图像，并且在轨迹图像上重叠显示由字符串取得部5取得的字符串。

即，显示控制部9实施如下处理：在从字符串取得部5的语音识别部8输出字符串之前由轨迹图像生成部4生成了轨迹图像的情况下，在显示器29显示该轨迹图像后，在轨迹图像上重叠显示从字符串取得部5的语音识别部8输出的字符串。另一方面，在由轨迹图像生成部4生成轨迹图像之前从字符串取得部5的语音识别部8输出了字符串的情况下，等待到由轨迹图像生成部4生成轨迹图像为止，在由轨迹图像生成部4生成轨迹图像时，在显示器29显示该轨迹图像，并且在轨迹图像上重叠显示该字符串。

并且，显示控制部9实施如下处理：在轨迹图像上重叠显示字符串后，去除该轨迹图像的显示。

字符串暂时保存部10例如通过ram或硬盘等存储器30来实现，暂时保存从字符串取得部5的语音识别部8输出的字符串。

在图1中，假设作为输入显示装置的结构要素的操作受理部1、字符管理db2、字符管理部3、轨迹图像生成部4、字符串取得部5、显示控制部9和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。

图3是输入显示装置由计算机构成时的硬件结构图。

在输入显示装置由计算机构成的情况下，在计算机的存储器41上构成字符管理db2、语音识别辞典db7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、轨迹图像生成部4、语音检测部6、语音识别部8和显示控制部9的处理内容的程序，处理器42执行存储器41中存储的程序即可。

图4和图5是示出本发明的实施方式1的输入显示装置的处理内容即输入显示方法的流程图。

接着，对动作进行说明。

图6是示出字符管理db2中存储的字符属性表的说明图。

在图6的字符属性表中，按照各个字符种类(例如明体、黑体等)记述有与字符尺寸对应的字符高度和字符宽度。

在字符管理部3中事前设定有显示于显示器29的字符的尺寸，字符管理部3参照字符管理db2中存储的字符属性表，将表示与该字符尺寸对应的字符高度的字符属性信息输出到轨迹图像生成部4(图4的步骤st1)。

例如，如果事前设定的字符的字符种类为“a”，其字符尺寸为“10”，则将表示字符高度为“5mm”的字符属性信息输出到轨迹图像生成部4。

并且，如果事前设定的字符的字符种类为“b”，其字符尺寸为“5”，则将表示字符高度为“2mm”的字符属性信息输出到轨迹图像生成部4。

并且，字符管理部3将表示与该字符尺寸对应的字符高度和字符宽度的字符属性信息输出到显示控制部9。

轨迹图像生成部4从字符管理部3接收到字符属性信息时，将要生成的轨迹图像的线宽设定成与字符属性信息所示的字符高度对应的线宽(步骤st2)。

例如，在字符属性信息所示的字符高度为“10mm”时，如果字符的上部和下部的留白被设定成“0.5mm”，则将轨迹图像的线宽设定成“11mm”。

11＝10+0.5+0.5(mm)

这里，示出在字符的上部和下部设置留白的例子，但是，也可以不设置留白而使字符属性信息所示的字符高度和轨迹图像的线宽一致。

在该实施方式1中，假设实现操作受理部1的指示器件21为触摸面板，因此，当用户使用自己的手指或触摸面板用的输入笔等在触摸面板上进行描写操作时(步骤st3：“是”的情况)，操作受理部1受理描写操作，将描写操作内容输出到轨迹图像生成部4(步骤st4)。

描写操作内容相当于表示与触摸面板接触的手指或输入笔的位置(触摸面板上的坐标)的连续变化的时间序列数据。

轨迹图像生成部4从操作受理部1接收到描写操作内容时，根据该操作内容判别通过描写而描绘的线的轨迹(步骤st5)。

如上所述，描写操作内容表示接触位置相对于触摸面板的连续变化，因此，通过连接时间序列的接触位置，能够判别通过描写而描绘的线的轨迹。

轨迹图像生成部4在判别出通过描写而描绘的线的轨迹时，生成表示该轨迹的轨迹图像，将该轨迹图像输出到显示控制部9(步骤st6)。

该轨迹图像的线宽是在步骤st2中设定的线宽，在上述例子中，将轨迹图像的线宽设定成“11mm”，因此，生成线宽为“11mm”的轨迹图像。

当语音检测部6检测到用户的语音时(步骤st7：“是”的情况)，字符串取得部5的语音识别部8利用语音识别辞典db7实施该语音的识别处理，由此生成表示该语音的识别结果的字符串(文本)，将该字符串输出到显示控制部9(步骤st8)。

语音识别部8进行的语音识别处理本身是公知技术，因此省略详细说明，例如可考虑如下的方法：对由语音检测部6检测到的语音进行分析，计算该语音的声音特征，从语音识别辞典db7的识别辞典中记述的词语中，搜索具有与该计算出的声音特征最接近的声音特征的词语，输出表示该词语的字符串作为表示语音识别结果的字符串。

在该实施方式1中，为了便于说明，假设用户进行了“春天到了去看樱花”这样的讲话，语音识别部8输出表示“春天到了去看樱花”的字符串。

这里，图7是示出在生成表示语音识别结果的字符串之前生成了轨迹图像时的显示处理的说明图。

并且，图8是示出在生成轨迹图像之前生成了表示语音识别结果的字符串时的显示处理的说明图。

在从字符串取得部5的语音识别部8输出字符串之前从轨迹图像生成部4输出轨迹图像时(图5的步骤st11：“是”的情况)，如图7的(a)所示，显示控制部9在显示器29显示该轨迹图像(步骤st12)。

这里，关于轨迹图像的显示，可以同时显示轨迹图像的整体，也可以进行从后显示的字符串的开头侧起依次显示的动画。

显示控制部9等待到从字符串取得部5的语音识别部8输出字符串为止(步骤st13：“否”的情况)，如图7的(b)所示，当用户讲话而从语音识别部8输出表示语音识别结果的字符串时(步骤st13：“是”的情况)，如图7的(c)所示，在轨迹图像上重叠显示该字符串(步骤st14)。显示在轨迹图像上的字符串中的字符的大小对应于从字符管理部3输出的字符属性信息所示的字符高度和字符宽度。

这里，关于字符串的显示，可以同时显示构成字符串的全部字符，也可以是从字符串的开头字符起依次显示到末尾字符的动画显示的方式。

如图8的(a)所示，当用户在进行描写操作之前讲话而从轨迹图像生成部4输出轨迹图像之前从字符串取得部5的语音识别部8输出字符串时(图5的步骤st11：“否”的情况)，显示控制部9将该字符串存储在字符串暂时保存部10中，等待到从轨迹图像生成部4输出轨迹图像为止(步骤st15：“否”的情况)。

然后，当用户进行描写操作而从轨迹图像生成部4输出轨迹图像时(步骤st15：“是”的情况)，显示控制部9从字符串暂时保存部10中读出字符串，如图8的(b)所示，在显示器29显示该轨迹图像，并且在轨迹图像上重叠显示该字符串。即，显示控制部9在相同位置重叠显示轨迹图像和字符串(步骤st16)。但是，关于轨迹图像和字符串的显示，可以同时显示整体，也可以是从字符串的开头侧起依次显示的动画显示的方式。

显示控制部9在轨迹图像上重叠显示字符串后，如图7的(d)(e)和图8的(c)(d)所示，去除轨迹图像，成为仅显示字符串的状态(步骤st17)。

关于轨迹图像的去除，可以同时去除轨迹图像的整体，也可以进行从字符串的开头侧起依次去除的动画。

这里，假设在重叠显示轨迹图像和字符串后，在一定时间后去除轨迹图像，但是，也可以在字符串的显示完成时立即去除轨迹图像。

根据以上可知，根据该实施方式1，构成为输入显示装置设置有：操作受理部1，其受理描写操作；轨迹图像生成部4，其根据由操作受理部1受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像；以及字符串取得部5，其取得表示语音识别结果的字符串，显示控制部9在显示器29显示由轨迹图像生成部4生成的轨迹图像，并且在轨迹图像上重叠显示由字符串取得部5取得的字符串。因此，发挥能够按照用户的自由设计来显示表示语音识别结果的字符串的效果。

并且，根据该实施方式1，构成为显示控制部9在从字符串取得部5的语音识别部8输出字符串之前由轨迹图像生成部4生成了轨迹图像的情况下，在显示器29显示该轨迹图像后，在轨迹图像上重叠显示从字符串取得部5的语音识别部8输出的字符串，另一方面，在由轨迹图像生成部4生成轨迹图像之前从字符串取得部5的语音识别部8输出了字符串的情况下，等待到由轨迹图像生成部4生成轨迹图像为止，在由轨迹图像生成部4生成轨迹图像时，在显示器29显示该轨迹图像，并且在轨迹图像上重叠显示该字符串。因此，在用户讲话之前进行了描写操作的情况下，能够事前掌握显示表示语音识别结果的字符串的位置。因此，发挥用户能够抓住字符串的显示图像的效果。并且，在用户进行描写操作之前讲话的情况下，当进行描写操作后立即在相同位置重叠显示轨迹图像和字符串，因此，发挥能够给用户带来高响应性的操作感的效果。

实施方式2

在上述实施方式1中，示出轨迹图像的线宽被设定成与事前设定的字符尺寸的字符高度对应的线宽，但是，也可以根据用户进行的描写操作的状态来设定轨迹图像的线宽。

图9是示出本发明的实施方式2的输入显示装置的结构图，图10是本发明的实施方式2的输入显示装置的硬件结构图。

在图9和图10中，与图1和图2相同的标号表示相同或相当的部分，因此省略说明。

操作状态检测部11例如通过由安装有cpu的半导体集成电路或单片微计算机等构成的操作状态检测处理电路31来实现，实施检测由操作受理部1受理的操作的状态的处理。

即，操作状态检测部11例如感知用户的手指或输入笔针对作为指示器件21的触摸面板的压力(笔压)，作为由操作受理部1受理的操作的状态。

轨迹图像生成部12例如通过由安装有gpu的半导体集成电路或单片微计算机等构成的图像生成处理电路32来实现。与图1的轨迹图像生成部4同样，轨迹图像生成部12实施如下处理：根据由操作受理部1受理的描写操作，判别通过描写而描绘的线的轨迹，生成表示该轨迹的轨迹图像。此时，与图1的轨迹图像生成部4不同，生成线宽与由操作状态检测部11检测到的操作的状态对应的轨迹图像。

显示控制部13例如通过由安装有gpu的半导体集成电路或单片微计算机等构成的显示处理电路33来实现，实施与图1的显示控制部9相同的显示处理。

并且，显示控制部13实施如下处理：根据由轨迹图像生成部12设定的线宽，变更构成由字符串取得部5取得的字符串的字符的字符尺寸，以变更后的字符尺寸在轨迹图像上重叠显示字符串。

在图9中，假设作为输入显示装置的结构要素的操作受理部1、字符管理db2、字符管理部3、操作状态检测部11、轨迹图像生成部12、字符串取得部5、显示控制部13和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。

在输入显示装置由计算机构成的情况下，在图3所示的计算机的存储器41上构成字符管理db2、语音识别辞典db7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、操作状态检测部11、轨迹图像生成部12、语音检测部6、语音识别部8和显示控制部13的处理内容的程序，处理器42执行存储器41中存储的程序即可。

图11和图5是示出本发明的实施方式2的输入显示装置的处理内容即输入显示方法的流程图。

在图11中，与图4相同的步骤编号表示相同或相当的部分。

接着，对动作进行说明。

在该实施方式2中，假设在作为指示器件21的触摸面板上搭载有感知笔压的笔压感知传感器。

操作状态检测部11从指示器件21上搭载的笔压感知传感器取得笔压的感知结果，由此，检测用户针对作为指示器件21的触摸面板的笔压，作为由操作受理部1受理的操作的状态(图11的步骤st21)。

在操作状态检测部11检测到用户的笔压作为由操作受理部1受理的操作的状态时，轨迹图像生成部12根据用户的笔压和从字符管理部3输出的字符属性信息所示的字符高度，设定要生成的轨迹图像的线宽(步骤st22)。

例如，如果将字符属性信息所示的字符高度设定成轨迹图像的基准线宽，用户的笔压为事前设定的基准值以上，则该笔压越大于基准值，则设定越大的偏移值，将基准线宽和偏移值相加而得到的值决定为最终的轨迹图像的线宽。

最终的轨迹图像的线宽＝基准线宽+偏移值

另一方面，如果用户的笔压小于事前设定的基准值，则该笔压越小于基准值，则设定越大的偏移值，将基准线宽减去偏移值而得到的值决定为最终的轨迹图像的线宽。

最终的轨迹图像的线宽＝基准线宽-偏移值

与图1的显示控制部9同样，显示控制部13按照图5的流程图，在显示器29显示轨迹图像和字符串。

但是，在该实施方式2中，根据用户的笔压来设定轨迹图像的线宽，因此，在轨迹图像生成部12使最终的轨迹图像的线宽比基准线宽粗的情况下，根据最终的轨迹图像的线宽，增大构成字符串的字符的字符尺寸，在轨迹图像上显示字符串。

例如，在基准线宽(＝字符属性信息所示的字符高度)为“5mm”时，如果将最终的轨迹图像的线宽设定成“10mm”，则将构成字符串的字符的字符高度变更成“10mm”，在轨迹图像上显示字符串。这里，示出字符高度和轨迹图像的线宽一致的例子，但是，在字符的上部和下部设置留白的情况下，例如，如果设上部和下部的留白均为“1mm”，则将构成字符串的字符的字符高度变更成“8mm”，在轨迹图像上显示字符串。

并且，在轨迹图像生成部12使最终的轨迹图像的线宽比基准线宽细的情况下，显示控制部13根据最终的轨迹图像的线宽，减小构成字符串的字符的字符尺寸，在轨迹图像上显示字符串。

例如，在基准线宽(＝字符属性信息所示的字符高度)为“5mm”时，如果将最终的轨迹图像的线宽设定成“3mm”，则将构成字符串的字符的字符高度变更成“3mm”，在轨迹图像上显示字符串。这里，示出字符高度和轨迹图像的线宽一致的例子，但是，在字符的上部和下部设置留白的情况下，例如，如果设上部和下部的留白均为“0.5mm”，则将构成字符串的字符的字符高度变更成“2mm”，在轨迹图像上显示字符串。

图12是示出根据用户的笔压设定了线宽的轨迹图像的说明图。

图12的(a)示出用户的笔压为基准值以上因此设定了较粗的线宽的轨迹图像，图12的(b)示出用户的笔压小于基准值因此设定了较细的线宽的轨迹图像。

在该实施方式2中，示出了操作状态检测部11检测用户针对作为指示器件21的触摸面板的笔压作为由操作受理部1受理的操作的状态的例子，但是，这只不过是一例，例如，也可以检测用户在作为指示器件21的触摸面板上进行描写的速度，作为由操作受理部1受理的操作的状态。

如果操作状态检测部11根据由操作受理部1受理的描写操作内容确定接触位置相对于触摸面板的连续变化，则能够根据接触位置相对于触摸面板的每单位时间的变化，求出在触摸面板上进行描写的速度。

在操作状态检测部11检测到在触摸面板上进行描写的速度作为由操作受理部1受理的操作的状态时，轨迹图像生成部12根据描写的速度和从字符管理部3输出的字符属性信息所示的字符高度，设定要生成的轨迹图像的线宽。

例如，如果将字符属性信息所示的字符高度设定成轨迹图像的基准线宽，描写的速度为事前设定的基准值以上，则描写的速度越快于基准值，则设定越大的偏移值，将基准线宽和偏移值相加而得到的值决定为最终的轨迹图像的线宽。

最终的轨迹图像的线宽＝基准线宽+偏移值

另一方面，如果描写的速度慢于事前设定的基准值，则描写的速度越慢于基准值，则设定越大的偏移值，将基准线宽减去偏移值而得到的值决定为最终的轨迹图像的线宽。

最终的轨迹图像的线宽＝基准线宽-偏移值

图13是示出根据描写的速度设定了线宽的轨迹图像的说明图。

图13的(a)示出描写的速度为基准值以上因此设定了较粗的线宽的轨迹图像，图13的(b)示出描写的速度小于基准值因此设定了较细的线宽的轨迹图像。

在该实施方式2中，示出了用户的笔压或描写的速度均匀的例子，但是，在用户的笔压或描写的速度中途变化的情况下，轨迹图像生成部12也可以生成线宽中途变化的轨迹图像。

图14是示出根据中途变化的用户的笔压或描写的速度设定了线宽的轨迹图像的说明图。

图14的(a)示出描写的速度逐渐加快时或用户的笔压逐渐增强时的轨迹图像，轨迹图像的线宽逐渐变粗。

图14的(b)示出描写的速度或用户的笔压不规则地变化时的轨迹图像，轨迹图像的线宽时粗时细。

根据以上可知，根据该实施方式2，构成为具有检测由操作受理部1受理的操作的状态的操作状态检测部11，轨迹图像生成部12生成线宽与由操作状态检测部11检测到的操作的状态对应的轨迹图像。因此，发挥能够实现字符串的显示方式多样化的效果。

在该实施方式2中，示出了轨迹图像生成部12根据操作状态检测部11检测到的由操作受理部1受理的操作的状态(例如用户的笔压)和从字符管理部3输出的字符属性信息所示的字符高度，设定要生成的轨迹图像的线宽，但是，也可以不使用从字符管理部3输出的字符属性信息所示的字符高度，而仅根据由操作受理部1受理的操作的状态，设定要生成的轨迹图像的线宽。

例如，可考虑如下方式：准备存储有用户的笔压(或描写的速度)与轨迹图像的线宽的对应关系的表，轨迹图像生成部12从该表中读出与用户的笔压(或描写的速度)对应的线宽，将该线宽设定成轨迹图像的线宽。

在该实施方式2中，示出了生成线宽与由操作受理部1受理的操作的状态对应的轨迹图像，但是，也可以根据由操作受理部1受理的操作的状态，改变在显示器29显示的字符的浓淡。例如，可考虑如下方式：用户的笔压越强或描写的速度越快，则字符的浓淡越浓。并且，也可以根据由操作受理部1受理的操作的状态，改变在显示器29显示的字符的粗细。例如，可考虑如下方式：用户的笔压越强或描写的速度越快，则字符的粗细越粗。

并且，示出了根据由轨迹图像生成部12生成的轨迹图像的线宽，改变在该轨迹图像上重叠显示的字符的字符高度，但是，也可以根据轨迹图像的线宽改变构成字符串的字符的字符种类。

例如，可考虑如下方式：在轨迹图像的线宽逐渐变粗的情况下，如字符种类a→字符种类b→字符种类c那样改变字符种类。

实施方式3

在上述实施方式1、2中，显示控制部9、13在显示器29显示由轨迹图像生成部4、12生成的轨迹图像，但是，也可以取得语音的语言的判别结果，以与该判别结果所示的语言对应的颜色显示轨迹图像。

图15是示出本发明的实施方式3的输入显示装置的结构图，图16是本发明的实施方式3的输入显示装置的硬件结构图。

在图15和图16中，与图9和图10相同的标号表示相同或相当的部分，因此省略说明。

字符串取得部5的语言判别部14例如通过由安装有cpu的半导体集成电路或单片微计算机等构成的语言判别处理电路34来实现，实施由语音检测部6检测到的语音的语言判别处理，将该语言的判别结果输出到显示控制部15。

在该实施方式3中，示出字符串取得部5安装有语言判别部14的例子，但是，也可以代替语言判别部14而安装数据发送接收部。

该数据发送接收部例如是能够经由因特网或lan等通信路径与未图示的语言判别服务器进行数据发送接收的网卡等网络通信设备，向语言判别服务器发送表示由语音检测部6检测到的语音的数据。

语言判别服务器搭载有判别语音的语言的语言判别引擎，当接收到从数据发送接收部发送的表示语音的数据时，识别该语音，向该数据发送接收部发送该语音的语言判别结果。

该数据发送接收部将从语言判别服务器发送的语音的语言判别结果输出到显示控制部15。

显示控制部15例如通过由安装有gpu的半导体集成电路或单片微计算机等构成的显示处理电路35来实现，实施与图9的显示控制部13相同的显示处理。

并且，显示控制部15实施如下处理：以与从语言判别部14输出的判别结果所示的语言对应的颜色，在显示器29显示由轨迹图像生成部12生成的轨迹图像。

在图15中，假设作为输入显示装置的结构要素的操作受理部1、字符管理db2、字符管理部3、操作状态检测部11、轨迹图像生成部12、字符串取得部5、显示控制部15和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。

在输入显示装置由计算机构成的情况下，在图3所示的计算机的存储器41上构成字符管理db2、语音识别辞典db7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、操作状态检测部11、轨迹图像生成部12、语音检测部6、语音识别部8、语言判别部14和显示控制部15的处理内容的程序，处理器42执行存储器41中存储的程序即可。

图17和图5是示出本发明的实施方式3的输入显示装置的处理内容即输入显示方法的流程图。

在图17中，与图11相同的步骤编号表示相同或相当的部分。

接着，对动作进行说明。

当语音检测部6检测到用户的语音时，字符串取得部5的语言判别部14实施该语音的语言判别处理，将该语言的判别结果输出到显示控制部15(图17的步骤st9)。语音的语言判别处理本身是公知技术，因此省略详细说明。

与图9的显示控制部13同样，显示控制部15按照图5的流程图，在显示器29显示轨迹图像和字符串。

但是，与图9的显示控制部13不同，显示控制部15以与从语言判别部14输出的判别结果所示的语言对应的颜色，在显示器29显示由轨迹图像生成部12生成的轨迹图像。

另外，在语音检测部6检测到用户的语音之前，语言判别部14无法判别语音的语言，因此，在语音检测部6检测到用户的语音之前由轨迹图像生成部12生成了轨迹图像的情况下，在语音检测部6检测到用户的语音之前的期间内，显示控制部15不进行轨迹图像的显示。并且，也可以在语音检测部6检测到用户的语音之前的期间内，以灰色显示轨迹，在检测到用户的语音并输出语言的判别结果后，以与语言对应的颜色显示轨迹图像。

图18是示出与语音的语言对应的轨迹图像的颜色的说明图。

图18的(a)示出语音的语言为汉语的情况，例如以蓝色显示轨迹图像。

图18的(b)示出语音的语言为英语的情况，例如以红色显示轨迹图像。

这里，示出如果语音的语言为汉语则显示蓝色的轨迹图像，如果语音的语言为英语则显示红色的轨迹图像的例子，但是，这只不过是一例，当然可以以其他颜色进行显示。

根据以上可知，根据该实施方式3，构成为具有实施由语音检测部6检测到的语音的语言判别处理并输出该语言的判别结果的语言判别部14，显示控制部15以与从语言判别部14输出的判别结果所示的语言对应的颜色，在显示器29显示由轨迹图像生成部12生成的轨迹图像。因此，发挥能够直观地掌握显示哪种语言的字符的效果。

实施方式4

在上述实施方式1～3中，示出了在显示轨迹图像和字符串后去除轨迹图像，由此，最终在显示器29仅显示字符串，但是，也可以在显示器29显示根据用户的画图操作而生成的图画的图像。

图19是示出本发明的实施方式4的输入显示装置的结构图，图20是本发明的实施方式4的输入显示装置的硬件结构图。

在图19和图20中，与图15和图16相同的标号表示相同或相当的部分，因此省略说明。

操作切换部16例如通过由安装有cpu的半导体集成电路或单片微计算机等构成的操作切换处理电路36来实现，实施如下处理：例如在检测到指示器件21的长按操作作为用于切换由操作受理部1受理的操作的操作时，切换由操作受理部1受理的操作。

即，操作切换部16实施如下处理：在由操作受理部1受理的操作是描写操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成在显示器29描画图画的画图操作。另一方面，实施如下处理：在由操作受理部1受理的操作是画图操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成描写操作。

图画图像生成部17例如通过由安装有gpu的半导体集成电路或单片微计算机等构成的图像生成处理电路37来实现，实施如下处理：如果由操作切换部16切换后的操作是画图操作，则根据由操作受理部1受理的画图操作来生成图画的图像。

显示控制部18例如通过由安装有gpu的半导体集成电路或单片微计算机等构成的显示处理电路38来实现，如果由操作切换部16切换后的操作是描写操作，则实施与图15的显示控制部15相同的显示处理。

显示控制部18实施如下处理：如果由操作切换部16切换后的操作是画图操作，则在显示器29显示由图画图像生成部17生成的图画的图像。

在图19中，假设作为输入显示装置的结构要素的操作受理部1、字符管理db2、字符管理部3、操作状态检测部11、轨迹图像生成部12、操作切换部16、图画图像生成部17、字符串取得部5、显示控制部18和字符串暂时保存部10分别由专用硬件构成，但是，输入显示装置也可以由计算机构成。

在输入显示装置由计算机构成的情况下，在图3所示的计算机的存储器41上构成字符管理db2、语音识别辞典db7和字符串暂时保存部10，并且在存储器41中存储记述有操作受理部1、字符管理部3、操作状态检测部11、轨迹图像生成部12、操作切换部16、图画图像生成部17、语音检测部6、语音识别部8、语言判别部14和显示控制部18的处理内容的程序，处理器42执行存储器41中存储的程序即可。

图21是示出切换了由操作受理部1受理的操作时的处理内容的流程图。

接着，对动作进行说明。

操作切换部16检测到长按操作作为用于切换由操作受理部1受理的操作的操作时(图21的步骤st31：“是”的情况)，实施切换由操作受理部1受理的操作的处理(步骤st32)。

图22是示出用于切换由操作受理部1受理的操作的操作的一例的说明图。

在图22中，示出用于切换由操作受理部1受理的操作的操作是长按操作的例子，长按操作例如是用户的手指以预先设定的时间以上持续接触作为指示器件21的触摸面板的相同场所的操作。

即，操作切换部16在当前时点由操作受理部1受理的操作是描写操作时，在检测到指示器件21的长按操作时，向操作受理部1输出此后将由操作受理部1受理的操作切换成画图操作的指令。

另一方面，在当前时点由操作受理部1受理的操作是画图操作时，在检测到指示器件21的长按操作时，向操作受理部1输出此后将由操作受理部1受理的操作切换成描写操作的指令。

操作受理部1根据操作切换部16的指令，对要受理的操作进行切换。

因此，操作受理部1在将要受理的操作切换成描写操作的状态下(步骤st33：“是”的情况)，与上述实施方式1～3同样，受理描写操作，将描写操作内容输出到轨迹图像生成部12(步骤st34)。

并且，操作受理部1在将要受理的操作切换成画图操作的状态下(步骤st33：“否”的情况)，受理画图操作，将画图操作内容输出到图画图像生成部17(步骤st35)。

在操作受理部1受理描写操作时，与上述实施方式2同样，轨迹图像生成部12根据该描写操作内容来生成轨迹图像(步骤st36)。

在操作受理部1受理画图操作时，图画图像生成部17根据该画图操作内容来生成图画的图像(步骤st37)。

图23是示出根据画图操作内容而生成的图画的图像的一例的说明图。

根据画图操作内容来生成图画的图像的处理本身是公知技术，因此省略详细说明。另外，在画图操作内容中，除了描画线的功能以外，还可以包含改变要描画的线的粗细和颜色的功能、去除线的橡皮擦的功能等。

显示控制部18实施如下处理：在轨迹图像生成部12生成轨迹图像时，与图15的显示控制部15同样，在显示器29显示该轨迹图像和从字符串取得部5输出的字符串(步骤st38)。

并且，在图画图像生成部17生成图画的图像时，显示控制部18在显示器29显示该图画的图像(步骤st39)。

根据以上可知，根据该实施方式4，构成为具有：操作切换部16，其切换由操作受理部1受理的操作；以及图画图像生成部17，如果由操作切换部16切换后的操作是画图操作，则该图画图像生成部17根据由操作受理部1受理的画图操作来生成图画的图像，如果由操作切换部16切换后的操作是描写操作，则与图15的显示控制部15同样，显示控制部18重叠显示轨迹图像和字符串，另一方面，如果由操作切换部16切换后的操作是画图操作，则显示控制部18显示由图画图像生成部17生成的图画的图像。因此，发挥能够与字符串一起在显示器29显示图画的图像的效果。

在该实施方式4中，示出如下例子：操作切换部16在由操作受理部1受理的操作是描写操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成画图操作，另一方面，在由操作受理部1受理的操作是画图操作时，在检测到指示器件21的长按操作时，将由操作受理部1受理的操作切换成描写操作。

但是，由操作受理部1受理的操作的切换方法不限于此，也可以使用下述所示的切换方法。

例如，通常时，由操作受理部1受理的操作被设定成画图操作，在检测到指示器件21的长按操作时，操作切换部16向操作受理部1输出将由操作受理部1受理的操作切换成描写操作的指令，由操作受理部1受理描写操作。

当描写操作结束时，由操作受理部1受理的操作自动返回画图操作，然后，在检测到指示器件21的长按操作时，操作切换部16再次向操作受理部1输出将由操作受理部1受理的操作切换成描写操作的指令，由操作受理部1受理描写操作。

在该实施方式4中，示出了操作切换部16在检测到指示器件21的长按操作时切换由操作受理部1受理的操作，但是，也可以在显示器29显示表示当前由操作受理部1受理的操作是描写操作还是画图操作的信息。

另外，本发明能够在本发明的范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。

产业上的可利用性

本发明的输入显示装置和输入显示方法适用于在显示器显示表示语音识别结果的字符串时，需要按照用户的自由设计进行显示的情况。

标号说明

1：操作受理部；2：字符管理db；3：字符管理部；4：轨迹图像生成部；5：字符串取得部；6：语音检测部；7：语音识别辞典db；8：语音识别部；9：显示控制部；10：字符串暂时保存部；11：操作状态检测部；12：轨迹图像生成部；13：显示控制部；14：语言判别部；15：显示控制部；16：操作切换部；17：图画图像生成部；18：显示控制部；21：指示器件；22：存储器；23：字符管理处理电路；24：图像生成处理电路；25：传声器；26：存储器；27：语音识别处理电路；28：显示处理电路；29：显示器；30：存储器；31：操作状态检测处理电路；32：图像生成处理电路；33：显示处理电路；34：语言判别处理电路；35：显示处理电路；36：操作切换处理电路；37：图像生成处理电路；38：显示处理电路；41：存储器；42：处理器。