专利名称：用于呈现信息的装置及其方法
技术领域：
本发明涉及信息呈现装置，尤其涉及一种相结合地显示画面并输出声音的信息呈现装置。
背景技术：
近来，具有显示器的小型便携式终端(例如，PDA或便携式电话)变得普遍。这些终端很小以至于仅可以在屏幕上显示有限量的信息。当试图显示超过该限度的信息量时，字符可能太小而不可读。
如在报纸或目录的情况下，当信息的版面有助于可读性时，在保持版面的同时显示信息是重要的。然而，当试图在小屏幕中显示其尺寸范围为仅可识别版面结构的文章时，所显示字符的尺寸变得太小而仅可以阅读标题等。
可以根据需要来改变显示比例系数，从而使感兴趣部分中的字符的尺寸适于阅读。然而，由于不能在放大状态下识别整个版面结构，所以用于改变比例系数或显示位置的操作频繁出现，这对于用户来说很费力。
另外，当文件最初并不希望显示在小屏幕上时，如果在屏幕上不进行换行(wrapping)，则仅部分地显示各行文本。因此，使得不能看到完整连续的文本，并且文本变为仅是多个小片断的集合。这使得理解的容易性降低。
对于乐谱以及文本也会出现类似的问题。
在现有显示状态下不能阅读内容时可采取的方法是通过语音来听取内容，而不是阅读显示屏上的信息。
根据在日本未审专利申请公报No.2001-209645中公开的技术，在显示存储在文件编排系统中的文件的情况下，当指定了所显示的原始图像的坐标时，朗读与所指定的坐标相关联的文本区域中的文本。假定在由于显示装置的分辨率而使得不能识别某些文本时使用该方法，并且可指定任意的文本区域。
下面将参照图1和图2来描述根据现有技术的信息呈现装置的问题。
图1是表示根据现有技术的信息呈现装置的结构的示意性框图。图2是由根据现有技术的信息呈现装置执行的操作的流程图。
文件输入单元2从包含文本的文件52提取文件信息54(S2)，并且版面分析器4提取包括文本块以及各个文本块在文件信息中的位置信息的数据56(S4)。然后，显示数据提取器6提取用于一个画面的显示数据58(S6)，并且文件显示单元10显示对应的信息(S10)。
当朗读目标指定接受器20指定朗读目标文本时(即，当步骤S20的结果为“是”时)，转换目标提取器14提取朗读目标文本数据68(S22)，并且语音输出单元16将朗读目标文本数据68转换为语音并输出该语音(S16)。
当由显示位置和显示比例系数改变器18指示改变显示位置或者改变显示比例系数时(即，当步骤S18的结果为“是”时)，显示数据提取器6根据该指示来改变显示位置或显示比例系数(S6)。
根据现有技术，用户使用朗读目标指定接受器20从显示在屏幕上的文件中的文本中指定感兴趣的文本，以朗读该文本。
在日本未审专利申请公报No.2001-209645中，提供了允许直接指定的装置(例如，鼠标)作为朗读目标指定接受器。
发明内容
根据本发明，信息呈现装置估测下述的文本块，这些文本块可能被用户分类为可读性差，由此用户希望朗读这些文本块，并且提供了允许从这些文本块中进行选择的构造。这提高了对于用户的便利性。
根据本发明的基本原理，假设对包含在画面中并以充分可读的尺寸显示的文本块进行朗读的需求较小，并且允许通过简单的操作(例如按下与块编号相对应的数字键、按下限定用于指示移动到下一个块并固定对块的选择的键、或者使用语音命令等而不是按下这些键)仅对以较差的可读性尺寸显示的文本块或者部分容纳在画面中的文本块进行选择。与其它区域相区别地显示可以选择的文本块，并且根据需要分配块编号。
为此，根据本发明，一种信息呈现装置包括文件输入单元，其从文件提取文件信息；版面分析器，其从文件信息提取文本块；显示数据提取器，其提取用于一个画面的显示数据；差可读性块提取器，其从显示数据提取文本块作为显示块，并将其中所显示字符的尺寸小于或等于预定尺寸的显示块，或者其中包含部分文本的显示块分类为差可读性块；文件显示单元，其显示所述显示数据，以使各个差可读性块的区域与其它区域相区别；块选择器，其接受来自用户的用于选择朗读目标块的指示；转换目标提取器，其提取与所选择的块相对应的朗读目标文本数据；以及语音输出单元，其将朗读目标文本数据转换为语音并输出该语音。
根据本发明，即使在其中没有设置能够使用鼠标、笔、指尖等进行直接指示的装置的情况下，或者在其中使用小显示屏(通过该小显示屏难于使用笔或指尖进行指示)的情况下，可以容易地指定差可读性的文本，并且可以作为语音听取其内容。
图1是表示根据现有技术的信息呈现装置的结构的示意性框图；图2是由根据现有技术的信息呈现装置执行的操作的流程图；图3是表示根据本发明第一实施例的信息呈现装置的结构的示意性框图；图4是由根据第一实施例的信息呈现装置执行的操作的流程图；图5A和5B是表示在根据第一实施例的信息呈现装置中使用的数据结构的第一示例的视图；图6A和6B是表示在根据第一实施例的信息呈现装置中使用的数据结构的第二示例的视图；图7是表示在根据第一实施例的信息呈现装置中使用的数据结构的第三示例的视图；图8是表示输入根据第一实施例的信息呈现装置的文件的示例的视图；图9是由根据第一实施例的信息呈现装置显示的画面的第一示例的视图；图10是由根据第一实施例的信息呈现装置显示的画面的第二示例的视图；图11是由根据第一实施例的信息呈现装置显示的画面的第三示例的视图；图12是由根据第一实施例的信息呈现装置显示的画面的第四示例的视图；图13是由根据第一实施例的信息呈现装置显示的画面的第五示例的视图；图14是由根据第一实施例的信息呈现装置显示的画面的第六示例的视图；图15是由根据第一实施例的信息呈现装置显示的画面的第七示例的视图；图16是由根据第一实施例的信息呈现装置显示的画面的第八示例的视图；图17是表示根据本发明第二实施例的信息呈现装置的结构的示意性框图；图18是由根据第二实施例的信息呈现装置执行的操作的流程图；图19是由根据第二实施例的信息呈现装置显示的画面的第一示例的视图；图20是由根据第二实施例的信息呈现装置显示的画面的第二示例的视图；图21是表示根据本发明第三实施例的信息呈现装置的结构的示意性框图；图22是由根据第三实施例的信息呈现装置执行的操作的流程图；图23是由根据第三实施例的信息呈现装置显示的画面的示例的视图；
图24是表示根据本发明第四实施例的信息呈现装置的结构的示意性框图；图25是由根据第四实施例的信息呈现装置执行的操作的流程图；图26是表示根据本发明第五实施例的信息呈现装置的结构的示意性框图；图27是由根据第五实施例的信息呈现装置执行的操作的流程图；图28是由根据第五实施例的信息呈现装置显示的画面的示例的视图；图29是表示根据本发明第六实施例的信息呈现装置的结构的示意性框图；图30是由根据第六实施例的信息呈现装置显示的画面的示例的视图；图31是表示在根据第六实施例的信息呈现装置中使用的数据结构的示例的视图；图32是表示根据本发明第七实施例的信息呈现装置的结构的示意性框图；图33是由根据第七实施例的信息呈现装置显示的画面的示例的视图；图34是表示在根据第七实施例的信息呈现装置中使用的数据结构的示例的视图；以及图35是表示计算机环境的示例的视图。
具体实施例方式
当没有提供允许直接指定的装置时，例如通过使用十字形键等移动光标而从大量文本区域中指定待朗读的部分。该操作繁琐。
另外，即使提供了允许直接指定的装置，当该装置基于通过笔或指尖进行的操作时，如果屏幕较小，则也难于精确地指定位置。
例如，在小型便携式信息装置(例如，便携式电话或PDA)的情况下，通常不提供鼠标。另外，由于显示屏非常小，所以在根据现有技术的信息呈现装置中指定待朗读的部分比较困难且繁琐。
因此，本发明的目的是提供一种信息呈现装置，即使在其中没有设置能够使用鼠标、笔、指尖等进行直接指示的装置的情况下，或者在其中使用小显示屏(通过该小显示屏难于使用笔或指尖进行指示)的情况下，该装置也可以容易地指定差可读性的文本，并且可以将其内容作为语音进行听取。
根据下述实施例的信息呈现装置尤其用于具有小显示屏的便携装置中，例如便携式电话或小型便携式信息装置。
第一实施例下面将参照图3至图16来描述根据本发明第一实施例的信息呈现装置。
图3是表示根据第一实施例的信息呈现装置100的结构的示意性框图。图4是由信息呈现装置100执行的操作的流程图。
在信息呈现装置100中，将包含在待显示在屏幕上的文件中的文本分为一些块，从这些块中估测可能由于字符的小尺寸而可能可读性差的块，并将那些可能可读性差的块与其它块相区分地显示，并且分别向可读性差的块分配块编号。当用户按下与所感兴趣的块的块编号相对应的数字键时，朗读对应文本块的内容。块编号不仅可以是数字，而且可以是包括字母、数字字符或符号的字符串。
文件输入单元102从包括文本的文件152提取文件信息154，并向版面分析器104输出文件信息154(S102)。文件输入单元102例如可以包括用于读取存储在记录介质(例如，CD或MO)上的数据；用于接收通过有线或无线网络传输的数据的装置；或者用于从报纸、杂志等的页面读取信息的装置。文件信息154例如可以包括其版面二维固定的信息(例如，位图数据)、编码为一维符号数组的信息、或者结构化数据，例如HTML格式的数据。
版面分析器104将从文件输入单元102输入的文件信息154输出到显示数据提取器106。另外，版面分析器104从文件信息154提取包括文本块及其在文件信息中的位置信息的数据156，并将数据156输出到差可读性块提取器108(S104)。包括文本块及其在文件信息中的位置信息的数据156的数据结构是任意的。例如，如图5A所示，该数据结构可以包括多组表示为一维数组形式的、各个文本块的内容以及表示该文本块在文件信息中的位置的起始地址和结束地址。另选地，如图5B所示，该数据结构可以包括多组各个文本块的内容以及该文本块待设置在文件信息的二维版面中的位置的左上角坐标和右下角坐标。
显示数据提取器106基于从版面分析器104输入的文件信息154，提取用于文件显示单元110的一个画面的显示数据158，并将显示数据158输出到文件显示单元110。另外，显示数据提取器106向差可读性块提取器108输出包括显示数据及其在文件信息中的位置信息的数据160。显示数据158的数据结构是任意的。例如，如图6A所示，该数据结构可包括多组待显示在屏幕上的各个组成部分的内容以及该组成部分待设置在屏幕上的位置的左上角坐标和右下角坐标。另外，包括显示数据及其在文件信息中的位置信息的数据160的数据结构是任意的。例如，如图6B所示，该数据结构可以包括多组表示为一维数组形式的、各个待显示在屏幕上的组成部分内容、该组成部分待设置在屏幕上的位置的左上角坐标和右下角坐标、以及表示该组成部分在文件信息中的位置的起始地址和结束地址。
对于首先在屏幕上显示的文件的显示位置和显示比例系数，使用预定的默认值(例如，该显示位置使得由文件信息限定的左上角与显示屏的左上角匹配，并且显示比例系数为×1)。然后，基于从显示位置和显示比例系数改变器118输入的数据162(其包括显示位置改变信息或者显示比例系数改变信息)，并基于当前显示位置和当前显示比例系数，来改变显示位置和显示比例系数。
差可读性块提取器108将从版面分析器104输入的数据156(其包括文本块及其在文件信息中的位置信息)输出到转换目标提取器114。另外，根据从显示数据提取器106输入的数据156和数据160(其包括显示数据及其在文件信息中的位置信息)，差可读性块提取器108提取待显示在屏幕上作为显示块的文本的单个文本块，计算在单个显示块中显示在屏幕上的字符的尺寸，将包括其尺寸小于或等于预定尺寸的字符的显示块分类为差可读性块，并对各个差可读性块分配块编号。然后，差可读性块提取器108向文件显示单元110和转换目标提取器114输出包括各个差可读性块的块编号、其在文件信息中的位置信息以及其在屏幕上的位置信息的数据164(S108)。数据164(包括各个差可读性块的块编号、其在文件信息中的位置信息，以及其在屏幕上的位置信息)的数据结构是任意的。例如，如图7所示，该数据结构可以包括多组表示为一维数组形式的、各个差可读性块的块编号、该差可读性块待设置在屏幕上的位置的左上角坐标和右下角坐标、以及表示该差可读性块在文件信息中的位置的起始地址和结束地址。
字符尺寸可以任何方式来限定，例如通过字符的字体大小、字符在屏幕上所占据的矩形区域的垂直和水平像素数、或者字符在屏幕上显示的实际尺寸。然而，当使用像素数和实际尺寸时，可以忽略相对较小尺寸的符号或字符，例如标点符号。
文件显示单元110将从显示数据提取器106输入的显示数据158转换为用于输出到显示屏的屏幕数据，并在显示屏上显示对应的信息(S110)。此时，基于从差可读性块提取器108输入的数据164(其包括各个差可读性块的块编号、其在文件信息中的位置信息、以及其在屏幕上的位置信息)，文件显示单元110生成屏幕数据，以使得显示数据158中的各个差可读性块的区域被显示为与其它区域不同，并且对各个差可读性块的区域分配块编号。
将各个差可读性块的区域显示为与其它区域不同的方法是任意的。例如，所述区域可以由限定其轮廓的线包围，所述区域可以显示为不同的颜色，所述区域可以加底线或者加阴影。
用户101读取显示在文件显示单元110上的文件，并根据需要使用显示位置和显示比例系数改变器118指示改变所显示内容的显示位置或者放大或缩小显示内容。具体地，当文本太小而不能容易地读取时，用户指示放大显示内容。
当用户101按下与用户希望朗读的块的块编号相对应的数字键时(即，当步骤S112的结果为“是”时)，块选择器112向转换目标提取器114输出由数字键表示的块编号166。
基于从块选择器112输入的块编号166、包括各个差可读性块的块编号、其在文件信息中的位置信息、其在屏幕上的位置信息的数据164、以及从差可读性块提取器108输入的包括文本块及其在文件信息中的位置信息的数据156，转换目标提取器114提取朗读目标文本数据168并将该朗读目标文本数据168输出到语音输出单元116(S114)。
语音输出单元116使用基于文本至语音程序的语音合成技术，将从转换目标提取器114输入的朗读目标文本数据168转换为语音，并通过扬声器等输出该语音(S116)。
当用户101使用十字形键等指示改变显示位置或者改变显示比例系数时(即，当S118的结果为“是”时)，显示位置和显示比例系数改变器118向显示数据提取器106输出包括显示位置改变信息或者显示比例系数改变信息的数据162。
图8是表示输入到根据第一实施例的信息呈现装置的文件的示例的视图。
图9至图16表示由根据第一实施例的信息呈现装置显示的画面的示例的视图。
当原样显示图8中所示的输入文件时，屏幕太小而不能容纳该文件，从而没有显示其右侧部分和下部分，如图9所示。
在这种状态中，所有字符的尺寸超过预定尺寸，从而认为这些字符可读并以正常显示模式显示。
当如图10所示，缩小图9中所示的显示内容时，包括在文本主体中的字符尺寸变得小于或等于预定尺寸，从而对分配有块编号的各个显示块，显示表示可选择进行朗读的候选块的框架。当用户按下数字键时，朗读对应块中的文本(包括在屏幕上未显示的部分)。
当如图11所示，进一步缩小图10中所示的显示内容时，标题中的字符的尺寸也变得小于或等于预定尺寸，从而与主体类似，对分配有块编号的各个显示块显示框架。
当输入文件是结构化数据(例如，HTML格式的数据)，并且根据文本显示区域的宽度对文本进行编排时，在右端对超出屏幕右侧的文本进行换行，如图12所示。
当如图13所示，缩小图12中所示的显示内容时，包括在文本主体中的字符的尺寸变得小于或等于预定尺寸，从而对分配有块编号的各个显示块显示框架。
当如图14所示，进一步缩小图13中所示的显示内容时，在标题中的字符的尺寸也变得小于或等于预定尺寸，从而与主体类似，对分配有块编号的各个显示块显示框架。
根据上面的描述，在屏幕上显示分配给各个差可读性块的块编号，并且可以通过按下与块的块编号相对应的数字键来对块进行选择。然而，本发明并不限于此，还可以采用其它方案，只要可以容易地选择所显示的块即可。
例如，可以将差可读性块之一显示为暂时选择的块，以与其它差可读性块相区分，并且可以根据使用十字形键、箭头键或用于指示下一候选块而预先定义的键的输入，来改变该暂时选择的块，并且可以通过使用预定用于固定选择的键进行的输入来选择块。图15和图16表示该方案的示例。
图15是与图13相对应的视图。在图15中，对第一块加阴影而不是显示块编号。当用户操作十字形键时，例如如图16所示，阴影项改变。当进一步操作十字形键时，阴影项进一步改变。当用户按下“*”键时，朗读当前加阴影的块。尽管在该示例中，十字形键用于改变暂时选择的块并且“*”键用于固定选择，但是本发明并不限于该示例，还可以另外限定所使用的键。
另选地，通过如图13和图15所示的显示屏，可以基于语音识别技术通过语音命令来选择朗读目标块，而不是键操作。在这种情况下，使用诸如“一个”或“第一”的语音而不是按下数字键，并且使用例如“下一个”、“下翻”、“这个”、“固定”或“朗读”的语音。
根据该第一实施例，可以容易地选择所示文件中可读性差的文本，并且可以作为语音听取其内容。
第二实施例下面将参照图17至图20来描述根据本发明第二实施例的信息呈现装置，并且如果需要将参照描述第一实施例所参照的附图。使用相同的附图标记来表示与第一实施例中相对应的部分等，并将省略对其的描述。
图17是表示根据第二实施例的信息呈现装置200的结构的示意性框图。图18是由信息呈现装置200执行的操作的流程图。
信息呈现装置200包括用于单独地从块选择器112指定屏幕上的任意文本并指示要朗读的文本的单元。因此，当用户指示待朗读的文本(其不能由块选择器112指定)时，假定该文本包括对于用户可读性差的尺寸的字符，为了随后可以由块选择器112选择该文本，改变用于分类差可读性块的预定尺寸。
当由用户201使用输入笔等指定朗读目标文本时(即，当S220的结果为“是”时)，朗读目标指定接受器220向转换目标提取器214和最小尺寸检测器222输出朗读目标文本的坐标数据270。
转换目标提取器214基于从朗读目标指定接受器220输入的朗读目标文本的坐标数据270、从差可读性块提取器208输入的包括文本块及各个文本块在文件信息中的位置信息的数据156、以及包括显示数据以及显示数据的位置信息的数据160，提取朗读目标文本数据268，并将朗读目标文本数据268输出到语音输出单元116(S214)。而由转换目标提取器214执行的处理与第一实施例中由转换目标提取器114执行的处理相同。
最小尺寸检测器222基于从朗读目标指定接受器220输入的朗读目标文本的坐标数据270、以及从差可读性块提取器208输入的包括显示数据以及显示数据在文件信息中的位置信息的数据160来检查字符尺寸，并将表示最小字符尺寸的值272输出给预定尺寸改变器224(S222)。
预定尺寸改变器224将从最小尺寸检测器222输入的表示最小字符尺寸的值272与用于分类差可读性块的预定尺寸的当前值进行比较。当预定尺寸的当前值较小时(即，当步骤S223的结果为“是”时)，预定尺寸改变器224向差可读性块提取器208输出表示最小字符尺寸的值272作为新的预定尺寸274(S224)。
差可读性块提取器208将用于分类差可读性块的预定尺寸改变为从预定尺寸改变器224输入的新的预定尺寸274。差可读性块提取器208然后再次提取差可读性块，向差可读性块分配块编号，并向文件显示单元110和转换目标提取器214输出数据264，该数据264包括各个块的块编号、各个块在文件信息中的位置信息、以及各个块在屏幕上的位置信息(S208)。
当从显示数据提取器106输入包括显示数据和在文件信息中的位置信息的数据160时，差可读性块提取器208将该信息输出给转换目标提取器214和最小尺寸检测器222。而由差可读性提取器208执行的处理与由第一实施例中的差可读性块提取器108执行的处理相同。
图19和图20表示由根据第二实施例的信息呈现装置显示的画面的示例。
另外，在第二实施例的描述中，将图8中所示的文件用作输入文件的示例。当输入文件为结构化数据(例如，HTML格式的数据)并通过换行进行显示时，如图12所示显示该文件。
当用户在图12所示的显示状态中发出朗读指示时，对与该指示相关的段落加阴影，如图19所示。
朗读与该段落相对应的文本。此时，由于表示该文本中的最小字符尺寸的值超过用于分类差可读性块的预定尺寸的当前值，所以将预定尺寸改变为表示最小字符尺寸的值，从而画面变为如图20所示。即，在屏幕上显示的文本与图12中所示的相同，但是在图12中缺少的用于指定可选择进行朗读的候选块的框架显示在主体区域中，并对其分配块编号。
根据第二实施例，可以根据用户的操作状态自动地调整用于确定不可读性的标准。
第三实施例下面将参照图21至图23来描述根据本发明第三实施例的信息呈现装置，并且如果需要将参照描述第一和第二实施例所参照的附图。使用相同的附图标记来表示与第一实施例中相关的部分等，并将省略对其的描述。
图21是表示根据第三实施例的信息呈现装置300的结构的示意性框图。图22是由信息呈现装置300执行的操作的流程图。
在信息呈现装置300中，当用户指示放大显示在屏幕上的内容时，假定在不能由块选择器112选择的文本中还存在对于用户可读性差的尺寸的字符，为了使这些尺寸的文本随后可以通过块选择器112选择，可以改变用于分类差可读性块的预定尺寸。
当用户101使用十字形键等指示改变显示位置或改变显示比例系数时(即，当步骤S318的结果为“是”时)，显示位置和显示比例系数改变器318向显示数据提取器106和最小尺寸检测器322输出包括显示位置改变信息或显示比例系数改变信息的数据162。
当包括显示位置改变信息或显示比例系数改变信息的数据162基于在放大前从差可读性块提取器208输入的数据160(其包括显示数据及其在文件信息中的位置)指示放大文件时(即，当步骤S321的结果为“是”时)，最小尺寸检测器322提取在放大前并未包含在显示在屏幕上的文件中的差可读性块中的文本，并将表示该文本中的最小字符尺寸的值372输出给预定尺寸改变器324(S322)。
预定尺寸改变器324将在最小尺寸检测器322中检测的表示最小字符尺寸的值372输出给差可读性块提取器308，作为新的预定尺寸374(S324)。
差可读性块提取器308将用于分类差可读性块的预定尺寸改变为从预定尺寸改变器324输入的新的预定尺寸374，然后再次提取差可读性块。差可读性块提取器308向差可读性块分配块编号，并向文件显示单元110和转换目标提取器114输出包括各个差可读性块的块编号、其在文件信息中的位置信息、以及包括其在屏幕上的位置信息的数据364(S308)。
当从显示数据提取器106输入包括显示数据及其在文件信息中的位置信息的数据160时，差可读性块提取器308向最小尺寸检测器322输入数据160。而由差可读性提取器308执行的处理与由第一实施例中的差可读性块提取器108执行的处理相同。
图23是由信息呈现装置300显示的画面的示例。
另外，在第三实施例的描述中，使用图8中所示的文件作为输入文件的示例。当输入文件为结构化数据(例如，HTML格式的数据)并通过换行进行显示时，如图12所示显示该文件。当缩小所显示的文件时，如图13所示显示该文件。
当用户在图13所示的显示状态下指示放大所显示的内容时，假设该显示状态返回到图12所示的状态。此时，提取表示在图13中所示的显示屏上未被框架包围的文本中的最小字符尺寸的值，并且将用于分类差可读性块的预定尺寸改变为表示该最小字符尺寸的值。因此，显示状态改变为图20中所示的状态，而不是图12中所示的状态。即，尽管在屏幕上显示的文本与图12中所示的相同，但是在图12中缺少的表示可被选择用于朗读的候选块的框架显示在主体区域中，并且对其分配块编号。
当用户指示缩小所显示的内容时，画面变为图23中所示的画面。即，尽管在屏幕上显示的文本与图13中所示的相同，但是在图13中缺少的表示可被选择用于朗读的候选块的框架显示在标题区域中，并且对其分配块编号。
根据第三实施例，可以根据用户的操作状态自动地调整用于确定不可读性的标准。
第四实施例下面将描述根据本发明第四实施例的信息呈现装置。使用相同的附图标记来表示与对第一实施例相关的部分等，并将省略对其的描述。
图24是表示根据第四实施例的信息呈现装置400的结构的示意性框图。图25是由信息呈现装置400执行的操作的流程图。
在信息呈现装置400中，可以根据用户的指示改变用于分类差可读性块的预定尺寸。
当用户401使用十字形键等指示改变用于分类差可读性块的预定尺寸时(即，当步骤S426的结果为“是”时)，预定尺寸改变接受器426向差可读性块提取器408输出新的预定尺寸474(S424)。
差可读性块提取器408将用于分类差可读性块的预定尺寸改变为从预定尺寸改变接受器426输入的新的预定尺寸474，然后再次提取差可读性块。差可读性块提取器408向差可读性块分配块编号，并且向文件显示单元110和转换目标提取器114输出包括各个差可读性块的块编号、其在文件信息中的位置信息、以及其在屏幕上的位置信息的数据464(S408)。由差可读性提取器408执行的处理与由第一实施例中的差可读性块提取器108执行的处理相同。
根据第四实施例，当用于分类不可读文本的标准不适合于用户时，可以根据用户的指示调整用于分类不可读性的标准。另外，与第二实施例或第三实施例相结合，当根据第二实施例或第三实施例自动调整的预定尺寸并不适合于用户时，可以根据用户的指示调制用于分类不可读性的标准。
第五实施例下面将参照图26至图28来描述根据本发明第五实施例的信息呈现装置，并且如果需要将参照描述第一实施例所参照的附图。使用相同的附图标记来表示与对于第一实施例所描述的部分相对应的部分等，并将省略对其的描述。
图26是表示根据第五实施例的信息呈现装置500的结构的示意性框图。图27是由信息呈现装置500执行的操作的流程图。
在信息呈现装置500中，部分容纳在屏幕上的文本也可以分类为可读性差并且可由块选择器112进行选择。
基于从版面分析器104输入的数据156(其包括文本块及其在文件信息中的位置信息)，并基于从显示数据提取器106输入的数据160(其包括显示数据及其在文件信息中的位置信息)，差可读性块提取器508提取待显示在屏幕上的单个文本块作为显示块，并将其中仅部分地显示数据156中的文本块的显示块分类为差可读性块(S508)。当在屏幕的周边区域中设定无效区域，以使显示块仅包括无效区域时，可以从差可读性块重排出该显示块。即，当仅显示文本块的很小部分时，可以从可由块选择器112选择的候选块中排除相关的显示块。这用于限制作为用于选择的候选块的数量，从而改善操作的容易性。由差可读性提取器508执行的处理与由第一实施例中的差可读性块提取器108执行的处理相同。
图28表示由信息呈现装置500显示的画面的示例。
另外，在第五实施例的描述中，图8中所示的文件用作输入文件的示例。当原样显示该文件时，如图28所示显示该文件。即，尽管不存在其中字符尺寸小于或等于预定尺寸的显示块，但是存在其中文本部分地容纳在右侧的显示块。因此，显示表示可被选择用于朗读的候选块的框架，并对其分配块编号。当用户按下与块编号相对应的键时，朗读对应块中的文本(其包括未显示在屏幕上的部分)。
根据第五实施例，即使当由于文本并未完全容纳在屏幕中(尽管字符尺寸足够大)，所以文本的内容的可读性差时，也可容易地选择该文本并可以对其进行朗读以进行听取。
第六实施例下面将参照图29至图31来描述根据本发明第六实施例的信息呈现装置。使用相同的附图标记来表示与对第一实施例描述的部分相对应的部分等，并将省略对其的描述。
图29是表示根据第六实施例的信息呈现装置600的结构的示意性框图。图30是由信息呈现装置600执行的操作的流程图。
在信息呈现装置600中，当在输入文件中包括与文本数据相关联的语音数据时，输出该相关联的语音数据，以使得可以朗读该文本。
包含在由文件输入单元602输出的文件信息654(S602)中的文本数据可伴随有相关联的语音数据。
当该文本数据伴随有语音数据时，版面分析器604将包括文本块、各个文本块在文件信息中的位置信息以及相关语音信息的数据656输出到差可读性块提取器608(S604)。包括文本块、各个文本块的位置信息以及相关联的语音信息的数据656的数据结构是任意的。例如，如图31所示，该数据结构可以包括多组表示为一维数组形式的、各个文本块的内容及表示文本块在文件信息中的位置的起始地址和结束地址，以及与文本块相关联的语音数据的内容。该语音数据的格式是任意的，并且例如可以是WAVE格式或MP3格式。当文本数据并未伴随有语音数据时，使用表示缺少语音数据的预定数据来代替语音数据。而由版面分析器604执行的处理与由第一实施例中的版面分析器104执行的处理相同。
差可读性块提取器208将包括文本块、其在文献信息中的位置信息以及相关联的语音信息的数据656输出到转换目标提取器614(S608)。由差可读性提取器608执行的处理与由第一实施例中的差可读性块提取器108执行的处理相同。
当所提取的朗读目标文本数据伴随有语音数据时，转换目标提取器614将该语音数据作为朗读目标语音数据676输出到语音输出单元616(S614)。由转换目标提取器614执行的处理与由第一实施例中的转换目标提取器114执行的处理相同。
当从转换目标提取器614输入朗读目标语音数据676时，语音输出单元616将该语音数据转换为语音信号并通过扬声器等输出该语音信号(S616)。由语音输出单元616执行的处理与由第一实施例中的语音输出单元116执行的处理相同。
在根据第六实施例的信息呈现装置600中，当在输入文件中，文本数据伴随有语音数据时，输出基于相关联的语音数据的声音而不使用语音合成，从而可输出更适合的声音。另外，当假设在输入文件中的所有文本数据都伴随有语音数据时，可以省略语音合成功能。
第七实施例下面将参照图32至图34来描述根据本发明第七实施例的信息呈现装置。使用相同的附图标记来表示与对第一实施例描述的部分相对应的部分等，并将省略对其的描述。
图32是表示根据第七实施例的信息呈现装置700的结构的示意性框图。图33是由信息呈现装置700执行的操作的流程图。
在信息呈现装置700中，与文本的情况相似，将包括在待显示在屏幕上的文件中的乐谱分为一些块，从这些块中估测可读性可能较差的块，并将那些可能可读性差的块显示为与其它块不同，并且分别向可读性差的块分配块编号。当用户按下与用户感兴趣的乐谱块的块编号相对应的数字键时，演奏对应的乐谱块的内容，以聆听演奏。
文件输入单元702从包括文本或乐谱或者包括文本和乐谱的文件752提取文件信息754，并向版面分析器704输出文件信息754(S702)。这里假设乐谱数据伴有相关联的演奏数据。
版面分析器704从由文件输入单元702输入的文件信息754中提取包括乐谱块、各个乐谱块的位置信息、以及相关联的演奏数据的数据778，并将数据778输出到差可读性块提取器708(S704)。包括乐谱块、乐谱块的位置信息、以及相关联的演奏数据的数据778的数据结构是任意的。例如，如图34所示，该数据结构可以包括多组各个乐谱块的内容、乐谱块待设置在文件信息的二维版面中的位置的左上角坐标和右下角坐标、以及与乐谱块相关联的演奏数据的内容。演奏数据的格式是任意的，例如可以是MIDI格式、WAVE格式或MP3格式。由版面分析器704执行的处理与由第一实施例中的版面分析器104执行的处理相同。
差可读性块提取器708将从版面分析器704输入的数据778(其包括乐谱块、各个乐谱块的位置信息、以及相关联的演奏数据)输出到转换目标提取器714。另外，基于包括乐谱块、各个乐谱块的位置信息的数据778，并基于包括显示数据以及显示数据在文件信息中的位置信息的数据160，差可读性块提取器708提取与待显示在屏幕上的乐谱的单个乐谱块相对应的显示块。然后，差可读性块提取器708计算显示在各个显示块中的乐谱的谱线间隔，将其中谱线间隔小于或等于预定间隔的显示块分类为差可读性块，并向差可读性块分配块编号。然后，差可读性块提取器708向文件显示单元110和转换目标提取器714输出数据164(包括各个差可读性块的块编号、各个差可读性块在文件信息中的位置信息、以及各个差可读性块在屏幕上的位置信息)(S708)。
可以任何方式限定谱线间隔，例如，根据显示在屏幕上的一对谱线之间的像素数量或实际尺寸。而由差可读性块提取器708执行的处理与由第一实施例中的差可读性块提取器108执行的处理相同。
当由块选择器112选择的块为乐谱块时(即，当步骤S713的结果为“乐谱”时)，转换目标提取器714基于从块选择器112输入的块编号、从差可读性块提取器708输入的数据164(其包括各个差可读性块的块编号以及各个差可读性块在文件信息中的位置信息)、以及数据778(其包括乐谱块、各个乐谱块在文件信息中的位置信息、以及相关联的演奏数据)提取要演奏的演奏数据780，并将演奏数据780输出到音乐输出单元728(S714)。当所选择的块为文本块时(即，当步骤S713的结果为“文本”时)，由转换目标提取器714执行的处理与由第一实施例中的转换目标提取器114执行的处理相同。
音乐输出单元728将从转换目标提取器714输入的待演奏的演奏数据780转换为音乐，并通过扬声器等输出该音乐(S728)。
根据第七实施例，可以容易地选择所显示的文件中的可读性差的乐谱，并且可以演奏乐谱的内容以进行聆听。
尽管已经描述了根据这些实施例的信息呈现装置尤其用于具有小显示屏的便携式装置，但并不限于此，该信息呈现装置可用于固定装置或具有大显示屏的装置。
根据上述实施例的信息呈现装置可以硬件的形式或计算机软件的形式实现。例如，对于第一实施例，生成一程序，以使得可以由计算机来执行图3中所示的版面分析器104、显示数据提取器106、差可读性块提取器108、文件显示单元110、块选择器112、转换目标提取器114、以及语音输出单元116的功能，并将该程序加载到计算机的存储器中并执行该程序，从而实现图3中所示的信息呈现装置100。同样，可以计算机软件(程序)的形式实现根据第二至第七实施例的信息呈现装置。
如图35所示，用于实现根据这些实施例的信息呈现装置的程序可以存储在便携式记录介质832(例如，CD-ROM、CD-RW、DVD-R、DVD-RAM、DVD-RW或软盘)中，或者存储在可以通过通信线路834访问的存储装置836中、或者存储在存储装置或记录介质838(例如，计算机系统830的硬盘或RAM)中。将这些程序加载到主存储器中并在其中执行这些程序。
权利要求
1.一种用于呈现信息的装置，所述装置具有显示屏，该装置包括文件输入单元(102)，用于输入文件，并从所述文件提取文件信息，所述文件包括文本块，该文本块包含至少一个字符；版面分析器(104)，用于从所述文件信息提取所述文本块，并提取所述文本块在所述文件信息中的位置信息；显示数据提取器(106)，用于基于当前显示位置和当前显示比例系数，从所述文件信息提取显示数据；差可读性块提取器(108)，其包括下述的辅助单元，该辅助单元根据所述文本块及其在所述文件信息中的位置信息，以及所述显示数据及其在所述文件信息中的位置信息，从所述显示数据提取所述文本块作为显示块；下述的辅助单元，当所述屏幕上的显示块中的所述字符的尺寸小于或等于预定尺寸时，该辅助单元将所述显示块分类为差可读性块；以及下述的辅助单元，该辅助单元用于向所述差可读性块分配块编号；所述差可读性块显示在所述屏幕上，相区别地显示所述差可读性块的区域；文件显示单元(110)，用于在所述屏幕上显示所述显示数据；块选择器(112)，用于根据用户的指示选择待朗读的块；转换目标提取器(114)，其基于所述选择的块的所述块编号、所述差可读性块的所述块编号及其在所述文件信息中的位置信息、以及所述文本块及其在所述文件信息中的位置信息，提取待朗读的文本数据；以及语音输出单元(116)，用于将待朗读的所述文本数据转换为发声的语音输出。
2.根据权利要求1所述的装置，还包括朗读目标指定接受器(220)，用于接受用户对待朗读文本的指定，并提取待朗读文本的坐标数据；最小尺寸检测器(222)，其基于所述坐标数据和所述显示数据，检测在待朗读的所述文本中的所述字符的最小尺寸值；预定尺寸改变器(224)，当所述预定尺寸的当前值小于所述字符的最小尺寸时，其将所述预定尺寸改变为所述字符的所述最小尺寸；所述转换目标提取器(214)还基于所述坐标数据、所述文本块及其在所述文件信息中的位置信息、以及所述显示数据及其在所述文件信息中的位置信息，提取待朗读的文本数据；并且所述差可读性块提取器(208)还根据所述改变的预定尺寸再次提取所述差可读性块。
3.根据权利要求1所述的装置，还包括显示位置和显示比例系数改变器(318)，用于根据用户的指示改变所述显示位置或所述显示比例系数；最小尺寸检测器(322)，当改变所述显示比例系数的所述指示表示放大时，基于放大前的显示数据及其在所述文件信息中的位置信息，检测在所述显示数据中但并不包括在所述差可读性块中的所述字符的最小尺寸值；以及预定尺寸改变器(324)，用于将所述预定尺寸改变为所述字符的所述最小尺寸；所述显示数据提取器(106)基于所述当前显示位置和所述当前显示比例系数、以及改变所述显示位置或所述显示比例系数的所述指示，从所述文件信息中提取显示数据；并且所述差可读性块提取器(308)还根据所述改变的预定尺寸再次提取所述差可读性块。
4.根据权利要求1、2或3所述的装置，还包括预定尺寸改变接受器(426)，用于接受用户改变所述预定尺寸的指示，并根据该指示提取新的预定尺寸；所述差可读性块提取器(408)还根据所述新的预定尺寸再次提取所述差可读性块。
5.根据权利要求1所述的装置，其中所述差可读性块提取器(508)还包括下述的辅助单元，该辅助单元用于将仅包括所述文本块的部分的所述显示块分类为差可读性块；以及下述的辅助单元，该辅助单元用于向所述差可读性块分配块编号。
6.根据权利要求1、2、3或5所述的装置，其中所述文本块伴随有语音数据，所述文本数据包括在由所述文件输入单元(602)提取的所述文件信息中；所述版面分析器(604)还从所述文件信息中提取所述语音数据；所述转换目标提取器(614)还提取与待朗读的所述文本数据相关联的所述语音数据；并且所述语音输出单元(616)还将所述语音数据转换为发声的语音输出。
7.根据权利要求1所述的装置，还包括音乐输出单元(728)，用于将演奏数据转换为音乐声音输出；所述文件信息包括伴随有演奏数据的乐谱块；所述版面分析器(704)还提取所述乐谱块及其在所述文件信息中的位置信息、以及与所述乐谱块相关联的演奏数据；所述差可读性块提取器(708)还包括下述的辅助单元，该辅助单元根据所述乐谱块及其在所述文件信息中的位置信息，以及所述显示数据及其在所述文件信息中的位置信息，从所述显示数据提取所述乐谱块作为显示块；下述的辅助单元，当所述屏幕上的显示块中的谱线间隔小于或等于预定间隔时，该辅助单元用于将所述显示块分类为差可读性块；以及下述的辅助单元，该辅助单元用于向所述差可读性块分配块编号；所述转换目标提取器(714)还基于所述选择的块的所述块编号、所述差可读性块的所述块编号和所述差可读性块在所述文件信息中的所述位置信息、以及所述乐谱块及其在所述文件信息中的位置信息，提取与待演奏的所述乐谱数据相关联的所述演奏数据。
8.一种存储程序的介质，该程序用于指示计算机执行呈现信息的处理，所述计算机具有显示屏，所述介质对于所述计算机是可读的，所述处理包括文件输入步骤(S102)，用于输入文件，并提取所述文件的文件信息，所述文件包括包含至少一个字符的文本块；版面分析步骤(S104)，用于从所述文件信息提取所述文本块，并提取所述文本块在所述文件信息中的位置信息；显示数据提取步骤(S106)，用于基于当前显示位置和当前显示比例系数，从所述文件信息提取显示数据；差可读性块提取步骤(S108)，其包括下述的辅助步骤，该辅助步骤根据所述文本块及其在所述文件信息中的位置信息，以及所述显示数据及其在所述文件信息中的位置信息，从所述显示数据提取所述文本块作为显示块；下述的辅助步骤，当所述屏幕上的显示块中的所述字符的尺寸小于或等于预定尺寸时，该辅助步骤将所述显示块分类为差可读性块；以及下述的辅助步骤，该辅助步骤用于向所述差可读性块分配块编号；所述差可读性块显示在所述屏幕上，相区别地显示所述差可读性块的区域；文件显示步骤(S110)，用于在所述屏幕上显示所述显示数据；块选择步骤(S112)，用于根据用户的指示选择待朗读的块；转换目标提取步骤(S114)，其基于所述选择块的所述块编号、所述差可读性块的所述块编号及其在所述文件信息中的位置信息、以及所述文本块及其在所述文件信息中的位置信息，提取待朗读的文本数据；以及语音输出步骤(S116)，用于将待朗读的所述文本数据转换为发声的语音输出。
9.根据权利要求8所述的介质，所述处理还包括朗读目标指定接受步骤(S220)，用于接受用户对待朗读文本的指定，并提取待朗读文本的坐标数据；最小尺寸检测步骤(S222)，基于所述坐标数据和所述显示数据，检测待朗读的所述文本中的所述字符的最小尺寸值；预定尺寸改变步骤(S224)，当所述预定尺寸的当前值小于所述字符的最小尺寸时，将所述预定尺寸改变为所述字符的所述最小尺寸；所述转换目标提取步骤(S214)还包括下述的辅助步骤，该辅助步骤基于所述坐标数据、所述文本块及其在所述文件信息中的位置信息、以及所述显示数据及其在所述文件信息中的位置信息，提取待朗读的文本数据；并且所述差可读性块提取步骤(S208)还包括下述的辅助步骤，该辅助步骤根据所述改变的预定尺寸再次提取所述差可读性块。
10.根据权利要求8所述的介质，所述处理还包括显示位置和显示比例系数改变步骤(S318)，用于根据用户的指示改变所述显示位置或所述显示比例系数；最小尺寸检测步骤(S322)，当改变所述显示比例系数的所述指示表示放大时，基于放大前的显示数据及其在所述文件信息中的位置信息，检测在所述显示数据中但并不包括在所述差可读性块中的所述字符的最小尺寸值；以及预定尺寸改变步骤(S324)，用于将所述预定尺寸改变为所述字符的所述最小尺寸；所述显示数据提取步骤(S106)包括下述的步骤，该步骤基于所述当前显示位置和所述当前显示比例系数、以及改变所述显示位置或所述显示比例系数的所述指示，从所述文件信息中提取显示数据；并且所述差可读性块提取步骤(S308)还包括下述的辅助步骤，该辅助步骤根据所述改变的预定尺寸再次提取所述差可读性块。
11.根据权利要求8所述的介质，所述处理还包括预定尺寸改变接受步骤(S426)，用于接受改变所述预定尺寸的用户指示，并根据该指示提取新的预定尺寸；所述差可读性块提取步骤(S428)还包括下述的辅助步骤，该辅助步骤根据所述新的预定尺寸再次提取所述差可读性块。
12.根据权利要求8所述的介质，其中所述差可读性块提取步骤(S508)还包括下述的辅助步骤，用于将仅包括所述文本块的部分的所述显示块分类为差可读性块；以及下述的辅助步骤，用于向所述差可读性块分配块编号。
13.根据权利要求8所述的介质，其中所述文本块伴随有语音数据，所述文本数据包括在所述文件输入步骤(S602)提取的所述文件信息中；所述版面分析步骤还包括下述的辅助步骤，该辅助步骤从所述文件信息中提取所述语音数据；所述转换目标提取步骤(S614)还包括下述的辅助步骤，该辅助步骤提取与待朗读的所述文本数据相关的所述语音数据；并且所述语音输出步骤(S616)还包括下述的辅助步骤，该辅助步骤将所述语音数据转换为发声的语音输出。
14.根据权利要求8所述的介质，所述处理还包括音乐输出步骤(S728)，用于将演奏数据转换为音乐声音输出；所述文件信息包括伴随有演奏数据的乐谱块；所述版面分析步骤(S704)还包括下述的辅助步骤，该辅助步骤提取所述乐谱块及其在所述文件信息中的位置信息、以及与所述乐谱块相关联的演奏数据；所述差可读性块提取步骤(S708)还包括下述的辅助步骤，该辅助步骤根据所述乐谱块及其在所述文件信息中的位置信息，以及所述显示数据及其在所述文件信息中的位置信息，从所述显示数据提取所述乐谱块作为显示块；下述的辅助步骤，当所述屏幕上的显示块中的谱线间隔小于或等于预定间隔时，该辅助步骤将所述显示块分类为差可读性块；以及下述的辅助步骤，该辅助步骤用于向所述差可读性块分配块编号；所述转换目标提取步骤(S714)还包括下述的辅助步骤，该辅助步骤基于所述选择块的所述块编号、所述差可读性块的所述块编号和所述差可读性块在所述文件信息中的所述位置信息、以及所述乐谱块及其在所述文件信息中的位置信息，提取与待演奏的所述乐谱数据相关联的所述演奏数据。
15.一种用于呈现信息的装置，其包括文本块，该文本块包含至少一个字符，所述装置具有显示屏，该装置包括差可读性块提取器(108)，用于提取待显示在所述屏幕上的所述文本块作为显示块，并且当所述屏幕上的显示块中的所述字符的尺寸小于或等于预定尺寸时，其用于将所述显示块分类为差可读性块，所述差可读性块显示在所述屏幕上，相区别地显示所述差可读性块的区域；块选择器(112)，用于根据用户的指示选择待朗读的块；语音输出单元(116)，用于将待朗读的所述文本数据转换为发声的语音输出。
全文摘要
用于呈现信息的装置及其方法。一种信息呈现装置，其基于屏幕上的显示状态估测可能由用户分类为差可读性块而可能希望朗读的文本块。提供了一种使得能够从这些文本块中进行选择的简单装置。差可读性块提取器将待显示在屏幕上的文本分为与单个文本块相对应的块，将包括尺寸小于或等于预定尺寸的字符的块分类为差可读性块，并且向差可读性块分配块编号。文件显示单元将各个差可读性块的区域显示为与其它区域不同，并且向各个差可读性块分配块编号。当用户按下与块编号相对应的数字键时，朗读各个文本块中的文本。
文档编号G06F3/16GK1834854SQ20051008859
公开日2006年9月20日 申请日期2005年8月4日 优先权日2005年3月16日
发明者村濑健太郎, 渡边一宏 申请人:富士通株式会社