信息呈现设备和信息呈现方法

专利名称：信息呈现设备和信息呈现方法
技术领域：
本发明涉及一种信息呈现设备和信息呈现方法，其适于例如利用多个显示装置来 呈现信息。
背景技术：
现有技术中，当尝试从正在显示装置等上播放的画面等有效地获取信息时，执行 快动作(fast motion)等的播放。这是因为通过快动作播放，可以增加在单位时间内能够 获取的信息量。然而，当观看快动作播放的画面时，用户(观众)常常遗漏必要信息。如果遗漏了信息，可以简单执行倒回(rewind)播放位置的操作。然而存在如下问 题每次当发生遗漏时均需要执行倒带操作，这是麻烦的。此外，这种操作总是会降低信息 采集效率。基于这个原因，通常还可以根据画面的特征自动地调整播放速度，例如，在要被播 放的具有大量动作的画面中降低播放速度，或者在具有少量动作的画面中增加播放速度。例如，日本未审专利申请公布No. 10-243351公开了检测包括声音的画面中的视 觉特征，以及播放所述画面，同时根据所述视觉特征自动调整播放速度。顺便地，还有用户希望在即使具有大量动作的场景中也提高画面播放速度来执行 播放。即，可以这样讲，用户希望降低或提高画面播放速度的场景是根据各个用户所设置的 条件、用户的能力和偏好而不同。也就是说，考虑到如果能够根据用户所设置的条件、用户的能力和偏好来优化待 提供的信息量，用户能够从播放画面有效地获取必要信息。然而，为了根据用户的条件、能 力和偏好来优化所述信息提供量，首先，需要测量用户的条件和能力，并且这种数据测量需 要利用大型装置，例如脑电图仪、心电图仪或NIRS(近红外光谱仪)。也就是说，由于成本上 升，经常难以实现信息呈现系统。另一种想到的用于获取内部条件(例如用户的条件、能力和偏好)的技术是用户 他/她自己报告这些信息。然而，让用户执行例如按键输入的复杂操作增加了施加于给用 户的负担，并且预计到这总会阻碍用户有效获取信息。鉴于以上观点形成本发明，本发明的目的在于通过简单方法适应性地调整提供给 用户的信息量。

发明内容
本发明包括延迟部分和播放速度转换部分，其中延迟部分向播放速度已被转换的 画面加入预定的延迟量，并且将画面输出到多个显示部分之中的第一显示部分以外的显示 部分，播放速度转换部分基于给定变量对输入画面的播放速度进行转换，并且将转换的播 放速度输出到第一显示部分和延迟部分。另外，本发明包括视线位置判断部分和播放速度 确定部分，其中视线位置判断部分判断检测用户视线位置的视线检测部分所检测的视线位 置是否位于多个显示部分的第二显示部分的屏幕上，并且输出判断结果，播放速度确定部分基于视线位置判断部分的判断结果来确定播放速度，并且根据所确定的播放速度把变量 输出到播放速度转换部分。这样，当用户遗漏显示在第一显示部分的信息并且将视线移至对画面加入延迟的 另一个显示部分时，视线的位置信息从视线位置判断部分输出到播放速度确定部分。然后， 在播放速度确定部分中，根据从视线位置判断部分输出的判断结果来确定播放速度，并且 根据确定的播放速度的变量被从播放速度确定部分输出到播放速度转换部分。根据本发明，由于根据用户的视线位置信息来调整播放速度，适应性地调整提供 给用户的信息量。


图1是示出根据本发明第一实施例的系统的结构例子的解释图。图2是示出根据本发明第一实施例的系统的内部结构例子的框图。图3是示出根据本发明第一实施例的信息遗漏检测部分中的处理例子的流程图。图4是示出根据本发明第一实施例中的信息遗漏检测部分中的另一个处理例子 的流程图。图5是示出根据本发明第一实施例的播放速度确定部分中的处理例子的流程图。图6是示出根据本发明第一实施例的播放速度转换部分中的处理例子的解释图， 其中图6(a)示出输入帧，图6(b)示出输出帧。图7是示出根据本发明第一实施例的播放速度转换部分中的另一个处理例子的 解释图，其中图7(a)示出输入帧，图7(b)示出输出帧。图8是示出根据本发明第一实施例的具有大量信息的帧被留下的情况的处理例 子的流程图。图9是示出根据本发明第一实施例的播放速度转换部分中的另一个处理例子的 解释图，其中图9(a)示出输入帧，图9(b)示出输出帧。图10是示出根据本发明第一实施例的另一模式的系统结构例子的解释图。图11是示出根据本发明第一实施例的另一模式的用户操作例子的示意图。图12是示出根据本发明第一实施例的另一模式的信息遗漏检测部分的处理例子 的流程图。图13是示出根据本发明第一实施例的另一模式的播放速度转换处理与用户操作 之间关系的例子的示意图。图14是示出根据本发明第二实施例的系统内部结构的例子的框图。图15是示出根据本发明第二实施例的播放速度/播放位置确定部分的处理例子 的流程图。图16是示出根据本发明第二实施例的信息重新呈现处理例子的解释图。图17是示出根据本发明的另一模式的显示装置的结构例子的解释图。
具体实施例方式在下文参照附图描述本发明第一实施例。在图1(a)示出根据这个实施例的系统 结构的例子。图1 (a)所示的系统包括播放装置1、显示装置2A、显示装置2B、显示装置2C、显示装置2D和显示装置2E、以及视线检测装置3，其中播放装置1以例如两倍速度的播放 速度播放图像、画面等，显示装置2A到2E显示播放画面，视线检测装置3根据用户U的眼 睛位置来检测用户U的视线Ll的位置。显示装置2A到2E和视线检测装置3通过线缆4 连接到播放装置1。应该注意，尽管这个例子应用于使用五个显示装置的情况，但是显示装 置的数目不限于此。图1 (b)示出当从侧向方向观看图1 (a)所示的显示装置2A到2E和观看这些显示 装置的用户U的情况。例如通过液晶面板等构建显示装置2A到2E，并且如图1(b)所示，这 些显示装置在深度方向和垂直方向的放置位置是交错的，由此从用户U看过去它们似乎放 置在纵向直线上。显示装置2A放置在深度方向的最前侧和垂直方向的最下侧。另外，相对于显示装置2A的放置位置，显示装置2B放置在深度方向的后侧和垂直 方向的上侧。随后，显示装置2C、2D和2E的放置位置朝向深度方向的后侧和垂直方向的上 侧逐渐偏移。也就是说，显示装置2A位于用户U的最前侧，显示装置2E位于垂直方向的最 后侧。应该注意，尽管在图1(a)和图1(b)省略了固定显示装置2A到2E的结构示图，但是 安装显示部分的阶梯台、支撑每个显示部分的支柱等，可被用作这个结构。从稍后描述的播放装置1的累积部分30读取的相同内容的画面被显示在显示装 置2A到2E。播放装置1被提供有未示出的延迟部分，从而随着每个显示装置的放置位置向 后侧偏移，被显示在显示装置2A到2E的画面逐渐延迟。因此，画面从显示装置的前侧向后 侧移动的错觉被给予用户U。视线检测装置3是检测用户U的视线Ll的位置的装置，并且放置在便于检测用户 U的视线Ll的位置，例如面对用户U的位置。应该注意，尽管这个例子利用固定型装置作为 视线检测装置3，可以利用用户U佩戴类型的视线检测眼镜。替换地，可以通过安装在远处 的监视相机来检测用户U的视线Ll的位置。尽管用户U正常观看显示在显示装置2A的画面，但是当遗漏信息时，为了跟踪遗 漏的信息，用户U将视线移动到显示从显示在显示装置2A的画面进行延迟的画面的显示装 置。也就是说，这种情况下，用户U的视线Ll从显示装置2A向后侧移动。视线检测装置3 检测这种情况下视线Ll的运动或者用户U的视线Ll的位置，并且将检测结果发送给播放 装置1。接下来，参照图2所示框图描述系统的内部结构的例子。播放装置1包括画面输 入部分10、编码/解码处理部分20、累积部分30、作为视线位置判断部分的信息遗漏检测部 分40、播放速度检测部分50、播放速度转换部分60、以及延迟部分70A、70B、70C和70D。在 图2，要被记录在累积部分30的记录画面由虚线指示，要在显示装置播放的播放画面由交 替长短划线指示，数据由实线指示。画面输入部分10经由输入端子等捕获进入播放装置1的画面信号，并且执行信号 电平转换处理。编码/解码处理部分20执行对从画面输入部分10输入的画面信号进行编 码并将结果作为记录画面输出到累积部分30的处理。另外，编码/解码处理部分20执行 对累积在累积部分30中的压缩画面数据进行解码并将结果输出到播放速度转换部分60的 处理。关于编码速率，使用与从画面输入部分10输入的画面的帧速率相同的编码速率，并 且基于从稍后描述的播放速度确定部分50发送的播放速度Vk (单位多倍速)来解码。播 放速度Vk在播放速度确定部分50中生成并且发送给播放速度转换部分60。然后，在播放速度转换部分60，执行将当前时间(当前时刻)的播放速度V转换成从播放速度确定部分50输出的播放速度Vk的处理。累积部分30例如由HDD (硬盘驱动器)构建，并且累积在编 码/解码处理部分20中编码的画面。基于从视线检测装置3输入的检测结果，信息遗漏检测部分40将用户U的视线位 置与显示装置2A到2E的每一个的放置位置相关联，并且当判断用户U的视线Ll位于显示 装置2A以外的位置时，判断出现了用户遗漏信息，并且将检测结果发送给播放速度确定部 分50。如果判断用户U的视线Ll保持关注在显示装置2A，则指示没有出现用户U遗漏信 息的判断结果被发送给播放速度确定部分50。播放速度确定部分50具有用于对当前播放速度V加速的变量Pinc和用于对当前 播放速度V减速的变量Pdec，并且根据从信息遗漏检测部分40发送的检测结果，确定将使 用变量Pinc和变量Pdec中的哪一个。例如1. 5的数值用作变量Pinc，例如0. 5用作变量 Pdec0播放速度确定部分50将当前播放速度V与这些变量之一相乘以计算播放速度VL· Pinc的值可以是大于1的任何值，Pdec的值可以是大于0而小于1的任何值。然后，计算 的播放速度Vk输出到播放速度转换部分60。将稍后描述关于信息遗漏检测部分40和播放 速度确定部分50的处理细节。播放速度转换部分60包括画面处理部分61和声音处理部分62。画面处理部分 61执行对播放速度转换从而编码/解码处理部分20输出的画面的播放速度V变为播放速 度确定部分50输入的播放速度Vk的处理。然后，播放速度已转换的画面被提供给显示装 置2A以及延迟部分70A、延迟部分70B、延迟部分70C和延迟部分70D。声音处理部分62执 行不改变音调(Pitch)而转换播放速度的处理，通过例如去除声音信号中的静默部分或连 续声音特征部分的技术。在日本未审专利申请公开No. 2000-99097中描述了用于转换声音 播放速度的具体处理例子。将稍后描述关于播放速度转换部分60 (画面处理部分61)的处 理细节。延迟部分70A将D秒的延迟量施加到从播放速度转换部分60输出的画面，并且将 结果发送到显示装置2B和延迟部分70B。D秒例如是两秒等，并且根据显示装置2的数目或 者用户的信息获取能力和偏好可以设置为任意值。延迟部分70B还将D秒的延迟施加到从 延迟部分70A发送的画面，并且将结果输出到显示装置2C和延迟部分70C。延迟部分70C 还将D秒的延迟施加到从延迟部分70B发送的画面，并且将结果输出到显示装置2D和延迟 部分70D。延迟部分70D还将D秒的延迟施加到从延迟部分70C发送的画面，并且将结果输 出到显示装置2E。也就是说，从显示在显示装置2A的画面延迟4D秒的画面被显示在显示 装置2E。接下来，参照图3的流程图描述信息遗漏检测部分40的处理例子。首先，基于从视 线检测装置3输入的视线位置信息，信息遗漏检测部分40判断用户U的视线是否位于最前 侧的屏幕，即位于显示装置2A(步骤Si)。如果判断用户U的视线Ll位于显示装置2A，认 为没有发生用户U遗漏信息(步骤S2)，并且输出指示“没有发生遗漏”的检测结果(步骤 S4)。如果判断用户U的视线没有位于显示装置2A，认为发生用户U遗漏信息(步骤S3)， 并且输出指示“发生遗漏”的检测结果。应该注意在图3所示的例子中，根据用户U的视线Ll的位置是否位于最前侧的显 示装置2A的标准来判断是否发生用户U遗漏信息。然而，可以利用另一种标准判断。例如，可以一起考虑视线Ll的运动信息和视线Ll的位置信息。图4示出这种情况的处理例子。在图4，信息遗漏检测部分40首先判断用户U的视线Ll是否从最前侧(即显示装置2A的放置位置)向后侧移动(步骤Sll)。如果判断用户U的视线Ll向后侧移动，认为 发生用户U遗漏信息，并且判断“发生遗漏”(步骤S12)并且输出检测结果(判断结果)。 如果判断用户U的视线Ll没有从显示装置2A的放置位置向后侧移动，接下来，判断用户U 的视线Ll是否位于最后屏幕，即显示装置2E (步骤S14)。如果判断用户U的视线Ll位于显示装置2E，认为发生了用户U遗漏信息(步骤 S12)，并且输出指示“发生遗漏”的检测结果(步骤S13)。如果判断用户U的视线Ll没有 位于显示装置2E，认为没有发生用户U遗漏信息(步骤S15)，并且输出指示“没有发生遗 漏”的检测结果(步骤S13)。接下来参照图5的流程图，描述播放速度确定部分50的处理例子。首先，基于从 信息遗漏检测部分40发送的检测结果，播放速度确定部分50判断是否发生用户U遗漏信 息(步骤S21)。如果从信息遗漏检测部分40发送的检查结果指示“发生遗漏”，这个时刻的 播放速度V与变量Pdec相乘以计算播放速度Vk (步骤S22)。如果Pdec是0. 5并且这个时 刻的播放速度V是1倍速度，播放速度Vk是0. 5 (Pdec) X 1 (V) = 0. 5倍速度。也就是说， 如果判断发生用户U遗漏信息，执行对播放速度减速的处理。应该注意，当播放速度V是1 倍速度时的情况是指保持被记录在累积部分30的画面的帧速率的同时执行播放的情况。如果从信息遗漏检测部分40发送的检测结果指示“没有发生遗漏”，这个时刻的 播放速度V与变量Pinc相乘以计算播放速度Vk (步骤S23)。如果Pinc是1. 5并且播放速 度V是1倍速度，播放速度Vk是1.5X1 = 1.5倍速度。然后，在步骤S22或步骤S23计算 的播放速度Vk被输出到编码/解码处理部分20和播放速度转换部分60 (步骤S24)。也就 是说，如果判断没有发生用户U遗漏信息，判断用户仍有获取信息的一些余地，并且执行对 播放速度加速的处理。在播放速度转换部分60，播放速度Vk是经历播放速度转换之前的值。在播放速 度转换部分60，执行将这个时刻的播放速度V转换成播放速度Vk的处理，即将播放速度 Vk转换成新的播放速度V的处理。因此，每当需要时，基于播放速度Vk来改变播放速度 V。例如，如果播放速度V是1. 5倍并且在步骤S21判断发生了信息遗漏，在步骤S22，计算 0. 5 (Pdec) X 1. 5 (播放速度V)，从而播放速度Vk获得为0. 75。然后，通过播放速度转换部 分60的播放速度转换处理，播放速度Vk =播放速度V = 0. 75倍速度。接下来，参照图6描述播放速度转换部分60的处理例子。图6(a)示出从左侧开 始按照时间顺序依次放置输入到播放速度转换部分60的帧的状态，图6(b)示出同样从左 侧开始按照时间顺序依次放置从播放速度转换部分60输出的各个帧的状态。在图6，为各 个帧分配帧号Π到fn (η是自然数)。获得输入到播放速度转换部分60的帧数目为播放速度VkX块大小B。执行播放 速度转换部分60的例程的时间间隔T乘以累积在累积部分30中的画面的帧速率fr，以计 算块大小B。例如，如果执行播放速度转换部分60的例程的时间间隔T是一秒，并且累积在 累积部分30的画面的帧速率是30fps，块大小B是I(T) X 30 (B) = 30 (帧)。然后，如果播 放速度Vk是3，输入到播放速度转换部分60的帧数目是30 X 3 = 90 (帧)。换言之，输入到播放速度转换部分60的帧数目是编码/解码处理部分20从累积部分30提取的帧数目。编码/解码处理部分20基于从播放速度确定部分50输入的播放 速度Vk、记录在累积部分30的画面的帧速率fr、和执行播放速度转换部分60的例程的时 间间隔T，计算从累积部分30提取的帧数目。然后，与计算的帧数目相等的数目的帧被提取 并输出到播放速度转换部分60。图6 (a)示出90帧的画面输入到播放速度转换部分60的例子。播放速度转换部 分60以固定采样间隔对帧进行稀疏处理，来进行播放速度转换从而使得获取的帧落入块 大小B。例如，如果块大小B是30，执行以3帧为单位将获取的90帧稀疏成30帧的处理。 图6(b)示出稀疏为30帧的帧，示出稀疏后的30帧由从编码/解码处理部分20输入的帧
的帧号fl、f4、f7、flO......f88组成。在图6所示的例子中，通过这个处理，播放速度增 大3倍。由于不需要利用复杂结构就能够实现这个技术，利用这种技术能够将硬件尺寸保 持较小。应该注意，尽管图6所示例子涉及以固定采样间隔对从编码/解码处理部分20输 入的帧进行稀疏化处理来执行播放速度转换的情况，但是可以通过对帧速率自身进行转换 来对播放速度转换。例如，通过将图7 (a)所示的90帧的帧速率从30fps转换成90fps，可 以如图7(b)所示以90fps的帧速率输出等价于90帧的画面。由于这个处理输出所有输入 帧，减小了输出画面中的闪烁，从而使得可以获得高质量画面。替换地，通过从编码/解码处理部分20输入的诸个帧中仅提取具有大量信息的帧 作为进行播放的帧，来执行速度转换。图8的流程图示出这种情况的处理例子。以一秒间 隔(即T = 1)执行图8所示的处理。首先，通过编码/解码处理部分20从累积部分30获 取与播放速度VkX块大小B相等数目的帧(步骤S31)。接下来，在计算帧号fx (χ表示1 到η之间的预定号码)的帧内的每个目标像素与它的相邻像素之间的像素值差以后，计算 与相邻像素的像素值差等于或大于阈值Th的像素总数Si (步骤S32)。也就是说，对从编码 /解码处理部分20输入的所有帧，计算上述的像素总数Si。在步骤S31，例如，如果播放速度Vk是1. 5并且块大小是30，获取1. 5Χ 30 = 45 帧。因此，在步骤S32处理的帧号是fl到f45。至于步骤S32使用的阈值Th，设置例如50 的数值。对步骤S31获取的所有帧执行步骤S32的处理。在步骤S33，判断所有帧的处理是 否完成。如果判断在所有帧中完成了处理，接下来，执行处理以提取等同于所述块大小的数 目的帧，其具有较大的与相邻像素的像素值差等于或大于阈值Th的像素总数Si，并且按照 帧号顺序输出帧(步骤S34)。图9示出当执行这个处理时的情况的例子。图9(a)示出按照最低帧号的顺序从 左侧开始布置被输入到播放速度转换部分60的45帧的状态。图9 (b)示出从这些45帧之 中提取与块大小相等的数目的帧，即具有较大Si的30帧(Si表示与相邻像素的像素值差 等于或大于阈值Th的像素总数)，并且按照帧号顺序进行布置的状态。图9(b)示出从播放
速度转换部分60输出的30帧由帧号f2、f3、f5、f7、f9、fl0......f25组成。也就是说，根
据图8和图9所示的方法，通过仅提取具有大信息量的帧，能够对播放速度加速(在图8和 图9的例子中增大1. 5倍)。另外，根据这个处理，在输入帧之中，以高概率包含大量字符信 息(例如字幕，telop)的帧能够被留下，由此消除了通过速度转换处理删除用户所需信息 的情形。这使得用户U高效地获取信息。
根据上述这个实施例的结构和处理，基于用户U的视线Ll的位置信息或者视线Ll 在时间方向的转变信息，判断是否发生用户U遗漏信息，并且如果判断发生遗漏，执行对播 放速度减速的处理。因此，即使当用户U遗漏信息时，能够有充分余地在放置在后侧的显示 装置的屏幕上检查所述遗漏信息。另外，如果判断没有发生遗漏，认为用户U仍有获取信息的更多余地，并且播放速 度变得更快。因此，用户U能够更加有效地获取信息。另外，由于自动判断是否发生用户U遗漏信息，不需要使得用户U报告他的/她的 内部状态。因此，没有对用户U强加负担，并且用户U能够集中于信息获取。应该注意，待呈现在显示装置2A到2E的信息不一定是画面，并且可以是静止图像 或仅字符信息，例如字幕。应该注意，上述实施例被配置为如果用户的视线Ll位于显示装置2A则提高画面 播放速度。然而，还可以有这样的配置，其中当用户U的视线Ll位于显示装置2A时，播放 速度没有改变。
另外，尽管上述实施例涉及在纵向方向(深度方向)布置显示装置2A到2E的情 况，但是显示装置2A到2E可以布置在横向方向。在图10示出这种情况下的系统结构例子。 在图10，与图1对应的部分由相同附图标记表示。显示装置2A位于图10的右端，显示装置 2B以预定间隔位于显示装置2A的左侧。随后，同样地，显示装置2C、显示装置2D和显示装 置2E分别位于显示装置2B、显示装置2C和显示装置2D的左侧。这个系统的内部结构与图2所示的结构相同。也就是说，显示装置2A直接与播放 速度转换部分60连接，而播放装置2B到2E分别与延迟部分70A到70D连接。因此，没有 加入延迟的画面显示在显示装置2k,与显示在显示装置2A的画面延迟2D的画面显示在显 示装置2B，与显示在显示装置2A的画面延迟4D的画面显示在最左端的显示装置2E。这使 得用户U幻觉在每个显示装置2显示的画面从右向左移动，即从显示装置2A侧向显示装置 2E侧移动。在图10所示的系统中，当用户U在观看放置于中心的显示装置2C(第二显示部 分)时遗漏例如字幕的信息时，为了再次检查遗漏信息，视线移至显示从显示装置2C时间 延迟的画面的显示装置2D或显示装置2E。也就是说，如果遗漏了信息，视线在向左方向移 动。另外，当希望观看正在显示装置2C显示的画面的未来画面时，用户U将视线移至显示 装置2B或显示装置2A，其已经显示从现在起将被显示在显示装置2C的画面。也就是说， 如果没有发生遗漏信息并且仍然有获取信息的更多余地，视线在向右方向移动。图11是这 种情况的用户U操作的示意图。如图11所示，当希望再次检查遗漏的画面时，用户U在向 左方向(箭头Al的方向)偏移视线，并且当希望观看时间未来画面时，用户U在向右方向 (箭头A2的方向)偏移视线。在图10所示的例子中执行处理，其中当用户U的视线位于中心的显示装置2C时， 没有转换播放速度；当视线移向右侧时，提高播放速度；当视线移向左侧时，降低播放速 度。参照图12描述这种情况的信息遗漏检测部分40 (见图2)的处理例子。首先，基于从 视线检测装置3发送的信息，信息遗漏检测部分40判断用户U的视线是否位于中心的显示 装置2C的屏幕(步骤S41)。如果判断用户U的视线Ll位于中心的屏幕(显示装置2C的 屏幕)，处理结束而不执行任何操作。
如果判断用户U的视线Ll不在中心屏幕，接下来，判断用户U的视线Ll是否位于显示装置2C左侧的显示装置的屏幕(步骤S42)。如果判断用户U的视线Ll位于左侧的屏 幕，判断发生用户U遗漏信息(步骤S43)，并且指示“发生遗漏”的检测结果发送至播放速 度确定部分50(见图1)(步骤S44)。如果在步骤S42判断用户U的视线Ll不在左侧的屏幕，接下来，判断用户U的视 线Ll是否位于右侧的屏幕(步骤S45)。如果判断用户U的视线Ll不在右侧的屏幕，判断 没有发生用户U遗漏信息(步骤S46)，并且指示“没有发生遗漏”的检测结果输出到播放速 度确定部分50(见图1)(步骤S44)。播放速度确定部分50执行图5的流程图描述的处理，并且如果从信息遗漏检测部 分40发送的检测结果指示“发生遗漏”，将这个时刻的当前播放速度V与变量Pdec相乘以 计算播放速度Vk (步骤S22)，并且将计算的播放速度V输出到编码/解码处理部分20和播 放速度转换部分60(步骤S24)。如果从信息遗漏检测部分40发送的检测结果指示“没有 发生遗漏”，这个时刻的播放速度V与变量Pinc相乘以计算播放速度Vk (步骤S23)，并且计 算的播放速度Vk输出到编码/解码处理部分20和播放速度转换部分60 (步骤S24)。如上所述，变量Pinc是用于对播放速度V加速的变量，变量Pdec是用于对播放 速度V减速的变量。然后，在播放速度转换部分60中，这个时刻的播放速度V通过与变量 Pinc或变量Pdec相乘而转换成播放速度Vk。也就是说，如果用户U的视线Ll位于中心右 侧的显示装置，判断还没有发生遗漏信息，并且执行对画面播放速度加速的处理。另外，如 果用户U的视线Ll位于中心左侧的显示装置，判断发生遗漏信息，并且执行对画面播放速 度减速的处理。通过执行这个处理，例如，当用户U将视线Ll移向右侧的显示装置时，对播放速度 V加速，并且如果加速的播放速度对用户U最佳，用户U观看置于中心的显示装置2C的画 面。当用户U的视线Ll位于显示装置2C时，播放速度没有改变，从而用户U能够通过继续 观看显示在显示装置2C的画面而保持所偏好的播放速度。如果用户U由于加速的播放速度而遗漏信息，则用户U从左向右移动视线Ll以跟 踪遗漏信息。然后，如果视线Ll移至中心左侧的显示装置，播放速度V减速。当重复视线 的这种移动时，在位于中心的显示装置2C以对用户U的最佳速度进行显示。也就是说，如 图13所示执行处理，其中如果用户U的视线移向左侧(箭头Al的方向)则画面播放速度 降低，如果用户U的视线移向右侧(箭头A2的方向)则画面播放速度加速，从而用户U的 视线Ll将自然地位于中心的显示装置2C。也就是说，根据用户U的信息获取能力、使用条 件和用户偏好，适应性调整要被呈现的信息量。应该注意，尽管图10所示例子是显示没有添加延迟的画面的显示装置2A位于最 右侧的情况，但是还可以应用于显示装置2A位于左端的配置，并且随着放置位置向右偏 移，每个显示装置显示的画面被延迟。接下来参照图14到图16描述本发明第二实施例。这个实施例中执行处理，其中 如果判断发生用户U遗漏信息，在相对用户U置于最前侧的显示装置2A再次呈现用户U遗 漏的信息。假定如图1所示放置显示装置2A到2E的位置。图14是示出根据这个实施例的系统结构例子的框图。在图14，与图2对应的部分 由相同附图标记指示。图14所示的系统包括播放装置Γ、显示播放画面的显示装置2Α、显示装置2B、显示装置2C、显示装置2D和显示装置2E、以及检测用户U的视线Ll的位置的 视线检测部分3。首先描述播放装置1'的结构。播放装置1'包括画面输入部分10、编码/解码处 理部分20、累积部分30、信息遗漏检测部分40、播放速度/播放位置确定部分80、播放速度 转换部分60和延迟部分70A、70B、70C和70D。由于画面输入部分10、编码/解码处理部分 20、累积部分30、信息遗漏检测部分40、播放速度转换部分60和延迟部分70A到70D各自 与第一实施例的结构相同，所以省去对它们的描述。播放速度/播放位置确定部分80与作 为重新呈现信息存储部分的重新呈现队列81和作为播放位置存储部分的存储器82连接。播放速度/播放位置确定部分80具有变量Pinc和变量Pdec，并且根据从信息遗 漏检测部分40发送的检测结果确定将要使用变量Pinc和变量Pdec中的哪一个。到此刻 的处理与第一实施例描述的播放速度确定部分50的处理相同。如第一实施例所述，如果用 户U的视线Ll不在显示装置2A而是移向显示装置2A的后侧或者位于最后侧的显示装置 2E，信息遗漏检测部分40判断发生用户U遗漏信息。
如果从信息遗漏检测部分40发送的检测结果指示发生用户U遗漏信息，播放速度 /播放位置确定部分80将正在显示装置2E显示的画面的帧号(播放位置信息)存储在重 新呈现队列81，并且将该播放位置信息发送至编码/解码处理部分20。重新呈现队列81 由FIFO(先入先出)型存储器等构建。应该注意尽管在这个例子中，在最后侧的显示装置 2E显示的帧的帧号被存储在重新呈现队列81，但是可以存储视线Ll所放置的显示装置正 在显示的帧。播放速度/播放位置确定部分80被配置为以预定间隔检查播放位置信息是否累 积在重新呈现队列81，如果播放位置信息位于重新呈现队列81，将作为播放位置信息而存 储的帧号传递给编码/解码处理部分20。如果在显示装置2A再次呈现用户U遗漏的信息， 并且播放位置信息被累积在重新呈现队列81，则执行处理，其中在这个时刻被显示在显示 装置2E的帧的帧号被存储在存储器82。编码/解码处理部分20读取与从播放速度/播放位置确定部分80发送的帧号对 应的帧，并且将这个帧输出到播放速度转换部分60。然后，播放速度转换部分60执行将输 入的帧转换成预定播放速度以用于输出到显示装置2A的处理。通过这种配置，在最靠近用 户U的显示装置2A再次呈现用户U遗漏的信息。如果没有发生用户U遗漏信息，被累积在 累积部分30中的还未呈现的画面被输出到显示装置2A到2E。应该注意，在显示装置2A再 次呈现的信息不一定是画面，还可以仅是字符信息，例如字幕。接下来，参照图15的流程图描述关于播放速度/播放位置确定部分80的处理细 节。首先，在从信息遗漏检测部分40发送的检测结果中判断是否发生用户U遗漏信息(步 骤S51)。如果判断发生信息遗漏，则执行处理，其中当前播放位置(正在显示装置2E显示 的帧的帧号)被添加到重新呈现队列81 (步骤S52)，并且通过当前播放速度V与变量Pdec 相乘来设置新的播放速度Vk (步骤S53)。如果在步骤S41判断没有发生遗漏信息，执行处理以通过当前播放速度V与变量 Pinc相乘来设置新的播放速度Vk (步骤S54)。然后，接下来，判断是否正在显示装置2A再 次呈现用户U遗漏的信息(步骤S55)。如果判断没有正在再次呈现信息，判断播放位置信 息是否累积在重新呈现队列81 (步骤S56)，并且如果没有累积播放位置信息，处理结束。
如果正在显示装置2A再次呈现用户U遗漏的信息，并且播放位置信息被累积在 重新呈现队列81，正在显示装置2E显示的帧被保存到存储器82作为当前播放位置(步骤 S57)。然后，被累积在重新呈现队列81中的播放位置信息被输出到编码/解码处理部分20 作为当前播放位置信息(步骤S58)。如果在步骤S55判断没有正在再次呈现遗漏信息，判断播放位置信息是否被累积 在重新呈现队列81 (步骤S59)。如果判断播放位置信息被累积在重新呈现队列81，处理进 入步骤S58，并且执行将累积在重新呈现队列81中的播放位置信息输出到编码/解码处理 部分20作为当前播放位置信息的处理。如果在步骤S59确定播放位置信息没有累积在重 新呈现队列81，执行读取存储在存储器82中的播放位置信息并且将播放位置信息输出到 编码/解码处理部分20的处理(步骤S60)。通过执行这个处理，在显示装置2A再次呈现用户U遗漏的信息，并且即使在信息 的重新呈现过程中，画面播放位置信息仍然存储在存储器82。然后，在信息重新呈现过程完 成以后，读取与存储在存储器82中的播放位置信息对应的画面，从而在重新呈现之前被显 示的画面的继续被显示在显示装置2A。
图16示出信息重新呈现过程。如图16(a)所示，如果用户U遗漏了显示在显示装 置2A的例如字幕的重要信息，用户U的视线Ll跟踪字幕并且向后侧移动(见图16(b))。 也就是说，视线Ll不在显示装置2A。因此，已经从视线检测装置3接收到检测结果的信息 遗漏检测部分40判断发生用户U遗漏信息。判断结果输出到播放速度/播放位置确定部 分80，此刻正在显示装置2E显示的帧的帧号被添加到重新呈现队列81，并且播放速度V与 变量Pdec相乘以计算新的播放速度Vk。被存储在重新呈现队列81中的帧号和播放速度 Vk还被输出到编码/解码处理部分20和播放速度转换部分60。编码/解码处理部分20执行从累积部分30读取与从播放速度/播放位置确定部 分80输出的帧号对应的帧的处理。从累积部分30读取的帧被输入到播放速度转换部分60， 并且播放速度在播放速度转换部分60中转换成Vk。然后，播放速度转换成Vk的画面被输 出到显示装置2A。也就是说，在显示装置2A再次呈现用户U遗漏的例如字幕的信息(见图 16(c))。根据上述这个实施例的配置和处理，如果用户U的视线Ll不在显示装置2A，认为 发生用户U遗漏信息，并且在显示装置2A再次呈现此时用户U观看的画面。因此，能够可 靠地防止用户U遗漏信息。另外，尽管迄今描述的实施例涉及利用多个显示装置2的例子，但是单个显示装 置2的屏幕可以划分成多个显示区域，并且可以对每个划分区域输出画面。图17(a)示出 在纵向方向将显示装置2的屏幕划分成五个的情况的例子，图17(b)示出在横向方向将显 示装置2的屏幕划分成五个的情况的例子。利用这种显示装置2能够同样获得与根据上述 实施例的效果相同的效果。附图标记的解释1播放装置，2、2A到2B显示装置，3视线检测装置，4 线缆，
10画面输入部分，20编码/解码处理部分，30累积部分，40信息遗漏检测部分，50播放速度确定部分，60播放速度转换部分，61画面处理部分，62声音处理部分，70A到70D延迟部分，80播放速度/播放位置确定部分，81重新呈现队列，82存储器，A1、A2 箭头，B块大小，Ll 视线，Pdec、Pinc 变量，Si 总数，TTh 间隔，U 用户，V、Vk播放速度，fl、f2 帧号，fr帧速率，fx 帧号
权利要求
一种信息呈现设备，包括延迟部分，将预定的延迟量加到播放速度被转换的画面，并且将所述画面输出到多个显示部分之中除第一显示部分之外的显示部分；播放速度转换部分，基于给定变量来转换输入画面的播放速度，并且将转换后的播放速度输出到所述第一显示部分和所述延迟部分；视线位置判断部分，判断检测用户视线位置的视线检测部分所检测的视线位置是否位于所述多个显示部分的第二显示部分的屏幕，并且输出判断结果；以及播放速度确定部分，基于视线位置判断部分的判断结果来确定所述播放速度，并且将根据所述确定的播放速度的变量输出到播放速度转换部分。
2.根据权利要求1的信息呈现设备，其中第一显示部分和第二显示部分是相同的。
3.根据权利要求2的信息呈现设备，其中如果判断视线检测部分检测的视线位置位于 第一显示部分的屏幕，播放速度确定部分将对所述播放速度加速的变量输出到播放速度转 换部分，以及如果判断视线检测部分检测的视线位置没有位于第一显示部分的屏幕，将对 所述播放速度减速的变量输出到播放速度转换部分。
4.根据权利要求1的信息呈现设备，其中从第一显示部分开始以预定间隔依次放置所 述多个显示部分。
5.根据权利要求4的信息呈现设备，其中根据所述多个显示部分的放置顺序，设置由 所述延迟部分添加到画面的延迟量。
6.根据权利要求4的信息呈现设备，其中从第一显示部分开始以预定间隔放置所述多 个显示部分，以使得在深度方向这些显示部分距离第一显示部分的距离逐渐增大。
7.根据权利要求6的信息呈现设备，其中如果检测到视线在深度方向从第一显示部分 的位置离开、或者如果判断视线在多个显示部分中的位于深度方向的最后位置的显示部分 的屏幕，视线位置判断部分将对播放速度减速的变量输出到播放速度转换部分。
8.根据权利要求2的信息呈现设备，其中如果判断视线检测部分检测的视线位置位于 第一显示部分的屏幕，播放速度确定部分不向播放速度转换部分输出变量。
9.根据权利要求4的信息呈现设备，其中如果判断视线检测部分检测的视线位置没有 位于第二显示部分的屏幕以及视线位置位于放置第一显示部分的方向放置的显示部分的 屏幕，播放速度确定部分将对播放速度加速的变量输出到播放速度转换部分，以及如果判 断视线检测部分检测的视线位置没有位于第二显示部分的屏幕以及视线位置位于除放置 第一显示部分的方向之外的方向放置的显示部分的屏幕，将对播放速度减速的变量输出到 播放速度转换部分。
10.根据权利要求9的信息呈现设备，其中如果判断视线检测部分检测的视线位置位 于第二显示部分的屏幕，播放速度确定部分不向播放速度转换部分输出变量。
11.根据权利要求1的信息呈现设备，包括累积部分，其累积所述画面；编码/解码处理部分，执行对输入画面编码并且将编码的输入画面输出到累积部分的 处理，以及对累积在累积部分的画面解码并输出解码画面的处理，其中如果判断视线检测部分检测的视线位置没有位于第一显示部分的屏幕，播放速度 确定部分将当进行所述判断时在多个显示部分的预定的显示部分上显示的画面的帧号、对播放速度减速的变量，输出到编码/解码处理部分和播放速度转换部分，编码/解码处理部分从累积部分读取与从播放速度确定部分输出的帧号对应的帧，并 且将该帧输出到播放速度转换部分，以及播放速度转换部分基于播放速度确定部分输出的对播放速度减速的变量，对从编码 /解码处理部分输出的帧的播放速度进行转换，并且将转换的播放速度输出到第一显示部 分。
12.根据权利要求11的信息呈现设备，其中所述预定的显示部分是放置于距离第一显 示部分最远位置的显示部分。
13.根据权利要求11的信息呈现设备，其中所述预定的显示部分是放置于视线检测部 分检测的视线位置的、除第一显示部分以外的显示部分。
14.根据权利要求11的信息呈现设备，包括重新呈现信息存储部分，其存储由播放速度确定部分输出的帧号；以及 播放位置存储部分，如果所述帧号被存储在重新呈现信息存储部分中，存储被显示在 所述预定的显示部分的画面的帧号，其中如果与从播放速度确定部分输出的帧号对应的帧没有被显示在第一显示部分，并 且帧号被存储在重新呈现信息存储部分中，播放速度确定部分将被显示在所述预定的显示 部分的画面的帧号输出到播放位置存储部分，并且读取存储在重新呈现信息存储部分中的 帧号并将读取的帧号输出到编码/解码处理部分。
15.根据权利要求14的信息呈现设备，其中如果与从播放速度确定部分输出的帧号对 应的帧被显示在第一显示部分，并且帧号没有被存储在重新呈现信息存储部分中，播放速 度确定部分读取被存储在播放位置存储部分中的帧号并将读取的帧号输出到编码/解码 处理部分。
16.根据权利要求1的信息呈现设备，其中播放速度转换部分以预定间隔对组成所述 输入画面的帧进行稀疏化处理来转换播放速度。
17.根据权利要求1的信息呈现设备，其中播放速度转换部分通过改变所述输入画面 的帧速率来转换播放速度。
18.根据权利要求1的信息呈现设备，其中播放速度转换部分通过在所述输入画面的 每一帧中计算与相邻像素的像素值差等于或大于预定值的像素总数，并且从所计算的总数 较大的帧开始按照顺序输出预定数目的帧，来转换播放速度。
19.根据权利要求1的信息呈现设备，其中所述显示部分是当单个屏幕划分成多个区 域时所获得的各个划分区域。
20.一种信息呈现方法，包括在多个显示部分中的第一显示部分上，显示播放速度已被转换的画面的步骤； 以预定帧周期为单位向输入画面加入延迟、并且向除所述第一显示部分之外的显示部 分输出所述输入画面的步骤；检测用户的视线位置并且输出检测结果的步骤；判断检测的视线位置是否位于第一显示部分的屏幕、并且输出判断结果的步骤； 根据判断结果确定所述播放速度并且输出根据所述播放速度的变量的步骤；以及 根据输出的变量对画面的所述播放速度进行转换的步骤。
全文摘要
通过简单方法适应性调整提供给用户的信息量。为此，本发明包括延迟部分70A到70D以及播放速度转换部分60，其中延迟部分70A到70D各自向播放速度已被转换的画面加入预定的延迟量并且将画面输出到多个显示部分中的除第一显示部分2A以外的显示部分2B到2E，播放速度转换部分60基于给定变量对输入画面的播放速度进行转换并且将转换的播放速度输出到第一显示部分2A和延迟部分70A到70D。另外，本发明包括视线位置判断部分40和播放速度确定部分50，其中视线位置判断部分40判断由检测用户的视线位置的视线检测部分3所检测的视线位置是否位于第一显示部分2A的屏幕并且输出判断结果，播放速度确定部分50根据视线位置判断部分40的判断结果确定播放速度，并且将根据播放速度的变量输出到播放速度转换部分60。
文档编号G11B27/34GK101828390SQ200880111988
公开日2010年9月8日 申请日期2008年10月27日 优先权日2007年11月2日
发明者内田和隆, 近藤哲二郎 申请人:索尼公司