声音信号控制装置的制作方法

专利名称：声音信号控制装置的制作方法
技术领域：
本发明涉及对动态图像再现时的声音输出进行控制的技术。
背景技术：
在将动态图像变倍为倍速或慢速等1倍速以外的速度进行再现时，配合该动态图像也控制声音的输出。因此，在将再现速度从变倍恢复(切换)为1倍的情况下，也进行使 声音输出恢复为通常状态的控制。此时，如果音量和声音的频率存在较大变动，则有时产生噪声。为了避免产生该噪声，提出了在切换再现速度时等待无音期间来执行切换的方 法。另外，作为与本申请发明相关联的现有技术，例如有下述专利文献公开的技术。专利文献1 日本特开2004-214902号公报专利文献2 日本特开平06-337696号公报专利文献3 日本特开平07-212319号公报但是，在按照上面所述等待无音期间来进行再现速度的切换的情况下，在通常的 动态图像中，BGM(back ground music 背景音乐)和效果声音在不断地输出，达到完全无音 是很少见的，所以存在不能在合适的时机进行切换的问题。

发明内容
本发明提供一种技术，在一致程度较高的动态图像持续的情况下，类推为声音输 出的变动比较小，在该时机使声音输出无声化，并切换再现速度，由此抑制噪声的产生。为了解决上述问题，本发明采用下述结构。S卩，本发明的声音信号控制装置具有变更确定部，其确定变更包括动态图像信号 和声音信号在内的输入数据的再现速度；切换检测部，其在所述再现中所述变更确定部确 定了变更为不同的再现速度的情况下，将动态图像的一致程度为预定值以上的期间检测为 切换时机；再现部，其根据所述输入数据再现声音和动态图像，在由所述变更确定部确定了 变更再现速度的情况下，在所述切换时机切换再现速度；以及声音控制部，其在所述切换时 机对基于所述声音信号的声音输出进行无声化。所述检测部也可以对动态图像信号中的N帧和从该N帧起直到预定帧之后的N+x 帧进行比较，在一致程度为预定值以上的情况下，将从N+1帧到N+x帧检测为切换时机。也可以在所述变更确定部从小于1倍的再现速度变更为1倍速度、或者从超过1 倍的再现速度变更为1倍速度的情况下，所述声音控制部对声音输出进行无声化。所述声音信号控制装置也可以还具有缺失检测部，其检测所述输入数据的缺失； 和替代数据生成部，在由所述缺失检测部检测到所述输入数据的缺失的情况下，把除检测 到缺失的部分之外的、缺失部分前面的输入数据及后面的输入数据中的至少任一方输入数 据，作为将该输入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据进行平均化，由此生成替代数据，在由所述检测部检测到所述输入数据的缺 失的情况下，所述变更确定部确定变更为小于1倍的再现速度，所述再现部根据所述图像 信号和所述替代数据再现声音和动态图像，在所述检测部不再检测到所述输入数据的缺失 的情况下，所述变更确定部确定变更为1倍的再现速度。另外，本发明的声音信号控制方法使声音及动态图像的再现装置执行以下步骤 确定变更包括动态图像信号和声音信号在内的输入数据的再现速度的步骤；当在所述再现 中所述变更确定部确定了变更为不同的再现速度的情况下，将动态图像的一致程度为预定 值以上的期间检测为切换时机的步骤；根据所述输入数据再现声音和动态图像，在由所述 变更确定部确定了变更再现速度的情况下，在所述切换时机切换再现速度的步骤；在所述 切换时机对基于所述声音信号的声音输出进行无声化的步骤。
在所述声音信号控制方法中，也可以对所述动态图像信号中的N帧和从该N帧起 直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将从N+1帧到N+x 帧检测为切换时机。在所述声音信号控制方法中，也可以在将所述再现速度从小于1倍的再现速度变 更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，对所述声音输出进行
无声化。在所述声音信号控制方法中，还包括检测所述输入数据的缺失的步骤；在由所 述缺失检测部检测到所述输入数据的缺失的情况下，把除检测到缺失的部分之外的、缺失 部分前面的输入数据及后面的输入数据中至少任一方的输入数据，作为将该输入数据涉及 的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据进行平均化， 由此生成替代数据的步骤，在检测到所述输入数据的缺失的情况下，确定变更为小于1倍 的再现速度，并根据所述图像信号和所述替代数据再现声音和动态图像，在不再检测到所 述输入数据的缺失的情况下，确定变更为1倍的再现速度。另外，本发明也可以是使计算机执行所述声音信号控制方法的声音信号控制程 序。此外，本发明还可以是将该声音信号控制程序记录在计算机可以读取的记录介质中的 发明。通过使计算机读入并执行该记录介质的程序，能够提供该功能。其中，计算机可以读取的记录介质指通过电气、磁气、光学、机械或化学作用来存 储数据和程序等的信息，并且计算机能够读取的记录介质。作为这种记录介质中能够从计 算机上插拔的记录介质，例如有软盘、光磁盘、CD-ROM、CD-R/W、DVD、DAT,8mm带、存储卡等。另外，作为被固定在计算机中的记录介质，有硬盘和R0M(只读存储器)等。根据本发明能够提供一种技术，在一致程度较高的动态图像持续的情况下，对声 音输出进行无声化来切换再现速度，由此抑制噪声的产生。


图1是表示本实施方式的概况的图。图2是实施方式的个人计算机的功能结构图。图3是表示实施方式的个人计算机的具体结构的示例的图。图4是表示实施方式的替代数据生成处理的概况的图。图5是表示实施方式的替代数据生成处理的概况的图。
图6是表示在进行图5所示的替代数据生成处理时显示的视频的示例的图。图7是表示实施方式的信号输出处理的整体流程的流程图。图8是表示实施方式的替代数据生成处理的流程的流程图。图9是表示实施方式的替代数据生成处理和再现速度切换处理的流程的流程图。图10是对应于用户操作的再现速度切换处理的说明图。图11是声音跳跃噪声的产生原因的说明图。图12A是声音跳跃噪声的产生原因的说明图。图12B是声音跳跃噪声的产生原因的说明图。图13是表示H. 264/AVC的数据结构的图。标号说明14广播接收部；18操作部；21输出控制部；22感知部；23输出信号生成部；26缓 冲存储部；27检测部；28替代数据生成部；40显示部。
具体实施例方式(概况)在根据包括动态图像信号和声音信号的输入数据来再现动态图像的装置中，在动 态图像的再现过程中，有时切换为快进、帧进(二 7送D )等1倍速以外的变倍速度。该情 况时，对于声音信号也进行与动态图像的变倍一致的控制。例如，如果是小于1倍的再现速 度，则将声音拉长来延长再现时间，如果是1倍以上的再现速度，则省略无音期间等来缩短 再现时间，由此进行与动态图像一致的控制。因此，在变更再现速度的情况下，在变更前和 变更后声音的状态急剧变化，所以有时产生声音噪声。在此，参照图11说明由于再现速度的急剧变更而产生的声音跳跃噪声。另外，在 以下的说明中，声音信号可以是任何声音的信号，但在电视广播等中，人的语音是主要要 素，并且一般是组合了 BGM和效果声音的音响，所以为了方便也记述为声音信号、音响信 号。同样，也把基于声音信号的声音记述为声音或音响。在图11中，期间3A是小于1倍速度的低速再现的部分，期间3B是以1倍速度通 常再现的部分。“Nxx”表示1秒期间的帧NOl 附5。在期间A，声音的再现速度也是小于1倍速度并降低频率、或者以预定单位对声音 进行采样并延长该每个单位的再现时间由此不改变频率地再现声音。无论哪种情况，期间 3A的声音和期间3B的声音是不同的状态。图12A和图12B表示以1/2倍的速度再现的声 音的频率、和以通常(1倍)速度再现的声音的频率的差异。在图12A、B中，横轴表示频率， 纵轴表示声音的大小(dB)。并且，把从该小于1倍速度的再现变更为1倍速度的点设为“3C”。S卩，在点3C声 音的频率突然变更。以往在该期间不进行无声化。因此，产生较大的声音水平的差异。其 中，频率的差距表现为音质的变化，分贝[dB]的差距表现为音量的变化。因此，在出现了具 有这些变化的时间时，能够听到声音噪声。因此，在本实施方式中，如图1所示，在切换再现速度时使声音输出无声化，而抑 制噪声的产生。图1是本实施方式的概况的说明图。首先，在根据输入数据来再现动态图像时，通过用户的操作或装置来确定再现速度的变更。例如，确定从变倍速度向1倍速度的切换。该情况时，查找输入数据，检测构成动态图像的各个帧(动态图像)的一致程度为预定值以上的期间4C。这样在相同的帧连续的情况下，声音也持续相同状态，能够类推到变 化较小，所以把该期间设为再现速度的切换时机。并且，在该切换时机进行声音的无声化和再现速度的切换。该无声化和再现速度 的切换如图1所示，在无声化开始时101，相对于时间轴逐渐减小声音水平使其成为无声。 因此，不会突然成为无声，不会产生因此形成的声音噪声。然后，进行再现速度的切换102，使声音水平逐渐增大，并解除无声化103。在该切换时机，在N帧和从(N+1)帧起到(N+5)帧(在图中为N06 附0)，预定以 上数量的画面是一致的，所以没有急剧的声音的声压或频率的变动。即，此时是持续相同的 场景，所以不存在爆发音等剧烈的声音切换。因此，即使通过应用程序生成暂时性的无音区 间，在视听该动态图像时也不会产生不协调感。因此，即使在较短的期间开始无声化以及解 除无声化，也不会被识别成为噪声。因此，根据本实施方式，能够抑制噪声的产生，并适时地进行再现速度的切换。此处记述的预定以上的动态图像一致，不是已确定的值，而是由应用程序(声音 控制程序)的设计者根据其再现内容而设定的。例如，对构成动态图像的各个帧以像素单位进行比较，根据预定值(在本例中为 90%)以上的像素是否一致来进行判定。即，在一致程度为90%以上的视频持续的情况下， 把再现速度切换为1倍。(实施方式1)下面，说明作为具有数字电视(单频段0ne segment)广播的视听功能的计算机 (个人计算机)进行实施时的实施方式。下述的实施方式的结构只是示例，本实施方式不限 于实施方式的结构。在单频段再现中，作为动态图像数据的压缩编码方式采用H. 264/AVC(l. 2级， 320X240或320X180，最小帧间隔1/15秒)。在该方式中，关于根据被压缩的动态图像数 据生成图片的方法，采用基于帧间预测的图片生成。图13是表示H. 264/AVC的数据结构的图。在H. 264/AVC的数据中包括包含与 序列整体的编码相关的信息在内的头即SPSGequenceParameter Set 序列参数集)；表示 图片整体的编码模式的头即PPS (Picture Parameter Set:图片参数集)；在必要时附加的 SEI (Supplemental Enhancement Information 辅助增强信息)、IDR 图片(Instantaneous Decoding Refresh Picture 即时解码刷新图片)等。在单频段广播中，根据3张以内的参 照图片进行帧间预测，生成P图片(Predictive Picture 预测图片)。并且，利用IDR图片 划分而形成的一个整体的帧组被称为GOP (Group Of Picture 图片组)。在本实施方式中， 原则上GOP设为1秒再现时间内的15帧。本实施方式的个人计算机是具有单频段广播的接收调谐器和解码单元，在显示部 (显示器)上显示基于解码后的视频信号的图像，并基于解码后的音响信号进行音响的再 现，由此能够视听单频段广播的个人计算机。在这种个人计算机中，根据由设于个人计算机 的设备自身发出的电波和周围的电波状况等，可能存在帧的接收等暂时失败，数据产生缺 失的情况。
其中，在以往的单频段广播视听装置中，在数据产生缺失的情况下，产生直接输出 信息不足的视频或音响、或者不能输出视频或音响(中断)的问题。因此，本实施方式的个人计算机缓冲存储相当于3秒再现时间的数据(即不从计 算机上的存储器中删除)，同时进行延迟输出，在动态图像数据或音响数据存在缺失的情况 下，根据缓冲存储的数据进行慢速再现，由此不会在缺失部分产生视频中断和/或声音中 断等。S卩，根据本实施方式的个人计算机，在动态图像数据或音响数据产生缺失的情况 下，也能够输出能够显示几乎不会给视听者带来不协调感的视频、能够再现几乎不会给视 听者带来不协调感的音响的视频信号和音响信号，而不会输出信息不足的视频，也不会视 频中断或声音中断。在本实施方式中，将所缓冲存储的输入数据的量设为在换算成再现动态图像和音 响的时间时的3秒。例如，在动态图像数据中，单频段广播是每秒15帧，所以大致缓冲存储 45帧的动态图像数据。优选该缓冲存储量和延迟时间尽可能多，但考虑到实际视听时延迟 的允许范围和个人计算机中能够确保的存储区域的容量，在本实施方式中设为3秒。但是， 关于该缓冲存储量和延迟时间，优选根据每个实施方式适当设定为最合适的值。例如，使结 束常驻的应用程序和不必要的应用程序，或者不将主存储器的一部分用作视频存储器(设 置独立的视频存储器)，由此增大能够确保的主存储器的容量，增加缓冲存储量等。并且，本实施方式的个人计算机利用该缓存器进行3秒钟的延迟输出。通过进行延迟输出，在由于数据的缺失使得动态图像数据或音响数据缺失的情况下，也能够通过慢 速再现所缓冲存储的未输出的数据来对缺失部分的视频或音响进行插值，而不会直接输出 存在缺失的视频信号或音响信号。(个人计算机的功能结构)图2是本实施方式的个人计算机10的功能结构图。本个人计算机10具有操作 部18，其接受用户的操作来操作个人计算机10 ；感知部22，其感知操作部18的操作；广播 接收部14，其接收电视广播；信号输出装置10A，其根据由广播接收部14输出的数据，向显 示部(包括声音输出部)40输出解码后的视频信号和音响信号；以及显示部40，其根据所 输入的视频信号，显示由广播接收部14接收到的广播节目。另外，信号输出装置IOA具有缓冲存储部26，其存储一定量的由广播接收部14 输出的数据；输出信号生成部23，其对由广播接收部14输出的数据进行解码，由此生成视 频信号和音响信号；检测部(缺失检测部)27，其检测数据的缺失；替代数据生成部28，其 在由检测部27检测到缺失的情况下生成替代数据；输出控制部(相当于再现部)21，其向 显示部40输出视频信号和音响信号；变更确定部31，其确定输入数据的再现速度的变更； 切换检测部32，其检测切换时机；以及声音控制部33，其使声音输出无声化。这些各个功能部能够利用包括CPU、存储器等的计算机和在计算机上执行的程序 实现。其中，操作部18是计算机的输入装置、基于红外线感光部和红外线遥控器的组合 的遥控操作部、频道操作用的旋钮、操作按钮等。感知部22通过操作部18与CPU的接口、处理接口的信号的装置驱动器、和通过装 置驱动器与操作部18之间收发信号的OS (操作系统)，感知对操作部18的操作(例如接收频道的切换)。但是，也可以设置专用的硬件作为感知部22。例如，可以设置操作部用的输 入信号处理电路来分担CPU的处理。关于这种处理电路，已经公知有键盘控制器、鼠标控制器等并且，例如也可以另外设置处理来自操作部18的信号的专用的输入控制处理器。 输入控制处理器可把操作部18的信号转换为预定的信号，并向输出控制部21传递信号。广播接收部14是所谓单频段调谐器。广播接收部14通过天线接收广播波，输出 基于接收到的广播波的数据流(例如TS信号)。输出信号生成部23直接或通过缓冲存储部26获取由广播接收部14输出的数据， 根据获取的数据生成视频信号和音响信号。输出信号生成部23也可以构成为在CPU上执 行的计算机程序。并且，输出信号生成部23也可以构成为专用处理器，其根据输入数据生 成视频信号和音响信号，并输出所生成的视频信号和音响信号。缓冲存储部26临时存储所输入的数据。缓冲存储部26受理由广播接收部14输 出的数据的输入，并缓冲存储相当于3秒再现时间的输入数据。缓冲存储部26可以构成 为由在CPU上执行的计算机程序控制的有备份电源的易失性存储器、闪存等非易失性存储 器、硬盘或可移动介质等的记录介质。另外，缓冲存储部26也可以构成为缓冲存储所输入 的输入数据的专用存储器。输出控制部21具有与显示部40的接口，控制输出给显示部40的视频信号和音响 信号。输出控制部21按照由感知部22感知到的信号，向显示部40输出由输出信号生成部 23生成的视频信号和音响信号。此时，输出控制部21在从接收到广播的时间起延迟3秒进 行输出。并且，输出控制部21根据由变更确定部31通知的再现速度来控制输出。S卩，如果 小于1倍速度，则延长各个帧的输出时间，如果是1倍速度以上，则对帧进行间疏等，来变更 动态图像的再现速度。随之，音响信号也配合动态图像而被延长或间疏。输出控制部21可 以构成为在CPU上执行的计算机程序。另外，输出控制部21也可以构成为输出视频信号和 音响信号的专用处理器。检测部27监视由广播接收部14输入的数据(输入数据)的完整性，检测数据的 缺失。在检测到缺失的情况下，检测部27确定产生了缺失的数据块(如果是动态图像则指 G0P)，并通知替代数据生成部28和变更确定部31。替代数据生成部28接收到该通知，开始 替代数据生成处理。替代数据生成部28在由检测部27通知了数据缺失的情况下，获取转换用数据块， 并对其进行平均化处理，由此生成用于对缺失部分的视频或音响进行插值的替代数据。关 于替代数据生成部28的具体处理，将使用图4和图5来说明。并且，显示部40是所谓监视 器和扬声器，接收由输出控制部21输出的视频信号和音响信号的输入，显示视频、再现音 响。变更确定部31根据用户的操作或变更确定部31的通知，确定包括动态图像信号 和声音信号在内的输入数据的再现速度的变更。例如，在用户通过对操作部18的操作指示 了快进或慢速再现等的变倍时，变更确定部31根据由感知部22感知到的该指示，确定再现 速度并通知输出控制部21。并且，在由检测部27检测到数据缺失的情况下，利用替代数据 对动态图像进行平均化，成为小于1倍的再现速度，因此，根据缺失的帧数量求出该再现速 度，并通知输出控制部21。并且，在检测部27不再检测到数据的缺失的情况下，将再现速度确定为1倍，即确定返回(变更)为1倍速度，并通知输出控制部21。当在所述再现过程中所述变更确定部确定变更为不同的再现速度的情况下，切换 检测部32查找视频信号，并检测帧(动态图像)的一致程度为预定值以上的期间作为切换 时机。关于该一致程度的检测，例如以像素单位对由输出信号生成部23生成的视频信号 中、某个帧(N帧)和从该N帧起到预定帧之后的N+x帧进行比较，并求出相关，在一致程度 为预定值以上(例如 90%以上)的情况下，把从N+1帧到N+x帧检测为切换时机。并且，监 视由广播接收部14接收到的输入数据中、IBP帧的P图片的数据量(差分量)，求出连续的 预定数量(例如5张)P图片的数据量为预定数量以下或者在GOP内达到最少的期间，把基 于该期间的图片的N+1帧到N+x帧的再现期间设为切换时机。声音控制部33根据由所述切换检测部32检测到的切换时机，使基于所述声音信 号的声音输出无声化。具体地讲，也可以构成为使从输出控制部21输出给显示部40的扬 声器的音响信号衰减，还可以构成为将无声化的时机通知给输出控制部21，使音响信号进
行无声化。(个人计算机的结构)图3是表示本发明的一个实施方式的个人计算机10的具体结构的示例的图。如 图3所示，个人计算机10具有CPU 11，其执行计算机程序，并控制个人计算机10 ；存储器 12，其存储由CPU 11执行的计算机程序或由CPU 11处理的数据；接口 13，其将CPU 11与 各种装置连接；以及通过接口 13连接的广播接收部14、通信部15、硬盘驱动装置16、可移 动式介质驱动装置17、操作部18、和显示部40等装置。其中，CPU 11执行计算机程序(声音信号控制程序等)，并控制个人计算机10的 各个部分，由此使个人计算机10作为具有以下各个功能部的装置发挥作用感知部22、广 播接收部14、输出控制部21、输出信号生成部23、缓冲存储部26、检测部27、替代数据生成 部28、输出控制部21、变更确定部31、切换检测部32、和声音控制部33等。存储器12存 储由CPU 11执行的程序和由CPU 11处理的数据。存储器12包括易失性的RAM (Random Access Memory 随机存取存储器)和非易失性的ROM (Read Only Memory 只读存储器)。 ROM 包括闪存、EPROM(ErasableProgrammable Read-Only Memory 可擦可编程只读存储 器)、EEPROM(Electrical Iy Erasable Programmable Read-Only Memory 可电气擦写可 编程只读存储器)那样能够改写的半导体存储器。接 口 13可以是USB等串行接 口，或者是PCI (Peripheral ComponentInterconnect 夕卜围设备互连总线)、ISA (Industry StandardArchitecture 工业标准体系结构)、EISA (Extended ISA)、ATA (ATAttachment)、IDE (Integrated Drive Electroni cs 集成电子驱动器)、IEEE1394、SCSI (Small Computer System Interface"」、 型计算机系统接口)等任一种并行接口。另外，在图3中记述为接口 13，但也可以利用不同的接口将CPU 11与各个装置之 间连接。并且，也可以桥接多个接口。广播接收部14是单频段广播用的电视调谐器。广播接收部14除了包括调谐 电路和放大器的高频部之外，还包括数字信号的解码器(OFDM(Orthogonal Frequency Division Multiplexing 正交频分复用)的解调器)等。其中，高频部把高频的电磁波转换为基带信号。并且，OFDM的解调器包括FFT (FastFourier Transform 快速傅立叶变换)处理电路和正交解调器，根据基带信号生成数字信 号。这些处理也可以构成为执行积和运算的专用的数字电路。并且，还可以由DSP那样的 处理器和程序构成。另外，也可以采用按照电视广播的标准制造并销售的解调用LSI。通信部15是与宽带网络的接口。宽带网络例如可以是LAN(LocalArea Network 局域网)、有线电视网络、xDSL(x Digital SubscriberLine :x数字用户线)、ADSL、光网等 有线网络，或者是无线LAN、固定无线接入(FWA)等能够无线接入的网络。通信部15例如从 网络上的服务器获取安装在硬盘驱动装置16上的计算机程序、和电视广播的电子节目表 等。这些宽带网络一般能够与互联网连接。 硬盘驱动装置16存储载入在存储器12中的程序。并且，硬盘驱动装置16存储由 CPU 11处理的数据。另外，硬盘驱动装置16不限于1台，也可以设置多台。并且，例如硬盘驱动装置16 可以由网络上的其他计算机、例如盘服务器管理。该情况时，CPU 11可以通过通信部15与 盘服务器通信。并且，CPU 11可以在显示部40上显示从盘服务器获取到的EPG等。可移动式介质驱动装置17例如是CD (Compact Disc 光盘)、DVD (Digital Versatile Disk 数字光盘)、HD_DVD、蓝光光盘等的驱动装置。并且，可移动式介质驱动装 置17也可以是具有闪存等非易失性存储器的卡介质的输入输出装置。可移动式介质驱动 装置17驱动的介质，例如保存安装在硬盘驱动装置16中的计算机程序、输入数据等。操作部18是计算机的输入装置，例如键盘、指向装置等。并且，作为操作部18，包 括基于红外线感光部与红外线遥控器的组合的遥控操作部、和各种开关、频道操作用的旋 钮等。指向装置的类型没有特别限定，可以根据个人计算机10的特性、用户的用途等采用 合适的装置，例如鼠标、轨迹球、拨号式操作部、以操纵杆形式移动显示部40上的指针的装 置、利用静电容量来检测用户手指的操作的装置、触摸屏、操纵杆等。键盘根据用户的输入操作，向未图示的键盘控制器发送与所输入的键对应的电信 号。键盘控制器向CPU 11发送与该电信号对应的编码。指向装置检测用户操作，向未图示的指向装置控制装置(例如未图示的鼠标控制 器或接口 13等)发送操作信号。接收到操作信号的指向装置控制装置向CPU 11发送用于 生成操作方向及操作量的信息。CPU 11的指向装置驱动器根据来自指向装置控制装置的操 作信号，在显示部40的画面上显示指针，并使其在画面上移动。并且，CPU 11的OS判定指针与画面上的对象(窗口、按钮、菜单、列表等)的位置 关系。并且，把位于指针所处位置的对象设为选择状态或聚焦状态。另外，通过针对指向装 置的选择确定操作、例如按下鼠标键，确定该对象的选择。显示部40例如是液晶显示装置、等离子显示面板、CRT(Cath0de RayTube)、电致发 光面板等。另外，虽然没有图示，在显示部40中包括存储图像数据的RAM、和根据RAM的数 据来驱动显示部40的驱动电路。其中，存储图像数据的RAM、驱动显示部40的驱动电路等， 可以独立设置为图像处理基板。该情况时，将来自CPU 11的构成画面信息的数据输入图像
处理基板。并且，在显示部40中附带有扬声器(声音输出部)，输出基于由输出控制部21输 出的音响信号的音响、以及从硬盘驱动装置16或可移动式介质驱动装置17读出并由未图 示的声音合成基板再现的声音。声音合成基板例如把MP3等的数字数据转换为声音。
本发明的信息设备能够构成为以上所述的个人计算机10。但是，本发明的信息设 备不限于个人计算机，也可以是具有同等功能的其他装置、例如电视接收装置。并且，能够 利用电视广播接收用的调谐器、机顶盒、带电视广播接收功能的便携电话、便携式信息终端 (PDA)、游戏机、带电视广播接收功能的车载设备等实现。图4是表示本实施方式的替代数据生成处理(1)的概况的图。替代数据生成处理 由替代数据生成部28执行。图4(a)表示接收到正常的输入数据并输出的状态。图中的长 方形表示1秒的量的数据块，按照m、N2、N3…的顺序输入。 本实施方式的个人计算机缓冲 存储有3秒的量的数据，所以在被输入N4时，输出在3秒前输入的W。图4(b)表示从(a)所示状态起1秒之后的状态。其中，在所输入的N5的数据不 正常的情况下，如果在该状态下继续处理，则导致3秒后输出不正常的数据。因此，在本实 施方式中，把位于不正常的N5后面、而且位于当前的输出点即N2前面的数据块N3和N4平 均成为N3-N5的替代品即替代数据块M3-M5。图4(c)表示从(b)所示状态起1秒之后的状态。其中，取代N3，输出根据M3生成 的输出信号(视频信号和音响信号)。所输出并再现的动态图像和音响成为没有进行替代 数据生成处理(1)时的2/3的速度的慢速再现。以后，连续输出M4、M5。关于输出并显示 M4和M5的动态图像和音响，也是正常时的2/3的速度的慢速再现。通过上述说明的替代数据生成处理(1)，能够对相当于缺失数据块的再现时间进 行插值。但是，如果在这种状态下返回通常的再现处理、进行基于所输入的数据的输出，则 导致相当于缺失数据块(图4中的N5)的动作被跳过，并且由于从通常时的2/3倍的速度 的慢速再现瞬时返回到通常时的等倍速度的再现，导致对视听所显示的动态图像和音响的 视听者带来的不协调感增大。因此，在本实施方式中，在替代数据生成处理(1)之后，执行 以下说明的替代数据生成处理(2)。图5是表示本实施方式的替代数据生成处理的概况的图。并且，图6是表示在进 行了图5所示的替代数据生成处理时显示的视频示例的图。在图5所示的处理中，假设在 替代数据生成处理(1)中，N3缺失，附和N2被平均成为M1-M3。在此，虽然输入了正常的 N4，但由于上述原因对视听者带来的不协调感增大，所以不能直接输出数据块N4。替代数 据生成部28把通过替代数据生成处理(1)被平均后的替代数据块M2、M3和数据块N4的 数据，平均到替代数据块M4中。另外，在进行平均化处理时，与缺失数据块N3相关的图片 或音响，通过伴随平均化处理产生的预测处理而生成。例如，在动态图像数据的平均化处理 中，通过与前面叙述的帧间预测相同的预测处理，插补所缺失的动作(帧)。此时，替代数据块M2和M3的信息量与通常的数据块相比是它的2/3，M4的信息量 是通常的数据块的(2/3+2/3+1)/3 = 7/9倍。即，基于M4的输出成为没有进行替代数据生 成处理时的7/9倍速度的慢速再现。该速度与再现基于Ml到M3的输出信号时的感观速度 是通常时的2/3倍相比，还是稍快的。以后，利用相同的方法，进行向替代数据块M5、M6的 平均化处理。此时，只要输入数据没有再次产生缺失，在平均化处理中使用的新的输入数据 始终具有等倍于通常时的信息量，所以替代数据块逐渐接近通常的信息量，即接近通常速 度(参照图6)。在本实施方式中，替代数据块M5是通常时的23/27倍的信息量(速度)， 替代数据块M6是通常时的73/81倍的信息量(速度)(参照图5的计算式)。另外，在图5所示的计算式中，对再计算得到的替代数据块附加“’(撇)”进行表示。例如，在生成替代数据块M5时使用的M3’是在伴随生成替代数据块M4时的平均化处 理中生成的数据块。因此，M3’的信息量是通常时的7/9倍，与替代数据块M3的信息量是 通常时的2/3倍不同。 即使通过上述替代数据生成处理(2)追加新输入数据，同时进行向替代数据块的 平均化处理，只要替代数据块的生成方法是数据的平均化处理，则所生成的替代数据块的 信息量就不会等倍于通常时。即，导致感观上的再现速度追不上通常再现速度的状态持续。 因此，在本实施方式中，在再现速度到达预定速度(例如73/81倍)以上的情况下，监视构 成动态图像的帧的一致程度，把一致程度为预定值(例如90%)以上的帧连续预定数量 (例如5帧)的期间检测为切换时机，在该切换时机变更为1倍速度。把该动作称为替代 数据生成处理(3)。例如，根据图5的示例，由于在替代数据块M6达到73/81倍速度，所以 查找数据块N7的帧，以像素单位对某个帧(N帧)和自该N+1开始的帧进行比较，一直比较 到自一致程度为90%起的预定帧之后的N+x帧，并求出相关，在一致程度为预定值(例如 90% )以上的情况下，把从N+1帧到N+x帧检测为切换时机。在检测到该切换时机的情况下，如前面所述，对声音输出进行无声化，并切换为1 倍速度。以后，不进行替代数据生成处理，而输出基于输入数据的输出信号，直到下一次检 测到数据的缺失为止。(处理流程)图7 图9表示个人计算机10的处理流程。图7是表示本实施方式的信号输出 处理的整体流程的流程图。本流程图所示的信号输出处理通过由感知部22接收操作部18 的电视视听开始操作，并由感知部22向输出控制部21输出信号输出处理的开始指示而执 行。在步骤SlOl中，缓冲存储由广播接收部14输出的3秒的数据。缓冲存储部26对 由广播接收部14输出的数据缓冲存储相当于3秒再现时间的数据。然后，处理转入步骤 S102。在步骤S102中，生成输出信号。输出信号生成部23从缓冲存储部26获取输入数 据，根据获取到的输入数据生成视频信号和音响信号。其中，所说视频信号是包括动态图像 显示所需要的各个帧的图片的信息。然后，处理转入步骤S103。在步骤S103中，视频信号被延迟输出。输出控制部21在缓冲存储了 3秒的输入 数据的状态下，在从接收到广播的时间起延迟3秒后，将由输出信号生成部23生成的视频 信号和音响信号输出给显示部40。S卩，输出控制部21利用缓冲存储部26进行3秒钟的延 迟输出。然后，处理转入步骤S104。在步骤S104中，监视数据的缺失。检测部27监视由缓冲存储部26缓冲存储的输 入数据中是否存在信息不足的数据块、即有无数据的缺失。在没有发现数据缺失的情况下， 反复进行步骤SlOl 步骤S104所示的处理。在发现了数据缺失的情况下，处理转入步骤 S105。在步骤S105中，判定存在缺失的数据块是否为1个(即1秒的量)。检测部27确 定包括在步骤S104中检测到的缺失部分的数据块，并通知替代数据生成部28和变更确定 部31。并且，接收到缺失通知的变更确定部31，判定包括该缺失部分的数据块是否是1个。 在此，在判定为所缺失的数据块是1个时，确定变更为慢速再现(在本示例中为2/3倍)的再现速度，并转入步骤S108。另一方面，在所缺失的数据块不是1个(2个以上)时，将该情 况通知给输出控制部21，并转入步骤S106。在步骤S106中，显示表示不能进行正常显示的信息。输出控制部21检测到在替 代数据生成部28中不能生成替代数据的情况，向显示部40输出包括不能进行正常显示的 信息的视频信号。接收到该信号，在显示部40显示不能进行正常显示的信息，视听者能够 得知处于因某种原因而不能进行视听的状态。然后，处理转入步骤S107。在步骤S107中，进行待机处理直到接收到正常数据。在由广播接收部14接收到 正常数据的情况下，处理转入步骤S101，再次开始视频的输出和显示。在步骤S108中，进行替代数据生成处理。替代数据生成部28从由缓冲存储部26 缓冲存储的输入数据中，获取位于缺失数据块的后面、而且位于与输出控制部在该时刻的 输出相关的数据块前面的数据块，作为转换用数据块，把该转换用数据块平均成为相当于 对转换用数据块的再现时间(在本实施方式中为2秒)加上缺失部分的数据块的再现时间 (在本实施方式中为1秒)而得到的再现时间(在本实施方式中为3秒)的替代数据块，进 行替代数据的生成。关于替代数据生成处理的具体情况，将在后面使用图8进行说明。然 后，处理转入步骤SlOl。图8、9是表示本实施方式的替代数据生成处理的流程的流程图。本流程图所示的 替代数据生成处理相当于图7所示的步骤S108。在步骤S201中，获取转换用数据块。替代数据生成部28从由缓冲存储部26缓冲 存储的输入数据中，获取缺失数据块的前一个及前面第二个的数据块(即2秒的数据块)， 作为转换用数据块。使用图4的示例进行说明，在数据块N5缺失的情况下，获取N3和N4 作为转换用数据块。然后，处理转入步骤S202。在步骤S202中，判定所获取的转换用数据块是否能够使用。替代数据生成部28 判定在步骤S201中获取到的转换用数据块能否用于生成替代数据的正常的数据块。在判 定为所获取的转换用数据块包括数据的缺失部分等不能用作转换用数据块的情况下，处理 转入步骤S213。在判定为所获取的转换用数据块能够用作转换用数据块的情况下，处理转 入步骤S203。在步骤S203中，将作为转换用数据块所获取的2秒的数据块平均成为3秒的替代 数据块。替代数据生成部28把作为转换用数据块所获取的2秒的数据块，平均成为相当于 对转换用数据块的再现时间(在本实施方式中为2秒)加上缺失部分的数据块的再现时间 (在本实施方式中为1秒)而得到的再现时间(在本实施方式中为3秒)的替代数据块。 根据图4的示例，将合计2秒(2块)的数据块N3和N4平均成为3秒的替代数据块M3、M4、 M5。然后，处理转入步骤S204。在步骤S204中，输出基于替代数据块的视频信号。替代数据生成部28根据在步骤S203得到的替代数据块M3、M4、M5，生成输出信号。所生成的输出信号作为视频信号和 音响信号，由输出控制部21依次输出给显示部40。然后，处理转入步骤S205。在步骤S205中，获取下一个数据块。替代数据生成部28从缓冲存储部26获取成为下一个输出对象的数据块。然后，处理转入步骤S206。在步骤S206中，变更确定部31判定再现速度是否达到预定值(例如73/81倍)。 在此，预定值被设定为即使结束慢速再现也不会使视听者产生不协调感的程度的值。在是预定值以上的再现速度的情况下，变更确定部31确定变更为1倍速度，并转入步骤S209。另一方面，在再现速度小于预定值的情况下，变更确定部确定转入步骤S207，进行替代数据 生成处理(2)来提高速度，即，使再现速度接近1倍。在步骤S207中，获取下一个的转换用数据块。替代数据生成部28获取在前一次 的替代数据生成处理中得到的3个替代数据块中前面(即接近输出对象数据块一侧)的两 个替代数据块。根据图5的示例，为了得到取代在步骤S205获取的数据块N4而输出的替 代数据块M4，替代数据生成部28获取在前一次的替代数据生成处理中得到的替代数据块 M2和M3。然后，处理转入步骤S208。在步骤S208中，转换用数据块和输出对象数据块被平均化为3秒的量的替代数据 块。替代数据生成部28对在步骤S205和步骤S207中获取的数据块进行平均化处理，由此 得到取代下一个输出对象数据块而输出的替代数据块。根据图5的示例，为了得到取代数 据块N4而输出的替代数据块M4，替代数据生成部28获取数据块N4、在前一次的替代数据 生成处理中得到的替代数据块M2和M3，对这3个数据块进行平均化处理，由此得到替代数 据块M4，该替代数据块M4在与前面刚刚输出的替代数据块M3连续输出的情况下，也不会对 视听者造成不协调感。然后，处理转入步骤S204。然后，反复进行替代数据生成处理(2)，当在步骤S206中判定为再现速度为预定 值以上的情况下，在步骤S209中，切换检测部32查找在步骤S205中获取到的数据块(例 如N7)，并检测该数据块的各个帧(动态图像)的一致程度为预定值以上的期间(S210)。这 样在相同的帧持续的情况下，声音也持续相同的状态，能够类推为变化比较小，所以把该期 间设为再现速度的切换时机。另外，在未能检测到切换时机的情况下，转入步骤S207，进行 替代数据生成处理(2)，查找下一个数据块(S209)，并再次检测切换时机。并且，在该检测到的期间内，即在再现一致程度为预定值以上的帧时，开始无声化 (S211)，将再现速度切换为1倍(S212)，然后解除无声化(S213)。即，在此替代数据生成处 理结束，进行通常的输出处理，直到以后再次产生数据缺失。然后，本流程图所示的处理结 束，转入图7中的步骤S101。(变形例)另外，在本实施方式中，输入数据具有1秒单位的数据块，进行3秒的量的缓冲存 储，替代数据生成是按照3块单位进行的，但这些数值优选根据实施方式适当选择最合适 的值。例如，在输入数据具有0. 5秒单位的数据块的情况下，如果把缓冲存储时间设为2秒、 把替代数据生成设为4块单位，则因数据缺失而生成的替代数据块的初始信息量是通常时 的3/4倍，能够进行更加不易使视听者产生不协调感的插值。在图7 图9中，关于图2所示的个人计算机10的内部构成要素、即感知部22、广 播接收部14、输出控制部21、输出信号生成部23、缓冲存储部26、检测部27、替代数据生成 部28及输出控制部21等，示出了利用由CPU 11执行的程序来实现的示例。但是，也可以 取代这种结构，如在(个人计算机的结构概况)中说明的那样，利用与CPU 11不同的处理 器、硬件电路等实现个人计算机10的内部结构中的任意一个以上的结构。即，根据CPU 11 的处理能力和处理量，可以利用不同的处理器或数字电路构成图2中的各个构成要素。在 也包括除CPU 11之外的处理器或数字电路的情况下，那些处理步骤与图7和图8所示的步 骤相同。即，本实施方式的个人计算机10能够实现为CPU 11的程序、或者利用专用处理器或者专用的数字电路实现。(基于用户操作的再现速度的切换示例)在上述的示例中，在感知数据的缺失而自动检测到再现速度的切换的情况下使声音输出无声化，但也可以在根据用户操作来切换再现速度的情况下，进行声音输出的无声 化。图10是与用户操作对应的切换方法的说明图。首先，起动装置并根据输入数据再现动态图像(S301)。然后，感知部22感知用户的操作、例如再现(1倍)、快进、慢速再现的按钮被按下 等，并通知给变更确定部31 (S302)。如果所通知的操作是与当前的再现速度不同的速度的再现，变更确定部31确定 变更再现速度，并通知切换检测部32和输出控制部22 (S303)。例如，通知从变倍速度向1 倍速度、从1倍速度向变倍速度、从变倍速度向不同的变倍速度的切换。以该通知为契机，切换检测部32查找输入数据(S304)，把构成动态图像的各个帧 (动态图像)的一致程度为预定值以上的期间检测为切换时机，并将切换时机通知给输出 控制部22(S305)。另外，在未检测到的情况下，返回步骤S304，查找下一个数据块。并且，在开始这些帧的再现时，声音控制部33开始声音输出的无声化(声音逐渐 消失)(S306)，在该无声化开始后，输出控制部22按照来自变更确定部的通知，变更再现速 度(S307)。输出控制部22在该时机，例如从间隔1帧地间疏动态图像信号并以2倍速度再现 的状态，变更为不进行间疏而输出全部的帧，成为1倍速度，或者变更为间隔2帧地进行输 出，成为3倍速度。或者，从将同一帧各输出两次而以1/2倍速度再现的状态，变更为将各 个帧各输出一次而成为1倍速度，或者变更为将各个帧各输出三次而成为1/3倍速度。在进行该再现速度的切换之后，再现声音控制部33结束声音输出的无声化(声音 逐渐增强)(S308)。这样，根据本示例，在变更再现速度时，在一致程度较高的帧连续的期间内，进行 无声化开始、再现速度的切换、以及无声化的解除，所以能够适时地进行切换，而不会产生噪声。S卩，由于在声音的无声化过程中进行切换，所以不会产生噪声。并且，不像以往那 样等待无音期间，而是检测一致程度较高的帧的连续状态来进行无声化，即生成无音期间， 所以能够适时地进行切换。另外，由于检测一致程度较高的帧的连续状态来进行切换，所以 能够实现没有不协调感的切换。并且，在一致程度较高的帧连续的情况下，对于声音也持续 相同的状态，变动比较小，所以即使在较短的期间内进行无声化开始和无声化解除，不协调 感也比较小，不会被识别为噪声。(其他)本发明不限于上述的图示例，当然能够在不脱离本发明宗旨的范围内进行各种变 更。并且，上述构成要素能够尽可能地进行组合。
权利要求
一种声音信号控制装置，其具有变更确定部，其确定变更包括动态图像信号和声音信号在内的输入数据的再现速度；切换检测部，在所述再现中所述变更确定部确定了变更为不同的再现速度的情况下，该切换检测部将动态图像的一致程度为预定值以上的期间检测为切换时机；再现部，其根据所述输入数据对声音和动态图像进行再现，在由所述变更确定部确定了对再现速度进行变更的情况下，在所述切换时机切换再现速度；以及声音控制部，其在所述切换时机对基于所述声音信号的声音输出进行无声化。
2.根据权利要求1所述的声音信号控制装置，其中，所述检测部对动态图像信号中的N 帧和从该N帧起直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将 N+1帧到N+x帧检测为切换时机。
3.根据权利要求1或2所述的声音信号控制装置，其中，在所述变更确定部从小于1倍 的再现速度变更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，所述声 音控制部对声音输出进行无声化。
4.根据权利要求1 3中任一项所述的声音信号控制装置，其还具有 缺失检测部，其检测所述输入数据的缺失；以及替代数据生成部，在由所述缺失检测部检测到所述输入数据的缺失的情况下，把除检 测到缺失的部分之外的、缺失部分前面的输入数据及后面的输入数据中的至少任一方输入 数据，作为将该输入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现 时间的量的数据进行平均化，由此生成替代数据，在由所述检测部检测到所述输入数据的缺失的情况下，所述变更确定部确定变更为小 于1倍的再现速度，所述再现部根据所述图像信号和所述替代数据再现声音和动态图像， 在所述检测部不再检测到所述输入数据的缺失的情况下，所述变更确定部确定变更为1倍 的再现速度。
5.一种声音信号控制方法，使声音及动态图像的再现装置执行以下步骤 确定变更包括动态图像信号和声音信号在内的输入数据的再现速度的步骤；当在所述再现中所述变更确定部确定了变更为不同的再现速度的情况下，将动态图像 的一致程度为预定值以上的期间检测为切换时机的步骤；根据所述输入数据再现声音和动态图像，在由所述变更确定部确定了对再现速度进行 变更的情况下，在所述切换时机切换再现速度的步骤；以及在所述切换时机对基于所述声音信号的声音输出进行无声化的步骤。
6.根据权利要求5所述的声音信号控制方法，其中，对所述动态图像信号中的N帧和 从该N帧起直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将N+1 帧到N+x帧检测为切换时机。
7.根据权利要求5或6所述的声音信号控制方法，其中，在将所述再现速度从小于1倍 的再现速度变更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，对所述 声音输出进行无声化。
8.根据权利要求5 7中任一项所述的声音信号控制方法，其还包括 检测所述输入数据的缺失的步骤；在由所述缺失检测部检测到所述输入数据的缺失的情况下，把除检测到缺失的部分之外的、缺失部分前面的输入数据及后面的输入数据中的至少任一方输入数据，作为将该输 入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据 进行平均化，由此生成替代数据的步骤，在检测到所述输入数据的缺失的情况下，确定变更为小于1倍的再现速度，根据所述 图像信号和所述替代数据再现声音和动态图像，在不再检测到所述输入数据的缺失的情况 下，确定变更为1倍的再现速度。
9.一种声音信号控制程序，其使声音及动态图像的再现装置执行以下步骤 确定变更包括动态图像信号和声音信号在内的输入数据的再现速度的步骤；当在所述再现中所述变更确定部确定了变更为不同的再现速度的情况下，将动态图像 的一致程度为预定值以上的期间检测为切换时机的步骤；根据所述输入数据再现声音和动态图像，在由所述变更确定部确定了对再现速度进行 变更的情况下，在所述切换时机切换再现速度的步骤；以及在所述切换时机对基于所述声音信号的声音输出进行无声化的步骤。
10.根据权利要求9所述的声音信号控制程序，其中，对所述动态图像信号中的N帧和 从该N帧起直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将N+1 帧到N+x帧检测为切换时机。
11.根据权利要求9或10所述的声音信号控制程序，其中，在将所述再现速度从小于1 倍的再现速度变更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，对所 述声音输出进行无声化。
12.根据权利要求9 11中任一项所述的声音信号控制程序，其还包括 检测所述输入数据的缺失的步骤；在由所述缺失检测部检测到所述输入数据的缺失的情况下，把除检测到缺失的部分之 外的、缺失部分前面的输入数据及后面的输入数据中的至少任一方输入数据，作为将该输 入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据 进行平均化，由此生成替代数据的步骤，在检测到所述输入数据的缺失的情况下，确定变更为小于1倍的再现速度，根据所述 图像信号和所述替代数据再现声音和动态图像，在不再检测到所述输入数据的缺失的情况 下，确定变更为1倍的再现速度。
全文摘要
提供一种声音信号控制装置，在一致程度较高的动态图像持续的情况下，对声音输出进行无声化并切换再现速度，由此抑制噪声的产生。为此，声音及动态图像的再现装置确定变更包括动态图像信号和声音信号在内的输入数据的再现速度，当在所述再现中所述变更确定部确定了变更为不同的再现速度的情况下，将动态图像的一致程度为预定值以上的期间检测为切换时机，根据所述输入数据再现声音和动态图像，在由所述变更确定部确定了变更再现速度的情况下，在所述切换时机切换再现速度，在所述切换时机对基于所述声音信号的声音输出进行无声化。
文档编号H04N7/173GK101809999SQ200780100829
公开日2010年8月18日 申请日期2007年9月28日 优先权日2007年9月28日
发明者大柜敏郎 申请人:富士通株式会社