图像显示装置、方法和程序的制作方法

专利名称：图像显示装置、方法和程序的制作方法
技术领域：
本发明涉及图像显示装置、方法和程序，尤其是涉及为了提高真 实感而可以输出显示图像的音频的图像显示装置、方法和程序。
背景技术：
当今，电视接收机接收由广播站所广播的电视信号，并作为电视 广播节目来显示图像或输出音频。
例如，在如图1所示电视接收机l所接收的包含在电视信号中的 音频是非立体声格式的情况下，从电视接收机的扬声器2A和2B中都 输出相同的音频。因此，例如，如果在屏幕上的人3A到3C中的任何 一个人正在讲话，那么输出音频的扬声器(扬声器2A或2B)没有改 变。进一步地，在非立体声音频的情况下，从左、右输出相同的音频， 所以正在收看/收听的用户听到人3A到3C的音频是相同的，并且真 实感被削弱。
相反地，如果包含在如图1所示电视接收机所接收信号中的音频 是立体声的，那么由于左右音量的不同，用户所体验到的人3A到3C 的音频产生方向(从用户的角度上音频生成位置的方向)会被改变。
然而，即使在这样的立体声的情况下，输出音频的扬声器是扬声
器2A和2B,并且不会改变，所以音频产生的方向很难较大地改变， 并且因此真实感会被削弱。
同样，通常在广播站侧，不能估计每个收看者/收听者使用什么类 型的电视接收机来收看/收听节目。然而，对于每个用户来说用户的收 看/收听环境是不同的，诸如左右扬声器的位置关系、扬声器的特性、 用户的位置、电视接收机的放置位置等等。因此，依赖于用户的收看/ 收听环境，环境会与当生成包括在电视信号中的立体声格式的音频信 号时的估计有很大的不同，所以广播站试图让用户获得真实感会是很 困难的。
为了解决这个问题，已经考虑到一种方法，其中从特定的声源获 得声音以便产生声学信号，以及能够从该声学信号、运动图像信号和 位置信号检测单元中产生信息信号并将其记录，通过这么做，能够在 回放时执行对应于图像显示位置的声学输出(例如，参考日本未审查 的专利申请公开2003-264900 )。

发明内容
然而，在这种情况下，预先从特定声源中获得声音并产生信息信 号是必要的，但是应用这个以接收和显示已经使用到现在的普通电视 广播是很难。
本发明已经将这种情况考虑进去，并为了以很强的真实感输出对 应于所显示图像的音频而提出了一种方案。
根据本发明的一个实施例，提供了一种用于显示图像的图像显示 装置，其具有用于显示图像的图像显示部件，用于输出对应于图像显 示部件所显示图像的多个音频的音频输出部件，以及用于分析图像、 根据图像内容控制音频输出部件、以及选择输出音频位置的音频输出 位置控制部件。
音频输出部件可以具有多个扬声器，其配置有音频输出位置控制 部件，以便控制音频输出部件来选择输出音频的扬声器。
音频输出部件能够通过控制音频的输出定时来控制实际的音频输
出位置，同时音频输出位置控制部件控制输出部件和选择输出定时， 由此控制输出音频的实际位置。
音频输出位置控制部件可以具有屏幕区域分割部件，其用于将图 像显示部件的显示屏分割为预定数量的多个区域，差值平均值计算部 件，其用于对屏幕区域分割部件所分割的每个区域的、具有预定特征 且其像素值预先确定的每个像素，计算帧间亮度值的差值的平均值， 以及音频输出控制部件，其基于差值平均值计算部件所计算出的差值 的平均值来控制音频输出部件、选择输出音频的位置。
音频可以是单通道音频，或者可以是多通道音频。
音频输出位置控制部件可以具有差值平均值计算部件，其用于对 分配到图像的多个区域中的每一个中、具有预定特征且其像素值预先 确定的每个像素来计算差值平均值，该差值平均值是帧间亮度值的差
值的平均值；音量确认部件，用于确认多通道中每个的音量来指定音 频输出位置；差值平均值校正部件，其基于已经由音量确认部件所确 认并指定音量的音频输出位置来校正差值平均值计算部件所计算的差 值平均值；区域指定部件，其基于差值平均值校正部件所校正的差值 平均值来指定用于输出音频的区域；以及音频输出控制部件，其用于 控制音频输出部件，以便从对应于区域指定部件所指定区域的位置输 出音频。
音频输出位置控制部件可以具有差值平均值计算部件，其用于对 分配到图像的多个区域中的每一个中、具有预定特征且其像素值预先 确定的每个像素来计算差值平均值，该差值平均值是帧间亮度值的差 值的平均值；区域指定部件，其基于差值平均值计算部件所计算的差 值平均值来指定用于输出音频的区域；音量调整部件，其基于区域指 定部件所指定的音频输出区域，来确定从音频输出部件所输出的音频 音量的调整量；音量确认部件，用于确认多通道中每一个的音量来指 定音频输出位置；比较部件，其用于对区域指定部件所指定的音频输 出区域与音频输出位置进行比较，在所述音频输出位置中，音量由音 量确认部件所确认并指定；调整量校正部件，其基于比较部件的比较 结果，校正由音量调整部件所确定的音频音量的调整量；以及音频输 出控制部件，其用于控制音频输出部件，以便基于调整量校正部件所 校正的音量调整量来调整音频音量。
图像显示装置可以具有用户位置对应处理部件，其根据用户的位 置，检测用户收看/收听图像和音频的位置，以及通过音频输出部件控 制音频输出的延迟定时量。
音频输出部件可以具有多个可拆卸扬声器，同时图像显示装置进 一步包括区域设置部件，用于根据连接到其上的扬声器的位置来设置 由屏幕区域分割部件所要分割的区域。
根据本发明的另外一个实施例，提供一种用于在图像显示装置上 显示图像的图像显示方法，包括步骤显示图像，分析所显示图像， 根据图像内容选择对应于图像的音频输出位置，以及从所选择的位置 上输出音频。
根据本发明的另外一个实施例，提供一种用在计算机上执行显示 图像处理的程序，包括步骤显示图像，分析所显示图像，根据图像 内容选择对应于图像的音频输出位置，以及从所选择的位置上输出音 频。
根据本发明的另外一个实施例，提供一种用于显示图像的图像显 示装置，其具有图像显示单元，用于显示图像；音频输出单元，用于
从对应于图像显示单元所显示图像的多个位置中输出音频；以及音频 输出位置控制单元，用于分析图像、根据图像内容控制音频输出单元 和选择输出音频的位置。
因此，采用本发明的实施例，显示图像，分析显示图像，根据图 像内容对对应于图像的音频输出位置进行选择，以及将音频从所选择 的位置输出。
同样，釆用本发明的实施例，可以在显示图像的同时输出音频。 特别地，能够输出对应于所显示图像的音频以便提高真实感。


图l是说明目前所使用的电视接收装置的透视图2是说明应用本发明一个实施例所述的显示装置的外视图3是说明图2显示装置内部结构示例的框闺；
图4是说明图3中音频输出位置控制单元的详细结构示例的框图5是说明区域分割示例的模型图6是说明图4中差值平均值计算单元的详细结构示例的框图7是用于描述图像显示处理流程示例的流程图8是用于描述音频输出位置控制处理流程示例的流程图9是用于描述特征像素差值平均值计算处理流程示例的流程
图IO是说明显示装置外视图的另一个结构示例的框图11是应用本发明一个实施例的投影系统的结构示意图12是显示装置另一个结构示例的示意图13是显示装置外视图的又一个结构示例的示意图14是用于描述另一个音频输出位置控制处理流程示例的流程
图15是说明音频输出控制单元详细结构示例的框图； 图16是用于描述音频输出控制处理流程示例的流程图； 图17是说明音频输出控制单元另外一个详细结构示例的框图； 图18是用于描述音频输出控制处理流程的另 一 个示例的流程图； 图19是说明显示装置另一个结构示例的框图； 图20是说明图19中对应处理单元的用户位置的详细结构示例的 框图21是用于描述用户位置相关处理流程示例的流程图； 图22是说明显示装置另一个结构示例外视图的框图； 图23是说明输入引导图像的显示示例的模型图； 图24是说明显示装置另一个结构示例的框图25是说明图24中区域设置单元的详细结构示例的框图26是用于描述区域设置处理流程示例的流程图；图27是说明显示装置的另一个结构示例的框图； 图28是说明图27中区域设置单元详细结构示例的框图； 图29是用于描述区域设置处理流程的另一个示例的流程图；以及 图30是说明应用本发明一个实施例的个人计算机结构示例的示 意图。
具体实施例方式
在描述本发明实施例之前，在下面讨论权利要求的特征与下面的 本发明实施例所公开的特定元件之间的对应关系。该说明书想要确保 在说明书中描述所要求保护的发明所支持的实施例。因此，即使在下 述实施例中的元件没有作为涉及本发明某一特征而描述，但是这不一 定意味着该元件不与权利要求的特征相关。相反地，即使在这里的元 件作为涉及权利要求某一特征而进行描述，但是这不一定意味着该元 件与权利要求的其它特征无关。
进一步地，该说明书不应当解释为限制在权利要求所描述的实施 例公开的发明的所有方面。也就是说，说明书不否认实施例中所描述 的，但本申请没有要求保护的本发明的方面的存在，即，本发明的其 它方面将来可以通过分案申请，或通过修改而附加要求。
根据本发明一个实施例所述的图像显示装置(例如，图2中的显 示装置)包括图像显示部件(例如，图3中的显示单元)，其用于显 示图像；音频输出部件(例如，图3中的音频输出单元)，其用于从 多个位置中输出对应于图像显示部件所显示图像的音频；以及音频输 出位置控制部件(例如，图3中的音频输出位置控制单元)，其用于 分析图像、根据图像内容来控制音频输出部件、以及选择从中输出音 频的位置。
音频输出部件可以被配置为具有多个扬声器(例如，图2中的扬 声器)，并且音频输出位置控制部件控制音频输出部件以便选择从中 输出音频的扬声器。
可以配置音频输出部件，以便通过控制音频输出定时来实际地控
制音频输出位置，以及使音频输出位置控制部件通过控制音频输出部
件和选择输出定时来控制从中输出音频的实际位置(例如，图21中的 步骤S133)。
音频输出位置控制部件可以被配置为具有屏幕区域分割部件(例 如，图4中的屏幕区域分割单元)，其用于将图像显示部件的显示屏 分割为预定的多个区域；差值平均值计算部件(例如，图4中差值平 均值计算单元)，其用于对每个由屏幕区域分割部件所分割的区域中 的、具有预定特征且其像素值预先确定的每个像素计算帧间亮度值的 差值的平均值；以及音频输出控制部件(例如，图4中的音频输出控 制单元)，其基于差值平均值计算部件所计算的差值平均值来控制音 频输出部件以及选择输出音频的位置。
可以设计这样一种配置，其中音频是单通道音频(例如，图4中 的音频数据)。可以设计这样一种配置，其中音频是多通道音频(例 如，图15中的音频数据)。
音频输出位置控制部件可以被配置为具有差值平均值计算部件 (例如，图4中的差值平均值计算单元)，其用于对分配到图像的多 个区域中的每一个中、具有预定特征且其像素值预先确定的每个像素 计算差值平均值，该差值平均值是帧间亮度值的差值的平均值；音量 确认部件(例如，图15中的音频确认单元)，其用于确认多通道中每 个的音量来指定音频输出位置；差值平均值校正部件(例如，图15中 的差值平均值校正单元)，其基于由音量确认部件已经确认并指定的
音频输出位置来校正差值平均值计算部件所计算的差值平均值；区域
指定部件(例如，图15中的区域指定单元)，其基于差值平均值校正
部件所校正的差值平均值来指定用于输出音频的区域；以及音频输出 控制部件(例如，图15中的输出控制单元)，其用于控制音频输出部 件，以便从对应于区域指定部件所指定区域的位置输出音频。 "可以设计这样一种配置，其中音频输出位置控制部件可以具有差
值平均值计算部件(例如，图4中的差值平均值计算单元)，其用于 对分配到图像的多个区域中的每一个中、具有预定特征且其像素值预 先确定的每个像素计算差值平均值，该差值平均值是帧间亮度值的差
值的平均值；区域指定部件(例如，图17中的区域指定单元)，其基 于差值平均值计算部件所计算的差值平均值来指定用于输出音频的区 域；音量调整部件(例如，图17中的音量调整单元)，其基于区域指 定部件所指定的音频输出区域，来确定从音频输出部件所输出的音频
音量的调整量；音量确认部件(例如，图17中的音量确认单元)，用 于确认多通道中每个的音量来指定音频输出位置；比较部件(例如， 图17中的比较单元)，其用于对区域指定部件所指定的音频输出区域 与音频输出位置进行比较，在所述音频输出位置中，音量由音量确认 部件所确认并指定；调整量校正部件(例如，图17中的调整量校正单 元)，其基于比较部件的比较结果，校正由音量调整部件所确定的音 频音量的调整量；以及音频输出控制部件(例如，输出控制单元)， 其用于控制音频输出部件，以便基于调整量校正部件所校正的音量调
整量来调整音频音量。
图像显示装置可以具有用户位置对应处理部件(例如，图19中的
用户位置对应处理单元)，其根据用户的位置，检测用户收看/收听图
像和音频的位置，以及控制音频输出部件所调节的音频输出定时的延迟量。
音频输出部件可以具有多个可拆卸扬声器(例如，图22中的扬声 器)，并且图像显示装置进一步包括区域设置部件(例如，图24中的 区域设置单元)，其根据连接到其上的扬声器位置来设置由屏幕区域 分割部件所分割的区域。
根据本发明的一个实施例所述的一种图像显示方法或程序，可以 包括步骤显示图像(例如，图7中的步骤S5),分析所显示图像， 根据图像内容选择对应于图像的音频输出位置(例如，图7中的步骤 S4)，以及从所选择的位置上输出音频(例如，图7中的步骤S6)。
本发明的实施例在下面将结合参考附图进行描述。
图2是说明应用本发明的显示装置外视图的结构示例框图。在图 2中，显示装置IO在用于显示图像的区域底端具有三个扬声器(扬声
器11-13)。图像显示装置IO通过接收电视信号或通过外部输入获得
内容数据来获取图像数据或音频数据，并在监视器上显示对应于这些
图像数据的图像作为显示图像20，或从扬声器11-13中输出对应于显 示图像20的音频。
例如，在一种情况下，三个人21-23在显示图像20中正在讲话， 显示装置10分析显示图像20，从位于左端的扬声器11中输出位于左 端的人21的声音，从位于中间的扬声器12中输出位于中间的人22的 声音，以及从位于右端的扬声器13中输出位于右端的人23的声音。 因此，通过根据显示图像20的内容控制音频输出位置，显示装置10 能够输出对应于显示图像20的音频，以便提高真实感。
图3是显示装置IO内部结构示例的框图。在图3中，显示装置 10具有天线31、调谐器32、外部输入接收器33、输入控制单元34、 图像处理单元35、音频处理单元36、音频输出位置控制单元37、显 示单元38、音频输出单元39、控制单元41以及用户指令接收单元42。
调谐器31选择用户想要的广播(选择频道)，通过天线31接收 所选择的电视信号，并将所接收的电视信号提供给输入控制单元34。 外部输入接收单元具有用于从外部获取诸如运动图像或音频这样的内 容数据的外部输入终端，该外部输入接收单元通过连接到外部输入终 端的电缆来获取内容数据，并将其提供给输入控制单元34。
输入控制单元34基于用户指令等来执行涉及电视信号或内容数 据输入方面的处理，例如，执行诸如从电视信号或内容数据中提取和 分割图像数据和音频数据这样的处理。而且，输入控制单元34将输出 的图像数据提供给图像处理单元35，并将输出的音频数据提供给音频 处理单元36。
图像处理单元35对输入控制单元34所提供的图像数据执行例如 数据格式转换或诸如亮度或色彩调整这样的图像处理来处理图像，， 并且将已被处理过的图像数据提供给显示单元38并显示该图像。同 样，图像处理单元35也将处理过的图像数据提供给音频输出位置控制 单元37。
音频处理单元36对输入控制单元34所提供的音频数据执行诸如 效果处理这样的音频处理，并将处理过的音频数据提供给音频输出位 置控制单元37。注意，这里的音频数据是作为非立体声(单通道)信 息。立体声格式(多通道)的音频数据将在后面进行描述。
音频输出位置控制单元37分析图像处理单元35所提供的图像数 据中的图像，以及如果现场是有一个人在讲话，那么音频处理单元36 所提供音频数据的输出目标被控制，并且将音频数据提供给音频输出 单元39，以便从靠近讲话者位置的扬声器中输出该音频。
显示单元38具有用于显示图像的监视器(未示出)，并且将对应 于图像处理单元35所提供图像数据的图像显示在监视器上。
在图2中，音频输出单元39具有扬声器11-13，并从音频输出位 置控制单元37所指定的扬声器(扬声器11-13中的一个)中输出音频 输出位置控制单元37所提供的音频数据。
例如，音频输出单元39中扬声器11-13中的每一个通过不同的总 线连接到输出位置控制单元37上，以及音频输出位置控制单元"通 过选择输出音频数据的总线来选择输出从其音频数据的扬声器。通过 音频输出单元39，声音从由音频数据提供的那个扬声器中输出。
注意，可以设计一个配置，其中音频输出单元39具有用于切换输 出目标的切换功能，并且在音频输出位置控制单元37通过用在从所有 扬声器输出的情况中的公用总线将音频数据提供给音频输出单元39 的同时，提供表示音频数据输出目标的控制信息，音频输出单元39基 于其控制信息切换开关，并且音频数据从音频输出位置控制单元37所 选择的扬声器中输出。
控制单元41基于例如用户指令接收器42所接收的用户指令等来 控制全部的显示装置10，该显示装置10包括调谐器32、外部输入接 收机33、输入控制单元34、图像处理单元35、音频处理单元36、音 频输出位置控制单元37、显示单元38和音频输出单元外。
用户指令接收器42具有光接收器，其通过接收遥控器输出的红外 光来接收包括用户指令的红外信号，其中所述遥控器是由用户所操作
的输入装置，例如，在获得所提供的用户指令之后，将其提供给控制
单元41。注意，用户指令接收器42可以配置为具有诸如按钮或开关 或键盘或鼠标等等这样的输入装置。
图4是显示音频输出位置控制单元37详细结构示例的框图。在图 4中，音频输出位置控制单元37具有屏幕区域分割单元51、差值平均 值计算单元52、确定单元53和音频输出控制单元54。
屏幕区域分割单元51根据扬声器的配置将显示屏分割为多个区 域，并将多个区域分配给由图像处理单元35所提供图像数据中的每帧 图像。
在图5中说明了一个区域分割的例子。如图5所示，显示装置IO 具有沿水平方向一排的三个扬声器(扬声器11-13)。因此，屏幕区域 分割单元51将显示图像20分割为沿水平方向的三个分开区域，分成 区域61-63。在图5中，通过这样的分割，将包括在显示图像20中的 人21-23的图像分配给区域61-63。
返回到图4,差值平均值计算单元52指定在图像数据的每帧图像 中显示预定特征的部分，并通过计算帧间这样部分的亮度值差值来测 量特征部分中亮度值的帧间变化量。差值平均值计算单元52计算每个 区域中帧间变化量的平均值。差值平均值计算单元52的详细结构示例 将在后面进行描述。差值平均值计算单元52将所计算的差值平均值提 供给确定单元53。
确定单元53确定是否执行音频输出位置控制，并且将确定结果通 知音频输出控制单元54。音频输出控制单元54基于确定单元53的确 定结果控制所提供音频数据的输出位置，并将音频数据提供给音频输 出单元39的扬声器11-13中的一个。在不控制音频数据输出位置的情 况下，音频输出控制单元54将音频数据提供给音频输出单元39的所 有扬声器11-13。
图6是显示差值平均值计算单元52详细结构示例的框图。在图6 中，差值平均值计算单元52具有像素值转换单元71、帧存储器72、 特征像素提取单元73、变量管理单元74、差值计算单元75、确定单
元76、差值平均值计算单元77以及差值平均值存储单元78。
在获得屏幕区域分割单元51所提供的图像数据的基础上，像素值 转换单元71对每个像素将图像数据转换为预定数据格式，并将其提供 给帧存储器72以便保持该数据。帧存储器72以一帧为单位保持图像 数据一帧的长度。换句话说，帧存储器72保持帧图像数据，直到对下 一帧图像处理开始为止。像素值转换单元71也将图像数据或区域信息 提供给特征像素提取单元73。
特征像素提取单元73特征像素，其是包括在图像数据中并且具有 预定特征的像素。例如，特征像素提取单元73提取表示诸如色调、色 饱和度、照度、亮度、RGB值等等来表示人的特征的特征像素(包括 在预先确定的颜色值范围内的像素)。特征像素提取单元73增加了区 域内特征像素计数81，其作为对于每个特征像素提取来说由变量管理 单元74保持并管理的变量。
变量管理单元74存储作为对每个区域特征像素数据进行计数的 变量的区域内特征像素计数81 ，和作为对帧间特征像素亮度值的差值 求和的变量的区域内差值总和82，并管理其值输入/输出的更新。例如， 变量管理单元74在特征像素提取单元73每次提取特征像素时增加区 域内特征像素计数81。并且，变量管理单元74荻得帧间特征像素亮 度值的差值，其由差值计算单元75所提供，并将差值添加到区域内差 值总和82中。例如，如果需要，变量管理单元74进一步将区域内特 征像素计数81或区域内差值总和82提供给差值平均值计算单元77。
在获得帧存储器72保持的图像数据之前一个帧的图像数据的基 础上，差值计算单元75针对先前帧亮度值和当前帧亮度值之间，计算 由特征像素提取单元73所提取特征像素的差值。差值计算单元75将 所计算的差值提供给变量管理单元74。
确定单元76接收处理结果，并确定涉及全部区域内像素的处理是 否已经执行，以及在区域内所有像素处理都完成的基础上，将该信息 通知给差值平均值计算单元77。
差值平均值计算单元77获得存储在变量管理单元74中的区域内
特征像素计数SI和区域内差值总和82，并使用这些来计算作为每个 区域差值的平均值的差值平均值。同样，在差值平均值存储单元78对 所有区域的差值平均值进行存储的基础上，将其中的差值平均值提供 给确定单元53。
接下来，将描述对每个部分的特定处理流程。首先，参考图7流 程图将描述显示装置10所执行的图像显示处理流程的例子。
在步骤S1中，输入控制单元34通过调谐器32接收电视信号，并 从所接收的电视信号中提取图像数据或音频数据。在步骤S2中，图像 处理单元35执行涉及图像数据的图像处理。在步骤S3中，音频处理 单元36执行涉及音频数据的音频处理。在步骤S4中，音频输出位置 控制单元37控制扬声器(音频输出位置)以便根据图像数据的数据来 输出音频数据的音频。该音频输出位置控制处理的详细描述将在后面 进行描述。
在步骤S5中，显示单元38显示所提供图像数据的图像。在步骤 S6中，音频输出单元39基于音频输出位置控制单元37的控制来从扬 声器(位置)中输出所提供音频数据的音频。
在步骤S7中，控制单元41确定图像显示处理是否结束，并且在 所做出的确定是处理没有结束的情况下，流程返回步骤S1，并在其后 重复该处理。同样，在步骤S7中所做出的确定是处理结束的情况下， 控制单元41将处理继续到步骤S8，执行诸如关断电源这样的结束处 理，并结束图像显示处理。
接下来，参考图8流程图将描述图7中步骤S4所执行的音频输出 位置控制处理的详细流程示例。
当音频输出位置控制处理开始时，在步骤S21中屏幕区域分割单 元51将屏幕区域分割为对应扬声器配置的多个区域。在步骤S22中， 差值平均值计算单元52计算显示为预定特征的像素(特征像素)的差 值平均值。特征像素差值平均值计算处理的细节将在后面进行描述。
在步骤S23中，确定单元53确定所有区域的差值平均值是否等于 或低于预定阈值。如果确定即使一个差值平均值在阈值之上，那么确 定单元S3将流程继续到步骤S24。在步骤S24中，音频输出控制单元 54指定具有最大差值平均值的区域，也就是说，在图像运动中的区域 发音最大，诸如显示嘴部等这样的特征的图像，例如，确定该区域有 人在讲话，选择对应于该区域的扬声器作为音频输出扬声器，以及基 于音频输出单元39的选择提供音频数据，并从对应于具有最大差值平 均值的区域的扬声器中输出该音频。在结束步骤S25中的处理的基础 上，音频输出控制单元54将处理继续到步骤S27。
同样，在步骤S23中，所做出的确定是对所有区域的差值平均值 等于或低于该阚值，那么确定单元53将处理继续到步骤S26中。在步 骤S26中，音频输出控制单元54将音频数据提供给所有的扬声器，并 从所有的扬声器中输出音频。在结束步骤S26中的处理的基础上，音 频输出控制单元54将处理继续到步骤S27中。
在步骤S27中，音频输出控制单元54确定音频输出位置控制处理 是否结束，并在所做出的确定是处理没有结束的情况下，流程返回到 步骤S22中，并在其后重复该处理。同样，在步骤S27中所做出的确 定是音频输出位置控制处理结束的情况下，那么音频输出控制单元54 将流程继续到步骤S28中，执行结束处理，结束音频输出位置控制处 理，将步骤返回到图7中的步骤S4中，以及执行步骤SS的处理及其 其后的处理。
接下来，将参考图9的流程图描述图8中步骤S22所执行的特征 像素差值平均值计算处理的详细流程示例。
在步骤S41中，变量管理单元47初始化诸如区域内特征像素计数 81和区域内差值总和82这样的变量。在步骤S42中，像素值转换单 元71转换像素值。在步骤S43中特征像素提取单元73确定具有由像 素值转换单元71所转换像素值的像素是否是具有人物图像特征的像 素，并在所做出的确定是其为特征像素的情况下，流程进入到步骤 S44。
在步骤S44中，变量管理单元74将"+l"加入区域内特征像素计数 81中。在步骤S45中，差值计算单元75计算与先前帧之间的亮度值
差值。在步骤S46中，变量管理单元74将差值加入区域内差值总和 82中。在结束步骤S46中处理的基础上，变量管理单元74将步骤继 续到步骤S47。同样，如果在步骤S43中的像素被确定不是特征像素， 那么特征像素提取单元73将处理继续到步骤S47中。
在步骤S47中，确定单元76确定区域内的所有像素是否已经处理， 并在所做出的确定是像素还没有全部处理的情况下，处理返回到步骤
S42，并在其后对下一个像素重复该处理。同样，在步骤S47中所做出 的确定是区域内的所有像素已经处理完，那么确定单元76将处理继续 到步骤S48。
在步骤S48中，差值平均值计算单元77基于区域内特征像素计数 81和区域内差值总和82的数值来计算区域内的差值平均值。在步骤 S49中，差值平均值存储单元78存储所计算的差值平均值，并在步骤 S50中，确定对所有区域的处理是否已经结束，并在所做出的确定是 区域仍然没有处理完的情况下，处理返回到步骤S41中，并在其后对 下一个区域重复该处理。
同样，在步骤S50中所做出的确定是所有区域已经处理完的情况 下，差值平均值存储单元78结束特征像素差值平均值计算处理，将步 骤返回到图8中的步骤S22，并执行步骤S23以及其后的处理。
通过执行如上述各种处理，显示装置10分析涉及诸如图2所示显 示图像20那样的显示图像20，并因此不仅仅能够从像素值中的特征 中指定人21-23，而且能通过使用帧间差值平均值指定人21-13中的哪 个在讲话，以及能够根据显示图像20的内容来控制音频输出位置，以 便例如从扬声器11中输出人21的声音，从扬声器12中输出人23的 声音，和从扬声器13中输出人23的声音。
采用这样的一种配置，显示装置10能够输出对应所显示图像的音 频，以便提高真实感。
注意，扬声器的数目是可选的，并且其配置也是可选的。同样， 区域和扬声器不需要采用一对一相关的方式来配置，而是可以配置为 一个扬声器对应多个区域，或一个区域对应多个扬声器。例如，如图
IOA所示，可以设计这样一种配置，其中显示装置IO具有十四个扬声 器(扬声器WA-MP)以便环绕显示图像20。在这种情况中，显示图 像20被分割为总共十二个区域(区域101-112)，在垂直方向有三个， 在冲黄向方向有四个，如图10B所示。
此时，例如，扬声器91A和91P对应区域101，扬声器91B对应 区域102，扬声器91C对应区域103，扬声器91D和91E对应区域104， 扬声器91N对应区域105,扬声器91B、 91F、 91K和91N对应区域 106，扬声器91C、 91F、 91J和91N对应区域107，扬声器91F对应 区域108，扬声器91L和91M对应区域109,扬声器91K对应区域110， 扬声器91J对应区域111,扬声器91G和91H对应区域112。毋庸置 疑，也可以使用其它方式的关系。
注意，只要图像被显示以及音频对应于所述图像输出，就可以以 任何方式来调整本发明。例如，可以使用如图ll所示那样使用投影仪 的系统。在图11的情况中，将投影仪122放置在屏幕121后面的远处， 并且投影仪122将图像投影到屏幕121的后侧。扬声器131-142线性 安置在屏幕121的前面，面向后侧的远处，并被配置为从扬声器中输 出对应于图像123的音频。换句话说，扬声器131-142从投影仪l22 投影到屏幕121上的图像123的后侧输出音频。
采用这样的一个系统，如上所述，通过根据投影图像123的内容 来选择并从扬声器131-142中输出音频，例如讲话者的声音可以直接 从该人后面的扬声器中输出。因此，采用图ll中的系统，能够输出对 应于所显示图像的音频，从而提高了真实感。
注意，可以设计这样的一种配置，其中控制从每个扬声器输出的 音量来代替选择输出音频的扬声器。换句话说，代替控制各个扬声器 是否输出音频，而设计了这样一种如上所述的配置，其中从对应于所 选择区域的扬声器中输出是主要的，并减少从对应于其它区域的扬声 器中输出音频的音量。
同样，可以设计一种配置，其中音频数椐具有多通道，例如，对 不能够指定显示图像20中的音频输出位置的音频和能够指定显示图
像20中的音频输出位置的音频，诸如人声，将音频数据处理成分离的 通道。
图12是示出这样一种情况中显示装置的结构示例的框图。在图 12中，显示装置150具有类似于显示装置10那样的基本配结构，但 是音频处理单元151不同于音频处理单元36,并且输入音频数据的每 个通道中的音频都被分割并输出。将诸如背景音乐这样的不用指定音 频输出位置的音频提供给直接音频输出单元152,并且音频输出位置 控制单元37仅仅处理需要指定音频输出位置的音频，诸如人声。音频 输出单元152获得每个通道的音频数据，并且合成每个扬声器的每个 通道并输出该音频。
因此，可以将显示装置配置为仅仅控制一部分通道中的音频输出 位置。注意，可以控制对于每个通道的音频输出位置，以便彼此独立。
进一步地，毋庸置疑，显示装置可以控制左右两通道音频数据的 输出位置，如同立体声。在这种情况中，如图13所示，可以将具有左 右两通道的扬声器配置为一組，并且可以进行类似于上述非立体声格 式音频数据的处理。
例如，在图13的情况中，显示装置160具有线性放置在水平方向 上的三个立体声扬声器(立体声扬声器161-163)。立体声扬声器161 具有左扬声器161A和右扬声器161B,并能够在左右两个通道上输出 音频。立体声扬声器162类似地具有左扬声器162A和右扬声器162B， 并能够在左右两个通道上输出音频。立体声扬声器163类似地具有左 扬声器163A和右扬声器163B，并能够在左右两个通道上输出音频。
如在非立体声那样的情况中，显示装置160基于显示图像20，从 立体声扬声器161-163中选择一个用于在左右两个通道上输出音频的 立体声扬声器，以及从所选择的立体声扬声器(的左扬声器和右扬声 器)中的左右两个通道上输出音频。注意此时，使用立体声音频的左 右通道的音量差异来校正基于图像所执行的输出位置的控制。
在不用控制音频输出位置的情况中，显示装置160使用立体声扬 声器161-163作为一个立体声扬声器，并且从一个方向输出立体声声
音。例如，停止立体声扬声器162中输出的音频，从立体声扬声器161 (左扬声器W1A和右扬声器161B两者)中输出左通道音频，以及从 立体声扬声器163 (左扬声器163A和右扬声器163B两者)中输出右 通道音频。
将结合图14的流程图来描述这样的音频输出位置控制处理流程 的例子。
在开始音频输出位置控制处理的基础上，在步骤S71中，屏幕区 域分割单元51将屏幕区域分割为对应于扬声器位置的多个区域。在步 骤S72中，差值平均值计算单元52计算每个分割区域的、显示预定特 征的像素(特征像素)的差值平均值，如参考图9中流程图所描述的 那样。
在步骤S73中，确定单元确定所有区域的差值平均值是否等于或 低于预定阈值，以及如果即使一个差值平均值高于该阔值，那么处理 继续到步骤S74。在步骤S74中，音频输出控制单元54基于差值平均 值和音频数据来控制音频输出。在步骤S74中的处理结束的基础上， 音频输出控制单元54将处理继续到步骤S76。
同样，在步骤S73中所做出的确定是所有区域的差值平均值等于 或低于该阔值的情况中，确定单元53将处理继续到步骤S75。在步骤 S75中，音频输出控制单元54控制作为立体声扬声器的所有扬声器输 出音频。在步骤S75中的处理结束的基础上，音频输出控制单元54 将处理继续到步骤S76。
在步骤S76中，音频输出控制单元54确定音频输出位置控制处理 是否结束，并在所做出的确定是没有结束的情况下，处理返回到步骤 S72，并且重复其后的处理。同样，在步骤S76中，如果音频输出位置 控制处理被确定为结束，那么音频输出控制单元54将处理继续到步骤 S77中，执行结束处理，结束音频输出位置控制处理，流程返回到步 骤S4中的处理，以及执行步骤S5的处理和其后的处理。
因此，即使音频数据具有多通道，显示装置也能够以较好的真实 感输出对应显示图像的音频。注意，音频输出控制单元54可以被配置为通过利用立体声音频左 右通道的音量差异校正差值平均值来校正基于图像所执行的输出位置 控制。在图15中说明了在这种情况中的音频输出控制单元54的详细 结构示例。
在图15中，音频输出控制单元54具有音量确认单元171、差值 平均值校正单元172、区域指定单元173以及输出控制单元174。
音量确认单元171确认音频数据左右通道的音量差异，主要确认 左右方向音频被输出的方向，以及将确认结果提供给差值平均值校正 单元172。差值平均值校正单元172基于确认结果以预定比率来校正 每个区域的差值平均值的数值，以及将校正后的差值平均值提供给区 域指定单元173。区域指定单元173基于已校正差值平均值来指定输 出音频的区域，以及将指定结果提供给输出控制单元174。输出控制 单元174将音频数据提供给音频输出单元39，以便基于所指定的结果 从对应于输出音频区域的扬声器中输出音频。
接下来，参考图16的流程图，将描述图14的步骤S74中由音频 输出控制单元54所执行的音频输出控制处理的流程示例。
首先，在步骤S91中音频确认单元171基于音频数据每个通道的 音量来指定作为输出音频区域的音频输出区域。在步骤S92中，差值 平均值校正单元172基于在步骤S91中所指定的音频输出区域来校正 每个区域的差值平均值。例如，差值平均值校正单元1"可以以10% 的比例增加音频输出区域的差值平均值，以及以10%的比例减少其它 所有区域的差值平均值等，从而增加了音频输出区域的差值平均值。
在步骤S93中，区域指定单元93指定校正后差值平均值最大的区 域。在步骤S94中，输出控制单元174控制输出以便从对应于差值平 均值最大的区域的扬声器中输出音频。在步骤S94的处理结束的基础 上，音频输出控制单元54结束音频输出控制处理，处理返回到图14 中的步骤S74，并执行步骤S76的处理及其后面的处理。
注意，可以设计一种配置，其中通过采用一种不同于上述方法的 方法使用音频数据，来校正音频输出控制。例如，在控制从各个扬声
器输出的音频音量大小的情况中，与基于显示图像内容来控制输出音 频的扬声器的切换相反，显示装置可以配置为基于音频数据的左右通 道的音量来校正根据显示图像内容所确定的每个扬声器的音量。
在这种情况中的音频输出控制单元54的详细结构示例如图17所 示。在图17中，音频输出控制单元54具有区域指定单元181、音量 调整单元182、音量确认单元183、比较单元184、调整量校正单元185 和输出控制单元186。
区域指定单元181指定具有最大差值平均值的区域，并将该结果 提供给音量调整单元182和确认单元184。音量调整单元182基于所 述结果来生成用于调整对应于每个区域的扬声器所输出音量的控制信 息，并将该控制信息提供给调整量校正单元185。音频确认单元183 基于音频左右通道的音量差值来指定显示图像中的区域，其中从该区 域中输出音频，并将该结果提供给比较单元184。比较单元184对区 域指定单元181所提供的信息与音量确认单元183所提供的信息进行 比较，确定两个单元所指定的区域是否匹配，并将确定结果提供给调 整量4交正单元185。
基于该确定结果，如果区域指定单元181所指定的差值平均值为 最大的区域与输出音量确认单元183所指定音频的区域匹配，那么调 整量校正单元185估计音频输出位置的偏差是强的以及所指定的区域 精度是高的，并因此校正音量调整单元182所生成的控制信息，然后 重新调整以便增加区域间的音量差值(各个扬声器的音量差值)。相 反，如果区域指定单元181所指定的差值平均值为最大的区域与输出 音量确认单元183所指定音频的区域不匹配，那么调整量校正单元l85 估计音频输出位置的偏差是弱的以及所指定的区域精度是低的，并因 此校正音量调整单元182所生成的控制信息，然后重新调整以便减少 区域间的音量差值(各个扬声器的音量差值)。
调整量校正单元185将调整量已校正的控制信息提供给输出控制 单元186。输出控制单元186基于所提供的控制信息来控制从各个扬 声器输出的音频数据的音量。
接下来，参考图18中的流程图，将描述图14的步骤S74中音频 输出控制单元54所执行的音频输出控制处理的流程示例。
在步骤Slll中区域指定单元181参考每个所提供区域的差值平均 值，并指定具有最大差值平均值的区域。在步骤S112中，音量调整单 元182基于步骤S111处理中的指定结果来生成用于调整输出音频的控 制信息，以便使扬声器之间出现输出音频的音量差异。
在步骤S113中，音量确认单元183基于音频数据的每个通道来指 定音频输出区域。在步骤S114中，比较单元184对步骤Slll处理中 所指定的具有最大差值平均值的区域与步骤S113处理中所指定的音 频输出区域进行比较。
在步骤S115中，确认单元184确定这两个区域是否匹配，并在所 做出的确定是它们匹配的情况下，处理继续到步骤S116。在步骤S116 中，调整量校正单元185校正调整量，以便使音量差值要比步骤S112 中所设置的默认值大。在结束步骤S116处理的基础上，调整量校正单 元185将处理继续到步骤S118。
同样，在所做出的确定是两个区域不匹配的情况下，比较单元l84 将处理继续到步骤S117。在步骤S117中，调整量校正单元185校正 调整量，从而音量差值要比步骤S112中所设置的默认值小。在结束步 骤S117处理的基础上，调整量校正单元185将处理继续到步骤S118 中。
在步骤S118中，输出控制单元186基于调整量已校正的控制信息 来调整每个扬声器输出音频的音量。在步骤S118处理结束的基础上， 音频输出控制单元54结束音频输出控制处理，将处理返回到图14中 的步骤S74，并执行S76及其后面的处理。
因此，通过校正由显示图像分析所确定的音频输出控制，使用音 频数据的分析结果，显示装置能够准确地执行音频输出控制，并能够 输出音频，以便提高真实感。
注意，显示装置可以配置为不仅仅是输出音频的扬声器可以切换， 而且音频的输出位置也可以由音频处理来进行伪控制。因此，显示装
置能够给用户提供一种感觉，即没有对音频输出位置上的扬声器的放 置位置和数量进行限制的情况下，从任意位置输出音频。
同样，通过根据用户收看/收听显示装置上的内容的位置来控制每 个扬声器的音频输出定时(延迟量)，实际上可以改变输出位置(可 以改变用户所感受的音频输出位置)。
图19是示出这样一种情况中的显示装置的结构示例的框图。在图 19中，显示装置200除了具有显示装置IO的结构之外，还具有用户 位置对应处理单元201。作为遥控器上所提供的位置传感器的输出信 息，将通过用户指令接收器42从遥控器中随同用户指令命令一起提供 的遥控器位置信息提供给用户位置对应处理单元201。
用户位置对应处理单元201基于用户位置对应处理单元201的位 置信息来检测充当显示装置200基准的遥控器位置，这被配置为用户 位置。然后，用户位置对应处理单元201基于用户位置来计算每个扬 声器输出音频的延迟量，并在将音频输出位置控制单元37所提供的音 频数据仅仅延迟该延迟量的基础上，将音频数据提供给音频输出单元 39，并输出该音频。换句话说，用户位置对应处理单元201基于用户 位置(用户离显示装置的对应位置)来延迟音频输出。
图20是示出用户位置对应处理单元201详细结构示例的框图。在 图20中，用户位置对应处理单元201具有遥控器位置检测单元211、 延迟量计算单元212和延迟量控制单元213。
遥控器位置检测单元211基于遥控器所提供的位置传感器的输出 信息来检测作为用户位置的遥控器位置，并将该信息提供给延迟量计 算单元212。延迟量计算单元212基于遥控器位置检测单元211所提 供的用户位置信息来计算每个扬声器输出音频的延迟量，并将其提供 给延迟控制单元213。延迟控制单元213在仅仅延迟该延迟量之后， 将音频输出位置控制单元37所提供的、每个扬声器的音频数据输出定 时提供给音频输出单元39，并输出该音频。
接下来，作为一个特定处理流程的例子，参考图21的流程图，将 描述用户位置对应处理单元201所执行的用户位置对应处理流程的例
子。
在步骤S131中，遥控器位置检测单元211通过检测遥控器的位置 来检测用户位置。在步骤S132中，延迟量计算单元212基于用户位置 来计算各个扬声器输出音频的延迟量。在步骤S133中，延迟控制单元 213将各个扬声器输出的音频仅仅延迟所计算的延迟量。在步骤S134 中，用户位置对应处理单元201确定用户位置对应处理是否结束，并 在所做出的确定是没有结束的情况下，处理返回到步骤S131，并重复 其后的处理。同样，在步骤S134中所做出的确定是结束了用户位置对 应处理的情况下，用户位置对应于处理单元201结束用户位置对应处 理。
因此，通过基于用户位置控制音频输出的定时，显示装置能够使 输出的音频让用户强烈地感觉到该音频是从对应于显示图像的位置输 出的，并且提高了真实感。
同样，显示装置的扬声器可以配置为从显示装置上可拆卸的。图 22是示出具有可拆卸扬声器的显示装置示例的透视图。
在图22中，显示装置231具有当图像显示屏面向前面时、在上下 左右四侧形成的用于安置扬声器的多个凹口部分。扬声器233A和 233B是可从显示装置231上可拆卸的扬声器。当不需要描述彼此分离 的扬声器233A和233B时，这些将表示为扬声器233。凸起部分234 设置在扬声器233上，示出在扬声器233B上。凸起部分234对应于 显示装置231的凹口部分232，并可以通过将凸起部分234安装在显 示装置231的凹口部分来将扬声器233安置在显示器231上，从而将 扬声器233固定在显示装置231的侧面上。
同样，为了将固定在显示装置231上的扬声器233从显示装置231 上分离出来，用户可以通过把扬声器233拉出来而将扬声器233从显 示装置231上分离出来。
注意，凹口部分232和凸起部分234中的每个在彼此对应的位置 上具有一个电极，以及在将扬声器233固定在显示装置231上的状态 中，将显示装置231的内电路与扬声器233进行电连接，并通过扬声
器233获得通过显示装置231输出的音频信号，且输出对应于该音频 信号的音频。
进一步地，显示装置231上所提供的多个凹口部分232具有彼此 相同的形状，且扬声器233可以安置在任何凹口部分232上。换句话 说，与凹口部分232数目相同数目的扬声器233可以安置在显示装置 231上。
同样，如图23所示，显示装置231显示用于引导扬声器位置设置 输入的菜单屏。如图23所示的显示装置231具有显示的输入引导图像 241。用户根据输入引导图像241,输入扬声器实际配置的扬声器位置， 或在准备好的模式中选择实际放置的最接近的模式。显示装置231基 于涉及扬声器放置的输入信息来确定对于显示图像区域的分割方法， 存储该设置，以及将该设置用于音频输出位置控制。
图24是示出在这样一种情况中显示装置231内部结构示例的框 图。在图24中，显示装置231基本上具有与显示装置IO相同的结构， 但是也具有除了显示装置10的结构之外的区域设置单元251。
区域设置单元251将输入引导图像241的图像数据提供给图像处 理单元35，并在显示单元38上显示该图像。用户基于输入引导图像 241来操作遥控器，并输入关于扬声器位置的信息。在用户指令接收 器42获得用户指令的基础上，将其提供给区域设置单元251。区域设 置单元251基于用户输入的有关扬声器位置的信息来执行区域设置， 并将该设置信息提供给音频输出位置控制单元37。音频输出位置控制 单元37基于该设置将显示图像分割为对应于扬声器配置的多个区域。
图25是示出区域设置单元251详细结构示例的框图。在图25中， 区域设置单元251具有输入引导图像显示控制单元261、用户输入接 收处理单元262、区域设置选择单元263和分割表存储单元264。
输入引导图像显示控制单元261将输入引导图像241提供给图像 处理单元35。在用户输入接收处理单元262通过用户指令接收单元42 获得根据输入引导图像241而输入的用户输入的基础上，从用户输入 中提取作为扬声器位置信息的扬声器位置信息，并将其提供给区域设
置选择单元263。区域设置选择单元263基于与扬声器位置模式相关 联的分割表和存储在分割表存储单元264中的区域分割模式，来选择 对应于所提供扬声器位置信息的区域分割模式，并将其作为区域设置 提供给音频输出位置控制单元37。
参考图26的流程图，将描述区域设置单元251所执行的区域设置 处理的特定处理流程例子。
在步骤S151中，输入引导图像显示控制单元261在显示单元38 上显示输入引导图像241 。在步骤S152中，用户输入接收处理单元262 接收用户输入。用户输入接收处理单元262确定是否接收了用户输入， 并将流程返回到步骤S152中并重复执行其后的处理，直到所做出的确 定是已经接收该输入为止。在步骤S153中确定已经接收了用户输入的 基础上，用户输入接收处理单元262将处理继续到步骤S154。在步骤 S154中，区域设置选择单元263基于扬声器位置和分割表来选择最合 适的区域设置。在步骤S154中的处理结束的基础上，区域设置单元 251结束区域设置处理。
通过如上述那样设置区域，即使采用在任意位置安装任意数目的 扬声器，显示装置都能够输出对应于显示图像的音频，从而提高真实 感。
注意，通过确认显示装置231上的每个凹口部分232上所提供的 扬声器连接端的连接状态，如图23所示，在没有用户输入的情况下， 显示装置231能够自动获得扬声器233的布置。
图27是示出这样一种显示装置231的内部结构例的框图。在图 27中，显示装置231基本上具有与显示装置10相同的结构，但是也 具有除了显示装置10的结构之外的区域设置单元301。
区域设置单元301获取连接信息，该连接信息表示扬声器2"已 经与音频输出单元39连接。例如，区域设置单元301将预定信号发送 到每个凹口单元232上的扬声器连接端，或测量扬声器连接端的电压， 并因此基于响应信号或电压等来确认扬声器的连接状态。然后区域设 置单元301基于所检测到的扬声器位置来执行区域设置，并将该区域
设置信息提供给音频输出位置控制单元37。音频输出位置控制单元37 基于所执行的设置来将显示图像分割为对应于扬声器配置的多个区 域。
图28是示出区域设置单元301详细结构示例的框图。在图28中， 区域设置单元301具有连接确认单元311、扬声器位置存储单元312、 区域设置选择单元313以及分割表存储单元314。
连接确认单元311从每个扬声器连接端获得连接信息，并确认扬 声器的连接状态。然后，在检测扬声器的基础上，连接确认单元311 将表示扬声器位置的扬声器位置信息提供给扬声器位置存储单元312。 扬声器位置存储单元312存储所有检测到的扬声器位置，并根据需要 将这些位置信息提供给区域设置选择单元313。
在确认了连接确认单元311与所有扬声器连接端连接的基础上， 区域设置选择单元313获得表示已检测扬声器位置的扬声器位置信 息，并从分割表存储单元314中获得与扬声器位置模式相关联的分割 表以及区域分割模式。区域设置选择单元313使用该分割表来选择对 应于扬声器布置的分割模式，并作为区域设置将其提供给音频输出位 置控制单元37。
参考图29的流程图，将描述区域设置单元301所执行的区域设置 处理的特定处理流程。
在步骤S171中，连接确认单元311选择未处理的扬声器端。在步 骤S172中，连接确认单元311确认扬声器与所选择扬声器连接端的连 接。在步骤S173中，连接确认单元311确定扬声器是否已经被检测， 并在所做出的确定是扬声器被检测的情况下，处理继续到步骤S174。 在步骤S174中，扬声器位置存储单元312存储所检测扬声器的位置， 并将处理继续到步骤S175。同样，在步骤S173中所做出的确定是没 有检测扬声器的情况中，连接确认单元311跳过步骤S174，并将处理 继续到步骤S175。在步骤S175中，连接确认单元311确定所有扬声 器连接端是否都被确认，并在所做出的确定是存在未处理扬声器连接 端的情况下，处理返回到步骤S171，并重复其后的处理。同样，在步
骤S175中所做出的确定是所有的连接端都已经被确认的情况下，连接 确认单元311将处理继续到步骤S176。在步骤S176中，区域设置选 择单元313基于扬声器位置和分割表来选择区域设置，并在将其提供 给音频输出位置控制单元37的基础上，结束区域设置处理。
如上述地检测扬声器并设置区域的显示装置，用户能够更容易地 执行区域设置。换句话说，在不需要复杂操作的情况下，显示装置能 够输出对应于所显示图像的、具有较强真实感的音频。
注意，为了检测所连接的扬声器，可以提供传感器或开关来检测 扬声器233连接到显示装置231上的每个凹口部分232。在这情况中， 区域设置单元301从这样的传感器或开关中获得输出信息，并检测扬 声器。
上述一系列处理可以由硬件来执行，或可以由软件来执行。在这 种情况中.，例如，音频输出位置控制单元37、用户位置对应处理单元 201、区域设置单元251或区域设置单元301可以被配置为个人计算机， 如图30所示。
在图30中，个人计算机400的CPU (中央处理单元)根据存储 在ROM(只读存储器)402中的程序、或从存储单元413装栽到RAM (随机存取存储器)的程序来执行各种处理。RAM 403也可以存储必 要数据，以用于CPU401执行各种处理。
CPU 401、 ROM 402和RAM 403相互之间通过总线404进行连 接。该总线404也可以连接到输入/输出接口 410上。
输入/输出接口 410也可以连接到诸如键盘、鼠标等这样的输入单 元411、诸如CRT (阴极射线管)、LCD (液晶显示器)等这样的显 示器、诸如扬声器这样的输出单元412、配置为硬盘等这样的存储单 元、和配置有调制解调器等这样的通信单元414上。通信单元4M通 过包括互连网在内的网络来执行通信处理。
如需要，输入/输出接口 410也可以连接到驱动器415上，适当安 装诸如磁盘、光盘、光磁盘、半导体存储器等这样的可移动介质421， 并且如果需要，从它们中读出的计算机程序被安装在存储单元"3中。
在用软件执行上述一 系列处理的情况中，从网络或存储媒体中安 装配置软件的程序。
存储媒体不限制在由可移动介质来配置，诸如磁盘(包括软盘)、
光盘(包括CD-ROM (光盘只读存储器)或DVD (数字化多用盘))、 光磁盘(包括MD (迷你盘)(注册商标))或半导体存储器，如图 30所示，它们是与装置主单元分开进行分配，这是出于将程序分配给 用户的目的考虑，相反，存储媒体也可以配置有包括在其中记录程序 的ROM 402或存储单元413中的硬盘，以l更将其分配给已经建立在 装置主单元上中的用户。
注意，按照本发明的说明书，记录在记录媒体上的程序中所迷步 骤当然包括按照所描述规则的时间顺序所执行的处理，而且还包括不 按时间顺序而是平行或独立执行的处理。
同样，按照本发明的说明书，术语"系统"指的是由多个装置所配 置的整个设备。
本领域技术人员应当明白，在后附的权利要求及其等价范围之内， 根据设计需要及其它因素可以做出各种改进、组合、子组合和改变。
权利要求
1.一种用于显示图像的图像显示装置，包括用于显示图像的图像显示部件；用于从对应于图像显示部件所显示图像的多个位置中输出音频的音频输出部件；用于分析图像、根据图像内容控制音频输出部件、并且选择从其输出音频的位置的音频输出位置控制部件；以及用户位置对应处理部件，其根据用户的位置，检测用户收看/收听图像和音频的位置，并控制音频输出部件的音频输出定时的延迟量。
2、 如权利要求1所述的图像显示装置，其中所述音频输出部件进 一步包括多个扬声器；以及其中所述音频输出位置控制部件控制音频输出部件来选择从 其输出音频的扬声器。
3、 如权利要求1所述的图像显示装置，其中所述音频是包括单通 道的音频。
4、 如权利要求1所述的图像显示装置，其中所述音频是包括多通 道的音频。
5、 如权利要求4所述的图像显示装置，所述音频输出位置控制部 件进一步包括差值平均值计算部件，用于对分配到图像的多个区域中的每一个、 具有预定特征且其像素值预先确定的每个像素来计算差值平均值，该 差值平均值是帧间亮度值的差值的平均值；音量确认部件，用于确认多通道的音量以指定音频输出位置；差值平均值校正部件，基于由音量确认部件已确认并指定音量的 音频输出位置来校正差值平均值计算部件所计算的差值平均值；区域指定部件，基于差值平均值校正部件所校正的差值平均值来 指定用于输出音频的区域；以及音频输出控制部件，用于控制音频输出部件，以便从对应于区域 指定部件所指定区域的位置输出音频。
6、 如权利要求4所述的图像显示装置，所述音频输出位置控制部 件进一步包括差值平均值计算部件，用于对分配到图像的多个区域中的每一个、 具有预定特征且其像素值预先确定的每个像素来计算差值平均值，该 差值平均值是帧间亮度值的差值的平均值；区域指定部件，基于差值平均值计算部件所计算的差值平均值来 指定用于输出音频的区域；音量调整部件，基于区域指定部件所指定的音频输出区域，来确 定从音频输出部件所输出的音频音量的调整量；音量确认部件，用于确认多通道的音量以指定音频输出位置；比较部件，用于对区域指定部件所指定的音频输出区域与音频输 出位置进行比较，在所述音频输出位置中，音量由音量确认部件所确 认并指定；调整量校正部件，基于比较部件的比较结果，校正由音量调整部 件所确定的音频音量的调整量；以及音频输出控制部件，用于控制音频输出部件，以便基于调整量校 正部件所校正的音量调整量来调整音频音量。
7、 一种用于在图像显示装置上显示图像的图像显示方法，包括步显示图像的显示步骤；从对应于显示图像的多个位置中输出音频的音频输出步骤； 分析图像，根据图像内容控制音频输出，并选择从其输出音频的位置的音频输出位置控制步骤；以及根据用户的位置，检测用户收看/收听图像和音频的位置，并控制音频输出部件的音频输出定时的延迟量的用户位置对应处理步骤。
8、 如权利要求7所述的图像显示方法，其中所述音频是包括单通 道的音频。
9、 如权利要求7所述的图像显示方法，其中所述音频是包括多通 道的音频。
10、 如权利要求9所述的图像显示方法，所述音频输出位置控制 步骤进一步包括对分配到图像的多个区域中的每一个、具有预定特征且其像素值 预先确定的每个像素来计算差值平均值的差值平均值计算步骤，该差 值平均值是帧间亮度值的差值的平均值；确认多通道的音量以指定音频输出位置的音量确认步骤；基于由音量确认步骤已确认并指定音量的音频输出位置来校正差 值平均值计算步骤所计算的差值平均值的差值平均值校正步骤；基于差值平均值校正步骤所校正的差值平均值来指定用于输出音 频的区域的区域指定步骤；以及用于控制音频输出步骤，以便从对应于区域指定步骤所指定区域 的位置输出音频的音频输出控制步骤。
11、 如权利要求9所述的图像显示方法，所述音频输出位置控制 步骤进一步包括对分配到图像的多个区域中的每一个、具有预定特征且其像素值 预先确定的每个像素来计算差值平均值的差值平均值计算步骤，该差 值平均值是帧间亮度值的差值的平均值；基于差值平均值计算步骤所计算的差值平均值来指定用于输出音 频的区域的区域指定步骤；基于区域指定步骤所指定的音频输出区域，确定从音频输出步骤 所输出的音频音量的调整量的音量调整步骤；确认多通道的音量以指定音频输出位置的音量确认步骤；对区域指定步骤所指定的音频输出区域与音频输出位置进行比较 的比较步骤，在所述音频输出位置中，音量由音量确认步骤所确认并 指定；基于比较步骤的比较结果，校正由音量调整步骤所确定的音频音 量的调整量的调整量校正步骤；以及控制音频输出步骤，以便基于调整量校正步骤所校正的音量调整 量来调整音频音量的音频输出控制步骤。
全文摘要
本发明涉及图像显示装置、方法和程序，具体公开了一种用于显示图像的图像显示装置，包括图像显示单元，用于显示图像；音频输出单元，用于从对应于图像显示单元所显示图像的多个位置中输出音频；以及音频输出位置控制单元，用于分析图像、根据图像内容控制音频输出单元和选择从其输出音频的位置。
文档编号H04N5/63GK101370108SQ20081016870
公开日2009年2月18日 申请日期2006年10月17日 优先权日2005年10月17日
发明者山田直秀, 渡边义教, 近藤哲二郎 申请人:索尼株式会社