专利名称：图像处理设备和方法
技术领域：
本发明涉及图像处理设备和方法以及记录介质，特别而言，涉及可迅 速地识别内容的内容的图像处理设备和方法以及记录介质。
背景技术：
近年来，显示电视广播图像的显示器尺寸增大，即使在一个显示器上 显示多个画面，用户也可充分欣赏各画面的图像。然而，对于声音来说， 在多数情形下，只能听到一个所选择的画面的立体声音。
然后，在同为本申请人拥有的在先专利申请中，提出了一种冲支术，其 中当在一个显示器上显示两个画面时，从左和右扬声器分别输出左画面的 单声道声音和右画面的单声道声音，并按需要调整两个单声道声音的音量 的平衡(例如，日本特开平9-307833号公报)。
发明内容
然而，为了调整平衡，需要为此进行特别操作。而且，在向一侧调整 平衡并确认声音之后，当确认另一侧的声音时，必须朝相反方向操作平衡。 结果，用户难以i^il地识别作为内容的声音的内容。
鉴于以上情况，希望M地识别内容的内容。
根振本发明的一个实施例，提供了一种图像处理设备，包括生成单 元，配置成生成用于在多个画面中的每个画面上显示内容的图傳 ft号；以 及合成单元，配置成合成与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的声音被定位的位置彼此不同。
当多个画面中的第一画面和第二画面以相等尺寸显示时，基于与所述 第 一画面对应的第 一声音信号的声音被定位的第 一位置和基于与所述第 二画面对应的第二声音信号的声音被定位的第二位置可以距所述第 一画 面和所述第二画面等距离的线为基准、朝所述第一画面的方向和朝所述第 二画面的方向分别移位。
可根据所述第 一画面和所述第二画面的协作缩放来改变所述定位的 位置。
当所述第 一画面和所述第二画面的尺寸不同时，较大的一个所述画面 的声音可定位于距所述线较近的位置。
当所述第一画面和所述第二画面二者之一的尺寸变得最大时，最大所 述画面的声音可定位于所述线上。
在所述第一画面显示与从显示在所述第二画面上的多个缩略图像中 选择的缩略图像对应的图傳逸一情形下，当与所述第一画面的图^f^应的
所述缩略图像被聚焦在所述第二画面上时，所述第一画面的所述声音定位 于所述线上，而当与所述第 一画面的图像不同的所述缩略图傳j皮聚焦在所 述第二画面上时，可根据所述第一画面和所述第二画面的协作缩放来改变 所述定位的位置。
在所述第一画面显示与从显示在所述第二画面上的多个缩略图l象中 选择的缩略图像对应的图像这一情形下，当所述第 一画面的图像被聚焦
时，所述第一画面的所述声音可定位于所述线上。
可显示所述第一画面和所述第二画面二者的所述声音净皮定位的位置。 可显示所述第 一画面和所述第二画面二者的所述声音的音量。 根据本发明的另 一个实施例，提供了 一种图像处理设备的图像处理方
法，包括以下步骤生成用于在多个画面中的每个画面上显示内容的图像 信号；以及合成与多个所述图4象信号对应的多个声音信号，以使得基于所 述声音信号的声音被定位的位置彼此不同。
根据本发明的又一个实施例，提供了一种使得计算机执行以下处理的 程序生成用于在多个画面中的每个画面上显示内容的图像信号；以及合 成与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的 声音被定位的位置彼此不同。根据本发明的再一个实施例，提供了一种记录介质，所述i己录^^质记 ^T使得计算机执行以下处理的程序生成用于在多个画面中的每个画面 上显示内容的图像信号；以及合成与多个所述图4象信号对应的多个声音信 号，以使得基于所述声音信号的声音被定位的位置彼此不同。
根据本发明的一些实施例，可提供生成单元，配置成生成用于在多 个画面中的每个画面上显示内容的图像信号；以及合成单元，配置成合成 与多个所述图像信号对应的多个声音信号，以使得基于所述声音信号的声 音被定位的位置彼此不同。
如上所述，根据本发明的诸实施例，可iSJt地识别内容的内容。
图1是示出了本发明的一个实施例的图像处理设备的结构的框图。 图2是说明协作缩放处理的流程图。
图3是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。
图4是示出了协作缩放时的左画面小这一情形的状态的图。
图5是示出了协作缩放时的左画面大这一情形的状态的图。
图6是i兌明协作特性的图。
图7是说明图像协作缩放处理的流程图。
图8是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。 图9是示出了协作缩放时的左画面小这一情形的状态的图。 图IO是示出了协作缩放时的左画面大这一情形的状态的图。 图11是说明声音协作缩放处理的流程图。
图12是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。
图13是示出了协作缩放时的左画面小这一情形的状态的图。 图14是示出了协作缩放时的左画面大这一情形的状态的图。 图15是示出了协作缩放时的左画面小这一情形的状态的图。 图16是示出了协作缩放时的左和右画面的尺寸彼此相等的状态的图。
图17是示出了协作缩放时的左画面大这一情形的状态的图。 图18是示出了所定位的位置和音量的显示的图。 图19是示出了所定位的位置和音量的显示的图。 图20是示出了所定位的位置和音量的显示的图。
具体实施例方式
下面，参照
本发明的诸实施例。
图1示出了本发明的一个实施例的图像处理设备的结构。该图像处理 设备l基于来自由用户操作的操作单元21的操作信号而进行指定的处理， 并将内容的图像显示在显示单元16上。操作单元21包括例如遥控器，并 且具有左^fe22、右掩組23、移动拎組24、确定^^25和其它捡組(未 示出)。当然，操作单元21还可包括附接至图像处理设备1的主体的各种 掩組、开关等。
图像处理设备1包括操作信号获取单元11、控制单元12、内容获取 单元13、记录单元14、图^f象信号生成单元15、显示单元16、音量定位计 算单元17、声音合成单元18和声音输出单元19。在这些单元中，记录单 元14、显示单元16和声音输出单元19可独立于图像处理设备1的主体 而提供。
操作信号获取单元11获#用户操作的操作单元21供给的、来自用 户的操作信号。所获取的操作信号被供给控制单元12。控制单元12基于 该操作信号来控制各单元的工作。
内容获取单元13合并了多个调谐器，并具有从通过卫星广播、通信 卫星或线缆传输的广播信号中独立且同时地接收不同信道的图像信号的 功能。内容获取单元13同时且独立地对调谐器接收到的图像信号进行解 码，并将它们输出至图《象信号生成单元15。在本实施例的情形下，可同 时获取共计九个信道的图像信号。当然，该数目是任意的而不限于九个。
而且，内容获取单元13 ii^"记录在记录单元14中的图像信号进行编 码，对由记录单元14再现的图4象信号进行解码，并将它们输出至图1象信 号生成单元15。此外，内容获取单元13具有通过以因特网为代表的各种网络同时接 收多个不同图傳 ft号的功能。
记录单元i4包括;siit、光盘、磁光盘或固态存储器，并且记录由内
容获取单元13获取并编码的图像信号。记录单元14还按需要存储计算机 程序。
图像信号生成单元15生成用于在显示单元16上显示多个画面的图傳_ 信号。具体地，生成主显示区和副显示区这两个画面的图〗象信号(显示区 将在后面参照图3来说明)。图像信号生成单元15对从内容获取单元13
动画缩略图像的图像信号，并使得副显示区中所选择的区域的图像信号成 为主显示区的图像信号。图像信号生成单元15将生成的图像信号输出至 显示单元16并使得对应的图傳4皮显示。
显示单元16包括LCD (液晶显示器)、CRT (阴极射线管)、有机 EL (电致发光)显示器或等离子体显示器，并且在一个显示表面上显示 多个画面。
音量定位计算单元17计算主显示区的画面的声音的音量和所定位的 位置以及副显示区的画面的声音的音量和所定位的位置。声音合成单元 18对从内容获取单元13供给的声音信号的电平和相位进行调整并将它们 合成，以4吏得由音量定位计算单元17计算出的音量的声音^L定位于计算 出的位置。
包括扬声器等在内的声音输出单元19 i殳置在显示单元16的左右两 端，并且输出与从声音合成单元18供给的声音信号对应的声音。
接下来，参照图2的流程图说明由图像处理设备l进行的协作缩放处 理。该处理是当指示进行图像显示时开始的。
在步骤Sl中，图4象信号生成单元15按默认进行显示。在本实施例中， 如图3所示，默认状态是如下状态在显示单元16的一个显示表面16A 的左侧显示主显示区51，并在右侧显示与主显示区的尺寸相同并与其略 微分离的副显示区52。由内容获取单元13同时接收到的或由记录单元14 再现的两个信道的图像信号是主显示区51和副显示区52的图像信号。在 图3的实例中，图像VI和V2分别显示在主显示区51和副显示区52中。
当发出指令时，在步骤S2中，控制单元12判断是否指示了放大左画 面的协作缩放。即，当用户改变左侧的主显示区51的画面尺寸与右侧的副显示区的画面尺寸之比时，用户对操作单元21的专用左掩纽22或右按 钮23进行操作。当放大主显示区51的画面尺寸时操作左g22，而当 放大右侧的副显示区的画面尺寸时IMt右掩組23。
当指示了放大左画面的协作缩放时(即，当操作信号获取单元11获 取了左按钮22的操作信号时)，在步骤S3中，图像信号生成单元15进行 放大左画面并与之协作地缩小右画面的处理。
例如，如图4所示，当在主显示区51的画面尺寸小而副显示区52的 画面尺寸大这一状态下操作了左掩組23时，图像信号生成单元15放大左 侧的主显示区51的画面尺寸并缩小右侧的副显示区52的画面尺寸。结果， 如图3所示，出现了主显示区51的画面尺寸与副显示区52的画面尺寸相 等这一状态。
当进一步操作了左按钮22时，图像信号生成单元15进一步放大左侧 的主显示区51的画面尺寸并进一步缩小右侧的副显示区52的画面尺寸。 结果，如图5所示，主显示区51的画面尺寸变得大于副显示区52的画面 尺寸。在操作左掩組22期间，进行上述操作直到主显示区51的画面尺寸 变得最大(即，副显示区52的画面尺寸变得最小)为止。结果，通过调 整左掩組22的操作时间，用户可将主显示区51的画面尺寸改变为任意尺 寸。
在步骤S3的处理之后，在步骤S5中，声音合成单元18沿着协作特 性来调整声音。具体地，如图4所示，当主显示区51的画面尺寸最小而 副显示区52的画面尺寸最大时，音量定位计算单元17计算声音Lv2和 Rv2的声音信号的相位，以使得此时为最大的副显示区52的画面的图像 V2的声音Lv2和Rv2被定位于通过显示表面16A的中央的线LNc(如图 3所示，当主显示区51的画面尺寸与副显示区52的画面尺寸相等时，该 线距两个画面距离相等)上的位置Pv2。基于该计算值，声音合成单元18 对从位于显示表面16A的左端的声音输出单元19L输出的声音Lv2的声 音信号的相位和从右侧的声音输出单元19R输出的声音Rv2的声音信号 的相位进行控制。
然后，音量定位计算单元17计算用于将变得最小的主显示区51的画 面的图像VI的声音定位于最左端位置Pvl的相位，且声音合成单元18 基于该计算值对从左侧的声音输出单元19L输出的声音Lvl的声音信号 的相位和从右侧的声音输出单元19R输出的声音Rvl的声音信号的相位 进行控制。此外，音量定位计算单元17计算从左侧的声音输出单元19L输出的 声音Lv2和从右侧的声音输出单元19R输出的声音Rv2的声音信号电平， 以使得变得最大的副显示区52的画面的图像V2的声音的音量大于变得 最小的主显示区51的画面的图像V1的声音的音量。声音合成单元18基 于该计算值来控制声音信号的电平。变得最小的主显示区51的画面的图 像VI的声音也可基本上设为静音状态的电平。
在左侧的主显示区51的画面尺寸变大并且如图3所示那样变得与副 显示区52的画面尺寸相等这一状态下，声音合成单元18基于音量定位计 算单元17的计算结^t从左侧的声音输出单元19L输出的声音Lvl的相 位和从右侧的声音输出单元19R输出的声音Rvl的相位进行控制，以使 得主显示区51的画面的图像VI的声音被定位的位置Pvl变成从线LNc 向左(朝主显示区51的画面的方向)移位的位置。
而且，声音合成单元18基于音量定位计算单元17的计算结果对从左 侧的声音输出单元19L输出的声音Lv2的相位和从右侧的声音输出单元 19R输出的声音Rv2的相位进行控制，以使得副显示区52的画面的图《象 V2的声音被定位的位置Pv2变成从线LNc向右(朝副显示区52的画面 的方向)移位的位置。
然后，声音合成单元18基于音量定位计算单元17的计算结果对从左 侧的声音输出单元19L输出的声音Lvl和Lv2以及从右侧的声音输出单 元19R输出的声音Rvl和Rv2的声音信号电平进行控制，以使得主显示 区51的画面的图像VI的声音的音量与副显示区52的画面的图像V2的 声音的音量相等。然而，该音量成为比图4的最大副显示区52的画面的 图像V2的声音的音量小的值。
因而，在线LNc附近的位置，用户通过将注意力集中于主显示区51 的画面的图像V1的声音和副显示区52的画面的图4象V2的声音这二者中 的一个、或者通过仅^地向左或向右倾斜身体而不进行特别的操作，可 iSit地确i^二者。而且，由于用户可以立体声方式收听声音，因而可感到 真实地欣赏声音。
此外，在左侧的主显示区51的画面尺寸变大并且如图5所示那样主 显示区51的画面尺寸变得最大且副显示区52的画面尺寸变得最小这一状 态下，声音合成单元18对从左侧的声音输出单元19L输出的声音Lvl的 相位和从右侧的声音输出单元19R输出的声音Rvl的相位进行控制，以 4吏得此时为最大的主显示区51的画面的图4象VI的声音被定位于线LNc上的位置Pvl。
然后，对从左侧的声音输出单元19L输出的声音Lv2的相位和从右 侧的声音输出单元19R输出的声音Rv2的相位进行控制，以使得副显示 区52的画面的图像V2的声音被定位于最右端的位置Pv2。
此外，声音合成单元18对从左侧的声音输出单元19L输出的声音Lvl 和M侧的声音输出单元19R输出的声音Rvl的声音信号电平进行控制， 以使得主显示区51的画面的图像VI的声音的音量变得大于变得最小的 副显示区52的画面的图〗象V2的声音的音量。变得最小的副显示区52的 画面的图像V2的声音也可基本上设为静音状态的电平。
图4的位置Pv2处的音量与图5的位置Pvl处的音量相等，并且图4 的位置Pvl处的音量与图5的位置Pv2处的音量相等。
图6示出了对应于两个画面的协作缩放而改变声音被定位的位置这 一状态。当左侧的主显示区51的尺寸变大时，相应的声音,皮定位的位置 沿着协作特性线LNvl以箭头A的方向改变，即，按位置Pvll、位置Pvl2 和位置Pvl3的顺序改变。当右侧的副显示区52的尺寸与该改变协作而变 小时，相应的声音被定位的位置沿着协作特性线LNv2以箭头B的方向改 变，即，按位置Pv21、位置Pv22和位置Pv23的顺序改变。
顺带地"^兌，当左侧的主显示区51的定位位置是Pvll时，对应的右侧 的副显示区52的定位位置是Pv21。当左侧的主显示区51的定位位置是 Pvl2时，对应的右侧的副显示区52的定位位置是Pv22。当左侧的主显 示区51的定位位置是Pv13时，对应的右侧的副显示区52的定位位置是 Pv23。变大的画面的声音的音量变大，且其定位位置变得靠近线LNc。
声音合成单元18基于音量定位计算单元17的计算值对左和右的相应 声音Rvll、 Lvll、 Lvl2、 Rvl2、 Lvl3、 Rvl3、 Lv21、 Rv21、 Lv22、 Rv22、 Lv23和Rv23的相位和电平(直接对声音信号的相位和电平)进行控制， 从而调整定位位置和音量。
在步骤S2中，当判定未指示放大左画面的协作缩放时(即，当判定 指示了放大右画面的协作缩放时)，进行与步骤S3相反方向的处理。
即，在步骤S4中，图像信号生成单元15进行放大右画面并与之协作 地缩小左画面的处理。如图5所示，当在副显示区52的画面尺寸小而主 显示区51的画面尺寸大这一状态下操作右掩組23时，图像信号生成单元 15放大右侧的副显示区52的画面尺寸并缩小左侧的主显示区51的画面尺寸。结果，如图3所示，出现了副显示区52的画面尺寸与主显示区51 的画面尺寸相等这一状态。
当进一步操作右a 23时，图像信号生成单元15进一步放大右侧的 副显示区52的画面尺寸并进一步缩小左侧的主显示区51的画面尺寸。结 果，如图4所示，副显示区52的画面尺寸变得大于主显示区51的画面尺 寸。在操作右按钮23期间，进行上述操作直到副显示区52的画面尺寸变 得最大(直到主显示区51的画面尺寸变得最小)为止。结果，通过调整 右按钮23的操作时间，用户可将副显示区52的画面尺寸改变为任意尺寸。
在步骤S4的处理后，在步骤S5中，声音合成单元18沿着协作特性 来调整声音。这种情形下的处理与在步骤S3的处理后进行的处理基本上 相同。
然而，在这种情形下，由于右侧的副显示区52的画面尺寸枕故大， 因而在图6中，相应的声音4皮定位的位置沿着特性线LNv2以箭头C的方 向改变，即，按位置Pv23、位置Pv22和位置Pv21的顺序改变。当左侧 的主显示区51的尺寸与该改变协作而变小时，相应的声音被定位的位置 沿着特性线LNvl以箭头D的方向改变，即，按位置Pvl3、位置Pvl2和 位置Pvll的顺序改变。
在步骤S5的处理之后，在步骤S6中，控制单元12判断是否指示了 结束。当未指示结束时，处理返回步骤S2,并重复其后的处理。当指示 了结束时，结束处理。
如上所述，当操作左^22和右掩組23二者之一时，不仅左画面和 右画面二者之一被缩放，而且另一个与之协作地被缩放。因而，用户不仅 能同时且并行地欣赏分别显示在两个画面上的两个内容，而且用户还能按 需要通过简单的操作在任意时刻有选择地欣赏一个内容。
而且，两个内容的声音被定位于不同的位置。因而，与以单声道方式 输出两个声音的情形相比，用户可容易且迅速地识别作为内容的内容的声 音。此外，由于两个声音都是立体声，因而用户可在有真实感的状态下观 看和收听两个内容。
此外，还根据画面协作缩放来协作地控制声音的音量和定位。因而， 与画面尺寸的缩放的操作和声音控制的操作是独立的操作这一情形相比， 可操作性得以改进。
与画面的缩it协作地调整声音，以4吏得变大的画面的音量变大，且其定位变得靠近中线LNc。因而，在同时观看和收听的两个内容之间，用户 可容易、iS^且有选择地观看和收听较引人注意的一个内容。
当其中一个画面变得最大时，该最大画面的声音被定位于中央。结果， 用户仅通过适当地调整两个画面的缩放即可贯注于两个内容之一并且可 容易地观看和收听该内容。
在第一实施例中，在两个画面中的每个画面上显示每个不同的图像 (当然，图1象也可以^1相同的)。在第二实施例中，对两个画面中的副显 示区52的画面进行划分，并在每个划分的区域中显示一个图^^，从而在 一个副显示区52的画面上显示多个图4象。在两个画面中的另一个主显示 区51中显示从划分的区域中选择的一个图像。
在第二实施例中，如图7所示那样进行图像协作缩放处理。该处理与 图2的步骤Sl至S4以及S6的处理相同，并且当指示图像显示时开始。
在步骤S51中，控制单元12产生默i^显示。在本实施例中，如图8 所示，默i人状态是左侧的主显示区51与右侧的副显示区52以相等尺寸显 示这一状态。
副显示区52划分成九个区域，并且由内容获取单元13同时接收到的 或由记录单元14再现的九个信道的图像信号是副显示区52的各划分区域 的图像信号。图像信号生成单元15对这九个图像信号进行缩放，以使得 可显示九个动画缩略图4象(在图8中用VI至V9表示)。
在主显示区51中显示从显示在副显示区52的九个划分区域中的九个 缩略图像中选择并确定的区域的图像。在默认状态下，如图8所示，副显 示区52的左上区域被光标71选择并确定，并且与该区域的图像VI相同 的图像VI显示在主显示区51中。刚好在图像处理设备1被断电之前选 择的区域的图像可显示在主显示区51中。
当用户操作移动掩組24时，图像信号生成单元15以该^Mt方向移动 光标71。当用户操作确定按钮25时，图傳4t号生成单元15确定此时被 光标71选择的副显示区52的区域的图像信号的选择，并将其作为主显示 区51的图像而显示。
按上面所述的方式，用户在7见看和收听主显示区51的内容的同时， 可同时且并行地确认显示在副显示区52中的九个内容。由此，与在显示 表面16A上仅显示一个画面并且通过切换显示在该画面上的图像来进行 换台的情形相比，可不漏看此时关注的内容的内容而确认其它内容。此外，通过由光标71按需要选择九个内容中的一个内容，可基于声 音更详细地确认所选择的内容的内容。顺带地说，将在后面参照图11说 明这一点。
当发出指令时，在步骤S52中，控制单元12判断是否指示了放大左 画面的协作缩放。当指示了放大左画面的协作缩放时(当由操作信号获取 单元11获取了左按钮22的操作信号时)，在步骤S53中，进行放大左画 面并与之协作地缩小右画面的处理。
例如，如图9所示，当在主显示区51的画面尺寸小而副显示区52的 画面尺寸大这一状态下操作左掩組22时，图像信号生成单元15放大左侧 的主显示区51的画面尺寸并缩小右侧的副显示区52的画面尺寸。结果， 如图8所示，逐渐地出现了主显示区51的画面尺寸与副显示区52的画面 尺寸相等这一状态。
当进一步操作左按钮22时，图像信号生成单元15进一步放大左侧的 主显示区51的画面尺寸并进一步缩小右侧的副显示区52的画面尺寸。结 果，如图10所示，主显示区51的画面尺寸变得大于副显示区52的画面 尺寸。在操作左按钮22期间，进行以上操作直到主显示区51的画面尺寸 变得最大(直到副显示区52的画面尺寸变得最小)为止。结果，通过调 整左掩組22的操作时间，用户可将主显示区51的画面尺寸改变为任意尺 寸。
在步骤S52中，当判定未指示放大左画面的协作缩放时(当判定指示 了放大右画面的协作缩放时)，在步骤S54中进行与步骤S53相反方向的 处理。
即，在步骤S54中，控制单元12进行放大右画面并与之协作地缩小 左画面的处理。如图10所示，当在副显示区52的画面小而主显示区51 的画面尺寸大这一状态下操作右掩組23时，图像信号生成单元15放大右 侧的副显示区52的画面尺寸并缩小左侧的主显示区51的画面尺寸。结果， 如图8所示，逐渐地出现了副显示区52的画面尺寸与主显示区51的画面 尺寸相等这一状态。
当进一步操作右拾組23时，图4象信号生成单元15进一步放大右侧的 副显示区52的画面尺寸并进一步缩小左侧的主显示区51的画面尺寸。结 果，如图9所示，副显示区52的画面尺寸变得大于主显示区51的画面尺 寸。在操作右掩組23期间，进行以上操作直到副显示区52的画面尺寸变得最大(主显示区51的画面尺寸变得最小)为止。结果，通it调整右按 钮23的操作时间，用户可将副显示区52的画面尺寸改变为任意尺寸。
在步骤S53和S54的处理之后，在步骤S55中，控制单元12判断是 否指示了结束。当未指示结束时，处理返回步骤S52,并重复其后的处理。 当指示了结束时，结束处理。
如上所述，根据用户对左按钮22和右按钮23二者之一所作的操作， 对主显示区51的画面尺寸和副显示区52的画面尺寸进行协作缩放，这与 第一实施例的情形相同。
进一步与上述图7的图像协作缩放处理协作地进行图11的流程图所 示的声音协作缩放处理。
在步骤S71中，控制单元12i殳定默认声音。如上所述，在本实施例 的情形下，图8所示的状态是默认状态。在这种情形下，副显示区52的 左上区域被光标71选择，并且该左上区域的图像显示在主显示区51的画 面上。因此，用户试图观看和收听的图像是图像VI。然后，声音合成单 元18基于音量定位计算单元17的计算值对从左侧的声音输出单元19L输 出的声音Lvl和从右侧的声音输出单元19R输出的声音Rvl的声音信号 的相位进行控制，以4吏得定位位置变成线LNc上的位置Pvl。
在步骤S72中，控制单元12判断主显示区的画面是否被聚焦。在本 实施例的情形下，判定光标71所位于的画面被聚焦。在图8所示的情形 下，由于光标71位于副显示区52的左上区域上，因而判定副显示区52 而不是主显示区51被聚焦。
在这种情形下，在步骤S74中，控制单元12判断被聚焦在副显示区 上的图像是否是被选择作为主显示区图像的图像。在图8所示的情形下， 被光标71选择的图像V1以图像V1显示在主显示区51中。然后，在这 种情形下，在步骤S73中，声音合成单元18基于音量定位计算单元17的 计算值来选择主显示区的图像的声音，并将定位位置设在中央。即，如图 8所示，选择主显示区51的图像V1的声音，对相位进行控制以使得声音 被定位于线LNc上的位置Pvl ，从左侧的声音输出单元19L输出声音Lvl 并从右侧的声音输出单元19R输出声音Rvl 。
同样地，在图9和图IO所示的情形下，副显示区52的左上区域的图 像V1被光标71选择，并且以图像V1显示在主显示区51中。因而，同 样地，在这些情形下，主显示区51的图像Vl的声音Lvl和Rvl被输出为定位于线LNc上的位置Pvl。
如上所述，当由光标71在副显示区52中选择的内容与显示在主显示 区51中的内斜目同时，用户贯注于所选择的内容(即，显示在主显示区 51中的内容)。然后，在这种情形下，仅输出显示在主显示区51中的内 容的声音，从而防止向用户提供不必要的声音。
同样地，当在步骤S72中判定被聚焦的画面是主显示区51的画面时， 进行步骤S73的处理。因而，例如，如图12所示，在主显示区51与副显 示区52的画面尺寸相同并且主显示区51的图像VI被光标71聚焦这一 状态下，当主显示区51的画面如图13所示那样缩小时，或者同样地，当 主显示区51的画面如图14所示那样放大时，主显示区51的图<象VI的 声音Lvl和Rvl初L输出为定位于线LNc上的位置Pvl。
如上所述，同样地，在主显示区51被光标71选择的情形下，用户贯 注于主显示区51的内容。然后，在这种情形下，仅输出显示在主显示区 51中的内容的声音，从而防止向用户提供不必要的声音。
在步骤S74中，当判定被聚焦在副显示区52中的图^象不是被选择作 为主显示区51的图像的图像时，在步骤S75中，声音合成单元18沿着协 作特性来调整声音。即，进行与图2的步骤S5类似的处理。
例如，在图15所示的情形下，其中显示了图像V5的中央区域被光 标71聚焦在副显示区52中，而其中显示了显示在主显示区51中的图像 VI的左上区域未^皮聚焦。在图15的情形下，主显示区51的画面最小而 副显示区52的画面最大，因此，选择了副显示区52的被聚焦区域、即光 标实际位于的区域的图像V5的声音。对相位进行控制，以使得来自左侧 的声音输出单元19L的声音Lv5和来自右侧的声音输出单元19R的声音 Rv5被定位于线LNc上。图像VI的声音基本上为静音而不输出。
当从图15的状态放大左侧的主显示区51的画面并如闺16所示那样 j吏该画面与副显示区52的画面尺寸相同时，对主显示区51的画面的图4象 VI的声音Lvl和Rvl的相位进行控制，以使得声音相对于线LNc被定位 于主显示区51侧的位置Pvl。类似地，对副显示区52的画面的图像V5 的声音Lv5和Rv5的相位进行控制，以使得声音相对于线LNc被定位于 副显示区52侧的位置Pv5。
当从图16的状态进一步放大左侧的主显示区51的画面并如图17所 示那样佳二该画面具有最大尺寸时，对主显示区51的画面的图^f象VI的声音Lvl和Rvl的相位进行控制，以使得声音被定位于线LNc上的位置Pvl。 图像V5的声音基本上为静音而不输出。
当与主显示区51的画面的内容不同的区域的内容的图#^聚焦在副 显示区52中时，可以设想，用户正在搜寻要在副显示区52中看见的内容。 然后，在这种情形下，与图6所示的情形类似，沿着协作特性线LNvl和 LNv2调整声音。即，与在图2至图6所示的第一实施例的副显示区52 中显示由光标71选择的内容这一情形类似地调整声音。
由此，同样地，在步骤S75的处理中，可获得与第一实施例的情形类 似的效果。
即，当操作左掩纽22和右掩纽23二者之一时，不仅左画面和右画面 二者之一被缩放，而且另一个与之协作地被缩放。因而，在确认显示在主 显示区51的内容的同时，用户可容易地并行地从副显示区52的画面中搜 寻任意内容。
而且，两个内容的声音^L分别定位于不同的位置。因而，与以单声道 方式输出两个声音的情形相比，用户可容易且iStit地识别作为内容的内容 的声音。此外，由于两个声音都是立体声，因而用户可在有真实感的状态 下、并因此更具体地搜索任意内容。
此外，还才艮据画面的协作缩放来协作地控制声音的音量和定位。因而， 与画面尺寸的缩放操作与声音的控制操作彼此独立这一情形相比，可操作 性得以改进。
与画面的缩放协作地调整声音，以使得变大的画面的音量变大并且被 定位于更靠近中线LNc的位置。因而，用户可容易、i^it且有选择地观 看和收听同时搜索的内容的内容。
当其中一个画面变得最大时，该最大画面的声音被定位于中央。结果， 用户仅通过适当地调整两个画面的缩放即可贯注于两个内容之一并且可 容易地观看和收听该内容。
图18至图20示出了在画面上显示声音被定位的位置和音量这样的第 三实施例的显示实例。如这些图所示，在主显示区51和副显示区52的画 面上，由移动部分92和102在条91和101上表示各显示图像的声音被定 位的位置。移动部分92和102在条91和101上的位置是根据主显示区 51和副显示区52的画面声音^L定位的位置而移动的。图〗象信号生成单元 15根据由音量定位计算单元17计算出的音量的值和定位位置来控制这些显示。
在图18中，由于主显示区51的画面的图〗象V1的声音被定位于左端 的位置Pvl，因而移动部分92显示在条91的左端。由于副显示区52的 画面的图4象V2的声音被定位于线LNc上的位置PV2,因而移动部分102 显示在条101的中央，条101表示副显示区52的声音被定位的位置。
在图19中，由于主显示区51的画面的图〗象V1的声音被定位于比左 端更靠近中央并且在线LNc的左侧的位置Pvl，因而移动部分92显示在 条91的左端和中央之间。由于副显示区52的画面的图^f象V2的声音被定 位于比右端更靠近中央并且在线LNc的右侧的位置Pv2，因而移动部分 102显示在条101的右端和中央之间。
在图20中，由于主显示区51的画面的图像V1的声音被定位于线LNc 上的位置PV1，因而移动部分92显示在条91的中央，条91表示主显示 区51的画面的声音被定位的位置。由于副显示区52的画面的图像V2的 声音被定位于右端的位置Pv2，因而移动部分102显示在条101的右端。
此外，在图18至图20中，在主显示区51中显示条93，条93表示 画面的声音的音量。在条93中，对应声音的音量由点亮的块的数目表示。 类似地，在副显示区52中显示条103，条103表示画面的声音的音量。 同样地，在条103中，对应声音的音量由点亮的块的数目表示。
如上所述，在图18至图20的实例中，由于显示了声音被定位的位置 和音量，因而用户可确切地识别定位位置和音量。
尽管未示出，但在图8至图10以及图12至图17所示的情形下，可 类似地显示声音被定位的位置和音量。
顺带地说，在上面，尽管画面数目是两个，但本发明也可应用于画面 数目为3个或更多的情形。
而且，尽管多个画面显示在一个显示表面16A上，但本发明也可应 用于如下情形分别显示各画面的各单独的显示单元共同地并排布置在左 和右方向上，并且声音输出单元19L和19R设置在该多个显示单元的左 和右端。
前述的一系列处理可由硬件执行，或者也可由软件执行。当一系列处 理由软件执行时，将构成该软件的程序组装在计算机的专用硬件中，或者 将构成该软件的程序从程序记录介质安装到可通过安装各种程序来执行 各种功能的通用个人计算机中。对安装在计算机中并由计算机置于可执行状态的程序进行存储的程
序记录介质是作为封装介质的可移动介质如磁盘(包括软盘)、光盘(包 括CD-ROM (致密盘只读存储器)、DVD (数字通用盘)或磁光盘)或半 导体存储器、或暂时或永久地存储程序的ROM、或硬盘。将程序存储在 程序存储介质中是按需要通it^由器或调制解调器等接口 、使用局域网、 因特网或数字卫星广播这样的有线或无线通信媒介来进行的。
顺带地说，在本说明书中，描述程序的步骤包括沿着所记述的顺序按 时间序列进行的处理，并且还包括不必按时间序列进行而是并行地或单独 地进行的处理。
而且，本发明的诸实施例不限于前述实施例，而是可以在不脱离本发 明的要旨的范围内作出各种修改。
权利要求
1.一种图像处理设备，包括生成单元，配置成生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成单元，配置成合成与多个所述图像信号对应的多个声音信号，以使得基于所述多个声音信号的声音被定位的位置彼此不同。
2. 根据权利要求1所述的图像处理设备，其中，当所述多个画面中 的第一画面和第二画面以相等尺寸显示时，基于与所述第一画面对应的第 一声音信号的声音被定位的第 一位置和基于与所述第二画面对应的第二 声音信号的声音被定位的第二位置以距所述第 一画面和所述第二画面等 距离的线为基准、朝所述第一画面的方向和朝所述第二画面的方向分别移 位。
3. 根据权利要求2所述的图像处理设备，其中根据所述第一画面和 所述第二画面的协作缩放来改变所述定位的位置。
4. 根据权利要求3所述的图像处理设备，其中，当所述第一画面和 所述笫二画面的尺寸不同时，较大的一个所述画面的声音被定位于距所述 线较近的位置。
5. 根据权利要求4所述的图像处理设备，其中，当所述第一画面和 所述第二画面二者之一的尺寸变得最大时，最大所述画面的声音被定位于 所述线上。
6. 根据权利要求3所述的图像处理设备，其中，在所述笫一画面显示与从显示在所述第二画面上的多个缩略图像中 选择的缩略图4树应的图#^一情形下，当与所述第 一画面的图4象对应的所述缩略图^象被聚焦在所述第二画 面上时，所述第一画面的所述声音,皮定位于所述线上，而当与所述第 一画面的图像不同的所述缩略图像被聚焦在所述第二 画面上时，根据所述第一画面和所述第二画面的协作缩放来改变所述定位 的位置。
7. 根据权利要求3所述的图像处理设备，其中，在所述第一画面显 示与从显示在所述第二画面上的多个缩略图像中选择的缩略图像对应的图傳逸一情形下，当所述第一画面的图傳被聚焦时，所述第一画面的所述 声音被定位于所述线上。
8. 根据权利要求3所述的图像处理设备，其中，显示所述第一画面 和所述第二画面二者的所述声音被定位的位置。
9. 根据权利要求3所述的图像处理设备，其中，显示所述笫一画面 和所述第二画面二者的所述声音的音量。
10. —种图像处理设备的图像处理方法，所述方法包括以下步骤 生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成与多个所述图4象信号对应的多个声音信号，以使得基于所述多个 声音信号的声音被定位的位置彼此不同。
全文摘要
一种图像处理设备，包括生成单元，配置成生成用于在多个画面中的每个画面上显示内容的图像信号；以及合成单元，配置成合成与多个所述图像信号对应的多个声音信号，以使得基于所述多个声音信号的声音被定位的位置彼此不同。
文档编号H04S1/00GK101540859SQ200910127158
公开日2009年9月23日 申请日期2009年3月16日 优先权日2008年3月18日
发明者冈本裕成, 根木大辅 申请人:索尼株式会社