专利名称：编码装置和方法、解码装置和方法、程序、记录介质和数据结构的制作方法
技术领域：
本发明涉及编码装置和方法、解码装置和方法、程序、记录介质和数据 结构，特别涉及允许副图像以独立于主图像的纵横比显示的装置和方法、程 序、记录介质和数据结构。
背景技术：
诸如字幕的图像(在下文中，该图像被称为副图像)可能叠加在内容的 图像(在下文中该图像被称为主图像)上，并且显示所叠加的图像以补充主 图像。通常，副图像的纵横比与主图像的纵横比相关联。当叠加有副图像的主图像的纵横比为a: b时，把副图像的纵横比设置为a: b。当叠加有副图像 的主图像的纵横比为c: d时，把副图像的纵横比设置为c: d。作为具体示例，如图l所示，当显示设备的纵横比为16: 9而主图像的 纵横比为4: 3时，改变主图像的图像框架尺寸，并且添加使屏幕的左右端区 域变为黑色的数据。在这种情况下，字幕通常以4: 3的纵横比显示(见专利 文档，日本专利申请公开号HEI 10 - 308924 )。然而，在具有轻便易携的主要特征的小电子设备如PDA (Personal Digital Assistant ，个人数字助理)中，由于所述设备带有小的显示设备， 当显示屏幕的纵横比为16: 9而主图像的纵横比为4: 3时，在存在如图1所 示的侧面板部分情况下，如果以4: 3的纵^f黄比显示字幕，则可能变得难以看 到字幕。发明内容根据前面所述观点，产生了本发明，本发明的目的是以独立于主图像的 纵横比显示副图像。本发明是一种包括第一编码部分和第二编码部分的编码装置，第一编码 部分对主图像进行编码并把主图像的纵横比合并在主图像的编码数据中，第
二编码部分对副图像进行编码并把副图像的纵横比合并在副图像的编码数据 中。第二编码部分可以设置代表副图像的纵横比的标志，以便把副图像的纵 横比合并在副图像的编码数据中。本发明是一种编码方法，其中包括下述步骤对主图像编码和把主图像 的纵横比合并在主图像的编码数据中，及对副图像编码和把副图像的纵横比 合并在副图像的编码数据中。本发明是第一程序，其中包括下述步骤对主图像编码和把主图像的纵 横比合并在主图像的编码数据中，及对副图像编码和把副图像的纵横比合并 在副图像的编码数据中。在本发明的编码装置、方法和第一程序中，对主图像进行编码，并把主 图像的纵横比合并在主图像的编码数据中。对副图像进行编码并把副图像的 纵横比合并在副图像的编码数据中。本发明是一种解码装置，其中包括第一获取部分，该部分从主图像的 编码数据中获取主图像的纵横比；第一转换部分，该部分根据第一获取部分 获取的主图像的纵横比转换主图像的图像框架；第二获取部分，该部分从副 图像的编码数据中获取副图像的纵横比；第二转换部分，该部分根据第二获 取部分获取的副图像的纵横比转换副图像的图像框架。本发明是一种解码方法，其包括下列步骤:从主图像的编码数据获取主图 像的纵横比;根据第 一获取步骤获取的主图像的纵横比转换主图像的图像框 架；从副图像的编码数据获取副图像的纵横比；和根据第二获取步骤获取的 副图像纵橫比转换副图像的图像框架。本发明是第二程序，其中包括了从主图像编码数据得到主图像纵横比和 根据第 一个获取步骤获取的主图像纵横比转换主图像的图像框架的步骤及从 副图像编码数据得到副图像纵横比和根据第二个获取步骤获取的副图像纵横 比转换副图像的图像框架的步骤。在本发明所述的解码装置、方法和第二个程序中，从主图像的编码数据 中获取主图像的纵横比，根据得到的主图像纵横比转换主图像的图像框架； 从副图像的编码数据中获取副图像的纵横比，根据得到的副图像纵横比转换 副图像的图像框架。本发明是一种记录介质，其中编码了主图像数据的主图像编码数据和其中编码了副图像数据的副图像编码数据被复用和记录在上面，通过把副图像 数据添加在主图像数据上来显示主图像数据和副图像数据，其中主图像的编码数据具有代表主图像数据的纵横比的第一纵横比标志，副图像的编码数据 具有代表副图像数据的纵横比的第二纵横比标志，第二纵横比独立于第一纵 横比。本发明是一种数据结构，其中复用了其中编码了主图像数据的主图像编 码数据和其中编码了副图像数据的副图像编码数据，通过把副图像数据添加 在主图像数据上来显示主图像数据和副图像数据，其中主图像的编码数据具 有代表主图像数据的纵横比的第 一纵横比标志，副图像的编码数据具有代表 副图像数据的纵横比的第二纵横比标志，第二纵横比独立于第 一纵横比。在本发明的记录介质和数据结构中，其中编码了主图像数据的主图像编 码数据和其中编码了被叠加于主图像上的副图像数据的副图像编码数据被复 用和记录。主图像的编码数据具有代表主图像数据的纵横比的第 一纵横比标 志，副图像的编码数据具有代表副图像数据的纵横比的第二纵横比标志，第 二纵横比独立于第一纵横比。这样，分别从主图像的编码数据和副图像的编 码数据中获取主图像的纵横比和副图像的纵横比。可以根据所获取的主图像 纵横比转换主图像的图像框架。可以根据所获取的副图像纵横比转换副图像 的图像框架。依照本发明，可以用独立于主图像的纵横比的纵横比来显示副图像。
图1为依照相关技术的字幕显示示例的示意图；图2为显示依照本发明 的编码装置的结构示例的方框图；图3为显示图2中所示的视频编码器26的 结构的示例的方框图；图4为显示视频编码器处理示例的概要的流程图；图 5为描述字幕坐标的示意图；图6为显示依照本发明的解码装置的结构的示 例的方框图；图7为显示图6中所示视频解码器66的结构的示例的方框图； 图8为显示视频解码器处理示例的概要的流程图；图9为描迷图7中所示副 图像框架尺寸转换部分75的操作的流程图；图10为显示依照本发明的字幕 显示示例的示意图；图11为显示依照本发明的字幕显示示例的另一示意图； 图12A和12B为描述当显示设备的纵横比为4: 3时，即使主图像的纵横比 为16: 9，字幕也被以4: 3的纵横比投射的示意图；图13为显示主图像显
示区域相对于字幕坐标的示意图；图14为显示主图像显示区域相对于字幕坐 标的另一示意图；图15为显示主图像显示区域相对于字幕坐标的另一示意 图；图16为显示主图像显示区域相对于字幕坐标的另一示意图；图17为显 示主图像显示区域相对于字幕坐标的另一示意图；图18为显示主图像显示区 域相对于字幕坐标的另一示意图；图19为显示依照本发明的字幕显示示例的 另一示意图；图20为显示依照本发明的字幕显示示例的另一示意图；图21 为显示主图像显示区域相对于字幕坐标的另一示意图；图22为显示主图像显 示区域相对于字幕坐标的另一示意图；图23为显示主图像显示区域相对于字 幕坐标的另一示意图；图24为显示依照本发明的字幕显示示例的另一示意 图；图25为显示依照本发明的字幕显示示例的另一示意图。
具体实施方式
下面将对本发明的实施例进行描述。说明书中描述的发明和本发明的实 施例之间的关系如下。本部分的描述表明在本说明书中描述了支持说明书中 阐明的发明的实施例。因此，即使本部分对一些实施例没有描述，也不说明 所述实施例与本发明不相应。相反，即使本部分把实施例描述为发明，也不 说明这些实施例与除本发明之外的发明不相应。本部分的描述并不意味着在本说明书中描述的发明的各个方面。换句话 说，本部分的描述与本说明书中描述的发明相对应。因此，本部分的描述并 不否认存在在本专利申请的权利要求书中未阐明的本发明方面的存在，以及 可以提出分案申请和/或可以作为修改增加本发明的附加方面。权利要求1所述为一种编码装置，能产生添加了副图像的主图像的图像 编码数据，包括一个对主图像编码和把主图像的纵横比合并在主图像的编码 数据中的第一个编码部分(例如，图3所示的主图像编码部分31); —个对 副图像编码和把副图像的纵横比合并在副图像的编码数据中的第二个编码部 分(例如，图3所示的副图像编码部分32)。第二种合并方式为设置一个代表副图像纵横比的标志(例如， 一个代表 16: 9的标志， 一个代表4: 3的标志， 一个代表16: 9和4: 3的标志)来 在副图像的编码数据中合并副图像的纵横比。权利要求3所述为一种编码方法，权利要求4所述为一种产生叠加了副 图像的主图像的图像编码数据的程序，包括对主图像编码和把主图像的纵横
比合并在主图像的编码数据中(例如，图3所示的主图像编码部分31的处理) 以及对副图像编码和把副图像的纵横比合并在副图像的编码数据中(例如，图3所示的副图像编码部分32的处理)的步骤。权利要求5所述为一种对叠加了副图像的主图像的图像数据进行主图像 编码数据解码和副图像编码数据解码的解码装置，包括一个从主图像编码数 据得到主图像纵横比的第一个获取部分(例如，图7所示的主图像解码部分 72 ); —个根据第一个获取部分得到的主图像纵横比进行主图像框架转换的第 一个转换部分(例如，图7所示的主图像解码部分74); —个从副图像编码 数据得到副图像纵横比的第二个获取部分(例如，图7所示的主图像解码部 分73); —个根据第二个获取部分得到的副图像纵横比进行副图像框架转换 的第二个转换部分(例如，图7所示的主图像解码部分75 )。权利要求6所述为一种解码方法，权利要求7所述为一种对叠加了副图 像的主图像的图像数据进行主图像编码数据解码和副图像编码数据解码的程 序，包括从主图像的编码数据得到主图像的纵横比(例如，图7所示的主图 像解码部分72的处理)、根据第一个获取步骤得到的主图像纵横比进行主图 像框架转换(例如，图7所示的主图像解码部分74的处理)、从副图像的编 码数据得到副图像的纵横比(例如，图7所示的主图像解码部分73的处理)、 根据第二个获取步骤得到的副图像纵横比进行副图像框架转换(例如，图7 所示的主图^f象解码部分75的处理)的步骤。图2显示了根据本发明的编码装置11的结构的示例。和总线21相连的是CPU 22 (Central Processing Unit,中央处理单元)， 存储器23，视频信号输入接口 24，控制信号输入接口 25,视频编码器26， 视频数据输出接口 27等等。CPU 22和存储器23组成了计算机系统。换句话说，CPU 22执行存储于 存储器23内的程序、控制整个装置并完成处理(这个后面会描述)。存储器 23存储CUP 22执行的程序。另外，存储器23暂时存储CUP 22操作的数据。 存储器23可以由仅仅非易失性存储器或者易失性存储器和非易失性存储器 的组合来构造。当图2所示的装置配备有硬盘，并且其存储着CPU 22执行的 程序时，存储器23可以仅由易失性存储器来构造。CPU22执行的程序可以事先存储于作为装置的内部记录介质的存储器23中。替代地，程序可以暂时或者永久存储在移动记录介质中，如唱片、软盘、CD-ROM (Compact Disc Read Only Memory,光盘只读存储器)、MO (Magneto Optical,》兹光)盘、^^盘或者存储卡。这些移动记录介质可以作为所谓的l更 携软件(package sof tware)被提供。程序可以事先存储于存储器23中或者从这样的移动记录介质安装到装 置。另外，程序可以通过数字卫星广播的卫星从下载站点无线传输到装置。 替代地，程序可以用电缆通过网络如LAN (Local Area Network,局域网)或因 特网从下载站点传输到装置。装置可以接收程序并把它安装在内部存储器23 中。程序可以用一个CPU处理或者多个CPU分布处理。视频信号输入接口 24在CPU 22的控制下输入从视频相机等提供的主图 像的视频信号和副图像的视频信号，并通过总线21把视频信号提供给CPU 22、 存储器23、视频编码器26等等。当用户操作键(按钮)或者遥控器命令器(未显示)时，控制信号输入 接口 25从那里输入控制信号并通过总线21把它提供给CPU 22。控制信号输 入接口 2 5也可以担任通信接口 ，如调制解调器(包括ADSL( Asymmetric Digital Subscriber Line,非对称数字用户环线)调制解调器)、NIC (Network Interface Card,网络接口卡)，诸如此类。S见频编码器26对通过视频信号输入接口 24输入的纟见频信号进行编码并 通过总线21把得到的视频数据提供给CPU 22。视频数据输出接口 27输出其中视频数据被CPU22打包的一见频传输流。图3显示了图2所示的视频编码器26的结构的示例。图4是显示视频编 码器26处理示例的一既要的流程图。首先，参考图4所示的流程图，将描述视频编码器26处理示例的概要。 在步骤S1中，主图像编码部分31执行主图像视频信号的编码处理并把主图 像的纵横比等合并在编码数据中。在步骤S2中，副图^f象编码部分32执行副 图像视频信号的编码处理并把副图像的纵横比等合并在编码数据中。在步骤 S3中，合并了主图像纵横比等的主图像编码数据和合并了副图像纵横比等的 副图像编码数据被复用。步骤Sl和S2的次序并不限于图4所示的情况。例如，可以在步骤S2 的副图像处理执行之后，执行步骤S1的主图像处理。替代地，步骤S1的主
图像处理和步骤S2的副图像处理可以并行执行。接下来，将更详细地描述视频编码器26的处理。主图像编码部分31对 通过视频信号输入接口 24输入的主图像的视频数据进行编码，把CPU 22告 知视频编码器26的主图像纵横比等合并在编码数据中，并且把所得数据提供 给复用部分33。主图像的纵横比等的数据被合并到其中编码了主图像^L频信号的编码数 据中。替代地，主图像的纵横比等的数据可以被合并到主图像的预编码视频 信号中，然后主图像的视频信号和纵横比等可以一起被编码。副图像编码部分32对通过^f见频信号输入接口 24输入的诸如字幕或图形 等副图像的视频数据进行编码，把CPU 22告知副图像编码部分32的副图像 尺寸、位置信息、纵横比等合并在编码数据中，并且把所得数据提供给复用 部分33。在下面的描述中，假设副图像是字幕。副图像的纵横比等的数据被合并到其中编码了副图像视频信号的编码数 据中。替代地，副图像的纵横比等的数据可以被合并到副图像的预编码视频 信号中，然后副图像的视频信号和纵横比等数据可以一起被编码。对于副图像的纵横比，设置代表4: 3纵横比的标志、代表16: 9纵横比 的标志、或者代表4: 3或16: 9纵横比的标志。当如图5所示针对副图像定义一种720 x 480的图像框架类型时，字幕的 尺寸用字幕的高度，ph (在Y轴方向的尺寸)、字幕的宽度，pw(在X轴方 向的尺寸)表示，字幕的位置用字幕左上角的坐标(bx, by)表示，使得满 足(6x十(719,479)的关系。换句话i兌，字幕净皮置于720 x 480区i或内。 正如后面将描述的那样，字幕投射到显示设备屏幕的尺寸和位置被转换为恰 当的值。得到的字幕被叠加到主图像上，得到的叠加的图像被输出。回到图3，复用部分33复用其中合并了主图像纵横比等并从主图像编码 部分31提供的主图像的编码数据和其中合并了副图像纵横比等并从副图像 编码部分32提供的副图像的编码数据，并把复用的数据提供给视频数据输出 接口 27。图6显示了根据本发明的解码装置51的结构的示例。 和总线61相连的是CPU 62,存储器63，视频数据输入接口 64，控制信 号输入接口 65，视频解码器66，视频输出接口 67。CPU 62和存储器63组成了计算机系统。换句话说，CPU 62执行存储于
存储器63内的程序、控制整个装置并完成处理(这个后面会描述)。存储器63存储CUP 62执行的程序。另外，存储器63暂时存储CUP 62操作的数据。 存储器63可以由仅仅非易失性存储器或者易失性存储器和非易失性存储器 的组合来构造。当装置配备有硬盘并且其记录(安装有)CPU 62执行的程序时， 存储器63可以仅由易失性存储器来构造。CPU 62执行的程序可以事先存储于作为装置的内部记录介质的存储器63中。替代上，程序可以暂时或者永久存储在移动记录介质中，如唱片、软盘、 CD-ROM (Compact Disc Read Only Memory,光盘只读存储器)、MO (Magneto Optical,磁光)盘、磁盘或者存储卡。这些移动记录介质可以作为所谓的便 携软件被提供。程序可以事先存储于存储器63中或者从这样的移动记录介质安装到装 置。另外，程序可以通过数字卫星广播的卫星从下载站点无线传输到装置。 替代地，程序可以用电缆通过网络如LAN (Local Area Network,局域网)或因 特网从下载站点传输到装置。装置可以接收程序并把它安装在内部存储器63 中。程序可以用一个CPU处理或者多个CPU分布处理。视频数据输入接口 64在CPU 62的控制下输入由编码装置11编码、提供 给解码装置51的编码数据，并把编码数据提供给CPU 62、存储器63、视频 解码器66等等。当用户操作键(按钮)或者遥控器命令器(未显示)时，控制信号输入 接口 65从那里输入控制信号并通过总线61把它提供给CPU 62。控制信号输 入接口 65也可以担任通信接口 ，如调制解调器(包括ADSL( Asymmetric Digital Subscriber Line,非对称数字用户环线)调制解调器)、NIC (Network Interface Card,网络接口卡)，诸如此类。视频解码器66对通过视频数据输入接口 64和总线61提供的一见频数据的 编码数据进行解码并通过总线61把得到的视频数据提供给CPU 62和视频输 出接口 67。视频输出接口 67对通过总线61提供的视频数据执行必要的处理，并通 过视频输出终端68输出所得的数据。视频输出终端68连接到显示设备诸如CRT ( Cathode Ray Tube,阴极射 线管)或者液晶显示屏(未示出)。这样，从视频输出终端68输出的视频数 据被提供给显示设备。显示设备显示视频数据。视频数据可以通过无线或电缆方式从解码器51提供给显示设备。图7显示了图6所示的视频解码器66的结构的示例。图8是显示视频解 码器66处理示例的概要的流程图。首先，参考图8所示的流程图，将描述视频解码器66显示处理示例的概 要。在步骤S10中，主图像解码部分72对由解复用部分71解复用的主图像 编码数据进行解码。此外，主图像解码部分72从主图像编码数据中抽取主图 像的纵横比等数据。主图像框架尺寸转换部分74根据主图像和显示设备的纵 横比来转换主图像的图像框架尺寸。在步骤Sll中，副图像解码部分73对由 解复用部分71解复用的副图像编码数据进行解码，并且从副图像编码数据中 抽取副图像的纵横比等数据。副图像框架尺寸转换部分75根据副图像和显示 设备的纵横比来转换副图像的图像框架尺寸。在步骤S12中，加法设备76将 其图像框架尺寸基于显示设备的纵横比被确定了的主图像与副图像叠加。其 中主图像叠加了副图像的图像就被显示。步骤S10和Sll的次序并不限于图8所示的情况。例如，可以在步骤Sll 的副图像处理执行之后，执行步骤S10的主图像处理。替代地，步骤S10的 主图像处理和步骤Sll的副图像处理可以并行执行。接下来，将被更详细描述视频解码器66的处理。解复用部分71把从视 频数据输入接口 64提供的编码数据解复用为主图像编码数据和副图像编码 数据。此外，解复用部分71把主图像编码数据提供给主图像解码部分72并 把副图像编码数据提供给副图像解码部分73。主图像解码部分72对主图像的编码数据进行解码并把所得解码视频数 据提供给主图像框架尺寸转换部分74。此时，主图像解码部分72从主图像 的编码数据抽取主图像的纵横比等信息并把抽取的信息提供给主图像框架尺 寸转换部分74。副图像解码部分73对副图像的编码数据进行解码并把所得解码字幕数 据提供给副图像框架尺寸转换部分75。此外，此时副图像解码部分73从副 图像的编码数据抽取副图像的尺寸、位置、纵横比等信息并把抽取的信息提 供给副图像框架尺寸转换部分75。主图像框架尺寸转换部分74根据连接到视频输出终端68的显示设备的
纵横比和从主图像解码装置72提供的主图像纵横比对主图像框架尺寸进行转换以备输出，并把所得主图像提供给加法设备76。当显示设备的纵横比为16: 9而主图像的纵横比为4: 3时，主图像框架 尺寸转换部分74在横向(水平方向)上减小主图像、向主图像添加使屏幕的 左右两端区域变黑的数据、并输出所得主图像。当显示设备的纵横比为4: 3而主图像的纵横比为16: 9时，主图像框架 尺寸转换部分74在纵向(垂直方向)上减小主图像、向主图像添加使屏幕的 上下两端区域变黑的数据、并输出所得主图像。当显示设备的纵横比与主图像的纵横比相同，例如为16: 9或4: 3时， 主图像框架尺寸转换部分74输出主图像而不作减小。副图像框架尺寸转换部分75通常根据从副图像解码装置73提供的副图 像纵横比对副图像框架尺寸进行转换，并把所得副图像提供给力口法设备76。加法设备76把从副图像框架尺寸转换部分75提供的副图像叠加在从主 图像框架尺寸转换部分74提供的主图像上，并把所得图像提供给输出緩沖器 77。输出緩冲器77暂时存储从加法设备76提供的数据，并在预定的定时把 数据输出到视频输出接口 67。接下来，参考图9的流程图描述视频解码器66的副图像框架尺寸转换部 分75的操作。在步骤S21中，副图像框架尺寸转换部分75从副图像解码部分73中得 到代表提供给副图像框架尺寸转换部分75的副图像的纵横比的标志。在步骤S22中，副图像框架尺寸转换部分75确定显示设备的纵横比为4: 3 (如360 x 270 )还是16: 9 (如480 x 270 )。当确定的结果表明纵横比为4: 3时，流程进入步骤S23。在步骤S23中，副图像框架尺寸转换部分75根据 4: 3的纵横比转换针对副图像的图像框架尺寸720x480并把所得字幕数据 输出给加法设备76。换句话说，不管主图像纵横比为多少，副图像都以4: 3的纵横比进行投射。当主图像的纵横比为16: 9时，如图IO所示，改变主图像的图像框架尺 寸，并且添加使上下两端区域变黑的数据。所得主图傳j皮叠加上纵横比为4: 3的字幕图像，并且叠加的图像被显示。当主图像的纵横比为4: 3时，如图 11所示，主图像被叠加上纵横比为4: 3的字幕图像，并且得到的叠加的图 像被显示。当显示设备的纵横比为4: 3时，即使主图像的纵横比为16: 9,也投射 纵横比为4: 3的字幕图像(图9所示的S23步)。换句话说，如果字幕图像 以16: 9的纵横比进行投射，象图12A给出的例子那样，字幕图像的左右两 端区域可能不能显示。这也适用于显示设备的纵横比为4: 3且主图像的纵横 比为4: 3的情况(见图12B)。因此，禁止投射纵冲黄比为16: 9的字幕。替 代地，当显示设备的纵横比为4: 3时，字幕的纵横比也是4: 3。当显示设备的纵横比为4: 3而主图像的纵横比为16: 9 (图10)时，相 对副图像坐标系的主图像显示区域为如图13至图15所示的阴影区域。图13 显示了框架尺寸为720x480的主图像显示区域。图14显示了框架尺寸为352 x480的主图像显示区域。图15显示了框架尺寸为352 x 240的主图像显示 区域。当显示设备的纵横比为4: 3且主图像的纵横比为4: 3 (图11 )时，相 对副图像坐标系的主图像显示区域为如图16至图18所示的阴影区域。图16 显示了框架尺寸为720x480的主图像显示区域。图17显示了框架尺寸为352 x480的主图像显示区域。图18显示了框架尺寸为352 x 240的主图像显示 区域。回到图9，当步骤S22中确定的结果表明显示设备的纵横比为16: 9时， 流程进入步骤S24。在步骤S24中，副图像框架尺寸转换部分75确定在步骤 S21得到的标志是代表4: 3和16: 9两者作为副图像纵横比的标志还是代表 4: 3或16: 9作为副图像纵横比的标志。当确定的结果表明标志代表一个纵 横比时，流程进入步骤S25。在步骤S25中，副图像框架尺寸转换部分75确定在步骤S21中得到的 标志代表4: 3还是16: 9作为副图像纵横比。当确定的结果表明标志代表 16: 9作为副图像纵横比时，流程进入S26步。在步骤S26中，副图像框架尺寸转换部分75根据16: 9的纵横比(象素 纵横比为40: 33 )转换针对字幕的720x480的图像框架尺寸，并把所得字 幕数据输出到加法设备76 。换句话说，不管主图像纵横比为多少，副图像都以16: 9的纵横比显示。当主图像的纵横比为4: 3时，如图19所示，在横向减小主图像，并且
添加使左右两端区域变黑的数据。所得主图像上叠加纵横比为16: 9的字幕图像，并且叠加的图像被显示。换句话说，由于字幕可以在显示设备上被完 全显示，因此即使显示设备小且具有小显示屏，字幕也能大规模地显示。当主图像的纵横比为16: 9时，如图20所示，主图像上将叠加纵横比为 16: 9的字幕图像，并且显示叠加图像。当副图像的纵横比为16: 9而主图像的纵横比为16: 9 (图20)时，相 对副图像坐标系的主图像显示区域为如图16至图18所示的阴影区域。当副图像的纵横比为16: 9而主图像的纵横比为4: 3 (图19)时，相对 副图像坐标系的主图像显示区域为如图21至图23所示的阴影区域。图21显 示了当框架尺寸为720 x 480时的主图像显示区域。图22显示了当框架尺寸 为352 x 480时的主图像显示区域。图23显示了当框架尺寸为352 x 240时的 主图像显示区域。回到图9，当在步骤S25确定的结果表明副图像的纵横比为4: 3时，流 程进入步骤S27。在步骤S27中，副图像框架尺寸转换部分75根据4: 3的 纵横比转换针对字幕的720 x 480的图像框架尺寸，并把所得字幕数据输出给 加法设备76。这种情况下，不管主图像纵横比为多少，副图像都以4: 3的纵横比显示 (投射)。当主图像的纵横比为4: 3时，如图24所示，在横向上减小主图像，并 且添加使左右两端区域变黑的数据。所得主图像上叠加纵横比为4: 3的字幕 图像，并且叠加图像被显示。当主图像的纵横比为16: 9时，如图25所示， 主图像上将叠加纵横比为4: 3的字幕图像，并且叠加图像被显示。当副图像的纵横比为4: 3且主图像的纵横比也为4: 3(图24)时，相 对副图像坐标系的主图像显示区域为如图16至图18所示的区域。当副图像的纵横比为4: 3而主图像的纵横比为16: 9 (图25 )时，相对 副图像坐标系的主图像显示区域为如图13至图15所示的区域。当步骤S24中确定的结果表明标志代表16: 9和4: 3两者作为副图像纵 横比时，流程进入步骤S28。在这种情况下，由于显示设备的纵横比为16: 9, 以与步骤S26相同的方式，副图像框架尺寸转换部分75根据16: 9的纵横比 转换针对字幕的720 x 480的图像框架尺寸，并把所得字幕数据输出给加法设 备76。
当字幕在步骤S23、 S26或S28中#1显示时，处理就完成了。在上述的方式中，可以根据副图像的纵横比显示副图像，该副图像的纵 横比是独立于主图像的纵横比和显示设备的纵横比而设置的。尽管上述的处理可以用硬件实现，它们也能用软件实现。当处理用软件 实现时，通过在计算机上安装组成所述软件的程序并使其执行程序，功能上 实现了编码装置11和解码装置51。在本说明书中，描述由记录介质提供的程序的步骤在编码顺序上是按时 间先后顺序处理的。替代地，它们可以是被并行或分布处理的。
权利要求
1、一种编码装置，该装置生成图像的编码数据，该图像通过在主图像上叠加副图像来显示，该装置包括对主图像进行编码并把主图像的纵横比合并在主图像的编码数据中的第一编码部分；和对副图像进行编码并把副图像的纵横比合并在副图像的编码数据中的第二编码部分。
2、 如权利要求1所述的编码装置，其中，所述第二编码部分设置代表副图像的纵横比的标志，以便把该副图像的纵横比合并在副图像的编码数据中。
3、 一种生成图像的编码数据的编码方法，该图像通过在主图像上叠加副 图像来显示，所述编码方法包括下列步骤对主图像进行编码，并把主图像的纵横比合并在主图像的编码数据中；和对副图像进行编码，并把副图像的纵横比合并在副图像的编码数据中。
4、 一种程序，该程序使控制编码装置的处理器执行程序，该编码装置生 成图像的编码数据，该图像通过在主图像叠加副图像来显示，该程序包括下 列步骤对主图像进行编码，并把主图像的纵横比合并在主图像的编码数据中；和对副图像进行编码，并把副图像的纵横比合并在副图像的编码数据中。
5、 一种解码装置，其对主图像的编码数据和通过在主图像上叠加副图像 来显示副图像的编码数据进行解码，该解码装置包括从主图像的编码数据中获取主图像的纵横比的第 一获取部分； 根据由第 一获取部分获取的主图像的纵横比转换主图像的图像框架的第 一转换部分；从副图像的编码数据中获取副图像的纵横比的第二获取部分；和 根据由第二获取部分获取的副图像的纵横比转换副图像的图像框架的第 二转换部分。
6 、 一种对主图像的编码数据和通过在主图像上叠加副图像来显示的副图 像的编码数据进行解码的解码方法，该解码方法包括下列步骤 从主图像的编码数据中获取主图像的纵横比；根据在第 一获取步骤获取的主图像的纵横比转换主图像的图像框架；从副图像的编码数据中获取副图像的纵横比；和根据在第二获取步骤获取的副图像的纵横比转换副图像的图像框架。
7、 一种使控制解码装置的处理器执行程序的程序，该解码装置对主图像 的编码数据和通过在主图像上叠加副图像来显示的副图像的编码数据进行解 码，该程序包括下列步骤从主图像的编码数据中获取主图像的纵横比；根据在第 一获取步骤获取的主图像的纵横比转换主图像的图像框架；从副图像的编码数据中获取副图像的纵横比；和根据在第二获取步骤获取的副图像的纵横比转换副图像的图像框架。
8、 一种记录介质，其上复用和记录了其中编码了主图像数据的主图像的 编码数据和其中编码了副图像数据的副图像的编码数据，所述主图像数据和 副图像数据通过把副图像数据叠加在主图像数据上来显示，其中，主图像的编码数据具有代表主图像数据的纵横比的第一纵横比标 志，以及其中，副图像的编码数据具有代表副图像数据的纵横比的第二纵横比标 志，第二纵横比独立于第一纵横比。
9、 一种数据结构，其中复用了其中编码了主图像数据的主图像的编码数 据和其中编码了副图像数据的副图像的编码数据，所述主图像数据和副图像数据通过把副图像数据叠加在主图像数据上来显示，其中，主图像的编码数据具有代表主图像数据的纵横比的第一纵横比标 志，以及其中，副图像的编码数据具有代表副图像数据的纵横比的第二纵横比标 志，第二纵横比独立于第一纵横比。
全文摘要
可以用独立于主视频的纵横比来显示字幕。当设置了指示字幕纵横比为16∶9的标志时，字幕视频的图像框架尺寸(720×480)被转换以匹配16∶9的纵横比，作为结果得到的字幕视频被叠置在主视频上并且显示。就是说，当主视频具有4∶3的纵横比时，如图19所示，进行横方向上的缩减，通过在左右添加黑色色调来显示主视频，而以16∶9的纵横比显示字幕视频。
文档编号H04N5/44GK101112096SQ20058004767
公开日2008年1月23日 申请日期2005年11月30日 优先权日2004年12月2日
发明者浜田俊也, 藤波靖, 高桥邦明 申请人:索尼株式会社;索尼计算机娱乐公司