回放方法、回放程序和回放设备的制作方法

专利名称：回放方法、回放程序和回放设备的制作方法
技术领域：
本发明涉及基于指定视频信号的回放间隔的回放控制信息播放视频信号 的回放方法、回放程序和回放设备。
背景技术：
作为指定用于多路复用了视频数据和音频数据的回放流数据的方法的手 段，利用指定流数据的回放间隔或回放次序的回放间隔指定信息以及指定该 回放间隔指定信息的回放次序的回放控制信息来控制流数据的回放是已经熟 知的方法。在该回放方法中，可以指定或改变回放间隔或回放次序而不用处 理实际的流数据，并且可以方便容易地处理该流数据。涉及关于以这种方式、参考回放控制信息内的回放间隔指定信息中所描 述的回放间隔的回放流数据的方法的技术公开在JP-A-2004-304767中。发明内容流数据形式的视频数据以帧进行处理，而流数据形式的音频数据以诸如 压缩和编码的单元之类的处理单元进行处理。由于音频数据的处理单元独立 于视频数据的处理单元进行确定，所以其回放间隔由回放间隔指定信息指定 的视频数据的时间长度不需要与相应于该视频数据的音频数据的时间长度一 致。现在考虑将用于顺序回放音频数据的多个顺序回放间隔指定信息#1 、 #2 和#3的回放次序编辑成连接回放间隔指定信息#1和#3的情况。在这种情况 下，包括回放间隔指定信息#1的末尾的音频处理单元被带进具有回放间隔指 定信息#1的对应(correspondence )。包括回放间隔指定信息#3的开头的音频
处理单元被带进具有回放间隔指定信息#3的对应。当回放间隔指定信息#1和#3被连接时，对应于回放间隔指定信息#1的、 包括回放间隔指定信息#1的末尾的音频处理单元，与对应于回放间隔指定信息#3的、包括回放间隔指定信息#3的开头的音频处理单元，在回放间隔指定 信息#1和#3之间的边界上重叠。在这种情况下，音频处理的重叠单元可以以依据回放间隔指定信息的回 放次序的顺序进行播放，或者可以删除音频处理的重叠单元中的一个音频处 理单元来直接和连续地播放音频数据。然而，当像上述那样顺序播放音频处理单元或删除音频处理的重叠单元 之一来播放其他单元时，在视频图像和声音之间出现差值。当基于包括回放 间隔指定信息#1和#3的回放控制信息来重复播放流数据时，该差值累积。因 此，在视频图像和声音之间的差值可能变得相当显著，这是一个问题。因此，希望提出编辑经预先编辑的回放控制信息来顺序播放音频数据， 并在包括具有经改变的构造以便防止不自然的显示的、回放间隔指定信息的 回放控制信息中、减少在视频图像和声音之间所引起的差值的回放方法、回 放程序和回放设备。根据本发明的实施方式，提供播放视频数据和与视频数据相关联的音频 数据的回放方法，该方法包括步骤在视频数据中，计算由基于处理视频数据的第一处理单元指定回放间隔的回放间隔指定信息所指定的回放间隔，与 作为有与第一处理单元的长度不同的长度的第二处理单元的集合的、对应于回放间隔指定信息的音频数据的间隔之间的差值；执行根据该差值转换由回 放间隔指定信息指定的回放间隔的长度的第一转换；以及执行交替地在视频 数据上重复输出每一帧三次和重复输出每一帧两次，并且将在第一帧频下的 视频数据转换成在与第 一帧频成2-5关系(two-to-five relationship )的第二帧 频下的视频数据的第二转换，其中，该第一转换被配置成使得转换后的帧差 值可以等于低于在基于重复输出三次的帧的帧群，与在基于重复输出三次的 帧的帧群之后的、基于重复输出两次的帧的帧群之间的差值(one)。根据本发明的另 一实施方式，提供使计算机实现播放视频数据和与视频 数据相关联的音频数据的回放方法的回放程序，该方法包括步骤在视频数 据中，计算由基于处理视频数据的第一处理单元指定回放间隔的回放间隔指 定信息所指定的回放间隔，与作为有与第 一处理单元的长度不同的长度的第
二处理单元的集合的、对应于回放间隔指定信息的音频数据的间隔之间的差 值；执行根据该差值转换由回放间隔指定信息指定的回放间隔的长度的第一转换；以及执行交替地在视频数据上重复输出每一帧三次和重复输出每一帧 两次，并且将在第一帧频下的视频数据转换成在与第一帧频成2-5关系的第 二帧频下的视频数据的第二转换，其中，该第一转换被配置成使得转换后的 帧差值可以等于低于在基于重复输出三次的帧的帧群，与在基于重复输出三 次的帧的帧群之后的、基于重复输出两次的帧的帧群之间的差值(one)。根据本发明的另一实施方式，提供播放视频数据和与视频数据相关联的 音频数据的回放设备，该设备包括控制部分，其在视频数据中，计算由基 于处理视频数据的第一处理单元指定回放间隔的回放间隔指定信息所指定的 回放间隔，与作为有与第一处理单元的长度不同的长度的第二处理单元的集 合的、对应于回放间隔指定信息的音频数据的间隔之间的差值；第一转换部 分，其根据该差值转换由回放间隔指定信息指定的回放间隔的长度；以及第 二转换部分，其交替地在视频数据中重复输出每一帧三次和重复输出每一帧 两次，并且将在第一帧频下的视频数据转换成在与第一帧频成2-5关系的第 二帧频下的视频数据，其中，该第一转换被配置成使得转换后的帧差值可以 等于低于在基于重复输出三次的帧的帧群，与在基于重复输出三次的帧的帧 群之后的、基于重复输出两次的帧的帧群之间的差值(one)。根据本发明的该实施方式，由于该实施方式在视频数据中，计算由基于 处理视频数据的第一处理单元指定回放间隔的回放间隔指定信息所指定的回 放间隔，与作为有与第一处理单元的长度不同的长度的第二处理单元的集合 的、对应于回放间隔指定信息的音频数据的间隔之间的差值；执行根据该差值转换由回放间隔指定信息指定的回放间隔的长度的第一转换；以及执行交替地在视频数据上重复输出每一帧三次和重复输出每一帧两次，并且将在第一帧频下的视频数据转换成在与第 一帧频成2-5关系的第二帧频下的视频数 据的第二转换，其中，该第一转换被配置成使得转换后的帧差值可以等于低于在基于重复输出三次的帧的帧群，与在基于重复输出三次的帧的帧群之后 的、基于重复输出两次的帧的帧群之间的差值(one),因此，视频数据和音频数据之间具有小的差值。本发明的实施方式计算包括由当前正在播放的回放间隔指定信息所指定 的间隔的末尾的音频处理单元，与期望下次处理的回放间隔指定信息所指定
的间隔的开头的音频处理单元之间的重叠量；确定由所计算出来的重叠量的 合计产生的和值是否等于或大于一帧，如果该和值等于或大于一帧则插入一 帧。因此，存在可以减少要播放的视频数据和音频数据之间的差值的优点。


图l是示出回放控制信息、回放间隔指定信息和流数据之间的关系的示意图；图2A至图2D是示出根据本发明的实施方式的示例回放处理的示意图； 图3A和图3B是描述根据本发明的实施方式的、减少差值的方法的示意图；图4A和图4B是描述3-2折叠处理(pull-down processing )的示意图； 图5A和图5B是描述应用3-2折叠处理的、减少视频数据和音频数据之间的差值的方法的示意图；图6是示出可应用于本发明的实施方式的回放设备的示例构造的框图；图7是示出视频转换部分的示例构造的框图；图8是示出根据本发明的实施方式的示例回放处理的流程图；图9是示出合计音频处理和回馈处理的单元的重叠量的处理的流程图；图IOA至图IOD是示出根据本发明的实施方式的变型示例的示例回放处理的示意图；图IIA和图IIB是描述根据本发明的实施方式的变型示例的、减少差值 的方法的示意图；以及图12A和图12B是描述应用根据本发明的实施方式的变型示例的3-2折 叠处理的、减少视频数据和音频数据之间的差值的方法的示意图。
具体实施方式
以下参照附图描述本发明的实施方式。根据本发明的实施方式，利用指 定流数据的回放间隔或回放次序的回放间隔指定信息，以及指定回放指定信 息的回放次序的回放控制信息，来控制流数据的回放，其中在该流数据中复 合了视频数据和音频数据。首先，参考图l描述回放控制信息、回放间隔指定信息和流数据之间的 关系。如图l所示，回放间隔指定信息定义在流数据中指示回放位置的回放
起始点(IN点)和回放结束点(OUT点)。回放间隔指定信息描述了关于作 为一对的IN点和OUT点的信息。回放控制信息包括多个回放间隔指定信息 的集合，并指定该多个回放间隔指定信息的回放次序。为了播放流数据，基 于回放控制信息，参考关于在回放间隔指定信息中所描述的IN点和OUT点 的信息，播放流数据中的相应间隔。其次，参考图2A至2D,描述根据本发明的实施方式的回放控制方法。 例如，如图2A所示，音频处理单元a至k具有与回放间隔指定信息弁l至#3 的对应，并被配置成顺序播放。将考虑将包括多个用于顺序回放音频数据的顺序回放间隔指定信息#1、 #2和#3的回放控制信息这样编辑成连接回放间隔指定信息#1和#3的情况。 如图2B所示，回放间隔指定信息#1的回放可能需要包括由回放间隔指定信 息#1所指定的间隔的开头和末尾的音频处理单元a至d。回放间隔指定信息 #3的回放可能需要包括由回放间隔指定信息#3所指定的间隔的开头和末尾 的音频处理单元h至k。因此，当回放间隔指定信息#1所指定的间隔与回放间隔指定信息#3所指 定的间隔被连接来进行顺序播放时，包括由回放间隔指定信息#1所指定的间 隔的末尾的音频处理单元d的一部分，可以与对应于回放间隔指定信息#3的 音频处理单元h至k中、包括由回放间隔指定信息#3所指定的间隔的开头的 音频处理单元h的一部分重叠，如图2C所示。在这种情况下，如"发明内容"部分所述，允许音频数据的顺序播放的方 法可以是按照回放间隔指定信息中的回放次序顺序播放重叠的音频处理单元 的第一方法，或者是删除重叠的音频处理单元中的一个音频处理单元的第二 方法。根据本发明的实施方式，为了减少视频数据和音频数据之间的差值， 使用按照回放间隔指定信息中的回放次序顺序播放重叠的音频处理单元的第 一方法。在该第一方法中，如图2D所示，基于回放间隔指定信息#1和#3的回放 次序依次定位重叠的音频处理单元d和h。通过这样依次定位重叠的音频处 理单元，在回放控制信息的回放末尾位置和音频数据的回放末尾位置之间出 现差值。当多个回放间隔指定信息被连接成多个在边界上不连续的、具有与 音频数据的对应的回放间隔指定信息的连接(connection)时，被累积的差值 的时间长度增加。例如，每当重复具有该构造的回放控制信息时累积该差值。因此，如图3A所示，如果差值的时间长度等于或长于预定值，则插入 关于对应的预定时间段的视频数据。经过这样处理，减少了回放控制信息与 音频数据之间的差值。更具体地说，例如，如果差值的时间长度等于或长于关于一个视频帧的时间长度，则插入一个视频帧，如图3B所示。顺便说一下，例如，可能已经利用过去的光学胶片生产了电影图像，并 且该电影图像是每秒24帧的视频信号。这意味着该视频信号是在24Hz帧频 下的逐行扫描视频信号。目前，已经开发出了将在例如24Hz帧频下的电影图 像的视频信号记录到记录介质而不用进行帧频转换的方法。基于在24Hz帧频 下的信号的时间信息来描述在这种情况下的回放间隔指定信息。因此，为了 播放电影，在24Hz帧频下的视频信号可能需要转换成在适合于监视器显示器 的帧频下的视频信号。另一方面，例如在日本用于电视广播的NTSC (全国电视系统委员会制 式)中，视频信号的帧频是59.94Hz,并且显示视频图像的监视器设备的帧频 也是59.94Hz。因此，如果像在24Hz帧频下的电影图像的情况那样，视频信 号的帧频不是59.94Hz,则该帧频可能需要转换成59.94Hz。为了将在24Hz顿频下的逐行扫描视频信号(以下可以称为24p视频信 号)转换成在59.94Hz帧频下的逐行扫描视频信号(以下可以称为59.94 p视 频信号)，执行将在24Hz帧频下的原始视频信号的帧一次性(once)交替地 转换成在60Hz帧频下的逐行扫描^f见频信号(以下可以称为60p^L频信号)的 三帧和两帧的处理，即，执行所谓的3-2折叠(或2-3折叠)处理。然后，对 60p视频信号执行到59.94 p视频信号的预定转换处理。24p视频信号和60p视频信号在帧频上具有2-5关系。因此，如图4A所 示，例如，对24p视频信号的帧执行3-2折叠处理来交替地重复输出三次和 重复两次，以便输出在60Hz帧频下，如图4B所示。因此，24p视频信号可 以转换成60p视频信号。24p帧通过3-2折叠处理被重复n个类型的相邻帧的集合在以下称为群。 在以下，将包括由24p帧重复三次产生的相邻三帧的群称为三帧群，而将包 括由24p帧重复两次产生的相邻两帧的群称为两帧群。根据本发明的实施方式，为了减少视频数据和音频数据之间的差值，在 3-2折叠(或2-3折叠)期间，对两帧群执行插入一个视频帧的处理。换句话说，将一个帧群插入三帧群导致包括作为三帧群和跟在两帧群之
后的一个同样的帧的四个同样的帧的群。在这种情况下，该四个同样的帧在 该两帧群回放之后立即播放，并接下来播放一个两帧群。因此，具有帧插入 的群和在该群之前和之后没有帧插入的各群之间在帧数上的差值等于或高于 2，这导致不自然的显示。
因此，如图5A所示，在已经经历了 3-2折叠处理的视频信号中，将一帧 插入两帧群。所以，如图5B所示，具有一帧的插入的群和在该群之前和之后 没有帧插入的各群之间在帧数上的差值不等于或高于两帧，这可以防止不自 然的显示。
图6示出本发明的这种实施方式可应用到的回放设备1的示例构造。以 下像在24Hz帧频下的视频数据需要转换成在59.94Hz帧频下的视频数据的情 况那样，描述例如视频数据的帧频的改变是必需的的情况。回放设备l包括 盘驱动器12、多路分离器(DeMUX) 13、视频解码器14、视频转换部分15、 音频解码器16、音频输出部分17、控制部分18和STC (系统时钟)电路19。
记录在用于供给的可拆卸记录介质11上的流数据。例如，记录介质11 可以是只读或可写盘型记录介质、诸如闪存之类的半导体存储器或可拆卸硬 盘驱动器。例如，盘型记录介质可以是"BLU-RAYDISC (注册商标)"或作 为基于"BLU-RAYDISC"的、在只读规范下的BD-ROM(只读BLU-RAYDISC 存储器)，或者DVD (数字多功能盘)或CD (光盘)。
例如，代替盘型记录介质，流数据可以从诸如因特网或数字电视广播之 类的通信网络供给。下面要描述的流数据从(例如)诸如盘型记录介质之类 的可拆卸记录介质11供给。
盘驱动器12读取记录在安装在其中的记录介质11中的流数据。例如， 记录介质11可以记录将视频数据和音频数据多路复用在由MPEG2 (运动图 像专家组2)系统定义的传输流(TS)或节目流(PS)格式中的流数据。从 记录介质11读取的传输流或节目流被供给多路分离器13。
多路分离器13从所供给的流数据中多路分离视频数据和音频数据。当流 数据作为传输流从盘驱动器12供给时，多路分离器13分析每个传输分组的 PID(分组标识)，并收集存储视频数据的分组。多路分离器13从存储在所收 集分组的负载中的数据重建PES (经分组基本流)分组。然后，例如，基于 存储在PES分组的头部中的信息，从每个PES分组中提取视频数据的基本流， 并再现视频流。与视频流的再现类似，多路分离器13基于每个传输分组的
PID收集存储音频数据的分组，并再现音频流。
当流数据作为节目流从盘驱动器12供给时，多路分离器13基于诸如包 头部之类的头部信息多路分离PES分组，基于存储在PES分组的头部中的信 息来提取每个PES分组中的视频数据的基本流，并再现视频流。与视频流的 再现类似，多^各分离器13基于诸如包头部之类的头部信息多路分离PES分 组，并再现音频流。
由多路分离器13多路分离的视频流被供给视频解码器14,而音频流被 供给音频解码器16。视频解码器14解码所供给的视频流，并输出结果作为 基带视频数据。
这里，例如，关于由MPEG2系统传输的视频流的编码格式不限于 MPEG2。例如，由ITU-T(国际电讯联盟-电讯标准化部分)推荐H.264或ISO (国际标准化组织)/IEC(国际电工技术委员会)国际标准14496-10( MPEG-4 第10部分)高级视频编码(以下缩写成H.264|AVC )定义的编码格式或VC1 (video codec 1, ;f见频编解码1 )格式编码的3见频流可以由MPEG2系统传送。 视频解码器14可以根据多种编码格式解码视频流。在这种情况下，视频 解码器14基于视频流的头部信息或以预定方式添加到视频流中的属性信息 来标识编码格式，并通过相应的解码格式解码该视频流。例如，编码格式也 可以基于用户操作在外部控制之下进行定义。
很明显，视频解码器14可以配置成仅支持单一编码格式。在这种情况下， 当供给不被视频解码器14支持的编码格式的视频流时，例如，可以执行错误 处理。
视频解码器14还可以获得所供给的视频流的帧速率或帧频。例如，在 MPEG2、 H.264IAVC或VC1格式下，关于帧速率的信息被存储在流的头部部 分。例如，视频解码器14从所供给的视频流的头部部分提取关于帧速率的信 息，并获得该-現频流的帧速率。
更具体地说，在MPEG2格式下，帧速率"frame—rate一value"在序列头部 (S叫uence Header)内的数据项"frame—rate—code"下进行描述。在H.264|AVC 格式下，通过利用序列参数集合(Sequence Parameter Set)中的参数 "num—units—in—tick，，禾口参数"time—scale，，计算(time—scale/ num—units—in—tick ) /2 来获得帧速率"frame—rate一value"。在VCl格式下，通过利用在序列层 "SEQUENCE LAYER ()，，中的项目"FRAMERATENR"和"FRAMERATEDR" 下的^直"value of Frame Rate Numerator (巾贞速率分子"f直)，，和^f直"value of Frame Rate Denominator (帧速率分母值)，，计算(value of Frame Rate Numerator) /
(value of Frame Rate Denominator)来获得帧速率"frame一rate—value"。
视频解码器14向视频转换部分15供给具有经解码的视频流以及以预定 方式从该视频流中获得的帧速率信息的视频数据。基于视频数据的帧速率将 视频数据供给视频转换部分15。
音频解码器16基于预定处理单元解码所供给的音频流，并以音频处理单 元将结果输出到音频输出部分17。该音频流包括音频处理单元的对准
(alignment),其每一个被称为可解码AU (存取单元)。
要对音频流执行的编解码处理可以使用各种格式，并且可以是MP3
(MPEG音频层3 )、 AC3 (音频编码号3 )或AAC (高级音频编码)。经解 码的音频处理单元的回放间隔依赖于可应用的编解码处理。例如，在采样频 率为48[kHz]的情况下，MP3用作编解码处理时的音频处理单元的回力文间隔 为1152[样本]/48[kHz]-24[msec]。例如，在采样频率为48[kHz]的情况下，AC3 用作编解码处理时的音频处理单元的回力支间隔为1536[样
本]/48[kHzh32[msec]。例如，在采样频率为48[kHz]的情况下，AAC用作编 解码处理时的音频处理单元的回放间隔为1024[样本]/48[l(Hz]=21.33[msec]。
与视频解码器14类似，音频解码器16可以根据多种编码格式解码音频 流。在这种情况下，例如，音频解码器16基于给定音频流的头部信息或以预 定方式添加到给定音频流的属性信息来标识编码格式和/或采样频率，并解码 相应的解码格式的音频流。
控制部分18包括CPU (中央处理单元)、ROM (只读存储器)和RAM (随机存取存储器)。ROM预存要在CPU上运行的程序以及运行所需要的数 据。RAM用作CPU的工作存储器。CPU在需要时加载存储在ROM中的程 序或数据，并且利用RAM作为工作存储器来控制回放设备1的各组成部分。 ROM可以通过重写存储在其中的程序或数据来进行升级。
STC电路19产生STC，它是同步视频数据和音频数据的同步基准信号。 所产生的STC被供给视频转换部分15和音频输出部分17。
视频转换部分15基于从视频解码器14供给的帧速率信息来转换视频数 据的帧频。例如，如图7所示，；脱频转换部分15包括帧存储器30和^L频控 制部分31。视频控制部分31在控制部分18的控制下，控制来自帧存储器30
的视频数据的加载，以执行3-2折叠处理。
例如，将24p视频数据转换成60p视频数据的3-2折叠处理将24p 一见频 数据，即，以24Hz的帧频供给的视频数据，按帧存储到帧存储器30。视频 控制部分31控制将一个同样的帧从帧存储器30重复加载三次或两次。
视频转换部分15还在控制部分18的控制下，校正视频数据和音频数据 之间的差值。例如，视频转换部分15可以基于通过加法器20从STC电路19 供给的时钟，在预定时间插入画面。
视频转换部分15还通过在如上所述地处理的视频数据上执行间去 (thinning out)每1001帧中的预定一帧的处理，来将60p视频数据转换成 59.94p视频数据。
如果STC值与视频数据的PTS所定义的时间一致，则基于作为从STC 电路19供给的同步基准信号的STC值输出经转换的视频数据。
例如，音频输出部分17可以具有緩存器(未示出)，并且在该緩存器中 存储经解码的音频处理单元。然后，如果STC值与音频数据的PTS所定义的 时间一致，则音频输出部分17基于从STC电路19供给的STC值，顺序地输 出音频处理单元。音频输出部分17还向控制部分18供给用于计算音频处理 单元的重叠量的信息。
控制部分18基于从音频输出部分17供给的信息来计算音频处理单元的 重叠量，并合计重叠量。然后，如果重叠量的和值等于或长于诸如一帧之类 的预定值，则控制部分18控制视频转换部分15来在预定时间插入画面。控 制部分18还控制来将从STC电路19通过加法器20供给视频转换部分15的 STC值延迟等效于诸如一帧之类的预定值的量。
已经描述了图6所示的回放设备1的组成部分以硬件提供，但本发明不 限于该示例。换句话说，回放设备1的多路分离器13、视频解码器14、视频 转换部分15、音频解码器16、音频输出部分17、控制部分18和STC电路
放设备l具有的ROM(未示出)中，也可以记录在诸如DVD-ROM和CD-ROM 之类的记录介质中，以便供给。该程序可以通过诸如因特网之类的通信网络 提供。所供给的程序可以存储在回放设备1具有的硬盘驱动器或非易失存储 器(未示出)中，并且可以被加载到CPU并被CPU执行。
图8是示出根据本发明的实施方式的示例回放处理的流程图。图8中所
示的回放处理主要由回放设备1的控制部分18执行。当记录介质11装入盘
驱动器12,并且记录介质ll被盘驱动器12读取时，将显示来自记录介质11
的菜单的信息以及要在通过菜单指定的标题下进行播放的回放控制信息和回
放间隔指定信息加载到存储器(未示出)。控制部分18利用所读取的信息控 制记录在记录介质11中的流数据的回放。在这个示例中，当要播放的视频数 据的帧频是24Hz时，在视频转换部分15中，与回放处理并行地对视频数据 执行诸如3-2折叠处理之类的转换处理。
在步骤S1，当多个回放间隔指定信息被排列成顺序播放时，指示对应于 该回放间隔指定信息的音频处理单元的重叠量之和的重叠量和值 "audio—overlap—sum"为"0"。
在下一步S2，期望在当前音频处理单元之后处理的音频处理单元的PTS 值"expjts"被定义为指示值"expjts"无效的值"INVALID—PTS"。而且，指示 作为用于标识期望在当前正在播放的回放间隔指定信息之后处理的回放间隔 指定信息的标识信息的ID的值"expjts—item一id"，被定义为指示值 "exp_pts—item—id"无效的值"INVALIDJTEMJD"。
在步骤S3，当前音频处理单元的PTS值存储在值"aiu3ts"中。指示作为 用于标识当前正在播放的回放间隔指定信息的标识信息的ID的值被存储在 值"aujits—item—id，，中。
在步骤S4,确定期望下一次处理的音频处理单元的PTS值"expjts"是否 为值"INVALID—PTS"。如果该期望下一次处理的音频处理单元的PTS值 "expjts"被确定为除值"INVALID—PTS"之外的值，则处理移到步骤S5。如果 确定为值expjts"为值"INVALID一PTS"，则处理移到步骤S6。
在步骤S5，确定值"expjts—item—id"和值"aujits—item—id"是否相等。如 果确定为"exp_pts—item—id"和值"aiu)ts—item—id，，相等，则处理移到步骤S6。
在步骤S6，基于对当前音频处理单元和采样频率的编解码处理来计算当 前音频处理单元的回放间隔"audiojnterval"。在步骤7,基于
exp_pts=au_pts+audio—interval [公式1], 添加音频处理单元的回放间隔"audio—interval"到当前音频处理单元的PTS值 "au_pts"。然后，将结果存储在期望下一次处理的音频处理单元的PTS值 "expjts"中。而且，基于
exp_pts—item—id=au_pts—item—id [公式2],
将当前回放间隔指定信息的ID值"aiu tsjtem—id"存储在期望下一次处理的 回放间隔指定信息的ID值"expjts—item一id，，中。然后，在步骤S8，输出当前 音频处理单元，并将下一音频处理单元定义为当前音频处理单元。然后，处 理返回步骤S3。
另一方面，如果在步骤S5中确定为具有与期望的音频处理单元的对应的 回放间隔指定信息的ID值"expjtsjtemjd"不同于具有与当前音频处理单元 的对应的回放间隔指定信息的ID值"aujtsjtem一id"，则处理移到步骤S9。
在步骤S9,计算包括正在播放的回放间隔指定信息的末尾的音频处理单 元和包括期望下一次处理的回放间隔指定信息的开头的音频处理单元之间的 重叠量，并将重叠量进行合计。然后，如果加起来的重叠量等于或高于预定 值，则在此执行插入视频帧的回馈处理。然后，将处理返回步骤S2。将在下 面描述步骤S9的细节。
接下来将参考图9来描述音频处理和回馈处理单元的重叠量的相加。在 步骤Sll,指示由值"aujitsjtem—id"所指示的回放间隔指定信息中的IN点的 信息被存储在值"injime"中。指示由值"exjts—item—id"所指示的回放间隔指 定信息中的OUT点的信息被存储在值"out—time"中
在步骤S12,基于
item—diff=out—time-in—time [公式3]; 以及. exp=pts=exp_pts+item—diff pi^式4]， 将所期望的音频处理单元的PTS值转换成当前音频处理单元PTS的时间。 在步骤S13，基于
over—lap=exp_pts-au_pts [公式5]
来计算重叠的音频单元的重叠量"over一lap"。在步骤S14，基于
audio—overlap—sum=audio_overlap_sum+over—lap [公式6] 来计算作为重叠量"over—lap"的和值的重叠量禾W直(amount-of-overlap sum value ) "audio_overlap—sum"。然后，在步骤S15,将校正由相加产生的重叠量 和值"audio—overlap—sum"的校正量"feedback"定义到 一帧的时间。
在步骤S16，确定下一显示画面是否准备好。如果确定为下一显示画面 准备好了，则处理移至步骤S17。另一方面，如果确定为下一显示画面没有 准备好，则处理返回至步骤S16。重复步骤S16中的处理，直到下一显示画 面准备好为止。
在步骤S17,从^L频转换部分15获得在^L频转换部分15中执行的3-2 4斤叠处理的帧群内的帧凄t计凄t值(the number-of-frames count value ) "video—frame—cnt"。在步骤S18,确定帧数计数值"video—frame—cnt"的值是否 为"2"。如果确定为帧数计数值"video—fmme—cnt"的值为"2"，则处理移至步骤 S19。另一方面，如果确定为帧数计数值"video—frame—cnt"的值不是"2",则处 理返回步骤S16。在步骤S19,确定由相加产生的重叠量和值"audio—overlap—sum"是否高于 才交正量的<直"feedback"。如果确定为重叠量和值"audio—overlap—sum"高于冲交正 量的值"feedback",则处理移至步骤S20。另一方面，如果确定为重叠量和值 "audio—overlap—sum"等于或低于校正量的值"feedback"，则结束包括这一 系列 步骤的该处理，并且返回图8中的步骤S2。在步骤S20,将为"3"的帧数计数值"video—frame—cnt"通知给视频转换部 分15。换句话说，在视频转换部分15的3-2折叠处理中，由重复读取一幅画 面两次产生的部分被重复读取三次。因此，将一帧的画面插入两帧群。所以 视频数据的回放时间被延迟一帧，并且减少了视频数据和音频数据之间的差 值。在步骤S21，基于v_STC=v—STC隱feedback [公式7], 通过加法器20从由STC电路19供给视频转换部分15的同步基准时间STC 的值"v—STC，，中减去校正量"feedback"。在步骤S22,基于audio—overlap—sum=audio—overlap—sum-feedback [公式8] 从重叠量和值"audio一overlap—sum"中减去校正量"feedback"。由此校正重叠量 和值"audio—overlap—sum"。该处理计算包括由正在播放的回放间隔指定信息所指定的间隔的末尾的 音频处理单元与包括由期望下次处理的回放间隔指定信息所指定的间隔的开 头之间的重叠量"over—lap",并确定由所计算出来的重叠量的相加产生的和值 "audio一oveiiap一sum"是否等于或长于一帧。如果和值"audio一overlap—sum"等 于或长于一帧，则插入一帧。因此，可以减少要播放的视频数据和音频数据 之间的差值。而且，由于将一帧插入了^L频转换部分15中的3-2折叠处理中 的两帧群中，所以可以防止不自然的显示。接下来描述本发明的实施方式的变型示例。在本发明的该实施方式的该1 变型示例中，为了减少视频数据和音频数据之间的差值，使用第二方法，此 方法通过删除在包括由处置的回放间隔指定信息所指定的间隔的末尾的音频 处理单元与包括由下一回放间隔指定信息所指定的间隔的开头的音频处理单 元之间的一个音频处理单元，顺序播放音频数据。图IOA至圓IOD示出了在编辑回放控制信息来创建不同回放控制信息的 情况下用于流数据的特殊回放控制方法的示例。例如，如图10A所示，在音 频处理单元a至k与回放间隔指定信息弁l至#3之间建立对应，以顺序播放它 们。将描述编辑用于顺序回放音频数据的多个连续的回放间隔指定信息#1 、 #2和#3的回放控制信息来连接回放间隔指定信息#1和#3的情况。如图10B 所示，为了播放回放间隔指定信息#1,可能需要包括由回放间隔指定信息#1 所指定的间隔的开头和末尾的音频处理单元a至d。为了播放回放间隔指定信 息#3,可能需要包括由回放间隔指定信息#3所指定的间隔的开头和末尾的音 频处理单元h至k。因此，当将回放间隔指定信息#1和回放间隔指定信息#3连接起来以顺序 播放时，包括由回放间隔指定信息#1所指定的间隔的末尾的音频处理单元d 的一部分与包括由回放间隔指定信息#3所指定的间隔的开头的音频处理单元 h的一部分重叠，如图IOC所示。在本发明的实施方式的该变型示例的情况下，删除重叠的音频单元d和 h中的一个音频处理单元，如图10D所示。因此，通过删除重叠的两个音频 处理中的一个音频处理单元，在回放控制信息的回放结束位置和音频数据的 回放结束位置之间出现差值。特别地，已经描述了删除重叠的音频处理单元 d和h中的音频处理单元h的示例，但本发明不限于此。可以删除重叠的音 频处理单元d和h中的音频处理单元d。在本发明的实施方式的该变型示例中，如图IIA所示，如果差值的时间 长度等于或长于预定值，则间去(thin out)预定时间段的视频数据。因此， 可以減少回放控制信息和音频数据之间的差值。更具体地说，如果该差值的 程度等于或长于一个视频帧的时间长度，则间去一个视频帧，如图IIB所示。对除59.94p视频信号之外视频信号(诸如24p视频信号)执行参考上述 实施方式所描述的3-2折叠(或2-3折叠)处理。因此，24p视频信号可以被 转换为60p^L频信号。
在本发明的实施方式的该变型示例中，为了减少视频数据和音频数据之间的差值，对3-2折叠(或2-3折叠)处理中的三帧群执行间去一个视频帧的 处理。换句话说，当从两帧群中间去一帧时，该三帧群后跟着由从两帧群中间 去一帧产生的一帧，然后跟着一个三帧群。在这种情况下，在该三帧群的回 放之后，立即播放由从两帧群中间去一帧产生的一帧，然后播放一个三帧群。 因此，经历帧间去的群与该群之前和之后没有间去的群之间在帧数上的差值 等于或高于2，其导致不自然的显示。因此，为了对经历3-2折叠处理的视频信号执行帧间去，从三帧群中间 去一帧，如图12A所示。因此，如图12B所示，经历间去一帧的群与该群之 前和之后没有帧间去的群之间在帧数上的差值等于或高于两帧，其可以防止 不自然的显示。这样，在本发明的该实施方式和本发明的实施方式的该变型示例中，当 视频数据和音频数据之间出现差值时，如果该差值等于或大于预定量或从预 定位置间去了视频帧，则在预定位置处插入视频帧。因此，可以减少视频数 据和音频数据之间的差值，这可以防止视频圓像和声音的不自然定时。已经描述了本发明的实施方式和该实施方式的变型，但本发明不限于该 实施方式和该实施方式的变型。在不脱离本发明的范围和精神的情况下，可 以进行各种各样的改变和应用。本领域技术人员应该理解，在所附权利要求或其等效物的范围内，可以 依赖于设计要求和其他因素出现各种修改、组合、次组合(sub-combinations ) 和变更。
权利要求
1.一种播放视频数据和与该视频数据关联的音频数据的回放方法，该方法包括步骤在视频数据中，计算由基于处理该视频数据的第一处理单元指定回放间隔的回放间隔指定信息所指定的回放间隔，与作为有与该第一处理单元的长度不同的长度的第二处理单元的集合的、对应于该回放间隔指定信息的音频数据的间隔之间的差值；执行根据该差值转换由该回放间隔指定信息指定的该回放间隔的长度的第一转换；以及执行交替地在该视频数据上重复输出每一帧三次和重复输出每一帧两次，并且将在该第一帧频下的视频数据转换成在与该第一帧频成2-5关系的第二帧频下的视频数据的第二转换，其中，该第一转换被配置成使得该转换之后的帧差值可等于低于在基于重复输出三次的帧的帧群，与在基于重复输出三次的帧的帧群之后的、基于重复输出两次的帧的帧群之间的差值。
2. 如权利要求l的回放方法，其中，该第一转换将一帧插入基于重复输 出两次的该帧的该帧群。
3. 如权利要求2的回放方法，其中，该用于回放该视频信号的基准信号 被延迟一帧的时间。
4. 如权利要求l的回放方法，其中，该第一转换从基于重复输出三次的 该帧的该帧群中删除一帧。
5. 如权利要求4的回放方法，其中，该用于回放该视频信号的基准信号 -陂超前一帧的时间。
6. —种使计算机实现播放:规频数据和与该视频数据关联的音频数据的回 放方法的回放程序，该方法包括步骤在视频数据中，计算由基于处理该视频数据的第一处理单元指定回放间 隔的回放间隔指定信息所指定的回放间隔，与作为有与该第一处理单元的长 度不同的长度的第二处理单元的集合的、对应于该回放间隔指定信息的音频 数据的间隔之间的差值；执行根据该差值转换由该回放间隔指定信息指定的该回放间隔的长度的第一转换；以及执行交替地在该视频数据上重复输出每一帧三次和重复输出每一帧两次，并且将在第一帧频下的视频数据转换成在与该第一帧频成2-5关系的第 二帧频下的视频数据的第二转换，其中，该第一转换被配置成使得该转换后的帧差值可等于低于在基于重 复输出三次的帧的帧群，与在基于重复输出三次的该帧的该帧群之后的、基 于重复输出两次的帧的帧群之间的差值。
7. —种播放视频数据和与该视频数据相关联的音频数据的回放设备，该 设备包括控制部分，其在该视频数据中，计算由基于处理该视频数据的第一处理 单元指定回放间隔的回放间隔指定信息所指定的回放间隔，与作为有与该第 一处理单元的长度不同的长度的第二处理单元的集合的、对应于该回放间隔 指定信息的音频数据的间隔之间的差值；第一转换部分，其根据该差值转换由该回放间隔指定信息指定的该回放间隔的长度；以及第二转换部分，其交替地在该^L频数据中重复输出每一帧三次和重复输出每一帧两次，并且将在第一帧频下的视频数据转换成在与该第一帧频成2-5 关系的第二帧频下的视频数据，其中，该第一转换部分被配置成使得转换后的帧差值可等于低于在基于 重复输出三次的帧的帧群，与在基于重复输出三次的该帧的该帧群之后的、 基于重复输出两次的帧的帧群之间的差值。
全文摘要
播放视频数据和与该视频数据关联的音频数据的回放方法包括步骤在视频数据中，计算回放间隔与音频数据的间隔之间的差值；执行根据该差值转换由该回放间隔的长度的第一转换；以及执行交替地在该视频数据上重复输出每一帧三次和重复输出每一帧两次，并且将在该第一帧频下的视频数据转换成在与该第一帧频成2-5关系的第二帧频下的视频数据的第二转换，其中，该第一转换被配置成使得该转换之后的帧差值可以等于低于在基于重复输出三次的帧的帧群，与基于重复输出两次的帧的帧群之间的差值。
文档编号H04N9/804GK101150740SQ200710152818
公开日2008年3月26日 申请日期2007年9月18日 优先权日2006年9月21日
发明者水野公嘉 申请人:索尼株式会社