技术领域
本发明涉及一种构造为接收并再现广播节目的接收设备。具体地讲，本发明涉及一种构造为从网络中的服务器获得与广播节目对应的字幕数据并与广播节目同步地显示字幕数据的接收设备。另外，本发明涉及一种由该接收设备执行的字幕处理方法。
背景技术：
通常，广播并传输与广播的图像对应的字幕。然而，在例如提供多语言字幕的情况下，从效率的角度，希望经互联网而非通过广播提供字幕。
WebVTT(视频文本轨道)标准正被广泛地用作用于经互联网传送字幕的格式。WebVTT基于这样的前提：字幕由浏览器显示。
常规地，公开了下面的技术以再现与节目对应的字幕，从而节目的字幕和图像或声音不会不重合。例如，在录制节目的情况下，以下面的方式产生字幕信息表。也就是说，字幕中的一个句子被视为一行，顺序地分配行号，自从录制开始过去的时间与行号关联，并且节目的节目类型代码也与行号关联。在再现的情况下，基于节目类型代码确定节目类型。针对每个类型设置延迟的量。从过去的时间减去延迟的量。在通过减法获得的时间开始图像和声音的再现(参见例如日本专利申请公开No.2008-172421)。
根据日本专利申请公开No.2008-172421，假设字幕的基本流和节目的传输流被复用并传输。同时，根据本技术，经互联网传送字幕，接收字幕，并与广播节目同步地显示字幕。也就是说，日本专利申请公开No.2008-172421的技术的前提不同于本技术的前提。
技术实现要素：
在广播节目和经互联网传送的字幕被彼此同步地显示的情况下，具体地讲，如果广播节目是所谓的直播节目(诸如，体育直播节目或新闻节目)，则在操作中，经互联网传送的字幕可在广播之后被传送。因此，在这种前提下，问题在于，接收设备如何使字幕和广播节目彼此同步地显示。
考虑到上述情况，希望提供一种能够使经互联网传送的字幕和广播节目彼此同步地显示的接收设备和字幕处理方法。
根据本发明的实施例，提供了一种接收设备，包括：节目接收部分，构造为接收广播节目数据；节目再现部分，构造为再现接收的节目数据；时钟，用作计时器；字幕数据获得部分，构造为经网络获得字幕数据，字幕数据对应于节目数据，显示字幕数据的时间被预先指定；和再现时间移位部分，构造为在显示获得的字幕数据的时间迟于时钟的时间的情况下，把由节目再现部分再现节目数据的时间延迟至少显示字幕数据的时间和时钟的时间之间的时滞。
再现时间移位部分可构造为把由节目再现部分再现节目数据的时间延迟偏移时间，通过把预定裕度与显示字幕数据的时间和时钟的时间之间的时滞相加获得该偏移时间。
接收设备可还包括：字幕再现部分，构造为利用通过把偏移时间与预先为获得的字幕数据指定的显示时间相加获得的时间来更新该显示时间，以及在更新的显示时间显示字幕数据。
具体地讲，再现时间移位部分可构造为把偏移时间转换成90KHz计数器值，通过把预定裕度与显示字幕数据的时间和时钟的时间之间的时滞相加获得该偏移时间，以及延迟系统时钟STC。
再现时间移位部分可构造为随着节目数据和字幕数据之一的结束而使STC恢复为原始值。
再现时间移位部分可包括：STC调整部分，构造为计算偏移时间；和STC创建部分，构造为参照节目时钟基准PCR创建STC，PCR被插入在广播节目数据中并被发送，以及利用从STC调整部分给出的偏移时间更新STC。
根据本技术的实施例，提供了一种字幕处理方法，包括：接收广播节目数据；由字幕数据获得部分经网络获得字幕数据，字幕数据对应于节目数据，显示字幕数据的时间被预先指定；以及由再现时间移位部分在显示获得的字幕数据的时间迟于时钟的时间的情况下把再现节目数据的时间延迟至少显示字幕数据的时间和时钟的时间之间的时滞。
如上所述，根据本技术，可使经互联网传送的字幕和广播节目彼此同步地显示。
根据下面对如附图中所示的本发明的具体实施方式的详细描述，本发明的这些和其它目的、特征和优点将会变得更加清楚。
附图说明
图1是显示构造为从网络中的服务器获得与广播节目对应的字幕数据并与广播节目同步地显示字幕的系统的示图；
图2是显示支持直播广播的字幕发送系统的示图；
图3是显示本技术的实施例的接收设备如何使广播节目和字幕同步的时序图；
图4是显示这个实施例的接收设备的结构的框图；
图5是显示结合广播构造应用的HTML5文档的描述的例子的示图；
图6是显示用于打开/关闭字幕的显示的用户界面和字幕的显示例子的示图；
图7是显示字幕文件的结构的示图；和
图8是显示如何从用于启动字幕显示的指令的产生到字幕数据的结束对视频流解码的时序图。
具体实施方式
以下，将参照附图描述本发明的实施例。
在当前地面数字电视广播中，复用字幕、图像和声音，并且发送获得的传输流。在存在经广播发送的字幕的有限数量的语言的情况下，可采用下面的系统。也就是说，各种语言的字幕数据的文件被存储在互联网中的服务器中。接收设备获得该文件。接收设备使字幕与广播节目同步地显示。
图1是显示这种系统的结构的示图。
AV产生系统20事先录制节目数据。广播站10把节目数据存储在AV存储器11中。AV编码器12对存储在AV存储器11中的节目数据编码。广播发送单元13经广播介质1发送编码的节目数据。同时，由AV产生系统20产生的用于广播的节目数据还被提供给字幕产生系统30。字幕产生系统30产生节目的字幕数据。字幕产生系统30把产生的字幕数据提供给字幕传送服务器40。字幕传送服务器40响应于来自接收设备50的请求经网络2(诸如，互联网)传送合适的广播节目的字幕数据。时间信息被添加到字幕数据。时间信息用于同步字幕和广播节目。时间信息是指定字幕显示时间的信息(以下，称为“指定显示时间”)。
接收设备50接收由用户选择的广播节目。接收设备50再现接收的广播节目。在这种情况下，接收设备50从字幕传送服务器40下载与选择的广播节目对应的字幕文件。字幕文件的尺寸相对较小。因此，下载字幕文件花费较短的时间。需要注意的是，接收设备50不仅可在选择节目时下载字幕文件，还可在其它时刻下载字幕文件。例如，接收设备50可紧接在接收设备50通电并启动之后、在空闲时间期间等从字幕传送服务器40下载各频道的字幕数据的文件，并存储下载的文件。然后，接收设备50基于字幕数据的指定显示时间确定显示字幕的时刻。
在上述方法中，接收设备50从字幕传送服务器40获得预先录制的节目的字幕文件。根据这种方法，接收设备能够在短时间内获得整个字幕文件。因此，显示的字幕几乎不可能迟于节目。
然而，在直播广播节目的情况下，节目被广播，并且同时产生字幕数据。因此，不可避免地，接收设备在广播了节目中的对应部分之后获得并显示字幕数据。
图2是显示支持上述直播广播的字幕发送系统的示图。
广播站10A获得从电影摄制系统(未示出)获得的直播AV源11A。AV编码器12实时地对直播AV源11A编码。广播发送单元13经广播介质1发送节目数据。字幕产生/传送系统30A接收并再现广播直播节目。在字幕产生/传送系统30A再现直播节目的同时，字幕产生/传送系统30A产生字幕数据。字幕产生/传送系统30A经互联网2把产生的字幕数据传送到接收设备50。根据这种方案，在比字幕本身应该被显示的时间晚至少字幕产生/传送系统30A的处理时间的时刻发送字幕。因此，接收设备50难以使字幕与广播节目同步地显示。
图3是显示根据本技术的这个实施例的接收设备如何使广播节目和字幕同步的时序图。
接收设备的时钟的时间(当前时间)位于字幕的指定显示时间之后。在这种情况下，这个实施例的接收设备至少根据字幕的指定显示时间和当前时间之间的时滞的量在以后再现广播节目。结果，接收设备使广播节目和字幕同步。
更具体地讲，接收设备通过使用下面的方程计算广播节目的再现被延迟的时间段。
1.在接收设备开始获得字幕时，接收设备执行下面关于第一字幕数据的计算。
Ta(毫秒)指示字幕的指定显示时间。Tr(毫秒)指示接收设备的时钟的时间(基于TOT(时间偏移表)的时间，TOT被复用并经广播发送)。首先，接收设备通过使用下面的方程计算偏移时间(Toffset)(毫秒)。
Tr-Ta+Tm=Toffset...(1)
其中Tm(毫秒)指示包括零的预定裕度时间。
2.接收设备通过使用下面的方程利用偏移时间(Toffset)更新STC(系统时钟)。
STC-Toffset×90=STC'...(2)
Toffset乘以90以便把Toffset(毫秒)映射到与STC相同的90KHz的计数器值。
3.接收设备通过使用下面的方程利用STC’的时间轴上的时间Ta’更新字幕的指定显示时间Ta。
Ta+Toffset=Ta'...(3)
4.接收设备在图像PES包的PES值等于STC’时对经广播接收的图像流信号解码并显示。同时，接收设备在基于TOT的接收设备的时钟的时间是Ta’时通过浏览器显示字幕数据。
基于上述处理，接收设备能够使广播节目和字幕同步，并再现它们。
[接收设备的结构]
接下来，将描述这个实施例的接收设备的结构。
图4是显示这个实施例的接收设备50的结构的框图。
调谐器151接收预定频道的数字广播信号。调谐器151基于数字广播信号创建传输流(TS)。调谐器151把创建的传输流发送给DeMUX152。需要注意的是，调谐器151对应于节目接收部分。
DeMUX152对传输流解复用以由此获得视频流、音频流、SI(服务信息)等。
视频缓冲器153缓冲从DeMUX152获得的视频流。
视频解码器154从保存在视频缓冲器153中的数据提取需要的数据。视频解码器154对视频信号解码。
音频缓冲器155缓冲从DeMUX152获得的音频流。
音频解码器156从保存在音频缓冲器155中的数据提取需要的数据。音频解码器156对音频信号解码。
需要注意的是，视频解码器154和音频解码器156对应于节目再现部分。
字幕数据获得部分157经网络(诸如，互联网)从字幕传送服务器40(图1)或字幕产生/传送系统30A(图2)获得字幕数据。
主控制器160包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等。ROM是固定存储器，并存储数据和由CPU执行的程序。存储在ROM中的程序被加载到RAM中。CPU执行加载的程序。
加载到RAM中的程序使主控制器160用作时钟161、STC创建部分162、STC调整部分164、字幕数据缓冲器165和字幕再现部分166。需要注意的是，STC创建部分162和STC调整部分164对应于再现时间移位部分。
时钟161参照从DeMUX152获得的SI中的TOT(时间偏移表)调整时间(小时/分/秒)。
STC创建部分162参照从DeMUX152获得的SI中的PCR(节目时钟基准)创建27MHz的STC(系统时钟)。STC创建部分162把STC提供给视频解码器154、音频解码器156等。
STC调整部分164基于获得的字幕数据中的指定显示时间并且基于时钟161的时间计算上述偏移时间(Toffset)。STC调整部分164把计算的偏移时间(Toffset)提供给STC创建部分162和字幕再现部分166。
STC创建部分162参照偏移时间(Toffset)利用STC’更新STC。STC创建部分162把STC’提供给视频解码器154、音频解码器156等。在视频流中的时间戳(PTS：呈现时间戳)与STC’一致的情况下，视频解码器154对视频信号解码。视频解码器154把解码的视频信号输出到显示单元。类似地，在音频流中的时间戳与STC’一致的情况下，音频解码器156对音频信号解码。音频解码器156把解码的音频信号输出到扬声器单元。
字幕数据缓冲器165缓冲获得的字幕数据。
字幕再现部分166包括HTML浏览器167、字幕显示插件168等。HTML浏览器167解释例如HTML(超文本标记语言)文档，并创建显示数据。字幕显示插件168是用于扩展的程序。也就是说，字幕显示插件168把解释并显示字幕数据的功能添加到HTML浏览器167。字幕再现部分166的字幕显示插件168把由STC调整部分164提供的偏移时间(Toffset)与字幕的指定显示时间Ta相加。结果，字幕再现部分166利用更新的STC’的时间轴上的指定显示时间Ta’更新字幕的指定显示时间Ta。然后，当更新的指定显示时间Ta’与时钟161的当前时间Tr一致时，字幕再现部分166创建字幕显示数据。字幕再现部分166把创建的字幕显示数据输出到叠加部分158。
叠加部分158把从字幕再现部分166获得的字幕显示数据叠加在从视频解码器154获得的视频信号上。叠加部分158把叠加的数据输出到例如外部显示单元或接收设备50的内置显示单元。
[如何显示广播节目和字幕]
接下来，将描述这个实施例的接收设备50如何显示广播节目和字幕。
接收设备50的HTML浏览器167从互联网中的服务器获得HTML文档。HTML文档的例子包括结合广播构造应用的HTML5。
HTML浏览器167基于HTML文档的描述以全屏幕或者以小屏幕在显示器上显示广播图像。
图5是显示结合广播构造应用的HTML5文档的描述的例子的示图。图5的HTML5文档的描述涉及如何显示字幕。
HTML文档60描述信息61、62、63等。信息61是关于用于打开/关闭字幕的显示的按钮的显示的信息。信息62识别WebVTT(视频文本轨道)等格式的字幕文件和与其对应的节目。信息63是关于响应于对按钮的操作的行为的信息。
图6是显示用于打开/关闭字幕的显示的用户界面和字幕的显示例子的示图。
HTML浏览器167基于在HTML文档中描述的信息61把用于打开/关闭字幕的显示的按钮71、72叠加在广播节目的图像70上，由此显示叠加的图像。用户操作按钮71以由此指定“打开”字幕的显示。然后，HTML浏览器167基于在HTML文档中描述的信息63启动字幕显示插件168。字幕显示插件168基于在HTML文档中描述的信息63使主控制器160从字幕传送服务器40获得字幕数据(字幕文件)。其后，字幕显示插件168使主控制器160在获得的字幕数据中指定的时间(指定显示时间)显示与图像对应的字幕73。
图7是显示字幕文件的结构的示图。
字幕文件80以时序方式描述几条字幕数据83。每个字幕数据83包括一对指定显示时间81和字幕数据主体82。指定显示时间81保存字幕显示开始时间的值和字幕显示结束时间的值。例如，指定显示时间81是由字幕产生系统30基于插入在广播节目的传输流中的TOT(时间偏移表)产生的时间。
接收设备50的主控制器160维持在接收设备50和字幕传送服务器40之间建立的用于传输字幕文件的会话，直至传输全部的访问的字幕数据(字幕文件)。也就是说，在从字幕传送服务器40传输字幕文件的情况下，具体地讲，如果节目是直播节目，则随着时间过去，由字幕产生/传送系统30A连续地产生并传输字幕数据。接收设备50获得传输的字幕数据，并把新获得的字幕数据记录在已经获得的文件中。接收设备50重复这种处理，直至接收设备50接收到EOF(文件结束)。
[如何使广播节目和字幕同步]
接下来，将描述在字幕数据的传输迟于广播节目的发送的情况下接收设备50如何使字幕和广播节目彼此同步地再现。
字幕数据获得部分157获得字幕数据，并把获得的字幕数据提供给主控制器160。在主控制器160中，字幕数据缓冲器165缓冲获得的字幕数据，并且字幕数据获得部分157把字幕数据提供给STC调整部分164。
STC调整部分164提取在字幕文件的末尾发送的字幕数据的指定显示时间。STC调整部分164比较该指定显示时间与时钟161的时间(当前时间)。需要注意的是，用于这里的比较的指定显示时间是例如显示开始时间。替代地，用于比较的指定显示时间可以是显示结束时间或者显示开始时间和显示结束时间之间的时间。
STC调整部分164根据方程(1)基于字幕数据的指定显示时间和时钟161的时间计算偏移时间(Toffset)。
在指定显示时间未迟于时钟161的时间(当前时间)的情况下，偏移时间(Toffset)是零。在这种情况下，STC调整部分164把偏移时间(Toffset)“零”提供给STC创建部分162和字幕显示插件168。替代地，STC调整部分164不把偏移时间(Toffset)提供给STC创建部分162和字幕显示插件168。结果，STC创建部分162不改变STC(系统时钟)。另外，字幕显示插件168不更新字幕的指定显示时间。
图3显示指定显示时间Ta迟于时钟161的时间(当前时间)的例子。在这种情况下，STC调整部分164把偏移时间(Toffset)(正值)提供给STC创建部分162和字幕显示插件168。在这种情况下，STC创建部分162从STC(系统时钟)减去偏移时间(Toffset)以由此获得STC’。利用STC’更新STC。
结果，视频解码器154和音频解码器156其后基于STC’对数据解码。也就是说，在基于STC的原始时间之后根据偏移时间(Toffset)的量再现广播节目。偏移时间(Toffset)的量等于STC和STC’之间的时滞的量。
同时，字幕再现部分166把由STC调整部分164提供的偏移时间(Toffset)与从字幕数据提取的指定显示时间Ta相加。字幕再现部分166利用与STC’的时间轴一致的时间Ta’更新指定显示时间。其后，字幕再现部分166类似地更新其它字幕数据的指定显示时间。
结果，可使广播节目和字幕彼此同步地再现。也就是说，字幕的指定显示时间和接收设备的时钟的时间之间的差异对应于例如由字幕产生/传送系统30A创建并传送一条字幕数据的时间。考虑到这一点，把裕度时间Tm与该差别时间相加以由此计算偏移时间(Toffset)。具体地讲，裕度时间Tm涉及用于创建一条字幕数据的时间的变化。接收设备在原始时间之后根据偏移时间(Toffset)对视频流和音频流解码。结果，可在广播节目的全部时间上使广播节目和字幕彼此同步地再现。
需要注意的是，STC’在基于该STC’解码的广播节目结束的同时恢复为原始STC。替代地，STC’可随着字幕数据的结束而恢复为STC。
图8是显示如何从用于启动字幕显示的指令的产生到字幕数据的结束对视频流解码的时序图。图8显示STC’随着字幕数据的结束而恢复为STC的例子。
接收设备50利用STC’更新STC。结果，开始对视频流解码的时间(T1)被替换为T1’。从T1到T1’在冻结状态下显示图像。然后，在时间T1’重新开始视频流的解码。其后，在时间仍然被替换的同时对视频流解码，直至字幕数据结束。在字幕数据结束之后，STC’恢复为STC。接收设备50跳至其时间戳(PTS)与STC一致的访问单元，并对该访问单元解码。
<修改例子1>
在上述实施例中，利用时间Ta’更新字幕的指定显示时间Ta。通过把偏移时间(Toffset)与Ta相加来获得Ta’。结果，Ta’对应于更新的STC’时间轴。然而，在例如裕度时间Tm不是大的值并且因此未相对于字幕替换场景的情况下，可不更新字幕的指定显示时间Ta。也就是说，根据本技术，并不总是需要利用偏移时间(Toffset)更新字幕的指定显示时间Ta。
<修改例子2>
在参照偏移时间利用STC’更新STC之后，可比较由STC调整部分164更新的字幕数据的指定显示时间Ta’与时钟161的时间(当前时间)。因此可计算偏移时间(Toffset)。如果更新的指定显示时间Ta’迟于时钟161的时间(当前时间)，则STC调整部分164再次获得偏移时间(Toffset)(正值)。另外，STC创建部分162用STC’减去偏移时间(Toffset)以由此再次获得新的更新的值STC”。其后，执行类似的STC更新处理，直至发送的字幕数据结束。
需要注意的是，本技术可采用下面的结构。
(1)一种接收设备，包括：
节目接收部分，构造为接收广播节目数据；
节目再现部分，构造为再现接收的节目数据；
时钟，用作计时器；
字幕数据获得部分，构造为经网络获得字幕数据，字幕数据对应于节目数据，显示字幕数据的时间被预先指定；和
再现时间移位部分，构造为在显示获得的字幕数据的时间迟于时钟的时间的情况下，把由节目再现部分再现节目数据的时间延迟至少显示字幕数据的时间和时钟的时间之间的时滞。
(2)如(1)所述的接收设备，其中
所述再现时间移位部分构造为把由节目再现部分再现节目数据的时间延迟偏移时间，通过把预定裕度与显示字幕数据的时间和时钟的时间之间的时滞相加获得该偏移时间。
(3)如(1)或(2)所述的接收设备，还包括：
字幕再现部分，构造为
利用通过把偏移时间与预先为获得的字幕数据指定的显示时间相加获得的时间来更新该显示时间，以及
在更新的显示时间显示字幕数据。
(4)如(1)至(3)中任何一项所述的接收设备，其中
所述再现时间移位部分构造为
把偏移时间转换成90KHz计数器值，通过把预定裕度与显示字幕数据的时间和时钟的时间之间的时滞相加获得该偏移时间，以及
延迟系统时钟STC。
(5)如(1)至(4)中任何一项所述的接收设备，其中
所述再现时间移位部分构造为随着节目数据和字幕数据之一的结束而使STC恢复为原始值。
(6)如(1)至(5)中任何一项所述的接收设备，其中
所述再现时间移位部分包括
STC调整部分，构造为计算偏移时间；和
STC创建部分，构造为
参照节目时钟基准PCR创建STC，PCR被插入在广播节目数据中并被发送，以及
利用从STC调整部分给出的偏移时间更新STC。
本发明包含与2012年2月17日提交给日本专利局的日本优先权专利申请JP2012-033007中公开的主题相关的主题，该专利申请的全部内容通过引用包含于此。
本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。