专利名称：动图像再现装置、信息处理装置及动图像再现方法
技术领域：
本发明涉及数据处理技术，特别涉及再现动图像的技术。
背景技术：
近年，提出了网页服务器发送将动图像用多种影像比特率编码后的多种编码数据(以下称作“视频流”)，网页客户端动态切换视频流的种类地再现动图像的流(streaming)技术。该技术也被称作“自适应流(adaptive streaming)”，以下,在本说明书中也这样称呼。发明内容
〔发明所要解决的课题〕
本发明人认识到在自适应流中，与不同的比特率对应的多种视频流未必被相互整合地编码，结果，有时在网页客户端中切换再现对象视频流的种类时，动图像的显示会紊舌L。
本发明是鉴于这样的课题而研发的，其主要目的在于提供一种用于抑制自适应流中切换再现对象视频流的种类时的动图像显示的紊乱的技术。
〔用于解决课题的手段〕
为解决上述课题，本发明的一个方案的动图像再现装置包括:取得部，从并行地配送将动图像以多种比特率编码的多种视频流、并按包含构成动图像的多个图片的数据块单位配送各视频流的服务器中取得与其中一个比特率对应的视频流的数据块；取得控制部，将定为取得对象的视频流的种类指示给取得部；再现部，作为视频流的再现处理，使取得的数据块中所包含的图片解码并显示；以及再现控制部，对再现部指示开始进行再现处理。在与第I比特率对应的第I视频流的再现处理过程中，将再现对象切换为与第2比特率对应的第2视频流时，再现部针对正再现处理的第I视频流的数据块继续进行其再现处理，取得控制部指示取得部取得第2视频流来取代第I视频流，在第2视频流的数据块所包含的图片与正再现处理的第I视频流的数据块所包含的图片重复的情况下，再现控制部指示再现部在对第2视频流的数据块进行的再现处理中，使该重复的图片成为非显示。
本发明的另一方案是信息处理装置。该装置包括:主处理器，统括地控制装置整体；以及图形处理器，进行图像处理运算。主处理器从并行地配送将动图像以多种比特率编码的多种视频流、并按包含构成动图像的多个图片的数据块单位配送各视频流的服务器中取得与其中一个比特率对应的视频流的数据块，对图形处理器指示开始进行其再现处理；作为视频流的再现处理，图形处理器执行使取得的数据块中所包含的图片解码并显示的处理；在与第I比特率对应的第I视频流的再现处理过程中，将再现对象切换为与第2比特率对应的第2视频流时，图形处理器针对正再现处理的第I视频流的数据块继续进行其再现处理，主处理器取得上述第2视频流来取代第I视频流，在第2视频流的数据块所包含的图片与正再现处理的第I视频流的数据块所包含的图片重复的情况下，指示图形处理器在对第2视频流的数据块进行的再现处理中，使该重复的图片成为非显示。本发明的另一方案是动图像再现方法。该方法包括:从并行地配送将动图像以多种比特率编码的多种视频流、并按包含构成动图像的多个图片的数据块单位配送各视频流的服务器中取得与第I比特率对应的第I视频流的数据块的步骤；作为第I视频流的再现处理，使其数据块中所包含的图片解码并显示的步骤；在第I视频流的再现处理过程中，将再现对象切换为与第2比特率对应的第2视频流时，取得第2视频流的数据块的步骤；执行第2视频流的再现处理，当其数据块所包含的图片与正再现处理的第I视频流的数据块所包含的图片重复的情况下，使该重复的图片非显示的步骤。此外，将以上构成要素的任意组合、本发明的表现形式在装置、方法、系统、程序、存储有程序的记录介质等间变换后的实施方式，作为本发明的方案也是有效的。〔发明效果〕通过本发明，能够减少在自适应流中切换再现对象视频流的种类时的动图像显示的紊乱。
图1的(a)是表示同步(sync)样本的PTS相一致的例子的图。图1的(b)是表示同步样本的PTS不相一致的例子的图。图2是表示实施方式的动图像配送系统的结构的图。图3是表示图2的台式再现装置的内部电路的概略结构的图。图4是表示图2的便携式再现装置的外观的图。图5是表示图2的便携式再现装置的内部电路的概略结构的图。图6是表示动图像再现装置的功能结构的功能块图。图7是表示动图像再现装置的动作的流程图。图8是示意性地表示切换再现对象视频流的比特率时的处理过程和用户画面中的显示内容的图。
具体实施例方式在说明实施方式的结构之前，首先说明概要。在自适应流中，作为再现对象的视频流被在对应于互不相同的比特率的视频流间切换。在此情况下，为抑制动图像显示的紊乱地顺利地进行切换，需要同步样本的时间位置(PTS:Presentation Time Stamp:显示时间标签)全部一致。同步样本是在从该样本开始解码时，以后的所有样本都能够正确解码的样本(图片:picture),相当于AVC (AdvancedVideo Coding:高级视频编码)中的IDR图片。PTS表示在动图像整体中使图片显示的时间位置、即图片在动图像内的显示时刻。图1的(a)表示同步样本的PTS相一致的例子。该图的上方表示了被按比特率X (例如8Mbps)编码了的视频流，该视频流被按包含构成动图像的多个图片的组(以下称作
“数据块(chunk)”)单位来发送。即，按数据块X — 1、数据块X — 2........数据块X — 5
这样的顺序依次发送。该图的下方表示了被按比特率Y (例如4Mbps)编码了的视频流，该视频流也被按数据块单位来发送。即，按数据块Y — 1、数据块Y — 2........数据块Y —5这样的顺序依次发送。此外，为使说明简明，假定本实施方式的视频流(的数据块)所包含的多个图片都已按显示顺序排列，且各个图片都被附有PTS。此外，假定数据块的开头图片为同步样本(例如AVC的IDR图片)。如图1的(a)那样，在不同比特率的视频流间，同步样本的PTS相一致时，假设在正再现数据块X — 2时将再现对象视频流的种类切换为比特率Y 了。在该图中，数据块X —3的同步样本的位置(PTS = 190K)与数据块Y — 3的同步样本的位置(PTS = 190K)—致。因此，在数据块X — 2中最后所显示的图片与在数据块Y — 3中最初所显示的图片是连续的。因此，若在数据块X — 2的显示结束后直接显示数据块Y — 3，则动图像在视频流的切换过程中被顺畅地显示。即，重复的图像不会被反复显示，且也不会有一部分图像不被显示的情况。但是，现状是在比特率不同的视频流间，同步样本的PTS未必一致。图1的(b)表示同步样本的PTS不相一致的例子。假定在该图中，在数据块X — 2的再现过程中将再现对象视频流的种类切换为比特率Y 了。在该图中，相对于数据块X — 3的同步样本的位置(PTS = 190K)，数据块Y — 3的同步样本的位置(PTS = 160K)和数据块Y — 4的同步样本的位置(PTS = 310K)都不一致。在这样的情况下，以前只能选择从数据块Y — 3的开头起进行再现或从数据块Y — 4的开头起进行再现。在前者的情况下，PTS = 160K 190K的图像会被重复显示，在后者的情况下，PTS = 190K 310K的图像不会被显示。因此，在本实施方式中，提出一种动图像再现技术，在再现比特率X的视频流中的数据块(例如数据块X — 2)的过程中、再现对象被切换到了比特率Y的视频流的情况下，使比特率Y的视频流中的数据块(例如数据块Y — 3)所包含的图片中的、与因X - 2的再现而被显示的图片重复的图片(例如PTS= 160K 190K的图片)不显示。由此，即使在比特率不同的视频流间同步样本的PTS不一致，也能避免在切换视频流的种类时重复的图像被反复显示或本来应被显示的图像不被显示的情况。图2表示实施方式的动图像配送系统的结构。动图像配送系统100包括动图像配送服务器10、被总称为动图像再现装置12的台式再现装置12a和便携式再现装置12b。动图像再现装置12介由LAN、WAN、因特网等公知的通信网14与动图像配送服务器10连接。动图像配送服务器10是保持将动图像按多种比特率编码了的多种编码数据的服务器。在本实施方式中，假设它是网页服务器。例如保持分别与256Kbps、512Kbps、1Mbps、4Mbps,8Mbps的比特率对应的编码数据。动图像配送服务器10将多种编码数据作为视频流并行地配送给动图像再现装置12。在各视频流的配送中，按在各视频流中预先规定的数据块单位来发送数据。此外，动图像的编码可以适用公知的动图像压缩编码技术，例如，可以适用 MPEG (Moving Picture Experts Group:动图像专家组)、H.264/AVC。动图像再现装置12是安装有网页浏览器的信息处理装置，介由其网页浏览器访问动图像配送服务器10，请求其配送视频流。然后，根据自身的装置环境的变化，动态地切换成为取得及再现的对象的视频流的种类，并取得及再现适合当前的装置环境的比特率的视频流，来显示动图像。此外，台式再现装置12a可以是台式游戏机，也可以是一般的PC。便携式再现装置12b可以是便携式游戏机，也可以是移动电话终端、便携信息终端、智能手机。
图3是表示图2的台式再现装置12a的内部电路的概略结构的功能块电路图。该图主要表示了将台式再现装置12a设想为台式游戏机时的结构。台式再现装置12a的基本构成包括 CPU (Central Processor Unit:中央处理单兀)102、GPU (Graphics ProcessorUnit:图形处理单元)104、主存储器106、内置存储器108、光盘再现处理器110、电源控制电路112、以及LAN模块114。CPU102是作为统括地控制台式再现装置12a整体的通用处理器的主处理器，基于游戏、电子邮件、网页浏览器用的应用程序等各种程序来控制信号处理、内部结构要素。GPU104是作为被设计为高效地执行图像处理运算的专用处理器的图形处理器，执行台式再现装置12a中的图像处理。光盘再现处理器110再现未图示的光盘再现部中所被插入的记录有应用程序、多媒体数据的BD (Blu-ray Disc ;商标)、DVD、⑶等光盘。主存储器106作为CPU102的工作区及暂时存储从光盘中读出的数据的缓存器来发挥作用。LAN模块114具备作为无线LAN模块的功能和作为有线LAN模块的功能，在台式再现装置12a与其外部装置之间进行数据的收发。例如，作为无线LAN模块，与移动电话200、接入点900通信，此外，作为有线LAN模块，与第二层交换机(layer 2 switch) 800通信。此外，台式再现装置12a还包括USB端口 116、近距无线通信端口 118、存储卡卡槽120、以及视频输出端口 122。USB端口 116用于与外接硬盘等周边设备124连接。近距无线通信端口 118除与周边设备124无线连接外，还与台式再现装置12a的控制器126连接。此外，控制器126还能够与USB端口 116连接。存储卡卡槽120与可插拔于台式再现装置12a的存储卡128交换信息。此外，内置存储器108存储例如从光盘读出的应用程序、游戏的存档数据，或介由USB端口 116、近距无线通信端口 118、存储卡卡槽120取得的照片、动图像、音乐等的数据等。GPU104具备进行坐标变换等处理的几何变换引擎的功能和渲染处理器(rendering processor)的功能,按照来自CPU102的绘图指示绘图，将描绘出的图像存储于未图示的帧缓存器中。即，例如当光盘所记录的各种应用程序是像游戏那样使用所谓三维(3D)图形的程序时，该GPU104通过几何运算处理来计算构成该三维对象的多面体的坐标等。进而，通过渲染处理，计算用于生成将该三维对象用虚拟照相机拍摄而得到的图像的计算、即透视变换(将构成三维对象的各多面体的顶点投影在虚拟的照相机屏幕上时的坐标值的计算等)。将最终得到的图像数据写入帧缓存器。视频输出端口 122将与GPU104所生成的图像对应的视频信号输出给电视等监视器130。台式再现装置12a的接口 132包括用于接通电源和取出光盘的操作部134、用于显示接通或关闭电源、各种器件的访问状况等的LED136。这些各部分主要介由总线138相互连接。此外，上述的台式再现装置12a的内部电路被未图示的电源提供用于驱动的电力。此外，CPU102与GPU104以专用总线连接。具有上述那样结构的台式再现装置12a被接通电源后，操作系统程序被从未图示的掩模只读存储器(Masked ROM)读出到主存储器106中，CPU102执行操作系统程序。由此，CPU102统括地控制台式再现装置12a的各部分。CPU102执行操作系统程序时，首先进行动作确认等初始化处理。然后，读出光盘所记录的游戏等应用程序，载入主存储器106后，执行该游戏应用程序。通过该游戏应用程序的执行，CPU102按照从控制器126接收到的用户的指示，控制GPU104等，控制图像的显示和效果音、音乐的产生。图4表示图2的便携式再现装置12b的外观。该图主要表示了将便携式再现装置12b设想为便携式游戏机的结构。便携式再现装置12b除能够再现动图像、静图像、音乐等数字内容(contents)外，还能够执行游戏程序等内容。各内容主要被从可插拔于便携式再现装置12b的外部记录介质中读出。本实施方式中的外部记录介质是小型光盘402和存储卡426。小型光盘402和存储卡426分别被装填在便携式再现装置12b上所设的未图示的驱动装置中。小型光盘402当然能够存储音乐数据和静图像数据，还能够存储电影等数据尺寸较大的动图像数据。存储卡426是可插拔于数字照相机或移动电话的小型存储卡，主要存储静图像数据、动图像数据、声音数据等用户自身以其它设备等制作出的数据、及与其它设备之间收发的数据。便携式再现装置12b被设置有液晶显示器404、十字键416、模拟摇杆418，以及按钮键420等键。用户双手握持便携式再现装置12b的左右两端，主要以左手的拇指使用十字键416或模拟摇杆418来指示上方向、下方向、左方向、右方向，主要以右手的拇指使用按钮键420来指示各种操作。主(home)按钮436与十字键416、按钮键420不同，被设置于在以双手握持便携式再现装置12b的左右两端时难以被任何一根手指按压的位置，以图防止误操作。液晶显示器404上显示基于图形用户接口的菜单画面和各内容的再现画面。此夕卜，便携式再现装置12b中安装有USB端口、无线LAN通信功能，介由这些端口或通信功能与其它装置(包括因特网上的其它装置)收发数据。还可以是具备红外线端口，介由红外线通信与其它装置收发数据的结构。此外，便携式再现装置12b还具备选择(seIect)按钮440、开始(start)按钮438等。开始按钮438是用于用户指示开始游戏、开始显示电子邮件画面、开始再现电影或音乐、暂时停止等的按钮。选择按钮440是用于用户指示液晶显示器404上所显示的菜单的选择等的按钮。图5表示图2的便携式再现装置12b的内部电路结构。便携式再现装置12b的基本构成包括主CPU500和GPU502、输入输出处理器504、光盘再现部506、主存储器508、掩模只读存储器(Masked ROM) 510、以及声音处理器512。主CPU500是作为统括地控制便携式再现装置12b整体的通用处理器的主处理器，基于游戏、电子邮件、网页浏览器用的应用程序等各种程序控制信号处理、内部结构要素。GPU502是作为被设计为高效地执行图像处理运算的专用处理器的图形处理器，执行便携式再现装置12b中的图像处理。输入输出处理器504进行外部与装置内部之间的接口处理、用于保持向下兼容性的处理。光盘再现部506再现记录有应用程序、多媒体数据的UMD等光盘。主存储器508作为主CPU500的工作区、暂时存储从光盘读出的数据的缓存器来发挥作用。掩模只读存储器510主要存储有由主CPU500、输入输出处理器504执行的操作系统程序。声音处理器512处理声音信号。此外，该便携式再现装置12b还具备UMD处理器514、光盘再现驱动器516、以及机械控制器518。UMD处理器514对由光盘再现部506从UMD读出的、被RF放大器528放大了的盘再现信号施以例如纠错处理(例如CIRC处理)、解压解码处理等，由此再现(还原)UMD所记录的数据。光盘再现驱动器516及机械控制器518进行光盘再现部506的主轴电机的旋转控制、光拾取的焦点/追踪控制、盘盒的载入控制等。
这些各部分主要介由总线522、524等相互连接。此外，主CPU500与GPU502以专用总线连接。此外，主CPU500与输入输出处理器504以总线550连接。输入输出处理器504和UMD处理器514、掩模只读存储器510、声音处理器512分别被连接于总线522。主CPU500执行掩模只读存储器(Mask ROM) 510所存储有的主CPU用操作系统程序，由此控制便携式再现装置12b的所有动作。此外，主CPU500执行已被从UMD等光盘读出并载入到主存储器508或介由无线LAN530被载入了的各种应用程序等，来控制游戏、制作编辑电子邮件、阅览网页等动作。输入输出处理器504执行掩模只读存储器510所存储的输入输出处理器用的操作系统程序，由此控制与用户的操作相应的来自控制器540的信号和游戏的设定、介由电子邮件的内容和地址或存储卡卡槽532的、来自存储Web网站的URL等的存储卡326的数据等的输入输出、及其它USB连接端子542、无线LAN530等中的数据的输入输出。在此，所谓控制器540，是十字键416、模拟摇杆418、按钮键420等用户用于控制便携式再现装置12b的键的总称。GPU502具备进行坐标变换等处理的几何变换引擎的功能和渲染处理器的功能，按照来自主CPU500的绘图指示绘图，将描绘出的图像存储于未图示的帧缓存器。即，例如当光盘所记录的各种应用程序是像游戏那样使用所谓三维(3D)图形的程序时，该GPU502通过几何运算处理来计算构成该三维对象的多面体的坐标等。进而，通过渲染处理，计算用于生成将该三维对象用虚拟照相机拍摄而得到的图像的计算、即透视变换(将构成三维对象的各多面体的顶点投影在虚拟的照相机屏幕上时的坐标值的计算等)。将最终得到的图像数据写入帧缓存器。然后，GPU502输出与该制作出的图像对应的视频信号。声音处理器5I2具备ADPCM(AdaptiveDifferential Pulse Code Modulation:自适应脉冲编码调制)解码功能、音频信号再现功能、信号调制功能等。所谓ADPCM解码功能，是通过读出内置或外接于该声音处理器512的未图示的声音缓存器所存储的波形数据，来再现并输出效果音等音频信号的功能。所谓信号调制功能，也作为基于上述声音缓存器所存储的波形数据，来产生音乐、效果音等音频信号的所谓抽样音源来进行动作。 具有以上那样结构的便携式再现装置12b例如被接通电源后，主CPU500用的及输入输出处理器504用的操作系统程序被从掩模只读存储器510读出。主CPU500和输入输出处理器504执行各自对应的操作系统程序。由此，主CPU500统括地控制便携式再现装置12b的各部分。此外，输入输出处理器504控制与控制器540、存储卡526等之间的信号的输入输出。此外，主CPU500执行操作系统程序时，首先进行动作确认等初始化处理。接下来，控制光盘再现部506，读出光盘所记录的游戏等应用程序，并将其载入到主存储器508，执行该游戏应用程序。通过该游戏应用程序的执行，主CPU500按照介由输入输出处理器504从控制器540接收到的用户的指示来控制GPU502、声音处理器512，控制图像的显示及效果音、音乐的产生。此外，例如在再现光盘所记录的电影等的情况下，主CPU500按照介由输入输出处理器504从控制器540接收到的用户的指示(指令)来控制GPU502、声音处理器512，控制从光盘再现出的电影的影像的显示和效果音、音乐等的产生。使GPU502的处理结果显示到液晶显示器404，将声音处理器512生成的效果音、音乐等用扬声器544来再现。图6是表示动图像再现装置12的功能结构的功能块图。动图像再现装置12包括取得部20、存储缓存器22、控制部30、以及再现部40。在本说明书的功能块图中所表示的各块从硬件上来讲可由计算机的CPU、存储器等元件、机械装置实现，从软件上来讲可由计算机程序等实现，但在此，仅描述了通过它们的合作而实现的功能块。因此，本领域技术人员当理解这些功能块可以由硬件、软件的组合以各种形式实现。取得部20按数据块单位取得动图像配送服务器10所发送的与多种比特率对应的多种视频流中的、由控制部30指定的种类的视频流，存储到存储缓存器22中。具体来讲，向动图像配送服务器10请求发送由控制部30指定的种类的视频流，从动图像配送服务器10依次接收该种视频流中的多个数据块。取得部20由图3中的CPU102与LAN模块114的合作、或图5中的CPU500与无线LAN530的合作来实现。存储缓存器22是暂时存储在取得部20中所取得的视频流的数据块的存储器。控制部30统括地控制自适应流中的视频流的取得处理和再现处理。控制部30由图3中的CPU102、图5中的CPU500实现。控制部30包括切换判断部32、取得控制部34、跳过判断部36、以及再现控制部38。在与第I比特率(例如8Mbps)对应的第I视频流的再现处理过程中，当成为将再现对象切换成与不同于第I比特率的第2比特率(例如4Mbps)对应的第2视频流的状况时，切换判断部32检测该事实。具体来讲，判断预先规定的切换条件是否已满足。该切换条件可以是与动图像再现装置12中的硬件环境、软件环境、通信环境相关的各种条件。例如，从相对较高的比特率切换到相对较低的比特率的切换条件可以是CPU使用率在预定阈值以上。此外，也可以是图片的解码处理所需的时间在预定值以上，还可以是可利用的通信频带宽度、执行通信速度不足预定值。相反，从相对较低的比特率切换到相对较高的比特率的切换条件可以是CPU使用率不足预定阈值。此外，也可以是图片的解码处理所需的时间不足预定值，还可以是可利用的通信频带宽度、执行通信速度在预定值以上。此外，切换条件也可以是检测到用户对动图像再现装置12进行的切换操作，具体来讲，可以是检测到要求从当前所选的比特率切换到其它比特率的预定操作。在由切换判断部32判断出从相对较高的比特率切换到相对较低的比特率的切换条件已被满足的情况下，取得控制部34对取得部20指示将成为取得对象的视频流的比特率变更到比当前的比特率低的比特率。此外，当判断出从相对较低的比特率切换到相对较高的比特率的切换条件已被满足时，对取得部20指示将取得对象的视频流的比特率变更到比当前的比特率高的比特率。此外，当通过用户的切换操作而指定了特定的比特率时，向取得部20指示变更到用户所指定的比特率。在由切换判断部32判断出切换条件已被满足的情况下，跳过判断部36决定将比特率切换后取得的数据块所包含的图片中的、与比特率切换前所取得的正再现处理的数据块所包含的图片重复的图片从显示对象中除去(跳过显示)。以下，说明其具体处理。跳过判断部36确定在后述的再现部40中正再现处理的数据块所包含的图片中的、应在时间序列的最后进行显示的图片(以下称作“切换前最终图片”)的显示时刻。在本实施方式中，预先保存有在由控制部30对再现部40指示再现数据块时，该数据块中应最后显示的图片的PTS。跳过判断部36将该PTS确定为切换前最终图片的显示时刻。作为变形例，可以向再现部40询问在正再现处理的数据块中将被最后显示的图片的PTS，将该PTS确定为切换如最终图片的显不时刻。
跳过判断部36确定切换比特率后取得的数据块所包含的图片中的、应在时间序列的开头显示的图片(例如IDR图片，以下称作“切换后开头图片”)的显示时刻。在本实施方式中，将在切换比特率后取得的数据块中应最初显示的图片所被赋予的PTS确定为切换后开头图片的显示时刻。跳过判断部36决定将在切换比特率后取得的数据块所包含的图片中的、应在切换后开头图片的显示时刻至切换前最终图片的显示时刻之间显示的图片从显示对象中除去。换言之，决定使应在切换前最终图片的显示之前进行显示的图片成为非显示对象。例如，如图1的(b)所示那样，在正再现数据块X — 2时，再现对象被切换而取得了数据块Y —3的情况下，决定将PTS = 160K 190K的图片从显示对象中排除掉。跳过判断部36将表示应从显示对象中排除掉的图片的信息(以下称作“显示跳过信息”)通知给再现控制部38。该显示跳过信息中例如被设定从显示对象中排除掉的图片的PTS范围。在没有被跳过判断部36通知显示跳过信息的通常时候，再现控制部38将存储缓存器22中所存储的视频流的数据块的数据发送给再现部40，并指示再现显示该数据块所包含的所有图片。以下将该指示称作“通常再现指示”。在被跳过判断部36通知了显示跳过信息时，再现控制部38将存储缓存器22中所存储的数据块的数据和显示跳过信息一起发送给再现部40，指示再现显示数据块所包含的图片中的被定为显示对象的(未被从显示对象中排除掉的)图片。以下，将该指示称作“选择再现指示”。再现部40是执行视频流的再现处理、具体来讲是执行视频流所包含的图片的解码处理和解码结果图像的显示处理的视频解码器。再现部40由图3中的GPU104、图5中的GPU502实现。再现部40包括:解码对象选择部42、可变长度解码部44、逆量化部46、逆正交变换部48、加法器50、帧存储器52、运动补偿部54、重新排序用缓存器56、显示对象选择部58、以及D/A变换部60。解码对象选择部42从控制部30接收包含被编码的多个图片的数据和运动矢量信息的、视频流的数据块的数据(以下称作“图像压缩信息”)，以及通常再现指示。该图像压缩信息中，例如作为其首部信息，包含表示各图片的PTS的信息、和表示各图片是在其它图片的解码时被参照的参照图片还是在其它图片的解码时不被参照的非参照图片的信息。此夕卜，解码对象选择部42从控制部30接收选择再现指示，此时，除数据块的数据(图像压缩信息)外还接收显示跳过信息。在接收到通常再现指示的情况下，解码对象选择部42将图像压缩信息原样提供给可变长度解码部44。另一方面，在接收到选择再现指示的情况下，首先确定附有要从显示对象中排除的范围内的PTS的编码图片。然后，将这些编码图片中的非参照图片从解码对象中排除掉，仅将参照图片定为解码对象。对于附有成为显示对象的范围内的PTS的编码图片，不论是否为参照图片，所有图片都定为解码对象。解码对象选择部42将表示各编码图片是否为解码对象的信息和图像压缩信息一起提供给可变长度解码部44。被解码对象选择部42从解码对象中排除掉的编码图片在以后的解码处理中被取消，例如不被解码而被废弃。可变长度解码部44对图像压缩信息进行可变长度解码，将所解码出的图像数据提供给逆量化部46，将运动矢量信息提供给运动补偿部54。逆量化部46使所解码出的图像数据逆量化并将其提供给逆正交变换部48。逆正交变换部48对被逆量化部46逆量化了的DCT计数进行逆离散余弦变换(IDCT)，由此，还原出原图像数据。由逆正交变换部48还原出的图像数据被提供给加法器50。若从逆正交变换部48输出的图像数据是不使用帧间预测地被编码的图片(例如IDR图片、I图片)，则加法器50将该图像数据原样存储在重新排序用缓存器56中。并且，在该图像数据是参照图片的情况下，加法器50将该图像数据存储在帧存储器52中，以备在生成使用帧间预测被编码的图片的预测图像时进行参照。若从逆正交变换部48输出的图像数据是使用帧间预测地被编码的图片(例如P图片、B图片)，则因该图像数据是差分图像，加法器50将该差分图像和从运动补偿部54提供的预测图像相加，由此还原出原图像数据，并将其存储在重新排序用缓存器56中。运动补偿部54使用从可变长度解码部44提供来的运动矢量信息和帧存储器52中所存储的参照图片，生成用于P图片、B图片等的预测图像，并将其提供给加法器50。重新排序用缓存器56是用于储存对被编码的图片进行解码处理后的结果、即原图像(以下称作“解码图片”)，并将该解码图片按显示顺序重新排序的缓存器。例如，可以基于被编码的各个图片所被赋予的PTS来对与各被编码的图片对应的解码图片进行重新排序。在解码对象选择部42接收到通常再现指示的情况下，在与PTS对应的时刻，显示对象选择部58将重新排序用缓存器56中按显示顺序保持的解码图片的数据提供给D/A变换部60。另一方面，在解码对象选择部42接收到选择再现指示的情况下，仅将重新排序用缓存器56中按显示顺序保持的解码图片中的、显示对象(即没有被从显示对象中排除的)解码图片的数据提供给D/A变换部60。具体来讲，废弃由显示跳过信息所指定的、与被赋予了从显示对象中排除的范围内的PTS的编码图片对应的解码图片，而另一方面，将与被赋予了该范围外的PTS的编码图片对应的解码图片提供给D/A变换部60。D/A变换部60将由显示对象选择部58提供来的解码图片的数据变换为模拟信号，并输出给图3的监视器130、图5的显示器404等显示装置。由于如上述那样在与PTS相应的时刻被提供解码图片的数据，故能够实现与PTS的设定值同步的动图像的再现显示。此外，即使在控制部30的切换判断部32中判断出切换条件已满足的情况下，再现部40也将针对从控制部30接收完毕的数据块的再现处理继续进行到最后。换言之，针对正再现的数据块，显示到该数据块所包含的最后的图片。此外，图6中的可变长度解码部44 重新排序用缓存器56的处理是解码图片的一个例子，当然也可以适当执行与公知的动图像压缩编码技术对应的解码处理。以下，说明以上结构的动作。图7是表示动图像再现装置12的动作的流程图。取得部20从动图像配送服务器10按数据块单位依次接收按第I比特率将动图像编码后的第I视频流(S10)。控制部30的再现控制部38将第I视频流的数据块交给再现部40并指示进行通常的再现(S12)。再现部40开始针对被指示了通常再现的数据块的再现处理，将该数据块所包含的所有图片解码，并按照PTS依次显示(S14)。控制部30的切换判断部32 —直监视动图像再现装置12的各种环境信息。当由切换判断部32检测到切换比特率的条件已满足时(S16的“是”)，取得控制部34按照所满足的切换条件指示取得部20取得与比第I比特率高或低的第2比特率对应的第2视频流。以后，取得部20按数据块单位从动图像配送服务器10接收第2视频流来取代第I视频流(SlS)0跳过判断部36将第2视频流的数据块所包含的图片中的、与在再现部40中正再现处理的第I视频流的数据块所包含的图片重复的图片定为非显示对象，决定非显示范围(PTS的值的范围)(S20)。再现控制部38将第2视频流的数据块交给再现部40，指定非显示范围，指示有选择地进行再现(S22)。若比特率的切换条件没有满足(S16的“否”)，则跳过以下的处理，结束本图的关于视频流切换的流程。再现部40开始针对第2视频流的数据块的再现处理。在该数据块所包含的编码图片属于非显示范围(S24的“是”)且是参照图片的情况下(S26的“是”)，将该图片解码(S28)并存储于参照用缓存器(S30)，但跳过显示。在它是非参照图片的情况下(S26的“否”)，不执行解码处理本身。另一方面，在它是不属于非显示范围、即是附有显示范围的PTS的编码图片的情况下(S24的“否”)，无论是否为参照图片，都进行解码(S32)。并且，若它是参照图片(S34的“是”)，则将它存储在参照用缓存器中(S36)，若它是非参照图片(S34的“否”)，则跳过S36，在与PTS相应的时刻使之显示(S38)。若还有未处理的编码图片(S40的“否”)，则回到S24，若已处理完所有编码图片(S40的“是”)，则结束本图的关于视频流的切换的流程。以后，此例中的第2视频流成为当初的第I视频流的角色，视频流的再现处理被从SlO起反复执行。S卩，自适应流化处理继续进行，动图像的再现显示继续进行。此外，在动图像再现装置12的环境再次变化而切换条件被满足了的情况下，取得和再现的对象再次成为第I视频流、或被切换为与不同于第1、第2比特率的第3比特率对应的第3视频流。图8示意性地表示切换再现对象视频流的比特率时的处理过程和用户画面中的显示内容。该图表示了在图1的(b)所示的数据块X — 2的再现过程中，将再现对象视频流的种类切换到比特率Y的例子。首先，控制部30读入数据块X — 2，将其交给再现部40，指示其再现(S50)。再现部40解码数据块X — 2，在由PTS规定的时刻使该解码图片显示于用户画面中(S52)。在数据块X - 2的再现处理中，最后显示的图片的PTS是190K(其实际的值不足190K，但在此为使说明简明，假设它为190K)。 在再现部40中的数据块X - 2的再现处理过程中，控制部30检测通信速度的下降(S54)。控制部30读入与更低的比特率对应的视频流的数据块Y - 3，将其交给再现部40。此时，控制部30指示将数据块X — 2与数据块Y — 3之间图片重复的PTS = 160K 190K的范围定为非显示(S56)。在数据块Y — 3的再现处理中，再现部40针对PTS = 160K 190K的图片仅解码参照图片，并将其定为非显示图片(S58)。针对PTS = 190K以上的图片如通常那样进行解码，并使其显示于用户画面中(S60)。通过以上的处理，用户画面在显示X - 2的所有解码图片后，不间断地显示与Y — 3的PTS = 190K以后对应的解码图片。通过本实施方式的动图像再现装置12，即使比特率不同的视频流之间同步样本的PTS不一致、换言之数据块的边界不一致，在切换视频流的种类时，也能够避免重复的图像被重复显示，能抑制动图像显示的紊乱。例如，在可利用的通信频带宽度较频繁地变动的情况下，具体来讲，在基于便携式再现装置12b的移动中的动图像视听、基于尽力服务(besteffort)型通信的动图像视听中，有时视频流的种类会较频繁地切换。在这样的情况下，通过用实施方式中提出的动图像再现技术抑制动图像显示的紊乱，能够提高自适应流的便利性。
此外，在动图像再现装置12中，在切换比特率后的数据块的再现处理时，即使是因与切换前的数据块所包含的图片重复而被定为非显示的图片，也能针对参照图片进行解码，使得在其它图片的解码时能够参照。由此，能够担保成为显示对象的图片(P图片及B图片)的解码。另一方面，由于定为非显示的非参照图片在其它图片的解码时是不需要的，并且本来也不用于画面显示以外的目的，故通过跳过解码处理本身，能够使比特率切换后的数据块的再现处理迅速化。即，在切换前的数据块所包含的图片的再现显示结束之前，容易使切换后的数据块所包含的图片成为可再现显示的状态，容易实现顺畅的切换显示。例如，容易防止在使切换后的数据块所包含的图片成为可再现显示的状态之前，切换前的数据块所包含的图片的再现显示结束了时的、动图像的再现显示暂时停止的情况。此外，在动图像再现装置12中，以主处理器来执行视频流的取得控制和再现控制、例如切换条件是否满足的判断处理、非显示范围的判断处理，另一方面，以图形处理器来执行视频流的再现处理本身、例如解码处理。由此，图形处理器容易专门负责图像运算处理，能高效地发挥其能力。此外，其结果，变得容易防止比特率切换后的数据块的再现处理(解码处理)延迟的情况，容易实现顺畅的切换显示。此外，作为与本实施方式不同的其它方式，可以考虑将不同比特率的2个视频流总是并行地取得并解码，使一者显示、使另一方非显示。在比特率切换时，使显示和非显示的关系反转，由此抑制动图像显示的紊乱。但是，在该方式中，多种视频流的取得和解码处理总是被并行地执行，故与在本实施方式中提出的方式相比，会更多地使用硬件资源。此夕卜，比特率的种类越多，硬件资源的使用量就越增加，若不发生比特率的切换，则成为硬件资源的浪费。与此不同，在本实施方式所提出的方式中，同时取得和再现的比特率是一种，兼顾硬件资源的高效使用和顺畅的切换显示。以上基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。例如，在上述实施方式中，假定视频流的数据块中的开头图片是同步样本(IDR图片)。在变形例中，数据块中的开头图片不是同步样本，换言之，同步样本的时间位置可以与数据块的边界不一致。在该变形例中，只是再现部40的帧存储器52中所存储的参照图片的图像数据被清除(clear)的时刻(timing)与实施方式不同,而该变形例能够与实施方式一样地在切换视频流的种类时避免重复的图像被重复显示，抑制动图像显示的紊乱。此外，关于上述变形例，视频流的数据块的数据中可以包含表示存在于该数据块中的同步样本的位置(例如PTS的值)的索引信息。此时，动图像再现装置12的解码对象选择部42可以确定附有从显不对象中排除的范围的PTS的编码图片中的、位于该范围内的最后的同步样本前面的编码图片(例如附有最后的同步样本之前的PTS的编码图片)。然后，对于这些编码图片，无论其是否非参照图片，都可以将它们从解码对象中全部排除掉。这是因为这些编码图片在显示对象图片的解码中不需要。通过此方案，能够进一步限定应解码的图片的范围，使比特率切换后的数据块的再现处理更加高效化、迅速化。此外，作为其它方案，表示存在于视频流的数据块中的同步样本的位置的索引信息可以在数据块的数据之外另行从动图像配送服务器10提供给动图像再现装置12。此外，在动图像配送服务器10不保持索引信息的情况下，动图像再现装置12自身可以搜索数据块的数据所包含的同步样本的位置来生成索引信息。上述实施方式与变形例的任意组合，作为本发明的实施方式也是有效的。由组合产生的新的实施方式兼有被组合的实施方式和变形例各自的效果。本领域技术人员当理解如权利要求所述的各结构要件应发挥的功能由在实施方式和变形例中所示的各结构要素的单体或这些单体的合作实现。〔标号说明〕10动图像配送服务器、12动图像再现装置、20取得部、30控制部、32切换判断部、34取得控制部、36跳过判断部、38再现控制部、40再现部、100动图像配送系统。〔工业可利用性〕本发明能够适用于再现动图像的数据的装置。
权利要求
1.一种动图像再现装置，其特征在于，包括: 取得部，从并行地配送将动图像以多种比特率编码的多种视频流、并按包含构成上述动图像的多个图片的数据块单位配送各视频流的服务器中取得与其中一个比特率对应的视频流的数据块， 取得控制部，将定为取得对象的视频流的种类指示给上述取得部， 再现部，作为视频流的再现处理，使上述取得的数据块中所包含的图片解码并显示，以及 再现控制部，对上述再现部指示开始进行上述再现处理； 其中，在与第I比特率对应的第I视频流的再现处理过程中，将再现对象切换为与第2比特率对应的第2视频流时， 上述再现部针对正再现处理的第I视频流的数据块继续进行其再现处理， 上述取得控制部指示上述取得部取得上述第2视频流来取代上述第I视频流， 在上述第2视频流的数据块所包含的图片与上述正再现处理的第I视频流的数据块所包含的图片重复的情况下，上述再现控制部指示上述再现部在对上述第2视频流的数据块进行的再现处理中，使该重复的图片成为非显示。
2.如权利要求1所述的动图像再现装置，其特征在于， 上述取得控制部根据可利用的通信频带宽度的变动，指示上述取得部取得上述第2视频流来取代上述第I视频流。
3.如权利要求1或2所述的动图像再现装置，其特征在于， 上述再现控制部确定上述第2视频流的数据块所包含的图片中的、应在对上述正再现处理的第I视频流的数据块的再现处理结束以前显示的图片为上述重复的图片。
4.如权利要求1至3的任意一项所述的动图像再现装置，其特征在于， 上述再现部在对上述第2视频流的数据块的再现处理中，使上述重复的图片中的、在其它图片的解码时被参照的参照图片解码并使之非显示，另一方面，将在其它图片的解码时不被参照的非参照图片从解码对象中排除。
5.一种信息处理装置，其特征在于，包括: 主处理器，统括地控制装置整体，以及 图形处理器，进行图像处理运算； 其中，上述主处理器从并行地配送将动图像以多种比特率编码的多种视频流、并按包含构成上述动图像的多个图片的数`据块单位配送各视频流的服务器中取得与其中一个比特率对应的视频流的数据块，对上述图形处理器指示开始进行其再现处理； 作为视频流的再现处理，上述图形处理器执行使上述取得的数据块中所包含的图片解码并显示的处理； 在与第I比特率对应的第I视频流的再现处理过程中，将再现对象切换为与第2比特率对应的第2视频流时， 上述图形处理器针对正再现处理的第I视频流的数据块继续进行其再现处理， 上述主处理器取得上述第2视频流来取代上述第I视频流，在上述第2视频流的数据块所包含的图片与上述正再现处理的第I视频流的数据块所包含的图片重复的情况下，指示上述图形处理器在对上述第2视频流的数据块进行的再现处理中，使该重复的图片成为非显示。
6.一种动图像再现方法，其特征在于，包括: 从并行地配送将动图像以多种比特率编码的多种视频流、并按包含构成上述动图像的多个图片的数据块单位配送各视频流的服务器中取得与第I比特率对应的第I视频流的数据块的步骤， 作为上述第I视频流的再现处理，使其数据块中所包含的图片解码并显示的步骤， 在上述第I视频流的再现处理过程中，将再现对象切换为与第2比特率对应的第2视频流时，取得上述第2视频流的数据块的步骤，以及 执行上述第2视频流的再现处理，当其数据块所包含的图片与正再现处理的第I视频流的数据块所包含的图片重复的情况下，使该重复的图片非显示的步骤。
7.一种计算机程序，其特征在于，使计算机实现如下功能: 取得功能，从并行地配送将动图像以多种比特率编码的多种视频流、并按包含构成上述动图像的多个图片的数据块单位配送各视频流的服务器中取得与其中一种比特率对应的视频流的数据块， 取得控制功能，将定为取得对象的视频流的种类指示给上述取得功能， 再现功能，作为视频流的再现处理，使上述取得的数据块所包含的图片解码并显示，以及 再现控制功能，对上述再现功能指示开始进行上述再现处理； 其中，在与第I比特率对应的第I视频流的再现处理过程中，将再现对象切换为与第2比特率对应的第2视频流时， 上述再现功能针对正再现处理的第I视频流的数据块继续进行其再现处理， 上述取得控制功能指示上述取得功能取得上述第2视频流来取代上述第I视频流， 在上述第2视频流的数据块所包含的图片与上述正再现处理的第I视频流的数据块所包含的图片重复的情况下，上述再现控制功能对上述再现功能进行指示，使得在对上述第2视频流的数据块的再现处理中 使该重复的图片非显示。
全文摘要
动图像再现装置(12)包括再现部(40)，作为视频流的再现处理，使该视频流的数据块所包含的图片解码并显示；控制部(30)，指示开始再现处理。在与第1比特率对应的第1视频流的再现处理过程中，在将再现对象切换为与第2比特率对应的第2视频流时，再现部(40)继续进行针对正再现处理的第1视频流的数据块的再现处理。在第2视频流的数据块所包含的图片与上述再现处理过程中的数据块所包含的图片重复的情况下，控制部(30)指示再现部(40)在对第2视频流的数据块进行的再现处理中使该重复的图片非显示。
文档编号H04N21/234GK103155581SQ20118004913
公开日2013年6月12日 申请日期2011年10月11日 优先权日2010年10月14日
发明者椚田尚亨, 李承贤, 李宅周, 池宙营 申请人:索尼电脑娱乐公司