客户端设备、内容分发方法、计算机可读存储介质及用途与流程

文档序号:18633920发布日期:2019-09-11 21:59阅读:252来源:国知局
客户端设备、内容分发方法、计算机可读存储介质及用途与流程

本公开内容涉及服务器设备、客户端设备、内容分发方法以及计算机程序。



背景技术:

在最近几年,存在有广泛应用的用于传输内容的超文本传输协议(http)以及与内容压缩编码相关的mp4。http不仅能够在因特网上下载内容而且还能够对该内容进行流传输。在网络媒体标准如“dlna指南”(2006)和“开放iptv论坛”(2009)中也采用了http流传输。此外,mp4(iso/iec-14496-12,14)不仅可以用作存储格式而且还可以用作例如用于下载和流传输的传输格式。

关于流传输,已知如在以下非专利文献中所描述的自适应比特率流传输(abs)技术。abs技术是如下技术:其中,具有以不同比特率表示的相同内容的多条编码数据被存储在内容服务器中,使得客户端按照网络频带来选择所述多条编码数据中的任一条编码数据并且再现该编码数据。

在正常流传输的情况下,当网络频带变得低于比特率时,数据供给变得赶不上消耗,并且在客户端缓存的数据被耗尽。作为结果,客户端无法继续再现。与此相反,在abs技术中,在频带变窄时再现数据被切换到低比特率的编码数据。因此,可以在再现期间抑制中断。

此外,考虑到abs技术的领域,还提出了如在非专利文献2中所描述的执行重定向的技术,该技术适当改变作为分发目的地的服务器同时在服务器端添加参数并且由客户端存储参数。

引文列表

非专利文献

非专利文献1:mpeg-dash(通过http的动态自适应流传输)(url:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

非专利文献2:m28354coreexperimentonparametersinsertioninmediasegmenturl,mpeg#103,geneva,2013



技术实现要素:

技术问题

在如上所述的非专利文献2所提出的技术中,网络服务提供商更改播放列表文件(mpd),该播放列表文件包括各条编码数据的比特率信息和访问信息。然而,在如上所述的非专利文献2所提出的技术中,服务器指定参数,并且因此无法支持取决于客户端状态的动态参数的插入。

因此,本公开内容提供了新型改进的服务器设备、客户端设备、内容分发方法以及计算机程序,其能够在不改变网络服务提供商端的播放列表文件的情况下支持动态参数的插入,其中动态参数依赖于在使用abs技术向客户端分发内容时的客户端状态。

问题的解决方案

根据本公开内容,提供了如下服务器设备,该服务器设备包括:存储单元,该存储单元被配置成存储用于向在下述访问信息中定义的地址添加参数的预定定义,该访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,每条编码数据通过以不同比特率对相同内容进行编码来获得,或者该访问信息用于访问mpd中描述的要通过向服务器的请求来获取的每个要素;以及通信单元,该通信单元被配置成传输指令,所述指令用于基于存储在存储单元中的预定定义来向在访问信息中定义的地址添加参数。

根据本公开内容,提供了如下客户端设备,该客户端设备包括:存储单元,该存储单元被配置成存储用于向下述访问信息添加参数的预定定义,该访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,每条编码数据通过以不同比特率对相同内容进行编码而获得,或者该访问信息用于访问mpd中描述的要通过向服务器的请求来获取的每个要素;以及通信单元,该通信单元被配置成通过基于存储在存储单元中的预定定义向地址添加参数来访问访问信息中定义的地址。

根据本公开内容,提供了如下内容分发方法,该内容分发方法包括以下步骤:存储用于向在下述访问信息中定义的地址添加参数的预定定义,该访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,每条编码数据通过以不同比特率对相同内容进行编码而获得,或者所述访问信息用于访问mpd中描述的要通过向服务器的请求来获取的每个要素;以及传输指令,所述指令用于基于存储在存储单元中的预定定义来向在访问信息中定义的地址添加参数。

根据本公开内容,提供了使计算机执行以下步骤的计算机程序:存储用于向在下述访问信息中定义的地址添加参数的预定定义,该访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,每条编码数据通过以不同比特率对相同内容进行编码而获得,或者所述访问信息用于访问访问mpd中描述的要通过向服务器的请求来获取的每个要素;以及传输指令,所述指令用于基于存储在存储单元中的预定定义来向在访问信息中定义的地址添加参数。

本发明的效果

根据以上所述的本公开内容,可以提供新型改进的服务器设备、客户端设备、内容分发方法以及计算机程序,其能够在不改变网络服务提供商端的播放列表文件的情况下支持动态参数的插入,其中动态参数依赖于在使用abs技术向客户端分发内容时的客户端状态。

附图说明

图1是说明根据本公开内容的实施方式的内容再现系统的配置的说明图。

图2是说明根据本实施方式的内容再现系统中的数据流的说明图。

图3是说明mpd的具体示例的说明图。

图4是说明根据本实施方式的内容服务器10的配置的原理框图。

图5是说明根据本实施方式的内容再现设备20的配置的原理框图。

图6是说明根据本实施方式的内容服务器11的配置的原理框图。

图7是示出参数描述的内容的说明图。

图8是示出参数描述的内容的说明图。

图9是示出引用参数描述的mpd的示例的说明图。

图10a是示出根据本公开内容的实施方式的内容再现系统的操作示例的顺序图。

图10b是示出根据本公开内容的实施方式的内容再现系统的操作示例的顺序图。

图11是示出引用参数描述的mpd的示例的说明图。

图12是说明计算机的硬件配置的示例的框图。

图13是说明多视角图像编码方案的示例的图。

图14是说明应用了本公开内容的多视角图像编码设备的配置的示例的图。

图15示出应用了本公开内容的多视角图像解码设备的配置的示例的图。

图16是说明分层图像编码方案的示例的图。

图17是用于描述空间可扩展编码的示例的图。

图18是用于描述时间可扩展编码的示例的图。

图19是用于描述信噪比的可扩展编码的示例的图。

图20是说明应用了本公开内容的分层图像编码设备的配置的示例的图。

图21是说明应用了本公开内容的分层图像解码设备的配置的示例的图。

图22是说明应用了本公开内容的电视设备的示意性配置的示例的图。

图23是说明应用了本公开内容的移动电话的示意性配置的示例的图。

图24是说明应用了本公开内容的记录和再现设备的示意性配置的示例的图。

图25是说明应用了本公开内容的成像设备的示意性配置的示例的图。

图26是说明使用可扩展编码的示例的框图。

图27是说明使用可扩展编码的另一示例的框图。

图28是说明使用可扩展编码的又一示例的框图。

图29示出应用了本公开内容的视频集的示意性配置的示例。

图30示出应用了本公开内容的视频处理器的示意性配置的示例。

具体实施方式

在下文中,将参照附图来详细描述本公开内容的优选实施方式。注意,在本说明书和附图中,具有基本相同的功能和结构的要素用相同的附图标记进行表示,并且省略重复说明。

此外,在本说明书和附图中,具有基本相同功能和结构的多个要素可以通过在相同的附图标记之后提供不同的字母来进行区分。例如,如果有必要,则将具有基本相同的功能和结构或逻辑意义的多个要素区分为内容再现设备20a、20b和20c。然而,当不需要对具有基本相同功能和结构的多个要素中的各个要素进行区分时,提供仅相同的附图标记。例如,当不需要特别区分内容再现设备20a、20b和20c时,将内容再现设备简称为内容再现设备20。

此外,将按照以下描述的项目顺序来描述本公开内容。

<1.内容再现系统的概要>

<2.内容服务器10的配置>

<3.内容再现设备20的配置>

<4.内容服务器11的配置>

<5.mpd的url的信息>

<6.结论>

<1.内容再现系统的概要>

首先,将参照图1至图3来示意性地描述根据本公开内容的实施方式的内容再现系统。

在下文中,首先将参照图1和图2来描述在每个实施方式中公用的基本配置。

图1是说明根据本公开内容的实施方式的内容再现系统的配置的示意性图。如图1中所示,根据本公开内容的实施方式的内容再现系统包括内容服务器10和11、网络12以及内容再现设备20(客户端设备)。

内容服务器10和11以及内容再现设备20通过网络12进行连接。网络12是从连接至网络12的设备传输信息的有线或无线传输路径。

例如,网络12可以包括公共网络如因特网、电话网络和卫星通信网络、包括例如以太网(注册商标)的各种局域网(lan)、以及广域网(wan)。此外,网络12可以包括专用网络,例如因特网协议-虚拟专用网络(ip-vpn)。

内容服务器10对内容数据进行编码,并且产生并存储包括编码数据和编码数据的元信息在内的数据文件。注意,当内容服务器10产生mp4格式数据文件时,编码数据对应于“mdat”,并且元信息对应于“moov”。

此外,内容数据可以例如是:音乐数据,例如音乐、演讲和广播节目;图像数据,例如电影、电视节目、视频节目、图片、文件、图纸、图表、游戏以及软件。

这里,根据本实施方式的内容服务器10产生针对相同内容具有不同比特率的多个数据文件。此外,响应于来自内容再现设备20的进行内容再现的请求,根据本实施方式的内容服务器11向内容再现设备20传输内容服务器10的url的信息,该信息包括由内容再现设备20要向url添加的参数的信息。在下文中,将参照图2来具体描述该问题。

图2是说明在根据本实施方式的内容再现系统中的数据流的示意性图。内容服务器10以不同比特率对相同内容数据进行编码,并且产生例如如图2中所示的2mbps的文件a、1.5mbps的文件b以及1mbps的文件c。相对来讲,文件a为高比特率,文件b为标准比特率,而文件c为低比特率。

此外,如图2中所示,每个文件的编码数据被划分成多个段。例如,文件a的编码数据被划分成段“a1”、“a2”、“a3”、......、以及“an”。文件b的编码数据被划分成段“b1”、“b2”、“b3”、......、以及“bn”。文件c的编码数据被划分成段“c1”、“c2”、“c3”、......、以及“cn”。

注意,每个段可以由以mp4同步样本(以avc/h.264视频编码的idr图像)开头的一条或两条或更多条视频编码数据和声音编码数据的配置样本来构成,并且每个段可以独立地被再现。例如,当在具有15帧固定长度的图片组(gop)中对每秒30帧的视频数据进行编码时,每个段可以是对应于4gop的两秒视频编码数据和两秒声音编码数据或者对应于20gop的10秒视频编码数据和10秒声音编码数据。

此外,在各文件中具有相同布置顺序的段的再现范围(从内容的报头起的时间位置的范围)是相同的。例如,段“a2”、段“b2”和段“c2”的再现范围相同,并且当每个段均为两秒编码数据时,段“a2”、段“b2和段“c2”中的任一个的再现范围为两秒至四秒的内容。

内容服务器10产生由这样的多个段构成的文件a至文件c,并且存储文件a至文件c。然后,内容服务器10如图2中所示将构成不同文件的段按顺序传输至内容再现设备20,并且内容再现设备20以流的方式再现(streaming-reproduce)所接收到的段。

这里,根据本实施方式的内容服务器10向内容再现设备20传输包括每个编码数据的比特率信息和访问信息在内的播放列表文件(在下文中,其被称为媒体呈现描述(mpd)。基于mpd,内容再现设备20选择多个比特率中的任意比特率,并且请求内容服务器10传输与所选择的比特率相对应的段。

虽然图1中示出了仅一个内容服务器10,但是不用说的是,本公开内容不限于此。

图3是说明mpd的具体示例的说明图。如图3中所示,mpd包括与具有不同比特率(带宽)的多个编码数据相关的访问信息。例如,如图3中所示的mpd指示存在有256kbps、1.024mbps、1.384mbps、1.536mbps以及2.048mbps的编码数据,并且该mpd包括与每个编码数据相关的访问信息。内容再现设备20可以基于这样的mpd来动态地改变要以流方式再现的编码数据的比特率。

注意,虽然图1说明了移动终端作为内容再现设备20的示例,但是内容再现设备20不限于这样的示例。例如,内容再现设备20可以是如下信息处理设备,例如个人计算机(pc)、家用图像处理器(dvd记录器、视频录放器等)、个人数字助理(pda)、家用游戏机以及家用电器。此外,内容再现设备20可以是如下信息处理设备,例如手机、个人手持电话系统(phs)、便携式音乐再现设备、便携式图像处理器以及便携式游戏机。

<2.内容服务器10的配置>

在上述中,参照图1至图3描述了根据本公开内容的实施方式的内容再现系统的概要。随后,将参照图4来描述根据本实施方式的内容服务器10的配置。

图4是说明根据本实施方式的内容服务器10的配置的原理框图。如图4中所示,根据本实施方式的内容服务器10包括文件产生单元120、存储单元130以及通信单元140。

文件产生单元120包括编码器122,该编码器122对内容数据进行编码并且产生具有相同内容和不同比特率的多条编码数据以及上述mpd。例如,当产生256kbps、1.024mbps、1.384mbps、1.536mbps以及2.048mbps的编码数据时,文件产生单元120产生图3中所示的mpd。

存储单元130存储由文件产生单元120产生的具有不同比特率的多个编码数据和mpd。存储单元130可以是存储介质,例如非易失性存储器、磁盘、光盘以及磁光(mo)盘。非易失性存储器例如为电可擦除可编程只读存储器(eeprom)和可擦除可编程只读存储器(eprom)。而且,通过例如硬盘和盘形磁体盘来例举磁盘。此外,通过例如压缩光盘(cd)、可记录的数字多功能盘(dvd-r)、以及蓝光光盘(bd)(注册商标)来例举光盘。

通信单元140是与内容再现设备20连接的接口,并且通过网络12与内容再现设备20进行通信。更具体地,通信单元140具有作为http服务器的功能,该http服务器根据http与内容再现设备20进行通信。例如,通信单元140向内容再现设备20传输mpd,根据http从存储单元130中提取由内容再现设备20基于mpd而请求的编码数据,并且将编码数据传输至内容再现设备20作为http响应。

<3.内容再现设备20的配置>

在上述中,描述了根据本实施方式的内容服务器10的配置。随后,将参照图5来描述根据本实施方式的内容再现设备20的配置。

图5是根据本实施方式的内容再现设备20的配置的原理框图。如图5所示,根据本实施方式的内容再现设备20包括通信单元220、存储单元230、再现单元240、选择单元250以及当前位置获取单元260。

通信单元220(通信单元)是与内容服务器10连接的接口,并且从内容服务器10请求数据以及从内容服务器10获取数据。更具体地,通信单元220具有作为http客户端的功能,该http客户端按照http与内容再现设备20进行通信。例如,通信单元220使用http范围,并且因此可以从内容服务器10选择性地获取mpd或编码数据的段。

存储单元230存储有关内容再现的各种类型的信息。例如,存储单元230按顺序缓存由通信单元220从内容服务器10获取的段。由存储单元230缓存的编码数据的段以先入先出(fifo)的方式按顺序被提供给再现单元240。

此外,基于在从内容服务器11(以下将要描述)请求的mpd中描述的向内容的url添加参数的指令,存储单元230存储如下定义,该定义用于通过使用通信单元220向url添加参数来访问url。

再现单元240按顺序再现从存储单元230提供的段。具体地,例如,再现单元240对段进行解码、da转换和呈现。

选择单元250在相同内容中按顺序选择与在要获取的mpd中所包括的特定比特率相对应的编码数据的段。例如,当选择单元250按照网络12的频带来按顺序选择段“a1”、“b2”和“a3”时,通信单元220从内容服务器10按顺序获取段“a1”、“b2”和“a3”,如图2中所示。

当前位置获取单元260获取内容再现设备20的当前位置,并且可以被配置成例如用于获取当前位置的模块,如全球定位系统(gps)接收器等。此外,当前位置获取单元260可以使用无线网络来获取内容再现设备20的当前位置。

<4.内容服务器11的配置>

图6是示出内容服务器11的配置的示例的说明图。如图6中所示,根据本实施方式的内容服务器11具有存储单元310和通信单元320。

存储单元310存储mpd的url的信息。响应于来自内容再现设备20的进行内容再现的请求,mpd的url的信息从内容服务器11被传输至内容再现设备20。此外,当将mpd的url的信息提供给内容再现设备20时,存储单元310存储用于由内容再现设备20向mpd中所描述的url添加参数的定义信息。

通信单元320是经由网络12与内容再现设备20连接以与内容再现设备20进行通信的接口。也就是说,通信单元320从请求内容再现的内容再现设备20接收对mpd的url的信息的请求,并且将mpd的url的信息传输至内容再现设备20。从通信单元320传输的mpd的url包括用于由内容再现设备20添加参数的信息。

可以利用由内容服务器11和内容再现设备20共享的定义信息来对由内容再现设备20添加至mpd的url的参数进行各种设置。作为示例,可以由内容再现设备20将例如以下信息添加至mpd的url:内容再现设备20的当前位置、使用内容再现设备20的用户的用户id、内容再现设备20的存储器大小、内容再现设备20的存储能力等。

<5.mpd的url的信息>

接下来,将描述mpd的url的信息。在本实施方式中,当mpd的url的信息从内容服务器11被传输至内容再现设备20时,以查询参数的形式来添加定义信息的位置,以用于使内容再现设备20向url添加参数。在本实施方式中,将定义信息称为“参数描述”。内容服务器11以例如下面的形式将mpd的url的信息从通信单元320传输至内容再现设备20。

hppt://a.com/x.mpd?pd=uri-1,uri-2,uri-3

“a.com”是对内容再现设备20期望再现的内容进行存储的服务器,以及“x.mpd”是该内容的mpd。此外,在查询参数“pd”中,列出了定义信息的统一资源标识符(uri)。可以如上图所示的那样在定义信息的uri之间使用逗号来列出定义信息的uri。上述示例是当由内容再现设备20基于三条定义信息来添加参数时从内容服务器11向内容再现设备20传输的mpd的url的信息。

参数描述被存储在存储单元310中,并且参数描述可以用如下描述语言来描述:web应用程序描述语言(wadl,http://www.w3.org/submission/wadl)、web服务描述语言(wsdl,http://www.ibm.com/developerworks/webservices/library/ws-restwsdl/),或者另外的网络api描述语言。注意,参数描述不仅可以存储在存储单元310中,而且还可以存储在内容再现设备20的存储单元230中。当将参数描述被存储在所述两个存储单元中时,应当假定存储单元的内容是同步的,即两个存储单元的内容被保持为相同。

将描述具体示例。响应于来自内容再现设备20的用于再现内容的请求,内容服务器11向内容再现设备20传输以下所示的mpd的url的信息。

http://a.com/x.mpd?pd=urn:prmdef-1

图7是示出“urn:prmdef-1”的内容的说明图,该“urn:prmdef-1”是由上述url的查询参数“pd”指定的参数描述。

在由标签<param>包围的部分中,描述了参数描述的定义的内容。

要素“name”给出了由内容再现设备20要向mpd中描述的内容的url添加的参数(url参数)的名称。在图7的示例中,在要素“name”中指定了“位置”。

要素“required”规定在内容再现设备20中查询参数的描述是否是必需的。在图7的示例中,在要素“required”中指定了“true”,其指示该参数的描述是必要的。

要素“style”给出了由内容再现设备20要向mpd中描述的内容的url添加的参数的形式。参数的形式包括查询参数、模板等。在图7所示的示例中,在要素“style”中指定了“query”,其指示由内容再现设备20以查询参数的形式来描述参数。

在由标签<doc>包围的部分中,描述了有关参数描述的信息。在图7中,参数描述是参数“location”的详情,其指示例如使内容再现设备20描述由内容再现设备20获取的当前位置,所述用户内容再现设备20已经使用gps等作出了请求。

当内容再现设备20接收到上述mpd的url的信息并且获取到mpd时,内容再现设备基于图7中所示的内容来向mpd中描述的内容的url添加参数。例如,如果在上述mpd(x.mpd)中包括内容的段的url“http://a.com/s.mp4”,则内容再现设备20向“http://a.com/s.mp4”添加查询参数,如下所示。

http://a.com/s.mp4?location=areaa

换句话说,内容再现设备20指定由当前位置获取单元260在参数“location”中获取的当前位置的信息;使用通信单元220来访问以上描述的url;以及由此请求内容。

通过如上所述的那样限定参数描述,内容服务器11可以使内容再现设备20向内容再现设备20的执行环境添加适当的参数20。例如,通过如上所述的那样设置内容再现设备20的当前位置,可以根据内容再现设备20的位置来对内容服务器10进行适当的重定向。此外,利用来自内容服务器11的以查询参数的形式来描述内容再现设备20的用户的用户id的指令,可以从内容服务器10向内容再现设备20提供依据用户id的信息,例如广告等。

此外,通过如上所述的那样定义参数描述,当期望由内容再现设备20添加参数或者期望改变要添加的参数时,可以在不更改mpd的情况下由内容再现设备20根据内容再现设备20的运行环境来添加适当的参数。

将介绍参数描述的另一示例。内容服务器11根据来自内容再现设备20的进行内容再现的请求来向内容再现设备20传输以下所示的mpd的url的信息。

http://a.com/x.mpd?pd=urn:prmdef

图8是示出“urn:prmdef”的内容的说明图,该“urn:prmdef”是由以上所述的url的查询参数“pd”指定的参数描述。在作为上述url中指定的mpd的x.mpd中,假定内容的段的url“http://a.com/seg”被包括在内。

标签<resource>是在“http://a.com/seg”情况下用于指定内容的位置的标签,并且要素“path”是用于指定内容的位置的要素。图8的示例指示内容在“path{v1}/p-{v2}.mp4”的位置中。此外,波形括号内的“v1”和“v2”表示由内容再现设备20将参数要插入到的点。

当内容再现设备20针对在图8中所示的参数描述中规定的参数“v1”、“v2”、“qp1”和“qp2”分别指定“vov1”、“vov2”、“voqp1”和“voqp2”时,内容再现设备20使用通信单元220来访问以下url以获取内容。

http://a.com/seg/pathvovl/p-vov2.mp4?qpl=voqp1&qp2=voqp2

如果假定例如在“v1”中指定国家的信息、在“v2”中指定辖区或州的信息、在“qp1”中指定城市的信息、以及在“qp2”中指定小镇的信息,则可以基于图8中所示的参数描述根据内容再现设备20的位置来改变由内容再现设备20再现的内容。

图9是示出被构成为引用上述参数描述的mpd的示例的说明图。上述非专利文献2提出了引入要素“parameter”,其针对要素“parameter”的id属性指定了要用作模板的参数名称(在图9的示例中为“locationp”)并且针对属性“descriptorid”引用了“essentialproperty”(指定在目标mpd中要支持的描述符的要素)。然而,非专利文献2没有提出下一个定义。

这里,使用上述参数描述的下一个定义是图9中所示的mpd。要素“schemeiduri”中指定的“urn:prmdef-1”是图7中所示的参数描述。通过如上所述的那样定义mpd,内容再现设备20可以向mpd中描述的url添加参数、访问地址“http://a.com/s.mp4?location=areaa”以及获取内容。通过在参数描述中使用标准描述方案,可以使用现有标准框架,并且因此功能例如url签名的添加变得容易。

将更详细描述上述一系列处理。图10a和图10b是详细示出上述一系列处理的顺序图。图10a和图10b中的顺序图示出了如下操作:其中,将mpd的url的信息从内容服务器11传输至内容再现设备20,并且内容再现设备20基于mpd的url来从内容服务器10获取内容以再现所获取的内容。

当内容再现设备20尝试使用再现单元240来再现内容时,内容再现设备20首先从内容服务器11获取mpd的url(步骤s101)。例如由再现单元240通过通信单元220来执行步骤s101的获取。一旦从内容服务器11获取mpd的url,内容再现设备20则确定在url中是否存在url参数(步骤s102)。可以通过再现单元240来执行步骤s102的确定。

当在步骤s102确定出在步骤s101中获取的mpd的url中没有url参数时,内容再现设备20按照来自内容服务器11的http来请求mpd的url(步骤s103)。例如由再现单元240使用通信单元220来执行步骤s103的请求。当例如在上述示例中内容再现设备20获取到仅url“http://a.com/x.mpd”时,内容再现设备20以http请求的形式从内容服务器11中请求“http://a.com/x.mpd”。

从内容再现设备20中接收到对mpd的url的请求的内容服务器11判定如下状态信息:服务器期望从内容再现设备20获取例如在上述示例中的位置信息,并且内容服务器11使用存储单元310来查询相应的参数描述(步骤s104)。存储单元310以相应参数描述的uri来响应内容服务器11(步骤s105)。将该处理应用于上述示例,存储单元310根据来自内容服务器11的查询向内容服务器11答复uri“urn:prmdef-1”。

接收到来自存储单元310的响应的内容服务器11根据http响应重定向将存储有参数描述的uri的url参数添加至mpd的url并且以其中添加了url参数的mpd的url来响应内容再现设备20(步骤s106)。将该处理应用于上述示例,内容服务器11以mpd的url“http://a.com/x.mpd?pd=urn:prmdef-1”来响应内容再现设备20,其中url“http://a.com/x.mpd?pd=urn:prmdef-1”通过将url参数“?pd=urn:prmdef-1”添加至url“http://a.com/x.mpd”来获得。

当从内容服务器11获取到mpd的url的信息时(或者作为步骤s102的确定结果,当url参数处于步骤s101中所获取的mpd的url中时),内容再现设备20将url参数中所指定的uri存储在存储单元230中(步骤s107)。在上述示例中,内容再现设备20将例如uri“urn:prmdef-1”存储在存储单元230中。

然后,内容再现设备20按照来自内容服务器10的http来请求其中添加了url参数的mpd的url(步骤s108)。将该处理应用于上述示例,内容再现设备20以http请求的形式从内容服务器10请求mpd的url“http://a.com/x.mpd?pd=urn:prmdef-1”。

接收到来自内容再现设备20的请求的内容服务器10以mpd的主体来响应内容再现设备20(步骤s109)。

从内容服务器10中接收到所传输的mpd的主体的内容再现设备20解释所传输的mpd(步骤s110)。可以通过例如再现单元240来执行步骤s110的对mpd的解释。内容再现设备20解释从内容服务器10传输的mpd并且判定将“adaptationset”或“representation/subrepresentation”作为再现目标。

当通过对mpd的解释判定了将“adaptationset”或“representation/subrepresentation”作为再现目标时,则内容再现设备20针对再现目标执行检测处理(步骤s111)。通过例如再现单元240来执行步骤s111的检测处理。具体地,内容再现设备20检测:“adaptationset”或“representation/subrepresentation”是否具有“essentialproperty”;“essentialproperty”是否被指定为属性“schemeiduri”的值(例如,urn:prmdef-1);以及针对在属性“schemeiduri”中指定的uri所要引用的参数描述的解释对于再现处理是否是必需的。此外,内容再现设备20检测uri是否已成为url参数的表示插入的uri。

在对再现目标执行检测处理之后,内容再现设备20使用由url参数指定的uri(例如,urn:prmdef-1)来查询存储单元310中的参数描述(步骤s112)。例如由再现单元240通过通信单元220来执行步骤s112的查询处理。存储单元310以在例如wadl中所描述的相应参数描述的主体来响应内容再现设备20(步骤s113)。

一旦从存储单元310中获取到参数描述的主体,内容再现设备20则判定url参数配置方法,并且获取要被存储在url参数中的内容(步骤s114)。可以通过例如再现单元240来执行步骤s114的处理。当例如在url参数中存储位置信息时,内容再现设备20将由当前位置获取单元260获取的当前位置信息存储在url参数中。

一旦获取到在url参数中所存储的内容,内容再现设备20则产生其中添加了url参数的段的url,并且按照来自内容服务器10的http来请求段(步骤s115)。具体地,内容再现设备20根据在要素“segmenttemplate”的属性“media”中所描述的规则来产生其中添加了url参数的段的url。例如,如果例如存在将url参数插入到部分“substitutionparameter”(即在图11中由附图标记400所标示的、符号“$”所包围的“locationp”)中的规则,则内容再现设备20根据该规则来产生其中添加了url参数的段的url。根据步骤s115的处理,内容再现设备20产生段的url“http://a.com/s.mp4?location=areaa”。

接收到来自内容再现设备20的请求的内容服务器10解释url参数并且以最佳段的主体来响应内容再现设备20(步骤s116)。内容再现设备20再现从内容服务器10接收到的段(步骤s117)。

通过利用内容服务器10和11执行上述一系列处理,内容再现设备20向mpd中所描述的url添加参数,访问根据步骤s115的处理所产生的地址“http://a.com/s.mp4?location=areaa”,并且由此可以获取内容。

<第一实施方式>

(应用了本公开内容的计算机的描述)

上述一系列处理可以通过硬件或软件来执行。当通过软件来执行所述一系列处理时,将构成软件的程序安装在计算机中。这里,计算机包括:并入了专用硬件的计算机、例如可以通过安装各种程序来执行各种功能的通用个人计算机等。

图12是示出使用程序来执行上述一系列处理的计算机的硬件配置的示例的框图。

在计算机中,中央处理单元(cpu)201、只读存储器(rom)202和随机存取存储器(ram)203通过总线204彼此连接。

总线204还与输入和输出接口205相连接。输入和输出接口205与输入单元206、输出单元207、存储单元208、通信单元209和驱动器210相连接。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动可移除介质211,例如磁盘、光盘、磁光盘或半导体存储器。

当cpu201通过输入和输出接口205以及总线204将例如存储在存储单元208中的程序加载到ram203中运行时,在如上述配置的计算机中执行上述一系列处理。

由计算机(cpu201)执行的程序可以通过被记录在用作例如封装介质等的可移除介质211中来提供。此外,可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。

可以通过将可移除介质211加载到驱动器210中并且使用输入和输出接口205来将该程序安装在计算机的存储单元208中。此外,该程序可以经由有线或无线传输介质由通信单元209接收并且被安装在存储单元208中。此外,可以在rom202或存储单元208中预先安装该程序。

注意,由计算机执行的程序可以是以时间顺序的方式按照本说明书中所描述的顺序来执行处理的程序,或者可以是当被调用时并行地或者在必要时刻执行处理的程序等。

<第二实施方式>

(多视角图像编码/多视角图像解码的应用)

可以将上述一系列处理应用于多视角图像编码/多视角图像解码。图13示出了多视角图像编码方案的示例。

如图13所示,多视角图像包括具有多个视角的图像。多视角图像的多个视角包括:基本视角,对于该基本视角,仅使用其自身视角的图像而不使用其他视角的图像来进行编码/解码;以及非基本视角,对于该非基本视角,使用其他视角的图像来进行编码/解码。在非基本视角中,可以使用基本视角的图像,并且可以使用其他非基本视角的图像。

利用上述配置,可以抑制冗余信息的传输,并且可以减少要传输的信息量(编码量)(也就是说,可以抑制编码效率的降级)。

(多视角图像编码设备)

图14是示出执行上述多视角图像编码的多视角图像编码设备的图。如图14所示,多视角图像编码设备600具有编码单元601、另一编码单元602、以及复用单元603。

编码单元601对基本视角图像进行编码,以产生基本视角图像编码流。编码单元602对非基本视角图像进行编码,以产生非基本视角图像编码流。复用单元603对由编码单元601产生的基本视角图像编码流和由编码单元602产生的非基本视角图像编码流进行复用,以产生多视角图像编码流。

可以将编码设备10(图20的编码设备)应用于多视角图像编码设备600的编码单元601和编码单元602。也就是说,在以每个视角进行的编码中,分辨率信息和增强层的默认映射可以得到改善。此外,通过共同使用相同的标志或参数(例如,与处理图像等相关的语法要素),编码单元601和编码单元602可以进行编码(即,可以共享标志或参数),并且因此可以抑制编码效率的降级。

(多视角图像解码设备)

图15示出了执行上述多视角图像解码的多视角图像解码设备的图。如图15所示,多视角图像解码设备610具有逆复用单元611、解码单元612以及另一解码单元613。

逆复用单元611对通过复用基本视角图像编码流和非基本视角图像编码流而获得的多视角图像编码流进行逆复用以提取基本视角图像编码流和非基本视角图像编码流。解码单元612对由逆复用单元611提取的基本视角图像编码流进行解码,以获得基本视角图像。解码单元613对由逆复用单元611提取的非基本视角图像进行编码流进行解码,以获得非基本视角图像。

可以将解码设备110(图26的解码设备)应用于多视角图像解码设备610的解码单元612和解码单元613。也就是说,分辨率信息和增强层的默认映射可以得到改善。此外,通过共同使用相同的标志或参数(例如,与处理图像等相关的语法要素),解码单元612和解码单元613可以进行解码(即,可以共享标志或参数),并且因此可以抑制编码效率的降级。

<第三实施方式>

(分层图像编码/分层图像解码的应用)

可以将上述一系列处理应用于分层图像编码/分层图像解码(可扩展编码/可扩展解码)。图16示出了分层图像编码方案的示例。

分层图像编码(可扩展性编码)涉及将图像划分成多个层(层级化)并且针对每一层进行编码,使得图像数据可以相对于预定参数具有可扩展性。分层图像解码(可扩展解码)是对应于分层图像编码的解码。

如图16所示,在将图像层级化时,针对带来可扩展性的预定参数将一个图像划分成多个图像(层)。也就是说,层级化的图像(分层图像)包括具有多个层级(层)的图像,所述多个层级具有不同的预定参数值。分层图像的多个层是由以下构成:基本层,针对该基本层,仅使用其自己层的图像而不使用其他层的图像来进行编码/解码;以及非基本层(其中的每一个还被称为增强层),针对该非基本层,使用其他层的图像进行编码/解码。非基本层可以使用基本层的图像,或者使用其他非基本层的图像。

在一般情况下,非基本层包括其自己图像与另一层图像的差分图像的数据(差分数据),使得冗余降低。当将图像划分成例如基本层和非基本层(还被称为增强层)这两个层级时,仅利用基本层的数据获得了具有比原始图像较低品质的图像,并且通过组合基本层的数据和非基本层的数据,获得了原始图像(即高品质图像)。

通过如上所述的那样将图像层级化,可以容易地获得根据情况而具有不同品质水平的图像。例如,当仅基本层的图像压缩信息被传输至具有低处理能力的终端(例如移动电话)以再现具有低空间和时间分辨率或低图像品质的动态图像时或者当除了基本层之外的增强层的图像压缩信息被传输至具有高处理能力的终(端例如电视机或个人计算机)以再现具有高空间和时间分辨率或高图像质量的动态图像时,可以在不进行转化代码处理的情况下从服务器传输根据终端或网络的能力的图像压缩信息。

利用上述配置,可以抑制冗余信息的传输,并且可以减少要传输的信息量(编码量)(也就是说,可以抑制编码效率的降级)。

(可扩展参数)

在分层图像编码/分层图像解码(可扩展编码/可扩展解码)中带来可扩展性的参数是任意的。例如,可以将图17中所示的空间分辨率设置为参数(空间可扩展性)。在空间可扩展性方面,每一层具有不同的图像分辨率。也就是说,在该情况下,每个图片被划分成如下两个层级,所述两个层级包括:基本层,其具有比原始图像的空间分辨率低的空间分辨率;以及增强层,当如图17中所示的那样将增强层与基本层合并时从增强层获得原始空间分辨率。层级的数目当然是示例,并且可以将图像划分成任何数目的层级。

此外,作为如上述的带来可扩展性的参数,还可以采用例如时间分辨率(时间可扩展性),如图18中所示。在时间可扩展性方面,每一层具有不同的帧速率。也就是说,在该情况下,每个图片被划分成如下两个层级,所述两个层级包括:基本层,其具有比原始动态图像的帧速率低的帧速率;以及增强层,当如图18中所示的那样将增强层与基本层合并时从增强层获得原始帧速率。层级的数目当然是示例,并且可以将图像划分成任何数目的层级。

此外,作为如上述的带来可扩展性的另一参数,还可以采用例如信噪比(snr)(snr可扩展性)。在snr可扩展性中,每一层具有不同的sn比。也就是说,在该情况下,每个图片被划分成如下两个层级,所述两个层级包括:基本层,其具有比原始图像的信噪比低的信噪比;以及增强层,当如图19中所示的那样将该层与基本层合并时从该层获得原始信噪比。层级的数目当然是示例,并且可以将图像划分成任何数目的层级。

除了上述实施方式之外,还可以采用带来可扩展性的任何参数。例如,作为带来可扩展性的参数,还可以使用比特深度(比特深度可扩展性)。在该比特深度可扩展性中,每一层具有不同的比特深度。在该情况下,例如,基本层由8比特图像构成,并且通过向其添加增强层,可以获得10比特图像。

此外,作为带来可扩展性的参数,还可以使用色度格式(色度可扩展性)。在该色度可扩展性中,每一层具有不同的色度格式。在该情况下,例如,基本层由4:2:0格式的分量图像构成,并且通过向其添加增强层,可以获得4:2:2格式的分量图像。

(分层图像编码设备)

图20是示出执行上述分层图像编码的分层图像编码设备的图。分层图像编码设备620具有编码单元621、另一编码单元622以及复用单元623,如图20所示。

编码单元621对基本层图像进行编码,以产生基本层图像编码流。编码单元622对非基本层图像进行编码,以产生非基本层图像编码流。复用单元623对由编码单元621产生的基本层图像编码流和由编码单元622产生的非基本层图像编码流进行复用,以产生分层图像编码流。

可以将编码设备10(图20的编码设备)应用于分层图像编码设备620的编码单元621和编码单元622。也就是说,分辨率信息和增强层的默认映射可以得到改善。此外,共同使用相同的标志或参数(例如,与处理图像等相关的语法要素),编码单元621和编码单元622可以对帧内预测的滤波处理进行控制(即,可以共享标志或参数),并且因此可以抑制编码效率的降级。

(分层图像解码设备)

图21是示出执行上述分层图像解码的分层图像解码设备的图。分层图像解码设备630具有逆复用单元631、解码单元632以及另一解码单元633,如图21所示。

逆复用单元631对通过复用基本层图像编码流和非基本层图像编码流而获得的分层图像编码流进行逆复用以提取基本层图像编码流和非基本层图像编码流。解码单元632对由逆复用单元631提取的基本层图像编码流进行解码,以获得基本层图像。解码单元633对由逆复用单元631提取的非基本层图像编码流进行解码,以获得非基本层图像。

可以将解码设备110(图26的解码设备)可以应用于分层图像解码设备630的解码单元632和解码单元633。也就是说,分辨率信息和增强层的默认映射可以得到改善。此外,共同使用相同的标志或参数(例如,与处理图像等相关的语法要素),解码单元612和解码单元613可以进行解码(即,可以共享标志或参数),并且因此可以抑制编码效率的降级。

<第四实施方式>

(电视设备的配置的示例)

图22示出应用了本公开内容的电视设备的示意性配置。电视设备900具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部接口单元909。此外,电视设备900具有控制单元910、用户接口单元911等。

调谐器902将由天线901接收到的广播信号调谐至期望的信道以进行解调,并且将所获得的编码比特流输出至解复用器903。

解复用器903从编码比特流提取要观看的节目的视频和音频包,并且将所提取数据包输出至解码器904。此外,解复用器90将电子节目指南(epg)的数据包供应至控制单元910。注意,当执行加扰时,通过解复用器等来取消该加扰。

解码器904对包进行解码处理,并且将从解码处理产生的视频数据和音频数据分别输出至视频信号处理单元905和音频信号处理单元907。

视频信号处理单元905根据用户设置等对视频数据进行噪声去除、视频处理。视频信号处理单元905产生要在显示单元906上显示的节目的视频数据、从基于通过网络提供的应用的处理而得到的图像数据。此外,视频信号处理单元905产生用于显示菜单画面(如选择项目的菜单画面)的视频数据,并且将数据叠加到节目的视频数据上。视频信号处理单元905基于如上所述产生的视频数据来产生驱动信号以驱动显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号来驱动显示设备(例如液晶显示元件)以显示节目等的视频。

音频信号处理单元907通过以下来进行音频输出:对音频数据进行预定处理(例如噪声去除)、对经处理的音频数据进行da转换处理或放大处理以及将数据提供给扬声器908。

外部接口单元909是用于将外部设备与网络连接的接口,并且执行数据例如视频数据和音频数据的发送和接收。

控制单元910与用户接口单元911相连接。用户接口单元911被配置成操纵开关或远程控制信号接收单元,并且根据用户操作来将操作信号提供给控制单元910。

控制单元910使用中央处理单元(cpu)、存储器等来进行配置。存储器存储由cpu执行的程序,cpu进行处理所需的各种数据、epg数据、通过网络获取的数据等。在预定时刻例如当电视设备900被接通时,存储在存储器中的程序由cpu读出并执行。通过执行程序,cpu控制各个单元,使得电视设备900根据用户操作来进行操作。

注意,在电视设备900中,提供了总线912,用以将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等与控制单元910连接。

如上述那样配置的电视设备的解码器904设置有本申请的解码设备(解码方法)的功能。出于该原因,在对编码流的解码处理中,分辨率信息和增强层的默认映射可以得到改善。

<第五实施方式>

(移动电话的配置的示例)

图23示出应用了本公开内容的移动电话的示意性配置。移动电话920具有通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录和再现单元929、显示单元930以及控制单元931。所述构成要素通过总线933彼此连接。

此外,天线921连接至通信单元922,而扬声器924和麦克风925连接至音频编解码器923。此外,操作单元932连接至控制单元931。

移动电话920在各种模式例如语音呼叫模式、数据通信模式等下执行各种操作,例如发送和接收音频信号、发送和接收电子邮件和图像数据、捕获图像、记录数据等。

在语音呼叫模式下,通过音频编解码器923将从麦克风925产生的音频信号转换成音频数据或压缩成数据,并且将数据提供给通信单元922。通信单元922对音频数据执行调制处理、频率转换处理等以产生传输信号。此外,通信单元922将传输信号提供给天线921以将信号传输至未示出的基站。此外,通信单元922对用天线921接收到的接收信号进行放大或频率转换处理和解调处理,并且将所获得的音频数据提供给音频编解码器923。音频编解码器923对音频数据进行解压缩或者将音频数据转换成模拟音频信号,并且将数据输出至扬声器924。

此外,当在数据通信模式下进行邮件传输时,控制单元931通过操作单元932的操作来接收字符数据输入,并且将输入字符显示在显示单元930上。此外,控制单元931基于来自操作单元932的用户指令等来产生邮件数据,并且将数据提供给通信单元922。通信单元922对邮件数据进行调制处理或频率转换处理,并且从天线传输921传输所获得的传输信号。此外,通信单元922对用天线921接收到的接收信号进行放大或频率转换处理和解调处理,以恢复邮件数据。该邮件数据被提供给显示单元930并且电子邮件的内容被显示。

注意,移动电话920还可以使用记录和再现单元929使所接收到的邮件数据被存储在存储介质中。存储介质是任意的可重写存储介质。例如,存储介质是半导体存储器如ram或内置闪存存储器、或可移除介质如硬盘、磁盘、磁光盘、光盘、通用串行总线(usb)存储器、或存储卡。

当在数据通信模式下传输图像数据时,由相机单元926产生的图像数据被提供给图像处理单元927。图像处理单元927对图像数据进行编码处理以产生编码数据。

解复用单元928以预定方案对由图像处理单元927产生的编码数据和从音频编解码器923提供的音频数据进行复用,并且将该数据提供给通信单元922。通信单元922对复用数据进行调制处理、频率转换处理等,并且从天线921传输所获得的传输信号。此外,通信单元922对用天线921接收到的接收信号进行放大或频率转换处理和解调处理以恢复复用数据。该复用数据被提供给解复用单元928。解复用单元928对复用数据进行解复用,并且将编码数据提供给图像处理单元927以及将音频数据提供给音频编解码器923。图像处理单元927对编码数据进行解码处理以产生图像数据。将该图像数据提供给显示单元930,并且对接收到的图像进行显示。音频编解码器923将音频数据转换成模拟音频信号,并且将该信号提供给扬声器924以输出所接收到的声音。

如上述那样配置的移动电话设备的图像处理单元927用作本申请的编码设备和解码设备(使用编码方法和解码方法)。出于该原因,分辨率信息和增强层的默认映射可以得到改善。

<第六实施方式>

(记录和再现设备的配置的示例)

图24示出应用了本公开内容的记录和再现设备的示意性配置。记录和再现设备940将例如所接收到的广播节目的音频数据和视频数据记录在记录介质上,并且在由用户指示的时刻将所记录的数据提供给用户。此外,记录和再现设备940还可以从例如另一设备获取音频数据和视频数据,并且将数据记录在记录介质上。此外,通过对记录介质上所记录的音频数据和视频数据进行解码和输出,记录和再现设备940可以显示图像,并且从监视器设备等输出声音。

记录和再现设备940具有调谐器941、外部接口单元942、编码器943、硬盘驱动器(hdd)单元944、磁盘驱动器945、选择器946、解码器947、屏上显示(osd)单元948、控制单元949以及用户接口单元950。

调谐器941将用未图示的天线接收到的广播信号调谐至期望的信道。调谐器941将通过对期望信道的接收信号进行解调所获得的编码比特流输出至选择器946。

外部接口单元942被配置成ieee1394接口、网络接口单元、usb接口、闪速存储器接口等中的至少一个。外部接口单元942是用于连接外部设备、网络、存储卡等以接收要记录的数据例如视频数据或音频数据的接口。

编码器943在数据未被编码时以预定方案对从外部接口单元942提供的视频数据或音频数据进行编码,并且将编码比特流输出给选择器946。

hdd单元944将视频和声音的内容数据、各种程序、其他类型的数据等记录在内置硬盘中,并且在再现时从硬盘中读出这些数据。

盘驱动器945对用于加载光盘的信号进行记录和再现。光盘包括例如dvd盘(dvd-视频、dvd-ram、dvd-r、dvd-rw、dvd+r、dvd+rw等)、蓝光(注册商标)盘等。

在记录视频或声音时,选择器946从调谐器941或编码器943中选择任何编码比特流,并且将该编码比特流提供给hdd单元944和盘驱动器945中的任一个。此外,在再现视频或声音时,选择器946将从hdd单元944或盘驱动器945输出的编码比特流提供给解码器947。

解码器947对编码比特流进行解码处理。解码器947将通过执行解码处理而产生的视频数据提供给osd单元948。此外,解码器947输出通过执行解码处理而产生的音频数据。

osd单元948产生用于显示菜单画面以选择项目等的视频数据,并且将该视频数据叠加到从解码器947输出的视频数据,以供输出。

控制单元949连接至用户接口单元950。用户接口单元950被配置成操纵开关、远程控制信号接收单元等,并且根据用户操作将操作信号输出至控制单元949。

控制单元949使用cpu、存储器等来进行配置。存储器存储由cpu执行的程序或cpu执行处理所需的各种数据。在预定时刻例如在记录和再现设备940被接通时等,存储在存储器中的程序由cpu读出并执行。通过执行程序,cpu控制各个单元,使得记录和再现设备940根据用户操作进行操作。

如上述那样配置的记录和再现设备的编码器943用作本申请的编码设备(使用编码方法)。出于该原因,在编码流的编码过程中,分辨率信息和增强层的默认映射可以得到改善。此外,解码器947用作本申请的解码设备(使用解码方法)。出于该原因,在编码流的解码过程中,分辨率信息和增强层的默认映射可以得到改善。

<第七实施方式>

(成像设备的配置的示例)

图25示出应用了本公开内容的成像设备的示意性配置。成像设备960捕获对象的图像、使得对象的图像显示在显示单元上、或者以图像数据的形式将图像记录在记录介质上。

成像设备960具有光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、osd单元969以及控制单元970。此外,用户接口单元971连接至控制单元970。此外,图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、osd单元969、控制单元970等经由总线972彼此连接。

光学块961使用聚焦透镜、光圈机构等来进行配置。光学块961使对象的光学图像被形成在成像单元962的成像平面上。成像单元962使用ccd或cmos图像传感器来进行配置,并且成像单元962根据通过光电转换的光学图像来产生电信号,并且将信号提供给相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号进行各种相机信号处理,例如拐点校正、伽马校正或色彩校正。相机信号处理单元963将已经经过相机信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从相机信号处理单元963提供的图像数据进行编码处理。图像数据处理单元964将通过执行编码处理所产生的编码数据提供给外部接口单元966或者介质驱动器968。此外,图像数据处理单元964对从外部接口单元966或者介质驱动器968提供的编码数据进行解码处理。图像数据处理单元964将通过执行解码处理所产生的图像数据提供给显示单元965。此外,图像数据处理单元964执行将从相机信号处理单元963提供的图像数据提供给显示单元965的处理,或者图像数据处理单元964将从osd单元969获取的用于显示的数据叠加到图像数据上并且将数据提供给显示单元965。

osd单元969产生用于显示例如由符号、字符或数字构成的菜单画面或图标的数据,并且将该数据输出至图像数据处理单元964。

外部接口单元966被配置成例如usb输入和输出终端等,并且当要打印图像时,将外部接口单元966连接至打印机。此外,当需要适当地加载可移除介质例如磁盘或光盘时将外部接口单元966连接至驱动器,或者当需要时安装从可移除介质中读出的计算机程序。此外,外部接口单元966具有与预定网络(例如lan或因特网)连接的网络接口。控制单元970可以根据来自用户接口单元971的指令从介质驱动器968中读出编码数据,并且将该数据提供给经由网络与外部接口单元966连接的其他设备。此外,控制单元970可以获取经由网络通过外部接口单元966从另一设备提供的编码数据或图像数据,或者可以将该数据提供给图像数据处理单元964。

作为在介质驱动器968中驱动的记录介质,例如可以使用任何可读写的可移除介质,如磁盘、磁光盘、光盘或半导体存储器。此外,用作可移除介质的记录介质的类型是任意的,并且记录介质可以是磁带设备、光盘或存储卡。记录介质当然可以是非接触型集成电路(ic)卡等。

此外,可以对介质驱动器968和记录介质进行集成以配置非便携式记录介质等,例如内置硬盘驱动器、固态驱动器(ssd)等。

控制单元970使用cpu来进行配置。存储器单元967存储由控制单元970执行的程序或控制单元970执行处理所需的各种数据等。在预定时刻例如在成像设备960被接通时,存储在存储器单元967中的程序由控制单元970读出并执行。通过执行程序,控制单元970控制各个单元,使得成像设备960根据用户操作进行操作。

如上述那样配置的成像设备的图像数据处理单元964作为本申请的编码设备和解码设备(使用编码方法和解码方法)。出于该原因,在编码流的编码或解码过程中,分辨率信息和增强层的默认映射可以得到改善。

<可扩展编码的应用示例>

(第一系统)

接下来,将描述经历可扩展编码(分层编码)的可扩展编码数据的具体用途的示例。在例如图26中所示的示例中,将可扩展编码用于选择要传输的数据。

在图26中所示的数据传输系统1000中,分发服务器1002读出在可扩展编码数据存储单元1001中存储的可扩展编码数据,并且经由网络1003将该数据分发给终端设备,例如个人计算机1004、av设备1005、平板设备1006、移动电话1007等。

在该情况下,分发服务器1002选择并传输针对终端设备的能力、通信环境具有合适品质的编码数据。即使分发服务器1002传输具有不必要的高品质的数据,终端设备仍然可能无法获得高品质的图像,并且因此存在以下问题:该传输引起延迟或溢出。此外,占据不必要的通信频带或在终端设备上的负载的不必要的增加也是问题。相反,如果分发服务器1002传输具有不必要的低品质的数据,则存在以下问题:终端设备无法获得具有合适品质的图像。出于该原因,当编码数据针对在终端设备的能力、通信环境等方面具有合适品质时,分发服务器1002适当地读出并传输在可扩展编码数据存储单元1001中所存储的可扩展编码数据。

例如,可扩展编码数据存储单元1001存储已经经过可扩展编码的可扩展编码数据(bl+el)1011。可扩展编码数据(bl+el)1011是:包括基本层和增强层二者的编码数据;以及如下数据,可以通过解码从该数据获得基本层图像和增强层图像二者。

分发服务器1002针对数据所传输至的终端设备的性能、通信环境等来选择合适的层,并且读出该层的数据。例如,分发服务器1002从可扩展编码数据存储单元1001读出高品质的可扩展编码数据(bl+el)1011,并且在不作改变的情形下数据传输至具有高处理性能的个人计算机1004或平板设备1006。另一方面,分发服务器1002从可扩展编码数据(bl+el)1011提取例如基本层的数据,并且将该数据作为与可扩展编码数据(bl+el)1011以及可扩展编码数据(bl)1012具有内容相同的数据传输至具有低处理性能的av设备1005或移动电话1007,其中,可扩展编码数据(bl)1012的品质低于可扩展编码数据(bl+el)1011的品质。

由于可以通过使用如上所述的可扩展编码数据来容易地调节数据量,所以能够抑制延迟或溢出的发生,并且能够抑制在终端设备或通信介质上的负载的不必要的增加。此外,由于在可扩展编码数据(bl+el)1011中层之间的冗余度减少,所以与当将每一层的编码数据设置成单独的数据时相比,数据量可以降低较多。因此,可以更有效地利用可扩展编码数据存储单元1001的存储区域。

注意,由于可以应用各种设备作为终端设备如个人计算机1004、av设备1005、平板设备1006以及移动电话1007,所以每个设备具有不同的硬件性能。此外,由于由终端设备执行的应用也各不相同,所以软件性能也不同。此外,对于用作通信介质的网络1003,可以应用有线或无线通信介质如因特网或局域网(lan)或者包括有线或无线这两种通信类型在内的所有通信电路线,并且其数据传输性能不同。此外,存在以下问题:性能根据其他通信类型而发生改变。

因此,分发服务器1002可以被设置成在开始数据传输之前与用作数据传输目的地的终端设备进行通信,以获得与终端设备的能力(例如在终端设备的硬件性能或由终端设备要执行应用(软件)性能)相关的信息和与通信环境(例如网络1003的可用带宽等)相关的信息。因此,可以将分发服务器1002设置成基于所获得的信息来选择合适的层。

注意,可以对终端设备进行设置以提取层。例如,个人计算机1004可以被设置成对传输的可扩展编码数据(bl+el)1011进行解码,以显示基本层的图像或者显示增强层的图像。此外,例如,个人计算机1004可以被设置成从传输的可扩展编码数据(bl+el)1011提取基本层的可扩展编码数据(bl)1012,以存储数据、将数据传输至另一设备或对基本层的图像进行解码和显示。

可扩展编码数据存储单元1001、分发服务器1002、网络1003和终端设备的数目当然都是任意的。此外,虽然描述了分发服务器1002将数据传输至终端设备的示例,但是使用示例不限于此。可以将任何系统应用于数据传输系统1000,只要该系统是如下系统即可:在已经过可扩展编码的编码数据被传输至终端设备时,根据终端设备的能力、通信环境等来选择和传输合适的层。

(第二系统)

此外,如在例如图27中所示的示例中的那样,可扩展编码被用于通过多个通信介质进行传输。

在图27中所示的数据传输系统1100中,广播站1101通过地面广播1111来传输基本层的可扩展编码数据(bl)1121。此外,广播站1101通过包括有线或无线通信网络或这两种通信网络在内的任意网络1112来传输(例如打包和传输)增强层的可扩展编码数据(el)1122。

终端设备1102具有接收由广播站1101广播的地面广播1111的功能,并且因此终端设备1102接收通过地面广播1111传输的基本层的可扩展编码数据(bl)1121。此外,终端设备1102还具有经由网络1112进行通信的通信功能,并且因此终端设备1102接收通过网络1112传输的增强层的可扩展编码数据(el)1122。

终端设备1102对从地面广播1111获取的基本层的可扩展编码数据(bl)1121进行解码,以获得、存储基本层的图像、或将基本层的图像传输至另一设备。

此外,根据用户指示等,例如终端设备1102将通过地面广播1111获取的基本层的可扩展编码数据(bl)1121与通过网络1112获取的增强层的可扩展编码数据(el)1122进行合并以获得可扩展编码数据(bl+el),并且对经合并的数据进行解码,以获得、储存增强层的图像、或将增强层的图像传输至另一设备。

如上所述,可以例如针对每一层经由不同通信介质来传输可扩展编码数据。因此,能够分配负载,并且能够抑制延迟或溢出的发生。

此外,可以根据情况针对每一层选择在传输中所使用的通信介质。例如,可以通过具有宽带宽的通信介质来传输相对较大数据量的可扩展编码数据(bl)1121,以及可以通过具有窄带宽的通信介质来传输相对较小数据量的增强层的可扩展编码数据(el)1122。此外,对增强层的可扩展编码数据(el)1122进行传输的通信介质可以被设置成根据网络1112的可用带宽而切换至网络1112或地面广播1111。当然,这同样适用于任一层的数据。

通过如上所述的那样执行控制,能够进一步抑制数据传输负载的增加。

当然,层的数目是任意的,并且在传输中使用的通信介质的数目也是任意的。此外,用作数据分发目的地的终端设备1102的数目是任意的。此外,虽然上面描述了从广播站1101广播的示例,但是使用示例不限于此。任何系统都可以应用于数据传输系统1100,只要该系统是如下系统即可:在该系统中,已经过可扩展编码的编码数据被划分成以层为单位的多个块并且经由多条线被传输。

(第三系统)

此外,在例如图28所示的示例中,将可扩展编码用于编码数据的存储中。

在图28所示的成像系统1200中,成像设备1201对通过捕获对象1211的图像所获得的图像数据进行可扩展编码,并且将数据提供给可扩展编码数据存储设备1202作为可扩展编码数据(bl+el)1221。

可扩展编码数据存储设备1202以根据情况所决定的品质的方式来存储从成像设备1201提供的可扩展编码数据(bl+el)1221。例如,在正常情况下,可扩展编码数据存储设备1202从可扩展编码数据(bl+el)1221提取基本层的数据,并且以低品质和较少信息量的方式存储该数据作为基本层的可扩展编码数据(bl)1222。另一方面,例如,在特殊情况下,可扩展编码数据存储设备1202以高品质和较大数据量的方式来存储可扩展编码数据(bl+el)1221。

由于在上述设置情况下可扩展编码数据存储设备1202可以仅在必要时保存高品质的图像,所以能够抑制数据量的增加,并且能够提高存储区域的使用效率,同时能够抑制由图像品质的降级引起的图像值的降低。

假定成像设备1201为例如监视相机。当监视目标(例如闯入者)没有被包括在捕获图像中时(在正常情况下),捕获图像的内容很可能并不重要,因此优先考虑数据量的减少,并且将图像数据(可扩展编码数据)以低品质进行存储。另一方面,当在捕获图像中包括作为对象1211的监视目标时(在特殊情况下),捕获图像的内容很可能是重要的,因此优先考虑图像品质,并且将图像数据(可扩展编码数据)以高品质的方式进行存储。

注意,可以由例如可扩展编码数据存储设备1202通过分析图像来确定正常情况和特殊情况。此外,可以由成像设备1201来确定正常情况和特殊情况,并且可以将确定的结果传输至可扩展编码数据存储设备1202。

注意,用于确定正常情况和特殊情况的标准是任意的,并且用作确定标准的图像的内容是任意的。当然,可以将除了图像的内容之外的条件设置成用于确定的标准。例如,可以根据大小、波形等、或记录的声音来切换状态,或者可以以预定间隔来切换状态,或者可以根据来自外部的指令(例如用户的指令)来切换状态。

此外,虽然以上描述了其中对正常情况和特殊情况这两种状态进行切换的示例,但是状态的数目是任意的,并且可以对三个或更多个状态(例如正常情况、略特殊情况、特殊情况、特别特殊情况等)进行切换。然而,要切换的状态的数目的上限取决于可扩展编码数据的层的数目。

此外,成像设备1201可以根据状态来判定可扩展编码数据的层的数目。例如,在正常情况下,成像设备1201可以产生具有低品质和小数据量的基本层的可扩展编码数据(bl)1222,并且将该数据提供给可扩展编码数据存储设备1202。此外,在特殊情况下,例如,成像设备1201可以产生具有高品质和大数据量的基本层的可扩展编码数据(bl+el)1221,并且将该数据提供给可扩展编码数据存储设备1202。

虽然在上述说明中例举了监视相机,但是成像系统1200的应用是任意的并且不限于监视相机。

<第八实施方式>

(其他示例)

虽然以上描述了应用了本公开内容的设备、系统等的示例,但是本公开内容不限于此,并且本公开内容可以被实现为在设备或构成系统的设备中所安装的任何配置,所述设备或构成系统的设备例如以下形式的处理器:系统大规模集成电路(lsi)、使用多个处理器的模块、使用多个模块的单元、通过向该单元进一步添加其他功能所获得的集(即设备的部分配置)等。

(视频集的配置的示例)

将参照图29来描述其中本公开内容被实现为集的示例。图29示出应用了本公开内容的视频集的示意性配置的示例。

随着近年来电子装置逐渐变得具有多功能,当在开发和制造阶段中制备每个装置的某些配置以供出售、供应等时,不仅存在将这样的装置配置成具有一个功能的情况,而且还存在将具有相关功能的多个配置与多个功能相结合并且实现为一个集的许多情况。

将图29中示出的视频集1300通过将具有图像编码功能和图像解码功能的设备(其可以具有功能中之一或二者)与具有与前述功能相关的其他功能进行结合而被配置成如上所述具有多功能。

如图29中所示,视频集1300具有如下模块组,所述模块组包括:视频模块1311、外部存储器1312、电源管理模块1313、前端模块1314等、以及具有相关功能例如连接装置(connectivity)1321、相机1322、传感器1323等的设备。

模块是将若干相关的部件化功能聚集在一起以提供凝聚性功能的部件的形式。具体物理配置是任意的;然而,其被认为是如下集成:例如各自具有功能的多个处理器、电子电路元件(例如电阻和电容)、以及其他设备被设置在电路板上。此外,还考虑通过将模块与另一模块、处理器等相结合来制成新的模块。

在图29的示例中,视频模块1311是具有与图像处理相关的功能的配置的组合,并且具有应用处理器、视频处理器、宽带调制解调器1333以及rf模块1334。

处理器是使用系统级芯片(soc)与具有预定功能的配置相集成的半导体芯片,并且处理器还被称为例如系统大规模集成电路(lsi)等。具有预定功能的配置还可以是逻辑电路(硬件配置);可以是通过使用要素(软件配置)连同cpu、rom和ram一起执行的程序;或者可以是这两种配置的组合。例如,处理器可以具有逻辑电路、cpu、rom以及ram等,并且可以利用逻辑电路(硬件配置)来实现某些功能,或者可以利用由cpu执行的程序(软件配置)实现其他功能。

图29的应用处理器1331是执行与图像处理相关的应用的处理器。由应用处理器1331执行的应用不仅可以进行运算处理,而且在必要时还可以控制视频模块1311例如视频处理器1332内部和外部的配置,以实现预定功能。

视频处理器1332是具有与图像编码和图像解码(中的一个或二者)相关的功能的处理器。

宽带调制解调器1333是如下处理器(或模块),该处理器(或模块)执行与通过宽带线(例如因特网或公共电话线网络)进行的有线或无线(或二者)宽带通信相关的处理。例如,宽带调制解调器1333通过执行数字调制等来将要传输的数据(数字信号)转换成模拟信号,或者通过执行解调来将接收到的模拟信号转换成数据(数字信号)。例如,宽带调制解调器1333可以数字地调制/解调任意信息,例如要由视频处理器1332处理的图像数据、通过对图像数据进行编码所获得的流、应用程序、或设定数据。

rf模块1334是对经由天线发送和接收的射频(rf)信号执行频率转换、调制和解调、放大、滤波处理等的模块。例如,rf模块1334通过对由宽带调制解调器1333产生的基带信号进行频率转换等来产生rf信号。此外,rf模块1334例如通过对经由前端模块1314接收的rf信号进行频率转换来产生基带信号。

注意,如图29中用虚线1341所示的,应用处理器1331和视频处理器1332可以被集成以构成一个处理器。

外部存储器1312是设置于视频模块1311外部的模块,该外部存储器1312具有由视频模块1311使用的存储设备。外部存储器1312的存储设备可以被实现为任何物理配置,但是通常在存储大量数据(例如以帧为单位的图像数据)时使用,因此期望实现具有相对廉价且高容量的半导体存储器(例如动态随机存取存储器(dram))的存储设备。

电力管理模块1313管理和控制向视频模块1311(视频模块1311内的各构成元件)的电力供给。

前端模块1314是向rf模块1334提供前端功能的模块(在天线侧用作发送和接收端的电路)。前端模块1314具有例如天线单元1351、滤波器1352以及放大单元1353,如图21中所示。

天线单元1351被配置有用于发送和接收无线信号的天线及其外围装置。天线单元1351传输从放大单元1353提供的信号作为无线电信号,并且将接收到的无线电信号提供给滤波器1352作为电信号(rf信号)。滤波器1352对经由天线单元1351所接收到的rf信号执行滤波处理等,并且将经处理的rf信号提供给rf模块1334。放大单元1353对从rf模块1334提供的rf信号进行放大,并且将该信号提供给天线单元1351。

连接装置1321是具有与外部进行连接的功能的模块。连接装置1321的物理配置是任意的。连接装置1321例如配置有除了宽带调制解调器1333所对应的通信标准的通信功能之外的通信功能、外部输入和输出端子等。

例如,连接装置1321可以具有通信功能和天线,该通信功能基于无线通信标准例如蓝牙(注册商标)、ieee802.11(例如无线保真(wi-fi;注册商标)、近场通信(nfc)、或红外数据协会(irda),所述天线基于该标准来发送和接收信号。此外,连接装置1321可以具有例如如下模块,该模块具有基于有线通信标准(例如通用串行总线(usb)、或高清晰度多媒体接口(hdmi;注册商标))的通信功能或基于上述标准的终端。此外,连接装置1321可以具有例如模拟输入和输出终端等的其他数据(信号)传输功能。

注意,连接装置1321可以被设置成包括用作数据(信号)传输目的地的设备。例如,连接装置1321可以被设置成具有驱动器(其不仅包括可移除介质的驱动器而且还包括硬盘的驱动器、固态驱动器(ssd)、网络连接存储装置(nas)等),该驱动器针对记录介质例如磁盘、光盘、磁光盘或半导体存储器来读出并写入数据。此外,连接装置1321可以被设置成具有图像或音频输出设备(监视器、扬声器等)。

相机1322是具有捕获对象并获得对象的图像数据的功能的模块。例如,由相机1322进行捕获而获得的图像数据被提供给视频处理器1332并且由视频处理器1332进行编码。

传感器1323是具有例如声音传感器、超声传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、震动传感器、温度传感器等的任意感测功能的模块。例如,由传感器1323检测到的数据被提供给应用处理器1331并且由应用程序使用等。

以上描述为模块的配置可以被实现为处理器,或者相反地描述为处理器的配置可以被实现为模块。

在具有上述配置的视频集1300中,可以如下面将要描述的那样将本公开内容应用于视频处理器1332。因此,视频集1300可以被实现为本公开内容所应用的集。

(视频处理器的配置的示例)

图30示出应用了本公开内容的视频处理器1332(图29的视频处理器)的示意性配置的示例。

在图30的示例中,视频处理器1332具有:接收视频信号和音频信号的输入以及以预定方案对信号进行编码的功能;以及对经编码的视频数据和音频数据进行解码并且输出视频信号和音频信号以用于再现的功能。

如图30中所示,视频处理器1332具有视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404、帧存储器1405、以及存储器控制单元1406。此外,视频处理器1332具有编码/解码引擎1407、视频基本流(es)缓存器1408a和1408b、以及音频es缓存器1409a和1409b。此外,视频处理器1332具有音频编码器1410、音频解码器1411、复用器(mux)1412、解复用器(dmux)1413、以及流缓存器1414。

视频输入处理单元1401获取从例如连接装置1321(图29)输入的视频信号,并且将该信号转换成数字图像数据。第一图像放大和缩小单元1402对图像数据进行格式转换、图像放大或缩小处理等。第二图像放大和缩小单元1403根据经由视频输出处理单元1404将数据输出至的目的地的格式来对图像数据进行图像放大或缩小处理,或者第二图像放大和缩小单元1403以与第一图像放大和缩小单元1402相同的方式执行格式转换、图像放大或缩小处理等。视频输出处理单元1404对图像数据进行格式转换、向模拟信号的转换等,并且将数据输出至例如的连接装置1321(图29)作为再现视频信号。

帧存储器1405是用于被视频输入处理单元1401、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403、视频输出处理单元1404、以及编码/解码引擎1407共享的图像数据的存储器。帧存储器1405被实现为半导体存储器例如dram等。

存储器控制单元1406接收来自编码/解码引擎1407的同步信号,并且根据被写入访问管理表1406a中的对帧存储器1405的访问调度来控制对帧存储器1405的访问以便写入和读出。由存储器控制单元1406根据在编码/解码引擎1407、第一图像放大和缩小单元1402、第二图像放大和缩小单元1403等中被执行的处理来更新访问管理表1406a。

编码/解码引擎1407执行图像数据的编码处理和视频流的解码处理,该视频流是通过对图像数据进行编码而获得的数据。例如,编码/解码引擎1407对从帧存储器1405读出的图像数据进行编码,并且将数据按顺序写入视频es缓存器1408a中作为视频流。此外,例如,编码/解码引擎1407从视频es缓存器1408b中按顺序读出视频流,并且将数据按顺序写入帧存储器1405中作为图像数据。编码/解码引擎1407将帧存储器1405用作进行这样的编码和解码的工作区域。此外,编码/解码引擎1407在例如对每个微块的处理开始时向存储器控制单元1406输出同步信号。

视频es缓存器1408a缓存由编码/解码引擎1407产生的视频流,并且将该流提供给复用器(mux)1412。视频es缓存器1408b缓存从解复用器(dmux)1413提供的视频流,并且将该流提供给编码/解码引擎1407。

音频es缓存器1409a缓存由音频编码器1410产生的音频流,并且将该流提供给复用器(mux)1412。音频es缓存器1409b缓存从解复用器(dmux)1413提供的音频流,并且将该流提供给音频解码器1411。

音频编码器1410例如对从例如连接装置1321(图29)等输入的音频信号进行数字转换,并且以预定方案(例如mpeg音频方案、audiocode3号(ac3)方案等)对该信号进行编码。音频编码器1410按顺序写入音频流,该音频流是通过对音频es缓存器1409a中的音频信号进行编码而获得的数据。音频解码器1411对从音频es缓存器1409b提供的音频流进行解码、进行例如向模拟信号的转换,并且将该信号提供给例如连接装置1321(图29)等作为再现音频信号。

复用器(mux)1412对视频流和音频流进行复用。一种用于此复用的方法(即,由复用所产生的比特流的格式)是任意的。此外,在复用期间,复用器(mux)1412还可以向比特流添加预定报头信息等。也就是说,复用器(mux)1412可以通过复用来转换流的格式。通过例如对视频流和音频流进行复用,复用器(mux)1412将所述流转换成传输流,该传输流是具有传输格式的比特流。此外,通过对视频流和音频流进行复用,例如,复用器(mux)1412将所述流转换成具有用于记录的文件格式的数据(文件数据)。

解复用器(dmux)1413对通过使用下述方法复用视频流和音频流而获得的比特流进行解复用:所述方法对应于由复用器(mux)1412执行的复用。也就是说,解复用器(dmux)1413从所述比特流中提取视频流和音频流,所述比特流是从流缓存器1414(其将比特流分成视频流和音频流)读出。解复用器(dmux)1413可以通过解复用(对复用器(mux)1412执行的转换进行逆转换)来转换流的格式。例如,解复用器(dmux)1413可以获取从例如连接装置1321、宽带调制解调器1333等(所述二者均在图29中)经由流缓存器1414提供的传输流,并且通过解复用将该流转换成视频流和音频流。此外,例如,解复用器(dmux)1413可以通过例如连接装置1321(图29)经由流缓存器1414获取从各种记录介质读出的文件数据,并且通过解复用将该数据转换成视频流和音频流。

流缓存器1414缓存比特流。例如,流缓存器1414缓存从复用器(mux)1412提供的传输流,并且在预定时刻或基于来自外部的请求等将该流提供给例如连接装置1321、宽带调制解调器1333(所述二者都在图29中)等。

此外,例如,流缓存器1414缓存从复用器(mux)1412提供的文件数据,并且在预定时刻或者基于来自外部的请求等将该数据提供给例如连接装置1321(图29)等,以使数据被记录在任意的各种记录介质上。

此外,流缓存器1414缓存经由例如连接装置1321、宽带调制解调器1333(所述二者都在图29中)等而获得的传输流,并且在预定时刻或基于来自外部的请求等将该流提供给解复用器(dmux)1413。

此外,流缓存器1414缓存经由例如(图29的)连接装置1321等从任何各种记录介质读出的文件数据,并且在预定时刻或基于来自外部的请求等将该数据提供给解复用器(dmux)1413。

接下来,将描述具有此配置的视频处理器1332的操作的示例。例如,在视频输入处理单元1401中以预定格式(例如ycbcr格式4:2:2)将从连接装置1321(图29)等输入至视频处理器1332的视频信号被转换成数字图像数据,并且按顺序写入帧存储器1405中。该数字图像数据由第一图像放大和缩小单元1402或第二图像放大和缩小单元1403读出,以预定格式(例如ycbcr格式4:2:0)进行格式转换和放大或缩小处理,然后再次被写入帧存储器1405中。该图像数据由编码/解码引擎1407进行编码,并且被写入视频es缓存器1408a中作为视频流。

此外,从连接装置1321(图29)输入至视频处理器1332的音频信号由音频编码器1410进行编码,然后被写入音频es缓存器1409a中,作为音频流。

视频es缓存器1408a的视频流和音频es缓存器1409a的音频流由复用器(mux)1412读出和复用从而被转换成传输流、文件数据等。由复用器(mux)1412产生的传输流被缓存在流缓存器1414中,然后经由例如连接装置1321、宽带调制解调器1333(所述二者都在图29中)等被输出至外部网络。此外,由复用器(mux)1412产生的文件数据被缓存在流缓存器1414中,并且被输出至例如连接装置1321(图29)从而被记录在任意的各种记录介质上。

此外,从外部网络经由例如连接装置1321、宽带调制解调器1333(所述二者都在图29中)等输入至视频处理器1332的传输流被缓存在流缓存器1414中,然后由解复用器(dmux)1413进行解复用。此外,例如,经由连接装置1321(图29)从任意的各种记录介质读出并且被输入至视频处理器1332的文件数据被缓存在流缓存器1414中,然后由解复用器(dmux)1413进行解复用。也就是说,输入至视频处理器1332的传输流或文件数据由解复用器(dmux)1413分离成视频流和音频流。

经由音频es缓存器1409b将音频流提供给音频解码器1411以进行解码,从而使音频信号再现。此外,视频数据流被写入视频es缓存器1408b中,然后由编码/解码引擎1407按顺序读出以进行解码,并且被写入帧存储器1405中。解码图像数据经过由第二图像放大和缩小单元1403执行的放大和缩小处理,并且被写入帧存储器1405中。然后,解码图像数据由视频输出处理单元1404读出,以预定格式(例如ycbcr格式4:2:2)进行格式转换,并且进一步被转换成模拟信号,从而使视频信号再现,以供输出。

注意,本公开内容的编码/解码引擎1407(即,根据上述各实施方式的图像编码设备和图像解码设备的功能)可以以硬件的形式(例如逻辑电路)、以软件的形式(例如嵌入式程序)或以这两种形式来实现。

<6.结论>

根据以上描述的本公开内容的实施方式的内容服务器11向已请求内容再现的内容再现设备20传输mpd的url的信息。在那时,内容服务器11通过添加如下查询参数来向内容再现设备20传输mpd的url的信息,在该查询参数中用于使内容再现设备20添加参数的定义信息被指定到mpd的url的末端。

一旦获取到mpd,内容再现设备20可以引用由内容服务器11指定的定义信息,并且向mpd中所指定的内容的段的url添加参数。然后,由于被致使添加参数的内容再现设备20,内容服务器10可以根据内容再现设备20的环境来提供内容或重定向。

当期望由内容再现设备20添加参数或者期望改变要添加的参数时,根据以上描述的本公开内容的实施方式的内容服务器11可以在不改变mpd的情况下根据内容再现设备20的执行环境来使内容再现设备20添加合适的参数。

还可以产生如下计算机程序,该计算机程序在设置于对内容服务器10和内容再现设备20中的硬件——例如中央处理单元(cpu)、rom和随机存取存储器(ram)——上实施与内容服务器10和内容再现设备20的上述要素等同的功能。此外,还提供了存储计算机程序的存储介质。

以上参照附图描述了本公开内容的优选实施方式,而本公开内容当然不限于上述示例。本领域技术人员可以发现在所附权利要求的范围内的各种变化和修改,并且应当理解所述各种变化和修改自然落入本公开内容的技术范围内。

此外,本技术还可以如下进行配置。

(1)一种服务器设备,包括:

存储单元,所述存储单元被配置成存储用于向在下述访问信息中定义的地址添加参数的预定定义,所述访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,所述每条编码数据通过以不同比特率对相同内容进行编码来获得,或者所述访问信息用于访问在mpd中描述的要通过向服务器的请求来获取的每个要素;以及

通信单元,所述通信单元被配置成传输指令,所述指令用于基于存储在所述存储单元中的预定定义来向在所述访问信息中定义的地址添加参数。

(2)一种客户端设备,包括:

存储单元,所述存储单元被配置成存储用于向下述访问信息添加参数的预定定义,所述访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,所述每条编码数据通过以不同比特率对相同内容进行编码而获得,或者所述访问信息用于访问在mpd中描述的要通过向服务器的请求来获取的每个要素;以及

通信单元,所述通信单元被配置成通过基于存储在所述存储单元中的所述预定定义向在所述访问信息中定义的地址添加参数来访问所述地址。

(3)一种内容分发方法,包括:

存储用于向在下述访问信息中定义的地址添加参数的预定定义的步骤,所述访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,所述每条编码数据通过以不同比特率对相同内容进行编码而获得,或者所述访问信息用于访问在mpd中描述的要通过向服务器的请求来获取的每个要素;以及

传输指令的步骤,所述指令用于基于存储在所述存储单元中的预定定义来向在所述访问信息中定义的地址添加参数。

(4)一种计算机程序,使计算机执行:

存储用于向在下述访问信息中定义的地址添加参数的预定定义的步骤,所述访问信息用于对构成每条编码数据的多个子段中的每个子段进行访问,所述每条编码数据通过以不同比特率对相同内容进行编码而获得,或者所述访问信息用于访问在mpd中描述的要通过向服务器的请求来获取的每个要素;以及

传输指令的步骤,所述指令用于基于存储在所述存储单元中的所述预定定义来向在所述访问信息中定义的地址添加参数。

(5)一种将第(3)项所述的内容分发方法用于下述中之一的用途:多视角图像编码、多视角图像解码、分层图像编码、分层图像解码和空间可扩展编码。

附图标记列表

10、11内容服务器

12网络

20内容再现设备

120文件产生单元

122编码器

130存储单元

140通信单元

220通信单元

230存储单元

240再现单元

250选择单元

260当前位置获取单元

310存储单元

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1