发送装置、发送方法、接收装置和接收方法
【技术领域】
[0001 ]例如，本技术涉及一种发送装置、发送方法、接收装置和接收方法，并且具体地，涉及一种能够容易地获得马赛克画面的发送装置、发送方法、接收装置和接收方法。
【背景技术】
[0002]近年来，过顶视频(OTT-V)是互联网上的流服务的主流。例如，运动图像专家组-基于超文本传输协议(HTTP)的动态自适应流媒体技术(MPEG-DASH)(在本文中，也称为DASH)作为OTT-V的基础技术开始变得流行。
[0003]在DASH中，例如，传送流的服务器通知客户端，该客户端接收媒体表示描述(MPD)的流作为元数据，该元数据包括用于从相同的源优选具有不同特性的流的属性信息，并且客户端使用MPD，从而实现网络环境自适应流媒体技术(例如，参见非专利文件I)。
[0004]g卩，在DASH中，服务器根据传送路径的通信环境以及客户端的能力和状态，来准备内容(包括相同的内容)的图像质量和图像大小不同的多个流。
[0005 ]另一方面，客户端自适应地选择适合客户端的能力(解码能力等)的流并且接收流进行回放，该客户端可以接收服务器所准备的多个流。
[0006]在DASH中，将用于内容(称为MPD)的回放控制的元数据从服务器传送到客户端，从而可以使客户端自适应地选择接收流。
[0007]在MPD中描述了作为通过划分内容而获得的段(媒体数据，诸如，Aud1/Video/Sub t i 11 e)的地址的统一资源定位符(URL)等。客户端基于在MPD中描述的URL等来将HTTP请求发送给传送内容的网页服务器，并且根据对回放的HTTP请求来接收网页服务器单播传送的段。
[0008]引用列表
[0009]非专利文件
[0010]非专利文件1:“Realizat1n of Continuous Moving Image Delivery UsingExisting Web Server',Mitsuhiro Hirabayashi,NIKKEI ELECTRONICS，2012年3月19日
【发明内容】
[0011]本发明所要解决的问题
[0012]方便的是，当查看现场直播内容时，客户端显示马赛克画面，多个内容的视频以格子的形式设置在该马赛克画面上，例如，并且在观看马赛克画面上显示的多个内容的视频的同时，用户可以选择待查看的频道(内容)。
[0013]然而，在当前的DASH中，并未将用于生成马赛克画面的有用信息传送给客户端，从而很难容易地获得马赛克画面。
[0014]鉴于这种情况，达成了本技术，并且其目的是容易地获得马赛克画面。问题的解决方案
[0015]本技术的发送装置是包括传送单元的发送装置，该传送单元传送通过使用属性和属性值来描述的元数据，内容的元数据包括:指示视频是适合形成马赛克画面的缩略图视频的信令信息；以及指示在开始回放内容之前所需要的最小缓冲时间的属性。
[0016]本技术的发送方法是包括如下步骤的发送方法:传送通过使用属性和属性值来描述的元数据，内容的元数据包括:指示视频是适合形成马赛克画面的缩略图视频的信令信息；以及指示在开始回放内容之前所需要的最小缓冲时间的属性。
[0017]在本技术的上述发送装置和发送方法中，传送通过使用属性和属性值来描述的元数据，内容的元数据包括:指示视频是适合形成马赛克画面的缩略图视频的信令信息；以及指示在开始回放内容之前所需要的最小缓冲时间的属性。
[0018]本技术的接收装置是包括接收单元的接收装置，该接收单元接收通过使用属性和属性值来描述的元数据，内容的元数据包括:指示视频是适合形成马赛克画面的缩略图视频的信令信息；以及指示在开始回放内容之前所需要的最小缓冲时间的属性。
[0019]本技术的接收方法是包括如下步骤的接收方法:接收通过使用属性和属性值来描述的元数据，内容的元数据包括:指示视频是适合形成马赛克画面的缩略图视频的信令信息；以及指示在开始回放内容之前所需要的最小缓冲时间的属性。
[0020]在本技术的上述接收装置和接收方法中，接收通过使用属性和属性值来描述的元数据，内容的元数据包括:指示视频是适合形成马赛克画面的缩略图视频的信令信息；以及指示在开始回放内容之前所需要的最小缓冲时间的属性。
[0021]同时，发送装置和接收装置可以是独立的装置或者可以是形成一个装置的内部块。
[0022]本发明的有益效果如下:
[0023]根据本技术，可以容易地获得马赛克画面。
[0024]同时，效果并不一定限于本文所描述的效果，并且可以是本公开所描述的任何效果O
【附图说明】
[0025]图1是图示了应用了本技术的内容提供系统的一个实施例的配置示例的框图。
[0026]图2是图示了频道服务器11的配置示例的框图。
[0027]图3是图示了聚合服务器12的配置示例的框图。
[0028]图4是图示了客户端13的配置示例的框图。
[0029]图5是图示了通过内容提供系统来提供缩略图视频的过程的视图。
[0030]图6是图示了在内容提供系统中通过网络10而传送的数据的示例的视图。
[0031 ]图7是图示了MPD、SDP、USD和OMA-ESG的视图。
[0032]图8是图示了MBMS的协议栈的视图。
[0033]图9是图示了作为缩略图元数据的USD的数据模型的示例的视图。
[0034]图10是图示了构成作为在XML中描述的缩略图元数据的USD的XML的要素和属性的示例的视图。
[0035]图11是图示了作为在XML中描述的缩略图元数据的USD的示例的视图。
[0036]图12是图示了作为缩略图元数据的MI3D的概述的视图。
[0037]图13是图示了构成作为在XML中描述的缩略图元数据的MPD的XML的要素和属性的示例的视图。
[0038]图14是图示了作为在XML中描述的缩略图元数据的MI3D的示例的视图。
[0039]图15是图示了作为缩略图元数据的OMA-ESG的数据模型的示例的视图。
[0040]图16是图示了构成作为在XML中描述的缩略图元数据的OMA-ESG的XML的要素和属性的示例的视图。
[0041 ]图17A和图17B是图示了作为在XML中描述的缩略图元数据的OMA-ESG的示例的视图。
[0042]图18是图示了作为缩略图元数据的OMA-ESG的视图。
[0043 ]图19是图示了传送包括缩略图视频的内容的方法的第一示例的视图。
[0044]图20是图示了传送包括缩略图视频的内容的方法的第二示例的视图。
[0045]图21是图示了传送包括缩略图视频的内容的方法的第三示例的视图。
[0046]图22A和图22B是图示了客户端13中的马赛克画面的显示示例的视图。
[0047]图23是图示了作为引入了内容描述元数据的缩略图元数据的MH)的第一示例的视图。
[0048]图24是示意地图示了在一个FLUTE会话中多播传送的多个缩略图视频(的流)的示例的视图。
[0049]图25是图示了作为引入了内容描述元数据的缩略图元数据的MH)的第二示例的视图。
[0050]图26是图示了作为引入了内容描述元数据的缩略图元数据的MH)的第三示例的视图。
[0051]图27是图示了传送包括缩略图视频的内容的方法的第四示例的视图。
[0052]图28是图示了传送包括缩略图视频的内容的方法的第五示例的视图。
[0053]图29是图示了传送包括缩略图视频的内容的方法的第六示例的视图。
[0054]图30是图示了在客户端13中显示马赛克画面的过程的示例的流程图。
[0055]图31是图示了应用了本技术的计算机的一个实施例的配置示例的框图。
【具体实施方式】
[0056]〈应用了本技术的内容提供系统的一个实施例〉
[0057]图1是图示了应用了本技术的内容提供系统的一个实施例的配置示例的框图。
[0058]在图1中，内容提供系统配置为将多个频道服务器11、一个或者多个聚合服务器
12、一个或者多个客户端13、以及网络时间协议(NTP)服务器14连接至网络10。
[0059]在图1中的内容提供系统中，通过使用DASH，经由网络10将内容从频道服务器11和聚合服务器12提供给客户端13。
[0060]在本文中，虽然假设在当前的DASH中，流媒体技术本身是通过在过顶/内容传送网络(0TT/CDN)上进行单播而进行的，但是还是通过质量在便携式网络上(例如，在图1中的内容提供系统中)得到认证的能够广播的多播网络(eMBMS等)来传送形成马赛克画面的视频。据此，将通过使用性能良好的马赛克画面来选择频道的运行感觉提供给大量用户。
[0061]S卩，图1中的内容提供系统使客户端13可以通过将形成马赛克画面的多个视频分组(聚合)并且在一个FLUTE多播会话等中传送这些视频来容易地并且有效地生成(获得)马赛克画面。
[0062]网络10包括点对点网络，诸如，能够单播和多播的互联网以及能够广播和多播的广播网络。例如，可以采用第三代合作伙伴计划(3GPP)的多媒体广播多播服务(EBMS)(包括eMBMS (演进MBMS))等作为网络1。
[0063]与广播站对应的频道服务器11，例如，通过网络10传送具有不同比特率和图像大小的相同内容的多个流，作为广播站的频道(服务)的节目。
[0064]在本文中，频道服务器11所传送的多个流包括主要视频、音频和待查看字幕的流以及适合形成马赛克画面的缩略图视频的流。
[0065]在本文中，例如，适合形成马赛克画面的缩略图视频意谓与主视频的内容相同的内容的视频，该视频具有比主视频的图像大小更小的预定图像大小；以格子的形式等将多个视频平铺在特定大小的显示屏上以形成马赛克画面。
[0066]例如，与广播作为节目的马赛克画面的广播站对应的聚合服务器12将多个频道服务器11所传送的多个缩略图视频(缩略图视频流)分组(聚合)，并且通过网络10传送该缩略图视频，作为广播站的频道(屏幕)的节目。
[0067]客户端13接收频道服务器11所传送的主视频等以及聚合服务器12所传送的缩略图视频进行回放。
[0068]NTP服务器14通过网络10提供NTP时间，该NTP时间是根据协调通用时间(UTC)时间格式的时间信息。
[0069]频道服务器11、聚合服务器12和客户端13可以与NTP服务器14所提供的NTP时间同步运行。
[0070]同时，频道服务器11所传送的节目(最终地，也是聚合服务器12所传送的节目)可以是实时节目(现场节目)或者预先录好的节目。
[0071 ]〈频道服务器11的配置示例〉
[0072]图2是图示了图1中的频道服务器11的配置示例的框图。
[0073]在图2中，频道服务器11包括内容管理服务器21、段串流器22和MH)服务器23。
[0074]在本文中，内容管理服务器21、段串流器22和MPD服务器23可以设置在网络10上的一个地方或者可以分布式地设置在网络10上。当内容管理服务器21、段串流器22和MPD服务器23分布式地设置在网络10上时，除了网络10之外，它们可以通过专用线和任何其它通信线彼此通信。
[0075]内容管理服务器21管理作为待传送内容的源数据的视频、音频、字幕等，作为频道服务器11的频道的节目，并且，这生成了比特率与作为内容的源数据的视频等不同的多个流数据，以提供给段串流器22。
[0076]在本文中，有关视频的多个流数据包括主视频和缩略图视频。
[0077]段串流器22生成通过在时间方向上划分来自内容管理服务器21的每个流数据而获得的段的段流。
[0078]即，段串流器22将流数据划分为fragmentedMP4的片段(moof和mdat)，并且收集片段中的一个或者多个来生成段的文件。
[0079]段串流器22将生成MH)所需的段的元数据，诸如，段的URL(提供段的服务器(例如，频道服务器11)的URL))，提供给Mro服务器23。
[0080]此外，段串流器22通过作为网页服务器的网络10，根据来自客户端13的作为对段的请求的HTTP请求，进行将HTTP请求所请求的段(的文件)的HTTP单播传送到客户端13。
[0081]段串流器22通过网络10将缩略图视频的段传送到聚合服务器12(通过单播或者多播)。
[0082]MPD服务器23生成客户端13所需的描述了段的URL等的MPD，以接收段并且通过使用段串流器22所提供的段的元数据来进行回放控制。
[0083]MPD服务器23根据来自作为网页服务器的客户端13的作为对MPD的请求的HTTP请求，通过网络10进行将MPD HTTP单播传送到客户端13。
[0084]MPD服务器23通过网络10将缩略图视频的MH)传送到聚合服务器12(通过单播或者多播)。
[0085]在本文中，客户端13可以向MPD服务器23请求MPD，从而根据该请求接收MPD服务器23通过HTTP单播传送而传送的MPD。
[0086]客户端13可以基于来自MPD服务器23的MH)向段串流器22请求段，从而根据该请求接收段串流器22通过HTTP单播传送而传送的段，并且此外，基于MH)对段进行回放。
[0087]〈聚合服务器12的配置示例〉
[0088]图3是图示了图1中的聚合服务器12的配置示例的框图。
[0089]在图3中，聚合服务器12包括流聚合器31、元数据生成器32、单向文件传输(FLUTE)串流器33、多播服务器34和网页服务器35。
[0090]在本文中，从流聚合器31到网页服务器35的单元可以设置在网络10上的一个地方或者分布式地设置在网络10上，正如图2中的频道服务器11。当从流聚合器31到网页服务器35的单元分布式地设置在网络10上时，除了网络10之外，它们可以通过专用线和任何其它通信线彼此通信。
[0091]流聚合器31从多个频道服务器11所传送的多个缩略图视频(的段)中选择(聚合)形成马赛克画面的特定频道(下文也称为马赛克频道)的两个或者多个缩略图视频，作为用于马赛克频道的缩略图视频，并且将该缩略图视频提供给FLUTE串流器33。
[0092]在本文中，流聚合器31从多个频道服务器11所传送的多个缩略图视频中选择适合形成一个马赛克画面的两个或者多个缩略图视频，作为用于马赛克频道的缩略图视频。
[0093]例如，适合形成一个马赛克画面的两个或者多个缩略图视频是至少具有相同图像大小的两个或者多个缩略图视频。
[0094]另外，流聚合器31可以创造如下条件:例如，图像大小适合以格子的形式等平铺在特定大小的显示屏上并且视频是相同的类型，诸如，棒球比赛的现场直播，并且选择满足一个或者多个条件的两个或者多个缩略图视频，作为用于马赛克频道的缩略图视频。
[0095]元数据生成器32从多个频道服务器11所传送的多个缩略图视频的MH)中选择针对流聚合器31所选择的两个或者多个缩略图视频中的每个缩略图视频的MPD，并且通过使用MH)来生成缩略图元数据，该元数据是用于马赛克频道的元数据。
[0096]元数据生成器32将缩略图元数据提供给FLUTE串流器33和网页服务器35。
[0097]在本文中，例如，可以利用MBMS的用户服务描述(USD)、DASH的MTO和互联网工程任务组(IETF)的会话描述协议(SDP)文件的组合、或者移动联盟-电子服务指南(OMA-ESG)、USD、MPD和SDP的组合，作为缩略图元数据。
[0098]通过使用属性(名称)和在属性中设置的属性值来描述OMA-ESG、USD、ΜΗ)和SDP。例如，属性和属性值有时也称为键和值。
[0099]FLUTE串流器33将流聚合器31所提供的缩略图视频(的段)存储在FLUTE包中，SP，分层编码传输(LCT)包(异步分层编码(ALC)包)，并且将其提供给多播服务器34。
[0100]FLUTE串流器33还将元数据生成器32所提供的缩略图元数据存储在LCT包中以提供给多播服务器34。
[0101]多播服务器34通过网络10进行来自FLUTE串流器33的LCT包的FLUTE多播传送。
[0102]在本文中，由于缩略图视频(的段)和缩略图元数据如上所述存储在来自FLUTE串流器33的LCT包中，所以缩略图视频和缩略图元数据由多播服务器34多播传送。
[0103]网页服务器35根据来自客户端13的请求(HTTP请求)通过网络10将来自元数据生成器32的缩略图元数据HTTP单播传送到客户端13。
[0104]在本文中，如上所描述的，多播服务器34和网页服务器35用作传送缩略图元数据的传送单元。
[0105]同时，尽管缩略图视频由图3中的聚合服务器12如上所述地多播传送，但是聚合服务器12还可以获得有关来自频道服务器11的缩略图视频的内容的主视频、音频和字幕(的段)以进行多播传送，如同缩略图视频的情况一样。
[0106]当聚合服务器12多播传送缩略图视频时，频道服务器11可以多播传送主视频等。
[0107]此外，在聚合服务器12中，多播服务器34可以多播传送缩略图视频，并且网页服务器35可以单播传送该缩略图视频。
[0108]〈客户端13的配置示例〉
[0109]图4是图示了图1中的客户端13的配置示例的框图。
[Ο??Ο]在图4中，客