专利名称：视频比特流的传输系统的制作方法
技术领域：
本发明涉及视频比特流的传输系统。本发明尤其涉及用于将与任意的视听区域对应的视频从发送装置配送到接收装置的技术。
背景技术：
针对活动图像信息的高分辨率化、广视角化、高机能化，进行了多个研究开发。例如，下述非专利文献I提出了将从多个摄像机或全向摄像机取得的视频分割为多个区域并对其进行编码，并仅对用户所需的视点位置的区域视频进行解码并显示的系统。此外，下述非专利文献2提出了基于作为H.264/AVC的扩展标准的Mult1-View Coding,实现对于从多个摄像机获得的高分辨率全景视频的访问的系统。在该技术中，也对输入视频进行分割后进行编码，并根据用户(客户机)所请求的视听区域而传输多个编码流，并进行解码、显示。但是，下述非专利文献I和2均需要在客户机中进行多个流的同时解码以及同步显示。此外，虽然在非专利文献I中未提及传输方式，但在非专利文献2中还需要用于同时取得多个流的多个会话控制。这些导致了客户机中的处理的复杂性增加，因此尤其在智能手机等计算资源被限定的环境中难以利用多视觉服务(MultiVision service)。因此，提出了不进行多个流的传输，而是在服务器侧对多个流进行结合后，进行单一流的传输的系统(下述非专利文献3以及专利文献I)。在该技术中，由于客户机仅对从配送服务器取得的单一流进行解码以及显示，因此能够避免多个流的同时解码、以及被解码后的视频信号的同步显示等复杂的处理。由此，在客户机中，能够利用以往的视频再现系统而同时再现多个视频。在这些以往的系统中，用户能够对要显示的视频自由地移动并设定视听区域位置。因此，并不限定于近年的在因特网上的托管(On-demand)型的视频流技术那样的再现、暂停、倒转、快进等视频控制，能够进行在视频区域向纵方向或者横方向移动视听区域位置的操作。现有技术文献专利文献非专利文献1: [I] S.Heymann, A.Smolic, K.Muller, Y.Guo, J.Rurainski, P.Eisert, and T.ffiegand, iRepresentaion, Coding and Interactive Rendering orHigh-Resolution Panoramic Images and Video using MPEG-4, ’ Proc.PanoramicPhotogrammetry Workshop, Berlin, Germany, Feb.2005.
非专利文献2: [2] H.Kimata, S.Shimizu, Y Kunita, M.1sogai andY.0htani, ^Panorama video coding for user-d riven interactive videoapplication, ’ IEEE International Symposium on Consumer Electronics, Kyoto, 2009.
非专利文献3: [3]Ν.Uchihara, H.Kasai, ‘Fast stream joiner fornext-generation interactive video, JIEEE International Conference on Consumer Electronics (ICCE), 2011, pp.319-320，9_12Jan.2011.
专利文献I:[4]特开2011-24018号公报
发明内容
发明要解决的课题但是，所述的各个以往技术以视听用户主动选择视频的视听区域作为前提，基于由来自作为视频视听终端的客户机终端或者连接到客户机终端上的控制器设备的用户操作而决定的视点移动信息，决定了视听区域。但是，还可以想到如以往的电视视听那样被动地视听视频的用户不一定会积极地移动视点的情况。从而，认为在这些以往技术中，存在没有充分活用自由的视点移动功能的情况。此外，根据视频的配送侧想要有效地配送广告等视频的要求，还存在想要积极地控制视听用户视听的视频区域的要求。但是，在至今为止的结构中，由于视听用户的视点移动操作成为起点，因此存在无法实现这样的要求的问题。本发明鉴于这样的问题而完成，其目的在于，没有用户的明确的视点移动操作就决定用于决定视听区域的视点移动信息，并将其反映到配送的视频结构中。用于解决课题的手段为了解决上述课题，本发明将用于决定视点移动信息的处理从客户机上的用户界面分离出。此外，将进行所述决定的处理器在系统上的配置不限制于客户机上，也能够配置在视频配送服务器、或者外部的独立服务器上。通过这样构成，在决定视点移动信息时，能够不依赖于用户的操作就能够决定，因此能够控制各种视点移动。另外，在本发明中，用于决定视点移动信息的处理部可以编入接收装置以及发送装置中的其中任一个中，也可以编入除此之外的其他的服务器中。发明效果根据本发明，能够根据各种因素在系统侧自动地决定视点移动信息。例如，能够根据客户机终端的物理位置和周边状况、用户至今为止的操作历史、简档等，自动地决定视点移动。此外，能够在配送服务器中决定视点移动信息，能够进行考虑了多个用户的视听历史和该视听用户的视听历史的细致的控制。此外，能够积极地控制明确的或者含蓄的向广告视频的视点移动，能够构筑新的视频广告商业模式。
图1是表示本发明的第I实施方式的传输系统的概要的概要图。图2是表示本发明的第I实施方式的服务器(发送装置)的结构例的概要图。图3是表示本发明的第I实施方式的客户机(接收装置)的结构例的概要图。图4是表示本发明的第I实施方式的流程图的概要图。图5是表示本发明的第2实施方式的服务器的结构例的概要图。图6是表示本发明的第2实施方式的客户机的结构例的概要图。图7是表示本发明的第2实施方式的流程图的概要图。
图8是表示本发明的第3实施方式的服务器的结构例的概要图。图9是表示本发明的第3实施方式的客户机的结构例的概要图。图10是表示本发明的第3实施方式的流程图的概要图。图11是表示整体区域、视听区域、显示区域之间的关系的说明图。图12是用于说明随着视点的移动的视听区域的变化的说明图。
具体实施例方式以下，说明用于实施发明的方式。另外，说明按照以下的顺序进行。1.第I实施方式(在客户机中决定视点移动信息，并将该信息发送给视频配送服务器的例子)2.第2实施方式(在视频配送服务器中决定视点移动信息，将该信息发送给客户机，并从客户机向视频配送服务器发回的例子)3.第3实施方式(在视频配送服务器中决定视点移动信息，并直接在视频配送服务器中利用该信息的例子)〈1.第I实施方式〉在本实施方式(以下，又称为本例)中，说明将本发明的发送装置应用于服务器，将本发明的接收装置应用于便携电话终端的例子。其中，本发明的接收装置并不限定于便携电话终端，例如也可以应用于PDA (个人数字助理)或个人计算机、语音再现装置、游戏终端等具有通信功能以及使显示部显示视频的功能的各种装置。另外，按照以下的顺序进行说明。(I)传输系统的概要(2)服务器的结构例(3)客户机的结构例(4)传输系统的动作例[传输系统的概要]首先，参照图1说明本例的传输系统的概要。图1表不本实施方式的传输系统的概要。图1所不的传输系统由进行视频的配送的服务器I (相当于发送装置的一例)和客户机2 (相当于接收装置的一例)构成。服务器I与客户机2经由网络3而连接。另外，在图1中仅显示了一个客户机2，但实际上构成为能够由多个客户机2通过网络3访问服务器I。在服务器I上连接有未图示的由摄像装置构成的视频信号输入部，在视频信号输入部中获得的视频被输入到服务器I。通过将在客户机2内部决定的视点移动信息发送给服务器1，服务器I生成与由一个以上的视频构成的整体的区域(以下,称为整体区域Aw)对应的视频(以下，称为整体区域视频)、以及与由视点移动信息指定的特定的区域(以下，称为视听区域Av)对应地决定的视频(以下，称为视听区域视频)。然后，服务器I将视听区域视频发送给客户机2。在客户机2中，在客户机2的显示区域(以下，称为显示区域Ad)显示发送来的视听区域视频的整体或其一部分。图11表示这些各区域之间的关系。另外，整体区域Aw由在图中通过小的四边形表示的分割区域(后述)的集合构成。视听区域Av也相同。其中，显示区域Ad由客户机2中的显示能力而决定，因此其决定为与分割区域的划分无关。此外，该视点移动信息不仅包含视听区域视频中的上下左右方向的视点移动的信息，还包含用于放大或缩小视听区域视频的分辨率的信息。通过利用该视点移动信息来决定视听区域Av，在客户机2中能够以更高的分辨率视听画面内的特定的区域的视频，或者以更低的分辨率一次性俯视原始视频的整体图像或多个视频。这样，在本实施方式中，在客户机2内的视点移动信息决定部中决定用于决定视听区域视频的大小与位置，或者用于放大或缩小视听区域视频的视点移动信息。在决定过程中，例如能够利用过去的该用户的视听历史、其他用户的视听历史、视听用户简档、多个视频之间的关联性、视频提供者对各视频的加权、视频内的目标的移动信息、或者当前的物理位置和场所信息等各种因素。对于这一点的伴随例示的详细的说明将在后面进行。为了实现这样的功能，在服务器I中首先进行根据从视频信号输入部输入的原始的非压缩的视频而生成视频编码比特流(以下，又简称为比特流)的处理。该视频编码比特流以各分割区域为单位而生成，所述各分割区域是将原始的视频的视频区域分割为一个以上的区域而获得。在以下的说明中，将对每个分割区域生成的比特流称为分割区域视频比特流。服务器I预先生成这样的分割区域视频比特流，并预先存储在例如由HDD(硬盘驱动器)等存储装置构成的视频比特流组存储部40中。此外，在服务器I中，与多个分辨率对应地生成该分割区域视频比特流。然后，将这样生成的与各分辨率对应的分割区域视频比特流预先存储在视频比特流组存储部40内。这里，如图1所示，视听区域视频比特流按照低、中、高的各分辨率存储(参照图1)。这一点与所述的非专利文献3以及专利文献I相同。然后，服务器I提取与根据包含上下左右的位置、分辨率信息的视点移动信息确定的视听区域Av对应的分割区域视频比特流，并将由这些构成的比特流(以下，称为视听区域视频比特流)发送给客户机2。另外，在本实施方式中，如后所述，视听区域视频比特流构成为单一流。由此，即使从多个客户机2发送了上下左右的位置、分辨率不同的各种视点移动信息的情况下，服务器I也能够提取与根据视点移动信息确定的区域以及分辨率对应的比特流而发送给客户机2。另外，本实施方式的网络3例如是因特网，但所使用的协议没有特另IJ限制。[服务器的结构例]接着，参照图2，说明服务器I的结构例。图2是表示了服务器I的内部结构例的方框图。对服务器I连接有视频信号输入部10。此外，服务器I中包含视频区域分割处理部20、部分区域编码处理部30、视频比特流组存储部40、多流信息存储部50。视频信号输入部10对服务器I输入视频信号，例如能够由广播用摄影机、监视摄影机或用于电视会议等的摄影机构成，但并不限制于此。视频信号输入部10例如也可以经由网络连接到服务器I。视频区域分割处理部20将由从视频信号输入部10输入的视频信号构成的视频区域分割为具有一个或者一个以上的分辨率的一个或一个以上的区域。部分区域编码处理部30对由视频区域分割处理部20生成的各分辨率级别中的各分割区域的视频信号进行编码，从而生成分割区域视频比特流。这里进行的编码以在各分割区域之间没有对于移动矢量、量化系数以及量化参数等编码信息的预测关系的形态进行。作为编码方式，例如能够使用MPEG-2或MPEG-4SP、H.263、H264等，但并不限定于此。视频比特流组存储部40将在部分区域编码处理部30中生成的多个分割区域视频比特流按照分辨率的每个等级而分类存储(参照图1)。多流信息存储部50对与在部分区域编码处理部30中生成的各分割区域视频比特流的编码处理和质量有关的信息、以及用于表示各分割区域属于整体区域Aw中的哪个位置的位置信息进行管理。此外，多流信息存储部50对后述的视频元信息进行保存管理。另夕卜，视频元信息只要保存在在本实施方式的系统中能够利用的场所即可，其保存场所未被特别限制。接着，说明从客户机2发送的视点移动信息。在本实施方式的视点移动信息中包含以下的信息。.对于整体区域Aw的视点的位置信息、或者位置的变化信息；.分辨率信息、或者分辨率的变化信息。再次返回图2继续说明，服务器I中包含视点信息接收部60、客户机状态管理部70、单一流生成部80、单一流发送部90。视点信息接收部60接收从客户机2经由网络3发送的视点移动信息，从而将其提供给客户机状态管理部70。客户机状态管理部70进行由视点信息接收部60所接收的视点移动信息的管理、对语音、活动图像等进行流配送时在与客户机2之间交换的控制数据(流协议标准消息)的发送接收等。 客户机状态管理部70进行作为发送状态信息而对客户机2的发送状态信息接收部208发送包含以下的信息中的其中一个或其全部的处理。.表示在发送来的视听区域视频比特流中包含的视听区域Av在整体区域Aw内的位置的视听区域信息；.对于整体区域Aw或视听区域Av中包含的视频的视频元信息。在发送状态信息内，视听区域信息是在单一流生成部80内部决定的信息，如上所述，该视听区域信息包含视听区域Av相对于整体区域Aw的相对位置信息。以下，说明该相对位置信息的生成方法。整体区域Aw由多个分割区域视频构成，因此发送的视听区域Av的视频由构成整体区域Aw的多个分割区域视频的一部分构成。从而，能够采用为视听区域Av的位置是在整体区域Aw内由分割区域的边界线划分的位置(参照图11)。另一方面，由视点移动信息决定的显示区域Ad相对于整体区域Aw可自由地确定。因此，视听区域Av成为在由构成整体区域Aw的分割区域的一部分构成的部分区域中确定最佳的区域的信息。这里，最佳例如是指与由视点移动信息决定的显示区域Ad重叠的面积最大的情况。另一方面，在发送状态信息内，视频元信息是在客户机侧在视点移动信息的决定中利用的信息，其包含与视频本身有关的信息和与视频的视听历史有关的信息。如下表示视频元信息的例子。 用于表示在整体区域Aw内的哪个位置有怎样的视频的信息，例如在整体视频Aw由一个视频构成时，表示各位置上包含什么样的对象(建筑物、汽车、产品、人物等)的信息。.在整体视频Aw由多个不同视频构成时，各视频的风格信息、演员信息、题目信息、视频制作者信息、语言信息、拍摄了视频的位置的信息、与内容相关联的位置的信息。.用于表示当前或过去对整体区域Aw内的哪个视频区域什么用户视听了何种程度的频度信息、以及各用户对视频的评价信息(例如，5个阶段)。 用于表示与客户机2的视听用户有关系的多个用户(所谓的朋友圈关系用户)当前或过去将该视频视听了何种程度的频度信息。.当视频为广告的情况下，广告对象物的风格或产品信息、消费群体年龄或消费群体性别信息等信息。这些还可以进一步包含用户对于广告的视听历史信息。客户机状态管理部70进一步在与客户机2的流客户机处理部203 (后述)之间，交换基于流协议的消息。基于流协议的消息例如是用于请求视频信号的发送、暂停、停止等的控制消息、以及用于维持会话的消息等。另外，在本例中，举例了将发送状态信息与视听区域视频比特流的分组分开发送的结构，但也可以是将发送状态信息存储在视频比特流的分组的报头部分后发送给客户机2的方式。此时，从单一流发送部90与单一流一并对客户机2发送发送状态信息,而非从客户机状态管理部70发送。相对于此，客户机2的视频流接收部201从报头部分取出发送状态信息，从而将其发送给视点移动信息决定部209 (参照图3)。再次返回图2继续说明。单一流生成部80从视频比特流组存储部40读取用于构成根据由视点信息接收部60接收到的视点移动信息而确定的视听区域Av的多个分割区域视频比特流(每个分割 区域的特定分辨率的比特流)。然后，将读取到的多个比特流再构成为单一流而输出。作为该再构成的方法，能够利用所述的非专利文献3或专利文献I的技术，因此省略进一步具体的说明。单一流发送部90对在单一流生成部80中生成的单一流进行分组化，并将分组化后的单一流发送给客户机2。此外，本实施方式的服务器I包含语音信号输入部100-1 η、语音编码处理部110、元信息输入部120、语音编码比特流/语音元信息存储部130、语音比特流提取/混合处理部140、语音比特流发送部150。对此，由于能够利用所述的非专利文献3或专利文献I的技术，因此省略进一步具体的说明。[客户机的结构例]接着，参照图3的方框图，说明客户机2的内部结构例。在客户机2中包含视频流接收部201、视频解码部202、流客户机处理部203、客户机管理部204、语音流接收部205、语音解码部206、语音输出部207。这些结构要素例如可与专利文献I中记载的技术一样构成，因此省略详细的说明。此外，客户机2包含发送状态信息接收部208、视点移动信息决定部209、视点信息发送部210、视频显示控制部212、视频显示部213、用户/终端信息管理部230。发送状态信息接收部208接收从服务器I发送的发送状态信息、即视听区域Av相对于整体区域Aw的位置信息，从而发送给视点移动信息决定部209。视点移动信息决定部209基于在发送状态信息接收部208接收到的发送状态信息中包含的视频元信息、从用户/终端信息管理部230输入的用户/终端信息，自动地生成视点移动信息，而非使用用户界面由用户来指定。然后，视点移动信息决定部209将所生成的视点移动信息输出给视点信息发送部210。作为决定方法的例子，可考虑以下的方法。
(I)[基于画面内对象的位置和移动的视点移动]此时，利用用于表示整体区域Aw内的哪个位置有什么样的视频的信息来决定视点移动信息。这里，作为在视频内受到关注的信息，例如在整体视频Aw由一个视频构成的情况下是用于表示各位置上包含什么样的对象(建筑物、汽车、产品、人物等)的信息。进一步说明具体的例子，在足球视频的配送服务中，假设将俯视了比赛场整体的视频进行配送的定点视频配送服务的情况下，在整体区域Aw的画面内，多个选手参赛。对画面内的各选手和足球分别赋予位置信息。根据该位置信息，能够自动地决定视点移动信息，以便以特定的选手和足球为中心的视频成为视听区域Av的中心。或者，在没有对象的位置信息的情况下，也通过在客户机内自动检测对象的位置，并基于检测到的对象的位置，能够决定视点移动信息。作为来自接收视频的高速的对象识别技术，可利用在Wei Zeng, Jun Du, WenGao, iQingming Huang.Robust moving object segmentation on H.264/AVC compressedvideo using the block-based MRF model, ’ Real-Time Imaging, pp.290-299，2005 等中表示的技术，因此省略对此进行详细的说明。(2)[基于视频类型或演员信息的视点移动]当整体视频Aw由多个不同的视频构成的情况下，元信息可具有构成整体视频Aw的各视频的风格信息和演员信息、题目信息、视频制作者信息、语言信息。例如，假设连续剧视频配送服务或音乐乐曲的宣传视频配送服务等服务。此时，能够基于作为发送状态信息而从服务器I对客户机2发送的用户视听历史信息、简档信息、或者存储在客户机2中的用户历史信息、简档信息，按用户喜欢的连续剧类型或艺术家的顺序来决定视点移动信息。另外，其排序可设为如下的顺序:(a)根据对于至今存储的视听历史中包含的各类型或艺术家的视听频度信息，简单地对每个视频进行排序而获得的顺序；或者(b)根据类型或艺术家的属性信息而聚类并分组后，对视频的每个组进行排序而获得的顺序。作为该排序的实现方式，一般通过基于内容的过滤(content-based filtering)技术来实现(参照:Collaborative and Content-based Filtering for Item Recommendation on SocialBookmarking Websites.T.Bogers and A.Van den Bosch.1n:Proceedings of the ACMRecSysj 09workshop on Recommender Systems and the Social Web, pages9-16, 2009)(3)[基于位置信息的视点移动]假设整体视频Aw由多个不同的视频构成，且各视频具有拍摄位置信息的视频服务。该视频服务例如用于用户投稿型的视频共享服务、由旅游节目为代表的视频配送服务、或者自治团体配送的观光视频配送服务中。以可使用GPS等而自动取得的客户机2的当前的位置信息为关键，考虑构成整体视频Aw的视频的位置信息和客户机2的物理位置之间的关系，决定用于移动视听区域Av的视点移动信息。按照离客户机2的当前位置的距离由近到远的顺序对视频组进行排序，并按照该顺序移动视频之间，因此能够决定视点移动信息。(4)[基于其他用户的视听频度的视点移动]假设对整体区域Aw内的各视频区域(分割视频)赋予用于表示当前或过去客户机2的用户以外的用户视听了何种程度的频度信息、以及各用户对视频的评价信息(例如，5个阶段)。此时，通过考虑视听频度与评价信息，算出分割视频的顺序，能够自动地确定应视听的视频。例如，通过简单将视听频度与评价信息相乘，能够算出用于确定每个分割视频的顺序的指标。进而，通过利用用于表示与客户机2的视听用户有关系的多个用户(朋友圈关系用户)当前视听哪个视频、或者过去视听了何种程度的频度，决定最佳的移动路径。由此，能够决定视点移动信息。(5)[包含广告视频的视频配送服务中的视点移动]在上述的各种视频配送服务和系统中，假设包含广告视频的视频配送服务。此时，基于广告对象物的风格、产品信息、消费群年龄、消费群性别信息等、以及视听用户的简档，能够决定视点移动信息。另外，在上述的情形(I) (5)均在决定视点移动信息时，需要考虑对于构成视听区域Av的分割视频的每一个的“合理性”(例如，在位置的例子中，拍摄了视频的物理位置与客户机2当前存在的物理位置的贴近度)、以及在整体视频Aw内的分割视频的贴近度即画面内的移动距离而最有效地移动视频之间。本课题从以往开始作为旅行商问题(Traveling Salesman Problem)而研究，提出了多个算法(例如，参照Hassin, R.;Rubinstein, S.(2000), iBetter approximations for max TSPj, InformationProcessing Letters75:pp.181-186)。这里，从用户/终端信息管理部230输入的用户/终端信息例如是指过去的该用户的视听历史和用户简档等的用户信息、当前的客户机工作的终端的物理位置和场所信息、使用中的CPU信息等的信息，但并不限定于此。视点信息发送部210将在视点移动信息决定部209中决定的视点移动信息发送给服务器I。视点移动信息决定部209将在视点移动信息决定部209内部决定的视点移动信息、以及构成来自服务器I的发送状态信息的用于表示视听区域Av相对于整体区域Aw的位置信息的视听区域信息输出给显示控制部212。对显示控制部212输入在视频解码部202中解码后的视听区域视频比特流的解码视频信号(以下，称为视听区域解码信号)。此外，从视点移动信息决定部209对显示控制部212输入用于表示该视听区域解码信号的位置的视听区域信息。显示控制部212利用视听区域信息与视点移动信息，将视听区域解码信号换算为显示区域Ad内的位置，从而调整显示位置。此后，显示控制部212将调整了显示位置的解码视频信号(以下，称为显示区域解码信号)输出给显示部213。显示部213例如由IXD (液晶显示器)或有机EL (电致发光)面板等构成，将从显示控制部212提供的显示区域解码信号作为图像而显示在显示画面上。通过进行这样的处理，即使用户不通过界面等有意移动视听区域，也会自动地变更视频的视听区域和分辨率，因此通过被动的各种视频的视听也能够发现新的视频。[传输系统的动作例]接着，参照图4的流程图来说明本例的传输系统的服务器I与客户机2的处理例。首先，服务器I取得从视频信号输入部10输出的视频信号(步骤SAl )。接着，视频区域分割处理部20将在步骤SAl中取得的视频分割为一个以上的区域(步骤SA2)。然后，部分区域编码处理部30根据构成被分割的各区域的视频信号，生成分辨率不同的多个比特流，并将其存储在视频比特流组存储部40 (步骤SA3)。接着，客户机2发送用于对服务器I请求发送比特流的发送请求和初始的视点移动信息(步骤SA4)。
服务器I的客户机状态管理部70接收发送请求，如果视点信息接收部60接收初始视点移动信息(步骤SA5)，则单一流生成部80从视频比特流组存储部40提取比特流。然后，单一流发送部90将所提取的比特流发送给客户机2 (步骤SA6)。图12 (a)表示基于初始视点移动信息而确定的显示区域Ad的例子。在本例中，与初始的显示区域Ad的范围对应地，单一流生成部80确定包含该范围的视听区域Αν。如上所述，该视听区域Av由多个分割区域构成。因此，单一流生成部80确定与各分割区域对应的视频比特流，并将它们连接，从而能够生成应发送的单一流。在客户机2中，视频流接收部201接收比特流，视频解码部202对比特流进行解码，由显示控制部212将解码而获得的显示区域解码信号作为图像而显示在显示部213(步骤 SA7)。这里，在客户机2中的视点移动信息决定部209生成了新的视点移动信息时(步骤SA8)，视点信息发送部210将所生成的视点移动信息发送给服务器I (步骤SA9)。此后，若在服务器I的视点信息接收部60接收了视点信息，则同样生成单一流，并能够进行对客户机2的发送。然后，客户机2能够将所接收到的流继续呈献给用户(步骤SA6 步骤S9)。在图12(b)中,通过视点移动,显示区域Ad在视听区域Av的范围内移动。但是，在该阶段，由于显示区域Ad在视听区域Av的范围内，因此无需更新与视听区域Av对应的视听区域视频比特流。另一方面，在图12 (c)中，通过视点移动，显示区域Ad在视听区域Av的范围外移动。在该状态下，由于显示区域Ad是视听区域Av的范围外，因此设定新的视听区域Αν，并与此对应地更新视听区域视频比特流。[第I实施方式的效果]根据上述的第I实施方式，即使用户不通过界面等有意地移动视听区域，在客户机2内部也自动地变更视频的视听区域和分辨率，因此通过被动的各种视频的视听，也能够发现新的视频。此外，以在客户机2的内部封闭的形式实现本控制，从而不会对至今为止的服务器结构和动作、服务器/客户机之间的信号、控制、客户机结构的大部分带来影响就能够获得所述的效果。〈2.第2实施方式〉接着，说明本发明的第2实施方式。在本实施方式中，说明由服务器来实施视点移动信息的决定，且将该信息经由客户机返回到服务器的例子。在本实施方式的说明中，对于与所述的第I实施方式基本相同的要素，赋予相同标号，从而避免了说明的繁杂。另外，按照以下顺序进行说明。(I)传输系统的概要(2)服务器的结构例(3)客户机的结构例(4)传输系统的动作例[传输系统的概要]首先，通过与图1的对比来说明本例的传输系统的概要。在图1中，视点移动信息从客户机2送到服务器I。相对于此，在本实施方式中，在服务器I中决定视点移动信息，并将该信息发送给客户机2。此后的处理与所述的第I实施方式相同。
服务器I在其内部持有视点移动信息决定部，在该决定部中决定视点移动信息后，将其发送给客户机2。视点移动信息的决定能够与所述的第I实施方式一样进行。此夕卜，在该第2实施方式中，通过在服务器内决定视点移动信息，能够有效地实施视点移动信息。例如，可使用如下的技术:在服务器内决定视点移动信息的情况下，分析大量用户的大量的视听历史，从而利用具有相同喜好的用户之间的特性的协调过滤(c ο 11 ab ο r a t i V efiltering) 技术(参照:Collaborative and Content-based Filtering for ItemRecommendation on Social Bookmarking Websites.T.Bogers and A.Van den Bosch.1n:Proceedings of the ACM RecSys’ 09workshop on Recommender Systems and theSocial Web, pages 9-16，2009.)。在客户机2中，基于从服务器I接收到的视点移动信息而进行显示控制，且在客户机2中，显示与显示区域Ad对应的图像，同时将该视点移动信息返回给服务器I。之后的服务器I的处理与实施例1相同。[服务器的结构例]接着，参照图5，说明服务器I的结构例。图5是表示了服务器I的内部结构例的方框图。本实施方式的服务器I与上述的第I实施方式的不同点在于，还包含视点移动信息决定部150。在视点移动信息决定部150中决定的视点移动信息经由视点移动信息发送部160而发送到客户机2。[客户机的结构例]接着，参照图6，说明客户机2。客户机2中包含发送状态信息接收部208、视点区域管理部2209、视点信息发送部210、显示控制部212、显示部213、视点移动信息接收部220，但该客户机2与第I实施方式不同，不具有视点移动信息决定部。发送状态信息接收部208接收从服务器I发送的发送状态信息、即作为视听区域Av相对于整体区域Aw的相对位置信息的视听区域信息，并将其输出给视点区域管理部2209。视点移动信息接收部220从服务器I接收视点移动信息，并将其输出给视点区域管理部2209。视点区域管理部2209将来自视点移动信息接收部220的视点移动信息输出给视点信息发送部210。视点信息发送部210将由视点区域管理部2209接收的视点移动信息发送给服务器I。视点区域管理部2209将在由发送状态信息接收部208接收的发送状态信息中包含的视听区域信息、以及经由视点移动信息接收部220接收的来自服务器的视点移动信息发送给显示控制部212。[传输系统的动作例]接着，参照图7的流程图来说明本例的传输系统的服务器I与客户机2的处理的例子。首先，由服务器I取得从视频信号输入部10输出的视频信号(步骤SB1)。接着，视频区域分割处理部20将在步骤SBl中取得的视频分割为一个以上的区域(步骤SB2)。然后，部分区域编码处理部30根据用于构成被分割的各区域的视频信号而生成分辨率不同的多个比特流，并将其存储在视频比特流组存储部40 (步骤SB3)。接着，客户机2对服务器I发送发送请求，以便其发送比特流(步骤SB4)。服务器I的客户机状态管理部70如果接受到发送请求(步骤SB5)，则由单一流生成部80从视频比特流组存储部40提取由初始视点移动区域确定的比特流，并由单一流发送部90对客户机2发送所提取的视听区域视频比特流(步骤SB6)。在客户机2中，由视频流接收部201接受视听区域视频比特流，视频解码部202对比特流进行解码，由显示控制部212将解码而获得的显示区域解码信号作为图像而显示在显示部213 (步骤SB7)。这里，当由服务器I的视点移动信息决定部150生成了视点移动信息时(步骤SB8)，经由服务器I的视点移动信息发送部160，将视点移动信息发送给客户机2 (步骤SB9)。如果视点移动信息决定部150不生成视点移动信息，则继续发送当前的比特流(单一流)(步骤12)。客户机2将接收到的视点移动信息立即发送给服务器I (步骤SB10)。若在服务器I的视点信息接收部60中接收视点移动信息，则由单一流生成部80从视频比特流组存储部40提取由视点移动信息确定的多个比特流(步骤SB11)，生成视听区域视频比特流，并进一步由单一流发送部90发送给客户机2 (步骤SB12)。在客户机2中，由视频解码部202对由视频流接收部201接收到的单一流进行解码，并由显示控制部212将解码而获得的视听区域解码信号进行位置调整并作为显示区域解码信号而显示在显示部213 (步骤SB7)。在服务器I中，为了检测是否与以上一样有视点移动信息生成，转移到步骤SB8(步骤SB 12 —步骤SB8)。[第2实施方式的效果]根据上述的第2实施方式，即使用户不通过界面等而有意地移动视听区域，也能够在客户机2内部自动地变更视频的视听区域和分辨率，因此即便通过被动的各种视频的视听，也能够发现新的视频。特别是由于在服务器侧能够决定视点移动信息，因此能够简单地实现基于其他用户的视听历史或视频信息的特性等各种大量的信息而考虑的细微的移动控制。此外，将该信息发送给客户机，此后与所述的第I实施方式一样动作，因此不会对服务器和客户机的主要的结构和动作、服务器/客户机之间的信号和控制带来较大的变更就能够获得所述的效果。另外，第2实施方式中的其他的动作和优点与所述的第I实施方式基本相同，因此省略进一步详细的说明。此外，在该第2实施方式中，将视点移动信息决定部包含在服务器I中，但也可以是将视点移动信息决定部包含在服务器I以外的其他服务器中的结构。此时的结构与动作能够通过以上的记载来理解，因此省略详细的说明。<3.第3实施方式〉接着，说明本发明的第3实施方式。在本实施方式中，说明在服务器中实施视点移动信息的决定，且不会将该信息发送给客户机2，而是用于服务器内的比特流提取处理的例子。在本实施方式的说明中，对于与所述的第I实施方式基本相同的要素，赋予相同标号，从而避免说明繁杂。
另外，按照以下的顺序进行说明。(I)传输系统的概要(2)服务器的结构例(3)客户机的结构例(4)传输系统的动作例[传输系统的概要]首先，通过与图1的对比来说明本例的传输系统的概要。在图1中，从客户机2对服务器I发送了视点移动信息。相对于此，在该第3实施方式中，在服务器I中决定视点移动信息，并将该信息直接用于服务器I内的单一流生成部。在客户机2与服务器I之间不进行视点移动信息的发送接收。服务器I在其内部持有视点移动信息决定部。该视点信息决定部的结构可以与所述的第2实施方式相同。在服务器I中决定的视点移动信息经由客户机状态管理部而输出到单一流生成部，并提取了对应的比特流之后，生成视听区域视频比特流，并将其发送给客户机2。[服务器的结构例]接着，参照图8说明服务器I的结构例。图8是表示了服务器I的内部结构例的方框图。与所述的第I实施方式的不同点在于，本实施方式的服务器I还具有视点移动信息决定部150。视点移动信息决定部150决定视点移动信息，并将其输出给客户机状态管理部70。客户机状态管理部70将视点移动信息输出给单一流生成部80。此后的处理与第I和第2实施方式相同。但是，在本实施方式中，由客户机状态管理部70对客户机2发送的发送状态信息中，不仅包含作为视听区域Av相对于整体区域Aw的相对位置信息的视听区域信息，还包含视点移动信息。[客户机的结构例]接着，参照图9说明客户机2。在客户机2中，包含发送状态信息接收部208、视点区域管理部3209、显示控制部212、显示部213，但不存在用于发送视点移动信息的处理部。客户机2的发送状态信息接收部208接收从服务器I发送的发送状态信息、即视听区域Av相对于整体区域Aw的相对位置信息和视点移动信息，并将其输出给视点区域管理部3209。视点区域管理部3209与由发送状态信息接收部208接收到的用于表示视听区域Av相对于整体区域Aw的位置信息的视听区域信息相同地将视点移动信息输出给显示控制部212。此外，从视点移动信息决定部209对显示控制部212输入用于表示该视听区域解码信号的位置的视听区域信息。显示控制部212利用视听区域信息与视点移动信息，将视听区域解码信号换算为显示区域Ad内的位置，从而进行显示位置的调整。此后，显示控制部212将调整了显示位置的解码视频信号(以下，称为显示区域解码信号)输出到显示部213。[传输系统的动作例]接着，参照图10的流程图说明本例的传输系统的服务器I与客户机2的处理的例子。首先服务器I取得从视频信号输入部10输出的视频信号(步骤SCI)。接着，视频区域分割处理部20将在步骤SCl中取得的视频分割为一个以上的区域(步骤SC2)。然后，部分区域编码处理部30根据用于构成分割后的各区域的视频信号，生成分辨率不同的多个比特流，并将其存储在视频比特流组存储部40 (步骤SC3)。接着，客户机2对服务器I发送发送请求，以便其发送比特流(步骤SC4)。这里，在服务器I中，进行基于既定的初始视点移动信息而确定的比特流的提取，并由单一流生成部80构成单一流,并由单一流发送部90发送给客户机2 (步骤SC6)。在客户机2中，由视频解码部202对由视频流接收部201接收的单一流进行解码，并由显示控制部212将解码而获得的视听区域解码信号进行位置调整并作为显示区域解码信号而显示在显示部213 (步骤SC7)。这里，服务器I的视点移动信息决定部150生成视点移动信息(步骤SC8)，由单一流生成部80从视频比特流组存储部40提取根据视点移动信息而确定的多个比特流(步骤SC9)，生成视听区域视频比特流，并进一步由单一流发送部90发送给客户机2(步骤SC10)。此外，在上述视频的显示过程中，视点移动信息决定部150随时生成视点移动信息，并将其反映到单一流生成部80的动作中(步骤SClO —步骤SC8)。[第3实施方式的效果]根据上述的第3实施方式，即使用户不通过界面等而有意地移动视听区域，也能够在客户机2内部自动地变更视频的视听区域和分辨率，因此即便通过被动的各种视频的视听，也能够发现新的视频。特别是针对视点移动信息，由于在服务器、客户机之间不用进行发送接收，全部在服务器侧决定，并反映到视听区域视频，因此如以往的电视广播那样简化了客户机侧的处理。另外，本发明并不限定于所述的实施方式，在不脱离本发明的宗旨的范围内可施加各种变更。例如，在本实施方式中，设由视点移动信息决定部自动地决定视点移动信息，但也可以与其并用，也可以设为能够从客户机上的用户界面操作视点移动信息的结构。其中的其他的结构和优点与所述的第I实施方式或第2实施方式相同，因此省略其详细的说明。
权利要求
1.一种传输系统，其具有发送装置和视点移动信息决定部，其中， 所述发送装置包含: 视频区域分割处理部，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号； 编码处理部，对所述多个区域分割视频信号进行编码，生成多个视频比特流； 视频比特流组存储部，存储在所述编码处理部中生成的多个视频比特流； 传输用比特流生成部，基于在所述视点移动信息决定部中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及 视频比特流发送部，将在所述传输用比特流生成部中生成的所述传输用的视频比特流发送给所述接收装置， 所述视点移动信息决定部决定用于从所述视频区域中确定视听对象的区域的视点移动信息， 此外，所述视点移动信息决定部基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。
2.如权利要求1所述的传输系统，其中， 还具有接收装置， 所述视点移动信息决定部包含于所述接收装置中， 所述视点移动信息决定部将所决定的视点移动信息发送给所述发送装置。
3.如权利要求1所述的传输系统,其中， 所述视点移动信息决定部包含于所述发送装置中。
4.如权利要求1所述的传输系统,其中， 所述视点移动信息决定部作为所述发送装置以外的其他的服务器的一部分而被包含。
5.如权利要求1至4的任一项所述的传输系统，其中， 所述既定的数据是过去的该用户的视听历史、其他用户的视听历史、视听用户简档、多个区域分割视频之间的关联性、由视频提供者赋予的对各区域分割视频的权重、在所述视频区域内的对象的移动信息、用户当前的物理位置、或者对所述位置附加的信息中的任一个。
6.一种发送装置，包含: 视频区域分割处理部，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号； 编码处理部，对所述多个区域分割视频信号进行编码，生成多个视频比特流； 视频比特流组存储部，存储在所述编码处理部中生成的多个视频比特流； 所述视点移动信息决定部，决定用于从所述视频区域中确定视听对象的区域的视点移动信息； 传输用比特流生成部，基于在所述视点移动信息决定部中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及 视频比特流发送部，将在所述传输用比特流生成部中生成的所述传输用的视频比特流发送给所述接收装置， 此外，所述视点移动信息决定部基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。
7.—种传输方法,其中,所述传输方法包括: 视频区域分割处理步骤，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号； 编码处理步骤，对所述多个区域分割视频信号进行编码，生成多个视频比特流； 将在所述编码处理步骤中生成的多个视频比特流存储在视频比特流组存储部中的步骤； 传输用比特流生成步骤，基于在所述视点移动信息决定步骤中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及视频比特流发送步骤，将在所述传输用比特流生成步骤中生成的所述传输用的视频比特流发送给接收装置，在所述视点移动信息决定步骤中，决定用于从所述视频区域中确定视听对象的区域的视点移动信息， 此外，在所述视点移动信息决定中，基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。
8.一种计算机程序，其使计算机执行权利要求7所述的方法。
全文摘要
在能够自由地移动视听区域的高精细的视频信号的配送中，不依赖于用户的操作就决定并控制视点移动。包括视频区域分割处理步骤，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号；编码处理步骤，对所述多个区域分割视频信号进行编码，生成多个视频比特流；将在所述编码处理步骤中生成的多个视频比特流存储在视频比特流组存储部中的步骤；传输用比特流生成步骤，基于在所述视点移动信息决定步骤中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及视频比特流发送步骤，将在所述传输用比特流生成步骤中生成的所述传输用的视频比特流发送给接收装置。在所述视点移动信息决定步骤中，决定用于从所述视频区域中确定视听对象的区域的视点移动信息。此外，在所述视点移动信息决定中，基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。
文档编号H04N21/236GK103190156SQ20118004564
公开日2013年7月3日 申请日期2011年9月21日 优先权日2010年9月24日
发明者笠井裕之, 宇地原直史 申请人:株式会社Gnzo