专利名称：视频发送装置以及视频接收装置的制作方法
技术领域：
本发明是关于一种采用分层编码方式的视频发送装置及视频接收装置。
背景技术：
过去，要让例如，将视频编码再由视频发送装置播发的视频数据可以在某一定的传输频带进行传输，通常是先以JPEG(Joint Picture Experts Group，联合图象专家组)方式、H.261方式、MPEG(Moving Picture Experts Group，动态图像专家组)方式等，压缩编码到一定频带以下，而视频数据一旦被编码，则即使传输频带改变，也无法改变分辨率和帧速率(frame rate)等的视频质量。
另外，近年来随着相机的摄影像素数增大，也就是视频的高分辨率化，产生了经过视频编码的视频数据因为高分辨率化，视频数据量和处理负荷增大，所以传输视频数据所必要的传输频带增大，以及解码视频数据所必要的处理负荷增大等高分辨率化的附带课题。因此，在接收视频数据的终端对传输频带和处理性能有限制时，要实时(real time)地接收高分辨率的视频数据并进行解码就会有困难。也就是说，在传输高分辨率视频时，必要的传输频带和解码处理量很大，而且经常会发生延迟。
此时，为了削减视频数据的传输频带和解码处理量，有效的作法并不是传输高分辨率的视频全体并进行解码，而是仅把终端所需的关注区域的视频数据传输到终端并使用于解码作业。
这样，当仅将关注区域的视频数据从视频数据中提取并使用于解码时，以往的作法是例如特开平4-95471号公报所示地，将视频数据分割成小区域再编码，然后从已编码的视频数据中提取关注区域的视频数据再进行解码。
这种情形，在上述公报所记载的编码装置中除将输入视频分割成例如，由多个区块所构成的小区域再进行编码外，同时存储各小区域的编码量。而且，在解码装置中则是提取对应于利用上述编码量所指定的关注区域的视频数据再解码。
然而，在以往的编码装置中，为了将视频分割成小区域并编码，在小区域的解码时所必要的首标数会增大，因此，产生必要的编码量随着首标而增大，造成编码效率降低的问题。尤其是在称为MPEG-4 FGS(Fine GranularityScalability，精细可分级视频编码)(ISO/IEC 14496-2 Amendment 2)的分层编码方式中，因为必须为每个位平面都加上首标，所以比起一般的MPEG，由首标所造成的编码效率降低程度很大。
另外，在MPEG等的视频编码方式中，因为是采用以过去的帧来解码现在的帧的帧间预测编码，所以只把关注区域的视频解码后的帧，会有只能够进行限定在关注区域内的预测解码，而不能在视频再现中将关注区域变更到别的区域的问题。
发明内容
本发明的目的在于提供一种既不会导致编码效率降低，又可有效地只传输关注区域的视频数据并进行解码，同时也可以在视频再现中变更关注区域的视频发送装置及视频接收装置。
根据本发明的视频发送装置为一种将输入视频分层编码并当作基本层及扩展层的视频流来发送的视频发送装置，其具有编码基本层的第1编码单元、计算编码扩展层时的分割区域的计算单元，和将扩展层按每个所计算的分割区域进行帧内编码的第2编码单元。
根据本发明的视频接收装置为一种接收从所述的视频发送装置发送出来的视频流的视频接收装置，其具有接收已编码的基本层的第1接收单元、将所接收到的编码基本层解码的第1解码单元、接收已编码的扩展层的第2接收单元、将所接收到的编码扩展层解码的第2解码单元、合成经过解码的基本层及经过解码的扩展层的第1合成单元，以及显示所述第1合成单元的合成结果的显示单元。
图1表示包含本发明实施方式1的视频发送装置及视频接收装置的视频传输系统的构成；图2为对应实施方式1的视频发送装置的视频编码单元的操作的示意流程图；图3A表示操作例1中的输入视频的一个例子，图3B表示对应的区域映象的一个例子；图4A表示操作例2中的输入视频的一个例子，图4B表示对应的区域映象的一个例子；图5A表示操作例3中的输入视频的一个例子，图5B表示对应的区域映象的一个例子；图6A表示操作例4中的输入视频的一个例子，图6B表示对应的区域映象的一个例子；图7为图2表示的扩展层编码处理的内容的示意流程图；图8A表示区域映象的一个例子，图8B表示对应的偏移表的一个例子；图9表示对应于实施方式1的视频发送装置的视频播发单元的操作的流程图；图10表示对应于实施方式1的视频接收装置的操作的流程图；图11表示视频合成结果的一个例子；图12表示包含本发明实施方式2的视频发送装置及视频接收装置的视频传输系统的构成；图13表示对应实施方式2的视频发送装置的视频播发单元的操作的流程图；图14A表示区域映象的一个例子，图14B表示所切割出来的小区域的编号，图14C表示对应的解码映象的一个例子；图15表示对应于实施方式2的视频接收装置的操作的流程图；以及图16A表示解码映象的一个例子，图16B表示经扩展的解码映象的一个例子。
具体实施例方式
本发明的要点是，在分层编码数据当中，将基本层编码，另一方面，计算编码扩展层时的分割区域(区域映象)，并将扩展层按其分割区域进行帧内编码。并且，在这时，生成关于经编码的扩展层的每个被计算的分割区域的存储位置的信息(偏移表(Offset Table))，利用所生成的存储位置信息，从已编码的扩展层提取关注区域的视频数据并进行发送。
进一步是，将有关分割区域的信息(区域映象)发送到接收端，在接收端将分割区域信息和解码基本层加以合成再显示于画面上。
此外，在已编码的基本层中，为了将已编码的扩展层解码，要生成显示解码所必要的区域的解码区域信息(解码映象)并发送到接收端，而在接收端，仅将基本层的视频数据当中，显示于解码区域信息的视频信息加以解码。
以下将参照附图详细说明本发明的实施方式。
(实施方式1)图1表示包含本发明实施方式1的视频发送装置及视频接收装置的视频传输系统的构成。
图1表示的视频传输系统是将高分辨率的视频编码再播发的系统，具有发送视频的视频发送装置(以下也称为「发送终端」)100、接收视频的视频接收装置(以下也称为「接收终端」)150，和把从视频发送装置100所发送出来的视频转发到视频接收装置150的网络190。视频发送装置100主要包含有，将视频编码的视频编码单元110、按照来自用户的请求提取关注区域(ROIRegion Of Interest)的数据并进行播发的视频播发单元130。视频接收装置150具有接收、解码、显示视频数据的功能。也就是说，从视频发送装置100所送出来的视频，更具体的说，是在视频编码单元110被编码再从视频播发单元130送出来的视频，是经由网络190传输到视频接收装置150。
视频编码单元110包含有视频输入单元112、视频缩小单元114、基本层编码单元116、区域映象计算单元118，以及扩展层编码单元120。扩展层编码单元120包含偏移表生成单元122。视频播发单元130包含有关注区域接收单元132、基本层发送单元134、视频数据切出单元136、扩展层发送单元138，及区域映象发送单元140。
视频接收装置150包含有基本层接收单元152、基本层解码单元154、扩展层接收单元156、扩展层解码单元158、区域映象接收单元160、视频合成单元162、视频显示单元164、关注区域设定单元166，及关注区域发送单元168。
此处，在本实施方式中是采用例如，分层编码方式中的一种的MPEG-4FGS来作为对输入视频(高分辨率视频)的压缩编码方式。利用MPEG-4 FGS所编码的视频数据是由其是MPEG-4编码且单一个即可解码的活动图像流的一个基本层，和用以提升基本层的解码活动图像质量的作为活动图像流的至少一个的扩展层所构成。基本层是低频带且低画质的视频数据，通过根据频带加上扩展层的方式，可以进行自由度高的高画质化。
再者，压缩编码方式并不限于MPEG-4 FGS，只要是分层编码方式，不管哪一种方法都可以利用。在分层编码方式中，已编码的视频数据是以基本层与扩展层构成。
首先，就视频发送装置100的各部分做说明。
视频输入单元112将视频信号输入并按每一个帧输出到视频缩小单元114及区域映象计算单元118。
视频缩小单元114将从视频输入单元112输出的视频以预先指定的缩小率缩小，再将所获得的缩小视频(基本层)输出到基本层编码单元116。具体地说，如果缩小率是N，输入视频的分辨率为(宽度、高度)＝(W，H)，从视频输入单元112输出的视频就会缩小成(W/N，H/N)的分辨率。
基本层编码单元116将从视频缩小单元114输出的视频(基本层)压缩编码，再将经过编码的视频数据输出到基本层发送单元134，同时将编码时所计算的运动矢量输出到区域映象计算单元118。而且，基本层编码单元116将经过编码的视频数据解码，再把获得的基本层解码视频输出到扩展层编码单元120。再者，运动矢量在每个宏块(Macroblock)(16×16像素)各有数值。
例如，在一个例子中，区域映象计算单元118利用从视频输入单元112输出的输入视频，和从基本层编码单元116输出的运动矢量，计算显示编码时所分割的区域的区域映象，再将获得的区域映象输出到扩展层编码单元120、视频数据切出单元136，及区域映象发送单元140。而且，区域映象计算单元118则是将从视频输入单元112输出的输入视频输出到扩展层编码单元120。再者，区域映象的计算方法除了用输入视频和运动矢量的方法以外还可以考虑许多不同的方法。关于区域映象的计算方法将在后面详细说明。
扩展层编码单元120将从基本层编码单元116输出的基本层解码视频增强到输入视频的分辨率之后，取其与输入视频之间的差分，生成差分视频(扩展层)，再根据从区域映象计算单元118输出的区域映象分割该差分视频，并对每个小区域进行扩展层编码，然后把经过编码的视频数据输出到视频数据切出单元136。而且，扩展层编码单元120是在偏移表生成单元122，生成显示经过编码的视频数据的每个区域的存储位置的偏移表，并将获得的偏移表输出给视频数据切出单元136。处理的详细内容如后述。
关注区域接收单元132接收从视频接收装置150所送出的关注区域信息，并输出到视频数据切出单元136及区域映象计算单元118。
基本层发送单元134将从基本层编码单元116输出的视频数据，经由网络190发送到视频接收装置150。
视频数据切出单元136利用从区域映象计算单元118输出的区域映象，和从扩展层编码单元120输出的偏移表，将对应于从关注区域接收单元132输出的关注区域的视频数据，从由扩展层编码单元120输出的视频数据提取出来，再将提取的视频数据输出到扩展层发送单元138。详细的处理情形如后述。
扩展层发送单元138将从视频数据切出单元136输出的视频数据，经由网络190发送到视频接收装置150。
区域映象发送单元140将从区域映象计算单元118输出的区域映象经由网络190传输到视频接收装置150。
接着，就视频接收装置150的各部分做说明。
基本层接收单元152从网络190接收基本层的视频数据，然后输出给基本层解码单元154。
基本层解码单元154将从基本层接收单元152输出的基本层的视频数据解码，再把获得的解码视频输出到扩展层解码单元158及视频合成单元162。
扩展层接收单元156从网络190接收扩展层的视频数据，然后输出到扩展层解码单元158。
扩展层解码单元158将从扩展层接收单元156输出的视频数据解码，把从基本层解码单元154输出的基本层的解码视频放大，再用同一分辨率进行加法处理，切出扩展层存在的区域的解码视频，输出到视频合成单元162。详细的处理如后述。
区域映象接收单元160从网络190接收区域映象，输出给视频合成单元162。
视频合成单元162把从区域映象接收单元160输出的区域映象盖写到从基本层解码单元154输出的基本层解码图像，合成从扩展单元解码单元158输出的扩展层解码图像，然后输出到视频显示单元164。
视频显示单元164将从视频合成单元162输出的合成视频显示出来。
关注区域设定单元166是根据用户的选择，设定画面中要切出并执行显示的关注区域，再把所设定的关注区域信息输出到关注区域发送单元168。具体举例来说，关注区域设定单元166把关注区域的左上坐标(x，y)，和关注区域的宽度与高度的组合(w，h)当作关注区域信息计算，再把所算得的关注区域信息(x，y)、(w，h)输出到关注区域发送单元168。
再者，在本实施方式中，关注区域信息虽然是(x，y)、(w，h)，但不限定于此，只要是可以表现区域的方法，哪一种方法都可以。
关注区域发送单元168将从关注区域设定单元166输出的关注区域信息经由网络190发送到视频发送装置100。
在本实施方式中是利用上述构成，将缩小高分辨率的输入视频而获得的低分辨率的基本层编码，另一方面，将输入视频与基本层编码视频解码后，基于区域映象分割输入视频与通过将基本层编码视频放大到输入视频的分辨率而获得的视频之间的差分视频后，把每个分割区域当作扩展层进行帧内编码。并在这个时候，生成显示经过编码的扩展层的每个分割区域的存储位置的偏移表，并利用该偏移表进行仅从扩展层将对应于关注区域的视频数据切出的操作。
接着，利用示于图2的流程图说明具有上述构成的视频发送装置100的操作，尤其是视频编码单元110的操作。再者，示于图2的流程图被视频发送装置100的未图示的存储装置(例如，ROM和闪存等)当作控制程序存储起来，并由同样未图示的CPU来执行。
首先，在步骤S1000进行视频输入处理。具体地说，在视频输入单元112输入视频信号，按每个帧输出到视频缩小单元114及区域映象计算单元118。
而且，在步骤S1100则是进行输入视频的缩小处理。具体地说，在视频缩小单元114将视频输入单元112输出的视频以预先指定的缩小率缩小，再将获得的缩小视频输出到基本层编码单元116。例如，如果缩小率为N，输入视频的分辨率为(宽度，高度)＝(W，H)，输入视频就缩小成(W/N，H/N)的分辨率。
然后，在步骤S1200进行基本层的编码处理。具体地说，在基本层编码单元116将从视频缩小单元114输出的视频(基本层)压缩编码，在将经过编码的视频数据输出到基本层发送单元134的同时，把编码时所计算的运动矢量输出到区域映象计算单元118。另外，将经过编码的视频数据解码，获得的基本层解码视频则输出到扩展层编码单元120。再者，如上所述，运动矢量包括用于每个宏块(16×16像素)的值。
接着，在步骤S1300进行计算表示扩展层编码时的分割区域的区域映象的区域映象计算处理。具体举例来说是如上所述地，在区域映象计算单元118，利用从视频输入单元112输出的输入视频，和从基本层编码单元116输出的运动矢量，和从关注区域接收单元132输出的关注区域信息，计算区域映象，再把获得的区域映象输出到扩展层编码单元120及区域映象发送单元140。另外，将输入视频输出到扩展层编码单元120。
在此，就区域映象的计算方法，用数个操作例来说明。
(操作例1)在操作例1，区域映象计算单元118是用从基本层编码单元116输出的运动矢量来计算区域映象。具体来说，例如把运动矢量相同或者差异等于或小于阈值的多个宏块当作同一个小区域。也就是说，将具有相同或类似的运动矢量的区域视为同一个小区域。图3A表示输入视频的一个例子，图3B表示是以本操作例对图3A的输入视频所计算的区域映象的一个例子。图3A中，301为宏块，303是根据运动矢量计算出的小区域。小区域303以外的区域是宏块所分别形成的小区域。如图3B所示，每个宏块都有小区域编号。
此处，在本实施方式是如上所述，例示用MPEG-4 FGS作为扩展层编码方式的情形。因此，构成编码单位的小区域称为”VIDEO PACKET”，因为是在水平方向由连续的多个宏块所构成，所以如果是在水平方向连续的宏块，且运动矢量的数值相同或相近时，就成为同一个小区域(也就是VIDEOPACKET)。
这样，把具有相同或类似的运动矢量的区域当作同一区域，就可以把成为关注区域的可能性高的动态对象当作同一区域进行分割，即可以免除无谓的分割，又可以防止因无谓的分割而导致的编码效率的降低。
再者，编码方式并不一定局限于MPEG-4 FGS，小区域的形状也不限于水平地连续的宏块。另外，关于用运动矢量计算出的小区域以外的小区域的大小，并不限定要用1个宏块作为1个小区域，也可以把预先决定的个数的宏块当作1个小区域。
(操作例2)在操作例2，区域映象计算单元118是仅将视频中的特定区域分割成微细的区域以计算区域映象。具体地说，例如，用视频做远距监视的情形中，将监视区域中的重要地带(例如门的附近和店铺的收款机附近)等预先设定的区域及其邻近区域(周边区域)分割成微细的区域。图4A为输入视频的一个例子，图4B是以本操作例对图4A的输入视频所计算出的区域映象的一个例子。图4A中，401为重要地带及其周边区域，403为细分割重要地带及其周边区域而成的小区域。重要地带及其周边区域403以外的区域，由在水平方向连续的区域构成各别的小区域。如图4B所示，每个宏块都有小区域编号。
这样，只把预先设定的区域细分割的作法，不但不会损及在容易受到关注的区域(重要监视区域)内的区域选择性，又可以防止因为无谓的分割所导致的编码效率的降低。
再者，也可以只把拍摄的对象容易被拍到的区域，即画面的中央部分，分割成微细的区域以计算区域映象。由此，既不会损及视频中在中央附近等拍摄的对象容易被拍到的区域内的区域选择性，又可以防止因为无谓的分割所导致的编码效率的降低。
(操作例3)在操作例3，区域映象计算单元118是利用从视频输入单元112输出的输入视频来进行对象检测，再用该检测结果进行区域分割，计算区域映象。具体地说，就是用对象的检测结果，以各分割区域的大小等于对象的检测结果的方式来计算区域映象。也就是说，利用人物和动态对象的检测，将区域分割的单位配合到人物和动态对象。例如，用椭圆检测等的图像处理，从输入视频来进行脸部单元图像的检测，再用检测出的区域的大小将整幅画面等分割。例如，当检测出来的区域，其宽度为M个的宏块时，就把在水平方向连续的M个宏块当作1个小区域。
图5A表示输入视频的一个例子，图5B表示是以本操作例对图5A的输入视频所计算出的区域映象的一个例子。此处显示的是M＝4的区域映象。图5A中，501为宏块，503是以水平连续的4个宏块构成的小区域。如图5B所示，每个宏块都编了小区域编号。
这样，利用对象的检测结果来进行各区域的大小等于对象的检测结果的方式进行区域分割，例如，以视频中的脸部单元区域的大小来对视频进行区域分割，就可以毫无冗赘地以被当作关注区域切出来的可能性高的区域单位来进行区域分割，而且可以防止编码效率的降低。
再者，在本操作例中，虽以脸部单元区域为检测对象，但也可以不限于脸部单元区域而应用在人物和对象、动态检测等。
(操作例4)在操作例4中，区域映象计算单元118利用从关注区域接收单元132输出的关注区域信息来计算区域映象。具体地说，例如，将接收者(用户)所指定的关注区域(及其周边区域)细分割成小区域，其它区域则粗略地分割成小区域。此外，对接收者过去曾经指定过的关注区域附近进行细微的区域分割。
图6A表示输入视频的一个例子，图6B是在本操作例对图6A的输入视频所计算的区域映象的一个例子。图6A中，601为关注地带及其周边区域，603为细分割关注地带及其周边区域而成的小区域。关注地带及其周边区域603以外的区域是由在水平方向连续的区域所分别形成的小区域。如图6B所示，每个宏块都有小区域编号。
这样，将用户指定的关注区域(及其周边区域)细分割的作法，可以执行无冗赘的分割；此外，将根据用户过去的关注区域预测到的邻近区域细分割的作法，除了可以将成为关注区域的可能性高的区域有效地做分割，无论哪一种作法都可以防止因无谓的分割而导致的编码效率的降低。
再者，上述的操作例1～4仅是举例，当然不限于此。另外，上述的操作例1～4可以单独使用或任意地组合使用。
而且，在步骤S1400进行扩展层的编码处理。该扩展层编码处理是在扩展层编码单元120进行。
图7表示图2表示的扩展层编码处理的内容的流程图。
首先，在步骤S1410进行生成输入视频与基本层解码视频的差分视频的差分视频生成处理。具体地说，就是把从基本层编码单元116输出的基本层的解码视频，以在视频缩小单元114所使用的缩小率M进行放大，再进行和从区域映象计算单元118输出的输入视频的差分处理，生成差分视频。
接着，在步骤S1420进行差分视频的区域分割。具体地说，就是基于从区域映象计算单元118输出的区域映象，分割在步骤S1410生成的差分视频。
然后，在步骤S1430进行每个小区域的编码处理。具体地说，就是在步骤S1420所分割的每个小区域进行扩展层编码。例如，在图3B表示的区域映象被输入的情形中，在每个小区域303及宏块301进行扩展层编码。此处是如上所述地，采用MPEG-4 FGS作为扩展层编码方式。MPEG-4 FGS扩展层编码方式由于是不根据过去的帧做预测的编码方式，所以即使在各个帧中切出位置互异的小区域依然可以解码。
而且，在步骤S1440则是进行偏移表生成处理。具体地说，就是在偏移表生成单元122生成显示在步骤S1430所编码的小区域的位置(例如存储到存储器的位置)的偏移表。
图8A表示区域映象的一个例子(参照图3B)，图8B表示对应图8A的区域映象的偏移表的一个例子。如图8A所示，在区域映象中每个宏块都编了小区域的编号。图8B所示的偏移表存储了小区域的编码数据，将视频流的最前面起的偏移位置以字节表示出来。也就是说，小区域K的编码数据可知是以视频流的最前面起第K_OFFSET字节为起点到第(K+1_OFFSET_1)字节。
在本实施方式是如上述地采用MPEG-4 FGS，因为MPEG-4 FGS采用位平面编码，所以小区域的编码数据被分成多个位平面来存储。因此，在每个位平面生成偏移表。
再者，图8B仅是偏移表的一个例子，只要可以显示视频数据的每个分割区域的存储位置，哪一种形式都可以利用。
接着，在步骤S1450进行数据输出处理。具体地说，就是把在步骤S1430生成的编码后的视频流及在步骤S1440生成的偏移表输出到视频数据切出单元136之后，处理再回到图2的流程图。
然后，在步骤S1500进行结束判定处理。具体地说，例如，将预先设定的帧数编码时，或者，视频输入结束时，就会结束一连串的处理；而不满足上述的结束条件时，也就是说，未将预先设定的帧数编码，而且，视频输入尚未结束时，则处理回到步骤S1000。
其次，就具有上述构成的视频发送装置100的操作，特别是视频播发单元130的操作，用图9所示的流程图来做说明。再者，图9所示的流程图是当作控制程序而被存储在视频发送装置100的未图示的存储装置(例如，ROM和闪存等)，并由同样未图示的CPU来实行。视频播发单元130对于用户所指定的关注区域，具有从扩展层的视频数据把对应部分切出来并发送出去的功能。
首先，在步骤S2000执行输入关注区域信息的关注区域输入处理。具体地说，就是在关注区域接收单元132接收用户所发送的关注区域信息，再将其输出到视频数据切出单元136及区域映象计算单元118。此时，即使在预先设定的时间待机也收不到关注区域信息的情形下，就会输出显示未接收到关注区域信息的「关注区域OFF」信息。再者，输出到区域映象计算单元118的关注区域信息是如上所述，被利用在区域映象的计算上(参照操作例4)。
接着，在步骤S2100进行将对应关注区域的扩展层视频数据切出的关注区域切出处理。具体地说，就是在视频数据切出单元136，利用从扩展层编码单元120输出的扩展层视频数据及偏移表、从区域映象计算单元118输出的区域映象，以及从关注区域接收单元132输出的关注区域信息，进行扩展层的视频数据的切出。更具体地说，首先，将区域映象和关注区域信息进行比较，计算包含关注区域的小区域。接着，用偏移表计算对应包含关注区域的小区域的视频数据的存储位置，再从扩展层的视频数据切出视频数据。然后，将切出来的视频数据输出到扩展层发送单元138。但是，从关注区域接收单元132输入「关注区域OFF」信息时，就不进行视频数据的切出，而是把扩展层的视频数据按原样地输出到扩展层发送单元138。
然后，在步骤S2200进行数据的发送处理。具体地说，就是在基本层发送单元134，将从基本层编码单元116输出的视频数据，经由网络190发送到视频接收装置150。另外，在扩展层发送单元138将从视频切出单元136输出的视频数据，经由网络190发送到视频接收装置150。并且，在区域映象发送单元140，把从区域映象计算单元118输出的区域映象，经由网络190发送到视频接收装置150。
接着要用图10所示的流程图来说明具有上述构成的视频接收装置150的操作。再者，示于图10的流程图是当作控制程序而被存储在视频接收装置150的未图示的存储装置(例如ROM和闪存等)，并由同样未图示的CPU来实行。
首先，在步骤S3000进行数据的输入处理。具体地说，就是在基本层接收单元152，经由网络190接收基本层的视频数据，输出到基本层解码单元154。另外，在扩展层接收单元156，经由网络190接收扩展层的视频数据，输出到扩展层解码单元158。此外，在区域映象接收单元160，经由网络190接收区域映象，输出给视频合成单元162。
接着，在步骤S3100进行基本层的解码处理。具体地说，在基本层解码单元154将从基本层接收单元152输出的基本层的视频数据解码，再把获得的解码视频输出到扩展层解码单元158及视频合成单元162。
然后，在步骤S3200进行扩展层的解码处理。具体的说，是在扩展层解码单元158将从扩展层接收单元156输出的扩展层的视频数据解码，并进行和把从基本层解码单元154输出的基本层的解码视频以预先决定的放大率加以放大而获得的视频的加法处理，生成解码视频。接着，从获得的解码视频将扩展层存在的区域的解码视频切出，切出来的解码视频数据则输出到视频合成单元162。
接着，在步聚S3300进行视频的合成处理。具体地说，就是在视频合成单元162将从基本层解码单元154输出的基本层的解码视频、从扩展层解码单元158输出的扩展层的解码视频，和从区域映象接收单元160输出的区域映象进行合成，再输出给视频显示单元164。更具体的说，是在基本层解码视频之上同时显示以区域映象表示的小区域，再在扩展层解码视频中当作子画面加以合成。
图11所示是在扩展层解码视频合成子画面的视频合成结果的一个例子。图11中，701是以线来显示在表示全景的基本层解码视频上以区域映象所表示的小区域的子画面，703则是扩展层解码视频。
这样，通过将视频整幅图像和区域映象同时显示于画面的方式，就可以利用来进行关注区域的选择，不但用户可以在视觉上掌握到关注区域和全景的相对关系，更可以提升由用户来选择关注区域的操作性。
再者，在本实施方式虽然示出将全景视频和扩展层视频合成为1个画面的情形，但是不限于此，也可以分别显示2个显示画面，只要是可以在扩展层以外提升显示全景的关注区域的选择操作性的方法，哪一种方法都可行。
接着，在步骤S3400进行视频的显示处理。具体地说，就是在视频显示单元164，将从视频合成单元162输出的合成视频(参照图11)显示在显示设备。
然后，在步骤S3500进行关注区域的设定处理。具体地说，当用户看着显示在显示设备的子画面而选择关注区域时，就在关注区域设定单元166计算关注区域信息(x，y)、(w，h)，输出给关注区域发送单元168。另外，在无法按显示在子画面的小区域切出用户期望的关注区域时，会计算表示小区域的区域映象并追加到关注区域信息，输出给关注区域发送单元168。由此，就可以随着用户对关注区域所做的选择而进行小区域的变更。
然后，在步骤S3600进行关注区域信息的发送处理。具体地说，就是在关注区域发送单元168，将从关注区域设定单元166输出的关注区域信息，经由网络190发送到视频发送装置100。
这样，若根据本实施方式，因为基本层(缩小视频)是低分辨率的视频，而且是对该低分辨率视频进行基本层编码，所以在解码时的处理负荷小，可以在低延迟的情形下进行解码。另外，因为是计算区域映象，并基于区域映象来分割扩展层(差分视频)之后，才对每个分割区域进行编码，所以可以削减开销(Overhead)。而且，因为扩展层的视频数据是，将每个分割区域的存储位置描述在偏移表，再用该偏移表来进行扩展层的视频数据的切出，所以可以快速地存取对应关注区域的视频数据，且可以快速地进行视频数据的切出。此外，因为在对扩展层进行解码时所进行的是不需要过去的帧的帧内编码，所以在视频再现时可以变更关注区域。因此，既不会造成编码效率的降低，更可以仅将关注区域的视频数据高效率地进行传输并解码，而且即使是视频再现中也可以进行关注区域的变更。
(实施方式2)在本实施方式中所说明的是发送终端发送扩展层的解码时所必要的解码映象(decode map)，接收终端根据该解码映象省略部分的基本层的解码处理的情形。
图12表示本发明实施方式2的包含视频发送装置及视频接收装置的视频传输系统的构成。再者，该视频传输系统具有如图1所示的视频传输系统同样的基本构成，对于相同的构成元件由相同的标号表示，并省略其说明。
本实施方式的特征在于发送终端发送解码映象，接收终端根据该解码映象省略部分的基本层的解码处理。因此，视频发送装置200(特别是视频播发单元202)具有解码映象生成单元204和解码映象发送单元206。另外，视频接收装置250具有解码映象接收单元252。
视频数据切出单元136a和实施方式1中的视频数据切出单元136同样地，利用从区域映象计算单元118输出的区域映象，和从扩展层编码单元120输出的偏移表，从由扩展层编码单元120输出的视频数据，提取(切出)对应于从关注区域接收单元132输出的关注区域的视频数据，并将提取的视频数据输出到扩展层发送单元138。除此之外，视频数据切出单元136a将切出来的小区域的编号及区域映象输出到解码映象生成单元204。
解码映象生成单元204利用从视频数据切出单元136a输出的小区域编号及区域映象生成解码映象，输出给解码映象发送单元206。
解码映象发送单元206将从解码映象生成单元204输出的解码映象，经由网络190发送到视频接收装置250。
解码映象接收单元252从网络190接收解码映象，输出到基本层解码单元154a。
基本层解码单元154a利用从解码映象接收单元252输出的解码映象，对从基本层接收单元152输出的基本层的视频数据进行解码处理，并将获得的解码视频输出到扩展层解码单元158及视频合成单元162。
接着，将用图13所示的流程图，就具有上述构成的视频发送装置200的操作，特别是视频播发单元202的操作做说明。再者，图13所示的流程图是当作控制程序而被存储在视频发送装置200的未图示的存储装置(例如，ROM和闪存等)，并由同样未图示的CPU来实行。
在本实施方式中是如图13所示，将步骤S2150插入图9所示的流程图中。
步骤S2000及步骤S2100因为和图9所示的流程图的各步骤相同，故省略其说明。但是，在本实施方式中，接收到的关注区域信息是在步骤S2000中，被输出到视频数据切出单元136a及区域映象计算单元118。另外，在步骤S2100，除了在实施方式1的处理外，还要将切出来的小区域的编号及区域映象输出给解码映象生成单元204。
在步骤S2150进行解码映象的生成处理。具体地说，就是利用从视频数据切出单元136a输出的小区域编号及区域映象生成解码映象，输出给解码映象发送单元206。解码映象包含对应于从视频数据切出单元136a输出的小区域编号的区域映象的小区域。
图14A表示区域映象的一个例子(参照图3B)，图14B表示切出来的小区域的编号，图14C表示对应于图14B的解码映象的一个例子。在图14C中，对应于切出来的小区域的编号(1，2，8，9)的宏块为「1」，除此以外则是「0」。在扩展层的解码中，在基本层的相同区域的解码视频是必要的。因此，在解码映象中以「1」表示的区域，因为是包含扩展层的区域，所以在基本层中是需要解码处理的区域。也就是说，在图14C的解码映象中，「1」的区域表示需要解码的区域，「0」的区域表示不需要解码的区域。
再者，解码映象并不限于图14C的形式，只要是可以表现区域的方式，哪一种方式都可以利用。
另外，在本实施方式中，虽然是将解码映象当作另外的数据而与视频流有别地发送，但并不限于此，也可以描述在基本层中的用户区域。由此，就不需要其它数据的发送处理，也可以进行标准的在基本层的解码。
步骤S2200因为和图9所示的流程图的步骤相同，故省略其说明。但是，在本实施方式中，除了在实施方式1的数据发送处理外，解码映象发送单元206还将从解码映象生成单元204输出的解码映象，经由网络190发送到视频接收装置250。
其次，将用图15所示的流程图来说明具有上述构成的视频接收装置250的操作。再者，图15所示的流程图是当作控制程序而被存储在视频接收装置250的未图示的存储装置(例如，ROM和闪存等)，并由同样未图示的CPU来实行。
在本实施方式是如图15所示，将步骤S3050插入图10所示的流程图中。
步骤S3000因为和图10所示的流程图的步骤相同，故省略其说明。
在步骤S3050进行解码映象的更新处理。具体地说，是在解码映象接收单元252，经由网络190来接收解码映象，输出到基本层解码单元154a。然后，在基本层解码单元154a，在过去的帧的基本层解码处理中，利用经过解码的运动矢量，将解码映象的「1」的区域往基本层的运动矢量的方向扩展。
图16A表示接收到的解码映象的一个例子，图16B表示扩展过的解码映象的一个例子。图16A及图16B中，801为接收到的解码映象中的解码对象区域(「1」的区域)。另外，图16B中，803为经过扩展的解码映象中的解码对象区域，805为基本层，MV为运动矢量。如图16B所示，解码对象区域在运动矢量的方向被扩展。
这样，通过配合对象的操作来放大解码映象的方式，就可以应付每个帧的关注区域的移动，从而可以防止随着关注区域的移动所发生的基本层的数据的欠缺。
步骤S3100～步骤S3600因为和图10所示的流程图的各步骤相同，故省略其说明。但是，在本实施方式中，是在步骤S3100，利用解码映象来进行基本层的解码处理。具体地说，是在基本层解码单元154a，对从基本层接收单元152输出的基本层的视频数据，仅就以解码映象表示的区域进行解码，并将获得的解码视频输出到扩展层解码单元158及视频合成单元162。由此，既可省略解码映象未示出的区域的解码处理，又可实现伴随着解码处理的削减所带来的低延迟化。
这样，若根据本实施方式，将扩展层解码时所必要的基本层的解码映象发送出去，则因为仅将解码映象示出的区域做基本层解码处理，所以可以省略一部分的基本层的解码处理，从而实现处理的减轻。这个结果可以进一步地达到高速化。
另外，若根据本实施方式，因为是在运动矢量的方向扩展解码映象并进行基本层解码，因此可以应付伴随着关注区域的移动而发生的基本层数据的增加，从而可以防止基本层的欠缺(也就是说，参考图像的缺损)。该结果使得关注区域的变更成为可能。
简单地说，本发明具有以下的特征。
(1)本发明的视频发送装置是将输入视频分层编码，当作基本层及扩展层的视频流进行发送的视频发送装置，所采用的构成具有，将基本层编码的第1编码单元、计算将扩展层编码时的分割区域的计算单元、和将扩展层按每个所计算的分割区域进行帧内编码的第2编码单元。
若利用这个构成将基本层编码，计算将扩展层编码时的分割区域，则因为是将扩展层在其各分割区域进行帧内编码，所以既不会导致编码效率的降低，又可以仅将关注区域的视频数据以良好的效率进行传输并解码，而且在视频再现中都可以进行关注区域的变更。也就是说，因为基本层是低分辨率的视频，所以可以在解码处理的负荷小，且低延迟的情形下进行解码。另外，因为是在对扩展层进行编码时计算分割区域，按计算的每个分割区域进行扩展层的编码，所以能够减少开销。而且，对于扩展层因为是进行帧内编码，所以解码时不需要过去的帧，视频再现时也可以变更关注区域。
(2)本发明的视频发送装置所采用的结构是在上述构成中，还具有生成关于经编码的扩展层被计算出的每个分割区域的存储位置的信息的第1生成单元，以及利用所生成的存储位置信息，从经过编码的扩展层提取关注区域的视频数据的提取单元。
若利用此构成，则因为生成和经编码的扩展层被计算出的每个分割区域的存储位置相关的信息，并利用所生成的存储位置信息，从经过编码的扩展层提取关注区域的视频数据，所以可以高速地存取对应关注区域的视频数据，并可以高速地进行视频数据的切出。因此，可以进一步地仅将关注区域的视频数据以良好的效率传输并解码。
(3)本发明的视频发送装置所采用的构成是，在上述构成中，上述计算单元将具有相同或类似的运动矢量的区域当作同一区域来进行分割区域的计算。
若利用此构成，则因为将具有相同或类似的运动矢量的区域当作同一区域来进行分割区域的计算，所以可以将成为关注区域的可能性高的动态对象当作同一区域加以分割，可以防止无谓的分割所造成的编码效率的降低。
(4)本发明的视频发送装置所采用的构成是，在上述构成中，上述计算单元以视频中的特定区域被分割成微细区域的方式来进行分割区域的计算。
若利用此构成，则因为是以视频中的特定区域被分割成微细区域的方式来进行分割区域的计算，例如，当利用视频进行远距监视时，将监视区域中的重要地带(例如门的附近和店铺的收款机附近)等预先设定的区域分割成微细的区域，其它部分则做粗略分割，所以不会损及在容易关注的地带(重要监视区域)内的区域的选择性，而且可以防止因无谓的分割所造成的编码效率的降低。
(5)本发明的视频发送装置所采用的构成是，在上述构成中，上述计算单元以各区域的大小等于对象的检测结果的方式来进行分割区域的计算。
若利用此构成则因为是以各区域的大小等于对象的检测结果的方式来进行分割区域的计算，例如，利用人物的图像识别，以识别结果的人物大小为单位来进行整幅画面的分割，也就是说，以视频中的人物的大小将视频作区域分割，所以可以用被切出来作为关注区域的可能性高的区域为单位，毫无冗赘地进行区域分割，可以防止编码效率的降低。
(6)本发明的视频发送装置所采用的构成是，在上述构成中，上述计算单元以画面的中央部分被分割成微细区域的方式来进行分割区域的计算。
若利用此构成，则因为是以画面的中央部分被分割成微细区域的方式来进行分割区域的计算，所以既不会损及在视频中的中央附近等，拍摄对象容易被拍到的地带内的区域的选择性，又可以防止因无谓的分割所造成的编码效率的降低。
(7)本发明的视频发送装置所采用的构成是，在上述构成中还具有获得和关注区域相关的信息的获得单元，上述计算单元则是用所获得的关注区域信息进行分割区域的计算。
若利用此构成，则因为获得和关注区域相关的信息，用获得的关注区域信息来进行区域分割的计算，例如，用接收者(用户)所指定的关注区域来做区域分割，或对接收者过去曾经指定的关注区域附近进行细微的区域分割，所以可以防止编码效率的降低。例如，在分割用户所指定的区域时，可以进行无冗赘的分割，而且，在细分割根据过去的关注区域所预测到的附近区域时，可以将成为关注区域的可能性高的区域以良好的效率做分割，无论那一种情形都可以防止因无谓的分割所导致的编码效率的降低。
(8)本发明的视频发送装置所采用的构成是，在上述构成中，还具有发送所计算的分割区域的相关信息的第1发送单元。
若利用此构成，则因为发送分割区域信息，所以通过在视频接收装置中，接收该分割区域信息，将接收到的分割区域信息与经解码的基本层加以合成，并且将该合成结果显示出来的方式，用户即可在视觉上确认关注区域的位置关系，且可提高关注区域的选择操作性。
(9)本发明的视频发送装置所采用的构成是，在上述构成中，为了在经过编码的基本层中将经过编码的扩展层解码，而具有生成表示需要解码的区域的解码区域信息的第2生成单元，以及发送所生成的解码区域信息的第2发送单元。
若利用此构成，则因为为了在经过编码的基本层中，将经过编码的扩展层解码，生成表示需要解码的区域的解码区域信息，并进行发送，所以视频接收装置可以仅将显示在该解码区域信息中的视频数据解码，也就是说，可以省略一部分解码处理，能够达成削减解码处理量，进一步达成低延迟化(高速化)的目的。
(10)本发明的视频发送装置所采用的构成是，在上述构成中，上述第2发送单元将所生成的解码区域信息存储在经过编码的基本层的用户区域并进行发送。
根据这个构成，将解码区域信息存储在经过编码的基本层的用户区域并进行发送，也就是说，因为将解码区域信息存储到能够描述独特信息的用户区域并发送编码基本层，所以不仅可以由标准的解码单元进行解码，更可以让削减第1解码处理量时所必要的辅助信息的发送处理变成不必要。
(11)本发明的视频接收装置是接收从上述(1)所记载的视频发送装置发送出来的视频流的视频接收装置，所采用的构成具有，接收经过编码的基本层的第1接收单元、将接收到的编码基本层解码的第1解码单元、接收经过编码的扩展层的第2接收单元、将接收到的编码扩展层解码的第2解码单元、将经过解码的基本层及经过解码的扩展层加以合成的第1合成单元，以及显示上述第1合成单元的合成结果的显示单元。
若利用此构成，则因为接收经过编码的基本层并进行解码，接收经过编码的扩展层并进行解码，将经过解码的基本层及经过解码的扩展层进行合成，然后显示合成结果，所以会和对应的视频发送装置协同作动，既不会导致编码效率的降低，又可以仅将关注区域的视频数据以良好的效率传输并解码，而且在视频再现中也可以变更关注区域。
(12)本发明的视频接收装置是在上述构成中，接收从上述(8)所记载的视频发送装置发送的视频流的视频接收装置，且所采用的构成进一步具有，接收发送的分割区域信息的第3接收单元、将接收到的分割区域信息与经过解码的基本层加以合成的第2合成单元、以及根据用户的指定来设定关注区域的设定单元，其中，上述显示单元会将上述第2合成单元的合成结果，与上述第1合成单元的合成结果，以同一画面或不同画面显示出来。
若利用此构成，则因为具有根据用户的指定来设定关注区域的设定单元，且接收分割区域信息再与经过解码的基本层进行合成，并将该合成结果，与解码基本层和解码扩展层的合成结果，以同一画面或不同画面显示出来，所以用户可以在视觉上确认关注区域的位置关系，可以提高关注区域选择的操作性。
(13)本发明的视频接收装置所采用的构成是，在上述构成中，进一步具有指定将扩展层编码时的分割区域的指定单元，以及将上述指定单元的指定结果发送出去的第3发送单元。
若利用此构成，因为指定将扩展层编码时的分割区域并进行发送，也就是说，由用户来指定分割区域，所以可以获得无冗赘的区域分割，可以防止编码效率的降低。
(14)本发明的视频接收装置所采用的构成是，在上述构成中，进一步具有接收解码区域信息的接收单元，其中，上述第1解码单元会利用接收到的解码区域信息来进行解码处理。
若利用上述构成，则因为接收解码区域信息，并利用接收到的解码区域信息进行编码基本层的解码处理，也就是说，仅将编码扩展层的解码时所必要的视频数据进行解码，所以可以省略一部分解码处理，达到解码处理量的削减，且可实现低延迟化(高速化)。
(15)本发明的视频接收装置所采用的构成是，在上述构成中，上述第1解码单元将包含于接收到的解码区域信息中的区域在运动矢量的方向上放大，并利用放大后的解码区域信息来进行解码处理。
若利用此构成，则因为是将包含在接收到的解码区域信息的区域在运动矢量的方向上放大，并利用放大后的解码区域信息来进行解码处理，也就是说，配合视频中的对象的操作将对编码基本层的解码处理区域放大，所以可以将关注区域在变更时所必要的基本层视频数据预先解码(参照图像缺损的防止)，既可削减解码处理量，且即使在视频再现时也可以进行关注区域的变更。
本说明书基于2003年11月4日提交的日本专利申请第2003-374559号。其内容都包含于此以资参考。
工业实用性本发明的包含视频发送装置及视频接收装置的视频传输系统既不会使编码效率降低，又能够仅把高分辨率视频中的关注区域的视频数据切出发送出去进行解码，并且可以在较少的传输频带传输关注区域的视频数据，除了可以在低处理下进行解码，同时也具有可以在视频再现中变更关注区域的效果，在传输频带和处理能力有所限制的状况中，对于以低处理来使关注区域的视频数据解码是有用的。
权利要求
1.一种视频发送装置，用于将输入视频分层编码并当作基本层及扩展层的视频流来发送，该视频发送装置包括将基本层编码的第1编码单元；计算编码扩展层时的分割区域的计算单元；以及对于每个所计算的分割区域在扩展层进行帧内编码的第2编码单元。
2.如权利要求1所述的视频发送装置，还包括生成关于经编码的扩展层被计算的每个分割区域的存储位置的信息的第1生成单元；以及利用所生成的存储位置信息，从经过编码的扩展层提取关注区域的视频数据的提取单元。
3.如权利要求1所述的视频发送装置，其中，所述计算单元将具有相同或类似的运动矢量的区域当作同一区域来进行分割区域的计算。
4.如权利要求1所述的视频发送装置，其中，所述计算单元以视频中的特定区域被分割成微细区域的方式来进行分割区域的计算。
5.如权利要求1所述的视频发送装置，其中，所述计算单元以各区域的大小等于对象的检测结果的方式来进行分割区域的计算。
6.如权利要求1所述的视频发送装置，其中，所述计算单元以画面的中央部分被分割成微细区域的方式来进行分割区域的计算。
7.如权利要求1所述的视频发送装置，还包括获得和关注区域相关的信息的获得单元，其中，所述计算单元利用所获得的关注区域信息进行分割区域的计算。
8.如权利要求1所述的视频发送装置，还包括发送所计算的分割区域的相关信息的第1发送单元。
9.如权利要求1所述的视频发送装置，还包括为了在经过编码的基本层中将经过编码的扩展层解码，生成表示需要解码的区域的解码区域信息的第2生成单元；以及发送所生成的解码区域信息的第2发送单元。
10.如权利要求9所述的视频发送装置，其中，所述第2发送单元将所生成的解码区域信息存储在经过编码的基本层的用户区域并进行发送。
11.一种视频接收装置，用于接收如权利要求1所述的视频发送装置发送的视频流，该视频接收装置包括接收经过编码的基本层的第1接收单元；将接收到的编码基本层解码的第1解码单元；接收经过编码的扩展层的第2接收单元；将接收到的编码扩展层解码的第2解码单元；将经过解码的基本层及经过解码的扩展层加以合成的第1合成单元；以及显示所述第1合成单元的合成结果的显示单元。
12.如权利要求11所述的视频接收装置，用于接收如权利要求8所述的视频发送装置发送的视频流，该视频接收装置还包括接收发送的分割区域信息的第3接收单元；将接收到的分割区域信息与经过解码的基本层加以合成的第2合成单元；以及根据用户的指定来设定关注区域的设定单元，其中，所述显示单元将所述第2合成单元的合成结果，与所述第1合成单元的合成结果，以同一画面或分开的画面显示出来。
13.如权利要求11所述的视频接收装置，还包括指定将扩展层编码时的分割区域的指定单元；以及发送所述指定单元的指定结果的第3发送单元。
14.如权利要求11所述的视频接收装置，还包括接收解码区域信息的接收单元，其中，所述第1解码单元利用接收到的解码区域信息来进行解码处理。
15.如权利要求14所述的视频接收装置，其中，所述第1解码单元将包含在接收到的解码区域信息中的区域在运动矢量的方向上放大，并利用放大后的解码区域信息来进行解码处理。
16.一种视频发送方法，用于将输入视频分层编码并当作基本层及扩展层的视频流来发送，该视频发送方法包括将基本层编码的第1编码步骤；计算将扩展层编码时的分割区域的计算步骤；以及对于在所述计算步骤计算的每个分割区域对扩展层进行帧内编码的第2编码步骤。
17.一种视频接收方法，用于接收如权利要求16所述的视频发送方法所发送的视频流，该视频接收方法包括接收经过编码的基本层的第1接收步骤；将在所述第1接收步骤所接收到的编码基本层解码的第1解码步骤；接收经过编码的扩展层的第2接收步骤；将在所述第2接收步骤所接收到的编码扩展层解码的第2解码步骤；将在所述第1解码步骤所解码的基本层，以及在所述第2解码步骤所解码的扩展层加以合成的合成步骤；以及显示所述合成步骤的合成结果的显示步骤。
全文摘要
一种既不会导致编码效率降低，又可有效地只传输关注区域的视频数据并进行解码，同时也可以在视频再现中变更关注区域的视频发送装置。在本装置中是在基本层编码单元(116)编码将高分辨率的输入视频缩小而获得的低分辨率的基本层。另一方面，在区域映象计算单元(118)计算表示编码时的分割区域的区域映象；在扩展层编码单元(120)将输入视频和基本层编码视频解码后，再根据区域映象分割扩展层，即与放大成输入视频的分辨率而获得的视频的差分视频后，对每个分割区域进行帧内编码。这时，在偏移表生成单元(122)生成表示被编码的扩展层的每个分割区域的存储位置的偏移表；在视频数据切出单元(136)，利用偏移表仅从扩展层将对应于关注区域的视频数据切割出来。
文档编号H04N7/173GK1875636SQ200480032588
公开日2006年12月6日 申请日期2004年10月25日 优先权日2003年11月4日
发明者本田义雅, 市村大治郎 申请人:松下电器产业株式会社