动态图像发送装置以及动态图像发送方法

专利名称：动态图像发送装置以及动态图像发送方法
技术领域：
本发明涉及一种以数据包单位来发送通过对动态图像信号进行压缩编码而获得的流的动态图像发送装置。
背景技术：
近年来，随着利用ADSL(Asymmetric Digital Subscriber Line :非对称数字用户环路)或者光纤的高速网络环境的普及，在一般家庭也能够进行比特率超过数十Mbit/sec的数据通信。在此，通过利用MPEG-I、MPEG-2、MPEG-4、MPEG-4AVC以及H. 264等图像编码技术，不仅是在拥有专用电路的企业，可预测一般家庭也将进一步引入具有TV广播品质或者 HDTV广播品质的TV电话系统以及TV会议系统。在此，动态图像信号，可视之为由同一时刻的像素的集合即帧连续而成的信号。像素，其与帧内的近旁像素的关联较强，因此，在对动态图像信号进行压缩编码时，利用帧内的像素的关联来进行压缩。另外，在连续的帧之间，像素的关联也强，因此也利用帧间的像素的关联来进行压缩。利用帧间的像素的关联和帧内的像素的关联进行的压缩编码，称之为画面间编码(通过该压缩编码，例如生成P帧)另外，不利用帧间的像素的关联但利用帧内的像素的关联进行的压缩编码，称之为画面内编码(通过该压缩编码生成I帧)。由于画面间编码利用帧间的关联，因此压缩率比画面内编码高。在MPEG-I、MPEG-2、MPEG-4、MPEG-4AVC 以及 H. 264 (参照非专利文献 I)中，以 2维矩形区域的像素的集合即块(或宏块)的单位来切换画面内编码和画面间编码。由一个以上的块集合而成的单位称之为切片，切片是为了对像素值进行正确的编码或者解码的最小可传输单位。由一个以上的同时刻的切片聚集而成的是帧。通过H. 264等被压缩的数据，按被称为数据包的单位，被发送到网络。通过H. 264等被压缩的数据，在网络中一般被作为通过IP (Internet Protocol :互联网协议)网进行收发的数据包即IP数据包来发送。IP数据包，例如有适合高速传输的m)P(User DatagramProtocol :用户数据报协议)数据包和适合高信赖性传输的TCP (Transmission ControlProtocol :传输控制协议)数据包。并且，作为IP数据包，还有对UDP数据包赋予了时间信息的RTP (Real-timeTransport Protocol)数据包。在快速传输大容量的动态图像信号的动态图像发送中，一般使用RTP数据包。关于将通过H. 264被压缩的数据存放在RTP数据包内进行传输的方法，RFC3984(非专利文献2)中有记载。非专利文献I :ITU_T H. 264,“Advanced video coding for generic audiovisualservices”，March,2010
非专利文献2:RFC3984，“RTP Payload Format for H. 264Video,>, February, 2005近年来3D动态图像引人注目，数字广播也已开始3D动态图像广播。在用于此类广播的包含3D动态图像数据的流中，必须附加用于识别2D和3D的识别信息等的信息。因此也需要为了高效传输此类流的技术。

发明内容
本发明是针对所述课题的技术，其目的在于提供一种能够生成并发送数据量增加受抑制的、且容错性高的编码流的动态图像发送装置以及动态图像发送方法。为了达成所述目的，本发明的一形态的动态图像发送装置具备动态图像编码部，通过对动态图像信号进行压缩编码，生成作为被编码的参数信息的编码参数信息、和编码像素数据，所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息，所述编码像素数据是所述图片的编码像素数据；附加信息编码部，通过对用于所述动态图 像信号所表示的动态图像的显示控制的附加信息进行编码，生成编码附加信息；编码单元多路复用部，将由所述动态图像编码部以及所述附加信息编码部生成的数据，按每个编码单元排列成规定的顺序来输出，并排列输出所述编码参数信息和所述编码附加信息；流发送部，利用由所述编码单元多路复用部输出的数据，生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流，并发送该编码流。在此，可通过系统、方法、集成电路、计算机程序或者记录介质来实现以上结构的整体或者具体形态，还可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。根据本发明，能够提供可生成并发送数据量增加被抑制的、且容错性高的编码流的动态图像发送装置以及动态图像发送方法。


图I是表示本发明的实施方式I的动态图像数据的流结构的一个例子的图。图2是表示本发明的实施方式I的RTP数据包结构的第I个例子的图。图3是表示本发明的实施方式I的动态图像发送装置的功能结构的一个例子的方框图。图4是表示本发明的实施方式I的动态图像发送装置的基本处理流程的流程图。图5是本发明的实施方式I的动态图像编码处理的第I个流程图。图6是本发明的实施方式I的动态图像编码处理的第2个流程图。图7是本发明的实施方式I的RTP数据包生成处理的流程图。图8是表示本发明的实施方式I的RTP数据包结构的第2个例子的图。图9是表示本发明的实施方式I的RTP数据包结构的第3个例子的图。图IOA是表示由2个动态图像合成的动态图像的模式图。图IOB是表示剪取图IOA所表示的2个动态图像中的一方进行显示的情况下的模式图。图IOC是表示剪取图IOA所表示的2个动态图像中的另一方的情况下的模式图。图11是表示本发明的实施方式I的位置信息SEI的一部分数据结构例的图。
图12是关于本发明的实施方式2的记录介质以及计算机系统的说明图。图13是用于说明现有的2D/3D识别方法和2D/3D识别信息的图。图14是表示现有的2D动态图像数据的流结构的例子的图。图15是表示现有的3D动态图像数据的流结构的例子的图。图16是表示现有的RTP数据包结构的例子的图。图17是表示现有的动态图像接收装置的功能结构的一个例子的方框图。图18是表示现有的动态图像发送装置的功能结构的一个例子的方框图。
具体实施例方式(本发明所依据的基础知识)本发明的发明者发现，在生成和发送包含3D动态图像数据的流的技术中，存在以下问题。近几年来，如上所述，3D动态图像受到注目，数字广播也开始了 3D动态图像的广播。但2D接收机已普及于数字广播，因此，进行3D动态图像的广播时，重要的是采用相对于现在接收2D广播的接收机而言变更少的3D方式。由此，将动态图像信号的水平像素数、垂直像素数以及帧率存放在与2D同一帧内来实现3D广播。关于具体的实现方法，利用图13所表示的2D/3D识别信息和2D/3D识别信息有效范围来说明。是图13 (a)是现有的2D广播的图像。在2D图像的情况下，左眼用图像和右眼用图像为同一图像。在数字广播中，使左眼用和右眼用的水平像素数成为2D时的一半，如图13(b)，以左半部分作为左眼用图像，以右半部分作为右眼用图像来发送。这种发送方式被称为3D左右(Side-by-Side)方式。在3D左右方式中，像图13 (b)那样合成的图像的水平像素数以及垂直像素数，与图13 Ca)的现有的2D相同，因此，其优点在于可直接利用对应2D的广播设备。在显示器上显示图13(b)的图像时，将左半部分水平扩大2倍，使之成为与13(a)的2D相同的像素数，作为左眼用图像来显示。另外，将该图像的右半部分水平扩大2倍，使之成为与图13 Ca)的2D相同的像素数，作为右眼用图像来显示。另外，在此虽未使用，广播中还可以像图13(c)那样，以上半部分作为左眼用图像、下半部分作为右眼用图像。这种发送方式被称为3D上下(Top-and-Bottom)方式。在显示器上，当显示图13 (a)、图13 (b)以及图13 (C)的动态图像信号时，有必要识别出是采用哪种发送方式的动态图像信号，并要像以上说明的那样，适当地分离成左眼用图像和右眼用图像来进行显示。在此，历来是，如图13 (d)所表示，用于识别2D、3D左右方式以及3D上下方式的2D/3D识别信息，以O和I的代码字被多路复用在流上。由此所获得的流，从动态图像发送装置被传输到动态图像接收装置。另外，可按帧单位被赋予该2D/3D识别信息，其只对该帧有效。可以按被称为GOP(Group Of Pictures :图像组)的I巾贞单位(即，从被赋予了 2D/3D识别信息的巾贞,到下一个I帧之前一帧为止)赋予2D/3D识别信息，并在该GOP的范围内有效。
在此，为了表示2D/3D识别信息的有效范围，如图13 (e)所表示，将2D/3D识别信息的有效范围，以O和I的代码字多路复用到流上，并将其与识别信息一同，从动态图像发送装置传输到2D/3D动态图像接收装置。图14是表示现有的2D动态图像数据的流结构的例子的图。如图14所表示，帧的像素按切片单位被编码，多个切片构成一个帧。并且，最初的中贞包含有被称为 SPS(Sequence Parameter Set :序列参数集)以及PPS(Picture ParameterSet :图像参数集)的，对多个帧进行编码/解码时被共同参照的信息。SPS包含SPS_ID，PPS包含SPS_ID和PPS_ID。另外，为了确定在进行编码/解码时参照的PPS和SPS，各切片也包含PPS_ID。对切片进行编码/解码时，参照具有与切片所包含的PPS_ID相同的PPS_ID的PPSo另外，还参照具有与PPS所包含的SPS_ID相同的SPS_ID的SPS。 通过以上，在对多个帧进行编码/解码时，能从多个SPS和PPS中确定出在对各切片进行编码/解码时需要参照的SPS和PPS。例如，在图14中，帧O的各切片的PPS_ID为“0”，由此可知，在对该各切片进行编码/解码时，参照帧O的最初的PPS即PPS_ID=0的PPS。另外，帧I 3的各切片的PPS_ID为“ I ”，由此可知，在对该各切片进行编码/解码时，参照帧O的第2个PPS即PPS_ID=1的 PPS。图15是表示现有的3D动态图像数据的流结构的例子的图。日本的数字广播中，将图15所表示的流结构作为3D动态图像数据的流结构使用。图14所表示的现有的2D动态图像数据的流结构的例子、与图15所表示的现有的3D动态图像数据的流结构的例子的不同之处在于，现有的3D动态图像数据的流被赋予被称为 SEI (Supplemental Enhancement Informasion :补充增强信息)的附加信息。动态图像的编码/解码处理本身并不需要SEI,但对系统而目,SEI是有意义的/[目息。图13 Cd)和(e)的2D/3D识别信息以及表示2D/3D识别信息的有效范围的信息相当于该SEI。SEI例如有，表示可从被赋予了该SEI的帧进行解码再生的SEI，以及，表示从接收到流之后到解码开始为止，在接收缓冲器进行积蓄的推荐量的SEI等。通过将SEI赋予各帧，即使在通过网络传输流时丢失了包含SEI的数据包，出错的也只是与该SEI对应的帧的2D/3D识别，从而能够防止多个帧的2D/3D识别连续出错。图16是表示现有的RTP数据包结构的例子的图。如图16所表示，以进行编码/解码的单位即切片，或者在对多个帧进行编码/解码时被共同参考的信息的单位即SPS以及PPS作为单位，构成作为一个网络传输单位的RTP数据包。通过以上，如果在网络传输中丢失了一个RTP数据包，以编码/解码单位发生数据消失(丢失)，因此该RTP数据包的丢失所造成的影响较小。假设在一个RTP数据包包含多个切片、SPS或者PPS的情况下，若丢失一个RTP数据包，将无法对多个切片、SPS或者PPS进行解码，因此，解码之后的动态图像的画质劣化较大。图17是表示现有的动态图像接收装置的功能结构的一个例子的方框图。
图17所表示的现有的动态图像接收装置200具备输入端子120、流接收部121、数据包分离部122、动态图像解码部123、附加信息解码部124、显示控制部125、动态图像显示部126以及动态图像输出端子127。另外，动态图像接收装置200通过动态图像输出端子127与动态图像显示装置128连接。从输入端子120输入的编码流被流接收部121接收，被除去RTP标头之后的数据包被输入到数据包分离部122。数据包分离部122将动态图像解码所需要的数据包(SPS、PPS、切片)输入到动态图像解码部123，并将动态图像显示所需要的信息的数据包(SEI)输入到附加信息解码部124。动态图像解码部123，对从数据包分离部122输入的、动态图像解码所需要的数据包进行解码，并将解码之后的动态图像输入到动态图像显示部126。并且，动态图像解码部123向显示控制部125通知帧解码已完成的这一情况。附加信息解码部124对从数据包分离部122输入的、动态图像显示所需要的信息的数据包进行解码，并向显示控制部125通知2D/3D显示的方法。 显示控制部125，判断解码之后的帧是2D还是3D，并向动态图像显示部126通知显不方法是2D还是3D。另外，通过使从数据包分离部122向附加信息解码部124输出的数据包与帧编号构成关联，或者通过对从数据包分离部122向附加信息解码部124输出的帧分隔信息的个数进行计数，从而使解码之后的帧和动态图像显示所需要的信息构成关联，动态图像显示部126根据显示控制部125的指示，通过动态图像输出端子127输出被解码之后的动态图像，并使动态图像显示装置128进行显示。如果动态图像显示装置128对应3D显示，动态图像显示部126，将由附加信息解码部124解码的、表示在帧内存放动态图像的形式(操作图13 Ca) (C))的信息，作为针对动态图像显示装置128的控制信息，赋予由动态图像解码部123解码的动态图像的原样的帧。并且，动态图像显示部126将该动态图像输入到动态图像显示装置128。由此，动态图像显示装置128能够自动判断2D/3D，并进行适当的显示。如果从输入端子120输入的编码流是3D动态图像，而动态图像显示装置128不对应3D，那么，动态图像显示部126从由动态图像解码部123进行解码的动态图像中只剪取如图13 (b)或者(c)所表示的左眼用动态图像的部分，并将其扩大成I帧的大小，输入到动态图像显示装置128。由此，动态图像显示装置128能进行适当的显示。在从输入端子120输入的编码流是2D的情况下，如果将由动态图像解码部123进行解码的动态图像按其原样的帧，输入到动态图像显示装置128，动态图像显示装置128能够正确显示2D的动态图像。图18是表示现有的动态图像发送装置的功能结构的一个例子的方框图。图18所表示的现有的动态图像发送装置100具备动态图像输入部112、动态图像编码部113、附加信息编码部115、编码单元多路复用部116以及流发送部117。由动态图像摄像装置50拍摄的动态图像信号通过动态图像输入端子111被输入到动态图像输入部112。动态图像输入部112对动态图像信号进行消除其中包含的噪音等的图像处理，并输入到动态图像编码部113。动态图像编码部113对来自动态图像输入部112的输出数据进行压缩编码，并输出到编码单元多路复用部116。
表示2D/3D识别信息和表示3D时的帧内存放形式(参照图13 (a) (C))的信息，通过附加信息输入端子114被输入，该2D/3D识别信息表示从动态图像摄像装置50向动态图像输入端子111输出的动态图像信号是2D还是3D在能够从动态图像摄像装置50自动取得被输入到附加信息输入端子114的2D/3D识别信息等的情况下，有时需要由用户作出明确指示。被输入到附加信息输入端子114的2D/3D识别信息等，在附加信息编码部115被编码，然后被输入到编码单兀多路复用部116。编码单兀多路复用部116,将动态图像编码部113的输出数据、和附加信息编码部115的输出数据，重新排列成如图15所表示的数据顺序，并输入到流发送部117。流发送部117使编码单元多路复用部116的输出数据成为如图16所表示的RTP数据包，并生成和输出由该RTP数据包构成的编码流。在此，在图15所表示的各帧都包含SEI的情况下，与各帧不包含SEI的情况相比，必须使比特率增加相当于这些SEI的数据量的程度。因此，在低比特率环境下无法忽视该 SEI的数据量的增加，其结果，必须增加比特率。另外，即使在可忽视SEI的数据量增加的高比特率环境下，如果包含SEI的数据包在网络中丢失，与该SEI对应的帧将以2D/3D识别错误的状态被进行解码以及显示。其结果，虽然只是I个帧，但会导致画质劣化。为了解决这种问题，本发明的一形态的种动态图像发送装置具备动态图像编码部，通过对动态图像信号进行压缩编码，生成作为被编码的参数信息的编码参数信息、和编码像素数据，所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息，所述编码像素数据是所述图片的编码像素数据；附加信息编码部，通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码，生成编码附加信息；编码单元多路复用部，将由所述动态图像编码部以及所述附加信息编码部生成的数据，按每个编码单元排列成规定的顺序来输出，并排列输出所述编码参数信息和所述编码附加信息；流发送部，利用由所述编码单元多路复用部输出的数据，生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流，并发送该编码流。根据该结构，生成包含用于该动态图像的显示控制的附加信息和、与该动态图像对应的参数信息的一个数据包，并发送包含该数据包的编码流。因此，如果在传输该编码流时附加信息丢失，该参数信息也必会丢失。其结果，在接收该编码流并对其进行解码的动态图像接收装置中，由于无法对该动态图进行解码，因此能够确实检测出该附加信息的消失。S卩，根据本形态的动态图像发送装置，能够使动态图像接收装置识别出，由于是显示控制信息而无需进行解码处理的附加信息的消失。因此，在动态图像接收装置侧，使用该附加信息进行适当的显示。另外，由于能够使动态图像接收装置确实对附加信息的消失进行识别，因此，例如即使在不对多个图片分别附加附加信息的情况下，也能够早期消除因附加信息消失而造成的显示错误。如上所述，根据本形态的动态图像发送装置，能够生成并发送数据量增加被抑制的、且容错性高的编码流。另外，例如可以是，所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息。所述动态图像编码部，在所述动态图像信号是所述第一动态图像的情况下，生成被赋予了第一识别ID的所述编码参数信息以及所述编码像素数据，而在所述动态图像信号是所述第二动态图像的情况下，生成被赋予了与所述第一识别ID不同的第二识别ID的所述编码参数信息以及所述编码像素数据。根据该结构，在该动态图像信号所表示的动态图像的显示形态被变更的情况下，被共同赋予编码参数信息以及编码像素数据的识别ID也被变更。在此，动态图像的显示形态被变更的情况是指，该动态图像从2D切换成3D的情况、该动态图像的分辩率被变更的情况以及该动态图像从只由一个动态图像构成的通常的动态图像信号切换成包含被并列显示的多个动态图像的动态图像信号的情况。
S卩，用于确定对编码像素数据进行解码时使用的参数信息的识别ID，其在动态图像的显示形态变更之前和之后是不同的。因此，例如，与第2动态图像对应的参数信息在传输中丢失了的情况下，在动态图像接收装置中，当进行用于获得第2动态图像的解码处理时，不会错误地参照过去接收到的、与第I动态图像对应的参数信息。其结果，能够防止第2动态图像被显示成并非是其原来的显示形态的形态。另外，例如可以是，所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息。所述附加信息编码部，在所述动态图像信号所表示的动态图像从所述第一动态图像以及所述第二动态图像的一方被变更成另一方的情况下，生成表示所述另一方的编码附加信息。所述动态图像编码部，在生成了表示所述另一方的编码附加信息的情况下，生成所述编码参数信息。根据该结构，在生成编码附加信息或者对其内容进行更新的情况下，生成编码参数信息。其结果，生成包含被生成或更新的编码附加信息和、编码参数信息的一个数据包。S卩，在该动态图像信号所表示的动态图像的显示形态有变更的情况下，与该变更相对应的附加信息将被确实传达到动态图像接收装置。例如，可以是，所述流发送部，以每个由所述动态图像信号所表示的多个图片构成的序列，都包含具有与所述多个图片对应的编码参数信息和编码附加信息的一个数据包的方式，生成所述编码流。根据该结构，按每个由多个图片构成的序列，赋予附加信息。因此，能够抑制该编码流整体数据量的增加。另外，例如可以是，所述附加信息是表示所述动态图像信号所表示的动态图像的显示形态为3D的识别信息。根据该结构，即使在传输中丢失了表示该编码流所包含的动态图像信号为3D的附加信息的情况下，动态图像接收装置也能够确实检测出该附加信息的消失。因此，能够防止该动态图像信号被误作为2D图像进行再生以及显示。另外，例如可以是，所述动态图像信号所表示的动态图像的显示形态为3D，所述附加信息是用于确定所述动态图像信号的发送方式的识别信息。根据该结构，即使在传输中丢失了表示该编码流所包含的3D动态图像信号的发送方式的附加信息，动态图像接收装置也能够确实检测出该附加信息的消失。因此，能够防止该动态图像信号被误显示成与其他发送方式对应的形态。
另外，例如可以是，所述动态图像信号是表示能够在一个帧区域内并列显示的两个以上的动态图像的信号，所述附加信息是表示所述两个以上的动态图像各自在所述帧区域内的位置的位置信息。根据该结构，在接收了该编码流的动态图像接收装置中，能够根据附加信息所表示的信息，分别剪取该2个以上的动态图像。另外，该附加信息在传输中丢失了的情况下，也能够确实检测出该附加信息的消失，因此，能够防止包含该2个以上的 动态图像的动态图像信号以与只表示I个动态图像的通常的动态图像信号相同的方式被再生显示。另外，例如可以是，所述动态图像编码部，在所述动态图像信号所表示的动态图像的水平像素数或者垂直像素数被变更的情况下，生成所述编码参数信息。根据该结构，在该动态图像信号所表示的动态图像的分辩率被变更的情况下，能够将与应该以变更后的分辨率进行显示的动态图像对应的编码参数信息，与编码附加信息一同纳入I个数据包内发送。另外，例如可以说，所述参数信息包含SPS (Sequence Parameter Set :序列参数集)以及PPS (Picture Parameter Set :图像参数集)的至少一方。根据该结构，附加信息在编码流的传输中丢失了的情况下，对与该附加信息对应的编码像素数据进行解码时所需要的SPS以及PPS的至少一方必定会丢失。其结果，在接收该编码流并对其进行解码的动态图像接收装置中，可确实检测出附加信息的消失。另外，可通过系统、方法、集成电路、，计算机程序或者记录介质来实现这些整体或者具体形态，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。以下，就本发明的实施方式，利用附图进行说明。以下将说明的实施方式均表示本发明的一个具体例子。以下的实施方式中的数值、形状、材料、，结构要素、结构要素的配置位置以及连接形态、步骤、步骤的顺序等也只表示I个例子，并不意味本发明限定于此。另外，关于以下的实施方式的结构要素中的、未被记载于表示最上位概念的独立要求项中的结构要素，作为任意的结构要素进行说明。(实施方式I)图I是表示本发明的实施方式I的动态图像数据的流结构的I个例子的图。在图I所表示的流中，只有最初的帧被赋予SEI，在这一点上与图15所表示的流大为不同。即，在本实施方式的流中，按每个序列赋予SEI。另外，SEI是用于动态图像信号所表示的动态图像的显示控制的附加信息的I个例子。另外，本实施方式中的“帧”例如是渐进(Progressive)图像的帧，即I张图片。另夕卜，本实施方式中的“帧”也可以是作为I张图片的、隔行(Interlace)图像的帧或域。在图I中，表不了能以同一 SEI显不巾贞O至巾贞3,并能以同一 SEI显不巾贞4和巾贞5的流的结构。共用SEI的各个最初的帧被赋予SEI。另外，在将通过网络传输的流记录在存储媒体中进行再生时，能进行开头检索，较为方便，因此，多数情况下作为该帧插入I帧，以能够对2D/3D切换之后的帧进行解码再生。因此,优选对I帧赋予SEI。另外,在图I中，对从帧O至帧3的帧、帧4以及帧5，赋予了不同的SPS_ID以及PPS_ID。S卩，赋予帧O至帧3的SPS_ID以及PPS_ID和、赋予帧4以及帧5的SPS_ID以及PPS_ID是不同的。按照现有的方法通过网络发送的情况下，若SEI丢失，将造成多个帧的2D/3D识别错误问题。在此，如图2所表示的本发明的实施方式I的RTP数据包结构的例子那样，在本实施方式中，不是以I个编码单元作为I个RTP数据包，而是以使SEI必与SPS以及PPS中的至少一方包含在同一 RTP数据包中的方式，构成该RTP数据包。另外，SPS以及PPS分别是，在对至少I个图片中包含的切片进行解码时被共用的参数信息的I个例子。另外，在图2中，表示了包含2D/3D识别信息的SEI (2D/3D识别SEI)的一部分的数据结构例。具体而言，在H. 264中，“nal_unit_type= ‘6’”表示该信息是SEI, “frame_ packing_arrangement_cancel_flag= ‘0’ ”表示与该SEI对应的动态图像信号所表示的动态图像的显示形态为3D。即，2D/3D识别SEI是表示,该动态图像信号所表示的动态图像是显示形态互不相同的2D动态图像(第I动态图像)以及3D动态图像(第2动态图像)中的哪一个的附加信息的I个例子。另外，图2中虽未表示，但如上所述，表示该SEI的适用范围(只限于该帧等)的信息，也被包含在该SEI中。另外，用于确定该动态图像信号的发送方式(3D左右方式等)的识别信息也被包含在该SEI中在此，在网络中以数据包为单位发生信息消失，在本发明中，如果SEI丢失，SPS以及PPS的至少一方必定会丢失。因此，在动态图像发送装置和动态图像接收装置中，以数据包可能在网络中丢失为前提，一般会采用对数据包丢失耐性强的方法。具体是，一般使用例如以下的2等级的结构。(I)由动态图像解码部预测丢失的数据包部分的像素值，并以预测生成的像素值作为丢失的数据包部分的像素值，继续进行动态图像解码。(2)在动态图像解码部检测出了通过所述(I)的方法无法应对的重大错误的情况下，由动态图像接收装置对动态图像发送装置发出，作为不利用帧间预测的I帧，对下一个帧进行编码的指示。动态图像发送装置接到指示之后，作为I帧，对该下一个帧进行编码并发送。动态图像接收装置暂停显示，直到接收I帧为止。由此，能够防止因未能解码的帧、被误解解码的帧或者被误解解码的帧显示等造成显示错误。如上所述，作为针对网络中的数据包消失的对策，历来存在所述2等级的结构。如果在现有的动态图像发送装置中发生了 SEI丢失，虽然在动态图像接收装置侧不清楚丢失的是什么信息，但没有SEI也不会对动态图像解码部的解码处理造成任何问题。即，SEI丢失了的情况下，作为像素值处理的所述(I)的结构不进行动作。另外，如果所接收到的流中没有作为用于显示控制的附加信息的2D/3D识别SEI，该流则与通常的2D动态图像信号的流相同，因此所述(2)的结构也不进行动作。
其结果，根据现有技术，动态图像接收装置无法检测出SEI丢失的情况，而会造成多个帧的2D/3D识别错误。相对于此，在本实施方式中，对2D的帧和3D的帧，赋予不同的PPS_ID。在动态图像接收装置中，由动态图像解码部对切片的数据进行解码时，参照根据该切片中包含的PPS_ID所确定的PPS。然而，在本实施方式中，通过同一数据包来传输SEI和PPS，因此，SEI丢失时PPS也必定会丢失。S卩，由于SEI丢失时PPS也丢失，因此并不存在对与该SEI对应的切片进行解码所需要的PPS (根据该切片中包含的PPS_ID所确定的PPS)。S卩，由于不存在对该切片进行解码时需要参照的PPS，因此完全无法进行解码。其结果，所述(2)的结构进行动作，动态图像发送装置发送该帧(I帧)。由此，该动态图像接收装置能够立刻对该帧正确地进行解码以及显示。 由此，作为2D和3D在中途被切换的动态图像信号的流结构，通过采用本实施方式的流结构，能够防止在2D和3D的识别有误的情况下对帧进行解码和显示。图3是表示本发明的实施方式I的动态图像发送装置10的功能结构的I个例子的方框图。动态图像发送装置10具备动态图像输入部12、动态图像编码部31、附加信息编码部30、编码单元多路复用部16以及流发送部32。附加信息编码部30，在2D/3D识别信息等被更新时，对从附加信息输入端子14输入的2D/3D识别信息进行编码，并输入到编码单元多路复用部16。另外，附加信息编码部30，在2D/3D识别信息等被更新时，向动态图像编码部31和流发送部32通知这一情况。具体是，在本实施方式中，被输入到动态图像发送装置10的动态图像信号如果从2D切换成了 3D，该情况将被通知给动态图像编码部31和流发送部向32。另外，包含该2D/3D识别信息的2D/3D识别SEI被编码。在此，被输入到动态图像发送装置10的动态图像信号例如是，从动态图像摄像装置50通过动态图像输入端子11输入的动态图像信号。动态图像编码部31对来自动态图像输入部12的输出数据进行压缩编码，并输出到编码单元多路复用部16。另外，动态图像编码部31在进行压缩编码时，若从附加信息编码部30接到了所述通知，就变更SPS和PPS的ID，并生成将SPS和PPS赋予编码后的各帧的数据。编码单元多路复用部16，将来自动态图像编码部31的输出数据和、来自附加信息编码部30的输出数据重新排列成如图I所表示的顺序，并输入到流发送部32。即，编码单元多路复用部16，将由动态图像编码部31以及附加信息编码部30生成的数据按每个编码单元排列成规定的顺序并输出。具体是，此时，编码参数信息(在本实施方式中，被编码是SPS以及PPS)和编码附加信息(在本实施方式中，被编码的SEI)被并列输出。流发送部32利用由编码单元多路复用部16输出的数据，生成并发送由I个以上的数据包构成的编码流。具体是，发送包含具有编码参数信息和编码附加信息的I个数据包的编码流。
即，在本实施方式中，流发送部32，在从附加信息编码部30接收了所述通知的情况下，生成包含SEI和SPS以及PPS的、如图2所表示的RTP数据包。流发送部32生成包含该RTP数据包的编码流并输出。另外，在编码对象的SEI包含例如2D/3D识别SEI等重要的SEI的情况下，可以控制流发送部32，以使SPS以及PPS中的至少一方必定与SEI被包含在同一 RTP数据包中。在此情况下，可以省略由附加信息编码部30向流发送部32发出的所述通知。另外，作为SEI例如有，像2D/3D识别SEI那样的重要SEI、表示可从被赋予了该SEI的帧进行解码再生的SEI、以及像表示在接收流之后到解码开始之间在接收缓冲中进行积蓄的推荐量的SEI等的并非重要SEI。在本实施方式的附加信息编码部30中，只在该重要SEI的情况下向动 态图像编码部31和流发送部向32通知该情况，从而能够对重要SEI和不重要的SEI进行区别处理。另外，动态图像发送装置10也可以不具备动态图像输入端子11以及动态图像输入部12。在此情况下，动态图像编码部31例如可以从动态图像发送装置10所具备的记录介质(未图示)读出处理对象的动态图像信号。另外，动态图像发送装置10也可以不具备附加信息输入端子14。在此情况下，附加信息编码部30例如可以通过参照动态图像发送装置10所保持的、表示2D/3D切换的定时的信息，将动态图像信号从2D以及3D的一方切换成另一方。其次，利用图4来说明本实施方式的动态图像发送装置10的基本处理的流程。图4是表示本发明的实施方式I的动态图像发送装置10的基本处理流程的流程图。在此，图4所表示的各处理的顺序是I个例子，各处理的顺序也可以是与图4所表示的顺序不同的顺序。动态图像编码部31，通过对动态图像信号进行压缩编码，来生成作为被编码的参数信息的编码参数信息、和编码像素数据(SI)，所述参数信息是对被编码的至少I个图片所包含的切片进行解码时被共用的参数信息，该编码像素数据是该图片的编码像素数据。在本实施方式中，作为编码参数信息，生成被编码的SPS以及PPS。附加信息编码部30通过对用于该动态图像信号所表示的动态图像的显示控制的附加信息进行编码，来生成编码附加信息(S2)。在本实施方式中，作为编码附加信息，生成被编码的SEI。编码单元多路复用部16将由动态图像编码部31以及附加信息编码部30生成的数据，按每个编码单元排列成规定的顺序并输出。另外，作为特征性的处理，编码单元多路复用部16将编码附加信息排列在编码参数信息和编码像素数据之间输出(S3)。流发送部32利用从编码单元多路复用部16接收的数据，生成并发送包含具有编码参数信息和编码附加信息的I个数据包的编码流。关于编码像素数据，只由编码像素数据构成数据包并发送(S4)。本实施方式的动态图像发送装置10通过所述一系列的处理，能够发送包含具有SPS以及PPS和SEI的RTP数据包(参照图2)的编码流。以下，进一步详细地说明动态图像发送装置10的处理。图5是本发明的实施方式I的动态图像编码处理的第I个流程图，具体在于说明动态图像编码部31以及附加信息编码部30的动作。关于由动态图像编码部31编码的帧，设想该帧从2D以及3D的一方被切换成另一方(S10为“是”)。例如，在连续的多个帧中，由于该帧从2D被切换成了 3D，而动态图像编码部31从附加信息编码部30接到对该帧赋予2D/3D识别SEI的通知的情况下(S10为“是”)，动态图像编码部31变更SPS和PPS的id (S21)。另外，变更前的SPS和PPS的id是第I识别ID的I个例子，变更后的SPS和PPS的id是第2识别ID的I个例子。动态图像编码部31还将SPS和PPS，与变更后的id—同进行编码(S22)。
其次，附加信息编码部30，在该帧是3D的情况下(S23为“是”)，S卩，在SlO中判断出是从2D切换成了 3D的情况下，对2D/3D识别SEI进行编码(S24)。另外，在该帧是2D的情况下(S23为“否”)S卩，在SlO中判断出是从3D切换成了 2D的情况下，跳过S24的处理。其次，动态图像编码部31，作为I帧，以切片单位对该帧的所有像素值进行编码(S26)。另外，关于该帧，在没有2D-3D切换的情况下，例如，动态图像编码部31未从附加信息编码部30接到还要对该帧赋予2D/3D识别SEI的通知的情况下(S10为“否”)，作为P帧，以切片单位对该帧的所有的像素值进行编码(S25)。图6是本发明的实施方式I的动态图像编码处理的第2个流程图。图6是具体表示在动态图像摄像装置50中，与切换成了不同的分辩率的动态图像信号(例如，从全HD1920X 1080切换成HD1280X720)对应的编码处理的流程的I个例子。如图6所表示，动态图像发送装置10，在处理对象的动态图像信号的分辩率发生变化的情况下，即，该动态图像信号所表示的动态图像的水平像素数或者垂直像素数发生变化的情况下，也能变更SPS和PPS的id。由此，例如产生如下效果。例如，设想在中途从第I分辩率切换成第2分辩率的动态图像信号的编码流中，与第2分辩率的切片对应的SPS或者PPS在网络传输中丢失了。即，在此情况下，在接收该流的动态图像接收装置中，未能接收与对该切片进行解码时需要参照的PPS_id对应的SPS或者PPS。因此，能够防止该切片被错误地进行解码。换言之，可防止过去被接收的、与第I分辩率的切片对应的SPS或者PPS被错误地参照，其结果，可防止第2分辩率的切片被错误地进行解码。因此，在该动态图像接收装置中能够立即检测出重要的数据在网络传输中丢失的情况。因此，该动态图像接收装置检测出重要的数据丢失之后，能够向动态图像发送装置10发出通知。作为针对该通知的应答，动态图像发送装置10将符合条件的帧作为I帧来发送。由此，该动态图像接收装置能够立即对该帧进行正确的解码以及显示。动态图像发送装置10具体进行如下动作。关于由动态图像编码部31进行编码的帧，设想有2D-3D切换或者分辩率(图像尺寸)变更(S20为“是”)。例如，在动态图像编码部31从附加信息编码部30接到了对该帧赋予2D/3D识别信息的通知的情况下，或者接到了图像尺寸被变更的通知的情况下(S20为“是”)，动态图像编码部31变更SPS和PPS的id (S21)。
动态图像编码部31还将SPS和PPS，与变更的id—同进行编码(S22)。然后，附加信息编码部30，在该帧是3D的情况下(S23为“是”)，即，在SlO判断出是从2D切换成了 3D的情况下，对2D/3D识别SEI进行编码(S24)。另外，在该帧是2D的情况下(S23为“否”)，即，在S20判断出从3D切换成了 2D的情况下，跳过S24的处理。其次，动态图像编码部31，作为I帧，以切片单位对该帧的所有的像素值进行编码(S26)。另外，关于该帧，在未发生2D-3D切换的情况下，例如，在动态图像编码部31未从附加信息编码部30接到对该帧赋予2D/3D识别SEI的通知的情况下(S23为“否”)，作为I帧，以切片单位对帧的所有的像素值进行编码(S26)。 另外，关于该帧，在未发生2D-3D切换的情况下，例如，在动态图像编码部31未从附加信息编码部30接到对该帧赋予2D/3D识别SEI的通知的情况下，且，也未接到图像尺寸被变更的通知的情况下(以S20为“否”)，作为P巾贞，以切片单位对该帧的所有的像素值介质编码(S25)。另外，在图5以及图6各自的处理流程中，例如，也可以不对该帧是否为3D进行确认(S23)。S卩，在该帧是2D的情况下，可以对明示该帧是2D的2D/3D识别SEI进行编码。图7是本发明的实施方式I的RTP数据包生成处理的流程图，具体是说明流发送部32的动作的图。流发送部32，从编码单元多路复用部16接收到按每个编码单元被排列成规定的顺序的数据之后，判断应该进行数据包化的数据是否是SPS或者PPS (S30)。判断的结果，如果该数据是SPS或者PPS (S30为“是”)，进一步判断，作为应该进行数据包化的数据，是否有是SEI且表示2D/3D识别信息的数据，即，2D/3D识别SEI (S31)。如果有2D/3D识别SEI (S31为“是”)，流发送部32以使SPS以及PPS的至少一方与2D/3D识别SEI被包含在同一数据包内的方式，生成该数据包(S33)。在本实施方式中，如图2所表示，生成包含SPS以及PPS和2D/3D识别SEI的RTP数据包。另外，如果没有2D/3D识别SEI (S31为“否”)，生成包含SPS或者PPS而不包含2D/3D识别SEI的数据包(S32)。另外，SPS和PPS，可以被包含在同一数据包内，也可以分别被包含在不同的数据包内。在处理对象的数据既不是SPS也不是PPS的情况下(S30为“否”)，以及在S32或者S33的处理之后，流发送部32对切片的数据进行数据包化。在此，优选为I个切片被作为I个数据包被进行数据包化。此外，在切片的数据的大小相对较小的情况下，也可以将多个切片作为I个数据包进行数据包。另外，在切片的数据的大小相对较大的情况下，可以对I个切片的数据进行分割，生成包含分割后的各数据的多个数据包。图8是表示本发明的实施方式I的RTP数据包结构的第2个例子的图，具体表示了 I个RTP数据包包含I个切片的例子。另外，在图8中，SPS和PPS被包含在不同的RTP数据包中。
图9是表示本发明的实施方式I的RTP数据包结构的第3个例子的图，表示了 I个RTP数据包包含多个切片的例子。另外，在图9中，I个RTP数据包中包含2个切片。此外，I个RTP数据包中也可以包含3以上的切片。另外，作为图像的附加信息被包含在SEI中的信息并不限于2D/3D识别信息，在动态图像是由多个动态图像合成的情况下，也可以是各动态图像的位置信息。图IOA是表示由2个动态图像合成的动态图像的模式图。即，是对能够在I个帧区域内并列显示的2个以上的动态图像所表示的动态图像信号进行解码并再生的结果的显示例。另外，图IOB是表示剪取了图IOA所表示的2个动态图像中的一方进行显示的情 况下的模式图，图IOC是表示剪取了图IOA所表示的2个动态图像中的另一方进行显示的情况下的模式图。如图IOA所表示，设想从动态图像发送装置10发送了由动画I和动画2合成的动态图像。在此情况下，如果在动态图像接收装置中能够知道动画I和动画2被埋入在帧区域的哪个位置，当动态图像接收装置的用户只想视听动画I时，就能够只剪取动画I来进行扩大显示。在此，动态图像发送装置10将动画I以及动画2各自的位置信息包含在SEI中进行编码。由此，在动态图像接收装置中，在对接收到的编码流进行解码和再生时，通过参照表示所述位置信息的SEI (以下，称之为“位置信息”)，能够分别剪取动画I以及动画2进行再生。具体是，作为图IOA的动画I以及动画2的位置信息，例如有如下的信息被包含在SEI 中。附加信息编码部30，作为动画I的位置信息，将图IOB所表示的H、V、HO以及VO包含在位置信息SEI中。另外，附加信息编码部30，作为动画2的位置信息，将图IOC所表示的h、V、h0以及vO包含在位置信息SEI中。附加信息编码部30对包含这些动画I的位置信息和动画2的位置信息的位置信息SEI进行编码。S卩，位置信息SEI表示动画I以及动画2各自的宽度、高度和左上方的坐标的信
肩、O图11是表示本发明的实施方式I的位置信息SEI的一部分的数据结构例的图。在图11所表示的位置信息SEI中，根据“nal_unit_type= ‘6’”,表示该信息是SEI，接下来记录有表示动画I (Ml)以及动画2 (M2)各自的宽度、高度和左上方的坐标的信息。S卩，位置信息SEI是表示,与该位置信息SEI对应的动态图像不是表示I个动画的通常的动态图像(第I动态图像)，而是表示如图IOA所表示的2个动画的动态图像(第2动态图像)的附加信息的I个例子。流发送部32将包含这种信息的位置信息SEI视为与所述的2D/3D识别SEI同样的重要SEI，将其包含在与SPS或者PPS同一数据包中。流发送部32还将包含该数据包的编码流发送到网络。
在此情况下，如果位置信息SEI在网络中丢失，PPS或者SPS的至少一方也丢失，因此动态图像接收装置能够检测出位置信息SEI丢失的情况。即，将位置信息SEI的消失检测为错误。由此，动态图像接收装置能够请求动态图像发送装置10再次发送与该位置信息SEI对应的帧。其结果，动态图像接收装置能够接收由动态图像发送装置10发送的、赋予了该位置信息SEI的I帧，并通过参照该位置信息SEI，例如能够分别剪取动画I以及动画2进行再生。在此，以有必要赋予位置信息SEI的情况为例进行说明。例如，设想动态图像发送装置10的处理对象的动态图像信号从表示I个动画的通常的动态图像信号切换成了如图IOA所表示的表示2个动画的动态图像信号。
在此情况下，与2D-3D切换时同样，可以对SPS和PPS的id进行变更(参照图5的S21)。另外，在该2个动画的位置或者大小发生了变更等的情况下，与位置信息SEI被更新的情况同样，也可对SPS和PPS的id进行变更。如上所述，通过变更SPS和PPS的id，例如可获得如下效果。例如，设想动态图像接收装置的解码对象从只包含I个动态图像的通常的动态图像信号切换成了如图IOA所表示的包含2个动态图像的动态图像信号。另外，设想对后者的动态图像信号进行解码时需要参照的SPS以及PPS在网络传输中丢失了。在此情况下，根据所述动态图像信号的种类的切换，SPS和PPS的id被变更。因此，具有后者的动态图像信号所包含的切片所被赋予的PPS_ID的PPS，不会存在于动态图像接收装置中。即，不会发生误对过去接收到的SPS或者PPS进行参照，并对该切片进行解码的问题。因此，在该动态图像接收装置中能够立即检测出重要的数据在网络传输中丢失的情况。如上所述，本实施方式的动态图像发送装置10，生成包含具有编码参数信息(被编码的PPS等)和编码附加信息(被编码的2D/3D识别SEI等)的I个数据包的编码流。由此，能够发送数据量增加被抑制的、且容错性高的编码流。(实施方式2)以下，关于实施方式2进行说明。在此，将用于实现所述实施方式I所表示的动态图像发送方法的程序，记录在软盘等记录介质中。由此，在独立的计算机系统中可简单地实施所述实施方式I所述的处理。图12是通过计算机系统，利用被记录在软盘等记录介质中的程序来实施实施方式I的动态图像发送方法时的说明图。图12 (b)表示了从软盘的正面进行观察时的外观、断面结构以及软盘，图12 (a)表示了作为记录介质本体的软盘的物理格式的例子。软盘FD被内置在壳体F内，在该软盘的表面形成有从外周朝向内周的多个同心圆形的磁道Tr，各磁道在角方向上被分割成16个扇区Se。因此，在存放有所述程序的软盘中，在所述软盘FD上的分配区域内记录有所述程序。另外，图12(c)表示了用于在软盘FD上进行所述程序的记录再生的结构。在软盘FD中记录用于实现动态图像发送方法的所述程序时，通过软盘驱动器将所述程序写入计算机系统Cs。另外，在计算机系统Cs内构筑由软盘内的程序实施的动态图像发送方法时，由软盘驱动器从软盘读出程序，并转送到计算机系统。另外，在以上的说明中，利用作为记录介质的软盘进行了说明，此外，利用光盘也同样能进行。另外，记录介质并不限于这些，通过IC卡、ROM盒等，能够记录程序的介质也同样能实施。另外，通过作为典型的集成电路的LSI来实现实施方式I的动态图像发送装置10的各功能块(参照图3)。可对这些分别进行单片化，也可以将其一部分或者全部包含在单片。例如，存储器以外的功能块可以被单片化。
在此例举了系统LSI，此外，根据集成程度的不同还可以称为IC、LSI、超级LSI、最超级LSI。另外，集成电路化的方法并不限定于LSI，还可以通过专用电路或者通用处理器来实现。还可以利用能够在制造LSI之后进行编程的FPGA(Field Programmable Gate Array 现场可编程门阵列)，或者能够对LSI内部的电路单元的连接和设定进行重建的可重建处理器。另外，随着半导体技术的进步以及衍生出其他技术，如果有可代替LSI的集成电路化技术出现，当然能够利用这些技术进行功能块的集成化。生物技术的应用的具有这种可能性。另外，可以将各功能块中的用于存放成为动态图像发送方法的对象的数据的构成部分作为个别结构，而无需对所有的结构都进行单片化。即，可通过由专用的硬件构成，或者执行适于各结构要素的软件程序来实现本发明。可通过由CPU或者处理器等的程序执行部读出并执行被记录在硬盘或者半导体存储器等记录介质中的软件程序来实现各结构要素。在此，用于实现所述实施方式I的动态图像发送装置10等的软件是如下程序。即，该程序使计算机执行动态图像发送方法。该动态图像发送方法包括动态图像编码步骤，通过对动态图像信号进行压缩编码，生成作为被编码的参数信息的编码参数信息、和编码像素数据，该参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息，该编码像素数据是该图片的编码像素数据；附加信息编码步骤，通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码，生成编码附加信息；编码单元多路复用步骤，将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据，按每个编码单元排列成规定的顺序来输出，并排列输出所述编码参数信息和所述编码附加信息；流发送步骤，利用通过所述编码单元多路复用步骤输出的数据，生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流，并发送该编码流。以上，关于本发明的一形态的动态图像发送装置以及动态图像发送方法，根据实施方式进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，本领域技术人员通过将其想出的各种变形形态实施于实施方式及其变形例而成的形态，或者对不同的实施方式及其变形例的结构要素进行组合而成的形态也属于本发明的一形态的范围内。例如，图2以及图11分别表示了 SEI的数据结构例，但SEI的数据结构能够确定所需信息即可，例如与该SEI对应的动态图像信号是2D还是3D等。另外，实施方式I的动态图像发送装置10生成包含SEI和PPS以及SPS中的至少一个的I个RTP数据包。但由动态图像发送装置10生成的数据包并不限定于特定的类型。即，即使是RTP数据包以外的数据包，如果是按照无连接的协议以数据包单位发送编码流的话，能够通过动态图像发送装置10生成数据量增加被抑制的、且容错性高的编码流。本发明，在利用网络传输动态图像信号时，通过将2D/3D识别信息等显示控制中的重要信息包含在与SPS以及PPS同一数据包内来发送，能够简单地实现对网络中的发送数据包丢失的对应性强的动态图像发送装置。因此，本发明能够应用于尤其是利用网络来进行动态图像双向通信或动态图像分发的设备以及监控摄像头等，对动态图像进行编码的通信机器以及成套设备。
符号说明10、100动态图像发送装置11、111动态图像输入端子12、112动态图像输入部14、114附加信息输入端子16、116编码单元多路复用部30、115附加信息编码部31、113动态图像编码部
32、117流发送部50动态图像摄像装置120输入端子121流接收部122数据包分离部123动态图像解码部124附加信息解码部125显示控制部126动态图像显示部127动态图像输出端子128动态图像显示装置200动态图像接收装置
权利要求
1.一种动态图像发送装置，具备 动态图像编码部，通过对动态图像信号进行压缩编码，生成作为被编码的参数信息的编码参数信息、和编码像素数据，所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息，所述编码像素数据是所述图片的编码像素数据； 附加信息编码部，通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码，生成编码附加信息； 编码单元多路复用部，将由所述动态图像编码部以及所述附加信息编码部生成的数据，按每个编码单元排列成规定的顺序来输出，并排列输出所述编码参数信息和所述编码附加信息；以及 流发送部，利用由所述编码单元多路复用部输出的数据，生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流，并发送该编码流。
2.如权利要求I所述的动态图像发送装置， 所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息， 所述动态图像编码部， 在所述动态图像信号是所述第一动态图像的情况下，生成被赋予了第一识别ID的所述编码参数信息以及所述编码像素数据， 在所述动态图像信号是所述第二动态图像的情况下，生成被赋予了与所述第一识别ID不同的第二识别ID的所述编码参数信息以及所述编码像素数据。
3.如权利要求I所述的动态图像发送装置， 所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息， 所述附加信息编码部，在所述动态图像信号所表示的动态图像从所述第一动态图像以及所述第二动态图像的一方被变更成另一方的情况下，生成表示所述另一方的编码附加信息， 所述动态图像编码部，在生成了表示所述另一方的编码附加信息的情况下，生成所述编码参数息。
4.如权利要求I所述的动态图像发送装置， 所述流发送部，以每个由所述动态图像信号所表示的多个图片构成的序列，都包含具有与所述多个图片对应的编码参数信息和编码附加信息的一个数据包的方式，生成所述编码流。
5.如权利要求I所述的动态图像发送装置， 所述附加信息是表示所述动态图像信号所表示的动态图像的显示形态为3D的识别信肩、O
6.如权利要求I所述的动态图像发送装置， 所述动态图像信号所表示的动态图像的显示形态为3D， 所述附加信息是用于确定所述动态图像信号的发送方式的识别信息。
7.如权利要求I所述的动态图像发送装置， 所述动态图像信号是表示能够在一个帧区域内并列显示的两个以上的动态图像的信号， 所述附加信息是表示所述两个以上的动态图像各自在所述帧区域内的位置的位置信肩、O
8.如权利要求I所述的动态图像发送装置， 所述动态图像编码部，在所述动态图像信号所表示的动态图像的水平像素数或者垂直像素数被变更的情况下，生成所述编码参数信息。
9.如权利要求I至8中的任一项所述的动态图像发送装置， 所述参数信息包含序列参数集以及图像参数集的至少一方。
10.一种动态图像发送方法，包括 动态图像编码步骤，通过对动态图像信号进行压缩编码，生成作为被编码的参数信息的编码参数信息、和编码像素数据，所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息，所述编码像素数据是所述图片的编码像素数据； 附加信息编码步骤，通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码，生成编码附加信息； 编码单元多路复用步骤，将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据，按每个编码单元排列成规定的顺序来输出，并排列输出所述编码参数信息和所述编码附加信息；以及 流发送步骤，利用通过所述编码单元多路复用步骤输出的数据，生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流，并发送该编码流。
11.一种记录介质，是记录有用于对动态图像信号进行编码来生成编码流并发送该编码流的、非临时性的、计算机可读取的记录介质， 所述程序是用于使计算机执行如下步骤的程序 动态图像编码步骤，通过对动态图像信号进行压缩编码，生成作为被编码的参数信息的编码参数信息、和编码像素数据，所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息，所述编码像素数据是所述图片的编码像素数据； 附加信息编码步骤，通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码，生成编码附加信息； 编码单元多路复用步骤，将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据，按每个编码单元排列成规定的顺序来输出，并排列输出所述编码参数信息和所述编码附加信息；以及 流发送步骤，利用通过所述编码单元多路复用步骤输出的数据，生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流，并发送该编码流。
12.一种集成电路，具备 动态图像编码部，通过对动态图像信号进行压缩编码，生成作为被编码的参数信息的编码参数信息、和编码像素数据，所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息，所述编码像素数据是所述图片的编码像素数据； 附加信息编码部，通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码，生成编码附加信息； 编码单元多路复用部，将由所述动态图像编码部以及所述附加信息编码部生成的数据，按每个编码单元排列成规定的顺序来输出，并排列输出所述编码参数信息和所述编码附加信息；以及 流发送部，利用由所述编码单元多路复用部输出的数据，生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流，并发送该编码流。
全文摘要
动态图像发送装置(10)具备通过对动态图像信号进行压缩编码来生成编码参数信息和编码像素数据的动态图像编码部(31)；通过对用于动态图像的显示控制的附加信息进行编码来生成编码附加信息的附加信息编码部(30)；对编码参数信息和编码附加信息进行排列和输出的编码单元多路复用部(16)；利用由编码单元多路复用部(16)输出的数据来生成编码流并输出的流发送部(32)，该编码流数据包含具有编码参数信息和编码附加信息的一个数据包。
文档编号H04N7/26GK102972024SQ201280001910
公开日2013年3月13日 申请日期2012年3月28日 优先权日2011年5月11日
发明者角野真也 申请人:松下电器产业株式会社