专利名称：重放图像传输装置的制作方法
技术领域：
本发明涉及一种通过如IEEE1394双向网络，将存储在发射机含有的硬磁盘上的MPEG图像发送到接收装置上的图像重放系统，特别涉及在接收装置上生成使用P或B图像的反向重放图像的系统。
IEEE1394含有在一定时间内保证传输的数据量的同步传输功能。由于该同步传输在一定时间内能保证传输的数据量，因此适用于要求实时性的图像和声音传输，在BS数字广播的STB和数字VCR装置上安装很多。
而且，上述IEEE1394为进行数据与指令传输，因此含有异步传输功能。该异步传输是在准备将数据传输时获得信道的使用权进行发送的这种形式非同步传输，因此不能保证在一定时间内传输的数据量。
现在，IEEE1394由数字VCR协议会的DVB(欧洲数字广播)以及IEEE1394T.A.(商用协会)等正在拟定IEEE1394详细指令。尤其是IEEE1394T.A.，正在筹划、制定用在IEEE1394上传输MPEG传送流的模式和用于控制使用这些硬磁盘的数字式VCR使用的指令等。这些指令使用异步传输方式进行传输。
然而，在IEEE1394中，即使按照异步传输、同步传输的顺序发送数据包，在网络上也不能保证按照异步传输、同步传输的顺序，将数据包发送。即按照异步传输、同步传输的顺序，即使对IEEE1394的数据包发送装置发送数据包，在IEEE1394网络上也有按照同步传输、异步传输的顺序将数据包发送的情况。
另一方面，在MPEG图像中，生成使用B图像(双向预测编码图像)和P图像(帧间正向预测编码图像)的反向重放图像时，每帧图像必须变更译码的图像显示。
图3示出使用B、P图像的MPEG图像译码装置的结构图。将译码的MPEG图像输入3a输入到MPEG译码装置31，并根据MPEG语法进行译码。32是存储用于MPEG图像译码需要的参照图像的存储器。其中储存着MPEG图像译码时的参照图像。由MPEG图像译码存置31译码的MPEG图像存储到帧存储器33中。由监视器34显示帧存储器33的图像。
在此，叙述使用B、P图像的反向重放的方法。图4示出使用B、P图像的正向重放方法。在正向重放时，为了显示B0、I1、B2、P3、B4、I5、B6、P7，按照I1、B0、P3、B2、I5、B4、P7、B6的顺序，将图像输入到MPEG译码装置31。于是，MPEG译码装置31，以图4示出的形式，将B图像译码需要的参照图像存储到参照图像存储器32中。在此，以I开始的图像为I图像，无须参照其它参照图像，可将图像译码。以P开始的图像为P图像，为了译码，需要预测从自己本身算起前面一个帧I或从P图像开始的前面图像。以B开始的图像为B图像，为了译码，只要没有特别指定，需要预测一个前面帧I或可从P图像的前帧图像以及从一个后面的I或可从P图像开始的后面图像。
由MPEG图像译码装置31译码的图像，按照B0、I1、B2、P3、B4、I5、B6、P7的顺序，存储到帧存储器33，按照相同的顺序显示在监视器34上。此时，开关36常常是使图像通过的状态。
图5图示出使用B、P图像的反向重放方法，表示将图4示出的图像按照B4、P3、B2、I1顺序时行反向重放方法。在B4的图像译码中，需要P3、I5的参照图像。但是，为了制作P3的参照图像，还需要其前帧I1的图像。即为了生成B4图像，需要I1、P3、I5、B4的4帧图像。同样，在P3图像的译码中，需要I1、P3图像。在B2的图像译码中，需要I1、P3、B2图像。I1图像而无需用于译码的其它图像。
在此，在将B4的图像译码时、除B4图像外，还必须将I1、P3、I5图像译码。因此，被译码的图像I1、P3、I5图像存储到参照图像存储器32中，而不存储到帧存储器33中。为此，使用图3的显示控制部35，控制帧存储器33输出的开关36，使之只显示图像4。显示控制部35的生成指令如图5B的指令那样，生成在MPEG译码装置31进行译码但不进行图像显示的这种指令5B，和MPEG译码装置31进行译码并进行图像显示的指令5A，必须进行开关36的控制，以控制帧存储器33的存储。其他图像也同样。除不使用B、P图像的反向再生以外，指令全是5B。
于是，在MPEG图像的反向重放时，通过赋予对每帧图像进行译码但不进行显示的控制的功能，可生成使用P、B图像的反向重放图像。
图2示出现有的图像传输装置。在该图中，21发送装置；22存储装置。在本实施例中表示硬磁盘，在硬磁盘中，以任意的形式记录着MPEG传输流。23是IEEE1394接收、发送单元，24是存储装置控制单元。
而且，25是接收机；26是IEEE1394接收、发送单元，27是指令生成单元；28图像重放单元。该图中，存储装置22以MPEG转输流形式记录MPEG图像。重放装置25的指令生成单元27，生成用于将存储在储存装置22中的MPEG传输流重放的重放指令2a，并发送到IEEE1394接收、发送单元26。重放指令2a按照IEEE1394T.A(商用协会)的指令，指定重放、快送、反向重放、重放停止等重放状态，而不进行每帧图像的重放控制。
IEEE1394接收、发送单元26将重放指令2a变换成IEEE1394上的异步数据包，在IEEE1394网络2b上传输，发送到IEEE1394接收、发送单元23。IEEE1394接收、发送单元23从传输来的异步数据包读出重放指令2a，发送到存储装置控制单元24。存储装置控制单元24读出将与重放指令2a对应的MPEG图像记录到存储装置22内部的MPEG传输流，发送到IEEE1394接收、发送单元23。
IEEE1394接收、发送单元23将从硬磁盘读出的IEEE1394传输流变换成同步数据包，发送到IEEE1394网络2b。发送的同步数据包，在IEEE1394接收、发送单元26上变换成MPEG传输流，发送到图像重放单元28。图3的构成除显示控制部35外，还含有图像重放单元28。由于图3显示控制部35生成的译码控制信号与从硬磁盘读出的图像同步生成，因此包含在存储装置控制单元24中。
图6示出在IEEE1394接收、发送单元23、26的结构。重放指令2a在异步传输单元61变换成非同步发送的数据包，通过IEEE1394连接层63、IEEE1394物理层，在IEEE1394网络2b上接收、发送。MPEG传输流在IEEE1394网络2b上接收、发送。MPEG传输流6a在同步传输单元上变换成IEEE1394的异步传输的数据包，通过IEEE1394连接层63、IEEE1394物理层，在IEEE1394网络2b上接收、发送。在IEEE1394上筹划、制定MPEG传输流接收、发送单元的变换方法与接收、发送方法，而且已经制定出IEEE1394连接层63、IEEE1394物理层64在IEEE1394上的标准。
图7示出MPEG传输流的结构。在图7中，71是被称作基础流的位串，记载着图像和音声等信息。在图像方面，很多情况下储存着被压缩过的MPEG视频信息的位串。该位串按照ISO/IEC 13818-2标准规定的模式。由于在该图像基础流72中，记载着Sequence_header。其中记载着图像压缩模式、SD图像与HD图像的识别、结构、图像间的输出间隙等信息。在基础流中，将注有ISO/IEC13818-1标准规定的PES首部71称作PES流70。
而且，将上述PES流70分解为任意大小后，填加ISO/IEC 13818-1标准规定的首部，形成长度为188字节的固定数据包，再填加各种信息形成多通道化，就是MPEG传输流。
因此，所谓MPEG图像，是指将ISO/IEC 13818-2标准或ISO/IEC11172-2标准中规定的信号作为基础流的ISO/IEC 13818-1标准规定的MPEG传输流。
图2示出的现有结构中，将储存在硬磁盘的图像按照正向重放、停止，仅进行I图像的反向重放时，如图2、图3、图4所示，用异步传输，发送、接收重放指令2a后，可开始同步传输。若确认异步传输的发送、接收结束后，即使同步传输，也可毫无问题地将图像重放。
另一方面在进行使用P、B图像的反向重放时，每帧图像必须生成译码控制信号。由于该译码控制信号依赖于一组图像(Group of Picture)的结构，所以包含图2的存储装置控制单元24。因此，存储装置控制单元24中的显示控制部35生成的译码控制信号3b，必须通过IEEE网络2b发送到重放装置24，图像重放单元28。该显示控制部35生成译码控制信号3b与由存储装置22读出的图像同步，且是指令信号，所以在IEEE1394网络2b上必须用异步传输发送。
即用同步传输传输的MPEG图像必须同显示控制部35生成的译码控制信号3b的异步传输同步，在IEEE1394网络2b上传输。
因此，在IEEE1394接收、发送单元23将显示控制部35生成的译码控制信号3b的异步数据包输入到异步传输单元61后，将用同步传输传输的MPEG图像发送到同步传输单元62时，IEEE1394连接层63有时先不进行先输入的异步传输，而先进行后输入的同步传输。其原因在于IEEE1394标准中，不保证异步传输与同步传输发送顺序的缘故。
假如，即使按照异步传输、同步传输的顺序发送，有可能在接收后，颠倒发送的顺序。为了保证按照异步传输、同步传输的发送顺序，在确认异步传输结束后，即在该期间停止同步传输，进行异步传输。然后用同步传输单元62发送MPEG图像时，由于不能保证异步传输的传输频带，因此，在异步传输中决定传输速度，而有不保证同步传输的频带的可能性。所谓重放、停止的指令本身，也可不考虑指令前后的传输频带，但有关每帧图像的控制信号，还必须保证指令前后的传输频带。
即在现有的结构中，为了进行MPEG图像的反向重放，因此也存在着不能发送、接收与图像同步的译码控制信号3b的这类课题。
现有的反向重放图像的生成装置由如上描述的结构构成。在通过IEEE1394网络生成反向重放图像的装置和反向重放图像的译码装置时，由于在IEEE1394网络上不能保证异步传输与同步传输的传输顺序，所以存在着用同步传输传送的MPEG图像与用异步传输模式传送的控制信号不能同步，不能对反向重放图像进行译码的这类问题。
本发明的方案1涉及的重放图像传输装置，是在由含有保证频带的同步传输和非同步传输的异步传输的2种传输模式的IEEE1394接口构成的双向网络间，传输重放图像的重放图像装置，该装置含有数据存储单元，存储重放图像数据；数据加工单元，加工由上述数据存储单元读出的重放图像数据，以便用上述同步传输来传输上述重放图像数据与为进行该重放图像数据重放控制用的重放控制参数。
而且，本发明的方案2涉及的重放图像传输装置，在方案1记述的重放图像传输装置中，上述重放图像数据是MPEG传输流；
上述重放控制参数是涉及上述MPEG传输流译码以及显示处理指令的。
而且，本发明的方案3涉及的重放图像传输装置，在方案2记述的重放图像传输装置中，上述数据加工单元将进行译码与显示的、进行译码但不显示的、不进行译码但显示是照原样保存前一个图像的、不进行译码也不进行显示的重放控制参数，分配在按照据ISO/IEC 13818-1标准规定的PES_header中的DSM的trick mode_control的标志的从3’b101～3’b111区域及其连接的5比特中。
本发明的方案4涉及的重放图像传输装置，在方案3记述的重放图像传输装置中，上述数据加工单元对进行译码与显示的重放控制参数，分配在按照ISO/IEC 13818-1标准规定的PES_header中的DSM的trickmode_control＝3’b100和rep_cntrl≠5’b00000；将进行译码但不显示的重放控制参数分配在PES_header中的DSM的trick_mode_control＝3’b100和rep_cntrl＝5’b00000。
本发明的方案5涉及的重放图像传输装置，在方案2记述的重放图像传输装置中，上述数据加工单元对进行译码与显示的、进行译码但不显示的、不进行译码但显示是按照原样将前帧图像保存的、不进行译码也不进行显示的这类控制信号，描述在ISO/IEC 13818-1标准规定的PES_header中的PES_prinvate-data或PES-extension_field_length中。
而且，本发明的方案6涉及的重放图像传输装置，在方案2记述的重放图像传输装置中，含有符号量监视单元，监视由上述数据存储单元读出的重放图像数据的读出符号量，该符号量变成规定值以下，则存储在重放装置中的译码缓冲器中的数据生成表示译码处理需要量以下的下溢生成信号；伪数据生成单元，接受上述符号量监视单元生成的下溢生成信号，生成伪数据包；选择单元，将上述假数据包隐藏在由上述数据加工单元加工的MPEGtransport stream间。
而且，本发明的方案7涉及的重放图像传输装置，是在由含有可保证频带的同步传输和进行非同步传送的异步传输的2种模式的IEEE1394接口构成的双向网络间，传送的重放图像的传输装置，
该装置含有数据存储单元，存储上述重放图像数据及反向重放该重放图像数据时需要的重放控制参数，由上述同步传输来传输上述重放图像数据和上述图像重放控制参数。
而且，本发明方案8涉及的重放图像传输装置，在方案2记述的重放图像传输装置中，上述数据加工单元将进行译码与显示的、进行译码而不显示的、不进行译码而显示是按照原样保存前帧图像的、不进行译码也不显示图像的这种重放控制参数，描述到ISO/IEC 13818-2标准规定的Picture_header中的Temporal_Reference中。
图2是表示现有重放图像装置结构的框图。
图3是表示现有MPEG译码装置结构的图。
图4是为说明使用P、B图像的正向重放方法的图。
图5是为说明使用P、B图像的反向重放方法的图。
图6是表示IEEE发送、接收单元结构的图。
图7是为说明MPEG传输流结构的图。
图8是表示MPEG传输流加工单元结构的框图。
图9是为说明MPEG标准中规定的PES结构的图。
图10是为说明trick_mode_control与DSM_data改写内容用的图。
图11是表示构成重放装置的重放控制单元结构例的图。
图12是为说明图像控制信号的生成定时的图。
图13是表示构成接收由上述实施形态1涉及的重放图像传输装置发送的MPEG传输流的接收机的MPEG图像重放单元结构的图。
图14是表示本发明实施形态2涉及的重放图像传输装置的结构框图。
图15是为说明存储在上述实施形态2中重放图像传输装置的反向重放图像单元的反向重放图像生成方法的图。
图16是表示由构成本发明实施形态3涉及的重放图像传输装的MPEG传输流加工单元设定指令的一个实施例图。
图17是表示本发明实施形态4涉及的重放图像传输装置中MPEG传输流加工单元结构的图。
图18是表示上述实施形态4涉及的重放图像传输装置中各图像的控制信号记述例的图。
图19是为说明存储在缓冲器中的图像数据存储量变化的图。
图20是表示本发明实施形态5涉及的重放图像传输装置结构的框图。
图21是为说明构成上述实施形态5涉及的图像传输装置的选择器动作图。
图22是表示本发明实施形态6涉及的重放图像传输装置的MPEG传输流加工单元结构的框图。
另外，16是重放装置、17是为数据发送、接收单元的IEEE1394发送接单元、18是生成IEEE1394T.A.(商用协会)规定指令的指令生成单元、19是将输入的MPEG传输流1g重放显示的MPEG图像重放单元、20是控制MPEG图像重放单元19的重放控制单元。
上述发送装置11与重放装置16由IEEE1394网络1b连接。上述存储装置12是硬磁盘等随机存储的装置，可以任意形式记录MPEG传输流。该MPEG图像是ISO/IEC 13818-2或ISO/IEC11172-2规定的图像，所谓MPEG传输流是作为基础流含有上述MPEG图像的由ISO/IEC 1318-1规定的流。
以下参照图1说明其动作。与现有实施例相同，在该图中与图2相同，指令生成单元18将依照IEEE1394 T.A.(商用协会)标准规定的重放指令1a发送到IEEE1394发送、接收单元17。IEEE1394发送、接收单元17被连接在IEEE1394网络1b上，将重放指令1a变换为IEEE1394T.A.(商会协会)规定的格式化异步数据包，发送到IEEE1394网络1b，通过IEEE1394网络1b发送到发送装置11中的IEEE1394发送、接收单元13上。
IEEE1394发送、接收单元13、17的结构由于同图6中示出的结构相同，因此省略其有关的详细情况。
IEEE1394发送、接收单元13，从接收到的异步数据包取出重放指令1a，发送到读出单元14。
读出单元14，从存储在存储装置12中的MPEG传输流，选择适合重放指令1a的图像作为MPEG传输流1e，发送到MPEG传输流加工单元15。读出单元14的选择图像，例如在正向重放时，按照输入到图4所示的MPEG译码装置31的顺序那样，选择I1、B0、P3、B2…。同样在使用反向重放P、B的图像中，按照输入到图5所示的MPEG译码装置31的顺序，为了显示B4图像，按照I1、P3、I5、b4的顺序，选择4帧图像输出。
因此，发送到MPEG传输流1e加工单元15的MPEG传输流1e，在使用P、B图像反向重放时，若按原样输出，则显示与H的图像不同的图像。
因此，MPEG传输流1e加工单元15将为控制重放单元20的信号分别赋予给MPEG传输流。将赋予控制重放控制单元20的信号的已加工MPEG传输流1f被发送到IEEE1394发送、接收单元13。
图8示出了MPEG传输流加工单元15的结构，由PES(PacketizedElementary Stream)_heaker检测单元81、DSM(Digital Storage Media)位置检测单元82、指令判定单元83、DSM改写单元84构成。
被读出的MPEG传输流1e分别输入到PES_header检测单元81、DSM位置检单元82、DSM改写单元84。PES_header检测单元81从输入的MPEG传输流1e检测出PES_header，将PES_header认别信号8a发送到DSM位置检测单元82。
图9示出PES的结构。图9的PES结构在ISO/IEC1381-1作了的规定。另外，在本实施形态中，规定一个PES含有的MPEG图像为1帧图像。在图8中，若DSM位置检测单元82接收PES_header识别信号8a，则在DSM_trisk_mode_flag出现时，将trick_mode_control和DSM_data的位置与下一个PES的PES_CRC_flag作为DSM识别信号8b，发送到DSM改写单元84。另一方面，在不出现DSM_trisk_mode_flag时，将PES_packet_length、DSM_trisk_mode_flag、PES_private_data_length和下一个PES的PES_CRC_flag作为DSM识别信号8b，发送到DSM改写单元84。指令判定单元83判定输入的重放指令1a，在反向重放时，将反向重放信息8c发送到DSM改写单元84。
DSM改写单元84在出现DSM_trisk_mode_flag时，对输入的MPEG transportstream 1e，进行trick_mode_contronl与DSM_data的改写。另外，计算其PES的改写后的CRC，在下一个PES中出现PES_CRC_flang时，进行PES_CRC的改写，作为MPEG传输流1f，发送到IEEE1394发送、接收单元13。
DSM改写单元84在不出现DSM_trisk_mode_flag时，将PES_packer_lengrh改写成0或加1；出现DSM_trisk_mode_flag的标记时，在PES_private_data_lengrh中加1，将这些数据插入在trick_mode_control和DSM_data的位置。DSM改写单元84而且还计算其PES的改写后的CRC。在下一个PES中出现PES_CRC_flag时，进行PES_CRC的改写，作为加工的MPEG传输流1f，发送到IEEE1394发送、接收单元13。
其次，由上述DSM改写单元84改写的trisk_mode_control与DSM数据改写内容实例示于图10。在图10中，指令A表示进行MPEG图像译码并显示被译码图像的译码指令，与图5中的指令是一样的。指令B表示进行MPEG图像译码，但不显示已译码的图像，按时间顺序照原样继续显示前面显示的被译码图像的指令，与图5中的指令5B相同。指令C表示不进行被输入的MPEG图像译码而清除前帧显示的译码图像的指令。指令D表示不进行输入的MPEG图像译码，继续按时间顺序照原样显示前面显示的已译码图像的指令。
MPEG传输流加工单元15，将在图5中的显示控制部35生成的指令赋予PES_header。图5中5B表示的指令表示图10中的指令B，图5中5A表示的指令，如图10中表示指令A那样，MPEG传输流加工单元15进行加工。在图1中，发送到IEEE1394发送、接收单元13的MPEG传输流1f在IEEE1394发送、接收单元13变换为同步数据包，发送到IEEE1394网络1b。
被发送到IEEE1394网络1b的同步数据包发送到重放装置16，在IEEE1394发送、接收单元17将同步数据包变换为MPEG传输流1g，发送到MPEG图像重放单元19、重放控制单元20。重放控制装置20从MPEG传输流1g，取出MPEG传输流加工单元15加工的由图10表示的指令，作为图像控制信号1h，发送到MPEG图像重放单元19。
图11中示出重放控制单元20的结构例。在图11中，被输入的MPEG传输流1g发送到指令提取单元111和Picture_header检测单元112。指令提取单元111从MPEG传输流1g，取出由MPEG传输流加工单元15加工的图10示出的指令，将图像控制信号11a发送到同步输出单元113。
Picture_header检测单元112，从MPEG传输流1g提取Picture_header时，则将表示检测Picture_headerr图像的同步信号11b输送到同步输出单元113。同步输出单元113对照图像同步信号11b，将图像控制信号11a作为图像控制信号1h输出。图12表示出输入到控制单元20的MPEG传输流1g和输出的图像控制信号1h的关系。图12中，121是在输入MPEG传输流1g中含有PES_header的MPEG传输流的数据包。122是在输入的MPEG传输流1g中含有图像控制信号11a的MPEG传输流数据包。123是在输入的MPEG传输流1g中含有Picture_header的数据包。121、122、123数据包有时为同一个数据包，但是PES_header、图像控制信号、Picture_header以该顺序输入。
Picture_header检测单元112，若从123数据包检测Picture_header，则生成图像同步信号11b。从数据包112提取的图像信号11a同步于由数据包123生成的图像同步信号11b，发送图像控制信号1h。
MPEG图像重放单元19对已被输入的MPEG传输流1g进行重放、显示。图13示出MPEG图像重放单元19的结构。除指令接收部131、译码控制信号13b外，与图3中示出的现在实施例的相同。
指令接收部131接收图像控制信号1h，如果在输入图10中示出的指令A时，则发送开关36将译码图像输入到帧存储器33的显示控制信号13a与对MPEG译码装置31发送执行译码的译码控制信号13b；在输入图10中示出的指令B时，则发送开关36不将译码图像输入到帧存储器33而保持的显示控制信号13a和对MPEG译码装置31发送执行译码的译码控制信号13。而且，在输入图10中的指令C时，则发送开关36将译码图像输入到帧存储器33，或清除帧存储器图像的显示控制信号13a与对MPEG译码装置31发送不执行译码的译码控制信号13b；在输入图10中示出的指令D时，则发送开关36保持帧存储器33的图像显示控制信号13a与对MPEG译码装置31发送不执行译码的译码控制信号13b。
于是，若根据本实施形态，则在从发送装置11发送给重放装置16的MPEG传输流的数据与图像单元控制信号时，由于将图像单位控制信号或将其使用方法，设法埋入在MPEG中规定的DSM的未使用区，或埋入其使用方法并用同步传输发送，因此在使用不能保证同步传输与异步传输的发送顺序的IEEE1394接口的双向网络系统中的图像传输装置中，可完全会保证图像单位的控制与传输的MPEG传输流同步，可由图像单位的译码控制，重放反向重放图像。第2实施形态图14示出本实施形态2涉及的图像传输装置。与图2中的现有实施例结构相同的符号表示相同或相当部分。发送装置140为代替存储装置22设置反向重放图像存储装置141，为代替存储装置控制单元24，设置反向重放图像存储装置读出单元142，作为重放装置16含有重放控制单元20。在IEEE1394网络1b中发送装置140与重放装置16连接。因此，反向重放图像存储装置141是硬盘等存储装置，但该存储装置中存储含有实施形态1生成的格式化的反向重放图像的装置。以下图15示出将反向重放图像存储在反向重放图像存储装置141中的方法。
在图15中，150是发送装置，与上述实施形态1中示出的发送装置相同。151是IEEE1394发送、接收单元，与实施形态1的IEEE1394发送、接收单元17相同。152是硬磁盘等到存储媒体。153是指令生成单元，与实施形态1的指令生成单元18相同。
以下，就其动用加以说明。指令生成单元153生成反向重放指令15A，通过IEEE1394发送、接收单元151将反向重放指令发送到IEEE1394网络1b，将反向的重放指令15a发送到发送装置150。
此时，通过使用1倍速反向重放指令等，发送在反向重放中将全部I，P，B图像重放的反向重放指令。在发送装置150生成的反向重放图像，通过IEEE1394网络1b、IEEE发送、接收单元151存储到记录存储媒体152中。而且，将全部I、P、B图像的反向重放图像存储的存储媒体152是图14中的反向重放影存储装置141。
反向重放图像存储装置读出单元142在重放指令1a要求反向重放时，适宜读出在存储反向重放图像存储单元141中的反向重放图像；在正向重放时，可适宜只重放指令A所记述的图像。
在反向重放中，由于被读出的反向重放图像已经进行DSM加工，所以在发送装置140中无需进行再次的加工。因此，如果是有存储反向重放图像的反向重放图像存储装置141和将其读出的反向图像存储装置读出单元142，即使使用现有的结构，也可获得准确的反向重放图像。
于是，若根据本实施形态2，则将I、P、B图像全部的反向重放图像存储到反向重放图像存储单元141、从接收侧发送反向重放指令时，则反向重放图像存储单元的读出单元142读出上述反向重放图像，通过IEEE1394网络1b，将该图像数据传输到接收侧16a。因此，在接收侧，很容易地重放反向重放图像。第3实施形态以下，说明本发明实施形态3涉及的重放图像传输装置。图16表示在实施形态1的图像传输装置中的MPEG传输流加工单元15进行加工的指令例中，与实施形态1示出的图10的不同形态加工的例。在图16中，trick_mode_control的数据与图10不同，表示为3’b100。这是在ISO/IEC1318-1中表示slow_reverse，表示反向流重放。trick_mode_control在3’b100时，在下位5比特中，设定表示该图像显示次数叫做rep_cntrl的参数。在该参数中，指令A设定为0以外的数值，在指令B中，设定为0值。不使用指令C与指令D。
在实施形态1中，指令分配在ISO/IEC 13818-1中未规定的区域。而在本实施形态3中仅对指令A与指令B，在ISO/IEC 13818-1中未规定的区域进行指令设定于是，可以削减在重放装置16中设置用于控制ISO/IEC 13818-1中未规定的区域的电路的规模。即可削减图1中MPEG图像重放单元19和重放控制单元20的规模。第4实施形态以下，说明本发明实施形态4涉及的重放图像传输装置。在上述实施形态1至3中，以1个PES含有的图像数量为一帧图像时的情况为例加以说明。然而有时也出现一个PES中含有数帧图像的情况。这时，在只扩展实施形态1至3示出的DSM码中，由于在DSM中仅有8比特记录区，因此在1个PES中只能记录有关1帧图像，而不能控制1个PES中的数帧图像。
在本实施形态4中，由于将图像单位的控制写入PES_header的PES_private_data区域，因此可对应于1个PES中含有数帧图像情况。
图17是表示本实施形态4中MPEG传输流加工单元结构的图。在图17中171是PES_private_data位置检测单元，172是PES_private_data改写单元。PES_header检测单元81与指令判定单元83与图8示出的相同。PES_private_data被包含在图9中的PES_extension中，且与下述PES_extension_field一起被记录在ISO/IEC 13818-1中。
PES_private_data位置检测单元171解析输入的PES_header识别信号8a与被读出的MPEG传输流图像1e，在MPEG传输流图像1e中有PES_privsate_data与PES_extension_field时，检测PES_extension_field的位置与写入数据的长度，并作为PES_private_data识别信号17a，发送到PES_private_data改写单元172。
PES_private_data位置检测单元171，解析输入的PES_header识别信号8a与被读出的MPEG传输流图像1e，在MPEG传输流图像1e中存在PES_private_data而不存在PES_extension_field时，检测PES_extension_field的写入位置并作为PES_private_data识别信号17a，发送到PES_private_data改写单元172。
PES_private_data位置检测单元171，解析输入的PES_header识别信号8a与被读出的MPEG传输流图像1e，在MPEG传输流图像1e中没有PES_private_data时，检测写入PES_private_data的位置，并作为PES_private_data识别信号17a，发送到PES_private_data改写单元172。
PES_private_data位置检测单元17a中，显示出有PES_private_data和PES_extension_field时，PES_private_data改写单元172，在被读出的MPEG传输流图像1e的、PES_extension_field_length的长度上加上描述各帧图像的控制信号所需要的长度，将各帧图像控制信号加在PES_extension_field。而且有关PES_packet_length、PES_header_data_length也与图8一样进行改写。图18示出各帧图像控制信号的记述例。
在图18中，将PES中含有的图像帧数设定为n，将在开头表示记述反向重放时图像控制信号的记述设置为字节，其后每1字节记述其PES含有的各帧图像控制信号。各帧控制信号也可使用图10或图16表示的控制信号。于是，用n+1字节的长度可记述PES中含有的全部图像控制信号。而且在进行这种记述时，图1的重放控制单元1c也能识别这种控制信号。
在PES_private_data识别信号17中，在表示PES_private_data存在、PES_extension_field不存在时，PES_private_data改写单元172在被读出的MPEG传输流图像1e的、PES_extension_flag2的比特出现1，在PES_extension_field_length的长度上加上记述各帧控制信号所需要的长度，PES_extension_field上，加各帧图像的控制信号。尚且，有关PES_packet_length、PES_header_length可与图8相同地改写。
在PES_private_data识别信号17中，在表示PES_private_data不存在时，PES_private_data改写单元172在被读出的MPEG传输流图像1e的、PES_extension_flag中出现1，在PES_private_data的位置上改写各帧控制信号，作为PES_private_data。另外有关PES_packet_length、PES_header_length，可与图8相同地改写。
由于以上结构，即使在1个PES中含有数帧图像的情况时，也可记述各帧图像的控制信号。这对于1个PES含有1帧图像也是有效的。
于是，若根据本实施形态4，则由于将图像单位的控制信号写入在PES_header的PES_privtate_data区域，所以即使在PES中含有数帧(n帧)图像时，也可用n+1字节记述全部图像控制信号，即使在PES含有数帧图像的情况也可对应。第5实施形态以下，说明本发明实施形态5涉及的重放图像传输装置。图13中的MPEG译码装置31含有存储输入的MPEG传输流图像1g或从MPEG传输流图像1g取出的视频基础流用的缓冲器。图19表示其存储在缓冲器中的图像数据时间系列变化。
在图19中，纵轴表示存储数据量，横轴表示时间。191线表示存储数据量的变化。若输入MPEG传输流1g，则如192部分所示，存储在缓冲器中的数据量增加，随图像被译码，如193部分所示，存储在缓冲器的数据量减少。然而，在图像译码及其显示中，在缓冲器中，除去初始状态，若未存储一定量的数据，则在MPEG译码装置31上不能进行所希望的译码或显示，或重放装置16可能进行错误动作。由194线显示的线表示含有MPEG译码装置31的重放装置16进行正常重放所需要的缓冲器存储量的下限值。
在图19中，195是低于线194示出的下限状态，196是缓冲器呈空载状态。将该状态作为下溢状态时，在下溢状态有时重放装置16不进行正常的动作。下溢通常不在MPEG图像中出现，但由于反向重放等特殊重放，在不连续的图像连接组合时，往往在连接的图像与图像断开处等发生。
为了防止上述问题，图20在实施形态1表示的发送装置11的结构增加了符号监视单元201、伪数据生成单元202、选择器203。
即在图20中，200是发送装置，符号监视单元201监视被读出的MPEG传输流图像1g的符号量，监视是否变为下溢状态。而且，在被读出的MPEG传输流图像1e中，若符号监视单元201判断发生下溢量，则将下溢发生信号20a发送到伪数据生成单元202。
伪数据生成单元202生成不发生下溢状态的伪数据包，发送给选择器203。伪数据生成单元202与MPEG传输流的缓冲器的下溢相对应时生成NULL数据包的MPEG传输流数据包，在对与MPEG视频基本流的图像间的下溢相对应时，生成在净荷载上含有MPEG视频基本流的填充数据的MPEG传输流，作为伪数据包20b。
选择器203插入在加工伪数据包20b的MPEG传输流图像1f中，作为MPEG传输流20c，发送到IEEE1394发送、接收单元13。
在此，图21中示出选择器203的动作。下溢可通过将读出的MPEG传输流图像1e数据包间隔埋入在伪数据包20b中来解决。选择器203埋入读出的MPEG传输流图像1e的数据包发送间隔，插入伪数据包20，发送MPEG传输流20c。
如上述描述，若根据本实施形态，若由符号监视单元201监视从发送装置200的存储装置12读出的MPEG传输流图像1e的符号量，检测下溢状态时，则如从伪数据生成单元202生成伪数据包20b以便不生成下溢状态，由于将其埋入在MPEG传输流间那样构成，因此，可以防止重放装置16中的下溢，可防止译码处理失败而引起的图像冻结等意外情况。第6实施形态以下，说明本发明实施形态6涉及的重放图像传输装置。图22是表示本实施形态6中的重放图像传输装置的MPEG传输流加工单元的框图，有关其它部分与图1相同。图中，15b表示MPEG传输流加工单元，在本实施形态6中，代替图17示出的MPEG传输流加工单元中的PES_header检测单元81、PES_pirvate_data位置检测单元171、PES_private_data改写单元172，分别设置Picture_header检测单元221、Temporal_Reference检测单元222、Temporal Reference改写单元223。在本实施形态6中，将图像控制信号写入ISO/IEC 13818-2规定的图像首部中包含的Temporal_Reference区域。
以下，说明动作。
若输入被读出的MPEG传输流1e，则Picture_header检测单元221，检测出MPEG传输流1e中含有的图像首部，发送图像首部检测信号22a。在Temporal_Reference检测单元222检测图像首部检测信号时，检测图像首部中含有Temporal_Reference的位置并送出表示该Temporal_Reference位置的检测信号22b。在Temporal_Reference改写单元223，将图像单位的控制信号写入由表示上述Temporal_Reference位置的检测信号22b中表示的Temporal_Reference位置。
例如，在执行译码且显示译码的图像时，将显示译码图像的顺序写入Temporal_Reference。而且在执行译码且不显示已译码的图像时，对Temporal_Reference赋予在10’b1111111111(第1024日)等通常图像中几乎不使用的图像显示顺序。这样一来可以实现即执行译码且不显示已译码图像的这种种控制。而且由于Temporal_Reference存在于全部图像中，所以即使哪个的PES首部与图像位置不同步，也可将图像译码信号发送到各个每帧图像中。
于是，若根据实施形态6，将控制图像用的控制信号，写入Picture_Hedaer中包含的Temporal_Reference中，在应显示的图像数据同时，以IEEE1394网络中的同步传输方式进行传输，则即使在1个PES中含有数帧图像时，以及图像与PES首部位置不同步时，也可进行正常的反向重放。
如上描述，若根据本发明方案1涉及的重放图像传输装置，在由含有可保证频带的同步传输、与进行非同步传输的异步传输的2种传输模式的IEEE1394接口构成的双向网络间，传输重放图像的重放图像传输装置中，由于该装置含有数据存储单元，存储重放图像数据；数据加工单元，加工由上述数据存储单元读出的重放图像数据，以便使用上述同步传输来传输上述重放图像数据与为该重放图像数据进行重放控制的重放控制参数，因此，可完全保证图像单位控制信号与传输的重放图像数据同步。通过图像单位的译码控制可获得重放反向重放图像的效果。
而且，若根据本发明方案2涉及的重放图像传输装置，则在方案1记述的重放图像传输装置中，上述重放图像数据是MPEG的传输流，上述重放控制参数由于是涉及上述MPEG传输流的译码及显示处理的指令，所以通过图像单位的译码控制，获得MPEG传输流的反向重放图像可再生的效果。
而且，若根据本发明方案3所涉及的重放图像传输装置，则在方案2记述的重放图像传输装置中，上述数据加工单元可将进行译码与显示的、进行译码但不显示的、不进行译码显示是将前帧图像按原样保存的、不进行译码也不进行图像显示的这类重放控制参数，分配在由ISO/IEC13818-1中规定的PES header中的DESM的trick_mode_contol标记的3’b101～3’b111区域与其下位5比特，因此，利用MPEG的规定的格式化，可获得传送涉及重放侧重放图像译码、重放、显示控制的重放控制参数的这类效果。
而且。若根据本发明方案4涉及的重放图像传输装置，则在方案3记述的重放图像传输装置中，由于上述数据加工单元将ISO/IEC13818-1中规定的PES_header中的DSM的trisk_mode_control＝3’b100与rep_cntrl≠5’b00000分配给进行译码与显示的重放控制参数；将PES_header中的DSMR trick modecontrol＝3’b1005与rep_cntrl＝5’b0000分配给进行译码但不进行显示的重放控制参数，所以利用MPEG规定的格式化，可获得传输重放装置侧中的重放图像的译码、重放、显示控制涉及的重放控制参数的这类效果。
而且，若根据本发明方案5涉及的重放图像传输装置，则在方案2记述的重放图像传输装置中，上述数据加工单元是将进行译码与显示的、进行译码但不显示的、不进行译码但显示是将上帧图像按原样保存的、不进行译码也不进行显示的控制信号记录在ISO/IEC13818-1中规定的PES_header中的PES_private_data、或PES_extension_field_length中，所以，可获得下述效果，即利用MPEG规定的格式化传送重放解像装置侧中的重放图像的译码、重放显示控制涉及的重放控制参数；同时，在1个PES中含有数帧图像时，也可进行控制各帧图像。
而且，若根据本发明方案6涉及的重放图像传输装置，则在方案2记述的重放图像传输装置中，含有符号量监视单元，监视由上述数据存储单元读出的重放图像读出的符号量，若该符号量变成规定值以下时，则产生表示重放装置中译码的缓冲器存储的数据在译码处理需要量以下的下溢发生信号；伪数据生成单元，接收由上述信号量监视单元产生的下溢发生信号，产生伪数据包；选择单元，将上述伪数据包埋入在上述数据加工单元加工的MPEG传输流间，所以可防止重放装置侧中的缓冲器下溢、以及译码处理失败引起的图像冻结等意外情况的效果。
而且，若根据本发明方案7涉及的重放图像传输装置，在由含有保证频带的同步传输与进行非同步传输、异步传输的2种传输模式的IEEE1394接口构成的双向网络间，传输重放图像的重放图像传输装置中，该装置含有存储上述重放影数据与在反向重放该再生图像时需要的重放控制参数的数据存储单元，由于是采用上述同步传输方式传输上述重放图像数据与上述重放控制参数，因此，由接收装置侧发送反向重放指令的，通过IEEE1394网络，将由存储反向重放图像的数据存储单元读出的规定图像数据发送到接收装置侧，则在接收装置侧，可获得很容易地将反向重放图像重放的效果。
而且，若根据本发明方案8涉及的重放图像传输装置，则在方案2记述的重放图像传输装置中，上述数据加工单元将进行译码与显示、进行译码但不显示、不进行译码但显示是将上帧图像按原样保存的、不进行译码也不进行显示的重放控制参数记述在ISO/IEC13818-2中规定的Picture_header中的Temporal_Referense中，所以在1个PES中含有数帧图像时，以及即使在图像与PES的帧头位置非同步时，也可获得进行正常的反向重放这类效果。
权利要求
1.一种重放图像传输装置，它在由具有能保证频带的同步传输和进行非同步传输的异步传输的2种传输模式的IEEE1394接口构成的双向网络间传输重放图像，其特征在于含有数据存储单元，存储重放图像数据；数据加工单元，加工从上述数据存储单元读出的重放图像数据，以便通过上述同步传输来传输上述重放图像数据和用于进行该重放图像数据的重放控制的重放控制参数。
2.如权利要求1所述的重放图像传输装置，其特征在于上述重放图像数据是MPEG传输流；上述重放控制参数涉及上述MPEG传输流的译码及显示处理的指令；
3.如权利要求2所述的重放图像传输装置，其特征在于上述数据加工单元，将进行译码和显示、或进行译码但不进行显示、或不进行译码显将前帧图像按原样保存、或不进行译码也不进行图像显示的这种重放控制参数，分配到从ISO/IEC13818-1中规定的PES_header中的DSM的trick_mode_control的标记3’b101～3’b111区及其后续5比特。
4.如权利要求3所述的重放图像传输装置，其特征在于上述数据加工单元，将ISO/IEC13818-1中规定的PES_header中的DSM的trick_mode_control＝3’b100和rep_cntrl≠5’b00000分配到进行译码和显示的重放控制参数；将PES_header中的DSM的trick_mode_control＝3’b100和rep_cntrl≠5’b00000分配给进行译码但不显示的重放控制参数。
5.如权利要求2所述的重放图像传输装置中，其特征在于上述数据加工单元，将进行译码和显示、或进行译码而不进行显示、或不进行译码但显示是将前帧图像按原样保存、或不进行译码也不进行显示的这种控制信号描述在ISO/IEC13818-1中规定的PES_header中的PES_private_data、或PES_extension_field_length中。
6.如权利要求2所述的重放图像传输装置中，其特征在于含有符号监视单元，监视从上述数据存储单元读出的重放图像数据的读出符号量，若该符量在该规定值以下时，则产生表示存储在重放装置中的译码缓冲器中的数据在译码处理需要量以下的下溢发生信号；伪数据生成单元，接收由上述符号量监视单元生成的下溢生成信号，生成伪数据包；选择单元，将上述伪数据包埋入在上述数据加工单元中所加工的MPEG传输流之间。
7.一种重放图像传输装置，它在由具有保证频带的同步传输和非同步传输的异步传输的2种传输模式的IEEE1394接口构成的双向网络间传输重放图像，其特征在于含有数据存储单元，存储上述重放图像数据及对该重放图像数据进行反向重放时需要的重放控制参数；上述重放图像数据和上述重放控制参数是以上述同步传输模式进行传输。
8.如权利要求2所述的重放图像传输装置中，其特征在于上述数据加工单元，将进行译码和显示、或进行译码但不进行显示、或不进行译码但显示是将上述图像按原样保存、或不进行译码也不进行显示的这种重放控制参数，描述在ISO/IEC13818-2中规定的Picture_Header中的Temporal_Reference中。
全文摘要
本发明提供一种重放图像传输装置，该装置通过IEEE1394网络，在连接生成反向重放图像的装置和对反向重放图像进行译码的装置时，即使在IEEE1394网络上不能保证同步传输和异步传输间的传输顺序，也能正常显示反向重放图像。由MPEG传输流加工单元15将控制译码的控制信号进入在MPEG图像中，通过与MPEG图像相同的同步传输，使其在IEEE1394网络上传输，以保证MPEG图像同其控制信号同步，生成使用P、B图像的MPEG反向重放图像。
文档编号H04N5/92GK1391402SQ0212757
公开日2003年1月15日 申请日期2002年5月31日 优先权日2001年6月1日
发明者山内贤一郎, 久野良树 申请人:松下电器产业株式会社