专利名称：流式编码器及流式解码器的制作方法
技术领域：
本发明涉及对多个图像生成数据流或解码的装置。民用摄影机变得普遍，特别是DVD(数字化多用途光盘)摄影机近年来快速普及。在DVD记录方式标准之一的DVD视频标准中定义了多角度的功能，在多个摄影角度下记录图像，使用者可以自由选择角度再生图像。
在多角度功能中使用的数据流的生成中，对于分别拍摄的多个流路，需要使用特定的验证工具等进行加工，对其进行操作的使用者还需要具有专业知识。
因此，通过在多个编码器中对从多个信道输入的图像及声音等进行编码，由编码的各个数据流生成VOBU(视频目标单元)及ILVU(交叉单元)，对每个信道中生成的ILVU进行交叉，可以实时记录多个信道的图像，连接到记录介质的多信道记录装置例如在日本特开平11-103444号公报中公开了。可是，如这种记录装置，为了在1个视频编码器中进行处理，需要按照时间分割来处理输入的图像，存在对每个图像信道不能进行动态修正预测处理这样的问题。
另外，切换编码信道的定时不明确，存在不能保证在1帧(或者半帧)内对全部信道完成编码这样的问题。
本发明的目的是提供一种低成本、并且能容易地生成多角度流路的流式编码器。
具体地说，根据本发明的流式编码器具有接收第1及第2角度图形数据、进行编码、将其结果分别作为第1及第2编码图形数据输出的视频编码器、存储所述第1编码图形数据的第1视频缓冲器和存储所述第2编码图形数据的第2视频缓冲器。所述视频编码器具有每当对所述第1或第2角度图形数据完成1帧的编码时，就输出进行切换控制的第1角度控制信号的第1角度控制部、根据所述第1角度控制信号，选择所述第1或第2角度图形数据进行输出的帧选择器、对所述帧选择器的输出进行编码，将其结果作为所述第1或第2编码图形数据输出的动态修正预测编码器，和根据所述第1角度控制信号，将所述第1编码图形数据输出到所述第1视频缓冲器中，将所述第2编码图形数据输出到所述第2视频缓冲器中的缓冲器选择器。所述动态修正预测编码器具有第1预测存储器、第2预测存储器、根据所述第1角度控制信号将关于所述第1及第2角度图形数据的参照画面分别输出到所述第1及第2预测存储器中的存储器选择器、根据所述第1角度控制信号，使用存储在所述第1预测存储器或第2预测编码器任何一个中的参照画面，进行动态修正预测处理的动态修正预测部，并且构成为可以在所述第1或第2角度图形数据的1帧周期内进行2帧以上的编码处理。
据此，视频编码器将2个角度的图形数据分别保存在不同的预测存储器中，对每个独立进行动态修正预测处理，分别输出到不同的视频缓冲器中。因此，可以在1个视频编码器中进行2个视频信道的编码。另外，因为每当各图形的1帧编码完成时，切换作为处理对象的图像，所以确实可以在1帧周期内对多个信道的图像进行编码。
另外，在所述流式编码器中，还可以具有由所述第1及第2编码图形数据和对于所述第1及第2编码图形数据来说共同的编码音频数据形成1个流路进行输出的系统编码器。所述系统编码器具有根据第2角度控制信号，从所述第1视频缓冲器或者所述第2视频缓冲器中选择所述第1编码图形数据或所述第2编码图形数据进行输出的视频选择器、每当由所述视频选择器选择的编码图形数据的视频帧数达到预定的帧数时，就作为所述第2角度控制信号输出进行切换控制的信号的第2角度控制部、根据所述第2角度控制信号选择所述第1编码图形数据的情形下，由所述编码音频数据生成音频数据包进行输出的音频数据包生成部、存储所述音频数据包的音频数据包保存部、和根据所述第2角度控制信号选择所述第1编码图形数据的情形下，选择从所述音频数据包生成部中输出的所述音频数据包，在根据所述第2角度控制信号选择所述第2编码图形数据的情形下，选择在所述音频数据包保存部中保存的所述音频数据包进行输出的音频选择器，优选构成为可以在所述第1或第2角度图形数据的1帧周期内，对所述第1或第2编码图形数据进行2帧以上的处理。
据此，每当处理规定数的视频帧时，就对2个图形数据进行切换处理。因此，可以实时地形成多角度流路的图形数据。
另外，所述系统编码器还可以具有由接收的所述第1编码图形数据或所述第2编码图形数据生成视频数据包包头进行输出的视频数据包生成部、和存储所述视频数据包包头的视频数据包包头保存部。所述视频数据包生成部优选根据所述第2角度控制信号，进行所述视频数据包包头的生成或者从所述视频数据包包头保存部中进行所述视频数据包包头的读出。
据此，在2个图形数据的处理中，使用共同的视频数据包包头。因此能够减轻处理的负荷。
另外，在所述流式编码器中，优选还具有控制输出所述第1角度图形数据的第1相机、及在与所述第1相机相同的方向上拍摄、输出所述第2角度图形数据的第2相机各自的摄影倍率，输出表示所述第1及第2相机各自的摄影倍率的摄影倍率信息的相机控制部、和在所述第1及第2相机中摄影倍率比另一个相机低的相机所拍摄的图像中，根据所述摄影倍率信息，算出与所述另一个相机所拍摄的图像重复的部分，对所述重复的部分进行编码处理时，变换成负荷少的图像的重复图像变换部。
据此，将2个图像中重复的部分变换成了在编码处理时负荷少的图像。因此能够减轻处理的负荷。
另外，所述流式编码器中优选还具有根据从所述相机控制部中接收的摄影倍率信息，将为了使所述重复部分的边界与编码时的宏块的边界一致而调整所述第1及第2相机摄影倍率的信号输出到所述相机控制部中的倍率检测修正部。
据此，2个图像中重复的部分与宏块的边界相一致。因此，在将重复的部分进行编码的情形下能够减轻处理的负荷。
另外，在所述流式编码器中，还可以具有在所述摄影倍率比另一个相机低的相机所拍摄的图像中，根据与所述另一个所拍摄的图像相重复的部分所占的比例，求出将各自的图像进行编码时的位速率，作为位速率信息输出的位速率调整部。所述视频编码器优选还具有根据所述第1角度控制信号和所述位速率信息，调整对所述第1及第2角度图形数据进行编码时的位速率的编码控制部。
据此，能够在2个图像的画质中附加差别。因此能够提高主图像的画质。
另外，所述流式编码器中优选还具有控制输出所述第1角度图形数据的第1相机、及在与所述第1相机相同的方向上拍摄、输出所述第2角度图形数据的第2相机各自的摄影倍率，输出表示所述第1及第2相机各自的摄影倍率的摄影倍率信息的相机控制部、和在所述第1及第2相机中摄影倍率比另一个相机低的相机所拍摄的图像中，根据所述摄影倍率信息，算出与所述另一个相机所拍摄的图像重复的部分，合成了表示在所述摄影倍率比另一个相机低的相机所拍摄的图像中所述另一个相机所拍摄的图像范围的指示，然后输出的放大区域信息附加部。
据此，通过显表示2个图像重复的部分能够使判别变得容易。
另外，在所述流式编码器中，优选还具有控制输出所述第1角度图形数据的第1相机、及在与所述第1相机相同的方向上拍摄、输出所述第2角度图形数据的第2相机各自的摄影倍率，输出表示所述第1及第2相机各自拍摄方向的拍摄方向信息的相机控制部、和根据所述拍摄方向信息，检测所述第1相机及所述第2相机的设置位置及拍摄方向的变化、在检测出所述设置位置或拍摄方向中任何一个变化的情形下，输出同时表示所述第1及第2角度图形数据的图像的控制信号的相机偏移检测部。
据此，在相机设置位置或拍摄方向发生了偏移的情形下，可以自动切换监控图像。因此，能够容易知道发生了相机设置位置或拍摄方向的偏移。
根据本发明的流式编码器具有读取包含第1编码图形数据、及在与所述第1编码图形数据的拍摄方向相同的方向上以比所述第1编码图形数据高的倍率拍摄得到的第2编码图形数据的数据流进行输出的数据读取部、接收所述数据读取部输出的数据流、分离为所述第1及第2编码图形数据进行输出的数据传送部、对所述第1编码图形数据进行解码、作为第1图形数据输出的第1解码器、对所述第2编码图形数据进行解码、作为第2图形数据输出的第2解码器、将所述第2图形数据变换为与所述第1图形数据的图像相重复的部分的尺寸的图形数据进行输出的尺寸重整处理部、将在所述尺寸重整处理部中进行变换后的图像重叠到所述第1图形数据图像的所述重复的部分上进行合成然后输出的合成部。
据此，2个图像间重复的部分能够再生形成变换为尺寸小的数据的多角度流路图形数据。
根据本发明，对于多信道的图像，因为在单个编码器内对每个信道独立进行处理，所以不需要每个信道都包括编码器，能够使装置低成本化。另外，不进行编辑操作，能够实时合成多个图像形成多角度流路。
图1是表示根据本发明第1实施例的流式编码器构成的方框图。
图2是构成DVD视频标准中的单元的NV_PCK的构成图。
图3是表示图1的视频编码器106的构成的方框图。
图4是表示图1的系统编码器112的构成的方框图。
图5是表示从图1的相机101及102取得的图像的、图1的视频缓冲器108及109中的帧的存储的说明图。
图6是由图1的流路编码器生成的视频流路的构成图。
图7是表示根据本发明第2实施例的系统编码器212构成的方框图。
图8是表示根据本发明第3实施例的流式编码器的构成的方框图。
图9(a)是显示图8的相机101的输入图像成像的说明图。图9(b)是显示图8的相机102的输入图像成像的说明图。图9(c)是表示变换图8的相机101的输入图像中的重复区域进行编码的成像的说明图。图9(d)是表示变换图8的相机102的输入图像进行编码的成像的说明图。
图10是表示2个图像中重复区域变换的处理顺序的流程图。
图11是图10的步骤S203中求得的、变换图形数据的区域的说明图。
图12是表示使用图8的流式编码器再生成记录的图形数据的流式解码器构成的方框图。
图13(a)是表示图8的相机101所拍摄的、记录在图12的DVD315中的图像的说明图。图13(b)是表示图8的相机102所拍摄的、记录在图12的DVD315中的图像的说明图。图13(c)是表示输出到图12的监控器322中的图像的说明图。
图14是表示图12的流式解码器中图像再生的处理顺序的流程图。
图15是图14的步骤S306中合成再生图像的处理的说明图。
图16是表示根据本发明第4实施例的流式编码器构成的方框图。
图17是表示相机倍率调整处理顺序的流程图。
图18是图17的步骤S404中调整相机的倍率的处理的说明图。
图19是表示根据本发明第5实施例的流式编码器的构成的方框图。
图20是在广角图像上重叠边缘的处理的说明图。
图21(a)是表示图19的帧缓冲器104所保存的广角图像的说明图。图21(b)是表示图19的帧缓冲器105所保存的放大图像的说明图。图21(c)是表示图19的合成部502使帧缓冲器104所保存的放大图像和帧缓冲器105所保存的广角图像重合的图像的说明图。图21(d)是表示图19的放大区域信息附加部501在广角图像上重叠边缘的图像的说明图。
图22是表示根据本发明第6实施例的流式编码器的构成的方框图。
图23是表示根据本发明第7实施例的流式编码器的构成的方框图。
图24是表示根据本发明第7实施例的视频编码器的构成的方框图。10、20、40、50、55、60流式编码器30流式解码器101、102相机106、602视频编码器108、109视频缓冲器112系统编码器140动态修正预测编码器146、152预测存储器147动态修正预测部148、168、702角度控制部149帧选择器150缓冲器选择器151存储器选择器162视频数据包生成部164音频数据包生成部169视频选择器170音频数据包保存部171音频选择器182视频数据包包头保存部201重复图像变换部202导向信息形成部206、551相机控制部304尺寸重整处理部305合成部317数据读取部
319数据传送部320、321解码器401倍率检测修正部501放大区域信息附加部552相机偏差检测部601位速率调整部701编码控制部[实施本发明的最佳方式]下面参照附图对本发明的实施例进行说明。
(第1实施例)图1是表示根据本发明第1实施例的流式编码器构成的方框图。图1的流式编码器100包括帧缓冲器104及105、视频编码器106、音频编码器107、视频缓冲器108及109、音频缓冲器110、编码器控制部111、系统编码器112、导向信息形成部113和流式缓冲器114。
编码器控制部111对系统编码器112进行记录开始和停止等控制。在这里，可以视频编码器106、音频编码器107与系统编码器112联动控制动作，或者其动作与同一系统时钟同步进行。
相机101及102在图像取得周期(帧周期)Vsync内同步分别取得1帧的图像。取得的帧数据存储在帧缓冲器104及105中。在这里，将相机101取得的图像定义为第1角度图像，将相机102取得的图像定义为第2角度图像。
通过编码器控制部111发出记录开始的请求时，视频编码器106在每1Vsync内，对从帧缓冲器104、105中取得的1帧数据1帧1帧地交替进行编码，将编码的视频流路分别存储在视频缓冲器108、109中。视频编码器106具有每1Vsync内对2帧以上进行编码处理的能力。音频编码器107对由麦克风103输入的声音进行编码，将编码的音频流路存储在音频缓冲器110中。
系统编码器112在每个交叉单元中，将第1及第2角度的视频流路和对于第1及第2角度来说共同的音频流路多重化，将进行系统编码后的编码流路存储在流式缓冲器114中。系统编码器112为了对2个视频进行处理而具有每1Vsync内对2帧以上进行编码处理的能力。系统编码器112每当对各个角度进行编码完成时，就将编码的完成通知通知给导向信息形成部113。
图2是构成DVD视频标准中的单元的NV_PCK(导航包)的构成图。VOBU信息是用来更新NV_PCK的DSI_Packet(数据搜索信息数据包)的VOBU_SRI(搜索信息)的各帧的信息，由公知技术形成。
导向信息形成部113接收编码的完成通知时，以VOBU信息为基础，对存储在流式缓冲器114中的VOBU_SRI的各帧进行信息的记录。
在本发明中，特征在于对2个角度保存这个VOBU信息，每当接收对这个信息进行编码的完成通知时，通过在该2个角度之间交替切换要使用及更新的两段VOBU信息以能够保持信息的连续性。
图3是表示图1的视频编码器106的结构的方框图。视频编码器106包括动态修正预测编码器140、角度控制部148、帧选择器149和缓冲器选择器150。动态修正预测编码器140包括编码控制部141、DCT(离散余弦变换)部142、量子化部143、逆量子化部144、逆DCT部145、预测存储器146、152、动态修正预测部147、存储器选择器151、减法器153和加法器154。
角度控制部148向帧选择器149、缓冲器选择器150、存储器选择器151和动态修正预测部147输出指定对第1角度图像进行编码处理或者对第2角度图像进行编码处理中的任何一个的控制信号。角度控制部148在编码刚开始后，指定对第1角度图像进行编码处理，每当从DCT部142接收1帧的编码处理完成的通知时，就切换第1角度图像和第2角度图像的指定。
各角度的帧数据与系统时钟同步存储在帧缓冲器104、105中。帧选择器149在指定第1角度图像的情形下，与下一个系统时钟同步从帧缓冲器104向DCT部142传送帧，在指定第2角度图像的情形下，立即从帧缓冲器105向DCT部142传送帧。缓冲器选择器150将从量子化部143输出的被压缩的视频数据，在指定第1角度图像的情形下存储在视频缓冲器108中，在指定第2角度图像的情形下存储在视频缓冲器109中。
存储器选择器151将加法器154的逆DCT部145的输出和动态修正预测部147的输出进行加法计算的数据，在指定第1角度图像的情形下存储在预测存储器146中，在指定第2角度图像的情形下存储在预测存储器152中。动态修正预测部147，在指定第1角度图像的情形下从预测存储器146中，在指定第2角度图像的情形下从预测存储器152中，取得作为动态修正预测的参照成像而使用的数据。动态修正预测部147使用所取得的数据进行动态修正预测。
图4是表示图1的系统编码器112的构成的方框图。系统编码器112包括视频解析部161、视频数据包生成部162、音频解析部163、音频数据包生成部164、复用器165、包组形成部166、编码单元生成部167、角度控制部168、视频选择器169、音频数据包保存部170和音频选择器171。
角度控制部168向视频解析部161、视频选择器169、音频数据包生成部164和音频选择器171输出指定对第1角度图像进行编码处理或者对第2角度图像进行编码处理中的任何一个的控制信号。角度控制部168从视频解析部161中接收视频帧的检测结果，每当这个帧数达到交叉的单位(编码单元，例如15帧)，就进行角度的切换。
视频选择器169在指定对第1角度图像进行编码处理的情形下，将存储在视频缓冲器108中的第1视频流路，在指定对第2角度图像进行编码处理的情形下，将存储在视频缓冲器109中的第2视频流路输出到视频解析部161中。
音频数据包生成部164在指定对第1角度图像进行编码处理的情形下，由音频解析部163输出的流路生成数据包，传送到音频选择器171中的同时，还传送到音频数据包保存部170中，音频数据包保存部170保存生成的音频数据包。另一方面，在指定对第2角度图像进行编码处理的情形下，停止音频数据包的生成。
音频选择器171在指定对第1角度图像进行编码处理的情形下，取得音频数据包生成部164输出的音频数据包，在指定对第2角度图像进行编码处理的情形下，读取音频数据包保存部170保存的音频数据包，输出给复用器165。
系统编码器112对上述的编码视频流路边进行切换边处理，在对一个视频流路进行编码时，需要事先对另一个视频流路进行缓冲。
下面，假如系统编码器112在每1Vsync内具有进行3帧编码的处理能力，对视频缓冲器108、109的缓冲大小进行说明。
图5是表示从图1的相机101及102取得的图像的、图1的视频缓冲器108及109中的帧的累积的说明图。从相机101及102取得的第1角度图像及第2角度图像各自的帧在每个Vsync内被处理时，表示了累积的成像。横轴是Vsync，1刻度表示1Vsync。纵轴是存储的帧数。1个□(方块)表示1帧。
记录开始后，关于第1角度图像对每个Vsync内生成的帧进行处理，而关于第2角度图像不进行处理而进行累积。当对第1角度图像完成了15个帧部分的处理时，开始对第2角度图像的处理。
在这个时间点上，关于第2角度图像，累积了15个Vsync部分的帧。接下来，在1个Vsync内进行3帧编码的情形下，按照累积的顺序对第2角度图像所累积的15个帧进行处理。这累积的15个帧在5个Vsync内被处理，其间累积了新的5个帧。对于第2角度图像，所述15个帧的处理完成时，切换到对第1角度图像进行处理。
在这个时间点上，关于第1角度图像，累积了5个帧。累积的帧被处理时，残余的帧在每Vsync内进行处理。其间，关于第2角度图像，又累积了10个Vsync部分的帧，合计累积了15个Vsync部分的帧。以后重复与图5的15～29Vsync期间相同的处理。
可以得知结果是可以准备出视频缓冲器108能够累积5个帧、视频缓冲器109能够累积16个帧部分的流路的缓冲大小。
如上所述，通过在1个Vsync内在第1角度图像及第2角度图像上交替切换处理取得帧的帧缓冲、存储的视频缓冲、参照及更新的预测存储器，可以对2段视频进行编码，可以在1个视频缓冲器中形成多角度流路。
另外，由于保证了视频缓冲器在1Vsync内对2帧以上进行编码，能够实时对2个角度进行图像编码。
另外，系统编码器通过交叉单位边切换边处理第1角度图像及第2角度图像的单位，可以在1个系统编码器中生成多角度形式的流路。
图6是由图1的流式编码器100生成的视频流路的构成图。通过将这个视频流路记录在图1的DVD115中，可以形成存储了依照DVD-Video标准的多角度目录的DVD。
根据本发明，可以通过1个视频编码器及1个系统编码器对2个图像进行编码处理，能够减少硬件资源。
(第2实施例)图7是表示根据本发明第2实施例的系统编码器212构成的方框图。在本实施例中，用系统编码器212代替图1的流式编码器100中的系统编码器112。图7的系统编码器212还在图4中表示的构成中包括视频数据包包头保存部182。
视频数据包生成部162在由角度控制部168指定第1角度图像的编码处理时，在生成视频数据包的同时，将生成的数据包包头输出到视频数据包包头保存部182中。视频数据包包头保存部182保存数据包包头。视频数据包生成部162在由角度控制部168指定第2角度图像的编码处理时，不再生成数据包包头，使用保存在视频数据包包头保存部182中的视频数据包包头。
另外，视频数据包包头保存部182只在不依赖流路的参数的情形下，才保存数据包包头。例如在DVD标准中DTS的半帧依赖于流路，所以这种情形下，视频数据包包头保存部182不保存数据包包头，视频数据包生成部162对第2角度图像生成视频数据包时，与第1角度图像相同，也需要生成数据包包头。
如上所述，视频数据包生成部162使对第1角度图像进行编码时生成的视频数据包保存在视频数据包包头保存部182中，在对第2角度图像进行编码时，使用视频数据包包头保存部182所保存的数据包包头。因此，在对第2角度图像进行编码时，可以省略数据包包头生成的处理，可以削减系统编码器212的处理负荷。
(第3实施例)下面对根据第3实施例的流式编码器进行说明。在第1实施例的流式编码器中，2个相机从相同的位置在相同的方向上拍摄的情形下，从2个相机输出的图像中存在重复的部分。在第3实施例中，通过使2个图像重复部分的一个变换为不动的图像进行记录，减轻了编码处理的负荷。
图8是表示根据本发明第3实施例的流式编码器构成的方框图。图8的流式编码器200包括代替图1的流式编码器100中的导向信息形成部113的信息形成部202，而且包括重复图像变换部201和相机控制部206。
相机101及102从相同的位置在相同的方向上拍摄。从相机101中输出作为副图像的全景图像。从相机102中输出作为主图像的比相机101的倍率高倍率的图像。
帧缓冲器104暂时记忆相机101输出的图像。帧缓冲器105暂时记忆相机102输出的图像。相机控制部206进行相机101及102的控制，作为倍率信息输出相机101及102各自的倍率。
重复图像变换部201根据从相机控制部206取得的相机101及102的倍率信息，检测帧缓冲器104和帧缓冲器105中保存的图像的重复部分，将帧缓冲器104所保存的图像中的重复部分变换为没有变化的图像。帧缓冲器104及105所保存的图像由视频编码器106进行编码。
导向信息形成部202除了形成导向信息之外，还从重复图像变换部201接收2个相机的倍率信息，将关于NV_PCK记录时的倍率信息也记录到DVD115中。图8的其它方框进行与第1实施例相同的处理。
图9是2个图像中重复区域变换的说明图。图9(a)是显示图8的相机101的输入图像成像的说明图。图9(b)是显示图8的相机102的输入图像成像的说明图。图9(c)是表示变换图8的相机101输入图像中的重复区域进行编码的成像的说明图。图9(d)是表示对图8的相机102的输入图像进行编码的成像的说明图。
图9(a)是输入副图像的情形，图9(b)是输入主图像的情形，图9(a)中用虚线表示的区域TA1是缩小图9(b)的相同的图像。重复图像变换部201将帧缓冲器104中的在图9(a)中用虚线表示的区域TA1的区域变换为如图9(c)所示的单一颜色(例如黑色)。在再生图像的情形下，关于如图9(c)所示的变换为黑色的部分，可以将对图9(b)原样编码的图9(d)的图像及拍摄该图像时的倍率信息复原为原样。
图10是表示2个图像中的重复区域变换的处理顺序的流程图。重复图像变换部201取得相机101及102的倍率信息(步骤S201)。对于相机倍率，例如通过参照相机控制模块内保存相机倍率的自动记录器或者变量等取得。
重复图像变换部201由相机101及102各自的倍率的关系计算重复区域(步骤S202)。各图像的纵宽为A，横宽为B，相机101的倍率为X1，相机102的倍率为X2，以x-y平面的中心坐标(0，0)为图像的中心，图9(a)中表示的重复区域的点p、q、r、s各自的坐标为p(px，py)、q(qx，qy)、r(rx，ry)、s(sx，sy)的情形下，重复区域通过下面的式子，即px＝(B/2)*(X1/X2)py＝(A/2)*(X1/X2)qx＝-(B/2)*(X1/X2)qy＝(A/2)*(X1/X2)rx＝-(B/2)*(X1/X2)ry＝-(A/2)*(X1/X2)sx＝(B/2)*(X1/X2)sy＝-(A/2)*(X1/X2)求得。
接下来，重复图像变换部201求出变换图形数据的区域(步骤S203)。这时，变换图形数据的单位按照宏块的单位进行。
重复图像变换部201变换在步骤S203中确定的区域的图形数据(步骤S204)。例如，将图像的辉度信息和色差信息等变换为黑色的信息。通过这种处理，在对图像进行编码时，减轻了重复区域部分处理的负荷。
接下来导向信息形成部202从重复图像变换部201接收2个相机的倍率信息，记录到记录介质的自由记录区域，例如DVD的情形下，记录到vender unique区域(步骤S205)。
图11是图10的步骤S203中求得的、变换图形数据的区域的说明图。RA1表示2个相机所拍摄的图像的重复区域。RA2表示将重复的区域分割为宏块单位的区域。
接下来表示变换图形数据的区域的计算方法。例如，宏块的纵横尺寸为已知值(C，D)、宏块的数量为偶数个的情形下，变换区域的宏块的个数为x轴正方向 ((B/2*(X1/X2))/D)个x轴负方向 ((B/2*(X1/X2))/D)个y轴正方向 ((A/2*(X1/X2))/C)个y轴负方向 ((A/2*(X1/X2))/C)个。
图12是表示使用图8的流式编码器再生成记录的图形数据的流式解码器的构成的方框图。图12的流式解码器300包括读取控制部301、传送控制部302、倍率控制部303、尺寸重整处理部304、合成部305、角度切换控制部306、选择器307、数据读取部317、流式缓冲器318、数据传送部319、解码器320和解码器321。
读取控制部301在角度切换有效的情形下，对数据读取部317进行从DVD315读出两个角度的数据的控制。数据读取部317根据来自读取控制部301的控制请求，读出由DVD315再生的数据流。流式缓冲器318暂时保存数据读取部317所读出的数据流。
传送控制部302根据传送条件，对数据传送部319发出传送请求。数据传送部319根据传送控制部302的请求，从流式缓冲器318向解码器320或解码器321传送数据流。解码器320在再生时进行数据流的解码。解码器321在进入角度切换请求的情形下，对切换角度的数据流进行解码。
倍率控制部303对尺寸重整处理部304进行倍率切换控制。尺寸重整处理部304变换从解码器320输入的画面尺寸。合成部305合成2个以上的画面，输出1个画面。
角度切换控制部306例如通过参照申请模块等的变量来判断角度切换的有无，向各数据包输出角度切换请求。选择器307根据从角度切换控制部306接收的角度切换请求，选择1个图像，输出给监控器322。
对使用如上所述构成的流式解码器再生成多角度流路的情形的多角度输出成像进行说明。
图13是在图12的流式解码器300中再生图像的处理的说明图。图13(a)是表示图8的相机101所拍摄的、记录在图12的DVD315中的图像的说明图。图13(b)是表示图8的相机102所拍摄的、记录在图12的DVD315中的图像的说明图。图13(c)是表示输出到图12的监控器322中的图像的说明图。
图12的流式解码器300输出作为副图像的图13(a)的图像时，在图13(a)的TA2的变换为黑色的区域内合成输出图13(b)的主图像。
图14是表示图12的流式解码器300中图像再生的处理顺序的流程图。开始处理时，角度切换控制部306判断角度切换的有无，在角度切换有效的情形下进行到步骤S302，在角度切换无效的情形下进行到步骤S308(步骤S301)。
接下来，读取控制部301对数据读取部317输出将第1角度图像及第2角度图像二者的数据读出到流式缓冲器318中的请求，数据读取部317从DVD315读取数据流(步骤S302)。
传送控制部302向数据传送部319发出传送请求，第2角度图像的数据流被传送到解码器320，被解码(步骤S303)。
传送控制部302继续向传送部319发出传送请求，第1角度图像的数据流被传送到解码器321，被解码(步骤S304)。因为在步骤S304中传送目的的解码器与步骤S303中传送目的的解码器不同，所以使用例如DMA(存储器直接存取)传送的情形下，也可以使用与步骤S303不同的信道，在与步骤S303相同的定时内传送。另外，解码器320和解码器321取得同步，可以实现同一定时内同一PTS(显示定时标记)的图像输出。
接下来，倍率控制部303以从DVD315读出的倍率信息为基础，对尺寸重整处理部304发出尺寸重整请求(步骤S305)。尺寸重整的倍率，例如在倍率值为Q、记录时相机101的倍率为X1、相机102的倍率为X2的情形下，用下面的式子，即Q＝X2/X1表示。
接下来合成部305使第1角度图像和第2角度重合进行合成，输出到选择器307(步骤S306)。
图15是图14的步骤S306中合成再生图像的处理的说明图。合成部305例如在如图15所示的图像输出面位于A到E的情形下，通过将第1角度图像分配在图像输出面A上，将第2角度图像分配在图像输出面B上，同时输出，合成第1角度图像和第2角度图像。
角度切换控制部306控制选择器307(步骤S307)使得输出合成的第1角度图像和第2角度图像的图像，。
对步骤S301中角度切换被判定为无效情形的处理进行说明。读取控制部301对数据读取部317发出将第2角度图形数据读出到流式缓冲器318中的请求，数据读取部317从DVD315中读取数据流(步骤S308)。
传送控制部302对数据传送部319发出从流式缓冲器318传送数据流的请求，数据传送部319从流式缓冲器318向解码器320传送数据流，对数据流进行解码，输出到选择器307中(步骤S309)。
角度切换控制部306控制选择器307(步骤S310)以输出图像。
如上所述，通过第3实施例，图8的重复图像变换部201由2个相机的关系确定2个相机输入图像的重复部分，通过将一个相机的图像信息(辉度信息、色差信息)变换为不动的黑色数据，减轻了流式编码器200编码处理的负荷。
(第4实施例)下面对根据本发明第4实施例的流路合成方法及流式编码器进行说明。
在图10的步骤S203中说明的重复区域的变换处理中，横跨宏块的重复区域的编码没有实现负荷减轻。在第4实施例中，通过为了使重复区域不横跨宏块而进行相机的倍率调整，与第3实施例相比进一步减轻编码时的处理负荷。
图16是表示本发明第4实施例的流式编码器的方框图。图16的流式编码器400在图8的流式编码器200中还包括倍率检测修正部401。
相机控制部206在变更相机101的倍率或相机102的定时内，将倍率信息发送给倍率检测修正部401。倍率检测修正部401根据相机101及相机102倍率的相互关系，算出重复区域的尺寸是宏块尺寸的整数倍的倍率信息，输出给相机控制部206。相机控制部206根据从倍率检测修正部401接收的倍率信息调整相机101的倍率。
图17是表示相机倍率调整处理顺序的流程图。相机控制部206从相机101及相机102取得倍率信息，将倍率信息输出给倍率检测修正部401(步骤S401)。
倍率检测修正部401计算相机101及相机102图像的重复区域(步骤S402)。重复区域的计算使用与根据第3实施例的流式编码器200相同的方法进行。倍率检测修正部401判定重复区域的尺寸是否是宏块尺寸的整数倍(步骤S403)。
接下来，对步骤S403中的判定进行说明。在图像的纵宽为A、横宽为B、相机101的倍率为X1、相机102的倍率为X2的情形下，重复区域的尺寸S通过下面的式子，即S＝[{A*(X1/X2)}*{B*(X1/X2)}]求得。
另外，宏块的纵宽为C、横宽为D的情形下，宏块的尺寸M通过下面的式子，即M＝C*D求得。在步骤S403中，判定重复区域的尺寸S被宏块的尺寸M除的值是否是整数。
调整相机101的倍率，返回到步骤S401的处理(步骤S404)。倍率的调整方法例如为了使重复区域的纵宽对相机纵宽的比率和、宏块整数倍的黑区域的纵宽对变更后的倍率和相机纵宽的乘积的比率相等，宏块整数倍的黑区域的纵宽为E，利用在步骤S403的计算中使用的变量时求得的倍率通过下面的式子，即X1＝X2*E/A求得。
图18是图17的步骤S404中调整相机倍率的处理的说明图。RA3表示2个相机所拍摄的图像的重复区域。RA4表示将重复的区域分割为宏块单位的区域。在步骤S404中通过使重复区域的尺寸是宏块尺寸的整数倍，使得如图18所示RA3和RA4一致。
倍率检测修正部401将相机101及102确定了的倍率信息发送给重复图像变换部201(步骤S405)。
如上所述，在第4实施例中，倍率检测修正部401由相机控制部206取得的2个相机的倍率关系，计算重复区域，通过与宏块的单位匹配而对相机控制部206进行倍率信息的反馈，省去了第3实施例中的2个相机图像重复区域变换的浪费，能够减轻编码时处理的负荷。
(第5实施例)在第5实施例中，对第3实施例中拍摄时的监控方法进行说明。作为在1台监控器上显示2台相机所拍摄的图像的方法，一般有只显示一台相机图像的方法，或者同时在一个画面显示2台相机图像的方法。在第5实施例中，在2台相机设置在相同的位置上，在相同的方向上拍摄，只有倍率不同的情形下，通过用帧来表示广角拍摄图像中放大拍摄的区域，能够容易地在1个画面中确认出广角图像和放大图像的相对关系。
图19是表示本发明第5实施例的流式编码器的构成的方框图。图19的流式编码器500包括代替图8的流式编码器200中的重复图像变换部201的放大区域信息附加部501，而且包括合成部502、选择器503和监控图像切换控制部504。在图19中，省略了音频编码器107、视频缓冲器108及109、音频缓冲器110、编码器控制部111、系统编码器112、流式缓冲器114、导向信息形成部202。相机101、102的设置位置及拍摄方向相同，相机101、102只是摄影倍率不同。
下面参照图19对全部动作进行说明。在本实施例中，相机101拍摄广角图像，相机102拍摄放大图像。
从相机101输入的广角图形数据存储在帧缓冲器104中。同样，从相机102输入的放大图形数据存储在帧缓冲器105中。
相机控制部206进行相机101和相机102的倍率控制。因为相机101拍摄广角图像，相机102拍摄放大图像，所以相机101和相机102的倍率关系满足下面的条件，即(相机101的倍率)＜＝(相机102的倍率)。
在要求相机101的倍率比相机102的倍率还大的情形下，为了满足上述条件相机102的倍率也要大。在要求相机102的倍率比相机101的倍率还小的情形下，为了满足上述条件相机101的倍率也要小。
此外，在相机控制部206中也可以独立控制相机101的倍率和相机102的倍率。但是，在相机101、相机102的倍率的大小关系发生颠倒的情形下，需要将输出到后面说明的放大区域信息附加部501的广角图像从相机101的图像切换到相机102的图像。
放大区域信息附加部501以从相机控制部206取得的相机101、相机102的倍率信息为基础，在广角图像上形成重叠的边缘。另外，将形成的边缘重叠到帧缓冲器104保存的广角图像上输出到选择器503中。重叠到广角图像上的边缘的尺寸通过下面的式子求得，即(尺寸修正系数)＝(广角拍摄相机的倍率)/(放大拍摄相机的倍率)(边缘水平方向的尺寸)＝(尺寸修正系数)*(广角图像水平方向的尺寸)(边缘垂直方向的尺寸)＝(尺寸修正系数)*(广角图像垂直方向的尺寸)求得。
图20是在广角图像上重叠边缘的处理的说明图。在图20中边缘的插入位置X、边缘的插入位置Y通过下面的式子求得，即(边缘的插入位置X)＝(广角图像水平方向的尺寸-边缘水平方向的尺寸)/2(边缘的插入位置Y)＝(广角图像垂直方向的尺寸-边缘垂直方向的尺寸)/2。
监控器图像切换控制部504根据使用者的要求切换选择器503，选择输出到监控器506中的图像。
图21是表示图19的选择器503能够切换的图像的说明图。图21(a)是表示图19的帧缓冲器104所保存的广角图像的说明图。图21(b)是表示图19的帧缓冲器105所保存的放大图像的说明图。图21(c)是表示图19的合成部502使帧缓冲器104所保存的放大图像和帧缓冲器105所保存的广角图像重合的图像的说明图。图21(d)是表示图19的放大区域信息附加部501在广角图像上重叠边缘的图像的说明图。
如上所述，从相同的位置进行相同方向的多角度拍摄时，能够由进行拍摄的2个相机的倍率信息求得广角图像和放大图像的相对关系，通过将其关系在广角图像中用帧来表示，记录时可以在看着广角图像的同时，很容易地确认放大区域。
(第6实施例)在第6实施例中，对检测2台相机的设置位置及拍摄方向发生了偏移、将监控器中显示的图像自动切换为2个画面显示的方法进行说明。
图22是表示根据本发明第6实施例的流式编码器的构成的方框图。图22的流式编码器550包括分别代替图8的流式编码器200中的相机控制部206及重复图像变换部201的相机控制部551及相机偏移检测部552，而且还包括合成部502、选择器553和监控器图像切换部504。在图22中省略了音频编码器107、视频缓冲器108及109、音频缓冲器110、编码器控制部111、系统编码器112、流式缓冲器114、导向信息形成部202。
下面参照图22对全部动作进行说明。
相机554及相机555根据使用者的要求可以左右旋转。相机控制部551控制相机554和相机555的左右旋转，管理相机554和相机555的角度信息。此外，相机554及相机555也可以结合脱离机器本体。但是，相机控制部551需要事先监视相机554和相机555的结合脱离状态。
相机偏移检测部552通过从相机控制部551取得的相机554、相机555的角度信息(或者结合脱离信息)检测相机设置位置及拍摄方向的偏移。检测相机的设置位置或拍摄方向的偏移时，将相机偏移通知给选择器553。
选择器553接收相机偏移的通知时，选择合成部502使帧缓冲器104所保存的广角图像和帧缓冲器105所保存的放大图像相重合的图像(图21(c))，输出给监控器506。
此外，如图21(c)所示，全画面显示放大图像，没有必要在画面右下显示广角图像，如果2个图像容纳在1个画面中，2个显示图像无论怎样配置、尺寸多大都可以。
如上所述，从相同的位置在相同的方向上拍摄时，2个相机的设置位置及拍摄方向发生偏移的情形下，通过将监控方法自动切换为2个画面显示，可以省去记录时监控器显示设定切换的麻烦。
(第7实施例)在第3实施例中，由2个相机摄影倍率的关系确定2个相机输入图像的重复部分，通过将重复的一个区域置换为压缩率高的数据(例如1种颜色的静止画面数据)，可以减轻编码时的处理负荷。在第7实施例中，通过将第3实施例中由负荷减轻所获得的编码器资源在主图像(例如在高频率下拍摄的图像)的编码中有效使用，对主图像进行更高画质的记录。
图23是表示根据本发明第7实施例的流式编码器的构成的方框图。图23的流式编码器600包括代替图8的流式编码器200中的视频编码器106的视频编码器602，而且还包括位速率调整部601。视频编码器602在图8的视频编码器106中追加了随着角度改变位速率的功能。
下面，参照图23说明实现编码器资源的有效使用的操作。
位速率调整部601管理对帧缓冲器104及105所保存的数据进行编码时的位速率。位速率调整部601为了确定对帧缓冲器104的数据进行编码时的位速率，从重复图像变换部201取得重复区域的尺寸。取得的重复区域的尺寸用来求得在1个画面的图像中重复区域所占的比例。由占据1个画面中重复区域的比例，通过下面的式子，即(对帧缓冲器104的数据进行编码时的位速率)＝(没有重复区域时的位速率)*(1-重复区域所占的比例)+α，确定对帧缓冲器104的数据进行编码时的位速率。
此外，α是考虑到对置换为单一颜色数据的重复区域进行编码时的处理负荷的值，在视频编码器中有余量的话也可以认为是0。
位速率调整部601将通过上式求得的位速率作为对帧缓冲器104的数据进行编码时的位速率，通知给视频编码器602。另外，位速率调整部601通过下面的式子，即(对帧缓冲器105的数据进行编码时的位速率)＝(没有重复区域时的位速率)*(1+重复区域所占的比例)-α，确定对帧缓冲器105的数据进行编码时的位速率。
因此，在对帧缓冲器104的数据进行编码时降低的位速率使对帧缓冲器105的数据进行编码时的位速率提高。位速率调整部601将通过上式求得的位速率作为用来对帧缓冲器105的数据进行编码的位速率，通知给视频编码器602。
图24是表示根据本发明第7实施例的视频编码器602构成的方框图。图24的视频编码器602分别包括代替图3的视频编码器106中的编码控制部141及角度控制部148的编码控制部701及角度控制部702。
下面，用图24说明视频编码器602的内部处理。
视频编码器602从图23的位速率调整部601接收对于帧缓冲器104所保存的数据的位速率信息和对于帧缓冲器105所保存的数据的位速率信息。编码控制部701保存接收的各个位速率信息。
角度控制部702在图2的角度控制部148中追加了将编码角度切换的定时通知给编码控制部701的功能。编码控制部701从角度控制部702中接收角度切换的定时，为了以各角度中的位速率进行编码，控制各块。
如上所述，在本实施例中，在2个图像中存在重复的区域，通过将一个图像的重复区域置换为单一颜色的数据，减轻编码处理的负荷的情形下，流式编码器通过将负荷降低所获得的编码器资源分配给主图像(没有置换成重复区域为单一的色的数据)的编码，可以进行更高画质的记录。如上面所说明的，因为本发明能够实时对多个图像进行编码合成，生成1个流束，所以在DVD摄影机和DVD记录器等对应多角度功能的记录装置等是有用的。
权利要求
1.一种流式编码器，包括接收第1及第2角度的图形数据，进行编码，将其结果分别作为第1及第2编码图形数据输出的视频编码器、存储所述第1编码图形数据的第1视频缓冲器、和存储所述第2编码图形数据的第2视频缓冲器，所述视频编码器具有每当对所述第1及第2角度图形数据的1帧进行编码完成时，就输出进行切换控制的第1角度控制信号的第1角度控制部、根据所述第1角度控制信号，选择所述第1或第2角度图形数据输出的帧选择器、对所述帧选择器的输出进行编码，将其结果作为所述第1或第2编码图形数据输出的动态修正预测编码器、和根据所述第1角度控制信号，将所述第1编码图形数据输出到所述第1视频缓冲器中，将所述第2编码图形数据输出到所述第2视频缓冲器中的缓冲器选择器，所述动态修正预测编码器具有第1预测存储器、第2预测存储器、根据所述第1角度控制信号，将所述第1及第2角度图形数据的参照图像分别输出到所述第1及第2预测存储器中的存储器选择器、和根据所述第1角度控制信号，使用所述第1预测存储器或所述第2预测存储器中任何一个所存储的参照图像，进行动态修正预测处理的动态修正预测部，并且构成为可以在所述第1或第2角度图形数据的1帧周期内进行2帧以上的编码处理。
2.权利要求1中的流式编码器，其中，还包括由所述第1及第2编码图形数据和由对于所述第1及第2编码图形数据来说共同的编码音频数据形成1个流路进行输出的系统编码器，所述系统编码器具有根据第2角度控制信号，从所述第1视频缓冲器或者所述第2视频缓冲器中选择所述第1编码图形数据或所述第2编码图形数据进行输出的视频选择器、每当由所述视频选择器选择的编码图形数据的视频帧数达到预定的帧数时，就作为所述第2角度控制信号输出进行切换的控制信号的第2角度控制部、由接收的所述第1编码图形数据或所述第2编码图形数据生成音频数据包包头进行输出的音频数据包生成部、根据所述第2角度控制信号，在选择所述第1编码图形数据的情形下，由所述编码音频数据生成音频数据包进行输出的音频数据包生成部、存储所述音频数据包的音频数据包保存部、和根据所述第2角度控制信号选择所述第1编码图形数据的情形下，选择从所述音频数据包生成部中输出的所述音频数据包，在根据所述第2角度控制信号选择所述第2编码图形数据的情形下，选择在所述音频数据包保存部中保存的所述音频数据包进行输出的音频选择器，并且构成为可以在所述第1或第2角度图形数据的1帧周期内，对所述第1或第2编码图形数据进行2帧以上的处理。
3.权利要求2中的流式编码器，所述系统编码器还具有存储所述视频数据包包头的视频数据包包头保存部，所述视频数据包生成部根据所述第2角度控制信号，进行所述视频数据包包头的生成或者从所述视频数据包包头保存部中进行所述视频数据包包头的读出。
4.权利要求1中的流式编码器，还包括控制输出所述第1角度图形数据的第1相机、及在与所述第1相机相同的方向上拍摄、输出所述第2角度图形数据的第2相机各自的摄影倍率，输出表示所述第1及第2相机各自的摄影倍率的摄影倍率信息的相机控制部、和在所述第1及第2相机中摄影倍率比另一个相机低的相机所拍摄的图像中，根据所述摄影倍率信息，算出与所述另一个相机所拍摄的图像重复的部分，对所述重复的部分进行编码处理时，变换成负荷少的图像的重复图像变换部。
5.权利要求4中的流式编码器，还包括根据从所述相机控制部中接收的摄影倍率信息，将为了使所述重复部分的边界与编码时宏块的边界一致而调整所述第1及第2相机摄影倍率的信号输出到所述相机控制部中的倍率检测修正部。
6.权利要求4中的流式编码器，还包括在所述摄影倍率比另一个低的相机所拍摄的图像中，根据与所述另一个相机所拍摄的图像相重复的部分所占的比例，求出将各自的图像进行编码时的位速率，作为位速率信息输出的位速率调整部，所述视频编码器优选还具有根据所述第1角度控制信号和所述位速率信息，调整对所述第1及第2角度图形数据进行编码时的位速率的编码控制部。
7.权利要求1中的流式编码器，还包括控制输出所述第1角度图形数据的第1相机、及在与所述第1相机相同的方向上拍摄、输出所述第2角度图形数据的第2相机各自的摄影倍率，输出表示所述第1及第2相机各自的摄影倍率的摄影倍率信息的相机控制部、和在所述第1及第2相机中摄影倍率比另一个相机低的相机所拍摄的图像中，根据所述摄影倍率信息，算出与所述另一个相机所拍摄的图像重复的部分，合成表示在所述摄影倍率比另一个相机低的相机所拍摄的图像中所述另一个相机所拍摄的图像范围的指示，然后输出的放大区域信息附加部。
8.权利要求1中的流式编码器，还包括控制输出所述第1角度图形数据的第1相机、及在与所述第1相机相同的方向上拍摄、输出所述第2角度图形数据的第2相机各自的摄影倍率，输出表示所述第1及第2相机各自拍摄方向的拍摄方向信息的相机控制部、和根据所述拍摄方向信息，检测所述第1相机及所述第2相机的设置位置及拍摄方向的变化、在检测出所述设置位置或所述拍摄方向中任何一个变化的情形下，输出同时表示所述第1及第2角度图形数据的图像的控制信号的相机偏移检测部。
9.一种流式解码器，包括读取包含第1编码图形数据、及在与所述第1编码图形数据的拍摄方向相同的方向上以比所述第1编码图形数据高的倍率拍摄得到的第2编码图形数据的数据流进行输出的数据读取部、接收所述数据读取部输出的数据流、分离为所述第1及第2编码图形数据进行输出的数据传送部、对所述第1编码图形数据进行解码、作为第1图形数据输出的第1解码器、对所述第2编码图形数据进行解码、作为第2图形数据输出的第2解码器、将所述第2图形数据变换为和所述第1图形数据图像重复的部分的尺寸的图形数据进行输出的尺寸重整处理部、和将在所述尺寸重整处理部中进行变换后的图像重叠到所述第1图形数据图像的所述重复的部分上进行合成然后输出的合成部。
全文摘要
一种流式编码器，具有接收第1及第2角度图形数据、进行编码、将其结果分别作为第1及第2编码图形数据输出的视频编码器、存储所述第1编码图形数据的第1视频缓冲器和存储所述第2编码图形数据的第2视频缓冲器。所述视频编码器具有构成为可以在所述第1或第2角度图形数据的1帧周期内进行2帧以上的编码处理的动态修正预测部。
文档编号H04N5/926GK101094367SQ20071011142
公开日2007年12月26日 申请日期2007年6月20日 优先权日2006年6月21日
发明者沟渊友树, 永原功策, 日下部智秋, 后藤修, 樋口淑夫 申请人:松下电器产业株式会社