专利名称：运动图像收发系统的制作方法
技术领域：
本发明涉及在网络上低延迟地进行运动图像数据流的传送的收发系统。
背景技术：
在现有的运动图像收发系统中，近年来，作为运动图像压缩技术，有MPEG-2或H. 264 等的运动图像信号压缩的国际标准。同时并行地发生视频和音频等的媒体信息(以下，称 为多媒体信息)。为了在通信信道传输多媒体信息、在接收侧再现该信息，需要与同步信息 一起复用为1条数据流。实现这种复用的国际标准之一有TS (Transport Stream)。在TS 中，按照每一个媒体以适当的单位打包被编码后的媒体信息，构成可变长的PES(Packetized Elementary Stream)数据包，进一步在分割为固定长的TS数据包单位之后复用。为了构成1个TS数据包进行发送，需要备齐用于构成1个TS数据包的编码完成数 据，所以尤其在低位速率的编码中存在着打包的处理延迟问题。为了减小该处理延迟，而作 为现有的复用方法，将与用于构成1个TS数据包所缺乏的数据量相同量的冗长数据(填补 数据stuffing data)插入复用层，与编码完成数据一起来构成1个TS数据包。但是，由于 填补数据是与原始的媒体信息无关的数据，故优选尽可能不包括在所送出的TS数据包中。 因此，考虑如下方法将PES数据包长设为固定长，进一步将该固定长设为TS数据包中的有 效负载的大小的整数倍(例如，参照专利文献1)。可是，在上述的方法中，由于将PES数据包设为固定长，从而也存在构成TS数据包 时所需的ES数据没有备齐、无法送出TS数据包的情况。为了解决这些问题，有如下的方法监视以一定时间间隔编码后的媒体信息数据 量是否是可打包的数据量(参照专利文献2)。由此，由于预先保持编码媒体信息直到打包 所需的大小的编码媒体信息备齐为止，并在编码媒体信息备齐之后进行打包，从而不会发 生编码媒体信息没有备齐、而无法送出数据包的情况。另外，存在如下方法在监视数据包 大小的过程中，在探测到媒体信息未备齐到规定的数据大小的情况下，进行填补调整以使 数据包与数据大小一致。专利文献1日本特开2003-108194号公报专利文献2日本特开2005-101860号公报可是，在现有的运动图像收发系统中，为了在打包时插入填补数据，而需要在接收 部进行填补数据的删除处理，如果1帧份的代码数据没有备齐，则无法解码，需要花费从接 收到解码的时间。在以一定周期监视编码媒体信息的情况下，由于在周期短的情况下监视 处理负荷増大，若周期长则无法充分满足传输延迟的减轻，故难以调整成效率最好的状态。
发明内容
本发明的运动图像收发系统，具备图像发送装置和图像接收装置，其特征在于，所 述图像发送装置，具备编码部，其取得图像数据并进行编码，以规定的单位输出1帧内的 代码数据；填充处理部，其附加填充(padding)，使从所述编码部输出的数据大小与规定大小一致；数据包处理部，其收到由所述填充处理部进行的填充附加结束后进行打包；网络 发送部，其对由所述数据包处理部打包后的数据进行网络发送；和存储器，其保持代码数据 或数据包数据，所述图像接收装置，具备网络接收部，其接收来自所述图像发送装置的数 据包；分离处理部，其分离由所述网络接收部接收到的数据包；和解码处理部，其以规定的 单位解码压缩数据，并输出数据流。另外，在上述运动图像收发系统中，其特征在于，所述编码部的规定的单位是 H. 264的NAL单元单位，或者是MPEG-4的重启标记(restartmarker)单位(视频数据包单 位)，或者是MPEG-2的片单位。根据上述运动图像收发系统，能够以比1帧小的单位，对应打包处理的规定的单 位来附加填充。另外，在上述运动图像收发系统中，其特征在于，所述数据包处理部的打包是PES 数据包及TS数据包的处理，或者是网络的数据包处理。根据上述运动图像收发系统，能够省去数据包处理时的填补处理、能够在生成1 帧份的编码数据之前发送可解码的数据包数据。另外，在上述运动图像收发系统中，其特征在于，所述图像接收装置，在分离并解 码所接收到的数据包时，不进行填充数据的删除处理，在附加了该填充数据的状态下进行解码。另外，在上述运动图像收发系统中，其特征在于，所述解码处理部的规定的单位是 H. 264的NAL单元单位，或者是MPEG-4的视频数据包单位，或者是MPEG-2的片单位。根据上述运动图像收发系统，由于在解码处理中能够省去填充的删除处理且能够 以比1帧份小的单位进行解码，故能够实现数据的低延迟化。发明效果根据本发明的运动图像收发系统，通过按照比1帧更细小的可解码的每个单位进 行打包处理，通过在打包之前在解码时进行附加了的状态下附加可解码的无效填充数据， 从而能够在接收部侧省去填补删除处理。另外，由于能以比1帧更细的单位解码，故能够谋 求从发送代码数据开始到解码经由网络接收到的数据为止的低延迟。
图1是表示本发明的实施方式中的运动图像收发系统的构成的框图。图2是图1所示的图像发送装置101的发送处理流程图。图3是图1所示的图像接收装置201的接收处理流程图。符号说明101-图像发送装置；102-编码处理部；103-数据包处理部；104-网络发送部； 105-蓄积部；106-编码部；107-填充处理部；108-PES数据包处理部；109-TS数据包处理 部；110-网络数据包处理部；201-图像接收装置；202-网络接收部；203-数据包分离部； 204-解码部；205-网络数据包分离部；206-TS数据包分离部；207-蓄积部。
具体实施例方式图1是表示本发明的实施方式所涉及的运动图像收发系统的构成的框图。该系统具备图像发送装置101、图像接收装置201。图像发送装置101经由网络将媒体信息发送 到图像接收装置201。图像接收装置201接收从图像发送装置101经由网络发送来的媒体 fn息ο图像发送装置101具备编码处理部102，其取得视频信息并以NAL单元为单位进 行H. 264编码，将填充数据附加于代码数据之后输出，以使编码后的数据大小与进行打包 的规定的大小单位一致；数据包处理部103，通过编码处理部102以NAL单元为单位接收通 知，进行打包；网络发送部104，其对打包后的数据进行网络发送；和蓄积部(存储器)105， 其保持代码数据或数据包数据。编码处理部102具备编码部106，其取得视频信息并以NAL单元为单位进行 H. 264编码后输出；和填充处理部107，其将填充数据附加于代码数据，以使编码后的数据 大小与进行打包的规定的大小单位一致。打包处理部103具备进行PES打包的PES数据包处理部108、对PES数据包进行 TS打包的TS数据包处理部109、和根据多个TS数据包进行网络发送打包的网络数据包处 理部110。图像接收装置201具备输出经由网络接收到的网络数据包的网络接收部202、进 行网络数据包的分离并分离TS数据包的数据包分离部203、和以分离出的NAL单元为单位 进行解码的解码部204。数据包分离部203具备进行网络数据包的分离的网络数据包分离部205、和进行 TS数据包的分离的TS数据包分离部206。图2是表示基于图1所示的图像发送装置101进行的媒体信息的发送处理的流程 的流程图。以下，参照图2进行说明。在步骤SlOl中，从外部输入视频信息。该视频信息在编码处理部106中以NAL单 元为单位被进行H. 264编码(S102)。在步骤S103中判定是否完成了 1帧份的编码，在1帧 份的编码未完成时进入到步骤S104，在完成时进入到步骤S105。在步骤S104中判定是否完 成了 1个NAL单元份的编码，在完成时进入到步骤S105，在未完成时返回到步骤S103。在 步骤S105中，判断是否需要数据包校准。具体而言，在编码数据量与TS数据包大小单位一 致的情况下，判断为不需要数据包校准，并进入到步骤S107，在编码数据量与TS数据包大 小单位不一致的情况下，判断为需要数据包校准，并进入到步骤S106。在步骤S106中，由填 充处理部107将H. 264的无效数据即“00”作为填充数据进行附加，以使与TS数据包大小 单位一致。在从编码处理部106接收到NAL单位份的编码完成的通知时，在步骤S107中，判 定是否需要PES打包。在帧的前头的情况下，判定为需要PES打包，并进入到步骤S108，在 PES数据包后或帧的前头以外的情况下，判定为不需要PES打包，并进入到步骤S109。在步 骤S108中，在PES数据包处理部108中附加PES数据包(头)。在步骤S109中，在TS数据 包处理部109中进行TS打包。在步骤Sl 10中判定是否完成了 TS打包处理，在完成时进入到步骤Sl 12，在未完成 时进入到步骤S111。在步骤Slll中判定TS打包后的数据量是否在网络数据包的大小量 以上，在“是”的情况下进入到步骤S112，在“否”的情况下返回到步骤S110。在步骤S112 中，在网络数据包处理部110中进行网络打包处理，该网络数据包数据由网络发送部104进
5行网络发送(S113)。图3是表示基于图1所示的图像接收装置201进行的媒体信息的接收处理的流程 的流程图。以下，参照图3进行说明。在网络接收部202中接收由图像发送装置101网络发送来的网络数据包数据 (S201)。在网络分离部205中进行接收到的网络数据包的分离(S202)。在步骤S203中判 定是否完成了 NAL单元份的网络数据包的分离，在完成的情况下进入到步骤S204。在步骤 S204中，在TS数据包分离部206中进行TS数据包的分离，取出代码数据。在步骤S205中 判定代码数据是否在NAL单元单位以上，在“是”的情况下进入到步骤S206。在步骤S206 中，由解码部204对代码数据进行解码并输出。所述代码数据是也包括发送装置101附加 的填充数据的状态。此外，上述实施方式的编解码并不限定于H. 264的NAL单元单位，也可以MPEG-4 的视频数据包为单位或以MPEG-2的片单位处理等来进行。另外，上述实施方式的打包处理也可以不进行PES打包或TS打包，在对ES数据进 行网络发送的情况下也以网络数据包为单位进行处理。另外，也可以只由CPU对上述实施方式的处理进行软处理。由此，可将上述实施方式所示的媒体信息处理方法用于上述的任意一个设备·系 统。产业上的可用性以上，本发明所涉及的运动图像收发系统具有能低延迟、经由网络发送运动图像 代码数据的效果，并作为网络摄像机等有用。
权利要求
一种运动图像收发系统，具备图像发送装置和图像接收装置，其特征在于，所述图像发送装置具备编码部，其取得图像数据并进行编码，以规定的单位输出1帧内的代码数据；填充处理部，其附加填充，使从所述编码部输出的数据大小与规定的大小一致；数据包处理部，其收到由所述填充处理部进行的填充附加结束后进行打包；网络发送部，其对由所述数据包处理部打包后的数据进行网络发送；和存储器，其保持代码数据或数据包数据，所述图像接收装置具备网络接收部，其接收来自所述图像发送装置的数据包；分离处理部，其分离由所述网络接收部接收到的数据包；和解码处理部，其以规定的单位解码压缩数据，并输出数据流。
2.根据权利要求1所述的运动图像收发系统，其特征在于， 所述编码部的规定的单位是H. 264的NAL单元单位。
3.根据权利要求1所述的运动图像收发系统，其特征在于， 所述编码部的规定的单位是MPEG-4的视频数据包单位。
4.根据权利要求1所述的运动图像收发系统，其特征在于， 所述编码部的规定的单位是MPEG-2的片单位。
5.根据权利要求1所述的运动图像收发系统，其特征在于， 所述数据包处理部的打包是PES数据包及TS数据包的处理。
6.根据权利要求1所述的运动图像收发系统，其特征在于， 所述数据包处理部的打包是网络的数据包处理。
7.根据权利要求1所述的运动图像收发系统，其特征在于，所述图像接收装置，在分离并解码所接收的数据包时，不进行填充数据的删除处理，而 在附加了该填充数据的状态下进行解码。
8.根据权利要求1所述的运动图像收发系统，其特征在于， 所述解码处理部的规定的单位是H. 264的NAL单元单位。
9.根据权利要求1所述的运动图像收发系统，其特征在于， 所述解码处理部的规定的单位是MPEG-4的视频数据包单位。
10.根据权利要求1所述的运动图像收发系统，其特征在于， 所述解码处理部的规定的单位是MPEG-2的片单位。
全文摘要
本发明提供一种运动图像收发系统。其中，图像发送装置(101)具备取得图像数据并进行编码，以规定的单位输出1帧内的代码数据的编码部(102)；附加填充以使由编码部(102)输出的数据大小与规定的大小一致的填充处理部(107)；收到由填充处理部(107)进行的填充附加的完成后进行打包的数据包处理部(103)；和保持代码数据或数据包数据的存储器(105)。图像接收装置(201)具备接收来自图像发送装置(101)的数据包、并分离所述数据包的分离处理部(202、203)；和以规定的单位解码压缩数据、并输出数据流的解码处理部(204)。
文档编号H04N7/26GK101926173SQ20088012538
公开日2010年12月22日 申请日期2008年12月1日 优先权日2008年1月24日
发明者三又义昭, 内田友和, 岩桥贤二 申请人:松下电器产业株式会社