数据通信装置及数据通信方法

专利名称：数据通信装置及数据通信方法
技术领域：
本发明涉及一种数据通信装置，使用IP(Internet Protocol:互联 网协议)数据包的变换处理技术，将被压縮编码的图像或声音信号通过 互联网等计算机网络进行实时通信。
背景技术：
近几年，利用网络电路将包含图像或声音信息的数字数据进行传 送成为非常普遍的被施行的方法。这些图像或声音信息以各种各样的 形态被利用，在此之中，以监视、观测为目的的情况也不少。这些都是 将摄像机和图像处理器以及网络通信设备进行组合的装置，用户经由 网络来访问被设置在想要阅览的图像或声音的部分的装置，能够阅览 远地的图像或声音。图1是表示以往的网络摄像机终端101的结构例的参考图。使用 图1来说明网络摄像机终端101的图像数据的发送处理。网络摄像机 终端101由输入图像信息的传感器部102、对从传感器部102取来的 图像施行Y/C (亮度/色度)处理的Y/C部103、压縮编码Y/C数据并 生成编码帧的压縮部104、将编码帧数据包化并进行通信的通信部105 构成。上述编码帧的种类大致上分为第一种和第二种。I帧属于第一种 编码帧，P帧及B帧属于第二种编码帧。第一种编码帧的编码量比第 二种编码帧的编码量多。首先，从传感器部102输入被输入的图像信息。传感器部102数 字变换所述图像或者声音信息，并将其传送到Y/C部103。 Y/C部103 将接受的数据进行Y/C处理，并进行大小变换，以成为VGA或QVGA 等的大小。压缩部104从Y/C部103接受数据，进行MPEG等的压 縮编码处理，并生成编码帧。通信部105接受所述编码帧，并通过 WAN(Wide Area Network:广域网)或者LAN(Local Area Network:局域网)等网络，向多个通信对象106进行发送。在本图中，例如，从网络摄像机终端101通过网络向多个通信终 端106发送的图像数据是，VGA(Video Graphics Array:视频图形阵 列，主要为用于PC使用的高分辨率的图像信息)、QVGA(Quarter VGA:大小为VGA的四分之一，主要为PDA或移动电话所利用的低 分辨率的图像)、QQVGA(Quarter Quarter VGA:大小为VGA的四 分之一的四分之一，主要为移动电话用所使用的较低分辨率的图像)。可是，例如，虽然以MPEG方式被压縮编码的编码帧，由只依据 本身的数据就能够解码的I帧、使用在帧间预测的正向预测的被编码 的P帧和、使用在帧间预测的双向预测的被编码的B帧构成，但是，在 这些I帧和P帧或者B帧之间会产生编码量的差异。具体而言，I帧 和P帧或者B帧的编码量的比例一般是3比1。因此，在I帧被生成 的帧区间，网络发送的编码量在局部增大，超过了平均的发送编码量。 进而，在从一个图像或者声音信号生成多个编码帧并且并行发送的情 况下，如果在同一帧区间同时生成I帧，则所发送的编码量会瞬间性 地增大，从而超出网络能够发送的频带。图2是表示在三个不同图像分辨率的数据流弁1、 #2、 #3被并行地 向多个通信终端同时送信的情况下的编码量的偏倚的参考图。在这种情况下，网络摄像机的发送处理和前述的图1的处理同样， 按每一 33ms的帧周期来进行。但是，在帧频变化的情况下，按每一 331118乂:^^=1，2，3...)的周期来进行。例如，30fps的情况下是33ms 周期，15fps的情况下是66ms周期，10fps的情况下是99ms周期。另外，在本说明书中，设帧频为30fps，将MPEG的编码帧限定 于仅由只依据本身的数据就能够解码的I帧、和使用在帧间预测的正 向预测的被编码的P帧构成的情况来进行说明，在此，即使帧频的变 化或B帧被追加，也没有问题。在图2里的不同的三个数据流中，于同一帧区间内生成I帧201、 202、 203。为此，I帧的帧内编码重叠在一起，生成超出通信装置的 发送性能的编码帧，在生成I帧的区间中发送编码量增大，发生过负 荷204。并且，为了发送过负荷204而发生最小帧区间33ms之间的发送处理。在此最小帧区间33ms以内发送处理不能完成的情况下， 则不能按照以各个数据流所规定的帧频来发送编码帧。并且，因为有必要按照预先规定了的帧频，在规定时间内发送各 个数据流的编码帧，在不能够按照指定的帧频于规定时间内发送编码 帧的情况下，所谓发生帧遗漏，则不能在接收方106连续再生动态图 像。这个情况下，会给再生图像的质量带来不良影响。例如，在MPEG 编码的情况下会很严重。如果I帧脱落，则直到下一个I帧到达为止， 完全不再生图像。这是因为I帧是再生信息的基准信息。而且，如果P 帧脱落，则因为没有差分信息而不再生正常的图像。为此，由于编码量大的编码帧的发送处理需要时间，所以为了不 使之发生帧遗漏而发送动态图像数据，有必要控制被生成的编码帧的 各个编码量。并且，在使用像MPEG方式那样的帧间预测的压縮编码中，发生 编码量的变动幅度很大，在瞬间超出能够进行网络的发送的频带之事 成为问题。尤其，在网络摄像机终端中，从一个影像源生成多个压縮 编码帧，在将其同时送信的情况下，会更加增大发生编码量的变动幅 度。而且，作为控制上述的课题的编码量的技术，控制编码帧的生成 定时的方法被广为知晓(例如，专利文献l)。专利文献1 :日本特开2004—140651号公报但是，上述专利文献1具有以下两个课题。即，第一个课题是不 能在任意的帧区间控制I帧的生成。在前述的专利文献1中是以帧为 单位来移位对图像或者声音信号进行压縮的开始定时，以使I帧的生 成定时在同一帧区间内不重复。因此，是以I帧的插入间距是固定的 为前提，无法在任意的帧区间里控制I帧的生成。顺便说一下，在 MPEG方式中比特率或帧频与I帧的插入间距无依赖关系，能够任意 进行设定。而且，第二个课题是，在上述专利文献1所示方法中，需要多个 压縮部的结构。在前述的专利文献1中，从被输入的影像信号里检测 出同步信号，并在多个压缩部生成多个各自不同的数据流。因此，是以数据通信装置中具有多个压缩部为前提，会增加数据通信装置的成 本。另外，供一般消费者使用或商用的网络摄像机为了降低成本而只 具备一个压縮部，并为了在同一帧区间生成多个不同数据流而将一个 压縮部以时分来使用。发明内容本发明鉴于以上课题，目的在于提供一种数据通信装置，在通过 网络向多个通信终端并行发送多个数据流的数据通信装置中，使用单 独的压縮部，且在任意的帧区间都能够控制I帧的生成，并能够适当 地抑制通信延迟的发生。为了解决上述课题，涉及本发明的数据通信装置从被输入的图像 或者声音信号生成多个被压縮编码的编码帧，并在网络上将包含该被 生成的编码帧的多个数据流与多个通信终端进行并行的通信，所述数 据通信装置包括传感器部，获取图像或者声音信息；压縮部，生成多个编码帧，该多个编码帧是对在所述传感器部所获取的图像或者声音信号进行压縮编码，并按每一帧区间所生成的；帧控制部，控制在 所述压缩部生成的所述编码帧的种类；以及通信部，通过网络将在所 述压縮部被压縮编码的编码帧与多个通信终端进行并行的通信，所述 帧控制部控制与各个数据流相对应的编码帧的种类，以使在同一帧区 间不生成多个所述第一种编码帧。根据这种结构，由于在以一个压縮部的结构的帧控制部中，例如， I帧在不同的帧区间被生成三个数据流，所以能够减少所发送的编码 量，及减少在局部发生的编码量的偏倚，并能够使编码量被平滑化。而且，涉及本发明的数据通信装置的所述帧控制部包括生成表保 持部，该生成表保持部存储生成表，该生成表表示在所述压縮部生成 的编码帧的种类的组合模式，按照所述生成表的编码帧的种类的组合 模式，控制与各个数据流相对应的编码帧的种类，以使在同一帧区间 不生成多个所述第一种编码帧。根据这种结构，在帧控制部中使用生成表，在任意的帧区间都能 够控制I帧的生成的同时，能够适当地控制不重复生成编码量多的帧。而且，涉及本发明的所述帧控制部包括与各个数据流相对应的多 个递减计数器部，使用所述递减计数器部的计数值，来控制与各个数 据流相对应的编码帧的种类，以便变更所述编码帧的产生速率。而且，涉及本发明的数据通信装置的所述帧控制部通过使所述多 个递减计数器部的初始值在各个数据流中不重复，或者在所述多个递 减计数器部的计数值重复的情况下，通过对该计数值进行加减运算， 来控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生 成多个所述第一种编码帧。根据这种结构，在使用递减计数器部将多个数据流进行并行的通 信的情况下，也能够适当地控制不重复生成编码量多的帧。而且，涉及本发明的所述数据通信装置还包括，频带监视部，监 视所述通信部的通信频带，所述频带监视部在通信频带超出规定量的 情况下，通知所述帧控制部，所述帧控制部在接受了来自所述频带监 视部的所述通知的情况下，进行控制，以便生成所述第二种编码帧。而且，涉及本发明的数据通信装置还包括，CPU负荷监视部，监 视CPU负荷率，所述CPU负荷监视部在CPU负荷率超出规定比率的情况下，通知所述帧控制部，所述帧控制部在接受了来自所述频带 监视部的所述通知的情况下，进行控制，以便生成所述第二种编码帧。 而且，涉及本发明的所述数据通信装置还包括，编码量监视部， 监视被生成的所述多个编码帧的编码量，所述编码量监视部在被生成 的编码量超出规定量的情况下，通知所述帧控制部，所述帧控制部在 接受了所述通知的情况下，进行控制，以便生成所述第二种编码帧。根据这种结构，在使用频带监视部、CPU负荷监视部或者编码量监视部所生成的编码量超出规定量的情况下，通知所述帧控制部，所 述帧控制部在接收了所述通知的情况下，能够进行控制，以便生成所 述第二种编码帧。另外，本发明不仅能够作为这样的数据通信装置来实现，也能够 将具备这样的数据通信装置的有特点的单元作为步骤的数据通信方法 来实现，或作为使计算机执行这些步骤的程序来实现。并且，不言而喻，这样的程序能够通过CD—ROM等记录介质或网络等的传送介质来送信。涉及本发明的数据通信装置在网络上将多个数据流与多个通信终 端并行的进行发送的情况下，能够适当减少在局部发生的编码量的偏 倚，并能够实现编码量的平滑化。而且，能够在任意的帧区间控制I帧的生成，并且能够是不需要 多个压縮部的结构。


图l表示以往的网络摄像机终端结构例的参考图。图2表示在三个不同图像分辨率的数据流弁1、 #2、 #3被并行地 向多个通信终端同时送信的情况下的编码量的偏倚的参考图。图3表示涉及实施例1的网络摄像机终端的结构的功能框图。图4表示从涉及实施例1的网络摄像机终端发送的三个数据流 中的编码量的平滑化的参考图。图5是编码帧的生成表的参考图。图6表示涉及实施例1的网络摄像机终端的工作程序的流程图。 图7表示涉及本实施例1的网络摄像机终端的各个处理部的时分处理的说明图的参考图。图8表示涉及实施例2的网络摄像机终端的结构的功能框图。 图9表示涉及实施例2的网络摄像机终端的工作程序的流程图。 图10表示涉及实施例3的网络摄像机终端的结构的功能框图。 图11表示涉及实施例3的网络摄像机终端的频带监视部的工作程序的流程图。图12表示涉及实施例4的网络摄像机终端的结构的功能框图。 图13表示涉及实施例4的网络摄像机终端的CPU负荷监视部的工作程序的流程图。图14表示涉及实施例5的网络摄像机终端的结构的功能框图。 图15表示涉及实施例5的网络摄像机终端的编码量监视部的工作程序的流程图。图16表示涉及实施例6的网络摄像机终端的结构的功能框图。图17表示涉及实施例6的网络摄像机终端的帧模式监视部的工作程序的流程图。图18表示涉及实施例7的网络摄像机终端的结构的功能框图。 图19表示涉及实施例7的网络摄像机终端的计数部的工作程序的流程图。图20表示在将通信频带或CPU负荷率、或编码量的监视进行 组合以同时进行监视的情况下的网络摄像机终端的工作程序的流程 图。图21表示涉及实施例8的网络摄像机终端的结构的功能框图。 图22表示涉及实施例9的网络摄像机终端的结构的功能框图。 图23表示涉及实施例10的网络摄像机终端的结构的功能框图。附图标记说明300、 800、 1000、 1200、 1400、 1600、 1800、 2100、 2200、 2300网络摄像机终端 301传感器部 302 Y/C部 303压縮部 304通信部 305帧控制部305a、 305b、 305c递减计数器部306生成表保持部501 生成表1001频带监视部1201 CPU负荷监视部1401编码量监视部1601帧模式监视部1801计数部2101通信控制部2102频带监视部2103数据分割部 2104 MTU部具体实施方式
以下，参照附图对关于涉及本发明的数据通信装置的实施例进行 说明。(实施例1)关于涉及本发明的数据通信装置的实施例1，以下参照附图来进行 说明。另外，涉及本实施例1的网络摄像机终端的特征在于，以在帧控 制部的预先被保持的生成表中所记载的I帧的产生速率来产生与各个 数据流相对应的I帧。而且，以下实施例的说明中的网络摄像机终端 与在权利要求中所记载的数据通信装置相对应。图3是表示涉及实施例1的网络摄像机终端300的结构的功能框图。涉及本实施例1的网络摄像机终端300由输入图像信息的传感器 部301、对从传感器部301取来的图像施行Y/C处理的Y/C部302、 压縮编码Y/C数据并生成编码帧的压縮部303、将编码帧数据包化并 进行通信的通信部304、控制在压縮部303所生成的编码帧的种类的 帧控制部305构成。而且，帧控制部305具备生成表保持部306，该 生成表保持部306保持在后述图5中所示的表示被生成的编码表的模 式的生成表501。在此，如图5所示，生成表501包含以多个数据流在同一帧区间 内由压縮部生成的编码帧的组合模式。通过动态改写生成表501，可 以动态地变更I帧的产生速率。而且，生成表501也可以用软件或者 硬件安装。另外，在网络摄像机终端300的结构上还存在保管处理数据的存 储器、调停对存储器的存取控制的MCU(Memory Control Unit:存 储器控制器)、配置执行程序的闪存、控制执行程序的CPU、连接各个 处理部的内部总线，但是，本说明书为了简化说明，而省略对此的说以下，对本实施例1中的网络摄像机终端300的工作处理进行说 明。图6是表示涉及实施例1的网络摄像机终端300的工作程序的流 程图。首先，从传感器部301输入图像信息(S601)。传感器部301在数 字变换所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传 感器部301所传送的数字数据，并在Y/C处理后进行大小变换，且作 为Y/C数据传送到压縮部303(S602)。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压缩编码处理，根据生成表501生成编码帧，并传送到通信部 304(S603)。在此，被生成的编码帧按照生成表501的模式生成。生成 表501在同一帧区间里进行模式生成，以便不生成多个数据流的编码 量多的I帧。其次，通信部304将所接受的编码帧，例如，施行IP协议处理， 并通过WAN(Wide Area Network)或者LAN(Local Area Network) 等网络，向PC或PDA、移动电话等各种通信终端发送适合各个通信 终端的图像分辨率的编码帧(S604)。另外，图4是表示从涉及实施例1的网络摄像机终端300发送的 三个数据流中的编码量的平滑化的参考图。如本图所示，由于I帧在 不同的帧区间被生成三个数据流，所以具有适当地减少所发送的编码 量，并减少在局部发生的编码量的偏倚，及编码量被平滑化的效果。而且，图7表示涉及本实施例1的网络摄像机终端300的各个处 理部的时分处理的说明图。如本图所示，通过使用生成表来防止编码 量多的编码帧被同时生成，传感器部301、 Y/C部302、压縮部303、 通信部304、及帧控制部305的各个处理被适当地进行时分，能够适 当地防止发生通信延迟。如上所述，在涉及本实施例1的网络摄像机终端中，具备一个压 縮部，并且由于能够使用在帧控制部所保持的生成表进行控制，以使 在各个数据流中所生成的I帧的生成定时不重复，所以在将多个数据 流在网络上并行发送的数据通信装置中，能够易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。(实施例2)关于本发明的第2个实施例，以下参照附图来进行说明。 而且，涉及本实施例2的网络摄像机终端的特征在于，该网络摄 像机终端不像上述实施例1那样，使用生成表来固定各个流中的I帧 的产生速率，在各个流的I帧的产生速率发生变更的情况下，使用帧 控制部所具备的递减计数器部进行控制，以使在多个流中不重复产生I 帧。图8是表示涉及实施例2的网络摄像机终端800的结构的功能框图。涉及本实施例2的网络摄像机终端800除具有上述实施例1的结 构之外，还具备用于对帧控制部的三个流中各自生成的控制帧的帧数 进行计数的递减计数器部305a 305c。递减计数器部305a与多个流 中的一个流相对应，并将所对应的流中的I帧的产生周期作为初始值， 按每一帧区间进行递减。例如，如果I帧的产生周期是5帧，则初始 值是5，计数值的1表示应该产生I帧的定时的帧区间。递减计数器部 305b及305c除了所对应的流互相不同以外，与递减计数器部305a 的结构一样。以下，对第2个实施例中的网络摄像机终端的工作处理进行说明。 首先，从传感器部301输入图像信息。传感器部301在数字变换所述 图像信息之后，将其传送到Y/C部302。 Y/C部302读入传感器部301 所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为Y/C 数据传送到压縮部303。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压缩编码处理，并使用帧控制部305的递减计数器部305a 305c 生成以及控制编码帧，且传送到通信部304。通信部304通过网络向 通信对象发送所接受了的编码帧。图9是表示在涉及本实施例2的网络摄像机终端使用递减计数器 部进行控制，以使各个流中的I帧的产生时刻不重复的情况下的工作 程序的流程图。最初，确认在各个流中的I帧的产生速率是否具有变更(S901)。其次，在递减计数器部305a 305c中，针对各个流的I帧的产生 开始递减计数处理(S902)。例如，在以30fps即在30张中插入一张I 帧的情况下，在1秒钟里进行从30到1的递减计数。并且，根据递减计数器部305a 305c的任一计数值重复的事宜， 来判断I帧的产生时是否重复，在重复的情况下(S903的"是")，通 过变更任一方的递减计数器的计数值(S904)，来防止各个流中的I帧 的重复。另外，作为此计数值的变更方法，可以考虑到使计数值的初 始值不重复地变更，或者在任一个递减计数值里加1等。然后，这些处理进行到流结束(S905)为止。如上所述，在涉及 本实施例2的网络摄像机终端中，由于具备对帧控制部里的各个流的I 帧的产生进行递减计数的递减计数器部，所以能够适当地防止各个流 中的I帧的重复产生，并能够易于减少在局部发生的编码量的偏倚， 从而实现编码量的平滑。另外，对关于在本实施例2中的利用递减计数器部305a 305c 的递减计数值的例进行了说明，但是，也可以利用递增计数器和产生 已设定的周期的定时器或计数器。 (实施例3)关于本发明的第3个实施例，以下参照附图来进行说明。图10是表示涉及本实施例3的网络摄像机终端1000的结构的功能框图，其特点是，除具有实施例1的结构之外，还具备监视通信部304的通信频带的频带监视部1001。以下，对本实施例3中的网络摄像机终端1000的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换 所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压縮部303。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压缩编码处理，生成编码帧，并传送到通信部304。通信部304通过网络向通信对象发送所接受了的编码帧。在此，频带监视部1001监视着通信部304的通信频带。在由于 某种原因通信量变得拥挤，通信频带变细的情况下，防止通信部304 的编码量多的编码帧超出通信部的通信频带。使用图11来说明在此频带监视部1001的通信频带监视的处理流程。最初，在通信频带的监视开始的情况下，频带监视部1001开始监 视通信部304的频带监视(S1101)。如果在判断为所监视着的通信频带 超出了规定的量的情况下(S1102的"是")，则通知帧控制部305，帧 控制部305对压縮部303进行控制，以使其生成编码量少的所述编码 帧(S1103)。另夕卜，此频带监视部1001的控制方法是控制I帧的生成 定时的方法，可以是使用在上述实施例1的帧控制部305中的生成表 进行控制的方法，或者是使用上述实施例2的递减计数器部进行控制 的方法的任一种方法。其次，确认通信频带的监视是否结束(S1104)，在通信频带的监视 还在持续的情况下(S1104的"否")，则继续进行通信频带的监视。另 一方面，在通信频带的监视已经结束的情况下(S1104的"是")，则结 束监视处理。如上所述，在涉及本实施例3的网络摄像机终端中，在易于减少 在局部发生的编码量的偏倚，从而实现编码量的平滑方面与上述实施 例1是同样的。但是，新追加了用于监视在频带监视部1001阻碍通信 部304的通信性能的主要因素(即通信频带)，并进行自律反馈控制的 装置及方法。因此，如果使用涉及实施例3的数据通信装置，在网络 上并行发送多个数据流的数据通信装置中，能够通过自律反馈控制而 易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。 (实施例4)关于本发明的实施例4，以下参照附图来进行说明。 图12是表示涉及本实施例4的网络摄像机终端1200的结构的功 能框图，其特点是，除具有图l的结构之外，还具备监视CPU的负荷 率的CPU负荷监视部1201。在此所述的CPU至少能实现网络摄像机终端1200中的压縮部303及通信部304的部分功能。以下，对本实施例4中的网络摄像机终端1200的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换 所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压縮部303。其次，压缩部303从Y/C部302接受Y/C 数据，进行MPEG等的压縮编码处理，生成编码帧，并传送到通信部 304。通信部304通过网络向通信对象发送所接受了的编码帧。在此，CPU负荷监视部1201监视着CPU的负荷率。例如在摄 像机处理的负荷加大，CPU使用率变高的情况下，由于在通信处理上 无法加大CPU功率，所以通信部304所能发送的编码量变小。因此， 有必要防止编码量多的编码帧超出通信部304所能通信的编码量。使用图13来说明通信频带监视的处理流程。在通信频带的监视开 始的情况下，CPU负荷监视部1201开始监视CPU负荷(S1301)。另 外，例如，CPU负荷监视部1201的负荷监视根据CPU的空闲时间 测量等进行。并且，如果在判断为所监视着的CPU负荷率超出了规定的负荷率 的情况下(S1302的"是")，则通知帧控制部305，帧控制部305对压 縮部303进行控制，以使其生成编码量少的所述编码帧(S1303)。其次，确认CPU负荷率的监视是否结束(S1304)，在CPU负荷 率的监视还在持续的情况下(S1304的"否")，则继续进行CPU负荷 率的监视(S1301)。在CPU负荷率的监视已经结束的情况下(S1304的 "是")，则结束监视处理。如上所述，本实施例4的网络摄像机终端的效果，在易于减少在 局部发生的编码量的偏倚，从而实现编码量的平滑方面与上述实施例1 是同样的。但是，新追加了用于监视在CPU负荷监视部1201阻碍通 信部304的通信性能的主要因素(即CPU负荷率)，并进行自律反馈 控制的装置及方法。因此，如果使用涉及实施例4的数据通信装置， 在网络上并行发送多个数据流的数据通信装置中，能够通过自律反馈控制而易于减少在局部发生的编码量的偏倚，从而实现编码量的平滑。(实施例5)关于本发明的第5个实施例，以下参照附图来进行说明。图14是表示涉及本实施例5的网络摄像机终端1400的结构的功能框图，其特点是，除具有图1的结构之外，还具备编码量监视部1401，用于监视在同一帧区间生成的编码帧的编码量。以下，对本实施例5中的网络摄像机终端1400的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换 所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压縮部303。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压縮编码处理，生成编码帧，并传送到通信部304。例如，通信部 304将所接受的编码帧施行IP协议处理，并通过WAN(Wide Area Network)或者LAN(Local Area Network)等网络，向通信对象进行发 送。在此，编码量监视部1401监视着在压縮部303的同一帧区间生 成的编码量。例如由于拍摄对象而使编码帧的编码量增大的情况，会 超出通信部304所能发送的编码量。因此，有必要防止编码量多的编 码帧超出通信部304所能通信的编码量。使用图15来说明编码量监视部1401的处理流程。最初，在通信 频带的监视开始的情况下，编码量监视部1401开始监视压縮部303 的编码量(S1501)。并且，例如，编码量监视部1401的编码量的监视 是，对各个流中的编码量的每一帧的比特数进行监视等。如果在判断为编码量超出了规定的量的情况下(S1502的"是")， 则通知帧控制部305，帧控制部305对压縮部303进行控制，以使其 生成编码量少的所述编码帧(S1503)。其次，确认编码量的监视是否结束(S1504)，在编码量的监视还在 持续的情况下(S1504的"否")，则继续进行编码量的监视(S1501)以下的处理。另一方面，在编码量的监视已经结束的情况下(S1504的"是")， 则结束监视处理。如上所述，在涉及本实施例5的网络摄像机终端中， 在易于减少于局部发生的编码量的偏倚，从而实现编码量的平滑方面 与上述实施例1是同样的。但是，新追加了用于监视在编码量监视部 1401阻碍通信部304的通信性能的主要因素(即编码量)，并进行自 律反馈控制的装置及方法。因此，如果使用涉及实施例5的数据通信 装置，在网络上并行发送多个数据流的数据通信装置中，能够通过自 律反馈控制而易于减少在局部发生的编码量的偏倚，从而实现编码量 的平滑。并且，在涉及上述实施例3至5的方法中，自律反馈控制的效果 相同，但是，由于阻碍通信的负荷因素不同，监视和检测的装置及方法 也有差异，所以作为各自的实施例分别进行记载。而且，上述实施例3 5中的频带监视部、CPU负荷监视部及编 码量监视部的检测方法可以是轮询或者中断。 (实施例6)关于本发明的第6个实施例，以下参照附图来进行说明。 图16是表示涉及本实施例6的网络摄像机终端1600的结构的功 能框图，其特点是，除具有上述实施例1的结构之外，还具备帧模式 监视部1601，用于监视在同一帧区间生成的编码帧的模式。以下，对本实施例6中的网络摄像机终端1600的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换 所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压縮部303。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压缩编码处理，生成编码帧，并传送到通信部304。例如通信部304 将所接受的编码帧施行IP协议处理，并通过网络向通信对象发送。在此，帧模式监视部1601监视着压缩部303的在同一帧区间里生成的编码量。例如，在实施例1 5中由于无意中在同一帧区间生成 的编码帧而使编码量增大的情况下，会超出通信部304所能发送的编 码量。因此，有必要防止编码量多的编码帧超出通信部304所能通信的编码量。帧模式也可以是指帧类型。使用图17来说明帧模式监视部1601的处理流程。最初，在帧模 式的监视开始的情况下，帧模式监视部1601开始监视压缩部303的 帧模式(S1701)。如果在检测出于同一帧区间内生成了编码量多的编码帧的情况下 (S1702的"是")，则通知帧控制部305，帧控制部305对压缩部303 进行控制，以使其生成编码量少的编码帧(S1703)。具体而言，例如， 帧模式监视部1601在帧模式是指帧类型，不同的流中I帧和I帧同时 被生成的情况下，进行将在任一方的流中所生成的帧变成P帧等的处 理。其次，确认帧模式的监视是否结束(S1704)，在帧模式的监视还在 持续的情况下(S1704的"否")，则继续进行帧模式的监视(S1701)以 下的处理。另一方面，在帧模式的监视已经结束的情况下(S1704的"是")， 则结束帧模式监视处理。如上所述，本实施例6的效果在易于减少局部发生的编码量的偏 倚，从而实现编码量的平滑方面与实施例1 5是同样的。但是，在实 施例1 5中具有，未必能够检测出在同一帧区间所生成的编码量多的 编码帧的问题。例如，上述实施例1中，在生成表设定时误将编码量 多的编码帧设定为于同一帧区间生成的模式的情况下，由于没有反馈 控制机构而无法检测出来。而且，在实施例3 5中，虽然具有自律反 馈控制机构，但是，只要所监视的对象不超出规定的值，反馈控制就不 起作用。但是，本实施例6中，在反馈控制机构所监视的对象里追加 帧模式，并检测前述的问题，从而能够解决该问题。 (实施例7)关于本发明的第7个实施例，以下参照附图来进行说明。图18是表示涉及本实施例7的网络摄像机终端1800的结构的功能框图，除具有上述实施例6的结构之外，还具备计数部1801，用于计 数在压缩部303生成的编码帧的连续生成次数。以下，对本实施例7中的网络摄像机终端1800的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换 所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压缩部303。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压縮编码处理，生成编码帧，并传送到通信部304。例如通信部304 将所接受的编码帧施行IP协议处理，并通过网络向通信对象发送。在此，帧模式监视部1601监视压缩部303的在同一帧区间里生 成的编码帧，在连续检测出编码量少的编码模式(例如，使用帧间预测 的差分信息的P帧或B帧之类的编码帧)的情况下，计数此连续生成次 数。如果P帧或B帧被连续生成，则被解密的图像会逐渐劣化。因此， 有必要防止作为差分信息的编码帧被连续生成的次数超出规定的值。使用图19来说明涉及本实施例7的计数部1801的计数处理流程。最初，在帧模式的监视开始的情况下，帧模式监视部1601开始监 视压缩部303的帧模式(S1901)。然后，在检测出于同一帧区间内连续生成编码量少的编码帧(例如， 具有使用帧间预测的差分信息的P帧或B帧之类的编码帧)的情况下 (S1902),在计数部1801中进行计数(S1903)。并且，对计数值是否超出MAX值进行确认(S1904)，在达到MAX 的情况下(S1904的"是")，将计数器复位(S1906)，控制在帧控制部 305中生成编码量多的编码帧(例如，只依据本身的数据就能够解码的、 具有原图像信息的I帧)(Sl907)。根据这样的控制，能够抑制解码图 像的劣化。其次，在所计数的值不超出MAX值的情况下(S1904的"否")， 则确认帧模式的监视是否结束(S1905)，如果帧模式的的监视仍在持续 的情况下(S1905的"否")，则继续进行帧模式的监视(S1901)以下的处理。另一方面，在帧模式的监视已经结束的情况下(S1905的"是")， 则结束帧模式监视处理。如上所说明的，本实施例7的效果包括，由于连续检测出计数部 1801的编码量少的编码模式(例如，使用帧间预测的差分信息的P帧 或B帧之类的编码帧)，且在计数值达到被设定的MAX值的情况下进 行I帧的生成，所以能够适当地减少被解码图像的劣化。另外，在涉及本发明的网络摄像机终端中，如图20的流程图所示， 能够将作为监视对象的通信频带、或CPU负荷率、或编码量的监视进 行组合以同时进行监视(S2001)。在这种情况下，即在S2001中没有检测出监视对象的情况下 (S2002的"否")，则重新开始S2001的处理。另一方面，在检测出了的情况下(S2002的"是")，则进行编码帧 控制(S2003)。而且，如上述实施例1 5所示，编码帧控制是指，对于在同一帧 区间里的编码量多的编码帧，例如不只控制不生成I帧，也能够允许I 帧相重复。例如，如图2所示，在以三个I帧的状态被检测出的情况 下，首先生成两个I帧，进行循环之后，确认在S2002中是否被再次 检测出。如果被检测出(S2002的"是")，这次生成一个I帧并使之循 环。通过进行这样的处理，可以辨明能够通信的最大限度的负荷、或 者频带、或者CPU使用率，能够有效地使用发送能力。 (实施例8)关于本发明的第8个实施例，以下参照附图来进行说明。 图21是表示涉及实施例8的网络摄像机终端2100的结构的功能 框图，其特点是，除具有上述实施例1的结构之外，还具备包括数据 包化编码帧并进行通信的多个通信部304a 304c的通信部304、选择 及控制所使用的通信部304的通信控制部2101、和监视通信部304 的通信频带的频带监视部2102。以下，对本实施例8中的网络摄像机终端2100的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压縮部303。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压縮编码处理，并生成编码帧。其次，通过频带监视部2102来监视在多个通信部304a 304c所 使用的一个通信部的通信频带，在超出规定量的情况下，频带监视部 2102会通知通信控制部2101，以便减轻通信频带，或使用其他的通 信部。以上，在涉及实施例8的网络摄像机终端中，在具有多个通信部 的情况下，能够有效地使用通信部的通信频带。在此，通信部可以是 {象Ethernet(注册商标)或PLC (Power line communication:电力线 通信)那样的有线通信，也可以是无线LAN的IEEE802.il a/b/g或 Bluetooth (蓝牙)。 (实施例9)关于本发明的第9个实施例，以下参照附图来进行说明。图22表示涉及实施例9的网络摄像机终端2200，除具有上述实施例8的结构之外，还具备数据分割部2103，用于分割在压縮部303生成的编码帧。以下，对本实施例9中的网络摄像机终端2200的工作处理进行说明。首先，从传感器部301输入图像信息。传感器部301在数字变换 所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压縮部303。其次，压縮部303从Y/C部302接受Y/C数据，进行MPEG等 的压縮编码处理，并生成编码帧。其次，以频带监视部2102来监视多个通信部304a 304c的通信 频带。接着，按照所监视着的通信频带，通过数据分割部2103分割在 压縮部303生成的编码帧。其次，在数据通信控制部2101将所分割的编码帧分配到通信部304，并进行通信。如上所述，在本实施例9具有多个通信部的情况下，能够同时有 效地使用全部通信部的通信频带。在上述实施例8具有多个通信部的 情况下，存在只能同时使用一个通信部的问题，但是，本实施例9可 以解决这个问题。 (实施例10)关于本发明的第10个实施例，以下参照附图来进行说明。 图23是表示涉及本实施例10的网络摄像机终端2300的结构的 功能框图，除具有上述实施例9的结构之外，还具备MTU部2104， 用于判断多个通信部304a 304c的MTU(Maximum Transmission Unit:最大传送单位)大小，并以MTU大小来分割数据。以下，对本实施例10中的网络摄像机终端2300的工作处理进行 说明。首先，从传感器部301输入图像信息。传感器部301在数字变换 所述图像信息后，将其传送到Y/C部302。 Y/C部302读入传感器部 301所传送的数字数据，并在Y/C处理后进行数据大小变换，且作为 Y/C数据传送到压縮部303。其次，压縮部303从Y/C部302接受Y/C 数据，进行MPEG等的压縮编码处理，并生成编码帧。其次，以频带监视部2102来监视多个通信部304的通信频带。 接着，按照所监视着的通信频带，通过MTU部2104和数据分割部 2103，将在压縮部303生成的编码帧分割为通信部304的MTU大小。 其次，在数据通信控制部2101将所分割的编码帧分配到通信部304， 并进行通信。如上所述，涉及本实施例IO的网络摄像机终端，在具有多个通信 部304的情况下，因为以全部的通信部304合起来的MTU大小来进 行数据发送，所以能够同时最有效地使用全部的通信频带。在上述实 施例8、 9中，即使是具有多个通信部304的情况，因为不是以通信部 304的MTU大小发送，所以存在不能有效地使用通信部304的通信 频带的问题。但是，实施例IO可以解决这个问题。另外，在本实施例10的通信部304进行处理的各个通信介质的形式和MTU大小(Ether，PLC，Wi—Fi等)是各个通信部的MAX帧的长 度，例如，Ether/IEEE802.3的情况是1500字节，PLC的情况是 64KB， Wi—Fi/IEEE802.11a/b/g的情况是2304字节。而且，涉及上述各个实施例的网络摄像机终端的压縮部可以以不 同的多个比特率来进行压縮编码。同时，在压縮部被编码的压縮方式 可以是MPEG—2、 MPEG—4或者H.264。并且，压縮部可以以不同的多个帧频来进行压縮编码。并且，通信部的网络接口可以是像Ethernet姓册商标)或PLC那 样的有线通信，或像无线LAN或Bluetooth那样的无线电通信。而且 进而，也可以在通信部对图像信号或者声音信号进行多路复用并在网 络上发送。涉及本发明的数据通信装置能够适用于，例如PC或PDA、移动 电话等，将压縮图像或声音实时且并行地与使用图像的图像分辨率不 同的多个通信终端进行通信的网络摄像机设备。并且，也能应用于网 络摄像机以外的进行实时流的装置。
权利要求
1、一种数据通信装置，从被输入的图像或者声音信号生成多个被压缩编码的编码帧，并在网络上将包含该被生成的编码帧的多个数据流与多个通信终端进行并行的通信，其特征在于，所述数据通信装置包括传感器部，获取图像或者声音信息；压缩部，生成多个编码帧，该多个编码帧是对在所述传感器部所获取的图像或者声音信号进行压缩编码，并按每一帧区间所生成的；帧控制部，控制在所述压缩部生成的所述编码帧的种类；以及通信部，通过网络将在所述压缩部被压缩编码的编码帧与多个通信终端进行并行的通信，所述编码帧的种类包括第一种和第二种，第一种编码帧的编码量比第二种编码帧的编码量多，所述帧控制部控制与各个数据流相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
2、 如权利要求l所述的数据通信装置，其特征在于， 所述帧控制部包括生成表保持部，该生成表保持部存储生成表，该生成表表示在所述压缩部生成的编码帧的种类的组合模式，按照所 述生成表的编码帧的种类的组合模式，控制与各个数据流相对应的编 码帧的种类，以使在同一帧区间不生成多个所述第一种编码帧。
3、 如权利要求1所述的数据通信装置，其特征在于， 所述帧控制部包括与各个数据流相对应的多个递减计数器部，使用所述递减计数器部的计数值，来控制与各个数据流相对应的编码帧 的种类，以便变更所述编码帧的产生速率。
4、 如权利要求3所述的数据通信装置，其特征在于， 所述帧控制部通过使所述多个递减计数器部的初始值在各个数据流中不重复，或者在所述多个递减计数器部的计数值重复的情况下， 通过对该计数值进行加减运算，来控制与各个数据流相对应的编码帧 的种类，以使在同一帧区间不生成多个所述第一种编码帧。
5、 如权利要求l所述的数据通信装置，其特征在于， 所述数据通信装置还包括，频带监视部，监视所述通信部的通信频带，所述频带监视部在通信频带超出规定量的情况下，通知所述帧控 制部，所述帧控制部在接受了来自所述频带监视部的所述通知的情况 下，进行控制，以便生成所述第二种编码帧。
6、 如权利要求l所述的数据通信装置，其特征在于， 所述数据通信装置还包括，CPU负荷监视部，监视CPU负荷率，所述CPU负荷监视部在CPU负荷率超出规定比率的情况下，通 知所述帧控制部，所述帧控制部在接受了来自所述CPU负荷监视部的所述通知的 情况下，进行控制，以便生成所述第二种编码帧。
7、 如权利要求l所述的数据通信装置，其特征在于， 所述数据通信装置还包括，编码量监视部，监视被生成的所述多个编码帧的编码量， 所述编码量监视部在被生成的编码帧的编码量超出规定量的情况下，通知所述帧控制部，所述帧控制部在接受了所述通知的情况下，进行控制，以便生成所述第二种编码帧。
8、 如权利要求1所述的数据通信装置，其特征在于， 所述数据通信装置还包括，帧模式监视部，监视在所述压縮部生成的所述编码帧的种类， 所述帧控制部，在依据所述帧模式监视部的监视结果表示为，在多个数据流的任一同一帧区间重复生成所述第一种编码帧的情况下，进行控制，以便生成所述第二种编码帧。
9、 如权利要求8所述的数据通信装置，其特征在于， 所述数据通信装置还包括，计数部，计数在所述压縮部生成的所述第二种编码帧被连续生成 的次数，所述帧模式监视部，在所述第二种编码帧被连续生成的次数超出 规定次数的情况下，通知所述帧控制部，所述帧控制部在接受该通知的情况下，进行控制，以使在同一帧 区间不生成多个所述第一种编码帧的同时，生成所述第一种编码帧。
10、 如权利要求l所述的数据通信装置，其特征在于， 所述通信部具有不同种类的多个数据通信部， 所述数据通信装置还包括，通信控制部，进行控制，以便使用所述通信部；以及 频带监视部，监视所述通信部的通信频带，所述通信控制部在所述频带监视部被监视的正在使用的所述数据 通信部的通信频带超出规定量的情况下，选择所述通信部所具有的其 他的所述数据通信部，该被选择的数据通信部，将所述编码帧与所述多个通信终端通信 进行通信。
11、 如权利要求10所述的数据通信装置，其特征在于， 所述数据通信装置还包括，数据分割部，分割所述编码帧，在依据所述频带监视部的监视结果表示通信量变得拥挤的情况 下，所述数据分割部分割所述编码帧，所述通信控制部将所述被分割的编码帧分配给多个数据通信部， 该数据通信部将所述被分割的编码帧与通信终端进行通信。
12、 如权利要求11所述的数据通信装置，其特征在于， 所述数据通信装置还包括，MTU部，判断对于用于进行编码帧通信的网络的最佳的MTU大小，所述数据分割部，以在所述MTU部中被判断为最佳的MTU大小 来分割所述被分割的编码帧，所述通信部将所述被分割的编码帧与通信终端进行通信。
13、 如权利要求7所述的数据通信装置，其特征在于， 所述帧控制部，对在同一帧区间生成的所述编码帧种类进行组合并梯次地调整编码量。
14、 一种数据通信方法，从被输入的图像或者声音信号生成多个 被压縮编码的编码帧，并在网络上将包含该被生成的编码帧的多个数 据流与多个通信终端进行并行的通信，其特征在于，所述数据通信方法包括压縮步骤，生成多个编码帧，该多个编码帧是对在所述传感器部 所获取的图像或者声音信号进行压縮编码，并按每一帧区间所生成的；帧控制步骤，控制在所述压縮部生成的所述编码帧的种类；以及通信步骤，通过网络将在所述压縮部被压縮编码的编码帧与多个 通信终端进行并行的通信，所述编码帧的种类包括第一种和第二种，第一种编码帧的编码量 比第二种编码帧的编码量多，所述帧控制步骤控制与各个数据流相对应的编码帧的种类，以使 在同一帧区间不生成多个所述第一种编码帧。
15、 如权利要求14所述的数据通信方法，其特征在于，所述帧控制步骤包括生成表保持步骤，在该生成表保持步骤存储 生成表，该生成表表示在所述压縮步骤生成的编码帧的种类的组合模 式，按照所述生成表的编码帧的种类的组合模式，控制与各个数据流 相对应的编码帧的种类，以使在同一帧区间不生成多个所述第一种编 码帧。
16、如权利要求14所述的数据通信方法，其特征在于， 所述帧控制步骤包括与各个数据流相对应的多个递减计数器步骤，使用所述递减计数器步骤的计数值，来控制与各个数据流相对应的编码帧的种类，以便变更所述编码帧的产生速率。
全文摘要
本发明是一种数据通信装置，用于解决在生成多个数据流的编码帧的情况下，所生成的编码帧的编码量具有偏倚，且通信装置发生瞬间性的过负荷，从而发生数据包损失的问题。作为数据通信装置的网络摄像终端(300)，具备获取图像或者声音信息的传感器部(301)、压缩编码图像或者声音信号以生成编码帧(I帧、P帧、B帧等等)的压缩部(303)、使用保持于生成表保持部(306)的生成表来控制在压缩部(303)生成的编码帧的种类的帧控制部(305)、在网络上将编码帧向多个通信终端进行并行的发送的通信部(304)。
文档编号H04N7/24GK101335886SQ20081013061
公开日2008年12月31日 申请日期2008年6月25日 优先权日2007年6月25日
发明者古山孝好, 山内进一郎, 竹内昭夫 申请人:松下电器产业株式会社