运动图像通信装置与系统及运动图像通信用半导体集成电路的制作方法

专利名称：运动图像通信装置与系统及运动图像通信用半导体集成电路的制作方法
技术领域：
本发明涉及直接连接到或通过LAN线缆连接到诸如国际互联网和企业 内部互联网之类的网络以便向客户端发送运动图像数据的运动图像通信装 置和运动图像通信系统，并涉及用于运动图像通信的半导体集成电路。
背景技术：
响应于运动图像压缩技术的进步，已经开发出用于通过诸如国际互联网 和企业内部互联网之类的网络传递数字运动图像的网络照相机系统，而且这 种照相机系统正在越来越多地被制成可商用的照相机系统。在这种类型的系 统中，(具有运动图像通信装置的)数码相机通过LAN或无线LAN连接到 网络，并且在数码相机中生成、并被寻址到特定重现装置的运动图像数据， 通过运动图像通信装置被发送到网络。因为在通信中使用了可靠性低的网 络，因此要对数据进行打包，并在通信路径的终端监视包是否到达。如果发 现包还没有到达，则例如，对包进行重传。因此，为了防止任何包被遗漏， 采取了 一些措施以保证发送前后的数据相同。在运动图像通信装置中不间断地实时生成运动图像数据，使得保证实时 发送成为不可缺少的问题。否则，就不可能在重现装置中重现运动图像。保 证实时发送的有效方式是无论在网络中有任何包的丢失，都继续进行发送， 然而，这导致运动图像数据无法被精确重现。结果，未能实现传递运动图像 的目的，即网络照相才几系统的目的。为了解决上述问题，提出了一种网络存储型照相机系统，在未经审查的 曰本专利公开No. 2003-18525中陈述了这种照相机系统。在该系统中，在网 络中提供的运动图像数据存储服务器中对包进行管理，该运动图像数据存储服务器与运动图像通信装置进行通信，以便插入或存储网络中丢失的包。相 应地，在运动图像通信装置和运动数据存储服务器之间建立了网络的状态下 (在保持通信的状态下)，包被插入。结果，可以实现实时发送而不会丟失任何包。然而，网络存储型照相机系统仍然存在的缺点在于，数据可能依赖于通 信状况而丢失。更具体地说，网络存储型照相机系统不能对下列情况做出响应1) 由于网络频带拥塞，不可能进行实时发送；以及2) 网络在物理上关闭。发明内容因此，本发明的主要目的是网络上发送图像数据，而不遗漏数据。 为了达到上述目的，根据本发明的运动图像通信装置包括 编码器，用于根据图像数据生成已编码数据；包发生器，用于根据已编码数据生成包，并将所生成的包发送到网络； 通信处理器，用于基于所述网络的通信状况来判断所述包能否被所述包发 生器发送，并根据所述判断的结果来生成并发送存储请求信号； 能够存储所述已编码数据的緩冲存储器；和数据处理器，用于响应于所述存储请求信号，对已编码数据被存储在所述 緩冲存储器中的状态进行判断，并基于所述判断的结果来对已编码数据进行控 制，其中所述通信处理器在判断出所述包无法被发送时，将所述存储请求信号设置 为有效，在判断出所述包能够被发送时，将所述存储请求信号设置为无效；所述数据处理器在确认所述存储请求信号为有效时，使所述緩沖存储器存 储已编码数据；所述数据处理器在确认所述存储请求信号为无效且已编码数据被存储在所 述緩冲存储器中时，从所述緩冲存储器读取已编码数据，并将所读取的已编码数据发送到所述包发生器；并且所述数据处理器在确认所述存储请求信号为无效且已编码数据未^fe存储在 所述緩冲存储器中时，从所述编码器接收已编码数据，并将所接收的已编码数 据发送到所述包发生器。根据这样构造的本发明，所述通信处理器根据所述网络的通信状况判断所 述包是否可以被发送。当所述判断结果显示包可以被发送时，所述数据处理器 使所述包发生器在所述所包发生器中根据所述已编码数据生成所述包，并且将 所生成的包发送到所述网络。当所述判断结果显示所述包无法被发送时，所述 数据处理器生成所述存储请求信号，并将所述存储请求信号发送到所述数据处 理器。所述数据处理器接收所述存储请求信号，并对应地将已编码数据存储在 所述緩冲存储器中。相应地，所述实时发送被中断；然而，已编码数据被保存。 当显示通信故障的网络状况重新获得其通信可用性时，通信处理器检测该信息 并将其发送至所述数据处理器。然后，所述数据处理器读取存储在所述缓沖存 储器中的所述已编码数据，以发送所述已编码数据。这样，在由于网络不适宜 地拥塞、断开等等造成已编码数据不能被发送的情况下，所述已编码数据被存 储。因此，所存储的已编码数据可以在通信线路恢复之后通过所述网络被发送 到所述通信的另一端。然后，可以由位于另一端的一方(重现装置等)随后检 查断开期间的运动图像。在上述构造情况下，需要允许在网络拥塞时所发送的 所述已编码数据与实时相比不可避免地具有或多或少的延迟的情况。优选地，所述数据处理器在确认所述存储请求信号为有效时，使所述编码 器以所获得的分辨率比普通编码操作中更高的方式来生成已编码数据。相应地， 在问题继续存在的时段期间，构成较清楚的运动图像的所述已编码数据可以被 保存在所述緩冲存储器中。优选地，所述数据处理器在确认所述存储请求信号为无效时，使所述编码在问题继续存在的时段期间，所述运动图像已编码数据可以在緩冲存储器中存 储很长一段时间。优选地，所述运动图像通信装置进一步包括用于检测所述图像数据中的图 像运动的运动检测器，其中所述数据处理器在确认所述存储请求信号为有效时，基于所述运动检测器 对图像运动的检测结果来控制对已编码数据的存储。优选地，时间上连续的多个帧数据构成所述图像数据，其中所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动 的帧数据的运动检测标志设置为有效，并且所述数据处理器在确认所述存储请求信号为有效时，将运动检测标志为有 效的帧数据选择性地存储在所述緩冲存储器中。优选地，时间上连续的多个帧数据构成所述图像数据，其中所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动 的帧数据的运动检测标志设置为有效，并且所述数据处理器在确认所述存储请求信号为有效时，将运动检测标志为有 效的帧数据之前和之后的多个帧数据选择性地存储在所述緩沖存储器中。优选地，时间上连续的多个帧数据构成所述图像数据，其中所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动 的帧数据的运动检测标志设置为有效，并且在任意帧数据的运动检测标志和时间上处于该任意帧数据之前的数目被预 先设置的多个帧数据的运动检测标志为有效的情况下，所述数据处理器将该任 意帧数据和所述多个帧数据选择性地存储在所述緩冲存储器中。相应地，待存储在所述緩冲存储器中的已编码数据可能限于被检测到图像 运动的帧数据和该帧数据之后的所述多个帧数据。优选地，所述运动图像通信装置进一步包括用于生成图像数据的图像处理 器，所迷图像处理器包括用于将所述图像数据划分成多个小区域，并基于各区 域来管理图像数据的区域管理处理器，其中，所述编码器针对所述多个小区域中的各小区域来生成已编码数据，并且所述数据处理器针对所述多个小区域中的各小区域来控制图像数据在所述緩冲存储器中的存储。相应地，可以针对各小区域对所述图像数据进行处理， 这有助于减小所述緩沖存储器的容量。在上述构造中，优选地，所述编码器基于在所述多个小区域中的各小区域 中的压缩比率来生成已编码数据，所述多个小区的压缩比率各不相同。相应地， 当压缩比率被设置为低时，可以存储清楚和清晰的图像，而当压缩比率被设置 为高时，可以存储具有可能不清楚但易于识别的运动的图像。优选地，所述运动图像通信装置进一步包括用于针对通过划分所述图像数 据获得的所述多个小区域中的各小区域来检测图像运动的运动4全测器，其中所述编码器针对所述多个小区域中的各小区域来生成已编码数据，并且所述数据处理器基于对图像运动的检测结果来控制已编码数据在所述緩沖 存储器中的存储。进一步，优选地，所述编码器可以选择性地生成被检测到图 像运动的小区域的以编码数据。相应地，所述小区域和所述运动检测彼此相关 联，并且其中未被检测到运动的所有小区域的数据被丢弃，这进一步有助于减 小所述緩冲存储器的容量。优选地，所述数据处理器根据所述存储请求信号的状态来控制所述图像处 理器中的图像质量校正参数。在上述构造中，优选地，所述数据处理器在确认 所述存储请求信号为有效时，将用于生成单色图像的参数设置为所述图像质量 校正参数。相应地，与在普通发送时段时相比，在所述存储时段期间，可以生 成获得较高的图像质量或者获得较低的图像质量的所述运动图像数据。优选地，所述运动图像通信装置进一步包括用于生成图像数据的图像处理 器，其中所述图像处理器包括用于检测所述图像数据中的图像运动的运动检测器，其中时间上连续的多个帧数据构成所述图像数据，所述运动检测器将运动检测标志添加到各所述帧数据，并将被检测到图像 运动的帧数据的运动检测标志设置为有效，并且所述图像处理器在确认所述存储请求信号为有效时，设置用于对运动检测标志为有效的帧数据的图像进行强调的校正参数。相应地，可以强调在所述通信中断期间存储的运动图像。优选地，所述数据处理器在确认所述存储请求信号为有效时，调整将已编 码数据存储在所述緩冲存储器中所采用的帧率。进一步，优选地，所述数据处 理器在确认所述存储请求信号为有效时，将所述帧率设置得高于普通通信中的 发送帧率。优选地，所述数据处理器在确认所述存储请求信号为有效时，使所述编码 器以与在普通通信的方式不同的方式生成已编码数据。在上述构造中，优选地， 所述运动图像通信装置可以进一步包括用于生成图像数据的图像处理器，其中 所述数据处理器在确认所述存储请求信号为有效时，使所述图像处理器生成图 像大小与普通通信中的图像数据的图像大小不同的图像数据。相应地，因为可 以调整运动图像的大小，所以可以有效使用所述緩沖存储器。优选地，所述通信处理器在自身与所述网络通信中的另 一端之间发送和接 收所述存储请求信号，并且无论所述网络中的通信状况如何， 一旦从所述网络 通信的另 一端接收到所述存储请求信号，即将所接收的存储请求信号发送到所 述数据处理器。相应地，在例如，在另一端的负责实时监视所述图像数据的人 不得不离开他/她的操作室的情况下，当通过他/她的操作发送所述存储请求信号 时，在该负责人离开时所接收的图像数据被存储在所述緩沖存储器中。因此， 当该人回来后，可以检查在所述存储时段期间的所述图像。在这种情况下，当 这些图像与所述实时运动图像一起被显示时，所述检查可能更容易 一些。优选地，所述通信处理器从所述网络通信中的另一端接收所述存储请求信 号，而不生成所述存储请求信号。在上述构造中，优选地，在所述通信处理器 中省略所述生成所述存储请求信号的功能。根据上述构造，当所述通信处理器从所述网络通信中的另一端接收到所述 存储请求信号时，所述数据处理器向所述包发生器发送由所述编码器生成的所 述运动图像的所述已编码数据，并使所述包发生器生成所述包，然后将所生成 的包发送到网络。在未接收到所述存储请求信号的情况下，所述数据处理器将由所述编码器生成的已编码数据存储在所述緩冲存储器中。相应地，所迷实时
发送被中断；然而，已编码数据被保存。当接收到所述存储请求信号时，所述
数据处理器读取在所述緩冲存储器中存储的已编码数据以发送所述已编码数 据。位于所述通信另一端的人不得不离开他/她的操作室，并且因此他/她发送所 述存储请求信号时，在他/她离开时所接收的所述图像数据被存储在所述运动图 像通信装置中的所述緩冲存储器中。因此，该负责人可以在他/她回来时对所述 存储时段期间的所述图像进行检查。
优选地，根据本发明的运动图像通信装置，进一步包括 镜头，用于成像被摄物；
图像输入单元，用于将通过所述镜头获得的光学图像转换成电信号，并根 据所述电信号生成数字图像数据；以及
图像处理器，用于通过对所迷数字图像数据进行校正来生成图像数据。 优选地，根据本发明的运动图像通信装置，进一步包括 音频输入装置；以及
音频输入单元，用于将从所述音频输入装置输出的音频信号转换成数字音 频数据，以及
音频处理器，用于对所述音频数据进行信号处理，并将经过信号处理的数 据发送到所述编码器，其中
所述编码器以相互同步的方式对经过信号处理的音频数据和所述图像数据 进行编码。
根据这样描述的本发明，在网络中发生诸如拥塞、断开之类的任何异常情 形并且因此不能发送所述已编码数据的情况下，所述已编码数据存储在所述緩 沖存储器中，在回到可发送状态时从所述缓沖存储器中读取，然后发送到所述 网络。相应地，可以防止由于通信状况而发生的所述数据丢失，所述已编码数 据以适合于通信状态的形式发送到所述重现装置。结果，可以很精确地记录所 述运动图像并在所迷通信的另一端(重现装置等)重现。
在所述运动图像通信装置用于在可靠性低的网络中监视时，所述运动图像可以被连续地记录并以这样的方式被重现，即任何可疑的人像都不会被跳过。 进一步，所述运动图像可以采用有效的方式在并不要求实时性能的电视/电视会 议系统中发送。
根据本发明的技术，其能够实现一种在使用不可靠的网络的环境下，不会 跳过任何运动图像的系统，该技术可用作提供监视及其它用途的网络运动图像 通信装置，并且基于同样的原因还可以方便地适用于网络电视电话。


通过理解以下对本发明优选实施例的描述，本发明的这些及其它目的和 优势将变得明显，并且将在所附的权利要求中详细说明。本领域技术人员在 实施本发明之后，将注意到说明书中没有记载的许多优点。
图l是示出根据本发明优选实施例1的运动图像通信装置的构造的方框图。
图2是本发明优选实施例中的帧率的示意图。 图3示出根据优选实施例1的重现装置中的显示屏。 图4是示出根据优选实施例1的运动图像通信装置和重现装置的构造的 方框图。
图5是示出根据本发明优选实施例2的运动图像通信装置的构造的方框图。
图6是根据优选实施例2的图像处理示意图。
图7是示出根据本发明优选实施例3的运动图像通信装置的构造的方框图。
图8是根据优选实施例3的由图像处理器进行的区域划分示意图。 图9是根据优选实施例3的由该图像处理器进行的区域划分示意图。
具体实施例方式
在下文中，参见附图描述本发明的优选实施例。优选实施例1
图l是示出根据本发明优选实施例1的运动图像通信装置的构造的方框 图。以例如半导体集成电路的形式来提供该运动图像通信装置。参见图1中 示出的附图标记，1表示用于将来自诸如麦克风之类的音频输入装置的音频
信号转换成数字音频数据的音频输入单元，2表示用于对由音频输入单元1 生成的音频数据进行信号处理的音频处理器，3表示用于将成像被摄物的镜 头所获得的光学图像转换成电信号，并将该电信号转换成数字图像数据的图 像输入单元，4表示用于通过校正由图像输入单元3生成的数字图像数据来 生成图像数据的图像处理器，5表示用于将由音频处理器2生成的音频数据 与由图像处理器4生成的图像数据进行同步，并将同步后的数据转换成具有 任意格式的已编码数据的编码器，6表示用于管理随后描述的緩冲存储器9, 并将从编码器5输入的已编码数据存储在緩冲存储器9中或从緩冲存储器9 中丟弃的数据处理器，8表示用于从緩冲存储器9中存储的已编码数据和从 编码器5输出的已编码数据生成包的包发生器，9表示存储由编码器5生成 的已编码数据的緩冲存储器。7表示用于控制网络频带的通信处理器，该通 信处理器判断是否可以基于当前通信状况来发送包，并且然后向数据处理器 6发送存储请求信号。
通信处理器7监视当前的网络状况，并在判断出无法发送图像数据时， 生成存储请求信号，然后向数据处理器6发送所生成的信号。数据处理器6 接收由编码器5生成的已编码数据，并依据通信处理器7是否发送了存储请 求信号来控制已编码数据的数据流。更具体地说，数据处理器6在未接收到 存储请求信号的情况下，向包发生器8发送指令以对已编码数据进行打包， 而在接收到存储请求信号的情况下，使已编码数据存储在緩冲存储器9中。 通信处理器7和数据处理器9之间的协同操作的结果是，对已编码数据的管 理是根据网络状况来进行的。
数据处理器6任意地控制编码器5中的编码参数和图像处理器4中的图 像质量校正参数。当运动图像通信装置之间的连接或网络中的通信状况发生故障时，数据处理器6从通信处理器7接收存储请求信号。已接收该存储请 求信号的数据处理器6有下述第一工作模式和第二工作模式。
在第一工作模式中，数据处理器6设置适合于以这样一种方式生成运动 图像数据的参数，即与在普通发送时段相比，在存储时段期间可以获得更清 晰的图像质量。在第二工作模式中，数据处理器6设置适合于在存储时段期 间生成具有较低图像质量的运动图像的参数。在第一工作模式(清晰图像质 量模式)中，可以采用这样一种方式将已编码数据存储在緩沖存储器9中， 即图像质量比普通发送时段的图像质量更高。换句话说，在问题继续存在的 时段期间，在清晰图像的条件下存储获得的图像数据。在第二种工作模式(低 图像质量模式)中，在问题继续存在的时段期间，所获得的图像数据可以在 緩冲存储器9中存储很长一段时间。
如所述的，根据本优选实施例的运动图像通信装置方便用于监控相机
等。当发生问题时，依据预期的目的，可以决定是选择清晰图像记录，还是 选才奪长时间记录。
緩沖存储器9不限于位于运动图像通信装置的主体内的内部存储器，作 为替代地，可以使用诸如SD存储卡之类的外部存储器。
在根据本优选实施例的运动图像通信装置中，包括緩沖存储器9 (或者 使用连接到该运动图像通信装置的诸如SD存储卡之类的外部存储器)，其 存储容量相应地限于特定的量。换句话说，需要将图像数据有效地存储在緩 沖存储器9中以响应可能持续较长时间的断开，并且因此在存储数据时要减 小受到数据处理器6控制的数据大小。因此，在根据本优选实施例的运动图 像通信装置中，数据处理器6在存储时段期间控制图像处理器4和编码器5 中的参数。相应地，在存储时段期间生成的已编码数据可以被任意地改变。 更具体地说，可以实施这样的控制操作，即在存储时段期间在图像处理器4 中针对图像数据设置用于生成单色图像的参数，以便 减少所生成的图像数据的数据量；并且
通过调整编码参数来生成图像质量低的图像数据，以便减少已编码数据。结果，可以减小存储在緩冲存储器9中的已编码数据的数据大小。 图2示出根据本优选实施例的运动图像通信装置中的帧率控制操作。当 对存储时段期间的图像进行分析时，期望存储时段期间的图像具有高帧率。 然而，本优选实施例中，緩冲存储器9的容量受到限制，因此已编码数据应 当被有效地存储在根据本优选实施例的运动图像通信装置中。在本优选实施 例中，当请求存储数据时，编码器5的编码过程受到数据处理器6的控制。 然后，以任意帧率对数据进行编码，并将因此获得的已编码数据存储在緩冲 存储器9中。当时，可以以高于普通通信时的帧率或低于普通通信时的帧率 来存储已编码数据。可以对存储时段期间所应用的帧率进行任意控制，这样 允许基于存储时段的状况来有效地存储数据。在具有帧数为fn的帧数据(已编码数据)的情况下，在普通通信时段 期间，以普通时间的帧率(fl )生成运动图像。然而在存储时段期间可以选 择下列任何一种数据存储方法 以比普通时间的帧率更低的帧率G存储帧数据； 以比普通时间的帧率更高的帧率f3存储帧数据； 以与普通时间的帧率相等的帧率f4存储帧数据；普通时段的帧率和存储时段的帧率可以分别被任意改变，并且不限于图 2所示的帧率。图3示出在根据本优选实施例的运动图像通信装置中通过网络发送的 运动图像的重现图像。Pl是从由运动图像通信装置生成并实时发送的运动 图像中重现得到的实时运动图像，而P2是从由于网络发生故障而存储在緩 沖存储器9的存储运动图像中重现得到的存储运动图像。在由于某一因素使运动图像通信装置中的连接曾被切断且通信已恢复 的情况下，期望不但存储时段期间的运动图像而且实时运动图像同时在重现 装置上显示。在根据本优选实施例的运动图像通信装置中，可以对存储时段 期间的运动图像数据进行图像处理，并将存储运动图像作为与普通通信时段期间的实时运动图像数据相分离的连续运动图像数据来进行编码，并因此将 存储运动图像作为不同的运动图像数据来进行管理。相应地，实时运动图像 数据和存储运动图像数据可以以相同的序列发送，并且同时在重现装置中重现。进一步，当将普通通信中的实时运动图像数据和存储时段期间的存储运 动图像数据分别作为不同的连续运动图像数据进行管理时，实时运动图像的 大小和存储运动图像的大小可以设置为彼此不同的尺寸。更具体地说，存储 运动图像数据可以采用大小小于实时运动图像数据的大小的方式来存储在緩冲存储器9中，然后在通信恢复后发送到重现装置。相应地，可以经济地 使用緩冲存储器9的区域，并且可以减小通信恢复时所发送的运动图像的大 小。结果，可以有效利用通信量。图4示出根据本优选实施例的运动图像通信装置和重现装置的构造，即 运动图像通信系统的构造。ll表示编码器，12表示音频处理器，13表示扬 声器，14表示图像处理器，15表示显示单元，16表示存储请求处理器。当基于重现装置M2的用户对存储请求处理器16进行的操作而向运动 图像通信装置M1发送存储请求信号时，接收该存储请求信号的运动图像通 信装置Ml将实时运动图像的已编码数据存储在緩冲存储器9中。相应地， 可以在重现装置M2中动态地控制数据存储时序。当负责实时监视重现装置M2的人必须离开他/她的操作室时，例如， 他/她会对存储请求处理器16进行操作，以便在他/她离开时所获得的图像可 以被存储在运动图像通信装置M1中。结果，在该人回来后，可以同时检查 存储时段期间的运动图像和实时运动图像。运动图像通信装置M1的緩冲存 储器9可以是外部提供的记录介质，例如，SD卡。在由通信处理器7对网络状况进行监视，且数据处理器6基于运动图像 通信装置Ml中的存储请求信号对已编码数据的存储/丟弃进行控制的状态 下，当通信处理器7从重现装置M2接收到存储请求信号时，数据处理器6 忽略运动图像通信装置Ml的内部处理并存储已编码数据。这样，数据处理器6可以基于从重现装置M2发送的存储请求信号动态地控制数据存储。 优选实施例2图5是示出根据本发明优选实施例2的运动图像通信装置的构造的方框 图。在根据本优选实施例的运动图像通信装置中，在根据优选实施例1的运 动图像通信装置的构造(图1示出的运动图像通信装置的构造)中进一步提 供用于扩展图像处理器4的功能的运动检测器4a。运动检测器4a检测由图 像处理器4生成的图像数据中的图像运动。进一步，运动检测器4a向所有 帧数据添加运动检测标志，并选择性地将检测到运动的帧数据的运动检测标 志设置为有效。相应地，在存储时段期间，可以在緩沖存储器9中结合所获 得的图像的运动，对已编码数据(帧数据)进行有效地存储。帧数据是在时 间上连续的多个图像数据的单位，并且帧数据构成图像数据。图6示出连续运动图像中的运动检测的实例。帧数据F0-F5为连续的帧 数据，并且在这些帧中的各帧中，基于相对于前一帧数据的差异，对运动进 行检测。然后，将运动检测标志设置为有效或无效。将相对于前一帧数据存 在差异的帧数据FO、 Fl、 F2、 F4、 F5判断出为^^测到运动的帧数据。因此， 将这些帧数据的运动;险测标志设置为有效。然而，与前一帧数据F2相比没有任何差异的帧数据F3判断出为没有检测到运动的帧数据，并且将该帧数 据的运动检测标志设置为无效。在下文描述如何处理运动检测标志被设置为 有效的帧数据(在下文中，称为标志有效帧数据)和运动检测标志被设置为 无效的帧数据(在下文中，称为标志无效帧数据)。数据处理器6—旦从通信处理器7接收到存储请求信号，即向编码器5 发出编码请求信号、存储时段设置信号、编码参数控制信号以及编码模式控 制信号。编码器5—旦从数据处理器6接收到编码请求信号，即对帧数据进 行编码。编码请求信号包括用于指定编码模式的信息。数据处理器6基于在 编码请求信号中指定的编码模式来控制待编码的帧数据。编码模式的类型包括下列几种 对标志有效帧数据进行选择性编码的模式； 通过管理过去的运动检测标志，来对标志有效帧数据后面的k (k为 任意自然数)个帧数据进行选择性编码的模式；和 无论是否检测到运动，都对所有的帧数据进行编码的模式。数据处理器6向编码器5指示编码模式。编码器5根据在存储时段期间 所指示的编码方式对编码时序进行控制。编码器5检查添加到由图像处理器 4供应的帧数据上的运动检测标志，从而清楚地识别待编码的帧数据和编码 过程被取消的帧数据。当运动检测标志为有效时，对检测到运动的帧数据进 行选择性编码；然而，忽略对任何没有检测到运动的数据帧的编码过程。运动检测标志不仅用在编码器5中，而且用在数据处理器6中。数据处 理器6基于运动检测标志来控制存储在緩沖存储器9中的帧数据(存储帧数 据)。对帧数据的控制具有以下几种方式a) 数据处理器6判断添加在从编码器5输入的帧数据上的运动检测标 志的状态，并将标志有效帧数据选择性地存储在缓冲存储器9中，同时丟弃 标志无效帧数据。这样，可以在存储时段期间选择性地存储连续运动图像中 检测到运动的帧数据。在网络的通信状况恢复之后，从緩冲存储器9中读取 所存储的帧数据，并通过网络将所述帧数据发送到重现装置。结果，仅将在 存储时段期间在连续运动图像中检测到运动的帧数据作为运动图像在重现 装置中进行重现。b) 数据处理器6将由编码器5供应的所有帧的帧数据存储在緩冲存储 器9中。然后，除了运动检测标志被设置为有效的帧数据(检测到运动的帧 数据)、在时间上处于检测到运动的帧数据之前的m个帧数据和在时间上 处于检测到运动的帕数据之后的n个帧数据(m和n为任意自然数)之外， 数据处理器6顺序地丢弃所存储的帧数据中的所有帧数据。以这样的构造方 式，可以在存储时段期间，将连续运动图像中检测到运动的帧数据之前和之 后的多个帧数据选择性地存储在緩冲存储器9中。结果，可以在重现装置中 重现的运动图像限于在存储时段期间连续运动图像中，检测到运动的帧数 据、检测到运动的帧数据之前的m个帧数据以及检测到运动的帧数据之后的n个帧数据。c) 在时间上处于当前帧数据之前的k(k为任意自然数)个帧数据包括 标志有效帕数据的情况下，将这k个帧数据选择性地存储在緩沖存储器9中。 相应地，可以有限地存储该标志有效帧数据和时间上处于其后的k个帧数 据。结果，可以在重现装置中重现的运动图像限于在存储时段期间连续运动 图像中，标志有效帧数据和其后的k个帧数据。d) 在存储时段期间所有的帧数据被存储的情况下，存储时段期间的所 有图像可以在通信状况恢复之后被发送。如所描述的，根据本优选实施例，编码器5和数据处理器6基于由运动 检测器4a添加的运动检测标志，来实时控制输入信号的处理，从而在存储 时段期间将帧数据有效地存储在緩冲存储器9中。因此，在网络监视照相机 等等中，图像可被有效存储，同时可以防止在连接故障期间图像丟失，并且 可以在网络环境恢复之后在重现装置中重现存储时段期间的图像。数据处理器6基于由图像处理器4添加的运动检测标志的内容，来在存 储时段期间控制图像处理器4和编码器5的参数，并设置在存储时段期间将 检测到运动的帧数据(标志有效帧数据)的编码参数，使所述将测到运动的 帧数据具有低压缩比率。结果，可以存储构成清楚和清晰图像的帧数据。当 未检测到运动的帧数据(标志无效帧数据)的编码参数被设置为具有高压缩 比率时，检测到运动的帧数据可以产生可能不清楚但在由重现装置重现时可 以很容易识别的图像。以类似的方式，数据处理器6设置图像处理器4中检测到运动的帧数据 (标志有效帧数据)的参数，使该检测到运动的帧数据具有高图像质量，同 时设置未检测到运动的帧数据(标志无效帧数据)的参数以便仅提取单色图 像和边缘分量。结果，检测到运动的帧数据(标志有效帧数据)可以采用在 由重现装置重现时易于识别的方式显示。 4尤选实》包侈'j 3图7是示出根据本发明优选实施例3的运动图像通信装置的构造的方框图。在根据本优选实施例的运动图像通信装置中，在根据优选实施例2的运 动图像通信装置的构造(图5中示出的运动图像通信装置的构造)中，进一步提供用于进一步扩展图像处理器4的功能的区域管理处理器4b。该区域 管理处理器4b将由图像输入单元3生成的图像数据划分成多个(若干个) 小区域并分别对它们进行管理。图8示出由区域管理处理器4b对所划分的区域进行管理的具体实例。 图像数据的整个屏幕A0被划分成四个小区域Al、 A2、 A3和A4。小区域 Al、 A2、 A3和A4各自基于与整个屏幕AO相关的坐标位置信息，来识别 相对于帧数据的像素起始位置的相对位置关系。这是将图像数据划分成小区 域的基本方法的实例。可以任意改变所划分的区域的数目的值a、识别小区 域的方式以及管理相应的小区i或的方式。图9示出基于所划分的小区域A1-A4,来对连续运动图像数据进行管理 的实例。区域管理处理器4b将连续运动图像(帧数据)PO、 Pl、 P2、 P3、 P4和P5划分成相应的小区域Al-A4，并且编码器5和数据处理器6针对各 个小区域对图像数据进行管理。编码器5针对各个运动图像的小区域对编码过程和编码参数进行校正， 并将相应的小区域当作不同的图像数据来处理。进一步，该数据处理器6可 以通过针对各个小区域管理关于緩冲存储器9的已编码数据的存储/丢弃， 来在存储时段期间针对各个小区域有效地进行数据管理。运动处理器4检测连续运动图像的各个小区域中的运动，并且基于检测 结果将运动检测标志分别添加到各个小区域。相应地，编码器5可以基于运 动检测标志对运动检测标志被设置为有效的小区域(在下文中，被称为标志 有效小区域)进行选择性地编码。数据处理器6基于标志有效小区域将帧数 据存储在緩冲存储器9或从緩冲存储器9中丢弃，从而能够选择性地存储检 测到运动的帧数据的标志有效小区域。进一步，除了在时间上处于包括标志 有效小区域的帧数据之前的m个帧数据以及在时间上处于其后的n个帧数 据(m和n为任意自然数)之外，数据处理器6顺序地丢弃来自緩冲存储器9的所有帧数据，并且因此可以选择性地存储检测到运动的帧数据的标志有 效小区域。上述构造需要能够针对各个小区域对运动图像进行解码的重现装置。虽然已经描述了目前所认为的本发明优选实施例，但是应当理解，可以 对所述优选实施例做出各种修改，并且意在由所附的权利要求覆盖所有这些 修改，并且所有这些修改均落入本发明的真实精神和保护范围。
权利要求
1、一种运动图像通信装置，包括编码器，用于根据图像数据生成已编码数据；包发生器，用于根据已编码数据生成包，并将所生成的包发送到网络；通信处理器，用于基于所述网络的通信状况来判断所述包能否被所述包发生器发送，并根据所述判断的结果来生成并发送存储请求信号；能够存储已编码数据的缓冲存储器；和数据处理器，用于响应于所述存储请求信号，对已编码数据被存储在所述缓冲存储器中的状态进行判断，并基于所述判断的结果来对已编码数据进行控制，其中所述通信处理器在判断出所述包无法被发送时，将所述存储请求信号设置为有效，在判断出所述包能够被发送时，将所述存储请求信号设置为无效；所述数据处理器在确认所述存储请求信号为有效时，使所述缓冲存储器存储已编码数据；所述数据处理器在确认所述存储请求信号为无效且已编码数据被存储在所述缓冲存储器中时，从所述缓冲存储器读取已编码数据，并将所读取的已编码数据发送到所述包发生器；并且所述数据处理器在确认所述存储请求信号为无效且已编码数据未被存储在所述缓冲存储器中时，从所述编码器接收已编码数据，并将所接收的已编码数据发送到所述包发生器。
2、 根据权利要求1所述的运动图像通信装置，其中 所述数据处理器在确认所述存储请求信号为有效时，使所述编码器以所获得的分辨率比普通编码操作中更高的方式来生成已编码数据。
3、 根据权利要求1所述的运动图像通信装置，其中 所述数据处理器在确认所述存储请求信号为无效时，使所述编码器以所获得的分辨率比普通编码操作中更低的方式来生成已编码数据。
4、 根据权利要求1所述的运动图像通信装置，进一步包括用于检测所述图 像数据中的图像运动的运动检测器，其中所述数据处理器在确认所述存储请求信号为有效时，基于所述运动检测器 对图像运动的检测结果来控制对已编码数据的存储。
5、 根据权利要求4所述的运动图像通信装置，其中 时间上连续的多个帧数据构成所述图像数据，其中所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动 的帧数据的运动检测标志设置为有效，并且所述数据处理器在确认所述存储请求信号为有效时，将运动检测标志为有 效的帧数据选择性地存储在所述緩沖存储器中。
6、 根据权利要求4所述的运动图像通信装置，其中 时间上连续的多个帧数据构成所述图像数据，其中所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动 的帧数据的运动检测标志设置为有效，并且所述数据处理器在确认所述存储请求信号为有效时，将运动^^测标志为有 效的帧数据之前和之后的多个帧数据选择性地存储在所述緩冲存储器中。
7、 根据权利要求4所述的运动图像通信装置，其中 时间上连续的多个帧数据构成所述图像数据，其中所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动 的帧数据的运动检测标志设置为有效，并且在任意帧数据的运动检测标志和时间上处于该任意帧数据之前的数目被预 先设置的多个帧数据的运动检测标志为有效的情况下，所述数据处理器将该任 意帧数据和所述多个帧数据选择性地存储在所述緩沖存储器中。
8、 根据权利要求1所述的运动图像通信装置，进一步包括用于生成图4象数 据的图像处理器，其中所述图像处理器包括用于将所述图像数据划分成多个小区域，并基于各区 域来管理图像数据的区域管理处理器，其中，所述编码器针对所述多个小区域中的各小区域来生成'已编码数据，并且 所述数据处理器针对所述多个小区域中的各小区域来控制图像数据在所述 緩冲存储器中的存储。
9、 根据权利要求8所述的运动图像通信装置，其中所述编码器基于在所述多个小区域中的各小区域中的压缩比率来生成已编 码数据，所述多个小区域的压缩比率各不相同。
10、 根据权利要求1所述的运动图像通信装置，进一步包括用于针对通过划分所述图像数据获得的所述多个小区域中的各小区域来检测图像运动的运动 检测器，其中所述编码器针对所述多个小区域中的各小区域来生成已编码数据，并且 所述数据处理器基于对图像运动的检测结果来控制已编码数据在所述緩冲 存储器中的存储。
11、 根据权利要求IO所述的运动图像通信装置，其中 所述编码器选择性地生成被检测到图像运动的小区域的已编码数据。
12、 根据权利要求1所述的运动图像通信装置，其中所述数据处理器根据所述存储请求信号的状态来控制所述图像处理器中的 图像质量校正参数。
13、 根据权利要求12所述的运动图像通信装置，其中 所述数据处理器在确认所述存储请求信号为有效时，将用于生成单色图像的参数设置为所述图像质量校正参数。
14、 根据权利要求1所述的运动图像通信装置，进一步用于生成图像数据 的图像处理器，其中所述图像处理器包括用于检测所述图像数据中的图像运动的运动检测器，其中时间上连续的多个帧数据构成所述图像数据，所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动 的帧数据的运动检测标志设置为有效，并且所述图像处理器在确认所述存储请求信号为有效时，设置用于对运动检测 标志为有效的帧数据的图像进行强调的校正参数。
15、 根据权利要求1所述的运动图像通信装置，其中所述数据处理器在确认所述存储请求信号为有效时，调整将已编码数据存 储在所述緩沖存储器中所采用的帧率。
16、 根据权利要求15所述的运动图像通信装置，其中 所述数据处理器在确认所述存储请求信号为有效时，将所述帧率设置得高于普通通信中的发送帧率。
17、 根据权利要求1所述的运动图像通信装置，其中所述数据处理器在确认所述存储请求信号为有效时，使所述编码器以与在 普通通信的方式不同的方式生成已编码数据。
18、 根据权利要求17所述的运动图像通信装置，进一步包括用于生成图像 数据的图像处理器，其中所述数据处理器在确认所述存储请求信号为有效时，使所述图像处理器生 成图像大小与普通通信中的图像数据的图像大小不同的图像数据。
19、 根据权利要求1所述的运动图像通信装置，其中所述通信处理器在自身与网络通信中的另一端之间发送和接收所述存储请 求信号，并且无论所述网络中的通信状况如何， 一旦从所述网络通信中的另一 端接收到所述存储请求信号，即将所接收的存储请求信号发送到所述数据处理器。
20、 根据权利要求1所述的运动图像通信装置，其中 所述通信处理器从网络通信中的另一端接收所述存储请求信号，而不生成所述存储请求信号。
21、 根据权利要求1所述的运动图像通信装置，进一步包括 镜头，用于成像被摄物；图像输入单元，用于将通过所述镜头获得的光学图像转换成电信号，并根 据所述电信号生成数字图像数据；以及图像处理器，用于通过对所述数字西像数据进行校正来生成所述图像数据。
22、 根据权利要求1所述的运动图像通信装置，进一步包括 音频输入装置；以及音频输入单元，用于将从所述音频输入装置输出的音频信号转换成数字音 频数据，以及音频处理器，用于对所述音频数据进行信号处理，并将经过信号处理的数 据发送到所述编码器，其中所述编码器对经过信号处理的音频数据和所述图像数据以相互同步的方式 进行编码。
23、 一种运动图像通信系统，包括 根据权利要求1所述的运动图像通信装置；以及 重现装置，用于接收由所述运动图像通信装置传递的包，其中 所述重现装置包括用于对所接收的包进行解码的解码器。
24、 一种运动图像通信用半导体集成电路，具有根据权利要求1所述的运 动图像通信装置。
全文摘要
本发明公开了一种运动图像通信装置与系统及运动图像通信用半导体集成电路。通信处理器在判断出包无法被发送时，将存储请求信号设置为有效，而在判断出包可以被发送时，将存储请求信号设置为无效。数据处理器在确认存储请求信号为有效时，使缓冲存储器存储已编码数据。在确认存储请求信号为无效，并且已编码数据被存储在缓冲存储器中时，数据处理器从缓冲存储器中读取已编码数据，并将所读取的已编码数据发送到包发生器。在确认存储请求信号为无效，且已编码数据没有被存储在缓冲存储器中时，数据处理器从编码器中接收已编码数据，并将所接收的已编码数据发送到包发生器。
文档编号H04N7/26GK101325699SQ200810110858
公开日2008年12月17日 申请日期2008年6月13日 优先权日2007年6月13日
发明者小川雅裕, 永田太一, 清水美菜子 申请人:松下电器产业株式会社