用于发送运动图像数据的方法和通信设备的制作方法

专利名称：用于发送运动图像数据的方法和通信设备的制作方法
技术领域：
本发明涉及 一 种通过有线或无线网络分割并发送运动图像 数据的技术。
背景技术：
近年来，随着通信系统的发展，网络用户一般通过因特网 等通信线路观看运动图像。
通常，将称为"实时传输协议(real画time transport protocol, RTP)"的通信协议用于传送运动图像数据，特别是实况图像等 需要实时通信的运动图像数据。RTP是用于实时传送声音、运 动图或其它凄t据的协议。RTP协议由因特网工程任务组 (Internet Engineering Task Force, IETF)定义为请求注解(request for comments, RFC)l889和RFC1890。
虽然RTP协议不总是确保高的数据可靠性，但使用了用户 数据报协议/因特网协议(UDP/IP)等可以实现相对高的通信速 度的下层协议。在使用UDP/IP或其它这样的协议的情况下，这 些协议在实时通信和使用通信带时的效率方面有优势，但由于 其性质往往引起信息包丢失等错误。
作为对该问题的解决办法，已经论述了用于抑制错误发生 的技术。例如，由于网络路径上的路由器中的緩沖器溢出而出 现数据丢失，并且已经论述了用于通过将信息包发送间隔平均 化来减少数据丢失的技术。另外，从通信的观点已经提出了高 可靠性的通信线路。
然而，即使应用了这些技术，当实际地发生了网络拥挤等 时，难以将信息包丢失的发生率减少到零。日本特开平11-331839论述了 一种以帧为单位使用帧内位置信息来判断运 动图像数据的重要性水平、并且以重要性的递减顺序发送数据 来减少高重要性部分的信息包丟失的技术。
然而，判断每一帧中的数据的重要性水平的上述传统技术 依赖于对运动图像数据编码的方法或控制信息包的发送定时的 方法而未必是适当的。
具体地，网络上的数据发送往往依赖于信息包发送定时控 制的处理顺序而在特定的发送定时或在特定的发送位置丢失信 息包。因此，在运动图像数据的发送中，当基于帧内位置信息 判断数据的重要性水平并且以重要性水平的递减顺序发送数据 时，不能正确并连续地再现(reproduce)—个帧内的相同位置处 的两段或更多段数据。结果，可观察到错误部分。

发明内容
本发明涉及一种发送运动图像数据的方法，该方法考虑了 信息包丢失等发送错误对再现图像的影响。
根据本发明的一个方面， 一种用于发送运动图像数据的方 法，其中所述运动图像数据包括多个帧，并且每一帧被分割成 多段数据，所述方法包括基于所述多段数据中的每段数据的 特性对所述每段数据设置优先级；确定所述多段数据的发送顺 序，以根据所设置的所述优先级发送所述多段数据，其中，确 定具有相同优先级的多段数据的发送顺序，从而不以相同的发 送顺序发送连续帧中在相同位置处显示的数据；以及以所确定 的发送顺序发送所述多段数据。
根据本发明的另一个方面， 一种用于将运动图像数据分成 多个块并且按照块来发送所述运动图像数据的方法，其中所述 运动图像数据包括多个帧，并且每一帧被分割成多段数据，所述方法包括基于所述多段数据中的每段数据的特性对所述每 段数据设置优先级；确定发送顺序，使得设置成高优先级的数 据位于每个块中的预定位置；以及以预定的间隔按所确定的发 送顺序发送所述多个块。
根据本发明的另一个方面， 一种用于将运动图像数据分成 多个块并且按照块来发送所述运动图像数据的方法，其中所述 运动图像数据包括多个帧，并且每一帧被分割成多段数据，所 述方法包括如果一个块包括多段帧数据并且所述块中的所述 多段帧数据中的一段帧数据对应于所述帧的第 一位置，则用对 应于所述帧的所述第 一位置以外的位置的数据的发送顺序替换 对应于所述帧的所述第 一 位置的数据的发送顺序，从而在所述
据；以及根据替换后的发送顺序以预定的间隔发送所述多个块。 根据本发明的又一个方面， 一种发送运动图像数据的通信 设备，其中所述运动图像数据包括多个帧，并且每一帧被分割 成多段数据，所述通信设备包括设置单元，用于基于所述多 段数据中的每段数据的特性对所述每段数据设置优先级；确定 单元，用于确定所述多段数据的发送顺序，以根据由所述设置 单元设置的所述优先级发送所述多段数据，其中，确定由所述 设置单元设置成相同优先级的多段数据的发送顺序，从而不以 相同的发送顺序发送连续帧中在相同位置处显示的数据；以及 发送单元，用于以由所述确定单元确定的发送顺序发送所述多 段数据。
根据本发明的又一个方面， 一种将运动图像数据分成多个 块并且按照块来发送所述运动图像数据的通信设备，其中所述 运动图像数据包括多个帧，并且每一帧被分割成多段数据，所 述通信设备包括设置单元，用于对所述多段数据中的每段数据设置优先级；确定单元，用于确定发送顺序，使得由所述设 置单元设置成高优先级的数据位于所述每个块中的预定位置； 以及发送单元，用于以由所述确定单元确定的发送顺序按预定 的间隔发送所述多个块。
根据本发明的又一个方面， 一种将运动图像数据分成多个 块并且按照块来发送所述运动图像数据的通信设备，其中所述 运动图像数据包括多个帧，并且每一帧被分割成多段数据，所 述通信设备包括替换单元，用于如果一个块包括多段帧数据 并且所述块中的所述多段帧数据中的一段帧数据对应于所述帧 的第 一位置，则用对应于所述帧的所述第 一位置以外的位置的 数据的发送顺序替换对应于所述帧的所述第 一 位置的数据的发
的所述第一位置的数据；以及发送单元，用于根据由所述替换
单元替换后的发送顺序以预定的间隔发送所述多个块。
根据如下参照附图对典型实施例的详细描述，本发明的其
它特征和方面将变得显而易见。


包括在说明书中并构成说明书的一部分的附图示出本发明 的典型实施例、特征和方面，并与说明书一起，用来解释本发 明的原理。
图l是示出根据本发明的典型实施例的运动图像数据发送 设备的结构的例子的框图。
图2示出如何设置优先级的例子。
图3示出在将片段(slice)分割成多个信息包的情况下如何 设置优先级的例子。
图4示出如何控制信息包发送定时的例子。图5示出优先级和发送定时控制的结合。
图6示出优先级和发送定时控制的结合。
图7是示出在没有限制的情况下设置优先级时用于发送运 动图像数据的方法的处理的流程图。
图8是示出基于优先级设置的信息包发送处理的流程图。
图9是示出当结合优先级和发送定时控制时用于发送运动 图像数据的方法的处理的流程图。
具体实施例方式
下面将参照附图详细描述本发明的各种典型实施例、特征 和方面。
下面描述第一典型实施例。图l是示出根据本发明的第一典 型实施例的运动图像数据发送设备的结构的框图。
如图l中示出的，运动图像数据发送设备100包括运动图像 编码单元101、特性纟是耳又单元102、优先级i更置单元103、时序安 排(scheduling)单元104 、信息包生成单元105和信息包发送单元 106。运动图像数据发送设备100是用于发送运动图像数据的通 信设备，其中运动图像数据包括帧，并且每一帧被分割成多段 数据。
运动图 <象编码单元101基于例如第4代运动图4象专家组 (moving picture experts group phase 4, MPEG-4)系统对从摄像 机或网络照相机等运动图像输入单元10 7输入的运动图像数据 进行编码，以减少数据量。运动图像数据编码系统还可以是 MPEG-4之夕卜的MPEG國2或H. 264。
特性提取单元10 2每分割单位地提取由运动图4象编码单元 101编码的运动图像数据的特性。在本典型实施例中，分割单位 是片段。提取的特性包括每个分割单位(片段)的大小及每个分割单位的关于编码数据的结构信息。
关于编码数据的结构信息包括例如基于特定的宏块编码类
型获得的宏块的数量。在本典型实施例中，宏块是包括16x16 个像素数据的数据的单位。
宏块编码类型包括例如帧内宏块和帧间宏块。提取每个分 割单位的特性的特性提取单元102生成表示该特性的特性信息 109，并将生成的特性信息109送到优先级i殳置单元103。
优先级设置单元103基于数据的特性分别对多段数据设置 优先级。下面描述如何设置优先级。
时序安排单元10 4包括能够存储对应于至少 一 帧的数据的 緩沖器，并且基于由优先级设置单元103设置的优先级确定每个 分割单位的发送顺序来生成发送顺序信息。
信息包生成单元105基于特性信息109和发送顺序信息对编 码后的运动图像数据分包(packetize)。信息包发送单元106根据 发送顺序信息将由信息包生成单元105分包的数据发送到发送 路径108。由各种有线和无线网络作为发送路径108的典型例子。
接着，描述如何通过优先级设置单元103设置每个分割单位 的优先级以及如何通过时序安排单元104确定发送顺序。
在本典型实施例中，将运动图像数据分割成片段，并确定 片段的优先级和发送顺序。
在图2中，构成运动图像数据的一个帧(画面)200包括片段 1(201)到片段5(205)的五个片段。在这种情况下，如果每个片段 具有可以存储在 一 个信息包的大小，则关于由特性提取单元10 2
生成的分割大小的信息与片段大小相等。
另 一方面，如果片段具有不能存储在一个信息包的大小， 则特性提取单元10 2生成表示将片段分割到多个信息包的特性 信息109。首先，参照图2描述当每个片段具有可以存储在 一个信息包 的大小时如何i殳置优先级以及如何确定发送顺序。
在图2中，从片段1(201)到片段5(205)的五个片段中的每一 个分别具有206到210的宏块结构。在图2中，划上阴影线的宏块 表示帧内宏块。在这种情况下，在每个片段中的帧内宏块的数 量如下片段l: O个帧内宏块；片段2: 2个帧内宏块；片段3: 3个帧内宏块；片段4: 4个帧内宏块以及片段5: l个帧内宏块。 在实际的运动图像数据中，不包括帧内宏块的多个片段通常包 ^括在一个画面中。
在本典型实施例中，优先级设置单元103给予包括较大数量 的帧内宏块的分割单位(片段)较高的优先级。因此，如图2中示 出的，以片段4、片段3、片段2、片段5和片段1的优先级递减顺 序对这些片段排列优先级。
这里，帧内宏块指进行帧内编码的宏块。换言之，优先级 设置单元103基于是否由在另 一帧中的数据对构成分割后的运 动图像数据的每 一 个宏块进行编码来设置优先级。
如下是给予包括较大数量的帧内宏块的片段较高的优先级 的原因。例如，在运动图像中出现没有包括在预测编码所参照 的图像之中的新的对象的情况下，设置帧内宏块。
在这种情况下，当替代参照另一帧对数据编码，而不参照 另一帧对数据编码时，可以减少编码量。因此，当预测误差超 过基准值时，设置帧内宏块。
此外，当将帧内宏块用作预测编码的参照块时，如果参照 较低层，则预测误差通常小。因此，与其它宏块相比不太可能 在参照宏块序列中新设置帧内宏块。
更具体地，当由于任何发送错误导致帧内宏块没有到达接 收侧时，参照该帧内宏块的宏块在解码处理中引起错误。因此，与在其它宏块中相比，错误更容易传播。
因此，对包括较大数量的帧内宏块的分割单位(片段)设置 较高的优先级。在上述的例子中，基于帧内宏块的数量设置优 先级，但还可以基于在每个分割单位(片段)中帧内宏块的百分 比设置优先级。
在这种情况下，可以预先确定在每个分割单位中帧内宏块
的百分比(例如，30%或更多，或10%或更少)以及对应于百分比 的优先级。因此，可以有效率地对每个分割单位(例如，^L频信 息包)中具有不同数量的宏块的运动图像数据设置优先级。
另外，与其它宏块相比，帧内宏块具有较大的数据大小。
因此，可以给予包括大的平均大小的宏块的片段较高的优先级。
更具体地，优先级设置单元10 3可以基于分割后的数据的大 小设置优先级。因此，可以不参照宏块的类型设置优先级，从 而可以简化处理。
另夕卜，时序安排单元104确定发送顺序来以优先级的递减顺 序发送片段。然而，对于具有相同优先级的片段，时序安排单 元10 4确定发送顺序来以与光^H匕顺序不同的顺序发送片4殳。
换言之，时序安排单元104确定由优先级设置单元103给予 了相同优先级的多段数据的发送顺序，使得不以相同的发送顺 序发送连续帧中在相同位置处显示的多段数据，理由如下。
在由于网络拥挤等而发生信息包丟失的情况下，往往依赖 于信息包发送定时控制的处理顺序而在特定的发送定时或特定 的发送位置丢失信息包。
在分割并发送运动图像数据时，通常的运动图像数据发送 设备以预定的顺序发送数据，例如，在许多情况下以光栅化顺 序发送数据。因此，存在这样的风险由于信息包丢失而丢失 多个连续帧中的相同部分的数据。在本典型实施例中，例如，时序安排单元104随才几地确定具 有相同优先级的片4更的发送顺序来以与光4册化顺序不同的顺序 发送片段。结果，可以分散由于信息包丟失而导致的错误。
接着，参照图3描述当 一个片段具有不能存储在一个信息包 的大小时如何设置优先级以及如何确定发送顺序。在图3中，一 个帧(画面)包括片段1(301)到片段5(305)，并且由数据分割位置 306和片段之间的边界将帧分割成信息包。在这种情况下，将一 个片段数据分割成多个部分。
如图3中示出的，即使将每个片段分割成多个部分，也以片 段为单位设置优先级。同样对于发送顺序，确定发送顺序从而 连续地并整体地发送一个片段数据的多个部分。
该操作防止了如下的情况。当连续地丢失多个信息包时， 对 一 个片段数据的分散发送增加了数据被部分丟失的片段的数 量，并且因此，在解码中可能引起错误的片段的数量增加。
这里，在MPEG-4系统中，上述片l殳单位是由再同步标记 分割的视频信息包。更具体地，不考虑信息包的大小，而基于 在该分割单位中发生的信息包丢失不影响其它分割单位的再现 的单位(片段或^L频信息包)，设置优先级并且确定发送顺序。
这里，在一些情况下，再同步标记(表示数据再现位置的同 步信息)不包括在用于编码的MPEG-4系统中。在这种情况下， 优先级设置单元103对每一帧中的第一片段、即包括视频对象面 (VOP)头的分割数据设置最高优先级。
然后，如果表示数据再现位置的同步信息不包括在帧的第 一位置之外的部分，则时序安排单元104确定发送顺序从而以预 定的顺序发送与帧的第 一 位置相对应的数据。进行该操作是由 于，在处理不包括再同步标记的数据的情况下，VOP头包括对 帧进行解码的必要信息。接着，参照图8中的流程图描述根据本典型实施例的如何利 用优先级设置单元103设置优先级以及如何利用时序安排单元 104确定发送顺序。
在步骤S801(设置过程)中，优先级设置单元103基于由上述 的特性提取单元102生成的每个分割单位(片段)的大小信息和 编码后数据的结构对每个片段设置优先级。然后，处理进入到 步骤S802。更具体地，在步骤S801中，优先级i殳置单元103对 通过分割一个帧获得的多段数据中的每一个设置优先级。
在步骤S802中，时序安排单元104判断优先级设置单元103 是否对同一帧中的多个片段给予了相同的优先级。如果发现具 有相同优先级的多个片段(步骤S802中为"是")，则处理进入到 步骤S803。如果没有发现具有相同优先级的多个片段(步骤S802 中为"否")，则处理进入到步骤S804。
在步骤S803中，例如，时序安排单元104随才几地确定发送 顺序来以与光栅化顺序不同的顺序发送具有相同优先级的片 段。然而，在步骤S803中，可以不随机地确定发送顺序而根据 任何告见则来确定发送顺序。
在步骤S804(确定过程)中，时序安排单元104基于在步骤
定所有信息包的发送顺序并生成发送顺序信息。
更具体地，时序安排单元104在步骤S803和S804中进行如 下处理。时序安排单元104根据在步骤S801中i殳置的优先级确 定多段数据的发送顺序来发送数据。此外，时序安排单元104 确定具有相同优先级的多段数据的发送顺序/人而不以相同的顺 序发送连续帧中在相同位置处显示的数据。
然后，在步骤S805(发送过程)中，信息包生成单元105基于 生成的发送顺序信息生成信息包，并且信息包发送单元106将生成的信息包发送到发送路径108。更具体地，信息包发送单元106 根据在步骤S805中由时序安排单元104确定的发送顺序，将运 动图像数据发送到发送路径108。
如上所述，在本典型实施例中，在发送包括均被分割成多 段数据(片段)的帧的运动图像数据的情况下，确定每个分割单 位(片段)的发送顺序以根据对每个分割单位设置的优先级来发 送数据。另外，确定具有相同优先级的分割单位的发送顺序从 而不以相同的发送顺序发送连续帧中在相同位置处显示的数 据。
因此，可以减少很大程度上影响其它信息包的信息包丢失。 另外，可以分散由于信息包丢失所导致的错误。
接着，描述通过结合优先级和信息包发送定时控制来确定 发送顺序的第二典型实施例。
图4示出用于控制信息包发送定时的方法的几种模式 (pattern)。
在图4中，(A)"无发送控制"示出在没有进行特别的发送定 时控制的情况下将对应于 一 个帧的信息包连续地发送到网络时 的信息包发送间隔。
在图4中，(B)"发送控制l"示出通过利用不发送信息包时的 时间来均等地拓宽信息包发送间隔从而减少由于网络路径上的 路由器中的緩沖器溢出而导致的数据丟失的控制方法。
在图4中，(C)"发送控制2"示出在一个时钟定时一下(at a burst)发送多个信息包来使信息包发送间隔平均化的控制方法。
当结合优先级信息和图4中(A)到(C)中示出的发送控制方 法时，在第 一 典型实施例中描述的方法适用于例子(A)"无发送 控制"和(B)"发送控制1"。这是因为通过该方法，以优先级递 减顺序发送片断，并且确定具有相同优先级的数据的发送顺序从而不以相同的发送顺序发送连续帧中在相同位置处显示的数 据。
下面描述结合优先级和发送控制方法(C)"发送控制2"的方法。
在图5中， 一个帧(画面)500包括片段1到片段15。另外，块 1(502)、块2(503)和块3(504)中的每一个对应于在一个时钟定时 发送的数据。这时，同一块内的片段(例如，片段10和6)之间的 间隔短于不同块中的片段(例如，片段7和5)之间的间隔。
另外，在图5中优先级水平501的数量依赖于每个块中的片 段的数量。更具体地，基于作为发送控制基础的时钟定时、运 动图像数据的比特率或帧频、每一 帧的信息包数量以及一个帧 中片段的数量来确定在每个时钟定时要发送的片段的数量。然 后，基于已确定的在每个时钟定时要发送的片段的数量来确定 优先级水平的数量以判断优先级。
在本典型实施例中，如图5中示出的，在一个时钟定时发送 5个片段。优先级设置5个水平。另外，图5中的优先级501表示 将每个片段的优先级设置成A到E的5个水平。在本典型实施例 中，将最高的优先级水平定义为A,并且以A〉B〉OD〉E的递减 顺序来设置优先级水平。
在本典型实施例中，确定发送顺序以使得从每个块中的第 一片段起以优先级的递减顺序发送每个片段的数据。
更具体地，首先，确定发送顺序以使得设置成优先级水平 A的片段5、 10和15成为各个块(502、 503和504)中的第一片段。 然后，确定发送顺序以使得设置成优先级水平B的片段3、 6和8 成为各个块中的第二片段。对于其它片段，类似地确定发送顺 序以使得设置成较高优先级水平的片段更接近于每个块中第一 位置。如在第一典型实施例中的，例如，随机地确定具有相同送片段。
接着，参照图9描述用于确定图5中的优先级和发送顺序的 处理流程。使用如图1中示出的运动图像数据发送设备进行第二 典型实施例的处理。
首先，在步骤S901中，特性提取单元102基于关于帧的大 小或构成帧的片段的大小的信息，计算在一个帧的发送中信息 包的数量和一个帧的片段的数量。此外，特性提取单元102在步 骤S901中生成特性信息109。
在步骤S902中，特性提取单元102基于在步骤S901中获得 的信息来确定在每个时钟定时要发送的片段的数量和块发送间 隔(时钟定时的整数倍)。
另夕卜，特性提取单元102基于已确定的在每个时钟定时要发 送的片段的数量来确定优先级水平的数量。在本典型实施例中， 将优先级水平的数量设置成与在一个块中片段的数量相等。
在步骤S903 (设置过程)中，优先级设置单元103基于在步 骤S902中确定的优先级水平的数量和由特性提取单元102生成 的特性信息109，对每个片段设置优先级，并且处理进入到步骤 S904。换言之，优先级设置单元103对通过将一个帧分割成多 个部分而获得的每一个数据设置优先级。
在步骤S904中，时序安排单元104确定具有相同优先级的 多个片段的发送顺序来以与光栅化顺序不同的顺序发送片段。 在本典型实施例中，在步骤S904中，时序安排单元104确定在 哪个块中发送具有相同优先级的各片断。
例如，在图5中，如果按照光4册化顺序确定发送顺序，则以 如下的顺序发送设置为优先级水平A的片段(5、 10和15):片段 5(块1)、片段10(块2)和片段15(块3)。然而，在本典型实施例中，发送顺序与光栅化顺序不同，即发送顺序为片段10(块1)、片段 5(块2)和片段15(块3)。
然后，在步骤905 (确定过程)中，时序安排单元104基于设 置的优先级和在步骤S904中确定的发送顺序来确定所有片段 的发送顺序。
另外，在步骤S905中，时序安排单元104基于关于片段的
发送顺序和信息包发送定时的信息，来确定通过对片段进行分
包而获得的信息包的发送顺序和发送定时，以生成发送顺序信 自
然后，时序安排单元104将生成的发送顺序信息和编码后的 数据发送到信息包生成单元105。换言之，时序安排单元104在 步骤S904和S905中进行如下处理。时序安排单元104确定多段 数据的发送顺序以根据在步骤S903中设置的优先级来发送数 据。此外，时序安排单元104确定具有相同优先级的多段数据的 发送顺序以使得不以相同的发送顺序发送连续帧中在相同位置 处显示的数据。
在步骤S906(发送过程)中，信息包生成单元105基于发送顺 序信息和编码后的数据来生成信息包，并且信息包发送单元106 将信息包发送到发送路径108。更具体地，信息包发送单元106 在步骤S906中根据由时序安排单元104确定的发送顺序以一定 的间隔将多个块发送到发送路径108。
在本典型实施例中，特性提取单元102确定优先级水平的数 量，然后优先级设置单元103设置优先级。然而，本发明不限于 上述的方法。换言之，可以在不预先限制水平数量的情况下设 置优先级。可以基于在设置优先级之后确定的水平数量来调整 优先级。
接着，参照图6描述以与图5中不同的方式来确定优先级和发送顺序的另 一个例子。
在图6中，与图5中类似， 一个帧(画面)600包括15个片段， 但是在不限制水平数量的情况下设置每个片段的优先级601。类 似地，块1(602)、块2(603)和块3(604)中的每一个对应于在一个 时钟定时发送的数据。
这时，如通过优先级水平605表示的，确定片段的发送顺序 以使得从每个块的第一片段起以优先级的递减顺序发送片段。
更具体地，第一块中的第一片段是在帧中具有最高优先级 的片段(片断IO),并且具有第二优先级的片段(片段5)是第二块 中的第一片段。在以相同的方法确定了所有块的第一片段之后， 具有下一最高优先级的片段(片段6)成为第一块中的第二片段。 因此，根据由优先级水平6 0 5表示的优先级确定发送顺序。
在本典型实施例中，如在第一典型实施例中的，在MPEG-2 或MPEG-4系统的情况下，构成帧的片4殳单位是由再同步标记 分割的视频信息包。
另外，如在第一典型实施例中的，在本典型实施例中，不 考虑在进行分包时是否分割片段或视频信息包，而以片段或视 频信息包为单位设置优先级和发送顺序信息。
接着，参照图7描述用于确定如图6中示出的优先级和发送 顺序的处理流程。
首先，在步骤S701(设置过程)中，优先级设置单元103基于 由特性提取单元102生成的分割大小信息和关于编码后的数据 的结构信息来对每个片段设置优先级。如在第一典型实施例中 的，基于每个片段的帧内宏块的数量设置优先级。可以基于帧 内宏块的百分比和宏块的平均大小设置优先级。
更具体地，优先级设置单元103在步骤S701中对通过分割 构成运动图像数据的每个帧而获得的多段数据中的每一 个来设置优先级。这时，基于多段数据中的每一个的特性设置优先级。
在步骤S702中，时序安排单元104基于在步骤S701中设置 的优先级来判断是否对多个片段给予了相同的优先级。如果发 现具有相同优先级的片段(在步骤S702中为"是")，则处理进入 到步骤S703。如果没有发现具有相同优先级的片段(在步骤S702 中为"否")，则处理进入到步骤S706。
在步骤S703中，例如，时序安排单元104随才几地确定发送 顺序来以与光栅化顺序不同的顺序发送具有相同优先级的片 段。如果不以光栅化顺序发送具有相同优先级的片段，则还可 以不随机地确定发送顺序而以任何其它方式确定发送顺序。
另一方面，在步骤S704中，与对每个片段设置优先级的操 作并行地，特性提取单元10 2基于关于帧大小或构成帧的片段的 大小的信息来计算在 一个帧的发送中信息包的数量和每一 帧的 片段的数量。然后，在步骤S705中，特性提取单元102基于在 步骤S704中获得的信息确定在每个时钟定时要发送的片段的 数量以及块发送间隔(时钟定时的整数倍)。
在步骤S706(确定过程)中，时序安排单元104基于关于片段 的发送顺序和信息包发送定时的信息，来确定通过对片段进行 分包而获得的信息包的发送顺序和发送定时，以生成发送顺序 信息。
然后，时序安排单元10 4将发送顺序信息和编码后的数据发 送到信息包生成单元105。更具体地，时序安排单元104在步骤 S703和S706中进行如下处理。时序安排单元104确定多段数据 的发送顺序以使得根据在步骤S701中设置的优先级来发送数 据。此外，时序安排单元104确定具有相同优先级的多段数据的 发送顺序以使得不以相同的发送顺序发送连续帧中在相同位置 处显示的数据。然后，在步骤S707(发送过程)中，信息包生成单元105基于 在步骤S706中确定的发送顺序来生成信息包，并且信息包发送 单元106将生成的信息包发送到发送路径108。更具体地，信息 包发送单元106基于由时序安排单元104确定的发送顺序以一定 的间隔将多个块发送到发送路径108。
在本典型实施例中， 一个块可以包括多段帧数据。此外， 如果块中的多段数据包括对应于帧的第 一位置的数据，则时序 安排单元104在步骤S706中才丸行如下的处理。用不对应于帧的 第 一位置的数据的发送顺序替换对应于帧的第 一位置的数据的 发送顺序，以使得对应于帧的第 一位置的数据位于块的第 一位 置。
更具体地，如果一个块包括多段帧数据并且一个块中的多 段数据的至少 一个对应于帧的第 一位置，则如下来替换数据位 置。用不对应于帧的第一位置的数据的发送顺序替换对应于帧 的第 一位置的数据的发送顺序，以使得对应于帧的第 一位置的 数据进入块的预定发送顺序。
在本发明的典型实施例中，对于各帧的每个分割单位，通 过比较帧内宏块的数量、帧内宏块的百分比和宏块的平均大小 来设置优先级，但本发明不限于此。
例如，可以预先设定分割单位中帧内宏块的数量和相对应 的优先级之间的关系，并且优先级设置单元103可以基于帧内宏 块的数量和预先设定的优先级信息或者这两者的结合来设置优 先级。
另外，在本发明的典型实施例中，以片段(视频信息包)为 单位来确定优先级和发送顺序，但本发明不限于此。更具体地， 例如，可以基于多个片段(视频信息包)来确定优先级和发送顺 序。在本发明的典型实施例中，如果编码系统是MPEG-4并且 不包含再同步标记，则时序安排单元104用对应于帧的第 一位置 以外的位置的分割数据来替换包括第 一 片段的分割数据，以使 得包括第 一 片段的分割数据位于块中的预定位置。
另外，在本发明的典型实施例中，用对应于帧的第一位置 以外的位置的分割数据来替换包括第 一 片段的分割数据，以使 得包括第一片段的分割数据成为块中的第一位置。结果，可以 减少丢失包括对帧进行解码所需的信息的V O P头的可能性。
可以由如下结构实现本发明。将存储了实现上述典型实施 例的功能的软件的程序代码的存储介质提供给系统或设备。然 后，系统或设备的计算机(中央处理单元(CPU)或微处理单元
在这种情况下，从存储介质读取的程序代码实现上面的典明。
用于提供程序代码的存储介质的例子包括软盘、硬盘、光 盘、磁光盘、紧凑盘只读存储器(CD-ROM)、可记录CD(CD-R)、 磁带、非易失性存储卡、只读存储器(ROM)和数字多功能盘 (DVD)。
本发明不限于计算机读取并执行程序代码来实现上面的典 型实施例的功能的结构。换言之，还可以通过在计算机上运行 的操作系统(os)基于程序代码的指令执行部分或全部实际处理
的处理来实现本发明的上述典型实施例的功能。
另外，本发明还包括将从存储介质读取的程序代码写入到 插入到计算机的功能扩展板或连接到计算机的功能扩展单元的
存储器中，并且由设置在功能扩展板或功能扩展单元中的CPU
根据程序的指令进行部分或全部实际处理来实现上面的典型实施例的功能的结构。
尽管参考典型实施例说明了本发明，zf旦是应该理解，本发 明不局限于所公开的典型实施例。所附权利要求书的范围符合 最宽的解释，以包含所有这样的修改以及等同结构和功能。
权利要求
1. 一种用于发送运动图像数据的方法，其中所述运动图像数据包括多个帧，并且每一帧被分割成多段数据，所述方法包括基于所述多段数据中的每段数据的特性对所述每段数据设置优先级；确定所述多段数据的发送顺序，以根据所设置的所述优先级发送所述多段数据，其中，确定具有相同优先级的多段数据的发送顺序，从而不以相同的发送顺序发送连续帧中在相同位置处显示的数据；以及以所确定的发送顺序发送所述多段数据。
2. 根据权利要求l所述的方法，其特征在于，所述数据包 括具有预定数量的像素数据的宏块，并且所述方法还包括基于是否使用另 一帧中的数据而对所述宏块进行编码来设 置优先级。
3. 根据权利要求l所述的方法，其特征在于，还包括基于所述多段数据中的每段数据的数据大小来设置优先级。
4. 根据权利要求l所述的方法，其特征在于，还包括确定发送顺序，使得如果在构成所述运动图像数据的每一 帧的第 一 位置以外的任何位置不包括表示数据的再现位置的同 步信息，则以预定顺序发送所述多段数据中对应于所述每 一 帧 的所述第一位置的数据。
5. —种用于将运动图像数据分成多个块并且按照块来发送 所述运动图像数据的方法，其中所述运动图像数据包括多个帧， 并且每一帧被分割成多段数据，所述方法包括基于所述多段数据中的每段数据的特性对所述每段数据设 置优先级；确定发送顺序，使得设置成高优先级的数据位于每个块中的预定位置；以及以预定的间隔按所确定的发送顺序发送所述多个块。
6. —种用于将运动图像数据分成多个块并且按照块来发送 所述运动图像数据的方法，其中所述运动图像数据包括多个帧， 并且每一帧被分割成多段数据，所述方法包括如果一个块包括多段帧数据并且所述块中的所述多段帧数 据中的 一段帧数据对应于所述帧的第 一位置，则用对应于所述 帧的所述第 一位置以外的位置的数据的发送顺序替换对应于所 述帧的所述第 一 位置的数据的发送顺序，从而在所述块中以预 定的发送顺序发送对应于所述帧的所述第一位置的数据；以及根据替换后的发送顺序以预定的间隔发送所述多个块。
7. 根据权利要求6所述的方法，其特征在于，还包括确定发送顺序，使得对应于所述每 一 帧的所述第 一 位置的 数据位于所述块的第 一 位置。
8. —种发送运动图像数据的通信设备，其中所述运动图像 数据包括多个帧，并且每一帧被分割成多段数据，所述通信设 备包括设置单元，用于基于所述多段数据中的每段数据的特性对 所述每段数据设置优先级；确定单元，用于确定所述多段数据的发送顺序，以根据由 所述设置单元设置的所述优先级发送所述多段数据，其中，确 定由所述设置单元设置成相同优先级的多段数据的发送顺序， 从而不以相同的发送顺序发送连续帧中在相同位置处显示的数 据；以及发送单元，用于以由所述确定单元确定的发送顺序发送所 述多段数据。
9. 一种将运动图像数据分成多个块并且按照块来发送所述 运动图像数据的通信设备，其中所述运动图像数据包括多个帧， 并且每一帧被分割成多段数据，所述通信设备包括设置单元，用于对所述多段数据中的每段数据设置优先级； 确定单元，用于确定发送顺序，使得由所述设置单元设置成高优先级的数据位于所述每个块中的预定位置；以及发送单元，用于以由所述确定单元确定的发送顺序按预定的间隔发送所述多个块。
10. —种将运动图像数据分成多个块并且按照块来发送所 述运动图像数据的通信设备，其中所述运动图像数据包括多个 帧，并且每一帧被分割成多段数据，所述通信设备包括替换单元，用于如果一个块包括多段帧数据并且所述块中 的所述多段帧数据中的 一段帧数据对应于所述帧的第 一位置， 则用对应于所述帧的所述第 一位置以外的位置的数据的发送顺 序替换对应于所述帧的所述第一位置的数据的发送顺序，从而置的数据；以及发送单元，用于根据由所述替换单元替换后的发送顺序以 预定的间隔发送所述多个块。
全文摘要
本发明提供一种用于发送运动图像数据的方法和通信设备，其中，所述运动图像数据包括多个帧，并且每一帧被分割成多段数据，所述方法包括基于所述多段数据中的每段数据的特性对所述每段数据设置优先级；确定多段数据的发送顺序以根据设置的优先级发送所述多段数据，其中，确定具有相同优先级的多段数据的发送顺序，以使得不以相同的发送顺序发送连续帧中在相同位置处显示的数据；以及以所确定的发送顺序发送所述多段数据。
文档编号H04N7/24GK101426133SQ20081017159
公开日2009年5月6日 申请日期2008年10月29日 优先权日2007年10月29日
发明者强矢亨 申请人:佳能株式会社