数据及图像编码之方法与系统的制作方法

专利名称：数据及图像编码之方法与系统的制作方法
技术领域：
本发明大体上关于数据及图像编码。更特定言之，是可应用本发明作为一种用以提供数据或图像信息或其标头信息之保护的错误校正方案，诸如通过在数据或图像编码之应用层处应用一错误校正方案。
背景技术：
包括音频及图像数据之交换的多媒体通信在我们的日常生活中扮演着重要的角色。此数据的交换可发生于有线或无线网络或媒体。例如，实时图像服务可在一个或多个无线网络提供实时(on-the-fly)图像数据。然而，某些传输选项(尤其系无线者)可能由于各种因素(诸如衰退信道及多路径效应)产生之数据损失、信号噪声或信号干扰，而对于提供精确或适当之数据传输造成挑战。例如，“噪杂”信道可劣化传输数据且在被发送之数据中产生无法预测的错误。
业经提出某些机制以改进数据传输的精确度或减少噪声及其它不符合需求之干扰中的影响。例如，前向错误校正(FEC)方案将冗余位引入在发送端的欲发送数据中，以允许在接收端处之译码器使用这些冗余位以在传输期间校正发生之错误。FEC的错误校正能力可取决于嵌入系统中之冗余总数。因此，错误校正能力可取决于可用于数据传输之位元速率，且信道干扰仍可能明显地影响发送的数据。
有关压缩图像位元流之多媒体通信可能对错误极为敏感，因为信息的任何损失可影响重建或已译码之图像数据。已知之错误恢复(error-resilience)方法使用不同方法来减少传输错误。例如，一些方法集中于使用空间或时间冗余以减少劣化宏区块(MB)的错误。其他方法则对于已编码位元流之标头信息提供数据保护，诸如HEC(标头延伸码)技术，其在片或封包层复制某些标头信息。而某些技术(包括不相等错误保护(UEP)技术)可提供保护数据的分离区段之不同电平，以确保数据可适当地译码，用于提供可接受画质之图像信息。例如，可提供更可靠之子通道、更强的FEC码、或更频繁的再传输。然而，现存网络、传输通信协议以及传输系统可能不支持UEP或某些错误减少技术。因此，这样的技术可能具有较低之应用价值或可能明显地增加应用成本。
由于现存方法或系统之某些限制，故需求一种改进信息或图像的编码方法与系统，可保护数据或减少传输错误影响之图像编码方法或系统。

发明内容
符合本发明之范例可提供一种图像编码方法。该方法可包括接收一组用于传输之图像数据；自该图像数据识别至少两个分区，第一分区含有致能译码该图像数据之译码信息的至少一部分，且第二分区含有指示图像内容之信息的至少一部分；编码该第一分区之至少一部分于系统之应用层，以产生分区保护信息，该分区保护信息允许当错误发生在该第一分区数据中时恢复第一分区数据；及发送该第一分区、该分区保护信息、及该第二分区。
符合本发明之范例亦可提供一电脑系统，包括存储器，以存储指令，以及处理器，设定为处理指令。该处理器特别系处理指令以进行步骤包括接收一组用于传输之数据；自该数据识别至少两个分区，第一分区，含有致能译码该图像数据之译码信息的至少一部分，且第二分区，含有指示图像内容之信息的至少一部分；编码该第一分区之至少一部分于系统之应用层，以产生分区保护信息，该分区保护信息允许当该第一分区数据发生一错误时恢复第一分区数据；及传输接口，其系用于发送该第一分区、该分区保护信息、及该第二分区。
符合本发明之范例亦可提供一种数据编码方法。该方法可包括接收一组用于传输之数据；自该数据识别至少两个分区，第一分区含有致能译码该数据之译码信息的至少一部分，且第二分区含有指示该数据内容之信息的至少一部分；编码该第一分区之至少一部分，以产生分区保护信息，该分区保护信息允许当该第一分区数据发生错误时恢复该第一分区数据；及发送该第一分区、该分区保护信息、及该第二分区。
当并同附图阅读以上详细说明时，即可更佳了解本发明之这些及其它元件。


当并同各附图而阅读时，即可更佳了解本发明之前述摘要以及上文详细说明。为达本发明之说明目的，各附图中绘有现属较佳之各具体实施例。然应了解本发明并不限于所绘之精确排置方式及设备装置。在各附图中图1表示应用数据分区及不相等错误保护于分离分区之范例。
图2a表示在符合本发明之范例之一范例流程图。
图2b表示在符合本发明之范例中的应用层处应用错误校正编码之范例。
图3表示需要满足符合本发明之范例中的BER之不同电平的信道编码之不同编码率的范例。
图4表示在符合本发明之范例中译码范例序列之逐格亮度PSNR值相对于时间变化之范例。
图5是表示平均PSNR值相对于位元速率之范例性图表，其中，在符合本发明之范例中的图像位元流已译码。
具体实施例方式
现将参照本发明之具体实施例，其范例显示于附图中。
符合本发明之范例提供用于编码数据(诸如图像数据)之方法及系统，其可对付有线或无线网络不符合需求之信道效应或减少接收数据的劣化。在一范例中，可在一系统之应用层处应用错误校正或数据保护技术，例如在电脑系统、无线图像系统或图像传输系统上执行应用程序。在一些范例中，这样的技术可应用在应用层处，无须修改发送多媒体或图像数据或位元流(bitstream)之标准步骤或语法。例如，含有图像或其它信息的编码位元流可通过无线网络发送，且提供可接受或适当的数据，用于在接收系统处重建该信息或恢复被错误影响的信息。在一些范例中，可应用错误校正码以保护一段图像、音频或多媒体信息的标头信息。例如，可将错误校正码嵌入含有图像、音频或多媒体数据之原始流中，其系通过将其置于一分离区段中，诸如在MPEG-4(动画专家组，规格4)标准下提供之「 user defined data」字段，或通过使用数据隐藏技术。在一些范例中，在应用层处应用错误校正编码可避免在保护欲发送之数据时需要复杂系统。
用于传输之多媒体(包括图像、音频或其它信息)可依各种方式编码以压缩数据或提供适当精确度用于传输。例如，图像编码可使用可变长度码(VLC)方案以压缩图像信息。然而，若传输错误在压缩图像位元流中劣化VLC符号，在接收系统处的译码器可能无法识别正确符号。且在无法识别之符号后的数据可能由于在一群VLC符号中之相互相依性亦变得不可用。在一些范例中，若错误发生在指示译码一组数据之位元流的标头或一区段中时，其影响将因为妨碍有关该标头或区段之整个位元流的解码而明显。
在一些范例中，图像编码可针对重建发送数据可能需要的位元流之标头信息或某些区段强调错误减少。例如，可应用数据分区以将一图像位元流分成两个以上之分区，例如具有两个分区，其中第一分区含有用于各宏区块之编码模式信息，连同INTRA区块之DC系数或INTER区块的运动向量，且第二分区含有剩余数据。例如，可应用更多努力供保护译码图像帧必需之信息。图1显示将数据分区及不相等错误保护应用于分离分区的范例。参考图1，三种电平之重要性，如表示于应用层之电平105、110以及115可指派予用于传输之一或多个图像位元流中的不同类型之数据，且FEC冗余的不同电平、不同通道、不同ARQ(自动再传输请求；Automatic Retransmission Request)值或它们之结合亦可个别地应用于这样的不同类型之数据。例如，方框120、125以及130表示了在传输界面或系统电平应用不同电平之保护或不同电平之系统需求以保护具有不同电平之重要性的范例。
然而，取决于如何实施该技术，某些实施可能需要在现存系统、传输协议或所需位元速率中明显改变。例如，如图1所示，实行该方法所需的特定设计网络。且一些实施之有效性可取决于最新信道信息之可用性。在一些范例中，小量的冗余或数据保护信息可并入作为用于传输之原始信息的一部分，并且系统提供者可能视受保护数据为普通位元流的一部分。但识别该受保护数据之接收系统可能使用此信息来校正或恢复某信息，诸如已发送数据的图像标头信息或其它部分。
本发明的范例可包括保护或编码图像、音频、多媒体或其它数据之方法。图2a表示在符合本发明之范例之一范例流程图，例如，其一方法可包括接收一组数据，例如一组用于传输之图像数据或编码图像数据或图像流。在步骤142可从数据或图像数据中识别出两个以上的分区。例如，第一分区可含有译码信息之至少一部分，其致能译码该数据(例如图像或其它编码数据)。在图像流之情况下，第一分区可含有一图像流之标头或该标头的一部分。第二分区可含有该数据本身的内容，例如指示图像内容之信息或此信息的至少一部分。
为保护第一分区，在步骤142可将该第一分区或其至少一部分编码于系统之应用层以产生分区保护信息，当错误发生在该第一分区数据中时，其可允许第一分区数据的恢复。例如，若在一图像流的标头中发生某些错误，该分区保护信息可允许某些或所有受错误影响之标头信息恢复或重新配置。接着可发送第一分区、分区保护信息及第二分区，诸如在步骤143通过有线或无线网络发送到一个或多个数据接收系统。在一范例中，可结合第一分区、分区保护数据以及第二分区为一保护位元流，其可维持原有图像或数据的语法。
在一些范例中，识别两个以上分区及编码第一分区之至少一部分的操作，可在图像数据传输系统的应用层发生。此应用可避免修改传输标准或通信协议之需要，且简化图像系统的设计。在另一范例中，这样的操作可在图像数据到达图像数据传输系统的媒体存取控制(MAC)层前发生。此外，第一分区、分区保护信息、及第二分区可依类似原始数据语法之语法传输，诸如原始图像数据的语法。此技术可允许不支持或认识上述编码机制之接收系统仍能接收及译码发送数据。
可依各种方式实施第一分区编码之一部分的编码。例如，该编码可有关应用层错误校正编码，以产生应用层错误校正码作为该分区保护信息。在具有图像数据之一范例中，该编码可包括对于图像数据之标头信息产生错误校正码。在一些范例中，该编码可包括应用汉明(Hamming)码作为错误校正码。在编码图像位元流之范例中，第一分区、分区保护信息及第二分区可在一个图像位元流中发送。
因此，在一些范例中，可将诸如标头信息之图像位元流的关键信息置于一分离之分区中，且可应用错误校正码以保护此信息或其一部分。在一些范例中，在系统之应用层处实行此过程可避免需要复杂的系统。在错误校正编码后，分区保护信息或因为错误校正编码产生之冗余，可与图像信息结合或作为普通图像信息发送。图2b说明在应用层处应用错误校正编码之范例。参考图2b，诸如VOP-N(图像对象平面-N)之数据或图像宏区块(MB)的标头之重要数据，可用正向错误校正(FEC)码保护。并且该方法可仅使用单一运输及实体信道而无须额外之信道或需要最佳画质传输之通道。在一些范例中，此技术可减少或避免需要调整一些因子，例如FEC编码模式、传输功率、或ARQ(自动再发送请求)的数目，以增加重要信息的校正可能性。
在一些范例中，第一分区145a可仅包括图像标头信息或其一部分。因此，由于编码过程产生的额外分区保护信息受到限制。在将汉明码用作应用层中之错误校正方法的范例中，仅需要1kps之额外位元速率，用于特定之图像流。并且在一些范例中，由于汉明码之特征，编码操作不改变或影响原始标头信息。在各种范例中，分区保护信息可易于并入原始位元流中而无须修改现存标准之语法，包括在诸如MPEG-4(动画专家组，规格4)等标准下的图像编码/译码。
在一些范例中，分区保护信息、小量冗余可包括在使用数字水印或数据隐藏技术的位元流中。
同时，可将分区保护信息置于图像流之某些字段元或区段中，例如依据MPEG-4标准提供之「user defined_data」或其它字段中。在一些范例中，因为(例如通过汉明码)编码第一分区或其一部分不影响第一分区或其本身的标头信息，该分区保护信息可包括在依循其原始语法之图像数据或图像位元流中。在一些范例中，可包括分区保护信息作为第二分区145b或图像内容之一部分，包括作为替代图像数据之较不或最不重要位的某些数据。在一些其它的范例中，可将分区保护信息附加至第二分区或图像数据的末端。在其中遵循原始语法或类似语法之范例中，不支持所提出错误校正技术(例如应用层错误校正)之译码器仍可译码已编码的位元流。如上所述，方框145a与145b可包括第一分区、分区保护信息以及第二分区，可在应用150结合或编译为保护位元流。可使用不需定做设计之通用或一般网络传输位元流。并且应用如方框160所显示，在传输界面或系统电平具有平均或一般保护的系统需求。
范例性模拟已使用上述方法执行。在一些范例中，虽然应用该编码操作可能稍微增加若干百分比之数据总数(例如约1％或更少)，但传输速率可明显地减少，尤其在无线应用中，因为该传输需要较少的冗余或保护。例如从系统观点而言，应用层的信息可通过在实际传输发生前使用FEC编码或其它编码而进一步被保护。例如，在传输后，可根据图像译码器可忍受之位错误率(BER)，提供可接受图像数据之FEC冗余电平或信道编码的编码率。不严格的BER需求可导致信道编码所需冗余电平之减少。因为在一组接收到之图像数据中的某些数据系由分区保护信息所保护，故使BER需求较不严格、信道编码之编码率的减少或二者均变得可行。
例如，对于在10-3之BER(提供实时图像时相对较不严格的BER)处操作的图像译码器，标头信息经常会变成劣化，其导致在接收系统处严重降级之图片画质。且在发送图像位元流后，通常会需要10-4之BER以提供可接受的图片画质。反之，应用以上所示技术可为诸如用于图像译码程序中之标头信息的重要信息提供已改进的恢复。图3显示需要满足BER之不同电平的信道编码之不同编码率的范例。参考图3，其显示对应于三个不同编码率之三条曲线。对于约5分贝之噪声比，满足10-3的BER仅需8/9的编码率或12.5％之冗余率。且满足10-4之BER仅需2/3的编码率或50％之冗余率。在一些范例中，所建议之方法可节省所需的总传输位元速率或需要提供适当数据传输之冗余位的电平。
范例性模拟亦在可能发生于提供实时图像服务之范例性情节下实施。第一情节可发生在广播服务中，其中信道码编码器或图像编码器可能无法从一个或多个接收系统得到反馈，以调适其编码过程。因此，错误可能跟着时间而传播，直到在接收系统处之图像译码器接收到一新INTRA区块。第二情节考虑用于实时图像服务之反馈信道。例如，当一些数据或图片的传输由于某些信息(例如在图片标头)中错误之破坏而失效时，可通知信道码编码器或图像编码器。因此，信道码编码器或图像编码器可使用这些通知作为反馈信息且尝试减少或停止错误传播。
在一范例中，可将汉明码用作错误校正码以保护一组数据的某些信息，例如H.264图像位元流之标头信息。该标头信息可包括序列层标头、图片层标头、及片(slice)层标头。在一范例中，用以保护这些标头之冗余位总数约1kbps。错误可通过在10-3之BER处施加随机噪声以劣化两个范例性位元流而产生，其一具有标头保护而另一个不具有标头保护。可设定一些准则用于这样的范例性模拟。例如，可通过从最靠近之帧复制信息以取代已劣化的帧，并且在第一帧中的标头信息没有错误。若干图像序列可用于测试该系统效能。各序列皆可含有一些帧，诸如300帧且可编码为I-P-P-P-P-P...，其意味着该第一帧系帧内编码(intra-coded)而所有其它帧皆系帧间编码(inter-coded)。以下表1说明在上述情节1中画质值QP(量化参数；Quantization Parameter)＝28处具有/不具标头保护之峰值讯号噪声比(PSNR)。

例如，译码图像位元流之PSNR值可通过使用H.264参考软件JM9.6获得。如表1中所示，用于具有标头保护之各种序列的各种PSNR值，通常高于不具标头保护之各种序列的这些值。
大体上，因为两个邻近帧可能极不同，在具有已劣化标头后使用邻近帧之信息将会严重地劣化在快速移动序列中重建的图片。虽然在初始帧后之帧中的一些INTRA区块可允许恢复已劣化图片以稍微地改进PSNR效能，但这些INTRA区块仍无法补偿在一已劣化标头中之错误。并且这样的错误倾向于传播到所有后续帧且进一步使PSNR效能降级。图4说明随着译码范例序列进行之逐格亮度PSNR值之变化的范例。参考图4，不具有标头保护之序列的解碼可能使其PSNR效能随着时间明显地降级，而具有标头保护之序列的解碼可提供稳定及可接受的PSNR效能。
图5是表示平均PSNR值相对于位元速率之范例性图表，其中图像位元流在一范例中译码。参考图5，受保护的图像流可胜过不受保护之图像流达5分贝或更多。
对于具有反馈的系统而言，该反馈信道可通知图像译码器某些信息业已劣化且不应用作参考信息。可假设对译码器提供此信息之潜时可花费两帧的时间间隔。因此，任何之后的帧可能具有适当之参考并且可停止错误传播。以下表2显示在情节2时在画质值QP(量化参数)＝28处具有/不具标头保护之峰值讯号噪声比(PSNR)。如表2所示，用于具有标头保护之各种序列的各种PSNR值，通常高于不具标头保护之各种序列的这些值。

在一些范例中，可提供能执行数据编码或图像编码之系统以实施上揭方法。例如，该系统可包括输入接口，用于接收一组用于传输之图像数据。该系统亦可包括用于自图像数据识别至少两个分区的信息处理装置。尤其第一分区可含有致能译码该图像数据之译码信息的至少一部分，且第二分区可含有指示图像内容之信息的至少一部分。该系统亦可包括编码装置，其能编码该第一分区之至少一部分，以产生分区保护信息。该分区保护信息允许当错误发生在该第一分区数据中时，恢复第一分区数据。此外，该系统可包括传输接口，其系用于发送该第一分区、该分区保护信息、及该第二分区。
可以使用不同种类的系统实行上述的方法。例如，系统可以是电脑、处理器在多媒体传输或图像传输系统、专用硬件、处理器执行执行一组固件或软件指令、逻辑组合等。
如上所述，用于编码数据(例如图像数据)之方法可提供保护致能译码该数据(例如图像位元流的标头)之译码信息的至少一部分。在一范例中，可在应用层处应用错误校正编码。在易于错误的通道中，这样的方法可避免或减少标头信息错误，以在一些范例中允许已改进的图像译码。在一些范例中，这样的方法可免于需要修改现存标准之语法，并且可用各种技术在位元流中隐藏冗余位。此实施可提供与现存标准之兼容性。此外，可将这样的方法之范例应用于任何通信网路或传输环境中。
本发明之范例的上述内容，系供例示及说明之目的。其并非欲毫无遗漏或限制本发明为所披露之精确形式。基于以上的揭示内容，本文所述范例之许多变化及修饰对于所属技术领域的技术人员而言是显然可知的。本发明之范围仅由本申请之权利要求及其等效范围来定义。
另外，在说明本发明之代表性范例时，本说明书可将本发明之方法或工艺表示为特定之步骤次序。不过，由于该方法或工艺的范围并不限于本文所提出之特定的步骤次序，故该方法或工艺不应受限于所述之特定步骤次序。身为所属技术领域的技术人员当会了解其它步骤次序亦是可行的。所以，不应将本说明书所提出的特定步骤次序视为对权利要求的限制。此外，亦不应将有关本发明之方法的权利要求仅限制在以书面所载之步骤次序之实施，所属技术领域的技术人员易于了解，这样的次序亦可加以改变，并且仍涵盖于本发明之精神与范围内。
权利要求
1.一种图像编码方法，其特征是包含接收一组用于传输之图像数据；自该图像数据识别至少两个分区，第一分区含有致能译码该图像数据之译码信息的至少一部分，第二分区含有指示图像内容之信息的至少一部分；编码该第一分区之至少一部分于系统之应用层以产生分区保护信息，该分区保护信息允许当错误发生在该第一分区数据中时恢复第一分区数据；及发送该第一分区、该分区保护信息、及该第二分区。
2.根据权利要求1所述之方法，其特征是保护位元流包括该第一分区、该分区保护信息以及该第二分区系该图像数据的语法。
3.根据权利要求1所述之方法，其特征是发送该第一分区、该分区保护信息及该第二分区包含依该图像数据之语法发送该第一分区、该分区保护信息及该第二分区。
4.根据权利要求1所述之方法，其特征是该分区保护信息包含应用层错误校正码。
5.根据权利要求1所述之方法，其特征是编码该第一分区之部分包含产生用于该图像数据之标头信息的错误校正码。
6.根据权利要求1所述之方法，其特征是编码该第一分区的部分包括应用汉明码作为错误校正码。
7.根据权利要求1所述之方法，其特征是该图像数据包括图像位元流，且发送该第一分区、该分区保护信息及该第二分区包含在一个图像位元流中发送该第一分区、该分区保护信息及该第二分区。
8.根据权利要求1所述之方法，其特征是该错误在该第一分区数据之传输后发生在该第一分区数据中。
9.一种系统，其特征是该系统包含输入接口，其系用于接收一组用于传输之图像数据；数据处理装置，其系用以自该图像数据识别至少两个分区，第一分区含有致能译码该图像数据之译码信息的至少一部分，第二分区含有指示图像内容之信息的至少一部分；编码装置，其系能编码该第一分区之至少一部分于该系统之应用层以产生分区保护信息，该分区保护信息允许当错误发生在该第一分区数据中时恢复第一分区数据；及传输接口，其系用于发送该第一分区、该分区保护信息及该第二分区。
10.根据权利要求9所述之系统，其特征是是保护位元流包括该第一分区、该分区保护信息以及该第二分区系该图像数据的语法。
11.根据权利要求9所述之系统，其特征是该传输接口依该图像数据之语法发送该第一分区、该分区保护信息及该第二分区。
12.根据权利要求9所述之系统，其特征是该分区保护信息包含应用层错误校正码。
13.根据权利要求9所述之系统，其特征是该编码装置通过产生用于该图像数据之标头信息的错误校正码编码该第一分区之该部分。
14.根据权利要求9所述之系统，其特征是该编码装置通过应用汉明码作为错误校正码编码该第一分区的该部分。
15.根据权利要求9所述之系统，其特征是该图像数据包含图像位元流，且该传输接口在一个图像位元流中发送该第一分区、该分区保护信息及该第二分区。
16.根据权利要求9所述之系统，其特征是该错误在该传输接口发送该第一分区数据后发生在该第一分区数据中。
17.一种电脑系统，其特征是包含存储器，用以存储指令；以及处理器，设定为处理上述这些指令以进行步骤，包括接收一组用于传输之数据；自该数据识别至少两个分区，第一分区含有致能译码该数据之译码信息的至少一部分，第二分区包含指示数据内容之信息的至少一部分；编码该第一分区之至少一部分以产生分区保护信息，该分区保护信息允许当错误发生在该第一分区数据中时恢复第一分区数据；及发送该第一分区、该分区保护信息、及该第二分区。
18.根据权利要求17所述之系统，其特征是保护位元流包括该第一分区、该分区保护信息以及该第二分区系该图像数据的语法。
19.根据权利要求17所述之系统，其特征是发送该第一分区、该分区保护信息及该第二分区包含依该发送或接受数据之语法发送该第一分区、该分区保护信息及该第二分区。
20.根据权利要求17所述之系统，其特征是该分区保护信息包含应用层错误校正码。
全文摘要
本发明揭示一种图像编码方法。该方法可包括接收一组用于传输之图像数据；自该图像数据识别出至少二个分区，第一分区含有致能译码该图像数据之译码信息的至少一部分，且第二分区包含指示图像内容之信息的至少一部分；编码该第一分区之至少一部分于系统之应用层以产生分区保护信息，该分区保护信息允许当错误发生在第一分区数据中时恢复该第一分区数据；及发送第一分区、分区保护信息及第二分区。
文档编号H04N7/64GK1984332SQ20051013053
公开日2007年6月20日 申请日期2005年12月14日 优先权日2005年12月14日
发明者潘佳河, 李逸仙, 陈良基 申请人:财团法人工业技术研究院