专利名称：视频图像编码数据的显示方法、设备和通信系统的制作方法
技术领域：
本发明涉及用于显示通过现有的有线或无线网络发布的视频图像编码数据的技术。更具体地，本发明涉及能够隐藏由于对要在显示设备上显示的视频进行传送中的错误而引起的图像质量劣化的方法、设备及和通信系统。
背景技术：
近年来，随着高速数据通信技术的发展，可以通过现有网络向使用该网络的用户传送或从使用该网络的用户接收诸如视频图像数据的大量数据。然而，大量数据的传送和接收增大了业务量，允许一些网络用户占用网络资源。该状况使得所有的网络用户难以享受网络资源。因此，通信运营商、服务提供商等对每个传输信道的带宽进行限制，并且由此实现用于防止网络资源被一些网络用户占用的操作。同时，随着数字信号处理技术的发展，为了使得能够使用受限带宽的传输信道来进行更高效的数据传输，已经对视频压缩技术进行了积极的研究。运动-JPEG、运动-JPEG2000、H264等公知为视频压缩技术，其中尽管压缩(编码)了要传送的每个图像帧，为了在监视器等上显示视频图像，接收机对经压缩的图像帧进行解码。然而，在使用网络的视频图像发布服务中，由于通信质量等的劣化而引起的传输错误频繁发生。在此情形下，由接收机再生的监视器上的视频中出现区块噪声等，造成明显的图像劣化。下述专利文献I至3公开了如下技术即使在视频图像发布服务中出现了传输错误时，也通过执行用于将视频图像数据从发射机侧重传到接收机侧的重传处理、以及对未被成功接收到的视频图像数据的错误恢复处理，来尽可能地防止在再生视频图像数据时的图像质量的劣化。引用列表专利文献专利文献I :日本PCT申请的翻译No. 2007-519338 专利文献2 :日本专利申请特开No. 2007-211511专利文献3 :日本专利申请特开No. 2008-20359
发明内容
本发明要解决的问题发明人已经研究了用于显示视频图像编码数据的常规技术，尤其是错误补偿技术(也称为错误隐藏技术)，并且结果，已经发现了如下的问题。也就是，上述专利文献I至3中描述的技术主要意在即使在传送/接收视频图像编码数据时出现了传输错误时，也通过执行重传处理或错误恢复处理(错误修正、通过帧间预测的补偿等)以及其他图像复原处理，来尽可能地防止要在监视器上显示的视频图像的质量劣化。然而，当最终无法复原视频图像时，在监视器等上显示具有劣化的图像质量的发布的视频图像。结果，监视器上的视频中出现区块噪声等而使得观察者识别出明显的图像劣化。具体地，当传送/接收实际的视频图像编码数据时，数据变得劣化得超过可以对应的范围。因此，不幸地是，无法避免所显示的图像的质量劣化。本发明是为解决如上所述的问题而开发的。本发明的目的在于，提供一种用于视频图像编码数据的显示方法、设备和通信系统，该显示方法、设备和通信系统可以使用图像复原处理来尽可能地避免视频图像数据再生时图像质量劣化的出现，并且同时对观察者隐藏由于传输错误而引起的所显示的视频的图像质量劣化。解决问题的手段通常，已知在具有特定水平或更高水平的帧速率的视频图像数据的质量劣化时，对于观察者而言，与帧速率的降低相比，观察者更容易识别出图像质量本身的劣化。本发明是基于观察者的这样的视觉特性来实现的，并且本发明能够在尽可能地执行重传处理、错误恢复处理以及其他图像复原处理的同时，在不使观察者识别出所显示的视频质量劣化的 情况下，有效地隐藏由于传输错误所引起的数据缺失等。更具体而言，根据本发明的通信系统包括诸如连接到网络的服务器的接收装置、以及诸如终端设备的接收装置，并且该通信系统对视频图像编码数据进行处理，该视频图像编码数据由多个压缩图像帧的编码数据构成并且通过预定的传输装置来发布。具体地，由接收装置实现的显示方法(根据本发明的视频图像编码数据的显示方法)具有接收步骤，该接收步骤顺序地接收要递送的多个图像帧的编码数据；选择步骤，该选择步骤从所接收到的多个图像帧中的每单位时间要显示的多个目标图像帧当中，顺序地选择要解码的图像帧；解码步骤；以及显示步骤。当对视频图像编码数据进行显示时，本发明可以单独应用，或者与常规错误隐藏技术相结合地应用。选择步骤对于每单位时间要显示的并且以预定的间隔配置的目标图像帧的编码数据中的每一个，计算与由于传输错误所引起的缺失数据相对应的数据缺失率(错误确定)，并且然后基于所获得的计算结果来选择目标图像帧中的要解码的目标图像帧。解码步骤仅对在选择步骤中所选择的目标图像帧的编码数据进行解码。因此，丢弃在选择步骤中没有被选择的目标图像帧(因为这些目标图像帧的数据质量劣化到了特定程度或更低，因此不对这些目标图像帧进行解码)。显示步骤在基于目标图像帧的数目来调整帧速率的同时，使得预定显示设备显示在解码步骤中解码的目标图像帧。上述的本发明可以通过在调整帧速率的同时使得预定的显示设备显示特定质量或以上的图像帧，来有效地隐藏显示的视频的图像质量劣化。此外，在结合常规错误隐藏技术来使用根据本发明的显示方法时，甚至是作为错误确定的结果而通常不被解码的目标帧也可以通过使常规错误隐藏技术执行错误恢复处理来在容许范围内进行解码。在此情形下，可以减少要丢弃的视频图像帧的数目，进而提高本发明的隐藏效果。优选的是，根据本发明的视频图像编码数据的显示方法在完成对目标图像帧的编码数据的接收之前，请求重传包括在所接收到的编码数据中的缺失数据。如果可以通过发送对于消除缺失数据的重传请求来接收可解码的数据，则没有必要执行图像复原处理，或者没有必要确定是否丢弃目标图像帧。这是因为只要接收到可解码的数据就可以最终减少缺失数据的数目。通常，以分组为单位传送/接收单个图像帧；然而，可以基于例如接收到目标图像帧的最后的分组的时间、接收到下一个图像帧的第一分组的时间、超时的时间来确定“完成目标图像帧的编码数据的接收”的时间。而且，优选地，在发布被调度以进行传送的其它编码数据之前，发布与请求被重传的缺失数据相对应的编码数据。这是因为当在重传与请求被重传的缺失数据相对应的编码数据(在其发布之前可以解码的正常编码数据)中存在延迟时，在要对后续图像帧执行解码处理中引起延迟。根据本发明的视频图像编码数据的显示方法中的选择步骤可以基于数据缺失率的计算结果以及所接收到的数据的连续性，来从目标图像帧中选择要解码的目标图像帧。即使编码数据具有在容许范围外的数据缺失率，只要接收到的数据的连续性保持处于特定水平，就能够借助于相同帧的其它接收到的数据或帧间预测来获得足以隐藏或补偿缺失数据的信息。根据本发明的视频图像编码数据的显示方法中的选择步骤还可以请求重传不是解码的对象的目标图像帧中的至少任何一个。即使当目标图像帧要被废弃时，有时根据其图像特性，其也适用于发出重传请求，直到数据缺失率再次落入容许范围内。当在显示步骤中调整帧速率时，根据本发明的用于视频图像编码数据的显示方法在不改变每单位时间要显示的目标图像帧的时间轴的位置的情况下，仅丢弃在选择步骤中没有被选择的目标图像帧。然而，在选择步骤中连续丢弃多个图像帧扩展了在要显示的目 标图像帧之间的帧间隔，使得观察者识别出目标图像帧被间歇性地显示。当在此种情形下调整帧速率时，优选地，以要显示的目标图像帧之间的帧间隔为恒定的方式，在单位时间内均等地配置在解码步骤中解码的目标图像帧。如上所述，因为要显示的每个目标图像帧的质量根本不会或难以由于帧速率调整而变得劣化，所以可以通过利用观察者的视觉特性来有效地隐藏要显示的视频质量的劣化。根据本发明的视频图像编码数据的显示方法可以通过比较目标图像帧中的相邻的目标图像帧来检测像素移动，并且对其中检测到像素移动的目标图像帧的帧数据中的空间区域执行用于确定选择步骤中的选择基准值的加权。其中检测到像素移动的空间区域是可能由观察者识别的区域；因此，优选地尽可能地防止要显示的目标图像帧被丢弃。因此，优选的是，在选择基准值之间进行区分，使得其中检测到像素移动的目标图像帧的选择基准值比其它目标图像帧的选择基准值更低。在根据本发明的用于视频图像编码数据的显示方法中，在接收步骤中接收到的目标图像帧的编码数据中的每一个都包括根据优先级顺序布置的多个类型的信息。另外，以多个类型的信息的优先级的降序来顺序地发布目标图像帧的每一个的编码数据。当将单个图像帧划分成多个传输分组时，优先地传送高度重要(对于图像解码的具有高度贡献)的信息项，提高了恢复该数据的可能性。优先级的顺序是，例如，图像质量、分辨率、色彩分量、位置(空间区域)等的顺序，这是由发射机侧预先确定的。根据本发明的显示设备是用于实现如上述构成的视频图像编码数据的显示方法的设备，并且至少具有输入/输出单元、存储器、控制器以及显示单元。具体而言，输入/输出单元通过预定的传输装置来导入视频图像编码数据，该视频图像编码数据由多个压缩图像帧的编码数据构成。存储器暂时存储通过输入/输出单元所导入的视频图像编码数据。控制器执行如上述构成的视频图像编码数据的显示方法(根据本发明的用于视频图像编码数据的显示方法)。显示单元根据通过控制器调整的帧速率来顺序地显示解码的目标图像帧。通过以下给出的详细说明及附图将更充分地解本发明，以下给出的详细说明及附图仅通过说明的方式给出，并且不应认为是对本发明的限制。
根据以下给出的详细说明，本发明的其他应用范围将变得显而易见。然而，应当理解，详细说明和具体示例在指示本发明的优选实施例时，仅通过说明的方式给出，因为根据该详细说明，本发明的范围内的各种改变和修改对于本领域技术人员来是显而易见的。本发明的效果根据本发明的用于视频图像编码数据的显示方法、设备和通信系统可以在执行用于当再生视频图像数据时尽可能地防止图像质量劣化的错误恢复处理等的同时，仅丢弃劣化的图像帧，并且在调整帧速率的同时，使得预定的显示设备顺序显示解码的图像帧。因此，本发明可以在最小化要丢弃的劣化图像帧的数目的同时，有效地隐藏显示的视频的质量劣化。
图I是用于示出根据本发明的用于实现视频图像编码数据的显示方法的实施例的系统构成(根据本发明的通信系统)的示例的示意图；图2是图I中示出的终端设备(根据本发明的显示设备)的具体结构的视图；图3是用于示出要显示的视频图像编码数据的结构的视图；图4是用于示出根据本发明的根据视频图像编码数据显示方法的实施例的主要步骤的流程图；图5是根据本发明的用于示出在视频图像编码数据显示方法中废弃确定处理的流程图；图6是根据本发明的用于示出在视频图像编码数据显示方法中的加权步骤的视图；图7是根据本发明的用于示出在视频图像编码数据显示方法中的帧速率调整的第一示例的视图；以及图8是用于示出根据本发明的在视频图像编码数据显示方法的帧速率调整的第二示例的视图。附图标记列表10网络；20服务器；30终端设备(显示设备)；300信息处理器；310、340输入/输 出单元(I/O) ；320控制器；以及400显示监视器。
具体实施例方式在下文中，参照图I至图8来详细地说明根据本发明的用于视频图像编码数据的显示方法、设备及通信系统的实施例。在各视图中，相同的附图标记用于解释对应的元素；因此相应地省略重复的解释。图I是用于示出根据本发明的用于实现视频图像编码数据的显示方法的实施例的系统构成(根据本发明的通信系统)的示例的示意图。在图I中所示的通信系统中，从作为视频图像编码数据的传输装置的服务器20将本发明中的要显示的视频图像编码数据通过网络10发布到作为视频图像编码数据接收装置的每个终端设备30(在该视图中的终端A及终端B)，并且该视频图像编码数据由多个压缩图像帧的编码数据来构成。在图I所示的通信系统中，连接到网络10的终端设备中的任何一个用作内容发布服务器，并且其它终端设备30用作接收终端设备(根据本发明的显示设备)。服务器20具有数据库21 (在该视图中是D/B)，在该数据库21中存储了多个类型的发布内容。通过针对每个图像帧压缩从D/B21读出的视频数据来生成视频图像编码数据(编码22)。经由网络10从服务器20向终端设备30(例如，终端A)发布以上述方式生成的视频图像编码数据(多个划分的传输分组)(传送23)。服务器20接收来自终端A的重传请求(请求接收24)，并且调整传送该传输分组的顺序。从服务器20发布的视频图像编码数据具有预先确定的优先级顺序，即，图像质量、分辨率、色彩分量和位置的顺序。服务器20以传输分组的降序将视频图像编码数据发布到终端A (传送23)。另一方面，终端A经由网络10来从服务器20接收视频图像编码数据(接收31)，并且选择和丢弃每单位时间要显示的目标图像帧(错误确定32)。在对所选择的目标图像 帧进行解码(解码33)之后，终端A在调整显示帧速率的同时，使得预定显示设备顺序地显示这些目标图像帧(显示34)。注意，终端B执行与终端A相同的显示控制。可以在解码33之前、在解码33期间、或在完成解码33之后执行错误确定32。而且，在完成目标图像帧的编码数据的接收之前，为了减少缺失数据的数目，终端A请求重传包括在接收到的编码数据中的缺失数据(请求传送35)。例如，基于接收到目标图像帧的最后分组的时间、接收到下一个图像帧的第一分组的时间、或者超时的时间来确定“完成目标图像帧的编码数据的接收”的时间。同时，服务器20在发布其它传输分组之前发布包括请求被重传的缺失数据的传输分组(传送23)。图2是示出图I中所示的终端设备30(根据本发明的显示设备，与图I中所示的终端A和终端B 二者相对应)的具体结构的视图。图2中所示的终端设备由信息处理器300和显示监视器400构成。信息处理器300具有输入/输出单元310 (I/O)、控制器320、呈现单元330、输入/输出单元340、以及存储器350。具体而言，I/O 310是用于经由网络10导入视频图像编码数据的接口。I/O 340是用于诸如键盘410或鼠标(指示设备)420的外部输入设备的接口。存储器350存储通过I/O 310导入的视频图像编码数据、用于执行根据本发明的视频图像编码数据显示方法的程序、以及各种类型的控制数据。控制器320执行存在存储器350中的程序(用于执行根据本发明的视频图像编码数据显示方法的程序)。呈现单元330是使得显示监视器400顺序地显示由控制器320解码的图像帧的图像处理器，其中显示监视器400响应于来自控制器330的显示控制信号来显示根据预定的帧速率所解码的图像数据。图3中示出了在具有上述结构的终端设备30中要显示和控制的视频图像编码数据的结构。图3是用于示出要显示的视频图像编码数据的结构的视图。如图3的区域(a)中所示，视频图像数据本身由在时间轴上以特定间隔(帧间隔)配置的多个图像帧fn(n=0、l、2、…)构成。通过对多个图像帧&至fn+1中的每一个进行压缩(编码)来获得视频图像编码数据。基于在单位时间T中配置的要表达的图像帧的数目来定义帧速率。图3的区域(b)示出了作为图像帧fn的例如运动JPEG2000图像帧的帧数据的结构。图像巾贞fn由多个类型的层级分级(hierarchical scalability)来构成。色彩分量A、B、C ;图像质量A1、B1、C1 ;分辨率A2、B2、C2以及空间区域A3、B3、C3被指定作为分级。在图I中所示的终端A中的错误确定32中，对于图像帧fn的分级中(色彩分量、图像质量分量、分辨率分量和空间区域分量)的每一个设定加权的数据缺失率，并且然后参考设定的数据缺失率来选择要解码的图像帧。此处，对于每个分级，将数据缺失率定义为在进行了错误确定的分量的总数目 与由于传输错误等而缺失的分量的数目之间的比率。使用图4和图5中所示的流程图来详细地说明在错误确定32和解码33之间执行的选择步骤。首先，在该选择步骤中，在顺序地改变目标图像帧的同时，主要对每单位时间T要显示的图像帧执行错误确定(步骤ST440、ST441)。在图4中所示的流程图中，采用嵌套结构作为针对每一个分级的错误确定步骤；然而，为便于解释，对每个目标分级独立地执行错误确定。因此，在以下说明的细节与图4中示出的流程图之间不存在实质性差异。在目标图像帧中的每一个中，确定目标色彩分量的数据缺失率(步骤ST401)。对构成要进行错误确定的图像帧的帧数据的所有色彩分量顺序地执行该步骤ST401中的确定(步骤ST414、ST424)。同时，当所计算的数据缺失率等于或大于先前加权的确定值LI时，检查数据连续性(步骤ST401a)。当在对目标色彩分量执行的错误确定中数据缺失小于容许值时，或者即使数据缺失率等于或大于容许值也确认足以确保数据内插所需要的信息的特定水平的数据连续性时，对每个目标图像帧的图像质量分量执行错误确定。另一方面，根据与每个目标图像帧的目标色彩分量相关的错误确定，当基于数据缺失率和数据连续性二者确定了图像无法被复原时(Jl)，执行废弃确定处理S100。还对构成要进行错误确定的图像帧的帧数据的所有图像质量分量顺序地执行与图像质量分量相关的数据缺失率确定(步骤ST402)(步骤ST413、ST423)。同时，当所计算的数据缺失率等于或大于先前加权的确定值L2时，检查数据连续性(步骤ST402a)。当在对目标质量分量执行的错误确定中数据缺失小于容许值时，或者即使数据缺失率等于或大于容许值也确认足以确保数据内插所需要的信息的特定程度的数据连续性时，对每个目标图像帧的分辨率分量执行错误确定。另一方面，根据与目标图像质量分量相关的错误确定，当基于数据缺失率和数据连续性二者确定了图像无法被复原时(J2)，执行废弃确定处理S100。还对构成要进行错误确定的图像帧的帧数据中的所有分辨率分量顺序地执行与分辨率分量相关的数据缺失率确定(步骤ST403)(步骤ST412、ST422)。同时，当所计算的数据缺失率等于或大于先前加权的确定值L3时，检查数据连续性(步骤ST403a)。当在对目标分辨率分量执行的错误确定中数据缺失小于容许值时，或者即使数据缺失率等于或大于容许值也确认足以确保数据内插所需要的信息的特定水平的数据连续性时，对每个目标图像帧的空间区域分量执行错误确定。另一方面，根据与目标分辨率分量相关的错误确定，当基于数据缺失率和数据连续性二者确定了图像无法被复原时(J3)，执行废弃确定处理
SlOOo还对构成要进行错误确定的图像帧的帧数据的所有分辨率分量顺序地执行与空间区域(位置)相关分量的数据缺失率确定(步骤ST404)(步骤ST411、ST421)。同时，当所计算的数据缺失率等于或大于先前加权的确定值L4时，检查数据连续性(步骤ST404a)。当在对目标空间区域分量执行的错误确定中数据缺失小于容许值时，或者即使数据缺失率等于或大于容许值也确认足以确保数据内插所需要的信息的特定水平的数据连续性时，对每个目标图像帧的空间区域分量执行错误确定。另一方面，根据与目标分辨率分量相关的错误确定，当基于数据缺失率和数据连续性二者确定了图像无法被复原时(J4)，执行废弃确定处理SlOO。 如图5所示，在废弃确定处理S 100中，确定数据缺失状态(步骤ST501)。当基于确定结果Jl至J4中的任何一个执行步骤ST501时，色彩分量、图像质量分量、分辨率分量和空间区域分量中的至少任何一个满足废弃准则。然而，当图像质量分量和分辨率分量清除了错误确定时，那么可以对实际充分质量的图像进行解码。在这种情形下，该处理移动到汇合点J10。此外，即使在步骤ST501中确定了图像无法被复原时，根据每个图像帧的特性，有时也更好的是在完成帧的接收之前请求重传缺失数据，或者当每个分量没有处于容许值时，请求重传缺失数据，直到每个分量达到容许值为止。因此，步骤ST502确定对于发出重传请求的需要(步骤ST502)。当确定了需要重传请求，则执行请求传送(图I的请求传送35)(步骤ST503)，并且该处理移动到汇合点。当在步骤ST502中确定了不需要重传请求时，废弃相关的目标图像帧(步骤ST504)，并且该处理移动到汇合点J10。仅具有落入容许范围(没有达到设定值LI、L2、L3、L4)内的数据缺失率、具有确认的数据连续性、以及满足在对每个分级执行的错误确定中的其它条件的图像帧，并且随后对其进行解码(步骤ST450)。在上述错误确定中，对于分级设定先前经加权的确定值(L1、L2、L3、L4)，但是可以动态地改变加权的值。例如，如图6的区域(a)中所示，还可以通过比较连续图像帧4和fn-!来检测像素A的移动，并且然后可以对其中检测到像素移动的目标图像帧fn的帧数据的空间区域执行用于确定选择步骤中的选择基准值的加权。更具体而言，如图6的区域(b)中的流程图所示，当作为比较连续图像帧fjPf^的结果，检测到像素A仅移动了 Vl时，将该距离Vl与先前设定的确定值L5进行比较(步骤ST601)。当距离Vl等于或大于确定值L5时，通过改变当对构成目标图像帧的帧数据的空间区域执行错误确定时所使用的确定值L4来执行加权操作(步骤ST602)。其中检测到像素移动的空间区域是观察者可能识别出的区域；因此，特别优选的是，应当尽可能地防止要显示的目标图像帧被丢弃。因此，执行图6的区域(b)中的流程图所示出的加权步骤以在确定值(选择基准值)之间进行区分，使得其中检测到像素A的移动的目标图像帧fn的确定值低于其它目标图像帧的确定值。除了上述错误确定之外(以色彩分量、质量分量、分辨率分量和空间分量的顺序执行的错误确定，参见图4)以外，例如，可以以与该错误确定方法不同的顺序执行分级的确定。没有必要针对每个分级来执行错误确定；因此，可以得到与分级相对应的数据缺失率的累积值，并且然后可以基于该累积数据缺失率来执行错误确定。另外，可以使用图像质量评价指标，诸如PSNR或SSM。接下来，参考图7及图8详细地说明根据本发明的视频图像编码数据显示方法的帧速率调整方法。如上所述，基于下述知识来完成根据本发明的视频图像编码数据显示方法与对帧速率的增加/减少相比，观察者对于所显示的图像的图像质量的劣化更敏感。基于帧间隔的波动(与每单位时间T要显示的图像帧当中实际被选择的图像帧数目的波动同时发生)来执行帧速率调整的各个步骤。例如，图7示出了当丢弃一些图像帧时所获得的帧间隔的最大值相对小时执行的帧速率调整的示例。更具体而言，如图7的区域(a)中所示，当在对单位时间T内以帧间隔At均等地配置的多个图像帧&至f1(l(帧速率11/T)执行显示控制期间通过选择步骤丢弃图像巾贞fi和f6时，要解码的图像巾贞f0>f2至至fi。之间的每单位时间T的最大巾贞间隔是相对小的2At。因此，如图7的区域(b)中所示，在显示监视器400上顺序地显示解码的图像帧至fltl(参见图2)中(帧速率9/T)，而没有简单地丢弃图像帧和f6。另一方面，如图8的区域(a)中所示，丢弃多个连续图像帧增加了每单位时间T要显示的图像帧之间的最大帧间隔。例如，在图8的区域(a)的情形下，当在对单位时间T以帧间隔At均等地配置的多个图像帧&至f1(l(帧速率11/T)执行显示控制期间在选择步骤中丢弃了图像帧至f3、f6至f7时，要解码的图像帧fo、f4至f5、f8至f1(l之间的每单位时间T的最大帧间隔是相对大的3 Λ t。当在这样的情形下执行图7的区域(b)中所示的帧调整时，观察者识别出目标图像帧正间歇性地显示。为此，当如图8的区域(a)中所示的要被解码的图像帧之间的帧间隔大时，优选的是，如图8的区域(b)中所示，以使目标图像帧之间的帧间隔为恒定的方式(帧速率6/T)，在单位时间内均等地配置解码的目标图像帧(帧间隔At’)。图7和图8中示出的帧速率调整步骤中的任何一个仅对帧速率进行调整，并且由于要显示的每个目标图像帧的质量根本不会或难以由于帧速率调整而变得劣化，所·以可以通过利用观察者的视觉特性来有效地隐藏要显示的视频的质量劣化。只要在错误确定步骤之后执行了帧速率调整，就可以在解码之前或在解码之后执行帧速率调整。根据以上的本发明的说明，清楚的是，可以对本发明进行各种修改。这样的修改不应当被排除在本发明的思想及范围之外，并且希望对于本领域技术人员而言明显的改进被包括在以下的权利要求的范围内。
权利要求
1.一种用于视频图像编码数据的显示方法，所述视频图像编码数据由多个压缩图像帧的编码数据构成，并且通过预定的传输装置来发布，所述方法包括 接收步骤，所述接收步骤通过所述传输装置来顺序地接收所述多个图像帧的编码数据； 选择步骤，所述选择步骤对于所接收到的图像帧当中的、每单位时间要显示的并且以预定的帧间隔配置的目标图像帧中的每一个的编码数据，计算由于传输错误而引起的缺失数据的数据缺失率，并且然后基于获得的计算结果，从所述目标图像帧当中选择要解码的目标图像帧； 解码步骤，所述解码步骤仅对在所述选择步骤中选择的所述目标图像帧的编码数据进行解码；以及 显示步骤，所述显示步骤在基于所述目标图像帧的数目来调整帧速率的同时，使得预定的显示设备显示在所述解码步骤中解码的所述目标图像帧。
2.根据权利要求I所述的用于视频图像编码数据的显示方法，其中，在完成对所述目标图像帧的编码数据的接收之前，执行对于包括在所接收到的编码数据中的缺失数据的重传请求。
3.根据权利要求I或2所述的用于视频图像编码数据的显示方法，其中，所述选择步骤基于所述数据缺失率的计算结果以及所接收到的数据的连续性，从所述目标图像帧当中选择要解码的目标图像帧。
4.根据权利要求I至3中的任何一项所述的用于视频图像编码数据的显示方法，其中，所述选择步骤请求对不是所述解码的对象的目标图像帧中的至少任何一个的重传。
5.根据权利要求I至4中的任何一项所述的用于视频图像编码数据的显示方法，其中，当在所述显示步骤中调整所述帧速率时，在不改变每单位时间要显示的所述目标图像帧的时间轴位置的情况下，丢弃在所述选择步骤中没有被选择的目标图像帧。
6.根据权利要求I至4中的任何一项所述的用于视频图像编码数据的显示方法，其中，当所述显示步骤调整所述帧速率时，在单位时间内均等地配置在所述解码步骤中解码的所述目标图像帧，使得所述目标图像帧的帧间隔是恒定的。
7.根据权利要求I至6中的任何一项所述的用于视频图像编码数据的显示方法，其中，在所述接收步骤中接收到的所述目标图像帧的编码数据中的每一个都包括根据优先级顺序布置的多个类型的信息，并且以所述多个类型的信息的优先级的降序来顺序地发布所述目标图像帧的编码数据。
8.根据权利要求I至6中的任何一项所述的用于视频图像编码数据的显示方法，进一步包括通过比较所述目标图像帧的相邻的目标图像帧来检测像素移动，并且对其中检测到所述像素移动的目标图像帧的帧数据的空间区域执行用于确定在所述选择步骤中的选择基准值的加权。
9.根据权利要求2所述的用于视频图像编码数据的显示方法，其中，与被调度进行传送的其它编码数据相比，优先地发布与请求被重传的所述缺失数据相对应的编码数据。
10.一种显不设备,包括 输入/输出单元，所述输入/输出单元用于通过预定的传输装置来导入视频图像编码数据，所述视频图像编码数据由多个压缩图像帧的编码数据构成；存储器，所述存储器用于暂时存储通过所述输入/输出单元导入的所述视频图像编码数据； 控制器，所述控制器用于执行根据权利要求I至9中的任何一项所述的用于视频图像编码数据的显示方法；以及显示单元。
11.一种用于视频图像编码数据的通信系统，所述视频图像编码数据由多个压缩图像帧的编码数据构成，并且通过预定的传输装置来发布，所述通信系统包括 传输装置，所述传输装置用于基于根据权利要求7至9中的任何一项所述的用于视频图像编码数据的显示方法来发布所述视频图像编码数据；以及 接收装置，所述接收装置用于实现根据权利要求I至6中的任何一项所述的用于视频图像编码数据的显示方法。
全文摘要
本发明涉及一种用于视频编码数据的显示方法，该显示方法尽可能地防止了视频图像的图像质量劣化，并且对观察者隐藏由于传输错误所引起的视频质量劣化。该显示方法通过与错误恢复处理和其他图像复原处理并行地执行错误确定(32)来选择要解码的目标图像帧和要丢弃的目标图像帧，并且仅对所选择的目标图像帧进行解码(33)。在对帧速率进行调整的同时，预定的显示设备仅顺序地显示(34)解码的目标图像帧。
文档编号H04N7/26GK102714728SQ201180006249
公开日2012年10月3日 申请日期2011年1月4日 优先权日2010年1月14日
发明者后藤由光, 柿井俊昭, 畑洋一, 藤田康仁 申请人:住友电气工业株式会社