专利名称：终端、图像显示方法及程序的制作方法
技术领域：
(相关申请)本申请要求现有日本专利申请2008-2631 号(2008年10月9日申请)的优先权，上述现有申请的全部记述内容通过引用而记载在本说明书中。本发明涉及一种终端、图像显示方法及程序，特别涉及一种具有对包含动态图像、 静态图像等至少一个在内的内容编码压缩而产生的流进行接收的功能的终端、其图像显示方法及程序。
背景技术：
近年来，除了面向移动对象的地面数字(Iseg)广播和地面数字广播等之外，在网络环境等也开始发布包括动态图像、静态图像等在内的多媒体内容，设定为在这种环境中对内容进行视听的IPTV(Internet Protocol Television，全名网路协议电视)等正在普及。在经由IP网络传输上述内容时，为了减轻网络的负荷，对利用组播协议或广播协议在IP网络上进行发布的技术进行研究。此外，根据NGN(Next Generation Network，下一代网络)及移动网络中的LTE (Long Term Evolution，长期演进项目)技术，预想在有线网络和移动网络中的网络带宽今后会不断扩大、高速化。在专利文献1中已公开一种广播发送服务器，其接收电视广播，经由数据包网络、 互联网、公众线路交换网等通信网络，向移动终端进行组播。在专利文献2中已公开一种影像传送系统，其为了缩短在影像传送系统中影像切换时的静态图像状態，而与来自影像解码器的影像切换指示对应地，在从原图像开始生成影像编码数据的影像编码器中，检测出对所指定的至少一个发送至影像编码器的影像编码数据进行解码而得到的影像是稳定的之后，再输出影像。在专利文献3中已公开一种电视接收器，其对于进行影像显示的在一帧画面中包括动态图像的影像，实施伴随着动态图像帧插补的帧频转换，对于由静态图像形成的 OSD(On Screen Display，在屏幕显示)图像，实施不伴随着动态图像帧插补的帧频转换，即使在动态图像影像上重叠显示OSD图像，画质恶化也较少。此外，在该文献的第0016段中， 记载了由该电视接收器具有的分频部(scaling)进行解析度转换的内容。专利文献1 日本特开2002-185943号公报专利文献2 日本特开2004-193961号公报专利文献3 日本特开2008-160591号公报
发明内容
如上述专利文献2的段落0006之后的记载所示，在对图像进行压缩编码后传送的方式中，存在在视听开始时或刚切换频道后，在接收终端侧无法迅速显示图像的问题点。特别认为对于习惯于模拟广播的用户，在该等待时间里感到不协调、烦躁，会不耐烦地进行断开处理。
4
本发明就是鉴于上述情况而提出的，其目的在于，提供一种终端、图像显示方法及程序，其在对面向移动对象的地面数字广播、地面数字广播、移动网络、互联网、有线网络环境、IPTV环境等的各种压缩编码后传送来的图像进行接收的终端侧中，能够消除视听开始时或切换频道时产生的等待时间。根据本发明的第一观点，提供一种终端，其具有接收部(接收单元)，其根据用户的请求，利用帧间预测接收压缩图像数据；以及第一转换部(转换手段)，其将由所述接收部收到的图像数据的初始预测帧或者根据用户的切换请求而切换后紧接着的预测帧转换为非预测帧，再进行输出。根据本发明的第二观点，提供一种图像显示方法，其根据用户的请求，利用帧间预测接收压缩图像数据，并将所述接收到的图像数据的初始预测帧或者根据用户的切换请求而切换后紧接着的预测帧转换为非预测帧，将所述非预测帧作为起始帧而显示后续帧。根据本发明的第三观点，提供一种程序，其使计算机执行根据用户的请求，与来自用户的显示开始请求或频道切换请求对应地，利用帧间预测接收压缩图像数据的处理； 以及对所述接收到的图像数据的初始预测帧或者根据用户的切换请求而切换后紧接着的预测帧转换成非预测帧的处理，在该计算机所连接的显示装置中，显示以所述非预测帧作为起始的后续帧。发明的效果根据本发明，可以缩短在视听开始时或切换时的图像的显示等待时间。其理由在于，形成了即使接收到的起始帧或者切换后紧接着的帧为预测帧，也在切换为非预测帧后进行显示的结构。
图1是表示本发明的第一实施方式的结构的框图。图2是用于说明本发明的第一实施方式的动作的流程图。图3是表示本发明的第二实施方式的结构的框图。图4是用于说明本发明的第二实施方式的动作的流程图。图5是表示本发明的第三实施方式的结构的框图。图6是表示本发明的第四实施方式的结构的框图。标号的说明204、304超解析度转换部205显示部280音声包接收部290动态图像包接收部302音声解码部3031帧转换部301,351呼叫控制部400数字解调部401、411 控制部
具体实施例方式〈发明的概要〉首先，说明本发明的概要。本发明适用于具有利用帧间预测接收压缩图像数据的功能的终端。图像数据是例如从广播站点的广播或从配置在网络上的内容服务器等的组播 /广播等发布的。作为接收这些内容的终端，包括例如图像显示装置或连接在图像显示装置上的机顶盒、电视调谐器或者具有图像显示功能的移动终端、个人计算机、车用导航仪终端等具有通信功能的各种信息处理装置。本发明所涉及的终端接收用户的连接请求、接收请求，从而开始从上述广播站点或内容服务器接收图像数据。此时，本发明所涉及的终端具有变换部(变换单元)，其将接收到的图像数据的起始帧转换成非预测帧，并对所述帧以外的帧不进行转换而直接输出， 在进行至该非预测帧的转换之后，在规定的显示装置中显示接收到的动态图像或静态图像。如上述所示，可以大幅缩短从用户的视听开始请求到实际显示图像为止的时间。此外，本发明所涉及的终端在接收到来自用户的切换所视听的节目或内容的请求的情况下，也在将切换后紧接着的帧转换为非预测帧之后，在规定的显示装置中显示接收到的动态图像或静态图像。如上述所示，可以大幅缩短从用户的切换请求到实际显示切换后的图像为止的时间。接着，参照附图详细说明本发明的优选实施方式。首先，说明在终端侧追加图像的解析度转换及画质改善功能的第一、第二实施方式。下面，(1)将始终实施上述解析度转换及画质改善处理的结构作为第一实施方式进行说明；(2)将参照预先确定的参数而判断是否执行上述解析度转换及画质改善处理的结构作为第二实施方式进行说明。此外，作为上述参数，可以使用用户的指示、预先确定的设定、接收到的动态图像或者静态图像的解析度、画面尺寸、比特率或者网络带宽等中的至少一个或它们的组合。<第一实施方式>图1是显示本发明的第一实施方式所涉及的终端的结构的框图。参照图1，示出具有呼叫控制部301、音产包接收部观0、动态图像包接收部四0、音声解码部302、1帧转换部 303、超解析度转换部204、显示部205的终端的结构。其中，I帧转换部303及超解析度转换部204相当于第一、第二转换部。本实施方式的终端可以通过有线网络、移动网络、互联网接收动态图像或静态图像内容。在这里，将网络设为数据包网络，但也可以用于移动线路交换网络等。呼叫控制部301根据预先确定的协议与所述网络上的内容发布源的服务器等进行通信，请求发布用户指示的内容。具体的讲，呼叫控制部301与用户的连接指示、频道切换指示或内容切换指示对应，利用例如RTSP (实时流送协议)或SIP (会话起始协议)等与内容的发布源即内容服务器之间交换对话控制信号，并进行将连接请求、频道切换请求或内容切换请求向所述内容服务器传送的处理。并且，呼叫控制部301还利用SDP (会话描述协议)等将终端的能力信息向所述内容服务器传送。在从所述内容服务器接收的SDP中，记载有与内容服务器送出的视频信号及音声信号相关的能力信息。上述SIP、RTSP 及 SDP 的详细可以各自参照 IETF RFC326UIETF RFC2326 及 IETF RFC2327 等。
所述呼叫控制部301接收到的能力信息向I帧转换部303、音声解码部302、动态图像包接收部四0、音声包接收部280输出。作为与音声编解码器相关的能力信息，可以举出AMR(自适应多速率)音声编解码器。AMR的详细可以参照3GPP TS26. 090标准等。音声包接收部280从网络接收音声RTP数据包，参照从呼叫控制部301输入的与音声信号相关的能力信息，读取存储在RTP数据包的净负载部的音声流并输出。音声解码部302参照从呼叫控制部301输入的与音声信号相关的能力信息，从音声包接收部280输入音声流，在将音声解码并输出。动态图像包接收部290在从网络接收到连接请求或频道切换请求后迅速接收视频RTP数据包，并参照从呼叫控制部301输入的与视频信号相关的能力信息，读取存储在在 RTP数据包的净负载部的视频流，并向I帧转换部303输出。I帧转换部303参照从呼叫控制部301输入的与视频信号相关的能力信息，首先将从动态图像包接收部290输入的视频流进行解码。然后，I帧转换部303仅对输入后紧接着的起始帧判断是否为I帧(非预测帧)，在并非I帧的情况下，对I帧进行再编码，并输出编码后的流。在输入后紧接着的起始帧为I帧的情况下，不进行转换而直接输出所输入的流。对于第2帧以后的帧，I帧转换部303不进行如上所述的转换或再编码，直接输出所输入的流。在这里，在对I帧再编码的情况下，根据从呼叫控制部301输入的能力信息进行再编码。例如，在能力信息表示为H. 264 BPPiLl. 2，画面解析度为QVGA、比特率为3841ibps、帧频为15fps的情况下，I帧转换部303按照这些参数进行再编码。超解析度转换部204对由I帧转换部303解码后的视频流实施超解析度处理，并向显示部205输出。例如，可以将考虑将QVGA的解析度扩大至VGA的解析度。作为实现这种超解析度处理的方法，已提出了(a)针对转换对象的图像帧，使用多枚图像帧作为参照图像，一边增加像素数量一边扩展解析度的方法，(b)利用对象图像帧内的不同位置的像素，增加像素数量的方法。在本发明中，并不特别限定，可以根据能够向终端分配的资源量 (运算量和内存量)的限制选择最佳方法。(a)在使用过去的参照帧的情况下，如下所示提高解析度。超解析度变换部204构成为，向I帧变换部303中的解码部输入各个宏块的每一个移动矢量，针对包含在该宏块中的像素，基于上述移动矢量，进行再搜索而求出详细的移动矢量，将详细的移动矢量应用于过去的参照图像帧的像素，以移动矢量的量移动而增加对象帧的像素。当然采用不使用移动矢量的结构。(b)另外，在只使用对象帧的情况下，如下所示扩展解析度。超解析度变换部204 进行通过检测边缘部分，并应用边缘附近的像素而增加像素、或对边缘附近的像素加以校正，从而检测出提高解析度感的边缘并进行强调的处理，由此实现改善画质。在上述所示的解析度之外，也可以进行画质的改善处理。例如，超解析度转换部204也能够通过推定移动方向而插补时间方向的帧图像，提高帧频。由此，能够例如将 15fps的视频流扩展至30fps的视频流。显示部205从超解析度转换部204输入转换后的动态图像信号，并使规定的显示装置进行显示。
参照图2的流程图，说明本实施方式的终端的动作。如果接收来自用户的连接请求操作、接收请求操作、或者频道切换请求操作，终端的呼叫控制部301进行内容的发布请求，则开始从内容服务器进行内容发布，动态图像包接收部290将接收到的视频流向I帧转换部303输出(步骤S001)。I帧转换部303对由动态图像包接收部290接收到的视频流进行解码(步骤 S002)，然后，仅对输入后紧接着的起始帧判别是否为I帧(非预测帧)(步骤S00;3)。在这里，在非I帧的情况下，I帧转换部303判断为需要转换为I帧(非预测帧)，进行至非预测帧的转换(步骤S004)。这样，至少输入后紧接着的起始帧被转换为非预测帧的视频流输入到超解析度转换部204。超解析度转换部204对输入来的视频流进行预先确定的超解析度转换处理，并向显示部205输出(步骤S005)。最后，显示部205基于输入来的视频信号而显示图像。如上所述，根据本实施方式，由终端、IPTV的机顶盒、电视接收机在根据用户的连接请求而利用帧间预测接收压缩内容的情况下，或在根据用户的切换请求而切换为其他内容的情况下，可以瞬间显示图像。由此，可以使习惯于模拟广播的用户不会产生感觉上的烦躁感。此外，在本实施方式中，由于具有扩展解析度和画质进行显示的超解析度转换部 204，所以当然可以提供高画质的内容，从而可以进一步提高在由I帧转换部303进行了至非预测帧的转换的情况下的画质。<第二实施方式>下面，参照附图，详细说明具有参照预先确定的参数判断是否执行上述解析度转换及画质改善处理的机构的本发明的第二实施方式。图3是显示本发明的第二实施方式所涉及的终端的结构的框图。图4是表示本发明的第二实施方式所涉及的终端的动作的流程图。在图3、图4中，由于标注与图1相同标号的结构要素进行与图1相同的动作，所以省略说明。下面，以呼叫控制部351及超解析度转换部304的功能及动作(图4的步骤S006)为中心进行说明。呼叫控制部351与上述第一实施方式的呼叫控制部301相同地，将来自用户的请求向内容服务器传送，并且对超解析度转换部304进行接通/断开指示，以表示是否执行超解析度转换处理。所述接通/断开的指示基于下述2种条件的至少其中一个而确定。一个是来自用户的接通/断开请求。另一个是呼叫控制部351对比能力信息的参数和预先确定的超解析度转换处理的执行条件而得到的结果(参照图4的步骤S006)。作为上述超解析度转换处理的执行条件，例如可以考虑设定为下述条件，S卩，在解析度或画面尺寸不足VGA的情况下，将超解析度设定为接通，在超过上述条件的情况下，设定为断开。此外，例如也可以在比特率不足5121ApS的情况下，将超解析度转换设为接通， 在超过上述条件的情况下，设为断开等。此外，也可以预先设定动作条件，在由I帧转换部 303进行了至非预测帧的转换的情况下，设为接通等。超解析度转换部304基于来自呼叫控制部351的是否执行超解析度转换处理的指示，对从I帧转换部303输出的解码后的视频流适当地执行超解析度转换处理，并向显示部 205输出(参照图4的步骤S005)。例如在接收到超解析度转换处理=接通的指示的情况下，超解析度转换部304实施一边扩展画面解析度一边改善画质的处理，并将转换处理后的视频流向显示部205输出。相同地，例如在接收到超解析度转换处理=接通的指示的情况下，也可以使超解析度转换部304进行动作，以将QVGA的解析度扩展至VGA的解析度。另一方面，在接收到超解析度转换处理=断开的指示的情况下，超解析度转换部 304将从I帧转换部303输出的视频流直接向显示部205输出。如上所述，根据本实施方式，在根据用户的请求的情况下，当然进行在提高发布来的内容的解析度和画质的基础上输出，在终端能力范围内也可以进行在提高发布来的内容的解析度和画质的基础上输出。<第三实施方式>下面，说明将本发明应用于具有通过面向移动对象的地面数字广播、地面数字广播等的无线电波接受动态图像或静态图像内容的功能的终端的本发明的第三，第四实施方式。下面，与之前的第一、第二实施方式相同地，(1)将始终实施上述解析度转换及画质改善处理的结构作为第三实施方式进行说明，(2)将参照预先确定的参数而判断是否执行上述解析度转换及画质改善处理的结构作为第四实施方式进行说明。图5是表示本发明的第三实施方式所涉及的终端的结构的框图。在图5中，由于标注与图1相同标号的结构要素进行与图1相同的动作，所以省略说明。下面，以数字解调部400及控制部401的功能及动作为中心进行说明。数字解调部400接收无线电波后，基于例如0FDM(正交频分复用)等进行数字解调。数字解调部400还进行多路分离，分离为能力信息、动态图像流、音声流，并将能力信息输出到控制部401，将动态图像流输出到I帧转换部303，将音声流输出到音声解码部302。控制部401将来自用户的接收请求操作或频道切换请求操作向数字解调部400输
出ο能力信息被输出到I帧转换部303、音声解码部302。I帧转换部303、音声解码部 302以及超解析度转换部204分别与第一实施方式相同地进行动作。如上所述，本发明可以应用于具有利用无线电波接收内容的功能的终端，可以消除视听开始时或切换频道时的等待时间、以及提高解析度及画质。〈第四实施方式〉下面，参照附图，详细说明具有参照预先确定的参数判断是否执行上述解析度转换及画质改善处理的机构的本发明的第四实施方式。图6是表示本发明的第四实施方式所涉及的终端的结构的框图。在图6中，由于标注与图1、图5相同标号的结构要素进行与图1、图5相同的动作，所以省略说明。下面， 以控制部411及超解析度转换部304为中心进行说明。控制部411将由用户输入的连接指示或频道切换指示向数字解调部400输出。此外，与第三实施方式相同地，将由数字解调部400分離出的能力信息输入控制部411。控制部411在上述之外，还对超解析度转换部304进行接通/断开指示，以表示是否执行超解析度转换处理。所述接通/断开的指示与上述第二实施方式相同地，基于用户的指示或从能力信息中提取的参数而确定。超解析度转换部304与上述第二实施方式相同地，基于来自控制部411的是否执行超解析度转换处理的指示，对从I帧转换部303输出的解码后的视频流适当执行超解析度转换处理，并向显示部205输出。如上所述，与上述第二实施方式相当的结构可以应用于具有利用无线电波接收内容的功能的终端，可以根据用户的指示、能力信息及终端的能力等，在提高内容的解析度及画质的基础上输出。以上说明了本发明的优选实施方式，但本发明不限定于上述实施方式，可以在不脱离本发明的基本技术思想的范围内，进行进一步的变形、替换、调整。例如，在上述的第一、第二实施方式中，以进行C-Plane (控制面)处理的呼叫控制部和进行U-Plane (用户面)处理的各数据包接收部、各转换部、显示部等配置在单个终端中的情况为前提进行了说明，但也可以采用将C-Plane处理和U-Plane处理分别分离在单独的装置中的结构。根据该结构，可以使C-Plane和U-Plane独立地具有扩展性。此外，在上述的实施方式中，针对内容服务器在RTP数据包中存储压缩编码流并向终端发布的情况进行了说明，但也可以应用将压缩编码流以文件形式存储，利用HTTP或 TCP协议向终端发送的结构。在这里，作为文件形式，已知例如3GP文件格式，详细内容可以参照 3GPP TS26. 244 标准。此外，在上述实施方式中，以显示动态图像内容为前提进行了说明，但对于切换静态图像而进行显示的内容，也可以采用相同的结构。此外，作为图像数据的压缩编码方式，也可以与H. 263, MPEG-4、H. 264等各种压缩编码方式对应。例如MPEG-4的详细内容可以参照IS0/IEC 14496-2 Information Technology Coding of Audio Visual Obiect-Part 2 :Visual 标准。此外，在上述实施方式中，对使用组播及广播的情况进行了说明，但当然也能够应用于以单播发布内容的情况。在本发明的全部公开(包括权利要求书的范围)的范围内，还可以基于其基本技术思想，进行实施例或实施例的变更、调整。另外，可以在本发明的权利要求书的范围内对各种公开要素进行各种组合及选择。即，本发明当然包括本领域的技术人员能够根据包含权利要求书的范围在内的所有公开、技术的思想而得到的各种变形、修正。
权利要求
1.一种终端，其特征在于，具有接收部，其利用帧间预测接收压缩图像数据；以及第一转换部，其将由所述接收部接收到的图像数据的初始预测帧或者根据用户的切换请求而切换后紧接着的预测帧转换为非预测帧，然后进行输出。
2.根据权利要求1所述的终端，其还具有第二转换部，其对从所述第一转换部输出的图像进行解析度转换及画质改善处理。
3.根据权利要求2所述的终端，其中，所述第二转换部根据用户的指示、预先确定的设定、接收到的动态图像或静态图像的解析度、画面尺寸、比特率或者网络带宽的至少其中一个参数，确定是否执行所述解析度转换及画质改善处理。
4.一种终端，其特征在于，具有接收部，其利用帧间预测接收压缩图像数据；以及第二转换部，其基于用户的指示、预先确定的设定、接收到的动态图像或者静态图像的解析度、画面尺寸、比特率或者网络带宽的至少其中一个参数，对从所述接收到的图像数据中得到的图像执行解析度转换及画质改善处理。
5.根据权利要求1至4中任一项所述的终端，其中，所述接收部经由无线电波、数据包网络或者线路交换网接收图像数据。
6.一种图像显示方法，其特征在于，根据用户的请求，利用帧间预测接收压缩图像数据，将所述接收到的图像数据的初始预测帧或者基于用户的切换请求而切换后紧接着的预测帧转换为非预测帧，将所述非预测帧作为起始帧而显示后续帧。
7.一种图像显示方法，其特征在于，根据用户的请求，利用帧间预测接收压缩图像数据，基于用户的指示、预先确定的设定、接收到的动态图像或静态图像的解析度、画面尺寸、比特率或者网络带宽的至少其中一个参数，判定是否需要对从所述接收到的图像数据中得到的图像执行解析度转换及画质改善处理，基于所述判定结果实施解析度转换及画质改善处理，然后显示图像。
8.一种程序，其特征在于，使计算机执行下述处理根据用户的请求，利用帧间预测接收压缩图像数据的处理；以及对所述接收到的图像数据的初始预测帧或者根据用户的切换请求而切换后紧接着的预测帧转换成非预测帧的处理，在与该计算机连接的显示装置中，显示以所述非预测帧为起始的后续帧。
9.一种程序，其特征在于，使计算机执行以下处理根据用户的请求，利用帧间预测压缩图像数据； 基于用户的指示、预先确定的设定、接收到的动态图像或静态图像的解析度、画面尺寸、比特率或者网络带宽的至少其中一个参数，判定是否需要对从所述接收到的图像数据中得到的图像执行解析度转换及画质改善处理的处理；以及基于所述判定结果实施解析度转换及画质改善处理的处理， 在与该计算机连接的显示装置中显示图像。
全文摘要
本发明提供一种终端、图像显示方法及程序，其消除利用帧间预测接收到的压缩图像数据在视听开始时或刚切换频道后的等待时间。根据用户的请求，利用帧间预测接收压缩图像数据，并将所述接收到的图像数据的初始预测帧或者根据用户的切换请求而切换后紧接着的预测帧转换为非预测帧，将所述非预测帧作为起始帧而显示后续的帧。
文档编号H04N21/40GK102177712SQ20098013994
公开日2011年9月7日 申请日期2009年10月9日 优先权日2008年10月9日
发明者小泽一范 申请人:日本电气株式会社