图象解码装置及记录媒体的制作方法

文档序号:7582040阅读:184来源:国知局
专利名称:图象解码装置及记录媒体的制作方法
技术领域
本发明涉及图象解码装置,特别是涉及使存储器的使用效率提高的改进。
运动图象专家组2(MPEG2)标准作为运动图象压缩的国际标准技术得到了世界上技术人员的大力支持,特别是在用帧间双向预测方式进行的图象编码处理中,由于基于与过去·未来应显示的图象的相关性来压缩图象,其压缩率非常高,在把运动图象记录在记录媒体上运送的情况下或通过通信媒体向远方发送的情况下,才发挥出其真正的作用。
另一方面,技术人员们所担心的是采用所谓实现高压缩率的辉煌的成果会使图象解码装置复杂化-大规模化,这是因为在对按照帧间双向预测方式编码的图形数据(一般称之为双向预测(B)图形)进行解码的情况下,图象解码装置必须参照应该在B图形过去显示的图象和应该在B图形未来显示的图象,有必要把完成解码的图象和解码时成为参照目标的图象分别在帧存储区内展开,从而使帧存储区变得大规模。所谓帧存储区是用来存储应该在1帧内显示的1幅画面的象素数据的存储区域,与显示时的水平同步信号同步地、例如以横720象素×纵1象素的行为单位读出所写入到帧存储区内的象素数据并变换成图象信号。


图1A表示确保3个帧存储区的SD-RAM的一个例子,在该图中,假定使用2存储区×2048列×256栏的SD-RAM,在图形数据的类型中,除B图形之外,还有按照帧内编码方式编码的内部(Ⅰ)图形、按照帧间顺方向预测编码方式编码的预测(P)图形,该SD-RAM有用来按照其他类型编码方式存储解码后的图象的3个帧存储区。
具体地说,该图中的非参照图象数据帧存储区存储完成了解码的B图形,参照图象数据A帧存储区、参照图象数据B帧存储区存储完成了解码的I图形或P图形。这些帧存储区在SD-RAM中占有2存储区×608列×256栏的区域,在B图形解码时参照参照图象数据A帧存储区、参照图象数据B帧存储区内所存储的完成了解码的图形数据。
可是,在上述的现有技术中,因为在3个帧存储区中分配SD-RAM上的多个区域,所以没有把帧存储区以外的作业区(工作区)分配到SD-RAM上的余量。这里,帧存储区以外的作业区的有代表性的区域是在屏幕上显示(OSD)用的数据存储用工作区。所谓OSD是根据操作者的指示重叠在运动图象上的文字字型或计算机图形,当把显示当前时刻的计数器、『重放』『停止』『录象』等图象解码装置当前正在进行的处理内容显示在显示画面上时使用OSD。另外,在描绘用来接受来自操作者的输入的情况下也使用OSD。
在SD-RAM内不存在存储OSD数据的余量的情况下,就必须进行存储器增设以确保OSD数据存储区,这种增设是不现实的,所以考虑进行图1B所示的那种存储区变换。图1B是把图1A中占据着2存储区×608列×256栏的非参照图形数据帧存储区削减到2存储区×507列×256栏大小,并把削减所生成的2存储区×101列×256栏空闲区分配给OSD数据存储区。
这种B图形削减方法是着眼于B图形不被参照的特性,即如果削减存储在帧存储区内的I图形或P图形,会使图象质量劣化,有可能波及参照这些图形数据的其他图形数据的图象质量,可是由于解码时不参照存储在帧存储区内的B图形,所以,不担心B图形的图象质量劣化会波及其他图形数据的图象质量。因此,与削减I图形或P图形的占有区域相比较,削减帧存储区中的B图形的占有区域更容易容许图象质量的劣化,而且把存储B图形的图形数据的帧存储区与其他类型的图形数据的帧存储区相比较可以取得更小。
在使B图形小的方法中,有分散地生成(二次取样)构成B图形的色差数据的方法。一般,人跟能够高精度地分辨亮度的细微度,但是对色差的细微度的分辨精度就不那么高。根据人的这种视觉特性来实现上述的那种数据削减。
但是,如果进行B图形的单纯色差的二次取样,显示时,显示I图形、P图形期间和显示B图形期间的图象质量的匹配性劣化。即在显示I图形和P图形期间,对于无图象质量劣化来说,因为只有在显示B图形期间图形质量劣化,所以,运动图象重放中,图象质量好的期间和图象质量坏的期间两方就都表现在画面上。特别是在把运动图象记录在记录媒体上搬运的情况下,或者通过通信媒体发送到远方的情况下,为了得到高的压缩率,在运动图象中把多个图象按照B图形进行编码,而按照I,P图形编码的图象的数只有一点点,所以,这些多个B图形的图象质量劣化时,就给予操作者一种运动图象整体图象质量劣化的印象。
这里,在多个重放装置中,必需OSD数据用的存储区域的情况是根据来自操作者的指示显示OSD的情况。为了根据来自操作者的指示来显示OSD,可以只在要求OSD数据显示的时刻进行OSD数据区的确保,但是,在现有技术中,为了始终确保工作区,就要超过必要的程度来牺牲B图形的图象质量。
本发明的目的是提供一种图象解码装置,该装置能够不牺牲图象质量而在存储器上确保用来存储启动OSD数据的各种数据的工作区。
实现上述目的的图象解码装置根据来自主装置的指示对包含在视频数据流内的多个图形数据的每一个数据进进解码,然后把完成解码的图形数据写入到存储装置内。这里,在多个图形数据中包含有编码方式不同的多种类型的图形数据,所述存储装置具有按照类型不同写入最新数据即完成了解码的图形数据的多个帧区;所述图象解码装置具有解码装置、写入装置和区域分配装置;解码装置参照帧区内存储的完成了解码的其他图形数据,对包含在视频数据流内的多个图形数据的每一个进行解码;写入装置在新的图形数据被解码时把该图形数据写入到已经被写到帧区内的完成了解码的图形数据上;区域分配装置在主装置发出在存储装置内确保工作区的要求时把帧区内的部分区域分配给工作区,该部分区域是应该写入规定类型的图形数据的一部分即解码装置进行解码前的数据的帧区内的部分区域或是应该写入规定类型的图形数据的完成了解码的一部分即写入装置写入前的数据的帧区内的部分区域。
按照本图象解码装置,只有在主装置要求确保工作区的情况下,才废弃图形数据的一部分,并把工作区确保在应存储被废弃的一部分帧区上的部分区域内,所以,即使欠缺图象的一部分,也不会使图形数据的整体图象质量劣化,因此,主装置能够启动追加功能来增设存储区。
在通过削减解码前的图形数据的一部分来实现上述解码数据的削减的情况下,就可能省去不要的解码处理,使解码处理的高速化和节省电力成为可能。
这里,所述主装置输出确保要求的同时,输出应写入到存储装置的主数据,所述的图形数据包含一幅显示画面的多个象素数据,所述区域分配装置也可以设置有区域存储部、禁止部和第一写入部;所述区域存储部存储表示显示画面上的规定部位的位置信息;所述禁止部禁止对处于所述规定部位的数据即包含在解码前的图形数据内的象素数据进行解码;所述第一写入部把主装置输出的主数据写入到应写入规定类型的图形数据的帧区上的部分区域内即对应于显示画面上的所述规定部位的区域内。
这里,所述确保要求包含在规定的期间内继续确保工作区;所述禁止部为不写入由所述第一写入部写入部分区域的主数据,而在所述规定期间继续禁止对处于所述规定部位的数据即包含在解码前的图形数据内的象素数据进行解码。
这里,所述区域存储部也可以存储表示显示画面的周缘部的位置信息作为所述规定部位的位置信息。
按照该图象解码装置,规定部位是图形数据的周缘部,由于这样的周缘部大多不出现在显示画面中,所以即使该部分存在欠缺,操作者也意识不到这种欠缺。
这里,在把屏幕显示数据写入到所述工作区内时,就发出工作区的确保要求;所述主装置输出确保要求的同时,输出应存储在存储装置内的屏幕显示数据。
所述区域存储部也可以存储显示画面上表示分配到所述屏幕显示数据部位的位置信息作为表示规定部位的位置信息。
按照该图象解码装置,规定部位是粘贴OSD的部位,由于在显示画面上看不见这样的部位,所以即使该部分存在欠缺,操作者也意识不到这种欠缺。
附图简要说明图1A表示确保3个帧存储区的SD-RAM的一例。
图1B表示把非参照图象数据帧存储区削减到2存储库×507列×256栏大小并把削减所生成的区域分配给OSD数据存储区的情况下的一例。
图2是MPEG数据流重放装置的构成图。
图3是表示SD-RAM22的存储区分配图。
图4是视频数据流的数据结构图。
图5A是存储亮度数据的页面区的内容图。
图5B是存储色差数据的页面区的内容图。
图6A是存储在一个页面区内的亮度数据图。
图6B是存储在一个页面区内的色差数据图。
图7是AV解码器21的内部构成图。
图8是视频输出部108的内部构成图。
图9是功能性表示AV解码器21的内部构成图。
图10A表示显示装置的显示画面的一例。
图10B表示图10A上的显示画面中不可视部位的一例。
图11A是表示OSD粘贴部位的图。
图11B表示由OSD隐匿的宏数据块。
图11C表示用“01”的排列来描绘文字「P」的OSD图形数据。
图12表示由宏数据块位置信息和地址信构成的帧存储区内空闲区域管理表。
图13A~D表示如何在帧存储区52~54内存储多个图形数据。
图14表示用来从宏数据块的位置信息计算出地址的一例。
图15表示进行宏数据块废弃的过程。
图16A表示由解码完成的象素写入部66进行的象素数据写入。
图16B表示由显示行读出部67进行的象素数据读出的一例。
图17是表示数据削减控制部64的处理内容的流程图。
图18A是表示解码完成的象素写入部66的处理内容的流程图。
图18B是表示显示行读出部67的处理内容的流程图。
图19A表示假定在帧存储区内存储着多个宏数据块(1)(2)(3)~(14)(15)(16)、后续该帧存储区的区域内存储着数据A,B,C,D~L,J,K,L的情况。
图19B表示数据A,B,C,D,E,F~I,J,K,L占有的区域中从数据L,J的占有区下侧、从数据C,D,G,H,K,L占有的区域左侧呈现空闲区的情况。
图20A表示被不可视部位完全覆盖的宏数据块。
图20B表示存在被不可视部位完全覆盖的行的宏数据块。
图20C表示存在被不可视部位中途覆盖的行的宏数据块。
图20D表示把A部,B部,C部写入页面区域的情况下的解码完成的象素写入部66的处理。
图21A表示对图20D所示的B部写入象素数据的一例。
图21B表示对图20D所示的C部写入象素数据的一例。
图22表示如何从图20D所示的A,B,C部读出象素数据。
(第一实施例)以下参照附图来说明具备图象解码装置的MPEG数据流的重放装置。
图2是MPEG数据流重放装置的构成图。在该图中,重放装置由相当于图象解码装置的AV解码器21、SD-RAM22和主微机23构成。
SD-RAM22具有2存储库×2048列×256栏的区域,这些区域中,把具有512字节大小的1列区域称为页面区。
图3是表示SD-RAM22的存储区分配图。在该图中,在SD-RAM22上分配有编码数据流缓冲区51、参照图象数据A帧存储区52、参照图象数据B帧存储区53和非参照图象数据帧存储区54。
编码数据流缓冲区51是用来原样(未解码)存储外部输入来的MPEG数据流的区域。这里,所谓MPEG数据流是包含多个基本数据流的比特数据流。在基本数据流中有视频数据流和音频数据流,其中的视频数据流的数据结构表示在图4中。
图4是视频数据流的数据结构图,基于图象的空间频率成分来压缩视频数据流,按照这样的压缩方式,把画面上的多象素作为一个压缩单位。在该压缩单位中,最小的单位被称为数据块。所谓数据块是由纵8象素×横8象素构成的象素集合。在压缩单位中,次小于数据块的单位是图4的第五段所示的MB(宏数据块),由纵16象素×横16象素构成。通常在编码时把该宏数据块作为编码单位,并进行基于图象间的时间相关性的信息压缩。即使在解码时,也把该宏数据块作为解码单位,并进行帧间预测方式的运动补偿。
该图的第一段表示视频数据流的构成,在该图中,视频数据流配备多个图形组(GOP)。
该图的第二段表示GOP的构成,GOP包含一个以上的I图形、B图形、P图形3类图形数据(图中的I,P,B),在开头处,必然存在I图形。
该图的第三段表示图形数据的构成,图形数据由图形标题和多个数据片构成。
该图的第四段表示数据片的构成,数据片具有数据片标题和多个宏数据块。该图的第五段表示宏数据块的构成,宏数据块具有宏数据块标题,由横16象素×纵16象素数据构成。这里,横16象素×纵16象素数据具有4个由横8×纵8亮度数据构成的亮度数据块,包含有横8×纵8蓝色差数据构成的蓝色差数据块(Cb数据块)和横8×纵8红色差数据构成的红色差数据块(Cr数据块)。这里,包含在宏数据块内的亮度数据的数是横16×纵16,而包含在宏数据块内的色差数据的数是横8×纵8,这是因为色差数据不必需亮度数据那么高的分辨度,减少色差数据数来力图缩小宏数据块的大小。
虽然在该图中的图形标题、数据片标题、宏数据块标题包含与运动补偿有关的信息等种种数据,但其中本实施例所特别参照的是图形标题中的图形编码类型、数据片标题中的数据片起始代码、宏数据块标题中的宏数据块地址增量。
图形编码类型(PCT)表示包含相应标题的图形数据是I图形还是B图形、P图形。
参照该PCT,能够判定包含本标题的图形数据构成B图形还是构成I图形、P图形。
数据片起始代码(SSC)是表示数据片的开头的4字节代码,其最后的1字节表示数据片的垂直位置。
数据片开头的宏数据块地址增量(MBAI)与其他宏数据块地址增量(MBAI)所表示的内容不同。即数据片开头的宏数据块的MBAI用画面上的绝对坐标来显示该数据片开头的宏数据块在图象的1行中处于从画面左方数的第几号。其他的宏数据块的MBAI表示始于紧接宏数据块前面的空格数。即连续的多个宏数据块中的几个宏数据块缺失的情况下,用处于紧接这些缺失部分的后面的宏数据块的MBAI来表示其缺失的宏数据块数。
参照以上的SSC,MBAI就能够知道后续于本标题的宏数据块的本体在图形数据中位于何处。
参照图象数据A帧存储区52、参照图象数据B帧存储区53、非参照图象数据帧存储区54由2存储库×608列×256栏的区域构成,存储着对I图形、P图形、B图形解码所得到的1幅画面的象素数据。
这些帧存储区内的完成了解码的图形数据按照规定的顺序从行缓冲存储器140内读出来,由视频输出部108变换成图象信号。这个“规定顺序”被称为显示顺序,不同于视频数据流中的图形数据的顺序(编码顺序)。设置参照图象数据A帧存储区52、参照图象数据B帧存储区53、非参照图象数据帧存储区54也是为进行从编码顺序向显示顺序的替换。
这里,来说明如何把包含在GOP内的多个图形数据存储在帧存储区上的参照图象数据A帧存储区52、参照图象数据B帧存储区53、非参照图象数据帧存储区54中。图13A表示帧存储区与包含在GOP内的多个图形数据的对应,在图13A中,GOP内包含有图形数据I1,B2,B3,P4,B5,B6,P7,B8,B9。图13A、图13B中的箭头表示解码时被参照方的图形数据与参照方的图形数据的关系,参照这些箭头,对图形数据B2解码时参照图形数据I1,P0,对图形数据B3解码时也参照图形数据I1,P0,对图形数据P4解码时参照图形数据I1。
如图13C所示,这些图形数据被存储在参照图象数据A帧存储区52、参照图象数据B帧存储区53、非参照图象数据帧存储区54中。I图形I1、P图形P7存储在参照图象数据A帧存储区52内,P图形P4、I图形I10存储在参照图象数据B帧存储区53内,B图形B2,B3,B5,B6,B8,B9存储在非参照图象数据帧存储区54内。
图13D表示按何种顺序来显示图13A、图13B所示的图形数据I1,B2,B3,P4,B5,B6,P7,B8,B9。参照图13D,GOP中位于开头位置的图形数据I1显示在图形数据B2,B3之后,位于图形数据B5,B6前的图形数据P4显示在图形数据B5,B6之后。
在这些帧存储区内一个页面区域存储有2个宏数据块大小的多个亮度数据或4个宏数据块大小的蓝色差数据和红色差数据的组合,把显示画面中的宏数据块的X坐标、Y坐标适用于规定的算式来算出存储着各宏数据块的页面区域的地址(存储区库址-列地址)。还把显示画面中的象素的X坐标、Y坐标适用于规定的算式来算出各象素数据的存储地址(存储库地址-列地址-栏地址)。
作为帧存储区的例子,存储了亮度数据的列地址0000-0000以后的帧存储区的内容表示在图5A上,图5B表示存储了色差数据的列地址1000-0000以后的帧存储区的内容。
在图5A中,左上顶点为(0,0)右下顶点为(15,31)的矩形区域(0,0)~(15,31)的亮度数据(在图6A的一例中,相当于阴影范围h1部分)被存储在存储库0-列地址0000-0000的页面区域内;存储库1-列地址0000-0000的页面区域内存储有左上顶点为(16,0)右下顶点为(31,31)的矩形区域(16,0)~(31,31)的亮度数据(在图6A的一例中,相当于阴影范围h2部分)。
在图5B中,左上顶点为(0,0)右下顶点为(7,31)的矩形区域(0,0)~(7,31)的蓝色差数据和左上顶点为(0,0)右下顶点为(7,31)的矩形区域(0,0)~(7,31)的红色差数据(在图6B的一例中,相当于阴影范围h31部分)被存储在存储库0-列地址1000-0000的页面区域内;存储库1-列地址1000-0000的页面区域内存储有左上顶点为(8,0)右下顶点为(15,31)的矩形区域(8,0)~(15,31)的红色差数据、蓝色差数据(在图6B的一例中,相当于阴影范围h32部分)。
主微机23进行数据流重放装置中的主控制,在主控制中,从装置外部输入来MPEG数据流时,主微机23指示AV解码器21进行相应的MPEG数据流的解码。在操作者进行显示OSD的操作的情况下,按照接通要求方式把区域确保要求信号输出到AV解码器21,由此来要求OSD数据存储区域的区域确保。一旦AV解码器21把区域确保在SD-RAM22内,就传送应写入到确保区域内的检查表(LUT)和OSD数据。
所谓LUT包含多个入口数据,各入口数据包含OSD中的应分配到一个象素的亮度数据、相应的应分配到一个象素的红色差数据、相应的应分配到一个象素的蓝色差数据和表示用什么比例把OSD混合为显示图形并输出的混合率α。LUT中的各个入口数据设定有表示红、蓝、绿、黄等固有色的亮度数据、蓝色差数据、红色差数据的值,各个值互不相同。
OSD数据包含OSD图象数据和指令,该指令包含展开OSD图象数据时的纵横尺寸、表示应重叠在画面上的坐标的坐标信息、LUT的入口地址和OSD图象数据的开头地址。
这里,所谓OSD图象数据是通过把规定位分配给各象素并设定这些规定位的比特值来显示图象内容的数据。该规定位的位长的长度代表扫描象素时的色数,例如该规定位为1比特,表示用2色对OSD图象数据的各象素着色;规定位为2比特,表示用4色对OSD图象数据的各象素着色;规定位为4比特,表示用16色对OSD图象数据的各象素着色。
LUT的入口地址表示对应于规定位的各个值并显示分配相应的值的象素时用LUT中的哪个入口数据内的亮度数据、蓝色差数据、红色差数据对各象素着色。
例如假定OSD图象数据为按照“01”的排列来描绘图11C所示的文字「P」的数据,被设定为“0”的1比特象素表示背景色,被设定为“1”的1比特象素表示前景色。这里,假定位“0”对应于具有绿色的亮度数据、蓝色差数据和红色差数据的入口数据的入口地址,位“1”对应于具有黄色的亮度数据、蓝色差数据和红色差数据的入口数据的入口地址,那么,在画面上就是以绿色为背景用黄色来显示图11C所示的文字「P」。
在上述那样传送OSD数据时,主微机23通知AV解码器21是透明显示相应的OSD数据还是不透明显示OSD数据。在本实施例中,所谓不透明的OSD数据是指在多个入口地址内指定的入口数据中的混合率α被设定为100%的OSD数据;所谓透明的OSD数据是指在多个入口地址内指定的全部入口数据中的混合率α被设定为低于99%的OSD数据。
一旦AV解码器21把这样输出的LUT和OSD数据写入SD-RAM22中,由于从AV解码器21输出帧存储区52、53、54上的写入区的开头地址和LUT及OSD数据的数据长,所以主微机23就把它们保持起来。然后,在操作者指示消除OSD之前,主微机23一直继续进行区域确保要求信号的输出。
反之,操作者指示仅进行运动图象的重放,而不必确保OSD数据的存储区的情况下,主微机23就不指示区域确保。
在主微机23读出OSD数据的情况下,就根据上述那样输出的空闲区域的开头地址,把OSD数据的读出指示、OSD数据的读出目标的开头地址和数据长输出到AV解码器21。
在本实施例中,主微机23在存储OSD时发送区域确保要求信号,除此之外,因数据流重放装置中的其他处理的存储器使用状况而担心不能完全确保图象解码处理所必要的存储区的情况下,以及由于对数据流重放装置执行追加功能而必需新确保存储区的情况下,主微机23也可以输出区域确保要求信号。
AV解码器21对从外部输入来的MPEG数据流进行解码并输出为图象信号和声音信号。图7是AV解码器21的内部构成图,如图7所示,AV解码器21包括外部I/O单元100、数据流输入部101、主缓冲存储器102、比特流FIFO103、设置部104、代码变换部105、象素运算部106、运动补偿部107、视频输出部108、音频输出部109、SD-RAM控制单元111、I/O处理器113和行缓冲存储器140。
主微机23输出OSD数据时,一旦把它写入到主缓冲存储器102内,外部I/O)单元100就在其后把它传送到SD-RAM22上确保的OSD数据区域;根据来自主微机23的读出指示读出OSD数据,并输出到主微机23。
当从记录媒体或通信媒体取出MPEG数据流并输入到AV解码器21时,数据流输入部101就把MPEG数据流分离成视频基本数据流(视频数据流)、音频基本数据流(音频数据流),并写入到主缓冲存储器102内。
主缓冲存储器102存储由数据流输入部101写入的基本数据流。
一旦传送主缓冲存储器102存储的MPEG数据流的I/O处理器113命令SD-RAM控制单元111,SD-RAM控制单元111就把相应的MPEG数据流DMA传送到编码数据流缓冲存储区51。SD-RAM控制单元111再根据比特流FIFO103内的未解码的MPEG数据流的剩余量把基本数据流读出到比特流FIFO103中,SD-RAM控制单元111还进行运动补偿部107与参照图象数据A帧存储区52~非参照图象数据帧存储区54之间的DMA传送、从参照图象数据A帧存储区52~非参照图象数据存储区54和OSD数据存储区向行缓冲存储器140的DMA传送、从SD-RAM的OSD数据存储区中的LUT向LUT-RAM的DMA传送。
比特流FIFO103取入到编码数据流缓冲存储区51内存储的基本数据流,比特流FIFO103按照先入先出方式保持所取入的基本数据流。这样保持的基本数据流中的视频数据流被输出到代码变换部105,并把音频数据流输出到设置部104。
如果保持在比特流FIFO103内的基本数据流是视频数据流,设置部104就通过代码变换部105进行的解码来等待把其标题部伸长,伸长标题部时,进行其解析处理,并进行运动矢量的提取。此后,在进行可变长解码、逆量化、逆离散余弦变换、运动补偿等期间进行声音数据流的解码处理。
在输出宏数据块时,代码变换部105对包含在宏数据块内的4个亮度数据块Y0,Y1,Y2,Y3和2个色差数据块Cb,Cr进行可变长解码。
象素运算部106对进行了可变长解码的4个亮度数据块和2个色差数据块进行逆量化和逆离散余弦变换。
在象素运算部106进行逆量化和逆离散余弦变换时,运动补偿部107从SD-RAM22中的参照图象数据A帧存储区52、参照图象数据B帧存储区53读出对应于进行过这些处理的亮度数据块和色差数据块的参照图象的数据,并分别进行ハ-フペル处理,再把来自象素运算部106的输出加到把处理结果平均化的数据上,来进行运动补偿。此后,把运动补偿的结果写入到SD-RAM22的参照图象数据A帧存储区52~非参照图象数据帧存储区54的某个存储区内。
行缓冲存储器140是用来对从SD-RAM22的参照图象数据A帧存储区52~非参照图象数据帧存储区54读出的象素数据进行2行存储的缓冲存储器。
视频输出部108输入从行缓冲存储器140读出的2行象素数据和OSD数据以及来自LUT-RAM的入口数据,并根据规定的放大率和各数据的混合率α进行滤波,变换为图象信号后输出到连接在外部的电视接收机等的显示装置。
这里,关于透明色的OSD数据,由于其混合率α在99%以下,所以在图8中的混合器74的图象输出中对于不可视部位的混合率取为大于1%来进行滤波。关于非透明色的OSD数据,由于其混合率α是100%,所以混合器74的图象输出中有关不可视部位的混合率取为0%来进行滤波。
图8是视频输出部108的内部结构图,在该图中,视频输出部108设置有基于应显示的图象的放大缩小比(SRC)进行行单位滤波的2个水平滤波器71、72(Horizonal Filter)、进行行间滤波的垂直滤波器73(Vertical Filter)、把行单位的象素数据混合为背景色(BGColor)的混合器74(Blend BGColor)、根据从行缓冲存储器140读出的OSD数据以及存储在LUT-RAM内的LUT生成OSD的OSD生成器75(OSDGenerator)和以行为单位混合象素数据和OSD的混合器76(Blend OSD)。
音频输出部109经SD-RAM22的主缓冲存储器102接受由设置部104解码的音频数据,变换为声音信号之后输出到连接在装置外部的扬声器装置。
I/O处理器113把AV解码器中的多项任务分配成多个片,按照时分多路复用来执行多项任务。
在本实施例中,这些任务进行解码处理的解码负荷削减处理、OSD数据存储区确保处理和各存储区间的DMA传送控制。在I/O处理器113内剪裁这些处理内容时,AV解码器21的功能构成就成为图9所示的构成。在图9中,I/O处理器113包括功能性输出图象管理部61、接通要求式区域确保部62、OSD数据存取部63、数据削减控制部64和显示行读出部67;运动补偿部107由功能性运动补偿处理部65和解码完成的象素写入部66构成。
输出图象管理器61存储着在帧存储区内存储的解码完成的图形数据中不显示并且操作者看不见的部位(下称不可视部位)的纵宽-横宽、坐标信息。在不可视部位上,有OSD数据重叠的部位和在显示功能上成为不可能显示OSD数据的部位。
例如如图10A行示,假如AV解码器21输出的图象信号被显示在显示装置上,这种情况下,前者的部位(OSD数据重叠的部位)是重叠图10A上的OSD“PLAY”、OSD“12/18 21:36:58”的区域;后者的部位(显示功能上成为不可能显示OSD数据的部位)是处于图10B上的图形数据的周缘部的纵16象素、横16象素的范围。把图中的周缘部设定为不可视部位的原因是在电视广播接收用的显示装置中在这样的周缘部出现颜色的洇渗,所以图象解码装置大多避免这样的图象输出。
对于由OSD出现的不可视部位来说,由于显示坐标、纵宽-横宽包含在OSD数据的指令内,所以根据包含在指令内的显示坐标、OSD的纵宽-横宽来特定其位置,并算出纵宽-横宽、坐标信息。
图11A是表示称为『PLAY』的文字列的OSD,图11B是表示由于重叠OSD『PLAY』而出现的不可视部位的图。
如图11A所示,在OSD显示在(USx,USy)、其纵宽、横宽是(长度-u2,宽度-ul)的情况下,输出图象管理器61把它们作为不可视部位的坐标信息保持下来。另外,在本实施例中,OSD数据的大小是纵16象素×横16象素的整数倍单位,不可视部位把宏数据作为最小单位来管理。
在主微机23指示确保OSD数据存储区域时,接通要求式区域确保部62进行OSD数据存储区域的确保。接通要求式区域确保部62所确保的区域有对应于在帧存储区内重叠OSD的部位的区域和对应于显示性能上称为不可能显示OSD数据的部位的区域。接通要求式区域确保部62把这些区域分配给OSD数据存储区,从而能够不进行存储器增设而仅用解码处理时所使用的存储器来确保OSD数据存储区。
这里,来更加详细地说明重叠OSD的部位。如上所述,主微机23通知应该由透明色或不透明色显示的OSD数据是什么,接通要求式区域确保部62用不同的方法来管理对应于透明色的OSD数据的空闲区和对应于不透明色的OSD数据的空闲区。
图形数据中的不透明色的重叠OSD的部位的亮度数据-色差数据双方都不出现在显示画面上,因此,重叠不透明色的OSD部位把亮度数据占有区-色差数据占有区双方作为空闲区来管理。
反之,对于重叠透明色的OSD部位来说,接通要求式区域确保部62仅把色差数据占有区作为空闲区来管理。这里接通要求式区域确保部62中采用仅削减色差数据的方法的原因如下。即关于表示图形数据中的轮廓的亮度数据,例如对于重叠上透明色的OSD能够看清楚人眼,而关于颜色,在重叠上透明色的OSD时,就很难推测颜色。这样,在应该重叠OSD的部位上有关色数据的重要性就低,因为即使把重叠部位的颜色作成单一色,也不会有大的不协调的感觉。
这里,能够把OSD数据存储区确保在这样的空闲区域内的理由如下。即相对于宏数据块数据大且必需存储在连续的区域来说,OSD数据小,而且包含在其内的指令也不必存储在连续区域内。也就是说,具有可以分散存储的性质,所以,有可能充分存储在帧存储区内断续出现的空闲区域中。
另外,重叠在运动图象上的内容除OSD数据之外还有字幕等副图象,副图象的显示位置、显示内容和显示范围时时刻刻在变化,这样,其位置或大小变化的区域不适合用作OSD数据存储区。
参照图象数据A帧存储区52-参照图象数据B帧存储区53中对应于不可视部位的区域也不适合放在OSD数据存储区内。如果由于某种原因,在其他图形数据解码时I图形-P图形还须参照不可视部位,因此该数据的缺落会降低解码处理性能。
另外,最好仅在I图形-P图形显示期间许可削掉OSD,而在B图形显示期间禁止削掉OSD。
只有在主微机23输出区域确保要求信号来要求OSD数据存储区的区域确保的情况下,接通要求式区域确保部62才生成并保持表示空闲区域的开头地址和空闲区域的连续长的空闲区域信息与对应于不可视部位的宏数据块的宏数据块位置信息相对应的表。具体地说,接通要求式区域确保部62根据输出图象管理器61管理的不可视部位的坐标信息、纵宽-横宽来算出对应于不可视部位的宏数据块的位置信息并把它们登录在表中。图12表示帧存储区内空闲区域管理表的一例,在图12中,该表由宏数据块的位置信息和地址信息构成。在该图中,定位于(i0,j0)~(i44,j0)宏数据块占有起始于页地址Y0的长度45×512的大小、起始于页地址C0的长度45×512的大小,这些区域分配给OSD数据存储区。
在第一实施例中,把不可视部位的大小取为宏数据块的整数倍单位,所以能够得到页面区域的1/2倍或1/4倍的OSD数据存储区。
这里,参照图14来说明宏数据块的位置信息与空闲区域的地址的对应关系。在图14中,一个方格代表一个宏数据块,加阴影线的部位就是不可视部位,把表示从画面左上角起始的相对位置的位置信息(i,j)分配给这些宏数据块。
这样,定位于不可视部位的宏数据块的位置信息就成为(0,0)(1,0)(2,0)(0,1)(1,1)(2,1)。把这些位置信息指示的宏数据块的占有区域作为未使用区,取存储宏数据块的页面区域的大小为512字节,用下式来算出帧存储区内相当于定位于(i,j)的宏数据块的未使用区的地址。
地址ij=列地址+栏地址列地址=512×i+α×(W/16)×512字节栏地址=β×512字节其中α=j/Pnum的整数部分β=j/Pnum的小数部分W图形数据的横宽(720象素)16宏数据块中1行的象素数
Pnum页面区域内可存储的宏数据块数亮度数据Pnum=2色差数据Pnum=4i,j≥0亮度数据可使用从上式表示的开头地址起始的256字节,色差数据可使用从上式表示的开头地址起始的128字节。
虽然举出日本公开专利JP6-189298和JP8-294115所记载的内容为例说明象素坐标和地址的对应关系,但是,只要单一决定画面上的坐标于存储区上的配置,也可以采用其他方法。
在主微机23指示写入LUT和OSD数据并从外部传送来LUT和OSD数据的情况下,OSD数据存取部63就把LUT和OSD数据写入到接通要求式区域确保部62管理的多个空闲区域中的一个空闲区内,同时把该写入的空闲区域的开头地址和数据长反馈给主微机23,这样,主微机23就能够知道被传送的LUT和OSD数据存储在SD-RAM22的哪个区域内。
在主微机23输出OSD数据的读出指示、OSD数据的读出目标的开头地址和数据长的情况下,OSD数据存取部63就读出存储在该开头地址以后的OSD数据。
一旦主微机23进行确保OSD数据存储区的指示,数据削减控制部64就废弃把相应的OSD数据存储区作为存储地址的宏数据块,即B图形数据中的要由此被写入到帧存储区内的宏数据块。此后,在接通要求式区域确保部62把OSD数据存储区确保在帧存储区内期间,不写入存储在相应的OSD数据存储区内的OSD数据,继续废弃把相应的OSD数据存储区作为存储地址的宏数据块,即B图形数据中的要由此被写入到帧存储区内的宏数据块。虽然有各种各样的废弃宏数据块的方法,但是,其中对图象解码装置整体效率最有贡献的方法是废弃尚未解码的宏数据块的方法。
具体地说,数据削减控制部64首先参照输入的未解码的MPEG数据流的图形数据的图形标题内的图形代码类型,来判定所输入的未解码的图形数据是I图形、P图形还是B图形。如果所输入的未解码的图形数据是I图形、P图形,就从主缓冲存储器102传送到编码数据流缓冲区51;如果所输入的未解码的图形数据是B图形,数据削减控制部64对照包含在各数据片中的SSC和不可视部位的位置信息来判定包含不可视部位的宏数据块的数据片是哪个。对于包含不可视部位的未解码的数据片,对照各宏数据块的MBAI和不可视部位的位置信息判定不可视部位中相应的宏数据块是哪个。SD-RAM控制单元111把不可视部位中不相应的宏数据块从主缓冲存储器102向编码数据流缓冲区51进行DMA传送,对不同视部位中相应的未解码的宏数据块不进行向编码数据流缓冲区51的DMA传送。这样,通过省略对不可视部位中相应的未解码的宏数据块的DMA传送,在主缓冲存储器102内废弃不可视部位中相应的未解码的宏数据块。
这里,不可视部位是重叠OSD部位,并且相应的OSD是透明色的情况下,数据削减控制部64仅废弃非参照图象数据的不可视部位中相应的宏数据块内的色差数据,并且把亮度数据全部从主缓冲存储器102向编码数据流缓冲存储区51传送。
例如一个不可视部位是图11B所示的部位的情况下,等待把宏数据块MB152,MB153,MB154,MB155输入到主缓冲存储器102。在输入时,如图15的第一段所示,数据削减控制部64在主缓冲存储器102内废弃这些宏数据块MB152,MB153,MB154,MB155,并像存储在编码数据流缓冲存储区51中那样,把处于紧靠不可视部位前的宏数据块MB150,MB151与处于紧靠不可视部位后的宏数据块MB156,MB157,MB158邻接起来,然后DMA传送到SD-RAM控制单元111。在图15中,第一段内表示宏数据块MB150,MB151,MB1S2,MB153,MB154,MB155,MB156,MB157,MB158;而第二段内表示宏数据块MB150,MB151,MB156,MB157,MB158。这在SD-RAM22内的编码数据流缓冲存储区51内表示存储着抽掉宏数据块MB152,MB153,MB154,MB155的宏数据块列。
通过这样废弃未解码的宏数据块来减小应解码的宏数据块数就能够减小代码变换部105-象素运算部106的解码负荷,还能够降低主缓冲存储器102-SD-RAM22间、SD-RAM22-比特流FIFO103间、SD-RAM22-运动补偿部107间伴随解码的DMA传送的传送量及其频度。这样,在图象解码装置中就能够因解码处理量的减小而减轻耗电量,还能够通过伴随解码处理的DMA传送的减少而实现其他DMA传送特别是从外部输入的LUT或OSD数据的SD-RAM22写入的DMA传送的高速化,另外还能够减轻图象解码装置中的电磁波辐射。
在本实施例中,把解析宏数据块标题、片标题的功能设置到I/O处理器113内,构成I/O处理器113的数据削减控制部64在主缓冲存储器102内检出处于不可视部位的宏数据块。但是,一般代码变换部105具备解析宏数据块标题、片标题的功能,在不希望把这种功能设置到I/O处理器113内的情况下,也可以在代码变换部105内检出并废弃处于不可视部位的宏数据块。
运动补偿处理部65进行从SD-RAM22中的参照图象A帧存储区51和参照图象B帧存储区53的读出,分别进行ハ-フペル处理,并把来自象素运算部106的输出加到平均化其结果的数据上而进行的运动补偿,然后把运动补偿的结果输出到解码完成的象素存储部66。
解码完成的象素存储部66具有表示成为存储目标的页面区域的开头地址的指针,并一次次地从运动补偿处理部65把所输出的解码完成了的宏数据块顺次写入到页面区域内,图16A表示由解码完成的象素存储部66进行的亮度数据的写入。
在该图中,解码完成的象素存储部66把构成纵向并列的2个宏数据块MB0,MB44的亮度数据写入到帧存储区内,如箭头(0)(1)(2)(3)……(29)(30)(31)所示。同样,把构成纵向并列的2个宏数据块MB1,MB45的象素数据写入到帧存储区内,如箭头(32)(33)(34)(35)……(61)(62)(63)所示。解码完成的象素存储部66对SD-RAM控制单元111进行按照线性地址模式的DMA传送来实现以上那样的象素数据的写入,这里,所谓线性地址模式是指按照顺序把地址递进的地址递增法。
应该特别注意的是解码完成的象素存储部66在把紧接不可视部位前的宏数据块存储到页面区域阶段要存储与相应的宏数据块邻接的紧接不可视部位后面的宏数据块,并进行宏数据块的存储开头的换行处理。具体地说,在存储不可视部位以外的宏数据块时,解码完成的象素存储部66进行指针的递进,并进行目标地址的写入,然后把解码完成的宏数据块写入到指针所指示的地址上。此后,输出处于紧接不可视部位前面的宏数据块,在被存储到页面区域阶段,把存储开头地址一直进到应存储紧接不可视部位后面的宏数据块的页面区域的开头地址为止,然后再开始指针的递进。
图15的第四段中的页面区域P150,P151,P152,P153,……P157,P158是用来分别存储宏数据块MB150,MB151,MB152,MB153,……MB157,MB158的页面区域。
这里,在第二段所示的未解码的宏数据块MB150原样读出后再写入,进行指针的递进后,把写入开头地址行进到P151的开头地址。此后,输出处于紧接不可视部位前面的宏数据块MB151并存储相应的宏数据块时,一直把存储开头地址进到页面区域P156的开头地址为止,然后再开始指针的递进。这样,如第四段所示,就能把非参照图象数据帧存储区54中应存储宏数据块MB152,MB153,MB154,MB155的区域P152,P153,P154,P155确保为空闲区,并能够把它用作OSD数据存储区。
另外,在横方向上写入处于第s(s≥0)列的宏数据块的情况下,关于第s列的宏数据块的偏移由处于该画面左端到该宏数据块的宏数据块的数目来决定。由于页面区域的大小是512字节,所以在横方向上写入处于第s列的宏数据块时,也可以从补足了(512)×s字节的地址开始把宏数据块写入到包含该宏数据块的行开头地址内。
显示行读出部67把存储在帧存储区内的象素数据以行为单位读出到行缓冲存储器140中,并转移到视频输出部108内。因此,显示行读出部67具有指示读出地址的指针,一面更新相应的指针,一面按每行读出存储在各页面区域内的象素数据。图16B表示由显示行读出部67读出象素数据的一例,在该图中,为了读出各宏数据块的第一行的象素数据,可以如箭头(0)(1)(2)(3)……(44)所示的那样读出象素数据。接着,在读出各宏数据块的第二、第三行时,可以如箭头(45)(46)(47)……(89)、(90)(91)(92)……(134)所示的那样读出象素数据。通过SD-RAM控制单元111进行称之为视频移动模式的DMA传送来实现这种行单位的象素数据的读出。这里,所谓视频移动模式是指把地址按顺序递进下去并把512字节的偏移加到16字节单位的地址增加法。
在本实施例中应该特别注意的是非参照图象数据帧存储区53中设置在对应于不可视部位的部分区域的OSD数据区。
这里,在OSD数据(OSD数据的混合率α为100%)是不透明的情况下,由于不可视部位中的解码图象的混合率被设定为0%,所以,没有用视频输出部108内的滤波器完全显示不可视部位的内容情况。因此,OSD数据区域存在于帧存储区内,即使其内部的数据是不把全部意义作为图象的数据,由于这样的OSD数据区域的内容与OSD混合为0%的混合率,所以,也不影响输出信号,画面上也不出现这样的内容。因此,与处于OSD数据区域前后的象素数据没有区别,即使把包含OSD数据区域的内容的1行数据汇集起来向行缓冲存储器140读出,在画面上也不会显示不顺眼的无用信息。
在显示透明色的OSD数据的情况下,显示行读出部67在从紧接不可视部位前的宏数据块读出行单位的象素数据阶段与其他部位一样对亮度数据读出象素数据,而对色差数据跳过确保在对应于不可视部位的区域的OSD数据存储区的同时,代替对应于OSD数据区域的不可视部位的色差数据,把单色或灰度定标数据供给行缓冲存储器140。具有地说,在下次应读出的行与不可视部位重复的情况下,一直把象素数据读出到紧接其不可视部位的前面为止。接着从紧接不可视部位的后面开始读出象素数据的同时,对不可视部位,把单色或灰度定标数据供给行缓冲存储器140。
下面把图15作为对象来说明显示行读出部67的处理的具体例。在图15的第四段所示的页面区域P150,P151,P152,P153,……P157,P158中,把宏数据块存储在页面区域P150,P151内,并把宏数据块MB156,MB157,MB158存储在页面区域P156,P157,P158内。把处于它们之间的页面区域P152,P153,P154,P155用作OSD数据存储区。
在从这些区域读出一行的象素数据时,从页面区域P150,P151每行读出宏数据块MB150,MB151的象素,此后,把指针所指示的读出地址从页面区域P151一直进到页面区域P156的开头地址,并每行读出表示宏数据块MB156,MB157,MB158以后的同一行的象素数据。显示行读出部把单色或灰度定标数据供给对应于不可视部位的色差数据的行缓冲存储器140内的区域。
这样,如图15的第五段所示,就把单色或灰度定标数据存储到行缓冲存储器140中相应于不可视部位的地方。
以下参照流程图来说明数据削减控制部64、解码完成的象素存储部66、显示行读出部67的处理内容。
首先参照图17的流程图来说明数据削减控制部64的处理内容。
在本流程图中,数据削减控制部64首先在步骤S1等待把图形标题新存储在主缓冲存储器102内,如果被存储,就转移到步骤S2。在步骤S2,判定新存储的图形标题是否表示B图形,如果表示I图形、P图形,就在步骤S3把顺序存储在主缓冲存储器102内的图形数据传送到编码数据流缓冲存储区51,并把所传送的图形数据占有的主缓冲存储器102上的区域解脱为空闲区。解脱之后,转移到步骤S1,等待把图形数据的图形标题存储在主缓冲存储器102内。空闲区域解脱之后,如果从外部新输入数据流的一部分,就把所输入的该部分写入到相应的空闲区内。
这里,在检出图形数据的标题,并且该标题表示B图形的情况下,转移到步骤S13,步骤S13是循环处理的入口步骤,选择B图形内包含的多个数据片中开头的数据片作为第一循环处理的对象。第一循环处理把从步骤S4到步骤S12、步骤S17-步骤S18作为对象,由步骤S13选择的数据片就成为该循环处理的对象。
数据削减控制部64首先在步骤S4从主缓冲存储器102检出包含在B图形内的开头数据片的数据片标题,然后在步骤S5判定数据片标题中的SSC是否对应于不可视部位,在不对应的情况下,转移到步骤S6,数据削减控制部64把具有相应的标题的数据片从主缓冲存储器102传送到编码数据流缓冲存储区51,在步骤S7把占有所传送的数据片的主缓冲存储器102上的区域解脱为空闲区之后,转移到步骤S14。
在数据片标题内的SSC被判定为相应于不可视部位的情况下,转移到步骤S15。
步骤S15是第二循环处理的入口步骤,选择包含在数据片中的多个宏数据块内的开头宏数据块作为第二循环处理的对象,第二循环处理是重复从步骤S8到步骤S12的处理、步骤S17-步骤S18的处理,由步骤S15所选择的宏数据块就成为该循环处理的对象。
首先在步骤S8检出宏数据块标题,然后在步骤S9判定相应的宏数据块标题中的MBAI是否对应于不可视部位,在不对应的情况下,在步骤S10把具有相应的标题的宏数据块传送到编码数据流缓冲存储区51,在步骤S11把占有所传送的宏数据块的主缓冲存储器102上的区域解脱为空闲区之后,转移到步骤S16。
在步骤S9把相应的宏数据块的标题内的MBAI判定为相应于不可视部位的情况下,数据削减控制部64就在步骤S17判定不可视部位是否对应于透明色的OSD。如果不对应,跳过步骤S18转移到步骤S12,如果对应,就原样转移到步骤S18,在步骤S18,数据削减控制部64只把相应于不可视部位的宏数据块中的亮度数据传送到编码数据流缓冲存储区51。
在步骤S12,不把相应于不可视部位的宏数据块传送到编码数据流缓冲存储区51,而把占有相应的宏数据块的区域解脱为空闲区之后,转移到步骤S16。
步骤S16是把步骤S15作为分岔目标的有条件分岔步骤。所谓用来分岔的条件是剩下还未由步骤S15选择的宏数据块,在满足条件的情况下,转移到步骤S15,选择数据片中按顺序排位的宏数据块,只有在不满足该条件的情况下,才转移到步骤S14。
步骤S14是把步骤S13作为分岔目标的有条件分岔步骤。所谓用来分岔的条件是剩下还未由步骤S13选择的数据片,在满足条件的情况下,转移到步骤S13,在图形数据中选择按顺序排位的数据片,只有在不满足该条件的情况下,才转移到步骤S1。这样的有条件分岔就使包含在步骤S2中被判定是B图形的B图形内的全部数据片成为步骤S4~步骤S12和步骤S15、步骤S17、步骤S18的处理对象。一旦不满足条件而转移到步骤S1,就在步骤S1存储保持图形标题。
下面参照图18A来说明解码完成的象素存储部66的处理内容。解码完成的象素存储部66在步骤S21判定下次应写入参照图象数据B帧存储区53的宏数据块是否是处于紧接不可视部位后面的宏数据块。如果不是,就在步骤S20把宏数据块传送到指针所指示的页面区域。接下来,在步骤S22把规定的偏移加到表示写入地址的指针上,这里,所谓规定的偏移是为指示存储下一个宏数据块的页面区域而表示跳过数据量的量值,相当于一个宏数据块的数据量。
在步骤S21被判定为是的情况下,就在步骤S23把相当于不可视部位的偏移加到表示写入地址的指针上。
以下参照图18B的流程图来说明透明色OSD的数据被存储在OSD数据区域内的情况下的显示行读出部67的处理内容。显示行读出部67首先在步骤S30判定由指针所指示的行即下次应读出到行缓冲存储器140的行是否与应重叠透明色的OSD的不可视部位重复。在不重复的情况下,就在步骤S32把下次应读出到行缓冲存储器140的行传送到行缓冲存储器140之后,在步骤S33把指针设定到下一行,然后,转移到步骤S30。在重复的情况下,从步骤S30转移到步骤S31,在步骤S31,把下次应读出到行缓冲存储器140的行中的处于不可视部位前的象素数据行和不可视部位后的象素数据行各自传送到行缓冲存储器140,同时,代替对应于OSD数据区的不可视部位的色差数据,把单色或灰度定标数据供给行缓冲存储器140。
按照上述的本实施例,仅在操作者要求OSD显示的情况下才废弃操作者看不见的部位,所以,能够确保工作区域而无图象质量的劣化。因此,无须增设存储器AV解码器21就能够显示OSD。
在确保OSD数据的存储区域时,由于把未解码的MPEG数据流的一部分削减掉,所以,减轻解码处理的负荷,并能够实现解码处理的高速化、省电化以及其他伴随DMA传送的处理的高速化,例如OSD能够实现数据写入处理的高速化。
另外,虽然数据削减控制部64在解码前进行废弃处理,但是,也可以由代码变换部105、象素运算部106进行宏数据块的解码,然后废弃经解码的宏数据块。
此外,虽然在以上的说明中以B图形作为一例来说明削减的图象数据,而在以后的图象解码处理中只要是未被参照的图象不管是何种图象数据同样都能够实施。
(第二实施例)在第一实施例中,把对应于不可视部位的区域作为空闲区域来管理,而第二实施例是有关挤出这种空闲区域的方法的实施例。如图19A所示,这里假设在帧存储区内存储着多个宏数据块(1)(2)(3)~(14)(15)(16),接在该帧存储区后面的区域内存储着数据A,B,C,D~I,J,K,L。
如本图所示,假如在帧存储区内存在不可视部位,把处于上数第3行-左数第0列以下的宏数据块(7)(11)(15)、上数第3行-左数第1列以下的宏数据块(8)(12)(16)挪开,以便把相应的不可视部位挤出来。这样,如图19B所示,在数据A,B,C,D,E,F~I,J,K,L占有的区域中,数据I,J占有区的下侧、数据C,D,G,H,K,L占有区的左侧就出现了空闲区。
如果把处于上数第i行,直到左数第0~j-1列的不可视部位的宏数据块数目取为Nij,存储上数第i行,左数第0~j列的宏数据块时的SD-RAM中的存储地址ADDij就可以由下式来表示。
ADDij=列地址+栏地址列地址=512×i+α×(W/16)×512字节栏地址=β×512字节W图形数据的横宽(720象素)α={(j-Nij)/Pnum的整数部}β={(j-Nij)/Pnum的小数部}i,j≥0 Nij≤jPnum页面区域内可存储的宏数据块的数目亮度数据Pnum=2色差数据Pnum=4下面来说明显示时的读出目标地址的计算方法,这里,画面的向右方向配置X坐标轴,画面的向下方向配置Y坐标轴。
把处于上数第3行的宏数据块之前换算为象素单位时,对于第48行之前的象素数据的读出来说,与第一实施例一样,把帧存储区的开头地址内填满X坐标的偏移和Y坐标的偏移的地址作为开头地址。
与第一实施例—样,把处于上数第3行的宏数据块之后换算为象素单位时,对于第48行之后的象素数据的读出来说,处于第0~31列的象素数据和第32列以后的象素数据的读出目标地址不同。
对处于第0~31列的象素数据来说,把帧存储区开头地址内填满X坐标的偏移和(Y坐标-不要的宏数据块数×16)行偏移的地址作为开头地址。
对处于第32列以后的象素数据来说,把帧存储区的开头地址内填满X坐标的偏移和Y坐标的偏移的地址作为开头地址。
按照以上本实施例,就能够把帧存储区内分散出现的空闲区汇集到一起,确保更大尺寸的OSD数据存储区。
(第三实施例)在第一实施例中,把不可视部位的大小取为宏数据块的整数倍,从而能够得到页面区域的1/2或1/4倍单位的OSD数据存储区,而在第三实施例中,自由确定不可视部位的大小。
因此,在第三实施例中,帧存储区上出现图20A、图20B、图20C三种形式的空闲区,这些空闲区的内容表示如下。
(1)如图20A所示,由不可视部位完全覆盖的宏数据块对应于256字节或128字节的整数倍的空闲区。
(2)如图20B所示,存在由不可视部位完全覆盖的行的情况下,出现16字节×行数的数据大小的空闲区。
(3)如图20C所示,存在由不可视部位到其中途覆盖的行的情况下,分散出现对应于其覆盖的数据的空闲区。
在图形(3)的空闲区内,由于分散出现不满16字节的空闲区,所以利用价值低,因此,在本实施例中把(1)(2)空闲区用作OSD数据存储区域。
接下来说明第三实施例中的AV解码器21的构成。如以下的说明,第三实施例中的AV解码器21对数据削减控制部64、解码完成的象素存储部66作了改良。
数据削减控制部64按照第一实施例所示的同样的步骤对照不可视部位的坐标信息和包含在数据片内的SSC、包含在宏数据块内的MBAI,判定对应于不可视部位的宏数据块,废弃它们的同时判定部分包含图20B所示的不可视部位的宏数据块,并把这些宏数据块的位置信息发送到解码完成的象素写入部66。
解码完成的象素写入部66按照第一实施例所示的同样的步骤把解码完成的宏数据块写入到参照图象数据区的同时,对数据削减控制部64通知的部分包含不可视部位的宏数据块的写入进行特别处理。
以下参照图20D、图21A、图21B来说明该特别处理。这里,把部分包含不可视部位的宏数据块假定为图20D所示的内容。对于图20D中的A部分,不可视部位与宏数据块未局部重复,但是,B、C部分的不可视部位重复在宏数据块的一部分区域上。
图21A和图21B表示如何把图20D所示的B、C部分写入到帧存储区内。
以下来说明如何把图21A所示的B部写入到非参照图象数据帧存储区54内,图21A中,数据片的左上坐标取为(SSx,SSy)。
首先,对要写入从数据片开头(SSx,SSy)到紧接不可视部位前面(USx-1,SSy+15)的宏数据块的SD-RAM控制单元111进行DMA传送。
接着对要把从与不可视部位重复的宏数据块中的第一宏数据块的左上坐标(USx,SSy)至紧接不可视部位前面的坐标(USx+15,USy-1)写入到非参照图象数据帧存储区54内的SD-RAM控制单元111进行DMA传送。
对要把从第二宏数据块的左上坐标(USx+16,SSy)至紧接不可视部位前面的坐标(USx+15+16,USy-1)、从第三宏数据块的左上坐标(USx+32,SSy)至紧接不可视部位前面的坐标(USx+15+32,USy-1)的宏数据块、从第y宏数据块的左上坐标(USx+16×(y-1),SSy)的宏数据块至紧接不可视部位前面的坐标(USx+15+16×(y-1),USy-1)写入到非参照图象数据帧存储区54内的SD-RAM控制单元111进行DMA传送。
最后,对要把从紧接不可视部位后面的(UEx+1,SSy)至末尾的宏数据块写入的SD-RAM控制单元111进行DMA传送。
接着来说明如何把图21B所示的C部分写入到非参照图象数据帧存储区54内,在图21B中,把数据片的左上坐标取为(SSx,SSy)。
首先,对要写入从数据片开头(SSx,SSy)到紧接不可视部位前面(USx-1,SSy+15)的宏数据块的SD-RAMM控制单元111进行DMA传送。
下面说明从开头行到途中行由不可视部位掩盖的宏数据块。
把紧接不可视部位后面的坐标(USx,UEy+1)到宏数据块的末尾坐标(USx+15,SSy+15)写入到参照图象数据B帧存储区53内。
把从第二宏数据块中紧接不可视部位后面的坐标(USx+16,USy+1)至宏数据块末尾的坐标(USx+15+16,SSy+15)、从第三宏数据块中紧接不可视部位后面的坐标(USx+32,UEy+1)至宏数据块末尾的坐标(USx+15+32,SSy+15)、从第y宏数据块中紧接不可视部位后面的坐标(USx+16×(y-1),UEy+1)至宏数据块末尾的坐标(USx+15+16×(y-1),SSy+15)写入到参照图象数据B帧存储区53内。
最后,对要写入从紧接不可视部位后面(UEx+1,SSy)至末尾的宏数据块的SD-RAM控制单元111进行DMA传送。
接着来说明按照视频偏移模式进行的象素数据读出。由于在不可视部位内存储着其他数据,所以不能与其他区域一样读出不可视部位,因此,对要跳过不可视部位的视频偏移模式进行DMA传送。
图22表示如何从图20D所示的A,B,C部分读出象素数据。虽然对不包含不可视部位的行进行通常的1行传送,但是在包含不可视部位的情况下,分紧接不可视部位前、紧接不可视部位后两次进行传送。对SD-RAM控制单元111进行从数据片开头(SSx,SSy)到紧接不可视部位前面(USx-1,USy)的象素数据的DMA传送。接下来对SD-RAM控制单元111进行从紧接不可视部位后面(UEx+1,USy)到数据片末尾(SEx,USy)的象素数据的DMA传送。
另外,在本实施例中,与第一实施例一样,也能够把空闲区域配置在对应于不可视部位处(地址),也能够与第二实施例一样,把通过挪动处于不可视部位前后的象素数据而把空闲区汇集起来,从而能够确保连续的大的空闲区域。
按照上述的本实施例,由于就连不够宏数据块大小的不可视部位都用作OSD数据存储区域,所以能够确保更多的OSD数据存储区域。
最后,也可以用机械语言程序来实现第一实施例~第三实施例所示的数据削减控制部64、运动补偿处理65、解码完成的象素存储部66的步骤(图17、图18A、图18B的流程步骤),并能够把它记录在记录媒体上流通·销售。在这样的记录媒体中,有IC卡或光盘、软盘等,在这些记录媒体上记录的机械语言程序装到通用计算机内提供使用。这种计算机逐次执行所装入的机械语言程序,并实现实施例所示的图象解码装置的功能。
权利要求
1.一种图象解码装置,根据来自主装置的指示对包含在视频数据流内的多个图形数据的每一个进行解码,然后把完成解码的图形数据写入到存储装置内;这里,在多个图形数据中包含有编码方式不同的多种类型的图形数据;所述存储装置具有按照类型不同写入最新数据即完成了解码的图形数据的多个帧区;所述图象解码装置包含如下部分解码装置,参照帧区内存储的完成了解码的其他图形数据,对包含在视频数据流内的多个图形数据的每一个进行解码;写入装置,在新的图形数据被解码时把该图形数据写入到已经被写到帧区内的完成了解码的图形数据上;区域分配装置,在主装置发出在存储装置内确保工作区的要求时把帧区内的部分区域分配给工作区,该部分区域是应该写入规定类型的图形数据的一部分即解码装置进行解码前的数据的帧区内的部分区域或是应该写入规定类型的图形数据的完成了解码的一部分即写入装置写入前的数据的帧区内的部分区域。
2.根据权利要求1的图象解码装置,其特征在于,所述主装置输出确保要求的同时,输出应写入到存储装置的主数据;所述的图形数据包含一幅显示画面的多个象素数据;所述区域分配装置包含如下部分区域存储部,存储表示显示画面上的规定部位的位置信息;禁止部,禁止对处于所述规定部位的数据即包含在解码前的图形数据内的象素数据进行解码,或禁止写入处于所述规定部位的数据即包含在解码完成的图形数据内的象素数据。第一写入部,把主装置输出的主数据写入到应写入规定类型的图形数据的帧区上的部分区域内即对应于显示画面上的所述规定部的区域内。
3.根据权利要求2的图象解码装置,其特征在于,所述确保要求包含在规定的期间内继续确保工作区;所述禁止部为了不写入由所述第一写入部写入部分区域的主数据,而在所述规定期间继续禁止对处于所述规定部位的数据即包含在解码前的图形数据内的象素数据进行解码,或继续禁止写入处于所述规定部位的数据即包含在解码完成的图形数据内的象素数据。
4.根据权利要求3的图象解码装置,其特征在于,所述区域存储部存储表示显示画面的周缘部的位置信息作为所述规定部位的位置信息。
5.根据权利要求3的图象解码装置,其特征在于,在把屏幕显示数据写入到所述工作区内时,废弃工作区的确保要求;所述主装置输出确保要求的同时,输出应存储在存储装置内的屏幕显示数据;所述区域存储部存储表示显示画面上的所述屏幕显示数据所分配位置的位置信息,作为表示规定位置的位置信息。
6.根据权利要求5的图象解码装置,其特征在于,屏幕显示数据包含应重叠在画面上的图象数据、展开相应的数据时的纵横尺寸以及表示应重叠在画面上的坐标的坐标信息;所述主装置把所述纵横尺寸、所述坐标信息与工作区的确保要求一起通知区域分配装置;所述区域分配装置包含如下部分所述位置信息算出部,根据由主装置通知的纵横尺寸和所述坐标信息算出表示规定位置的位置信息,并写入到所述区域存储部。
7.根据权利要求6的图象解码装置,其特征在于,所述屏幕显示数据有透明色数据和不透明色数据;写入到帧区的解码完成的图形数据包含1画面的亮度数据和色差数据;所述区域分配装置还包含区域特定部,对于透明色的屏幕显示数据特定色差数据占有的区域即帧区上的部分区域,对于不透明色的屏幕显示数据特定亮度数据和色差数据占有的区域即帧区上的部分区域;所述第一写入部把屏幕显示数据写入到由所述区域特定部特定的区域内;所述图象解码装置包含如下部分水平读出装置,从帧区中按顺序读出显示画面横宽的象素数据行;变换装置,把所读出的象素数据行变换为图象信号;图象数据供给部,在所读出的象素数据行与透明的屏幕显示数据重复的情况下,取代所读出的象素数据行中的重复部分的色差数据,而把规定的数据供给变换装置。
8.根据权利要求7的图象解码装置,其特征在于,所述水平读出装置在下次应读出的象素数据行与所述显示画面中的规定部位重复的情况下按顺序读出处于所述规定部位前方的象素数据行和/或处于所述规定部位的后方的象素数据行。
9.根据权利要求3的图象解码装置,其特征在于,未解码的象素数据由多个数据片数据构成;各数据片数据包含数据片标题和m行×n列图象数据(m,n为大于1的整数),数据片标题表示这些象素数据的配置地址;缓冲存储器按顺序存储由装置外部输入的多个数据片数据;传送装置按顺序把存储在缓冲存储器内的数据片数据传送到解码装置;所述区域分配装置包含第一检出部,检出数据片标题所示的配置地址与所述显示画面中的规定部位一致的数据片数据;所述禁止部控制要把处于紧接所述显示画面上的规定部位前面的未解码的数据片和处于紧接所述显示画面上的规定部位后面的未解码的数据片连续起来并从缓冲存储器传送到解码装置的传送装置。
10.根据权利要求9的图象解码装置,其特征在于,数据片数据具有多个宏数据块,各宏数据块包含宏数据块标题和s行×t列象素数据(s是满足s≤m的关系的大于1的整数,t是满足t≤n的关系的大于1的整数),宏数据块标题表示这些象素数据的配置地址;所述区域分配装置包含第二检出部,检出宏数据块标题所示的配置地址与所述显示画面中的规定部位一致的宏数据块;所述禁止部控制要把处于紧接所述显示画面上的规定部位前面的未解码的宏数据块和处于紧接所述显示画面上的规定部位后面的未解码的宏数据块连续起来并从缓冲存储器传送到解码装置的传送装置。
11.根据权利要求10的图象解码装置,其特征在于,所述写入装置包含如下部分指针保持部,保持表示新解码的解码完成的宏数据块的存储目标的存储目标地址;第二写入部,在由所述解码装置进行的宏数据块的解码完成时把新解码的解码完成的宏数据块写入到指针保持部保特的存储目标地址上;递增器,在写入宏数据块时把相当于宏数据块的数据长的偏移加到指针保持部保持的存储目标地址上。
12.根据权利要求11的图象解码装置,其特征在于,把处于紧接所述显示画面上的规定部位前面的完成了解码的宏数据块和处于紧接所述显示画面上的规定部位后面的完成了解码的宏数据块传送到解码装置;所述递增器,在处于下次应存储的宏数据块是紧接所述画面上的规定部位后的宏数据块的情况下,把相当于所述显示画面上的规定部位的数据长的偏移加到指针保持部保持的存储目标地址上;第二写入部,把处于紧接所述显示画面上的规定部位后的宏数据块写入到加上所述偏移的存储目标地址上。
13.根据权利要求12的图象解码装置,其特征在于,在由解码装置解码的宏数据块内存在与所述规定部位重复的象素数据的情况下,所述禁止部控制要把处于所述规定部位前方的多个象素数据和/或处于所述规定部位后方的多个象素数据按顺序写入到已经写入有同类型的图形数据的帧区的写入装置。
14.根据权利要求3的图象解码装置,其特征在于,所述规定类型的图形数据是按帧间双向预测方式编码的图形数据。
15.根据权利要求3的图象解码装置,其特征在于,在解码装置对新的图形数据解码时,所述禁止部控制要把处于所述规定部位前方的多个象素数据和/或处于所述规定部位后方的多个象素数据按顺序写入到已经写入有同类型的图形数据的帧区的写入装置。
16.一种记录了根据来自主装置的指示对每一个包含在视频数据流内的多个图形数据解码,然后把完成了解码的图形数据写入到存储装置内的图象解码程序的计算机可读的记录媒体,所述多个图形数据中包含有编码方式不同的多种类型的图形数据;所述存储装置具有按类别写入最新数据即完成了解码的图形数据的多个帧区;所述图象解码程序包含如下步骤解码步骤,参照存储在帧区内的完成了解码的其他图形数据对每一个包含在视频数据流内的多个图形数据进行解码;写入步骤,在新的图形数据被解码时把该图形数据写入到已经写入到帧区内的同类型的完成了解码的图形数据上;区域分配步骤,在主装置发出在存储装置内确保工作区域的要求时,把帧区内的部分区域分配给工作区域,所述部分区域是应写入由解码步骤解码前的数据即规定类型的图形数据的一部分或由写入步骤写入前的数据即规定类型的图形数据的完成了解码的一部分数据的区域。
17.根据权利要求16的记录媒体,其特征在于,所述主装置输出确保要求的同时输出应写入到存储装置内的主数据;所述图形数据包含1显示画面的多个象素数据;所述区域分配步骤包含如下步骤;禁止子步骤,禁止对包含在解码前的图形数据内的象素数据即处于显示画面上的规定部位的数据进行解码;或禁止写入处于所述规定部位的数据即包含在解码完成的图形数据内的象素数据。第一写入子步骤,把主装置输出的主数据写入到应写入规定类型的图形数据的帧区上的部分区域即对应于显示画面上的所述规定部位上。
18.根据权利要求17的记录媒体,其特征在于,确保要求包含在规定期间内继续并确保工作区域;所述禁止子步骤在所述规定的期间内继续禁止包含在解码前的图形数据内的象素数据即处于规定部位的数据的解码,所述被禁止解码的数据是不写入由所述第一写入子步骤写入到部分区域内的主数据的数据;或继续禁止写入处于所述规定部位的数据即包含在解码完成的图形数据内的象素数据。
19.根据权利要求18的记录媒体,其特征在于,所述规定部位的位置信息是显示画面的周缘部。
20.根据权利要求18的记录媒体,其特征在于,在把屏幕显示数据写入到所述工作区时发出工作区确保要求;所述主装置输出确保要求的同时输出应存储在存储装置内的屏幕显示数据;所述规定部位是在显示画面上被分配到所述屏幕显示数据的部位。
21.根据权利要求20的记录媒体,其特征在于,屏幕显示数据包含应覆盖在画面上的图象数据、展开相应数据时的纵横尺寸和表示应覆盖画面的坐标的坐标信息;所述主装置把所述纵横尺寸和所述坐标信息与工作区域的确保要求一起通知区域分配步骤;所述区域分配步骤包含如下步骤所述位置信息算出子步骤,根据由主装置通知的纵横尺寸和所述坐标信息算出表示规定部位的位置信息。
22.根据权利要求21的记录媒体,其特征在于,所述屏幕显示数据有透明色数据和不透明色数据;写入到帧区的解码完成的图形数据包含1画面的亮度数据和色差数据;所述区域分配步骤还包含如下步骤区域特定子步骤,对于透明色的屏幕显示数据特定色差数据占有的区域即帧区上的部分区域,对于不透明色的屏幕显示数据特定亮度数据和色差数据占有的区域即帧区上的部分区域;所述第一写入子步骤,把屏幕显示数据写入到由所述区域特定部特定的区域内;所述图象解码程序包含如下步骤水平读出步骤,从帧区中按顺序读出显示画面横宽的象素数据行;变换步骤,把所读出的象素数据行变换为图象信号;图象数据供给子步骤,在所读出的象素数据行与透明的屏幕显示数据重复的情况下,取代所读出的象素数据行中的重复部分的色差数据,而把规定的数据供给变换步骤。
23.根据权利要求22的记录媒体,其特征在于,所述水平读出步骤在下次应读出的象素数据行与所述显示画面中的规定部位重复的情况下按顺序读出处于所述规定部位前方的象素数据行和/或处于所述规定部位的后方的象素数据行。
24.根据权利要求18的记录媒体,其特征在于,未解码的象素数据由多个m行×s列象素数据构成的数据片数据构成;各数据片数据包含数据片标题和m行×n列图象数据(m,n为大于1的整数),数据片标题表示这些象素数据的配置地址;读取所述图象解码程序的计算机包含如下部分缓冲存储器,按顺序存储由计算机外部输入的多个数据片数据;所述图象解码程序包含所述区域分配步骤包含传送步骤,按顺序把存储在缓冲存储器内的数据片数据传送到解码步骤;第一检出子步骤,检出数据片标题所示的配置地址与所述显示画面中的规定部位一致的数据片数据;所述禁止子步骤控制要把处于紧接所述显示画面上的规定部位前面的未解码的数据片和处于紧接所述显示画面上的规定部位后面的未解码的数据片连续起来并从缓冲存储器传送到解码装置的传送步骤。
25.根据权利要求24的记录媒体,其特征在于,数据片数据具有多个宏数据块,各宏数据块包含宏数据块标题和s行×t列象素数据(s是满足s≤m的关系的大于1的整数,t是满足t≤n的关系的大于1的整数),宏数据块标题表示这些象素数据的配置地址;所述区域分配步骤包含第二检出子步骤,检出宏数据块标题所示的配置地址与所述显示画面中的规定部位一致的宏数据块;所述禁止子步骤控制要把处于紧接所述显示画面上的规定部位前面的未解码的宏数据块和处于紧接所述显示画面上的规定部位后面的未解码的宏数据块连续起来并从缓冲存储器传送到解码装置的传送步骤。
26.根据权利要求25的记录媒体,其特征在于,所述写入步骤包含如下步骤读取所述图象解码程序的计算机包含如下部分指针保持部,保持表示新解码的解码完成的宏数据块的存储目标的存储地址;所述图象解码程序包含如下步骤第二写入子步骤,在由所述解码步骤进行的宏数据块的解码完成时把新解码的解码完成的宏数据块写入到指针保持部保持的存储目标地址上;递增子步骤,在写入宏数据块时把相当于宏数据块的数据长的偏移加到指针保持部保持的存储目标地址上。
27.根据权利要求26的记录媒体,其特征在于,把处于紧接所述显示画面上的规定部位前面的未解码的宏数据块和处于紧接所述显示画面上的规定部位后面的未解码的宏数据块连续起来从缓冲存储器传送到解码步骤;在下次应存储的宏数据块是处于紧接所述画面上的规定部位后的宏数据块的情况下,所述递增子步骤把相当于所述显示画面上的规定部位的数据长的偏移加到指针保持部保持的存储目标地址上;第二写入子步骤,把处于紧接所述显示画面上的规定部位后的宏数据块写入到加上了所述偏移的存储目标地址上。
28.根据权利要27的记录媒体,其特征在于,在由解码步骤解码的宏数据块内存在与所述规定部位重复的象素数据的情况下,所述禁止子步骤控制要把处于所述规定部位前方的多个象素数据和/或处于所述规定部位后方的多个象素数据按顺序写入到已经写入有同类型的图形数据的帧区的写入步骤。
29.根据权利要求28的记录媒体,其特征在于,所述规定类型的图形数据是按帧间双向预测方式编码的图形数据。
30.根据权利要求28的记录媒体,其特征在于,在解码步骤对新的图形数据解码时,所述禁止子步骤控制要把处于所述规定部位前方的多个象素数据和/或处于所述规定部位后方的多个象素数据按顺序写入到已经写入有同类型的图形数据的帧存储区的写入步骤。
全文摘要
在要求确保OSD数据的存储区域时,数据削减控制部64废弃处于所述显示画面上的规定部位的宏数据块,OSD数据存取部63把OSD数据写入到应写入帧存储装置中被废弃的宏数据块的区域内。这样,只有在要求确保OSD数据的存储区域的情况下,才把对应于帧存储装置内的所述显示画面中的规定部位的区域分配给OSD数据存储区,所以不会伴随图象质量的劣化。
文档编号H04N5/445GK1232348SQ9910552
公开日1999年10月20日 申请日期1999年2月12日 优先权日1998年2月13日
发明者持田哲司, 清原督三, 平井诚, 西田英志 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1