专利名称：动画图形图象的产生及编码的制作方法
技术领域：
本发明涉及动画图形图象的形成、处理和编码，尤其是，但不仅是涉及动画图形对象的编码，所述动画图形图象用于传输到和/或接收自多个远程用户中某一个的手持或移动装置。
大多数当前的手持移动装置由基于文本的用户接口驱动。用户能通过这些接口浏览手机的功能性范围并选择和执行所需的任务。这类移动装置还可使用诸如作为移动通信全球系统(GSM)数字标准一部分的短消息业务(SMS)协议来交换信息。这些基于文本的显示性能有限而且缺乏图形信息的灵活性和吸引力。将图形信息加入以提高功能性、用户接口的易用性以及信息交换的需求日益增长。
已经存在大量诸如GIF(图形交换格式)、JPEG(联合图象专家组)和PNG(可移植的网络图形)的图象标准。这些图象标准中的每个都需要存储一幅图象中每个像素的值。即使这些格式采用复杂的压缩算法以降低各自图象文件的大小，图象仍然需要相当大的存储空间。考虑到手持移动装置的存储空间有限且用于传输和接收的带宽有限，因此只有有限数量的装置支持这些图象标准，而且即使支持这些标准，事实经常是只能存储一或两幅图象。此外，传输这类图象是一件费时且代价高昂的事情。
在国际专利申请WO99/37095(Koninklijke Philips ElectronicsN.V.)中，描述了使用可缩放矢量图形的图形图象的形成、处理和编码。为允许图形图象直接传输到手持或移动装置，使用一个组件对象规范，它通过包括(线、多边形、点/圆等)的对象来描述一幅图象。这是编码图象通常较小的整体尺寸和显示装置内所需的处理水平之间一个很好的折中。以组件对象形式发送图象的主要优点是编码图象的大小。对于简单的画线，由于编码的低冗余性，比基于位图的编码技术得到相当大的节省。一个有用的附加特性是图象在显示点处可容易地缩放至任意尺寸，允许无论显示装置如何，要显示的发送图象始终如一。如此，只需要有限的传输和接收带宽且装置上只需有限的存储容量。
尽管这种方法已经证明是成功的，但在任何时刻只允许说明和显示数量有限的屏幕对象。为提高这类手持移动装置的可用性和一般用户友好性，需要能够存储、接收、传输和显示简单的动画图象的装置。
根据本发明的第一方面，提供了一种产生和编码动画图形图象用于传输的方法，它包括下述步骤由一个预先确定的对象类型集合中的多个组件对象合成图象的第一帧，该合成包括在固定坐标系图象域内缩放和定位每个对象；将第一帧编码为一个组件对象的有序再现列表，该再现列表标识在重建图象时要再现的组件对象的顺序；顺序地将随后的每个帧(n)编码为代表该帧(n)和前一帧(n-1)之间差别的若干数据字。
对随后每个帧(n)编码的数据字可以标识要加入的新组件对象或从前一帧(n-1)移动、改变或去除的组件对象。
该方法可以包括将形状定义为多个组件对象的步骤，其中形状的定义和动画图形图象一起传输，其中当产生动画图形图象时，对形状的引用被替换为组件对象。
数据字可以包括放置对象、放置形状、绝对移动、相对移动、调整大小和去除中所选的多个，将在此后的典型实施方案中定义。
根据本发明的另一方面，提供一种被配置为接收和解码根据此处描述的方法所产生和编码的动画图形图象的便携式通信设备，该设备包括一个与被安排用于格式化要显示图象的显示驱动器系统连接的显示装置；一个被安排用于重建编码图象的处理器；一个与所述显示驱动器连接，可接收编码图象数据并将其传到处理器的接收机；包含所述对象和动画标识码的第一个存储装置，用于保存重建的图象帧的第二个存储装置；其中处理器被安排用于通过从对象标识码确定并重建对象，并且根据动画码对前几帧的对象应用动画变换来重建动画的各个帧。
显示驱动器系统可能包括处理器、第一个存储装置和第二个存储装置。
显示驱动器系统可以是一个矢量图形系统。
本发明允许动画图形以高度压缩的方式定义。虽然如下文所述，本发明与位图的使用并不矛盾，可以将它们作为另一种结构组件纳入，但取代传统的播放位图序列的方法而定义了一个矢量图形格式，即从结构组件方面描述图象。一旦根据结构组件定义形状，其即可被放置在屏幕上、组合、复制、调整大小和移动以产生图形动画。此外，所描述的矢量图形格式令目标平台上的处理需求最小，因此尤其适用于手持装置。
本发明的示例将参考附图详细描述，附图如下
图1是由7个对象构成的组件图象的示例；图2是图1图象中每个对象各自的属性表；图3代表标识一个对象的命令字的比特结构；图4是图3命令字中的对象类型比特值表及各自的含义；图5表示被修改以包括动画命令字的图3的比特结构；图6是图5命令字中的动画类型比特值表及各自的含义；图7是适于实施本发明的接收机设备的框图；图8是组件图象的进一步示例；且图9是图8的图象中每个对象各自的属性表。
下例中使用的组件对象图象包括三种主要的绘画对象点、文本和多边形；多边形可能有一到九条边，并且假定单色或双色显示时，可以对其填充或不填充。每个对象可以用“黑”(带有像素设定)或白(像素被清除)绘制。图1示出一个由全部10个对象11-20构成的组件对象图象10示例。注意有可能将对象互相覆盖，按照对象在编码数据流中规定的顺序进行绘制，因此编码数据表示显示对象的有序列表。这种内含的信息(也即列表中对象的数目)不需要明确地传达，但可以用来向图象的发信者返回信息(例如用户已经选择的对象数目)。
作为例子，图1示例图象中每个对象的属性示于图2的表中。由于对象14(白色填充多边形)在对象13(黑色填充多边形)后绘制，因此在箭头形状的多边形13上出现。同样，文本字符串(对象15)在白色填充多边形14上出现。
在使用如图1所示XY坐标系统的固定坐标图象域中规定组件对象图象中的所有顶点，原点在左上角，且每个坐标轴范围是0-127。尽管图象域是“方形”(X轴和Y轴的范围相同)，但显示装置不可能是方形。在终端将对图象进行缩放以适合显示。
尽管当绘制图象时并不必知道目标显示的精确显示分辨率，还是建议把要绘制的图象的宽高比设计得与显示装置的一致，此处应知宽高比是宽对高的比例，由此，宽160个像素、高64个像素的显示其宽高比是2.5且源图象应相应缩放。另外，操作者也可以在包含组件对象图象的消息的头标中规定想要的显示分辨率和安排终端相应地缩放数据。
数据的编码希望达到非常紧凑每次诸如绘制或移动一个对象的操作由后跟可变长度数据的命令字表示。数据可能是字符(7比特ASCII)或坐标(14比特)。假定在此例中接收机/解码器预先知道组件对象数据的长度，因此没有明确的终止；可使用若干机制将此数据传送给显示终端，正如用下例将便于理解的-例如如果GSM移动电话是接收装置，此数据可能构成SMS分组头的一部分。
命令以7比特数据字格式化。整个比特格式示于图3，所有数据以最高到最低有效位的顺序编码。第一个比特c是颜色比特，指示对象周界线是以背景色(“白”，c＝0)还是前景色(“黑”，c＝1)绘制。如图4的表中所标识，下两个比特CC指示对象的类型(点、文本、填充或不填充多边形)。CC后面是一个比特s，指示接收端用户装置是否可以选择对象(0为不可以，1为可以)，随后的三个比特ppp规定参数值为0到7。三个参数比特ppp的含义取决于所选择的对象类型CC(下述)。
命令后可能跟随有关图象域的坐标。坐标使用14比特，头7个比特代表X坐标，提供0到127的值，其它7个比特用于Y坐标，提供0到127的值。
图5表示被修改以包括动画命令字的图3的比特结构。命令字修改后，包括一个4比特命令标识符100、保留以备将来之需的一个3比特标识符110、有效载荷长度标识符120和有效载荷自身130。命令标识符100定义多个可能的命令动作中的一个。有效载荷长度120如果为低(0)，则定义有效载荷为8比特数字；如果为高(1)，定义为16比特数字。如此，当处理命令字时，可以如处理器不理解的那些命令字一样，略过无关的命令字。因此确保了后向兼容。有效载荷自身取决于特定的命令标识符。命令标识符的类型和相应有效载荷示于图6的表中。
优选将对象组合在一起以定义随后可被处理的形状，而不是定义并参考诸如图1到4中的单个屏幕对象。“定义形状”命令字允许由命令字的有效载荷来定义形状。在这种情况下，有效载荷可能是诸如参考图1到4中定义的那些对象命令字中的一个或多个。所定义的形状随后保存在存储器里的一个字典中，并由形状标识符引用，它们随后可被放置在屏幕上并根据形状标识符进行操作。例如，在图1中由对象13到15和18到20所定义的箭头形状的复合图形在字典中可被定义为单个形状。如此，所定义的形状可被写到显示器，在第一个位置给出形状13到15，接着在第二个位置给出18到20。单个形状定义命令和两个形状写命令代替先前绘制两个形状必需的六个对象命令。
动画缩放矢量图形优选包括一个头标，后跟一个或多个形状定义命令字，再后面是多个帧处理命令。为显示动画矢量图形文件，所定义的形状被装入存储器中的字典且依次为每一帧产生再现列表。每个再现列表包括每个要放置在屏幕上的形状的细节，关于形状的x轴位置、y轴位置、缩放、任何运动矢量和形状的颜色。在一帧的再现列表中，形状以将要放置到屏幕上的顺序出现。一旦产生初始帧的再现列表，就通过应用从为该帧定义的码字得到的动画变换来产生对随后的每个帧的再现列表。如此，为得到帧2，可以对帧1的形状应用从帧2码字得到的动画变换。随后对所得到的帧2的形状应用帧3的动画变换以获得帧3。直到产生所有的帧后，此过程终止。
当通常用从0到255(无符号字节)范围的坐标定义屏幕时，处理动画矢量图形时优选使用有符号的16比特数字来跟踪形状的位置。如此，一个形状有可能部分或全部离开屏幕。
一个为接收和处理组件对象编码消息而设计的移动/手持接收机的示意框图示于图7。多数组件部分的功能应为专业领域读者所理解，除了它们承载的与本发明操作有关的方面外，将不再细述。
从天线20或其它信号输入接收到的信号通过收发器22和解码器24送到中央处理单元26，该单元(在本实施方案中)还处理显示驱动器将图形和文本数据格式化为用于输出到显示屏28的显示命令的功能。设备存储器30与处理器连接且保存设备的基本操作数据和程序。存储器30还可以存储最近重建的图象，充当显示器28的帧缓冲区；还可选择提供一个单独(专用)的存储器。用户输入通过控制器32到处理器26这些输入可以是简易键盘形式和/或它们可以通过触摸屏设备与显示器28组合，如虚线34所示。装置的其它常规功能(例如音频处理)通常示于36。
与处理器26连接的是另一个存储器38，它包含命令字码(见图3和图6)以允许处理器/显示驱动器26解释接收到的命令字、重建编码图象并使其完成动画此存储器还可保存用于文本字符串的ASCII码表。存储器39与处理器连接并被安排来保存一个能够存储以一个或多个已定义对象形式的形状的字典和一个或多个根据字典中形状来定义帧的再现列表。与处理器26连接的还有缩放级40，可以包含一个简单的硬件乘法电路，将接收到数据流中的图象域坐标转换以适合显示装置28的可用区域和宽高比。最后，从处理器输出的信号，例如语音消息、对象选择的指示或装置产生的新图形图象(由控制器32的用户操作)通过编码器42送到收发器22用于发送。
正如所认识到的，图7的电路可能有许多改变。例如，命令字码存储器38和存储器39可以合并入通用装置存储器30。同样，解码器24/编码器42和/或缩放电路40的功能可以完全以软件实施并在处理器26中执行。处理器的显示驱动器功能可以选择或另外由单独的单元处理，任选一个显示存储器用来读出显示数据。
以处理器和存储器装置形式的矢量图形引擎可以合并入显示装置28的控制器。如此，可通过将矢量图形文件送给显示控制器并要求其依次再现每一帧来进行显示。在执行显示控制器中的图象处理和产生时，与由中央处理器驱动的常规显示模型相比内部通信量减少。这种设计对于诸如资源有限的移动电话之类的移动手机来说尤其有利。
触摸屏34非常适合于图形显示器。它们不仅为对象选择，也为对象创建提供方法。这种输入机制与编码机制结合，允许将图形信息被打包到消息中，消息被发送并在接收机端解码以允许在移动装置间交换图形。
同样如所认识到的，所支持的组件对象类型和功能命令字也可能有变化。图8是组件图象的进一步示例，再次使用可缩放XY坐标，但现在每个方向的范围为0-255，图中示出另外的一些组件对象例子。如图2一样，图9是图8图象中每个对象各自的属性表。
黑色矩形对象50与图1中对象一样定义，在XY坐标系统中定义四个角的位置，对象的颜色规定为黑，且填充命令定义所有内部像素为指定颜色。
曲线51是一条贝塞尔曲线，在XY坐标系统中定义开始点为X0，Y0，结束点为X3，Y3，一对中间导点X1，Y1和X2，Y2。贝塞尔曲线算法计算通过这四个点的一条线上的像素位置。
用开始和结束的坐标可简单地定义线52(是一条线，而不是图1中的有一条边的多边形11)。多线-端到端连接的线序列-还可定义为XY坐标的序列。
53处的标志由位图定义，必需的数据是文件尺寸、标志的XY坐标位置和位图数据自身。
54处的点简单地定义为颜色和XY位置不象图1中的点16，无需定义半径(参看下面对象56的描述)。
55处的文本字符串以开始XY坐标和以空(null)结束的ASCII字符串定义。
椭圆56(作为多边形可以填充或未填充)定义为中心XY坐标和对X和Y方向分别定义的半径。正如所认识到的，定义共同的XY半径将产生一个圆，其显示的宽高比是1∶1，或者可选择不同的半径，在完成宽高比转换到除1∶1以外的比例后，导致显示一个圆。在支持椭圆规范的情况下，上述点对象54无需定义半径。
还可支持的对象类型是子形状，也就是说在大的父形状内出现的对象，一个例子是图1中黑色填充多边形13内的白色填充多边形14。子形状对象定义为父形状内的XY坐标位置，可能还包括用于相对于父对象缩放子对象的命令。
除上述更多对象类型之外，可以支持附加的命令字以增加变化和可用于所显示形状的动画。一种这类命令字是运动矢量，用来定义一个对象从开始XY坐标位置的运动，而不是必须顺序定义一系列的XY坐标位置来表示一个对象在显示器四处移动。还有一个命令，可能是将一系列操作重复指定次数命令由分别指示要循环的一系列操作序列的开始和结束的第一个和第二个字来标识，其中第一个字(“开始循环”)指示要进行的重复数目。如果选择循环值为0，则所选择的操作将持续循环，直到不再选择图象(或至少是受所选择操作影响的图象的一部分)用于显示为止。
可能的大量应用领域包括用户可配置用户接口，使用服务器剪取艺术(clip-art)的消息构造，汽车地图导航，交通信息，很多包括国际象棋和格斗等的交互游戏等。使用所述编码技术的触摸屏用户接口允许在装置电话编码图画的同时用笔绘制。使用这种输入机制，可以允许在消息中加入绘制和手写文本，令移动装置之间交换的消息个性化。
如前所述，我们已经提供了一种机制，由此动画对象可用优化格式编码以用于低比特率移动数据通信。编码机制允许动画以相对屏幕坐标的形式定义，从而令动画可在与装置无关的方式下再现。
通过阅读本公开内容，对本领域技术人员而言其它修改是显而易见的。这些改变可能包括在设计中已知的其它特征、交互图象编码设备及其组件部分的制造和使用以及那些可以替代或附加到此处描述到的特征上的变化。
权利要求
1.一种产生和编码动画图形图象用于传输的方法，包括下述步骤由一个预先确定的对象类型集合中的多个组件对象合成图象的第一帧，该合成包括在固定坐标系图象域内缩放和定位每个对象；将第一帧编码为一个组件对象的有序再现列表，再现列表标识在重建图象时要再现的组件对象的顺序；顺序地将随后的每个帧(n)编码为代表该帧(n)和前一帧(n-1)之间差别的若干数据字。
2.如权利要求1的方法，其中对随后每个帧编码的数据字标识要加入的新组件对象或从前一帧(n-1)移动、改变或去除的组件对象。
3.如权利要求1或2的方法，还包括将形状定义为多个组件对象的步骤，其中形状的定义和动画图形图象一起传输，其中当产生动画图形图象时，对形状的引用被替换为组件对象。
4.如权利要求1或2的方法，还包括在位图中定义对象形状用于所合成帧中至少一个组件对象的方法。
5.如权利要求1、2或3的方法，其中数据字包括放置对象、放置形状、绝对移动、相对移动、调整大小和去除中所选择的多个。
6.如权利要求1、2或3的方法，其中数据字定义标识各个对象运动模式的运动矢量，可从中确定随后帧中该对象的位置。
7.一种被配置为接收和解码根据如权利要求1到6中任意一种方法产生和编码的动画图形图象的便携式通信设备，该设备包括一个与被安排用于格式化要显示图象的显示驱动器系统连接的显示装置；一个被安排用于重建编码图象的处理器；一个与所述显示驱动器连接，可为接收编码图象数据并将其传到处理器的接收机；包含所述对象和动画标识码的第一个存储装置，用于保存重建的图象帧的第二个存储装置；其中处理器被安排用于通过从对象标识码确定并重建对象，并且根据动画码对前几帧的对象应用动画变换来重建动画的各个帧。
8.如权利要求7的便携式通信设备，其中显示驱动器系统包括处理器、第一个存储装置和第二个存储装置。
9.如权利要求7或8的便携式通信设备，其中显示驱动器系统是矢量图形系统。
全文摘要
一种产生及编码动画图形图象用于传输到手持或移动装置的方法,该方法使用对象组件技术,其中由组件类型的有限集合,特别是点和多边形合成图象。初始帧定义为要显示的对象的一个列表。随后的帧被编码为相对前帧的对象的一系列改变。
文档编号G06T13/00GK1386247SQ01802318
公开日2002年12月18日 申请日期2001年5月11日 优先权日2000年6月7日
发明者P·R·西蒙斯 申请人:皇家菲利浦电子有限公司