专利名称：传输图像数据的方法
技术领域：
本发明涉及一种用于传输图像数据的方法和对此适合的装置。
对于能够用合适的再现工具以图像形式给用户显示出来的图像数据、尤其是数字数据，它们经常在传输之前被压缩以便减少传输时间，并且在再现之前或期间被解压缩。已经公知一些用于压缩和解压缩图像数据的不同标准，譬如不同的MPEG标准(运动图像专家组)。
专利申请WO98/33315(得克萨斯大学)曾讲述过另一种基于人眼生理特性的图像数据压缩方法，其中人眼只在被投射到眼睛视网膜中心的图像区需要最大的分辨率(观察区域)。边缘的图像区可以无明显质量损耗地利用较低的分辨率显示。因此该专利申请建议连续地测定用户所观看的图像区，并只为该图像区使用最大的分辨率，而为其它较远的区域使用较低的分辨率。被观看的图像区典型地只占整个图像的约2％。然后，以该方式被强烈地压缩的图像通过传输信道在两个计算机之间传输。
该方法尤其适合于传输那些被确定用于在小显示器上进行显示的图像，譬如在办公计算机的屏幕上显示。但是，如果视点迅速地移动，譬如在图像格式较宽或瞳孔突然运动的情况下，系统的反应时间则可能太慢，使得图像区可能突然以较差的分辨率出现在观察区域的中心点处。此外，该方法不适用于把图像数据同时发送给多个用户。
本发明的目的在于为压缩和传输图像数据建议一种新型和改善的方法，它尤其能克服上述的缺点。
根据本发明，该目的尤其通过独立权利要求的技术要点来解决。其它的优选实施方案由从属权利要求和本说明书给出。
该目的尤其通过如下的传输和显示图像数据的方法来实现，其中，-所述的图像数据从发送装置被传输到至少一个通信终端，并由图像再现工具在所述的至少一个通信终端内进行显示，且确定通信终端用户的当前视线，-对应于整个图像区的第一图像数据利用较低分辨率通过第一传输信道进行传输，-所述的当前视线(22)通过反向信道被发送给所述的发送装置(1)，-与所述用户在当前所观看的图像区相对应的第二图像数据利用较高的分辨率通过第二传输信道进行传输，而且-叠加并同时再现所述的第一和第二图像数据。
这有个优点，就是所述的第一图像数据通过第一传输信道(譬如广播信道)进行传输，而只有与当前被观看的图像区相对应的第二图像数据才通过第二传输信道(譬如昂贵的双向移动无线网)进行传输。由此为边缘区采用比上述专利申请WO98/33315中更高的分辨率，而不会增加经所述应付费用的移动无线网传输的数据量。
因此，可以通过广播信道以较低的分辨率把相同的图像数据发送给所有的用户，而与各用户所观看的图像区相对应的图像数据则以较高的分辨率通过第二传输信道被私下地发送给每个用户。
下面借助例子来讲述本发明的实施方案。该实施例是由如下附图示出的
图1示出了本发明系统的框图。
图2简略地示出了位图的分段。
图3示出了在多个用户观看图像数据时由眼睛生理所决定的分辨率需要。
在图1中，参考符号1涉及一种譬如可以由商用通信服务器组成的发送装置，该通信服务器具有一些硬件和软件部分，以用于经两个不同的传输信道4、7与许多通信终端8进行通信。参考符号10涉及譬如为数字数据文件的图像数据，其内容可以通过合适的再现工具譬如以静态画面或优选以动画的图像形式给用户9显示出来。该图像数据譬如可以是数字化的图像序列(譬如电影或电视节目)或其它多媒体数据，譬如譬如包含静态和/或动画数据和/或语音数据的HTML数据。在本发明的一种变型方案中，图像数据10在那些特别感兴趣的、观看者最可能观看的图像区和图像段中作了特殊标记，这在稍后还要详述。
图像数据序列通过发送装置1中未示出的定序器按顺序地读出，其中，譬如在图像数据具有超文本控制单元的情况下，该顺序也可以选择由用户9进行控制。该定序器譬如可以由硬件和/或软件模块组成，由它们读取图像序列的图像，并将其送至(可选的)分段模块2。
分段模块2把图像划分成不同的段，如图2所示。为此使用了关于各个观看者9的当前视线的信息A，譬如至少一个用户9的视线在当前所对准的所有点22的坐标x，y。此外，还优选地接收或在所述分段模块内求出一个或多个与当前被观看的点22的速度相对应的移动矢量23。
分段模块2借助该信息A来确定当前由至少一个用户9所观看的一个或多个区域21。正如下面还要讲述的一样，该区域以较高的分辨率进行压缩，并经传输信道7被传输给相应的用户。包括边缘区25在内的整个图像利用另外的算法和较低的分辨率进行压缩，并经传输信道4被发送给所有的用户。每个区域21的大小可以优选地与传输信道7的带宽相匹配。典型地，每个高度压缩的区域21约占整个图像区的2～4％。
此外，在一种优选变型方案中，由分段模块2预先确定一个或多个观察区域24。为此，所述的分段模块譬如可以考虑由所述移动矢量23给出的目光移动、所观看的对象或图像上的人的移动、和/或图像数据中被特殊标记的部分，譬如在多媒体图像数据情况下的超链接。分段模块2譬如可以存储眼睛和/或图像上被观看的对象的相继位置，并譬如借助合适的回归函数预先确定下一个期望的视线，其中可以人为地标记某些经常观看的区域。
在图2所示的变型方案中，各个图像区21、24、25是矩形的。但它们也可以是其它形状和具有不同的大小，并可以部分或完全地重叠。
远离观察点的图像区25被发送给第一编码模块3，在那儿譬如借助MPEG算法或在静态画面的情况下利用JPGE或GIF算法进行压缩。第一编码模块3优选地使用空间、时间和色度压缩方法。此外，该第一编码模块还优选地执行差错编码和信道编码。
然后，由编码模块3编码过的图像区被发送机4以广播模式发送出去，并由此可以被许多接收机8借助广播接收机80进行接收。所述的发送机4譬如可以以DAB或DVB(数字音频广播或数字视频广播)图像数据、电视数据(譬如被数字编码的电视数据)、或TCP-IP数据而经因特网等进行发送。由编码模块3准备的数据甚至可以被复制到磁和/或光数据载体上，譬如复制到CD或DVD上，并利用该方式进行销售和让许多用户买到。
由通信终端8内的第一接收机80接收到的图像数据被复制到第一高速缓冲存储器81中，其中优选地存储由多个相继的单图像组成的图像区25。利用该方法可以补偿经由两个传输信道4和7的变化传输时间。
由分段模块从当前和将来被观看的图像区21和24中选出的数据被送至第二编码模块5，该编码模块利用一种视网膜中心压缩函数来压缩当前或将来被观看的每个区域21、24，也就是说利用在上述专利申请WO98/33315中所讲述的函数，即以结果的形式给观察点22附近的图像数据提供一个比其它较远的图像区更高的分辨率。在本发明的一种优选变型方案中，所述的视网膜中心函数的至少某些参数可以取决于第二传输信道的带宽。此外，所述的第二编码模块5还优选地执行差错编码和信道编码。
由第二编码模块5编码的每个图像区21通过第二传输信道7被发送给所有正在观看该图像区的所有用户9，并由此可以被该用户借助通信终端8内的第二接收机83(譬如移动无线终端)进行接收。所述的第二传输信道7是一种双向的通信信道，它几乎允许实时的通信连接，譬如公共交换电话网、遵照GSM或UMTS的数字移动无线网、譬如遵照ISDN的固定网、或譬如为因特网的TCP-IP网。
在一种未示出的本发明变型方案中取消了所述的分段模块2，而且所有单图像10被传送给两个编码模块3和5。在该情形下，所述的第一编码模块3可以是压缩所有单图像的所有区域21、24和35的标准化模块。所述的第二编码模块5可以按照视网膜中心函数来压缩所有的图像。
通信终端8优选地是可以便携和电自主的，而且优选以袖珍设备的形式进行制造。在电信网7是移动无线网的实施方案中，至少某些通信终端8是移动无线设备，譬如也包含有广播接收机80的移动无线电话或具有通信能力的膝上型或掌上型电脑。这种组合式通信终端譬如在专利申请WO99/60712和WO99/60713(两者均是以瑞士电信股份公司的名义)中曾讲述过。移动无线终端83譬如可以借助GPRS业务(通用分组无线业务)或按照合适的协议在有用信道中经移动无线网7交换数据。譬如为DVB接收机的第一接收机80和譬如为UMTS终端的第二接收机83优选地被组合在单独的单元内(譬如在单个的机壳内)，但也可以集成为多个相互连接的单元。在后一种情形下，所述的两个单元优选地通过譬如IrdA、蓝牙或HomeRF等非接触式接口进行连接。
由通信终端8内的第二接收机83接收的图像数据被复制到第二高速缓冲存储器84中，其中在该第二高速缓冲存储器84内存储多个相继的图像区21或24。
由通信终端8内的叠加模块82读取两个高速缓冲存储器81、84中的图像数据，并对它们进行叠化。为此，两个高速缓冲存储器中的每个图像区21、24、25优选地具有一个号，它给出了所述图像区属于哪个单图像，以便能补偿经由两个传输信道4和7的不同传输时同。模块82在第二高速缓冲存储器84中选择的图像区21、24是根据当前所观看的图像区而被选出的。如果所述的高速缓冲存储器足够大，则也可以利用它并通过相应的用户指令来暂停读取所存储的图像数据，以及对该读取进行重启和/或正反向卷动等。
随后，与由模块82所混合的图像数据相对应的图像信号可以通过通信终端8的显示装置85再现出来。在本发明的一种优选变型方案中，所述的显示装置由所谓的虚拟视网膜显示装置(VRD)组成，由它把所述的图像信号投射到通信终端8的用户9的眼睛视网膜上。这种VRD显示装置曾在专利申请WO 94/09472和WO 97/37339中讲述过。通过合适的接口可以给该显示装置85提供不同格式的图像数据。
通信终端8的显示装置85和其它组件可以实施在共同或分开的单元中，其中，处于第一单元内的显示装置85可以通过有线或无线接口与第二单元的组件连接起来。
如图1的简图所示，通信终端8包括一个视线测量模块86，它可以确定用户9的视线x，y。这种视线测量模块(眼睛跟踪系统ETS)同样也在上述专利申请WO 94/09472中讲述过。关于视线x，y的信息A被送至模块82，这样，该模块82便可以象上文所述的那样确定出应从第二高速缓冲存储器84中读取哪个图像区21、24。随后，该信息A被传送给发送-接收机83，并通过一个未示出的模块与用户特有的信息进行逻辑连接，然后经第二传输信道7的反向信道实时地从发送-接收机83被传输给所述的发送装置1。根据第二传输信道的类型，该信息A譬如可以以USSD信号的形式或优选地通过有用信道或数据信道进行传输。
在一种实施方案变型中，所述的视线优选地借助一个相对于用户头部而被安装在眼镜上的测量模块来进行测量，在该模块中优选地测量至少一个眼睛的瞳孔。
在另一实施方案变型中，所述的视线优选地借助一个相对于用户头部而被安装在眼镜上的测量模块来进行测量，并且借助一个测量系统-优选地是一个安装在用户头部的惯性系统-来测量用户头部9相对于外部参照物的位置和/或定向。于是可以给用户9投射图像数据，这些图像数据大于用户的整个视角，且其内容在用户转动头部时可以移动。因此，当前的视线22是与有效观察区21相联系的。利用该方法可以给用户显示角度非常宽的影片。
优选地，类似于视线A而被发送回的所述附加的用户特有信息包括有一个用户标识，该用户标识譬如被存放在个人识别模块830(SIM卡)中。此外，该附加信息还可以包含用户9的其它指令(譬如在所显示的图像包含超链接的情况下由用户选择的URL)或其它菜单选项。该附加信息可以共同或分开地传输。至少某些附加信息可以被加密和/或作电子签名。
在发送装置1中，所接收的关于当前视点x，y的信息A被分段模块2用来确定当前被观看的图像区21和在必要时预先确定出将来的图像区24，以及把该图像区21、24传送给所述的编码模块5。
以附加信息形式被传输的用户标识可以被发送机侧的结算中心6加以使用，由该结算中心对图像数据的观看进行结算。结算的金额譬如可以直接计到存储在识别模块830中的预付金额、银行帐户或信用卡上，或者通过结算单(譬如作为电话计费的一部分)来提供，并且譬如按照有关图像数据的每个时间单位、每个有关的标题、每个附加的信息或页面来进行结算，以及/或者结合预订者来进行结算。与用户有关的结算调整(譬如优选的结算地址和结算方式)可以存放在结算中心的用户数据库80内。结算中心可以综合在发送装置1内，或作为变型方案也可以由其它的机构(譬如由网络7的运营商)来管理。
选择指令和由通信终端8的用户9输入的、并作为附加信息经第二传输信道7传输的指令由所述未示出的定序器进行接收和作进一步处理，这样便收到譬如由用户请求的图像数据-譬如子标题、HTML或WML页、语音序列等等-，并经所述的两个传输信道将其传输给所述的通信终端4。
本发明尤其适用于把图像数据1(譬如电影或电视节目)同时地传输给多个用户9，其中，共同的数据通过广播信道4进行发送，而取决于个人视线的数据则通过寻址信道7传输。但它也可以应用于在两个通信对方之间具有图像传输的可视会议和电话。因此，考虑到取决于眼睛生理的分辨率需要，图像数据的传输可以在通信信道4和7的最大预定带宽范围内进行匹配。
尽管本发明较详细地讲述了GSM移动无线网的特殊实施例，但专业人员应当理解，所述的方法尤其也可以与其它类型的移动和固定网一起使用，譬如与AMPS、TDMA、CDMA、TACS、PDC、HSCSD、GPRS、EDGE或UMTS移动无线网一起使用，尤其是与具有WAP(无线应用协议)能力的移动无线网一起使用。另外，本发明还可以用于其它网络、尤其是因特网。
参考符号清单1. 发送装置10. 图像数据2. 分段模块20. 单图像21. 当前观看的区域22. 当前的观察点x，y(视线)23. 移动矢量24. 预先确定的观察区25. 边缘区3. 第一编码模块4. 第一传输信道5. 第二编码模块6. 结算中心60. 用户数据库7. 第二传输信道8. 通信终端80. 第一接收机(广播接收机)81. 第一高速缓冲存储器82. 叠加模块83. 第二接收机(移动无线终端)830.识别模块(SIM卡)84. 第二高速缓冲存储器85. 显示装置86. 视线测量模块(ETS)9. 用户(观看者)
权利要求
1.用于传输和显示图像数据(20)的方法，其中，所述的图像数据从发送装置(1)被传输到至少一个通信终端(8)并由图像再现工具(85)进行显示，且确定通信终端用户(9)的当前视线，其特征在于第一图像数据(25)利用较低的分辨率通过第一传输信道进行传输，所述的当前视线(22)通过反向信道被发送给所述的发送装置(1)，与所述至少一个用户在当前或将来所观看的图像区相对应的第二图像数据(21，24)利用较高的分辨率通过第二传输信道进行传输，而且，所述的第一和第二图像数据在所述的通信终端内叠加并同时被再现。
2.如上一权利要求所述的方法，其特征在于由所述的图像再现工具(85)把所述的图像数据投射到所述用户(9)的视网膜上。
3.如上一权利要求所述的方法，其特征在于所述被观看的图像区(21)是应被投射到所述视网膜的中心的图像区。
4.如上述权利要求之一所述的方法，其特征在于所述被观看的图像区(21)的大小可以进行匹配。
5.如上述权利要求之一所述的方法，其特征在于所述被观看的图像区(21)的大小可以与所述第二传输信道(7)的带宽进行匹配。
6.如上述权利要求之一所述的方法，其特征在于所述的第一图像数据(25)以广播模式通过所述的第一传输信道(4)传输。
7.如上一权利要求所述的方法，其特征在于所述的第一图像数据(25)作为DVB数据进行传输。
8.如权利要求1～4之一所述的方法，其特征在于所述第一图像数据(25)被复制到磁和/或光数据载体上进行销售。
9.如上述权利要求之一所述的方法，其特征在于通过所述的第一传输信道(4)而与所述第一图像数据(25)同时地传输语音数据，并由所述的通信终端(8)再现它。
10.如上述权利要求之一所述的方法，其特征在于所述的第二传输信道(7)是双向的，而且所述的反向信道是所述双向的第二传输信道(7)的反向信道。
11.如上一权利要求所述的方法，其特征在于所述的第二传输信道(7)包括公共交换电话网。
12.如上一权利要求所述的方法，其特征在于所述的电话网为移动无线网。
13.如权利要求1～10之一所述的方法，其特征在于所述的第二传输信道(7)包括TCP-IP网。
14.如上述权利要求之一所述的方法，其特征在于通过所述的反向信道把用户识别数据发送到结算中心(6)，并被该结算中心用来结算所述被显示的图像。
15.如上述权利要求之一所述的方法，其特征在于由所述至少一个用户询问的附加多媒体数据通过所述的第二传输信道(7)进行发送。
16.如上述权利要求之一所述的方法，其特征在于所述的附加多媒体数据对应于用眼睛在显示的图像中所选定的超链接。
17.如上述权利要求之一所述的方法，其特征在于所述的视线(22)被预先确定。
18.如上一权利要求所述的方法，其特征在于通过考虑观察点的移动来预先确定所述的视线。
19.如权利要求17所述的方法，其特征在于通过考虑被观看的对象在所述图像数据上的移动来预先确定所述的视线。
20.如权利要求17所述的方法，其特征在于通过考虑图像中被标记的区域来预先确定所述的视线。
21.通信终端(8)，它可以接收图像数据并利用图像再现工具(85)显示该图像数据，而且它可以确定通信终端用户(9)的当前视线(22)，其特征在于它可以利用较低的分辨率通过第一传输信道(4)接收第一图像数据(25)，它可以利用较高的分辨率通过第二传输信道(7)接收与用户在当前和/或将来所观看的图像区相对应的第二图像数据(21，24)，它可以通过反向信道发送所述的视线(22)，而且，它可以叠加所述的第一和第二图像数据并同时再现它们。
22.如上一权利要求所述的通信终端，其特征在于由所述的图像再现工具(85)把所述的图像数据投射到所述用户(9)的视网膜上。
23.如上一权利要求所述的通信终端，其特征在于所述的图像再现工具(85)为虚拟视网膜显示装置，由它把与所述图像数据相对应的图像信号投射到所述用户的视网膜上。
24.如权利要求21～23之一所述的通信终端，其特征在于所述的图像再现工具(85)被集成在一个与所述通信终端(8)的接收部分(80，83)不相同的单元内。
25.如上一权利要求所述的通信终端，其特征在于所述的单元通过附近区域的非接触式接口进行连接。
26.如权利要求22所述的通信终端，其特征在于所述在当前被观看的图像区对应于应被投射到所述视网膜的中心的图像区。
27.如上一权利要求所述的通信终端，其特征在于所述在当前被观看的图像区(21)的大小可以进行匹配。
28.如权利要求21～27之一所述的通信终端，其特征在于它包括第一接收机(80)，用于以广播模式通过所述第一传输信道(4)传输的图像数据。
29.如上一权利要求所述的通信终端，其特征在于所述的第一接收机(80)为无线接收机。
30.如上一权利要求所述的通信终端，其特征在于所述的第一接收机(80)为DVB无线接收机。
31.如权利要求28所述的通信终端，其特征在于所述的第一接收机包括数据载体读取器。
32.如权利要求21～31之一所述的通信终端，其特征在于它包括第二接收机(83)，用于通过所述第二传输信道(7)传输的图像数据。
33.如上一权利要求所述的通信终端，其特征在于所述的第二接收机(83)为一种可以通过所述反向信道(7)发送所述视线(22)的发送-接收机。
34.如上一权利要求所述的通信终端，其特征在于所述的第二接收机(83)为移动无线终端。
35.如权利要求21～34之一所述的通信终端，其特征在于它把所述的视线(x，y)实时地经所述第二传输信道(7)发送给发送装置(1)。
36.如权利要求21～35之一所述的通信终端，其特征在于它包括用于所述第二图像数据(21，24)的高速缓冲存储器(84)。
37.如上一权利要求所述的通信终端，其特征在于所述高速缓冲存储器(84)包含有如下的图像数据，即该图像数据对应的区域(21+24)要大于所述在当前观看的图像区(21)，而且从所述高速缓冲存储器中提取的图像数据取决于所述当前的视线(x，y)。
38.如权利要求36～37之一所述的通信终端，其特征在于它还包括用于所述第一图像数据(25)的第一高速缓冲存储器(81)，而且同步地从所述第一和所述第二高速缓冲存储器中提取数据。
39.发送装置，其特征在于它包括如下部件接收机，用于接收那些包含有经反向信道传输的至少一个用户(9)的视线(22)的数据，第一编码模块(3)，用于以较低的分辨率压缩第一图像数据(25)，并以广播模式通过第一传输信道(4)发送该第一图像数据，第二编码模块(5)，用于以较高的分辨率压缩与所述至少一个用户在当前或将来所观看的图像区相对应的第二图像数据(21，24)，并通过第二传输信道(7)传输该第二图像数据。
40.如上一权利要求所述的装置，其特征在于所述被观看的图像区(21)是应被投射到所述视网膜的中心的图像区。
41.如上一权利要求所述的装置，其特征在于所述被观看的图像区(21)的大小可以进行匹配。
42.如上一权利要求所述的装置，其特征在于所述被观看的图像区(21)的大小可以与所述第二传输信道(7)的带宽进行匹配。
43.如权利要求39～42之一所述的装置，其特征在于所述的第一图像数据(25)以广播模式通过所述的第一传输信道(4)传输。
44.如权利要求39～43之一所述的装置，其特征在于通过所述的第一传输信道(4)而与所述第一图像数据(25)同时地传输语音数据。
45.如权利要求39～44之一所述的装置，其特征在于所述的第二传输信道(7)是双向的，而且所述的反向信道是所述第二传输信道(7)的反向信道。
46.如上一权利要求所述的装置，其特征在于所述的第二传输信道(7)包括公共交换电话网。
47.如上一权利要求所述的装置，其特征在于所述的电话网为移动无线网。
48.如权利要求39～47之一所述的装置，其特征在于设有一个结算中心(6)，用于给所述的用户(9)结算图像的显示。
49.如权利要求39～48之一所述的装置，其特征在于它包括一种分段模块(2)，用于确定应被送至所述第一或第二编码模块的图像区(21，24，25)。
50.如权利要求39～49之一所述的装置，其特征在于由所述的第二编码模块(5)同时编码如下的图像数据并将其发送给所述的多个用户，即该图像数据对应于至少一个在当前或将来被多个用户同时观看的图像区。
51.如权利要求39～50之一所述的装置，其特征在于所述的视线被预先确定。
52.如权利要求39～51之一所述的装置，其特征在于通过考虑观察点的移动来预先确定所述的视线。
53.如权利要求39～52之一所述的装置，其特征在于通过考虑被观看的对象在所述图像数据上的移动来预先确定所述的视线。
54.如权利要求39～53之一所述的装置，其特征在于通过考虑图像中被标记的区域来预先确定所述的视线。
全文摘要
用于传输和显示图像数据(10)的方法,其中,所述的图像数据被传输到通信终端(8)并由图像再现工具(85)进行显示,且确定通信终端用户(9)的当前视线(A)。第一图像数据(25)利用较低的分辨率通过第一传输信道(4)、譬如通过DVB进行传输,而与所述用户在当前或将来所观看的图像区相对应的第二图像数据(21,24)则利用较高的分辨率通过第二传输信道(7)进行传输。所述的第一和第二图像数据在所述的通信终端内叠加并同时被再现。
文档编号H04H20/28GK1367983SQ99816910
公开日2002年9月4日 申请日期1999年12月30日 优先权日1998年12月2日
发明者R·里特, E·劳珀 申请人:瑞士电信流动电话公司