高速地估算运动的图像编码装置、运动估算设备和方法与流程

文档序号:11881004阅读:260来源:国知局
高速地估算运动的图像编码装置、运动估算设备和方法与流程

技术领域

本发明涉及一种基于多播的内容传输系统和方法,且更具体而言,涉及一种基于多播的内容传输系统和方法,用于考虑网络使用成本在短时间周期中向多个终端多播大容量内容、在传输错误出现时重新传输产生错误的内容且考虑用户网络环境自适应地传输内容。

另外,本发明涉及用于高速地估算运动的装置和方法,且更具体而言,涉及一种用于高速地估算运动的装置和方法,其可以减小通过使用图像的第n动量通过区块匹配估算运动所需的操作数量且以高速编码图像。



背景技术:

由于网络环境中的进步,服务提供商开始发布向用户推送内容的服务。

尤其是,服务提供商积极地计划提供预先推送(下载)多媒体内容到订阅服务的用户的移动终端的服务,且即使在离线状态或难以接收流服务的情形中允许用户回放原先下载的内容。

需要最小化网络使用成本的技术来提供下载大容量多媒体内容的服务,且利用内容分发网络(CDN)的方法被广泛地使用。

CDN是用于在互联网服务提供商(ISP)的网络下安装多个缓存服务器(临时存储设备)且提前移动内容提供商(CP)提供的内容且响应于用户需求下载内容的系统,其是通过CDN提前将内容移动到用户附近的位置能够改善传输速度且防止在传输数据中间产生的数据的速度劣化和丢失的技术。

需要发展能够安全且高速处理在传输大容量多媒体内容时集中的流量的内容传输技术。

除了这点,需要编码将被传输的多媒体内容的技术以安全地向用户终端传输内容。尤其是,一般使用诸如运动图像专家组2(MPEG-2)、MPEG-4、H.264等标准化图像压缩技术。

在标准化图像压缩技术中,基于区块匹配的图像压缩方法是使用运动估算方法去除区块之间的时间冗余的压缩方法。

区块匹配是将图像的每个帧划分成区块且从原先帧或之前编码/解码帧搜索与当前编码/解码帧的区块匹配的区块的处理,且基于区块匹配的图像压缩方法是使用通过区块匹配搜索的匹配区块之间的差异压缩和传输图像的方法。

尤其是,基于运动估算搜索匹配区块的方法可以估算其中当前区块和之前区块之间的误差值(诸如绝对差值和(SAD)或平方差值和(SSD))被最小化为与当前区块匹配的区块的区域,且可以将匹配区块的坐标之间的差值计算为运动矢量且在图像压缩中使用该差值。

为了基于运动估算确定区块匹配,需要针对运动搜索区域中的所有像素计算SAD或SSD。

例如,如果区块大小是N×N个像素且运动搜索区域是32×32,则需要1024×(2N×N-1)倍的加法/减法操作,且如果图像大小约为100N×80N,则需要8192000×(2N×N-1)×(N×N)倍的操作。

用于这种区块匹配的操作数量大到最大占用于编码的操作数量的50%,且因而导致系统负载,且处理速度被延迟。

即,需要发展一种能够安全且高速地处理在传输大容量多媒体内容时集中的流量的内容传输技术和能够减小操作数量的区块匹配技术。



技术实现要素:

技术问题

因此,本发明考虑上述问题而被提出,且本发明的目的是提供一种基于多播的内容传输系统和方法,用于考虑网络使用成本在短时间周期中向多个终端多播大容量内容、在传输错误出现时重新传输产生错误的内容且考虑用户网络环境自适应地传输内容。

本发明的另一目的是提供一种用于高速地估算运动的装置和方法,其可以减小通过使用图像的第n个动量通过区块匹配估算运动所需的操作数量且以高速编码图像。

技术方案

为了实现上述目的,根据本发明的一个方面,提供一种基于多播的内容传输系统,所述内容传输系统包括:内容提供装置,其用于创建分别具有不同传输起始时间和不同传输速率的N×M个多播流信道,提供N×M多播流信道列表,且通过所述N×M个多播流信道中的信道传输内容;以及用户终端,其用于从由所述内容提供装置提供的所述N×M多播流信道列表选择信道且通过选择的多播流信道接收所述内容。

根据本发明的另一方面,提供一种内容提供装置,所述内容提供装置包括:信道创建单元,其用于创建N×M个多播流信道;信道列表创建单元,其用于创建包括与所述N×M个多播流信道相关的信息的N×M多播流信道列表;以及通信单元,其用于提供由所述信道列表创建单元创建的所述N×M多播流信道列表且通过由所述信道创建单元创建的所述N×M个多播流信道中的信道传输内容。

所述信道创建单元创建由具有以时间间隔T布置的传输起始时间的N个多播流信道和在所述N个多播流信道中的每一个中配置的不同传输速率的M个多播流信道配置的所述N×M个多播流信道。

此处,N×M多播流信道信息包括每个信道的关于被传输内容的信息、传输起始时间和传输速率。

另外,所述内容提供装置还包括用于以包形式创建将在所述N×M个多播流信道上传输的内容的信道预备单元。

根据本发明的另一方面,提供一种用户终端,所述用户终端包括:通信单元,其用于接收N×M多播流信道列表,传输用于从所述N×M多播流信道列表选择多播流信道的信道选择信号,以及通过对应于所述信道选择信号的多播流信道接收内容;以及信道选择单元,其用于确认网络的可用传输速率且使用所述可用传输速率和内容传输请求时间从接收自所述通信单元的所述N×M多播流信道列表选择可用多播流信道。

此处,所述N×M多播流信道列表包括由每个信道的关于被传输内容的信息、传输起始时间和传输速率配置的多播流信道信息。

所述信道选择单元从提供的所述N×M多播流信道列表选择具有比所述可用传输速率低的传输速率的多播流信道作为候选多播流信道,且从所述候选多播流信道中选择具有在所述N×M多播流信道列表中的最接近所述内容传输请求时间的传输起始时间的多播流信道。

另外,所述用户终端还包括用于存储传输内容的内容接收单元,其中,如果丢失包的数目小于参考值,则所述内容接收单元使用前向错误校正方法恢复和存储丢失的包,且如果丢失包的数目超过所述参考值,则在删除所述传输内容的包之后请求所述内容的重新传输。

如果请求所述内容的重新传输,则所述信道选择单元通过比较请求所述内容的重新传输时所述用户终端的可用传输速率与所述N×M多播流信道列表的传输速率而选择候选多播流信道列表,且通过比较内容重新传输请求时间和所述传输起始时间而选择多播流信道。

另外,所述信道选择单元从提供的所述N×M多播流信道列表选择具有在所述N×M多播流信道列表中的比所述内容传输请求时间晚的传输起始时间的多播流信道作为候选多播流信道,且从所述候选多播流信道中选择具有比所述可用传输速率低且最高的传输速率的多播流信道。

根据本发明的又一方面,提供一种基于多播的内容传输方法,该方法包括以下步骤:通过内容提供装置创建N×M个多播流信道和包括关于所述N×M个多播流信道的信息的N×M多播流信道列表;通过所述内容提供装置向用户终端传输所述N×M多播流信道列表;通过所述用户终端向所述内容提供装置传输信道选择信号,所述信道选择信号用于使用传输的所述N×M多播流信道列表的多播流信道信息来选择用于传输内容的多播流信道;以及使用对应于所述信道选择信号的多播流信道通过所述内容提供装置向所述用户终端传输内容。

根据本发明的又一方面,提供一种内容提供装置的基于多播的内容传输方法,该方法包括以下步骤:(a)通过所述内容提供装置创建分别具有不同传输起始时间和不同传输速率的N×M个多播流信道;(b)通过所述内容通过装置创建且提供包括与所述N×M个多播流信道相关的信息的N×M多播流信道列表;以及(c)通过所述内容提供装置接收信道接收信号且使用对应于所述信道选择信号的多播流信道传输内容。

步骤(a)包括以下步骤:(a-1)创建具有以时间间隔T布置的传输起始时间的N个多播流信道;以及(a-2)通过创建在所述N个多播流信道中的每一个中配置的不同传输速率的M个多播流信道而创建所述N×M个多播流信道。

根据本发明的又一方面,提供一种用户终端的基于多播的内容接收方法,该方法包括以下步骤:(a)通过所述用户终端接收包括由内容信息、传输起始时间和传输速率配置的与多播流信道相关的信息的N×M多播流信道列表;(b)由所述用户终端通过比较传输的所述N×M多播流信道列表的所述传输起始时间、所述传输速率和所述内容信息与由所述用户终端测量的网络的可用传输速率、内容传输请求时间和关于被接收内容的信息而选择多播流信道;(c)通过所述用户终端传输用于选择所述多播流信道的信道选择信号;以及(d)使用选择的多播流信道由所述用户终端接收内容。

步骤(b)包括以下步骤:(b-1)从传输的所述N×M多播流信道列表选择具有比所述可用传输速率低的传输速率的多播流信道作为候选多播流信道;以及(b-2)从所述候选多播流信道中选择具有在所述N×M多播流信道列表中的最接近所述内容传输请求时间的传输起始时间的多播流信道。

步骤(b)包括以下步骤:(b-1)从传输的所述N×M多播流信道列表选择具有在所述N×M多播流信道列表中的比所述内容传输请求时间晚的传输起始时间的多播流信道作为候选多播流信道;以及(b-2)从所述候选多播流信道中选择具有最高传输速率的多播流信道。

所述用户终端的基于多播的内容接收方法还包括在步骤(d)之后的步骤(e):通过所述用户终端比较传输的内容的丢失包的数目与参考值,且使用前向错误校正方法恢复丢失的包或在删除传输的内容的包之后请求所述内容的重新传输。

根据本发明的另一方面,提供一种运动估算装置,所述运动估算装置包括:第n图像创建单元,其用于创建具有通过针对比较图像和参考图像中的每一个像素使得像素值乘以n倍作为像素的第n像素值而获得的值的第n比较图像和第n参考图像;第n积分图像创建单元,其用于通过计算像素值直到用于所述第n比较图像和所述第n参考图像的设置像素坐标而创建第n积分比较图像和第n积分参考图像;第n动量计算单元,其用于使用所述第n积分比较图像和所述第n积分参考图像针对设置区块计算所述比较图像的第n动量和所述参考图像的第n动量;以及运动矢量估算单元,其用于使用所述比较图像的所述第n动量和所述参考图像的所述第n动量计算区块匹配误差且估算具有最小区块匹配误差的比较图像区块和参考图像区块之间的坐标差值为运动矢量。

所述第n图像创建单元使用以下的数学表达式创建所述第n比较图像和所述第n参考图像:

[数学表达式]

On(x,y)=i(x,y)*On-1(x,y)

其中,i(x,y)代表所述比较图像或所述参考图像的原始图像,On(x,y)代表所述第n比较图像或所述第n参考图像,且(x,y)代表像素坐标。

所述第n积分图像创建单元使用以下的数学表达式创建所述第n积分比较图像和所述第n积分参考图像:

[数学表达式]

In(X,Y)=∑YXOn(x,y),

其中,In(x,y)代表所述第n积分比较图像或所述第n积分参考图像,On(x,y)代表所述第n比较图像或所述第n参考图像,且(x,y)代表像素坐标。

所述第n动量计算单元使用以下的数学表达式针对所述比较图像和所述参考图像计算包括设置区块的4个区块的所述第n动量:

[数学表达式]

Mn=In(xe,ye)+In(xe-1,ye-1)[In(xe-1,ye)+In(xe,ye-1)],

其中,In(x,y)代表像素或区块(xe,ye)的所述第n积分比较图像或所述第n积分参考图像,且(xe,ye)、(xe-1,ye-1)、(xe-1,ye)和(xe,ye-1)代表像素坐标或区块坐标。

所述运动矢量估算单元使用以下的数学表达式计算SAD和SSD其中至少一个作为所述区块匹配误差:

[数学表达式]

SAD=[∑αn|Mn,ref-Mn,curr|]xγ和

SSD=[∑βn|Mn,ref-Mn,curr|2]xγ,

其中,Mn,ref表示用于所述参考图像的设置区块的第n动量,Mn,curr表示用于所述比较图像的设置区块的第n动量,αn和βn表示所述第n动量的加权因子,且γ表示常量。

根据本发明的又一方面,提供一种用于高速地估算运动的图像编码装置,所述图像编码装置包括:运动估算单元,其用于为比较图像和参考图像创建第n比较图像和第n参考图像,通过计算像素值直到用于所述第n比较图像和所述第n参考图像的设置像素坐标而创建第n积分比较图像和第n积分参考图像,使用所述第n积分比较图像和所述第n积分参考图像针对设置区块计算所述比较图像的第n动量和所述参考图像的第n动量,使用第n动量差值计算区块匹配误差,以及将在具有最小区块匹配误差的比较图像区块和参考图像区块之间的坐标差值估算作为运动矢量;运动补偿单元,其用于使用估算的所述运动矢量从所述参考图像创建用于所述比较图像的估算图像;减法器,其用于创建所述比较图像和所述参考图像的差值图像;以及编码单元,其用于编码创建的所述差值图像。

根据本发明的又一方面,提供一种高速地估算运动的方法,该方法包括以下步骤:创建具有通过针对比较图像和参考图像中的每一个像素使得像素值乘以n倍作为像素的第n像素值而获得的值的第n比较图像和第n参考图像;通过计算像素值直到用于所述第n比较图像和所述第n参考图像的设置像素坐标而创建第n积分比较图像和第n积分参考图像;使用所述第n积分比较图像和所述第n积分参考图像针对设置区块计算所述比较图像的第n动量和所述参考图像的第n动量;使用所述比较图像的第n动量和所述参考图像的第n动量之间的差值计算区块匹配误差;以及将在具有最小区块匹配误差的比较图像区块和参考图像区块之间的坐标差值估算作为运动矢量。

有利效果

根据本发明,在通过多播下载大容量内容而最小化网络负载的同时,大容量内容可以传输到用户。

另外,可以通过FEC、多流传输和流的重复传输解决在多播中出现的传输错误,且可以考虑用户的网络环境选择最佳多播流。

另外,可以减少操作数量、改善操作速度,以高速地估算运动且减小在使用第n区块动量执行区块匹配时的图像编码时间。

附图说明

图1是示出根据本发明的一个方面的基于多播的内容传输系统的实施方式的视图。

图2是示出根据本发明的另一方面的内容提供装置的实施方式的视图。

图3是示出根据本发明的另一方面的用户终端的实施方式的视图。

图4是说明根据本发明的另一方面的基于多播的内容传输方法的第一实施方式的流程图。

图5是说明根据本发明的另一方面的基于多播的内容传输方法的第二实施方式的流程图。

图6是说明根据本发明的另一方面的基于多播的内容传输方法的第三实施方式的流程图。

图7是说明根据本发明的另一方面的基于多播的内容传输方法的第四实施方式的流程图。

图8是说明根据本发明的另一方面的基于多播的内容传输方法的第五实施方式的流程图。

图9是示出根据本发明的另一方面的运动估算装置的实施方式的视图。

图10是示出根据本发明的另一方面的图像编码装置的实施方式的视图。

图11是说明根据本发明的另一方面的计算运动估算矢量和第n动量的方法的视图。

图12是说明根据本发明的另一方面的运动估算方法的实施方式的流程图。

具体实施方式

现在将详细参考本公开的实施方式。尽管将描述本公开的某些实施方式,应当理解,本公开并不旨在将本公开的实施方式限制为这些描述的实施方式。对照地,对于本公开的实施方式的引用旨在覆盖可以被包括在所附权利要求书限定的本公开的实施方式的精神和范围内的变型、修改和等价。

将参考附图详细地描述基于多播的内容传输系统、内容提供装置、用户终端、基于多播的内容传输方法、用于高速地估算运动的运动估算装置、图像编码装置和运动估算方法的实施方式。在参考附图的描述中,具有相似或相应功能的元件将通过相似的参考数字表示且不重复其细节。

基于多播的内容传输系统

图1是示出根据本发明的一个方面的基于多播的内容传输系统的实施方式的视图。

根据本实施方式,如图1所示,基于多播的内容传输系统1000可以配置成包括通过通信网络100连接的内容提供装置200和用户终端300。

通信网络100提供用于传输内容的传输路径和用于连接用户终端300和内容提供装置200的连接路径。

例如,通信网络100包括:诸如WCDMA、HDPA、3F、4G等移动通信网络;诸如蓝牙、ZigBee、WiFi等近场通信网络以及诸如因特网、PSTN等有线通信网络。

内容提供装置200表示下载或流传输诸如电影、音乐、运动图像等内容到客户终端且通过有线或无线通信网络向位于远程的用户终端传输内容的服务器。

内容提供装置200创建多个多播流信道,在选择多播流信道其中一个之后向第一用户终端传输内容且使用其他多播流信道向第二用用户终端、第三用户终端等传输内容。

从内容提供装置200的视角,内容被同时多播到多个用户终端。

内容提供装置200创建分别具有不同传输起始时间和不同传输速率的N×M个多播流信道且向用户终端300提供N×M多播流信道列表。

用户终端300输入用于从被包括在提供的列表中的N×M个多播流信道当中选择信道的信道选择信号且向内容提供装置200传输信道选择信号,且内容提供装置200使用与从用户终端200传输的信道选择信号对应的多播流信道向用户终端300传输内容。

例如,用户终端300可以是诸如机顶盒、IPTV等媒体设备,其表示诸如PDA、蜂窝电话、智能手机、写字板PC等执行客户端功能的终端。

尽管在本实施方式中通过首先从内容提供装置200传输N×M多播流信道列表且从用户终端300向内容提供装置200传输信道选择信号来选择多播流信道,可以通过确定用户终端和用于传输内容的多播流信道且通过内容提供装置200向用户终端传送关于该多播流信道的信息来选择多播流信道。

此后,将详细描述配置基于多播的内容传输系统的内容提供装置和用户终端的配置。

内容提供装置

图2是示出根据本发明的另一方面的内容提供装置的实施方式的视图。

根据本实施方式,如图2所示,内容提供装置200可以配置成包括信道创建单元210、信道列表创建单元220和通信单元230。

另外,内容提供装置200还可以包括内容预备单元240。

信道创建单元210通过以规则间隔划分传输起始时间而创建多播流信道且通过划分通过传输起始时间划分的信道中的每一个信道而创建分别具有不同传输速率的多个多播流信道。

即,信道创建单元210创建由具有以T时间间隔布置的传输起始时间的N个多播流信道和在N个多播流信道中的每一个中配置的不同传输速率的M个多播流信道配置的N×M个多播流信道。

例如,如果通过以10分钟间隔布置传输起始时间根据传输起始时间创建6个多播流信道且针对6个多播流信道中的每一个创建用于以三个不同传输速率r1、r2和r3传输数据的三个多播流信道,则创建18个多播流信道。

信道列表创建单元220创建包括关于N×M个多播流信道的信息的N×M多播流信道列表。

此处,N×M多播流信道信息包括关于被传输内容的信息、传输起始时间和每个信道的传输速率,且用户终端可以使用多播流信道信息来确认关于每个信道的状态的信息。

通信单元230提供由信道列表创建单元220创建的N×M多播流信道列表,且提供用于通过由信道创建单元创建的N×M个多播流信道中的信道传输内容的传输和接收接口。

另外,信道预备单元240以包形式创建将在N×M个多播流信道上传输的内容。

用户终端

图3是示出根据本发明的另一方面的用户终端的实施方式的视图。

根据本实施方式,如图3所示,用户终端300可以配置成包括通信单元310和信道选择单元320且还可以包括内容接收单元330。

通信单元310表示用于接收从内容提供装置传输的N×M多播流信道列表、传输信道选择信号且通过对应于信道选择信号的多播流信道接收内容的连接路径。

信道选择单元320确认网络的可用传输速率且使用可用传输速率和内容传输请求时间从N×M多播流信道列表选择可用多播流信道。

提供的N×M多播流信道列表包括由每个信道的关于被传输的内容的信息、传输起始时间和传输速率配置的多播流信道信息。

用户终端300考虑N×M多播流信道信息、用户输入的传输请求内容信息和用户终端300的网络环境从列表中的信道当中选择多播流信道。

信道选择单元320主要考虑用户终端的网络环境选择候选多播流信道且考虑传输起始时间选择最终的多播流信道。

即,信道选择单元320从提供的N×M多播流信道列表选择具有比可用传输速率低的传输速率的多播流信道作为候选多播流信道,且从候选多播流信道选择具有在N×M多播流信道列表中的最接近内容传输请求时间的传输起始时间的多播流信道。

内容接收单元330确认传输内容中的包丢失,且恢复丢失的包或在包不能被恢复时请求相同内容的重新传输。

具体而言,内容接收单元330确定:如果丢失包的数目小于参考值,则丢失包可以被恢复,且使用前向错误校正方法等恢复且存储丢失的包。可以使用不同于前向错误校正方法的某些丢失包恢复方法。

内容接收单元330确定:如果丢失包的数目超过参考值,则不能恢复丢失包,且在删除传输内容的包之后请求内容的重新传输。

如果请求内容的重新传输,则信道选择单元320通过比较请求内容的重新传输时的可用传输速率(用户终端的网络环境)与N×M多播流信道列表的传输速率而选择候选多播流信道列表,且通过比较内容重新传输请求时间和传输起始时间而选择多播流信道。

即,信道选择单元320选择在请求内容的重新传输时具有比网络的可用传输速率低的传输速率的多播流信道作为候选多播流信道,且从候选多播流信道选择具有晚于且最接近内容传输请求时间的传输起始时间的多播流信道。

因为在请求内容的重新传输时网络的可用传输速率可以不同于初始内容传输请求的速率且内容传输请求时间也不同,应当使用产生内容传输请求的时间点的内容传输请求时间和可用传输速率来选择信道。

另外,信道选择单元320可以从提供的N×M多播流信道列表选择具有在N×M多播流信道列表中的比内容传输请求时间晚的传输起始时间的多播流信道作为候选多播流信道,且从候选多播流信道当中选择具有比网络的可用传输速率低且同时具有最高传输速率的多播流信道。

如果通过如上所述的方法选择多播流信道,则内容传输时间可以减小。

基于多播的内容传输方法

图4至8是说明根据本发明的另一方面的基于多播的内容传输方法的第一至第五实施方式的流程图。

如图4所示,根据第一实施方式的基于多播的内容传输方法包括以下步骤:创建在基于多播的内容传输装置和用户终端之间的信道、选择信道以及通过选择的信道传输内容。

首先,内容提供装置创建N×M个多播流信道S410且创建包括与创建的N×M个多播流信道相关的信道信息的列表S420。

此处,信道信息包括关于传输内容的信息、传输起始时间和传输速率。

接下来,内容提供装置向用户终端传输N×M多播流信道列表S430。

如果用户终端选择指定信道且向内容提供装置传输信道选择信号S440,则内容提供装置选择对应于信道选择信号的多播流信道S450。

如果从多个多播流信道当中选择在内容提供装置和用户终端之间的指定内容传输信道,则内容提供装置通过选择的传输信道传输内容S460。

如图5所示,根据第二实施方式的基于多播的内容传输方法包括以下步骤:通过基于多播的内容提供装置一方创建多个信道、根据信道选择信息选择信道以及通过选择的信道传输内容。

首先,内容提供装置创建具有以预定时间间隔T布置的传输起始时间的N个多播流信道S520,创建针对N个多播流信道中的每一个分别具有不同传输速率的M个多播流信道,且最后创建N×M个多播流信道S540。

接下来,内容提供装置创建且传输包括关于每个信道的信息的N×M多播流信道列表S560,且通过对应于从外部传输的信道选择信号的多播流信道传输内容S580。

如图6所示,根据第三实施方式的基于多播的内容传输方法包括以下步骤:考虑从用户终端一方传输的N×M多播流信道列表的信道信息和用户终端的网络环境选择信道以及通过选择的信道接收内容。

首先,用户终端接收包括由内容信息、传输起始时间和传输速率配置的多播流信道信息的N×M多播流信道列表S620。

接下来,用户终端将传输的N×M多播流信道列表的传输起始时间、传输速率和内容信息与用户终端测量的网络的可用传输速率、内容传输请求时间和关于将被接收内容的信息进行比较S640。

用户终端通过比较关于被包括在列表中的信道的信息和关于用户终端的信息选择多播流信道S660且通过选择的信道接收内容S680。

此时,选择的多播流信道可以根据内容信息的优先级、传输起始时间和传输速率变化。

首先,将参考图7和8描述根据优先级选择多播流信道和根据传输的内容的包丢失是否请求内容的重新传输的方法的指定实施方式。

如图7所示,当传输速率被设置为第一参考且传输起始时间被设置为第二参考时,根据第四实施方式的基于多播的内容传输方法包括以下步骤:选择多播流信道且根据传输的内容的包丢失存储内容或请求内容的重新传输。

首先,用户终端针对N×M个多播流信道比较作为第一参考的传输速率和用户终端测量的网络的可用传输速率S710,且选择具有比网络的可用传输速率低的传输速率的多播流信道作为候选组S720。

接下来,用户终端针对候选组比较作为第二参考的传输起始时间和用户终端的内容传输请求时间S730,且从候选组选择具有晚于且最接近内容传输请求时间的传输起始时间的多播流信道S740。

用户终端向内容提供装置提供信道选择信号以选择用于在用户终端和内容提供装置之间传输内容的多播流信道且通过选择的信道从内容提供装置下载内容S750。

当内容传输完成时,用户终端检查传输内容的包丢失S760,如果包丢失不发生则存储内容S795,且如果包丢失发生则确定是否可以恢复丢失的包。

确定是否可以恢复丢失包的过程比较丢失包的数目A与参考值B S770,如果丢失包的数目A小于参考值B,则确定丢失包可以被恢复且恢复包780,且如果丢失包的数目A超过参考值B,则确定丢失包不能被恢复且在删除传输内容之后请求内容的重新传输S790。

如果请求内容的重新传输,在S710之后用于基于请求内容的重新传输时网络的可用传输速率和用户终端的内容重新传输请求时间选择信道,且传输内容的步骤被重复地执行。

如图8所示,当传输起始时间被设置为第一参考且传输速率被设置为第二参考时,根据第五实施方式的基于多播的内容传输方法包括以下步骤:选择多播流信道且根据传输的内容包是否丢失存储内容或请求内容的重新传输。

首先,用户终端针对N×M个多播流信道比较作为第一参考的传输起始时间和用户终端的内容传输请求时间S810,且选择具有比内容传输请求时间晚的传输起始时间的多播流信道作为候选组S820。

接下来,用户终端从被包括在候选组中的多播流信道选择具有低于且最接近网络的可用传输速率的传输速率(第二参考)的多播流信道S830。

用户终端向内容提供装置提供信道选择信号以选择用于在用户终端和内容提供装置之间传输内容的多播流信道且通过选择的信道从内容提供装置下载内容S840。

当内容传输完成时,用户终端检查传输内容的包丢失S850,如果包丢失不发生,则存储内容S890,且如果包丢失发生,则确定是否可以恢复丢失的包。

确定是否可以恢复丢失包的过程比较丢失包数目的数目A与参考值B S860,如果丢失包的数目A小于参考值B,则确定丢失的包可以被恢复且恢复包,且如果丢失包的数目A超过参考值B S870,则确定丢失包不能被恢复且在删除传输内容之后请求内容的重新传输S880。

如果请求内容的重新传输,在S810之后用于基于请求内容的重新传输时的网络的可用传输速率和用户终端的内容重新传输请求时间而选择信道,且传输内容的步骤被重复地执行。

因此,内容提供装置可以创建多个多播流信道和向多个用户终端多播内容,且用户终端可以从多个多播流信道选择适于用户终端环境的信道且下载内容。

运动估算装置

图9是示出根据本发明的另一方面的运动估算装置的实施方式的视图。

根据本实施方式,如图9所示,运动估算装置配置成包括第n图像创建单元910、第n积分图像创建单元920、第n动量计算单元930和运动矢量估算单元940。

当通过创建第n图像和第n积分图像且使用它们计算第n动量来估算比较图像和参考图像之间的运动时,根据本发明的运动估算装置可以减少操作数量且改善估算速度。

第n图像创建单元910创建具有通过针对比较图像和参考图像中的每一个像素将像素值乘以n倍获得的值作为像素的第n像素值的第n比较图像和第n参考图像。

此处,比较图像表示用于估算或编码运动的当前图像,且参考图像表示在时间轴上的先前图像或原先编码的图像。

第n积分图像创建单元910使用以下[数学表达式1]创建第n比较图像和第n参考图像。

数学表达式1[等式1]

On(x,y)=i(x,y)*On-1(x,y)

此处,i(x,y)代表比较图像或参考图像的原始图像,On(x,y)代表第n比较图像或第n参考图像,且(x,y)代表像素坐标。

第n积分图像创建单元920通过计算像素值直到用于第n比较图像和第n参考图像的设置像素坐标创建第n积分比较图像和第n积分参考图像。

例如,如果第一图像的像素值是x,则第二图像的像素值变成x2,且第三图像的像素值变成x3

第n积分图像创建单元920使用以下[数学表达式2]创建第n积分比较图像和第n积分参考图像。

数学表达式2[等式2]

In(X,Y)=∑YXOn(x,y)

此处,In(x,y)代表第n积分比较图像或第n积分参考图像,On(x,y)代表第n比较图像或第n参考图像,且(x,y)代表像素坐标。

例如,In(2,3)是积分On(1,1)、On(2,1)、On(2,2)和On(2,3)的值。即,坐标(2,3)的第n积分图像In(2,3)是积分坐标(1,1)的第n图像像素值、坐标(2,1)的第n图像像素值、坐标(2,2)的第n图像像素值和坐标(2,3)的第n图像像素值的值。

第n动量计算单元930使用第n积分比较图像和第n积分参考图像针对设置区块计算比较图像的第n动量和参考图像的第n动量。

第n动量计算单元930使用以下[数学表达式3]针对比较图像和参考图像计算包括设置区块的4个区块的第n动量。

数学表达式3[等式3]

Mn=In(xe,ye)+In(xe-1,ye-1)[In(xe-1,ye)+In(xe,ye-1)]

此处,In(x,y)代表像素或区块(xe,ye)的第n积分比较图像或第n积分参考图像,且(xe,ye)、(xe-1,ye-1)、(xe-1,ye)和(xe,ye-1)代表像素坐标或区块坐标。

运动矢量估算单元940使用比较图像的第n动量和参考图像的第n动量之间的差值计算区块匹配误差,且将在具有最小区块匹配误差的比较图像区块和参考图像区块之间的坐标差值估算为运动矢量。

运动矢量估算单元940使用以下[数学表达式4]计算SAD和SSD其中至少一个作为区块匹配误差。

数学表达式4[等式4]

SAD=[∑αn|Mn,ref-Mn,curr|]xγ

SSD=[∑βn|Mn,ref-Mn,curr|2]xγ

此处,Mn,ref表示用于参考图像的设置区块的第n动量,Mn,curr表示用于比较图像的设置区块的第n动量,αn和βn表示第n动量的加权因子,且γ表示常量。

计算的精确度和操作数目随着n值增加而增加,且计算的精确度和操作数目随着n值减小而减小。

图11是说明根据本发明的另一方面的计算运动估算矢量和第n动量的方法的视图。

根据本实施方式,如图11(a)所示,参考图像的区块A'匹配比较图像的区块A,且可以估算(mx,my)的运动。

另外,如图11(b)所示,针对比较图像和参考图像,可以使用包括设置区块(或坐标)的4个区块(或坐标)的第n积分图像计算第n动量。因此,第n动量表示阴影区域的第n积分图像的像素值。

图像编码装置

图10是示出根据本发明的另一方面的图像编码装置的实施方式的视图。

根据本实施方式,如图10所示,图像编码装置配置成包括运动估算单元1010、运动补偿单元1020、减法器1030、量化单元1040、熵编码单元1050、反向量化单元1060和加法器1070。

运动估算单元1010通过以区块为单位将比较图像和参考图像进行比较选择具有最小区块匹配误差的区块作为匹配区块且使用区块之间的坐标差值计算运动矢量。

此处比较图像表示用于估算或编码运动的当前图像,且参考图像表示在时间轴上的先前图像或原先编码的图像。

用于高速地估算运动的图像编码装置的运动估算单元1010创建用于比较图像和参考图像的第n比较图像和第n参考图像,通过计算像素值直到用于第n比较图像和第n参考图像的设置像素坐标创建第n积分比较图像和第n积分参考图像,使用第n积分比较图像和第n积分参考图像针对设置区块计算比较图像的第n动量和参考图像的第n动量,使用第n动量差值计算区块匹配误差,以及将在具有最小区块匹配误差的比较图像区块和参考图像区块之间的坐标差值估算作为运动矢量。对于详细信息,参见图9的描述。

运动补偿单元1020使用估算的运动矢量从参考图像创建用于比较图像的估算图像,且减法器1030创建比较图像和参考图像的差值图像。

编码单元1050编码创建的差值图像。

此处,频率空间转换单元和量化单元1040可以进一步被包括在减法器1030和编码单元1050之间。

频率空间转换单元使用诸如离散哈达玛变换(DHT)、离散余弦变换(DCT)等方法将由减法器1030创建的在比较图像和估算图像之间的差值从色彩空间转换成频率空间,且量化单元1040量化通过频率空间转换单元转换的值。

编码单元1050以诸如上下文自适应可变长度编码(CAVLC)、上下文自适应二元算术编码(CABAC)等编码方法通过编码由量化单元量化的值来创建位流。

反向量化单元1060通过使得量化值乘以量化参数恢复频率成分值,且加法器1070通过添加由运动补偿单元1020创建的估算图像和恢复图像之间的差异来创建所述恢复图像。

运动估算方法

图12是说明根据本发明的另一方面的运动估算方法的实施方式的流程图。

根据本实施方式,如图12所示,连续地创建第n图像和第n积分图像S1210和S1220,且使用第n积分图像创建第n动量S1230。然后,计算区块匹配误差S1240,且通过匹配具有最小区块匹配误差的区块来估算运动矢量S1250。

创建第n图像S1210是创建具有通过针对比较图像和参考图像中的每一个像素将像素值乘以n倍获得的值作为像素的第n像素值的第n比较图像和第n参考图像。

创建第n积分图像S1220是通过积分像素值直到用于第n比较图像和第n参考图像的设置像素坐标而创建第n积分比较图像和第n积分参考图像。

计算第n动量S1230使用第n积分比较图像和第n积分参考图像针对设置区块计算比较图像的第n动量和参考图像的第n动量。

估算运动矢量S1250是从比较图像和参考图像提取具有在比较图像的第n动量和参考值的第n动量之间的差值的最小绝对值的区块,且确定提取的区块的坐标差值为运动矢量。

根据本发明,因为当前图像(比较图像)的创建的第n图像和第n积分图像和计算的第n动量以及区块匹配误差可以用作用于估算下一图像的运动的参考图像,所以可以高速估算运动。

尤其是,如果创建比较图像和参考图像的第n积分图像,相同的第n积分图像可以用于计算被包括在每个图像中的所有区块的运动矢量,且因而在现有技术中需要(2N×N-1)倍的操作以比较具有N×N大小的区块。然而,根据本发明,操作的数目可以减小为(5×n-1)倍。

因为一般用在H.264中的N是8,现有技术的127倍的操作可以减小为9倍(n=2)、14倍(n=3)等,且因而速度可以改善9至14倍。

工业应用性

在传输和接收内容的领域中,本发明可以应用于考虑在传输内容时需要的网络使用成本向多个客户端多播内容的装置和系统、用于记录上述方法的记录介质以及执行应用程序的装置。

另外,在编码或编码且传输图像的领域中,本发明可以应用于能够减小区块匹配所需的操作数量且以高速编码图像的装置和系统、用于记录上述方法的记录介质以及执行应用程序的装置。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1