视频发送方法、接收方法、系统以及无人飞行器与流程

文档序号:15362654发布日期:2018-09-05 01:01阅读:212来源:国知局

本发明涉及图像处理技术领域,尤其涉及一种适用于可移动物体的视频发送方法、接收方法、发送系统、接收系统及无人飞行器。



背景技术:

随着科学技术的飞速发展,无人飞行器技术越来越成熟,而对于无人飞行器而言,无线和不可靠信道上的低延时视频传输技术是当下的热点研究和应用方向;多信道数据传输是使用多个信道传输图像数据,达到扩大通信带宽的目的;在多信道无线和不可靠信道条件下,提供与之匹配的信源编码方案,保证视频传输的及时可靠性,提升视频传输质量是其中的关键技术。

无人飞行器上搭载的拍摄设备所拍摄的视频可通过无人飞行器的视频发送系统进行传输,具体的,无人飞行器上的数据处理器获取拍摄设备拍摄的视频数据,对视频数据进行编码,然后将编码后的视频数据发送给地面上的接收设备。无人飞行器与接收设备之间的通信网络的信道个数可以为多个,无人飞行器可以利用多个信道将视频数据发送给接收设备。目前,针对多信道的视频传输方法,主要是利用多信道来进行带宽扩展,直接对编码后的视频数据进行分包处理,并将分包后的数据分发到不同的信道上发送,即针对一帧图像而言,将一帧图像编码得到的码流数据进行拆分,把拆分后得到的数据包分发到不同的信道上发送,然而,当接收设备在接收其中一个信道上发送的数据包时出现接收错误时,即使其他信道上接收的数据包都接收正确,也会导致接收设备在后续解码时无法获取正确图像。

可见,将拆分后的数据包通过多个信道发送给接收设备的过程中,在多个信道中的某个信道上的数据传输发生错误的情况下,将导致接收设备不能得到正确的图像;另外,在将拆分后的数据包分配给多个信道来发送时,并未考虑传输拆分后数据包的多个信道中每一个的特性(例如带宽、误比特率等),可能导致拆分后的数据包无法在与其匹配的信道上传输。以上的信道传输方式会降低多信道视频传输可靠性和效率。



技术实现要素:

本发明提供了一种适用于可移动物体的视频发送方法、接收方法、发送系统、接收系统及无人飞行器,以提高多信道视频传输可靠性和效率。

本发明的第一方面是为了提供一种适用于可移动物体的视频发送方法,包括:

将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元均包括一个或多个子图像;

对所述多个子视频数据单元分别进行编码;以及

根据信道的一个或多个特性和所述子视频数据单元的一个或多个特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元。

本发明的第二方面是为了提供一种适用于可移动物体的视频接收方法,包括:

从多个信道接收多个编码后的子视频数据单元;

对所述编码后的多个子视频数据单元进行解码;

根据解码后的所述子视频数据单元重建所述视频数据;

其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。

本发明的第三方面是为了提供一种适用于可移动物体的视频发送系统,包括:

一个或多个成像装置,被配置为采集视频数据;以及

所述可移动物体上的一个或多个处理器,单独或协同工作,所述一个或多个处理器被配置为:

将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元均包括一个或多个子图像;

对所述多个子视频数据单元分别进行编码;以及

根据信道的一个或多个特性和所述子视频数据单元的一个或多个特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元。

本发明的第四方面是为了提供一种适用于可移动物体的视频接收系统,包括:

通讯接口,从多个信道接收多个编码后的子视频数据单元;

一个或多个处理器,单独或协同工作,所述一个或多个处理器被配置为:

对接收到的所述编码后的多个子视频数据单元进行解码;

根据解码后的所述子视频数据单元重建所述视频数据;

其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。

本发明的第五方面是为了提供一种无人飞行器,包括:

机身;

动力系统,安装在所述机身,用于提供飞行动力;

以及上述的视频发送系统。

本发明的第六方面是为了提供一种接收设备,包括:

上述的视频接收系统。

本发明提供的适用于可移动物体的视频发送方法、接收方法、发送系统、接收系统及无人飞行器,通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展视频传输的带宽的同时,提高视频数据的传输的效率,同时,视频接收设备利用从多个信道上接收的子视频数据单元重建视频数据,可以提高视频传输的容错能力和可靠性。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种适用于可移动物体的视频发送方法的流程示意图;

图2为本发明实施例提供的构成子视频数据单元的示意图;

图3为本发明另一实施例提供的构成子视频数据单元的示意图;

图4为本发明另一实施例提供的构成子视频数据单元的示意图;

图5为本发明另一实施例提供的一种适用于可移动物体的视频发送方法的流程示意图;

图6为本发明实施例提供的一帧图像的结构示意图;

图7为本发明实施例提供的一帧图像经过哈达玛变换后的系数图像;

图8为本发明实施例提供的空间变换分解的示意图;

图9为本发明实施例提供的空间下采样分解的示意图;

图10为本发明实施例提供的选择多个信道中的至少一个信道来发送编码后的子视频数据单元的流程示意图;

图11为本发明一实施例提供的一种适用于可移动物体的视频接收方法的流程示意图;

图12为本发明实施例提供的解码后的子图像的示意图;

图13为本发明另一实施例提供的解码后的子图像的示意图;

图14为本发明实施例提供的重建原始图像的示意图;

图15为本发明另一实施例提供的重建原始图像的示意图;

图16为本发明实施例提供的一种适用于可移动物体的视频发送系统的结构图;

图17为本发明实施例提供的一种适用于可移动物体的视频接收系统的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种适用于可移动物体的视频发送方法;可移动平台可以为无人飞行器,地面移动机器人、手持云台等,图1为本发明一实施例提供的一种适用于可移动物体的视频发送方法的流程示意图,如图1所示,具体的,该方法可以包括:

s101:将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元均包括一个或多个子图像;

具体应用时,本实施例的执行主体可以是数据处理器,其中,数据处理器可以为专用处理器,例如:用于进行图像处理的处理器,也可以为通用处理器,本发明中不作具体的限定。数据处理器实时获取可移动平台上搭载的拍摄设备拍摄的视频数据,该视频数据可以包括一个图像帧或者多个图像帧,数据处理器对视频数据单元中包括的每一个图像帧进行分解,而每个子视频数据单元可以包括一个或多个子图像;具体的,将视频数据分解为多个子视频数据单元设置为包括:将视频数据中的一个或多个图像帧中的每一个分解成一个或多个子图像,此时,子视频数据单元中的每一个包括图像帧中每一个分解得到的多个子图像中的至少一个子图像,具体地,选择每一个图像帧分解得到的多个子图像的至少一个,将选中的子图像组合成子视频数据单元。

在某些实施例中,上述的子图像可以为图像帧的一部分,具体的,子图像也可以为图像帧的一个或多个像素,或者,子图像还可以为图像帧的一个或多个转换系数(具体解释请参见后述部分,在此先不赘述)。本实施例不限定一个视频数据包括的图像帧的个数,为了示意性说明视频数据的分解过程,假设该视频数据包括6个图像帧,即6帧图像,此外,在其他实施例中,视频数据包括的图像帧的个数还可以是其他值。

如图2所示,该视频数据包括6个图像帧,分别为帧1、帧2、帧3、帧4、帧5、帧6,对帧1、帧2、帧3、帧4、帧5、帧6分别进行分解,本实施例不限定每个图像帧分解成的子图像的个数,如图2所示,每个图像帧被分解为4个子图像,此处只是示意性说明,对每个图像帧分解后得到的子图像的个数还可以是其他值。每个子视频数据单元包括对6个图像帧中每一个进行分解后得到的每个图像帧对应的4个子图像中的至少一个子图像。可选的,每个子视频数据单元包括6个图像帧中各图像帧对应的4个子图像中的一个子图像,如图2所示,子视频数据单元210包括帧1的一个子图像11、帧2的一个子图像21、帧3的一个子图像31、帧4的一个子图像41、帧5的一个子图像51、帧6的一个子图像61;同理,子视频数据单元220、子视频数据单元230、子视频数据单元240分别包括6个图像帧中每个图像帧的一个子图像。

另外,不同子视频数据单元包括的子图像的个数还可以不同,如图3所示,子视频数据单元310包括帧1的两个子图像11、12,帧2的两个子图像21、22,帧3的两个子图像31、32,帧4的一个子图像41、帧5的一个子图像51、帧6的一个子图像61;子视频数据单元320包括帧1的一个子图像13,帧2的一个子图像23,帧3的一个子图像33,帧4的两个个子图像42、43,帧5的两个子图像52、53,帧6的两个子图像62、63;子视频数据单元330包括6个图像帧中每个图像帧的一个子图像。

多个图像帧中每个图像帧对应的多个子图像中的至少一个子图像组合构成子视频数据单元的方式还可以有其他的组合方式,此处不再一一列举。

此外,视频数据还可能只包括一个图像帧即一帧图像,如图4所示,40表示视频数据包括的一个图像帧,对该图像帧40进行分解,本实施例不限定对一个图像帧进行分解后得到的子图像的个数,可选的,将该图像帧40分解为4个子图像,如图4所示的子图像11、子图像12、子图像13、子图像14。用子图像11、子图像12、子图像13、子图像14构成子视频数据单元可分为如下几种可实现的方式:

一种可实现的方式是:每个子视频数据单元包括一个子图像,如图4所示的子视频数据单元410、子视频数据单元420、子视频数据单元430、子视频数据单元440。

另一种可实现的方式是:每个子视频数据单元包括两个子图像,本实施例不限定一个子视频数据单元中包括的两个子图像的组合方式,可选的,如图4所示的子视频数据单元450和子视频数据单元460,其中,子视频数据单元450包括子图像11和子图像12,子视频数据单元460包括子图像13和子图像14。

再一种可实现的方式是:每个子视频数据单元包括的子图像的个数不同,如图4所示的子视频数据单元470和子视频数据单元480,其中,子视频数据单元470包括3个子图像,子视频数据单元480包括1个子图像,或者,子视频数据单元470包括1个子图像,子视频数据单元480包括3个子图像,本实施例不限定,构成一个子视频数据单元的3个子图像的组合方式,可选的,子视频数据单元470包括子图像11、子图像12、子图像13,子视频数据单元480包括子图像14。

s102:对多个子视频数据单元分别进行编码;

数据处理器以子视频数据单元为编码单位,对多个子视频数据单元中的每个子视频数据单元分别进行编码,编码后可以得到多个码流数据,可选的,对一个子视频数据单元编码后得到一个码流数据,此处的编码包括信源编码和/或信道编码,信源编码的方式可以包括h.263、h.264、h.265、mpeg4等,信道编码的方式可以包括纠错编码,纠错码的类型可以包括rs码即里德-所罗门码、卷积码、turbo码、polar码、交织码、伪随机序列扰码等。

s103:根据信道的一个或多个特性和子视频数据单元的一个或多个特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元。

在本实施例中,信道的一个或多个特性至少包括带宽,或者,信道的一个或多个特性包括如下至少一种:噪声、干扰、信噪比、误比特率、衰落速率、带宽、可用信道个数;而子视频数据单元的一个或多个特性可以包括:子视频数据单元编码后的码流数据大小,或者子视频数据单元的能量集中度。

需要说明的是,在分解得到多个子视频数据单元后,需要将多个编码后的子视频数据单元利用多个信道发送出去,在发送之前,可以评估多个信道的特性,数据处理器基于评估的信道的一个或多个特性,以及子视频数据单元的一个或多个特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,使得编码后的子视频数据单元在与其特性相匹配的信道上传输,从而实现将编码后的子视频数据单元发送给接收设备。其中,该接收设备可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、穿戴式设备(手表、手环等)及其组合等。

其中,选择多个信道中的至少一个信道来发送编码后的子视频数据单元的一种可实现方式为:为多个子视频数据单元中的每一个从多个信道中选择一个信道,利用所述选择的信道来发送所述子视频数据单元。其中,上述的多个子视频数据单元可以具有相同或相似的特性,该特性包括子视频数据单元编码后的码流数据大小、或者所述子视频数据单元的优先级,其中,上述的多个子视频数据单元的优先级是依据子视频数据单元的能量集中度进行优先级排序确定的;上述多个子视频数据单元可以具有相同或相似的特性可以是指:多个子视频数据单元具有相同或相似的码流数据大小,或者,多个子视频数据单元具有相同或相似的优先级。另外,上述的多个子视频数据单元可以具有不同的特性,该特性包括子视频数据单元编码后的码流数据大小、或者所述子视频数据单元的优先级,即多个编码后的子视频数据单元的码流数据大小不同,或者多个子视频数据单元的优先级不相同。

为了使得每个单独的子视频数据单元均可以在与其特性相匹配的信道上进行传输,可通过如下几种可行的方式实现在多个信道中选择一个信道来发送相应的子视频数据单元:

第一种可行的方式为:根据编码后的子视频数据单元的码流数据大小和信道带宽,为多个子视频数据单元中的每一个从多个信道中选择一个信道,利用所述选择的信道来发送所述子视频数据单元;具体的,一个或多个编码后的子视频数据单元的码流数据大小与所选择信道的信道带宽相匹配,使得编码后的子视频数据单元在与其码流数据大小相匹配的信道上传输。

例如,无人飞行器和接收设备之间传输视频数据的信道可以有多个,在某些情况下,多个信道在同一时刻的特性可能会不一样,例如信道的带宽可能各不相同,有的信道带宽大,有的信道带宽小。例如,若数据处理器对视频数据分解后得到4个子视频数据单元,该4个子视频数据单元分别记为子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d,对4个子视频数据单元分别编码后得到码流的大小为s0、s1、s2、s3,这4个码流数据的大小可能会各不相同,为了进行示意性说明,可以假设这个4个码流数据的大小依次递减,若当前的无线信道包括信道1、信道2、信道3、信道4,并且上述信道的带宽t分别为t0、t1、t2、t3,且四个信道的带宽依次递减,为了将这个4个码流数据都发送出去并保证传输延时,可以根据当前各个信道的带宽为每一个码流数据选择一个信道来进行发送。例如,可以将信道带宽最大的信道1用来发送编码后的子视频数据单元a,将信道带宽第二大的信道2用来发送编码后的子视频数据单元b,将信道带宽第三大的信道3用来发送编码后的子视频数据单元c,将信道带宽最小的信道4用来发送编码后的子视频数据单元d。这样可以使数据传输能力强的信道发送编码后码流数据较大的子视频数据单元,将数据传输能力弱的信道发送编码后码流数据较小的子视频数据单元。这样可以使得子视频数据单元可以与信道进行匹配,则数据处理器可根据子视频数据单元编码后的码流数据的大小和信道带宽来选择信道来发送子视频数据单元。

第二种可行的方式为:多个子视频数据单元可以依据能量集中度进行优先级排序。进而可以根据编码后的子视频数据单元的的优先级和信道带宽,为多个子视频数据单元中的每一个从多个信道中选择一个信道,利用所述选择的信道来发送所述子视频数据单元。具体的,一个或多个编码后的子视频数据单元的优先级与所选择信道的信道带宽相匹配,使得编码后的子视频数据单元在与其优先级相匹配的信道上传输。

在某些情况下,对视频数据进行分解过程中,由于使用了特定的分解方法,导致多个子视频数据单元中的每个子视频数据单元的能量集中度不同(请参见下文,此处先不赘述),因此,在某些实施例中,如果每个子视频数据单元的能量集中度不同,基于每个子视频数据单元的能量集中度对多个子视频数据单元进行优先级排序,可选的优先级排序规则为:能量集中度越大,优先级越高。

数据处理器可以根据编码后子视频数据单元的码流数据大小和信道带宽来选择至少一个信道来发送编码后的子视频数据单元,以使得编码后的子视频数据单元的码流数据大小与信道带宽匹配,另外,还可以根据子视频数据单元的优先级和带宽来为每个子视频数据单元选择一个信道,并利用选中的信道发送子视频数据单元,以使得子视频数据单元的优先级与信道的带宽相匹配。例如,当前多个信道的带宽可能各不相同,子视频数据单元的优先级也可以不相同,优先级越高的子视频数据单元在接收设备重建视频数据时越重要,在传输优先级不一样的子视频数据单元时,可以根据信道的带宽来为每一个子视频数据单元选择合适的信道。例如,若数据处理器对视频数据分解后得到4个子视频数据单元,该4个子视频数据单元分别记为子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d,这4个子视频数据单元的优先级可能会各不相同,为了进行示意性说明,可以假设这个4个子视频数据单元的优先级依次递减,若当前的无线信道包括信道1、信道2、信道3、信道4,且四个信道的带宽依次递减,为了保证优先级高的子视频数据单元发送出去并保证符合传输延时要求,可以将子视频数据单元的优先级与信道的带宽进行匹配,即可以将信道带宽最大的信道1用来发送编码后的优先级最高的子视频数据单元a,将信道带宽第二大的信道2用来发送编码后的优先级第二高的子视频数据单元b,将信道带宽第三大的信道3用来发送编码后的优先级第三高的子视频数据单元c,将信道带宽最小的信道4用来发送编码后的优先级最低的子视频数据单元d。

另外,在某些情况下,子视频数据单元的优先级各不相同时,且子视频数据单元的个数大于信道的个数时,沿用上述的例子,当前的信道可能只有信道1和信道2,此时可以选择信道1来发送子视频数据单元a,选择信道2发送子视频数据单元b,子视频数据单元c和d可以选择不发送。

需要说明的是,在某些情况中,多个信道的带宽可能相同或者大致相同,此时,在将视频数据分解成多个子视频数据单元后,可以随机选择多个信道中的任一个信道来发送编码后的子视频数据单元,保证所选择的信道不重叠即可。

本实施例提供的适用于可移动物体的视频发送方法,通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展了视频传输系统的信道带宽同时,提高了视频传输的效率。

图5为本发明另一实施例提供的一种适用于可移动物体的视频发送方法的流程示意图,在上述实施例的基础上,继续参考附图4可知,本实施例对于将视频数据中的一个或多个图像帧中的每一个分解成多个子图像的具体实现方式不做限定,本领域技术人员可以根据具体的设计需求进行设置,较为优选的,将视频数据中的一个或多个图像帧中的每一个分解成多个子图像设置为包括:

s501:将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。

在上述实施例的基础上,视频数据可以包括一帧图像,也可以包括连续的多帧图像,本实施例不限定一帧图像包括的像素点的个数,也不限定每个像素点的像素值。数据处理器对视频数据进行分解时,具体可以将该视频数据中的一帧或多帧图像中的每一帧图像分解为多个子图像。

具体的,将视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像,本实施例以视频数据包括的一帧图像为例,介绍对该帧图像进行空间分解的过程,具体可通过如下几种可行的方式实现:

其中一种可实现的方式为,将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像设置为包括:

s502:利用傅里叶相关变换或正交变换将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。

其中,傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶相关变换、沃尔什-哈达玛变换、哈尔变换或斜变换中确定的。

如图6所示为一帧图像的示意图,本实施例不限定一帧图像包括的像素点的个数,以一帧图像包括16个像素点为例,其中,p1-p16表示16个像素点的像素值,对于16个像素点中每4个相邻的像素点的像素值进行空间变换分解,分解成4个子图像,下面以哈达玛变换来进行示意性说明,具体的空间变换分解过程包括如下步骤:

步骤1、以16个像素点中每4个相邻的像素点为一个单位进行哈达玛变换,这里选择4个相邻的像素点为一个单位只是为了进行示意性说明,本领域技术人员可以选择其他方式。p1、p2、p3、p4经过哈达玛变换后得到的转换系数为h1、h2、h3、h4,其中,p1、p2、p3、p4和h1、h2、h3、h4之间的关系满足公式(1)、(2)、(3)、(4):

h1=(p1+p2+p3+p4+1)>>1(1);

h2=(p1+p2–p3–p4+1)>>1(2);

h3=(p1+p3–p2–p4+1)>>1(3);

h4=(p1+p4–p2–p3+1)>>1(4);

根据公式(1)、(2)、(3)、(4)可知h1包含有4个像素点的平均能量,h2包含有4个像素点在垂直方向的平均梯度,h3包含有4个像素点在水平方向的平均梯度,h4包含有4个像素点的交叉梯度即纹理信息。因此,接收设备在对该帧图像进行重建时,h1最重要、h2、h3的重要性次之、h4的重要性最小,即h1、h2、h3、h4的重要性依次递减。同理,对p5-p8进行同样的哈达玛变换得到h5-h8,对p9-p12进行同样的哈达玛变换得到h9-h12,对p13-p16进行同样的哈达玛变换得到h13-h16,得到如图7所示的系数图像。

步骤2、将哈达玛变换后得到的转换系数分解到不同的子图像中,本实施例不限定对每帧图像空间变换分解后得到的子图像的个数,例如:分解后得到的子图像的个数是4个,此处只是示意性说明,在其他实施例中,对每帧图像空间变换分解后得到的子图像的个数还可以是其他值;可选的,将h1分到第一个子图像、将h2分到第二个子图像、将h3分到第三个子图像、将h4分到第四个子图像。同理,将h5-h8以相同的方式分解到4个子图像中,将h9-h12以相同的方式分解到4个子图像中,将h13-h16以相同的方式分解到4个子图像中,得到如图8所示的分解结果。

根据图8可知,空间变换分解后的4个子图像中每个子图像的分辨率是分解前原始图像的四分之一。

另一种可实现的方式为:可以将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像设置为包括:

s503:利用空间下采样将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。

本实施例不限定对每帧图像空间下采样分解后得到的子图像的个数,例如分解后得到的子图像的个数是4个,此处只是示意性说明,在其他实施例中,对每帧图像空间下采样分解后得到的子图像的个数还可以是其他个数值,在图6的基础上,对于16个像素点中每4个相邻的像素点的像素值进行空间下采样,分解成4个子图像,具体的空间下采样分解过程为:以16个像素点中相邻的每4个像素点为一个单位,将一个单位中的4个像素点分解到不同的子图像中,例如,将p1分解到第一个子图像,将p2分解到第二个子图像,将p3分解到第三个子图像,将p4分解到第四个子图像,同理,将p5-p8以相同的方式分解到4个子图像,将p9-p12以相同的方式分解到4个子图像,将p13-p16以相同的方式分解到4个子图像,得到如图9所示的分解结果。

根据图9可知,空间下采样分解后的4个子图像中每个子图像的分辨率是分解前原始图像的四分之一。假设分解前原始图像的大小为w*h,若将原始图像分解为4个子图像,且原始图像或子图像所对应的像素矩阵的行号或列号从0开始计数,则第一个子图像中可包含原始图像中坐标为(2i,2j)的像素点,第二个子图像中可包含原始图像中坐标为(2i+1,2j)的像素点,第三个子图像中可包含原始图像中坐标为(2i,2j+1)的像素点,第四个子图像中可包含原始图像中坐标为(2i+1,2j+1)的像素点,其中,2i+1<w,2j+1<h。

根据上述分解方式中的任一一种空间变换或空间下采样方式即可将视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。在本实施例中,一个图像帧即为一帧图像,多个图像帧即为多帧图像。视频数据包括一个或多个图像帧,子视频数据单元包括对图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。

若视频数据中有一个图像帧,则该图像帧的分解方式如图8或图9所示,子视频数据单元可以包括该图像帧的分解后得到的多个子图像中的至少一个子图像,例如一个子视频数据单元包括一个子图像,对分解后得到的每个子图像进行编码即可得到子视频数据单元编码后的码流数据。

若视频数据中有连续的多个图像帧,则每一个图像帧即每一帧图像的分解方式如图8或图9所示,例如视频数据包括4个图像帧,若每一个图像帧被分解为4个子图像,则连续的4个图像帧被分解后将得到4*4个子图像,每个子视频数据单元可包括4*4个子图像中的多个子图像具体地,具体地,子视频数据单元可以为4个,从每一个图像帧中分解得到的多个子图像(4个子图像)中选择至少一个子图像,将选中的子图像组成子视频数据单元。

根据图8或图9可知,每个子图像包括图像帧的一部分。如图9所示,每个子图像包括图像帧的一个或多个像素。如图8所示,每个子图像包括图像帧的一个或多个转换系数。图9中,子图像1、子图像2、子图像3、子图像4的能量集中度相同或相近似,因此可知,子图像1、子图像2、子图像3、子图像4的重要性相同。图8中,子图像1的能量集中度最大,子图像2、子图像3的能量集中度略小于子图像1的能量集中度,子图像4的能量集中度最小,进而可得知,子图像1最重要,子图像2、子图像3的重要性次之,子图像4的重要性最低,因此,包含子图像1的子视频数据单元的优先级最高,包含子图像2或子图像3的子视频数据单元的优先级次之,包含子图像4的子视频数据单元的优先级最低。

本实施例提供的适用于可移动物体的视频发送方法,利用傅里叶相关变换或正交变换或空间下采样的处理方式将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像,从而实现了将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像的过程,接收设备通过接收子视频数据中的子图像来重建图像帧,在个别子图像出现接收错误时,依然能够重建图像帧提高了数据传输的稳定可靠性和容错能力。

本实施例对于对多个子视频数据单元分别进行编码的具体实现方式不做限定,本领域技术人员可以根据具体的设计需求进行设置;

一种可实现的方式为,可以将对多个子视频数据单元分别进行编码设置为包括:

多个子视频数据单元由多个单独的编码器进行编码。

具体的,可以采用多个单独的编码器对多个子视频数据单元并行编码;或者,还可以采用不同的视频编码规则对多个子视频数据单元进行编码;或者,还可以采用相同的视频编码规则对多个子视频数据单元进行编码。

另一种可实现的方式为:将对多个子视频数据单元分别进行编码设置为包括:

多个子视频数据单元中的两个或多个由同一个编码器进行编码。

又一种可实现的方式为:将对多个子视频数据单元分别进行编码设置为包括:

利用基于运动补偿的视频压缩标准对多个子视频数据单元中的至少一个进行编码。

再一种可实现的方式为:将对多个子视频数据单元分别进行编码设置为包括:

依据不同的压缩率对多个子视频数据单元进行压缩。

其中,压缩率可以是根据子视频数据单元的一个或多个特性确定的;而对于多个子视频数据单元而言,其可以具有相同或相似的特性,也可以具有不同的特性,上述的相似特性可以是指特性的差异程度小于或等于预先设置的差异阈值。

本实施例提供的适用于可移动物体的视频发送方法,利用不同的编码器或者基于运动补偿的视频压缩标准或者不同的压缩率对多个子视频数据单元进行编码或压缩,实现方式多样,便于操作,并且还有效地保证了对子视频数据单元进行编码稳定可靠性和灵活性。

图10为本发明实施例提供的选择多个信道中的至少一个信道来发送编码后的子视频数据单元的流程示意图;在上述实施例的基础上,继续参考附图10可知,本实施例可以将选择多个信道中的至少一个信道来发送编码后的子视频数据单元设置为包括:

s1001:根据一个或多个信道的一个或多个特性将编码后的多个子视频数据单元划分为一个或多个子视频数据单元组;

在获取到编码后的多个子视频数据单元后,可以根据一个或多个信道的一个或多个特性(至少包括带宽、可用信道个数中的一个、或者包括以下至少一种:噪声、干扰、信噪比、误比特率、衰落速率、带宽,可用信道个数)。将多个子视频数据单元划分为一个或多个子视频数据单元组,上述的一个子视频数据单元组可以包括一个或多个编码后的子视频数据单元。其中,可以根据可用信道个数来将将编码后的多个子视频数据单元划分为一个或多个子视频数据单元组,例如,将视频数据单元分解成子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d,若当前有2个可用信道,可以将子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d划分成2个子视频数据单元组,对于划分后的子视频数据单元组而言,一个可用信道传输一个子视频数据单元组。另外,还可以根据信道带宽来将编码后的多个子视频数据单元划分为一个或多个子视频数据单元组,例如,将视频数据单元分解成子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d、子视频数据单元e、子视频数据单元f,且6个子视频数据单元对应的码流数据的大小分别为s0、s1、s2、s3、s4和s5,若当前有3个可用信道,分别为信道1、信道2、信道3,信道带宽分别为t0、t1、t2,且信道带宽依次递减,若根据信道1和信道2的带宽可以保证使用信道1和信道2对两个子视频数据单元组的传输满足传输延时要求,则可以将子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d、子视频数据单元e、子视频数据单元f划分成两个子视频数据单元组,信道1传输一个子视频数据单元组,信道2传输另一个子视频数据单元组。

s1002:选择多个信道中的至少一个信道来发送所述子视频数据单元组。

此时,可以将组合得到的子视频数据单元组作为一个发送单元,一种可实现的方式,选择多个信道中的至少一个信道来发送所述子视频数据单元组设置为包括:

s1003:在多个信道中选择至少一个信道带宽与子视频数据单元组的码流数据大小相匹配的信道来发送子视频数据单元组。

具体的,在从多个信道中选择一个信道来发送子视频数据单元组时,可以选择一个信道带宽与子视频数据单元组的码流数据大小相匹配的信道来发送子视频数据单元组,例如,当前有2个可用信道,分别为信道1、信道2,信道带宽分别为t0、t1,且信道带宽依次递减、将视频数据分解成子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d,4个子视频数据单元编码后对应的码流数据的大小分别为s0、s1、s2和s3,且码流数据的大小依次递减,将子视频数据单元a和b划分成一个子视频数据单元组1,将子视频数据单元c和d划分成一个子视频数据单元组2,其中,子视频数据单元组1的码流数据的大小为s0+s1,子视频数据单元组2的码流数据的大小为s2+s3,若t0>(s0+s1)>t1>(s2+s3),此时,为了将子视频数据单元a-d和子视频数据单元组1-2都能够发送出去并保证传输延时要求,可以选择与子视频数据单元组1匹配的信道1来进行发送子视频数据单元组1,可以选择与子视频数据单元组2匹配的信道2来进行发送子视频数据单元组2。

另一种可实现的方式,将选择多个信道中的至少一个信道来发送一个子视频数据单元组设置为包括:

s1004:根据子视频数据单元组的码流数据大小和信道带宽选择多个信道中的至少一个信道来发送所述子视频数据单元组。

具体的,在从多个信道中选择至少一个信道来发送子视频数据单元组时,可以选择根据信道带宽与子视频数据单元组的来选择一个信道发送子视频数据单元组,例如,当前有2个信道,分别为信道1和信道2,且信道带宽依次递减、将视频数据分解成子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d按照,4个子视频数据单元编码其对应的码流数据的大小依次递减,将子视频数据单元a和b划分成一个子视频数据单元组1,将子视频数据单元c和d划分成一个子视频数据单元组2,则子视频数据单元组的码流数据大小大于子视频数据单元组2的码流数据大小,此时,为了保证码流数据大小更大的子视频数据单元组能够发送并保证传输延时要求,可以选择信道带宽大的信道1来进行发送子视频数据单元组1,可以选择信道带宽小的信道2来进行发送子视频数据单元组2。

再一种可实现的方式,将选择多个信道中的至少一个信道来发送一个子视频数据单元组设置为包括:

s1005:根据子视频数据单元组的优先级和信道带宽选择多个信道中的至少一个信道来发送所述子视频数据单元组。

具体的,在从多个信道中选择至少一个信道来发送子视频数据单元组时,可以选择根据信道带宽与子视频数据单元组的优先级来选择一个信道发送子视频数据单元组,例如,当前有2个信道,分别为信道1和信道2,且信道带宽依次递减、将视频数据分解成子视频数据单元a、子视频数据单元b、子视频数据单元c、子视频数据单元d,且对应的优先级依次递减,将子视频数据单元a和b划分成一个子视频数据单元组1,将子视频数据单元c和d划分成一个子视频数据单元组2,则子视频数据单元组1的优先级大于子视频数据单元组2的优先级,此时,为了保证优先级高的子视频数据单元组1能够发送出去并保证传输延时要求,可以选择信道带宽大的信道1来进行发送子视频数据单元组1,可以选择信道带宽小的信道2来进行发送子视频数据单元组2。

需要说明的是,本实施例中实现选择多个信道中的至少一个信道来发送所述子视频数据单元组的多个方式的具体实现过程以及实现效果与上述实施例中的选择多个信道中的至少一个信道来发送编码后的子视频数据单元的具体实现过程以及实现效果相似,唯一不同的在于,上述实施例中的信道用于发送编码后的子视频数据单元,而本实施例中的信道用于发送通过子视频数据单元而划分来的子视频数据单元组,因此,其具体实现过程以及实现效果可参考上述陈述内容,在此不再赘述。

本发明实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,所述程序指令执行时可包括上述实施例中的发送方法的部分或全部步骤。

图11为本发明一实施例提供的一种适用于可移动物体的视频接收方法的流程示意图;参考附图11可知,本实施例提供了一种适用于可移动物体的视频接收方法,例如,该视频接收方法用于无人飞行器所传输的视频图像信息。具体的,该视频接收方法包括:

s1101:从多个信道接收多个编码后的子视频数据单元;

在本实施例中,可移动物体在通过多个信道发送视频数据前,将视频数据中包括的每一个图像帧都分解成多个子图像,子视频数据单元包括每一个图像帧分解得到的多个子图像中的至少一个,即每一个子视频数据单元中都包括每一个图像帧的至少一个子图像,接收设备通过多个信道接收可移动物体的视频发送系统发送的多个编码后的子视频数据单元,每个信道可以传输一个或者多个编码后的子视频数据单元。

具体的,视频数据包括一帧或多帧图像时,对视频数据的分解得到子视频数据单元如图2、图3或图4所示;其中,对视频数据中每帧图像的分解可以如图8或图9所示,具体分解过程和上述实施例一致,此处不再赘述。

s1102:对编码后的多个子视频数据单元进行解码;

此处为了说明的简洁,以视频数据单元包括一个图像帧,一个图像帧被分解成4个子视频数据单元,每一个子视频数据单元包括一个子图像来进行示意性说明。当接收设备通过一个或多个无线信道接收到4个编码后子视频数据单元时,该接收设备可以对该4个编码后的子视频数据单元分别进行解码,即对4个子图像对应的码流数据分别进行解码,得到解码后的子视频数据单元。当子视频数据单元在无线信道中传输时,由于噪声干扰、多径效应、衰落等原因,可能导致接收设备解码后得到的子视频数据单元与无人飞行器的通信系统实际发送的编码后的子视频数据单元不同,此时即为接收设备接收错误。

若通信系统发送的是如图8所示的4个编码后的子图像,则接收设备对码流解码后得到的4个子图像如图12所示,其中,若子图像1传输正确,则h1和h1相同、h2和h2相同、h3和h3相同、h4和h4相同,若子图像1传输错误,则h1和h1、h2和h2、h3和h3、h4和h4中至少有一组不相同。同理,其他子图像传输正确或传输错误,传输之前的变换系数和传输之后的变换系数也存在同样的关系。

若通信系统发送的是如图9所示的4个子图像对应的码流,则接收设备对码流数据解码后得到的4个子图像如图12所示,其中,若子图像1传输正确,则p1和p1相同、p2和p2相同、p3和p3相同、p4和p4相同,若子图像1传输错误,则p1和p1、p2和p2、p3和p3、p4和p4中至少有一组不相同。同理,其他子图像传输正确或传输错误,传输之前的像素和传输之后的像素也存在同样的关系。

s1103:根据解码后的子视频数据单元重建视频数据;

具体的,检测子视频数据单元的一个或多个子图像的传输错误,并根据接收正确的子图像重建视频数据。例如,接收设备对码流数据解码得到4个子图像后,为了提高重建视频数据的正确率,可以检测每个子图像传输正确或传输错误,并根据接收正确的子图像重建原始图像。

在本实施例中,通信系统发送的子图像为图8所示的子图像,接收设备接收到的子图像如图12所示,如图12所示,假设子图像2接收错误,子图像1、子图像3、子图像4均接收正确,则接收设备根据图12所示的子图像1、子图像3、子图像4重建原始图像,在重建原始图像时,采用逆变换重建视频数据,可以给解码后的子视频数据单元中传输错误的子图像分配一个值,具体的,可以将子图像2的h2、h6、h10、h14均置为0,通过上述实施例可知,h1、h2、h3、h4是根据p1、p2、p3、p4得到的,因此,在重建原始图像时,需要对h1、h2、h3、h4进行哈达玛逆变换,若空间变换分解图像帧时采用的是其他的空间变换,则接收设备重建原始图像时,采用相应的空间变换的逆变换,本实施例对h1、h2、h3、h4进行哈达玛逆变换后,得到p1、p2、p3、p4,其中,h1、h2、h3、h4和p1、p2、p3、p4之间的关系满足公式(5)、(6)、(7)、(8):

p1=(h1+h2+h3+h4+1)>>1(5);

p2=(h1+h2-h3-h4+1)>>1(6);

p3=(h1+h3-h2-h4+1)>>1(7);

p4=(h1+h4-h2-h3+1)>>1(8);

其中,h2为0,h1和h1相同、h3和h3相同、h4和h4相同,因此,经过哈达玛逆变换得到的p1、p2、p3、p4和原始图像中的像素值p1、p2、p3、p4可能不同,但是根据接收正确的子图像重建原始图像,能够保证重建的图像接近原始图像。同理,对h5、h6、h7、h8进行哈达玛逆变换得到p5、p6、p7、p8,对h9、h10、h11、h12进行哈达玛逆变换得到p9、p10、p11、p12,对h13、h14、h15、h16进行哈达玛逆变换得到p13、p14、p15、p16,其中,h6、h10、h14均为0,再根据哈达玛逆变换得到的p1-p16重建原始图像,如图14所示。

在其他实施例中,视频发送系统发送的子图像为图9所示的子图像,接收设备接收到的子图像如图13所示,在图13中,假设子图像3接收错误,子图像1、子图像2、子图像4均接收正确,则接收设备根据图11所示的子图像1、子图像2、子图像3、子图像4重建原始图像,在重建原始图像时,给子视频数据单元中传输错误的子图像分配一个值,一种可行的实现方式是:给子视频数据单元中传输错误的子图像分配的值是采用插值法确定的,具体的,给子视频数据单元中传输错误的子图像分配的值是根据传输正确的子图像确定的。其中,在本实施例中,传输错误的子图像和传输正确的子图像来自同一个图像帧。例如,在图13中,子图像3接收错误,子图像1、子图像2、子图像4均接收正确,则子图像3不参与重建过程,即接收设备只根据子图像1、子图像2、子图像4重建原始图像,具体过程如下:由于原始图像包括16个像素,子图像1、子图像2、子图像4一共有12个像素,根据图8可知,原始图像中16个像素点中每4个相邻的像素点被分解到4个不同的子图像中,因此,根据子图像1、子图像2、子图像4重建原始图像时,子图像1的第一个像素p1、子图像2的第一个像素p2、子图像4的第一个像素p4分别是原始图像第一组相邻4个像素中的3个像素p1、p2、p4,同理,p5、p6、p8分别是原始图像p5-p8中的3个像素p5、p6、p8,p9、p10、p12分别是原始图像p9-p12中的3个像素p9、p10、p12,p13、p14、p16分别是原始图像p13-p16中的3个像素p13、p14、p16,根据p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16可得到如图15所示的图像a,图像a中空余的像素即是接收错误的子图像3包括的像素,由于子图像3接收错误,因此,子图像3不能参与重建原始图像的过程。由于p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16都是正确接收的,即p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16分别与原始图像相同位置上的像素点相同,本实施例中可以为接收错误的子图像分配一个值,可根据接收正确的子图像利用插值法确定图像a中空余的像素值,一种可行的插值法是:p3等于p1、p2、p4的算数平均值,p7等于p5、p6、p8的算数平均值,p11等于p9、p10、p12的算数平均值,p15等于p13、p14、p16的算数平均值,从而得到重建的原始图像b。其中,这里只是给出了插值确定图像a中空余的像素值的一种方法,本领域技术人员可以采用其他的插值方式确定图像a中空余像素值,在这里不做具体限定。

本实施例提供的适用于可移动物体的视频接收方法,从多个信道接收多个编码后的子视频数据单元,而后对编码后的多个子视频数据单元分别进行解码,得到解码后的子视频数据单元,并根据解码后的子视频数据单元重建原始图像,从而实现了只要有一个或者多个信道数据接收正确,即可获得无马赛克错误的重建图像,同时,接收正确的子视频数据单元越多,重建的视频数据的效果越好,这样使得重建的图像最大程度的接近原始图像;提高了接收设备在重建图像过程中的容错能力,增强了鲁棒性。

本发明实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,所述程序指令执行时可包括上述实施例中的接收方法的部分或全部步骤。

参考附图16可知,本实施例提供了一种适用于可移动物体的视频发送系统,该视频发送系统1600可以设置于可移动平台上,例如设置与无人飞行器上,用于执行上述的视频发送方法,具体的,该视频发送系统包括:

一个或多个成像装置1601,被配置为采集视频数据;

一个或多个处理器1602,单独或协同工作,一个或多个处理器1602被配置为:将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元均包括一个或多个子图像;对多个子视频数据单元分别进行编码;根据信道的一个或多个特性和子视频数据单元的一个或多个特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元。

上述的视频数据可以包括一个或多个图像帧,此时,处理器1602将视频数据分解为多个子视频数据单元时,可以被配置为:

将视频数据中的一个或多个图像帧中的每一个分解成多个子图像,其中,子视频数据单元中的每一个包括图像帧中每一个分解得到的多个子图像中的至少一个子图像。

其中,上述的每个子图像包括图像帧的一部分,具体的,每个子图像可以包括图像帧的一个或多个像素;或者,每个子图像可以包括图像帧的一个或多个转换系数。

进一步的,处理器1602将视频数据中的一个或多个图像帧中的每一个分解成多个子图像时,处理器1602可以被配置为:将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。

具体的,处理器1602将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像时,一种可实现的方式为,处理器1602被配置为:利用傅里叶相关变换或正交变换将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像;其中,傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶相关变换、沃尔什-哈达玛变换、哈尔变换或斜变换中确定的;另一种可实现的方式为:处理器被配置为:利用空间下采样将视频数据中的一个或多个图像帧中的每一个空间分解为多个子图像。

另外,上述的子视频数据单元的一个或多个特性包括:子视频数据单元编码后的码流数据大小,或者子视频数据单元的优先级;当子视频数据单元的特性包括子视频数据单元的优先级时,多个子视频数据单元的优先级可以是依据子视频数据单元的能量集中度进行优先级排序确定的;并且多个子视频数据单元可以具有相似的特性。

而对于信道的特性而言,可以将信道的一个或多个特性设置为至少包括带宽。或者,将信道的一个或多个特性设置为包括如下至少一种:噪声、干扰、信噪比、误比特率、衰落速率、带宽、可用信道的个数。

进一步的,处理器1602选择多个信道中的至少一个信道来发送编码后的子视频数据单元时,处理器1602可以被配置为:为多个子视频数据单元中的每一个从多个信道中选择一个信道,利用选择的信道来发送子视频数据单元。

具体的,一种可实现的方式为:在处理器1602根据信道的一个或多个特性和子视频数据单元的一个或多个特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元时,可以被配置为:根据编码后的子视频数据单元的码流数据大小和信道带宽,为多个子视频数据单元中的每一个从多个信道中选择一个信道,利用选择的信道来发送子视频数据单元。

另一种可实现的方式:处理器1602根据信道的一个或多个特性和子视频数据单元的一个或多个特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元时,可以被配置为:根据编码后的子视频数据单元的的优先级和信道带宽,为多个子视频数据单元中的每一个从多个信道中选择一个信道,利用选择的信道来发送子视频数据单元。

进一步的,在处理器1602选择多个信道中的至少一个信道来发送编码后的子视频数据单元时,处理器1602可以被配置为:根据一个或多个信道的一个或多个特性将编码后的多个子视频数据单元划分为一个或多个数据单元组;选择多个信道中的至少一个信道来发送子视频数据单元组。

具体的,第一种可实现的方式为:

处理器1602选择多个信道中的至少一个信道来发送子视频数据单元组时,可以被配置为:在多个信道中选择一个信道带宽与子视频数据单元组的码流数据大小相匹配的信道来发送子视频数据单元组。

第二种可实现的方式为:处理器1602选择多个信道中的至少一个信道来发送子视频数据单元组时,可以被配置为:

根据子视频数据单元组的码流数据大小和信道带宽选择多个信道中的至少一个信道来发送子视频数据单元组。

第三种可实现的方式为:处理器1602选择多个信道中的至少一个信道来发送子视频数据单元组时,可以被配置为:

根据子视频数据单元组的优先级和信道带宽选择多个信道中的至少一个信道来发送子视频数据单元组。

此外,上述的处理器1602还用于控制多个编码器对多个子视频数据单元进行编码,具体的,一种可实现的方式为:处理器1602具体用于控制多个编码器对多个子视频数据单元并行编码;另一种可实现的方式为:处理器1602具体用于控制多个编码器分别采用不同的视频编码规则对多个子视频数据单元进行编码;再一种可实现的方式为:处理器1602具体用于控制多个编码器采用相同的视频编码规则对多个子视频数据单元进行编码。

进一步的,处理器1602还用于控制编码器对多个子视频数据单元中的两个或多个进行编码。或者,处理器1602还用于控制编码器基于运动补偿的视频压缩标准对多个子视频数据单元中的至少一个进行编码。具体的,在处理器1602对多个子视频数据单元分别进行编码时,可以被配置为:依据不同的压缩率对多个子视频数据单元进行压缩,其中,压缩率是根据子视频数据单元的一个或多个特性确定的。

对于该视频发送系统而言,上述的可移动物体为无人飞行器;一个或多个成像装置通过载体与可移动物体连接;其中,载体可以是一种多轴云台。

本发明实施例提供的视频发送系统的具体原理和实现方式均与图1-图10所示实施例类似,此处不再赘述。

本实施例提供的适用于可移动物体的视频发送系统,处理器1602通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展视频传输的带宽的同时,提高视频数据的传输的效率,同时,视频接收设备利用从多个信道上接收的子视频数据单元重建视频数据,可以提高视频传输的容错能力和可靠性。

参考附图17可知,本实施例提供了一种适用于可移动物体的视频接收系统,视频接收系统1700可以配置在接收设备上,该视频接收系统1700用于执行上述的视频接收方法,具体的,该视频接收系统包括:

通讯接口1701,从多个信道接收多个编码后的子视频数据单元;

一个或多个处理器1702,单独或协同工作,一个或多个处理器1702被配置为对接收到的编码后的多个子视频数据单元进行解码,根据解码后的子视频数据单元重建视频数据;其中,视频数据包括一个或多个图像帧,子视频数据单元包括对图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。

其中,处理器1702对编码后的多个子视频数据单元进行解码时,可以被配置为:对编码后的多个子视频数据单元分别进行解码。

进一步的,处理器1702根据解码后的子视频数据单元重建视频数据时,可以被配置为:检测解码后的子视频数据单元的一个或多个子图像的传输错误,并根据接收正确的子图像重建视频数据。可选的,处理器1702还用于:给解码后的子视频数据单元中传输错误的子图像分配一个值。具体的,给解码后的子视频数据单元中传输错误的子图像分配的一个值为0。

其中,处理器1702给解码后的子视频数据单元中传输错误的子图像分配一个值时可以被配置为:采用插值法确定给解码后的子视频数据单元中传输错误的子图像所分配的值;具体的,处理器1702采用插值法确定给解码后的子视频数据单元中传输错误的子图像所分配的值时,可以被配置为:根据传输正确的子图像确定给解码后的子视频数据单元中传输错误的子图像所分配的值,其中,传输错误的子图像和传输正确的子图像来自同一个图像帧。

进一步的,处理器1702根据解码后的子视频数据单元重建视频数据时可以被配置为:根据解码后的子视频数据单元采用逆变换重建视频数据。

本发明实施例提供的视频接收系统的具体原理和实现方式均与图11-图15所示实施例类似,此处不再赘述。

本实施例提供的适用于可移动物体的视频接收系统,通过处理器1702从多个信道接收多个编码后的子视频数据单元,而后对编码后的多个子视频数据单元分别进行解码,得到解码后的子视频数据单元,并根据解码后的子视频数据单元重建原始图像,从而实现了只要有一个或者多个信道数据接收正确,即可获得无马赛克错误的重建图像,使得重建的图像最大程度的接近原始图像;提高了接收设备在重建图像过程中的容错能力,增强了系统的鲁棒性。

本实施例提供了一种无人飞行器,包括:

机身;

动力系统,安装在机身,用于提供飞行动力;

以及上述的视频发送系统。

本实施例提供的无人飞行器,无人飞行器上设置的上述的视频发送系统,其中,视频发送系统中的处理器可以将成像装置获取的视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择多个信道中的至少一个信道来发送编码后的子视频数据单元,当选择多个信道中的至少一个信道的来传输一个或多个编码后的子视频数据单元时,使得子视频数据单元可以在与其匹配的信道上进行传输,在扩展视频传输的带宽的同时,提高视频数据的传输的效率,同时,视频接收设备利用从多个信道上接收的子视频数据单元重建视频数据,可以提高视频传输的容错能力和可靠性。

本实施例提供一种接收设备,包括上述视频接收系统。其中,接收设备基于所述视频接收系统接收由可移动平台发送的子视频数据单元,根据所述子视频数据单元重建视频数据;具体的,该接收设备可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合,同时还可以在地面控制无人飞行器。

以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。

在本发明所提供的几个实施例中,应该理解到,所揭露的相关装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器101(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁盘或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1