可移动平台的图像处理方法、装置、可移动平台及介质与流程

文档序号:22191609发布日期:2020-09-11 22:04阅读:103来源:国知局
可移动平台的图像处理方法、装置、可移动平台及介质与流程

本发明涉及图像技术领域,尤其涉及一种可移动平台的图像处理方法、装置、可移动平台及介质。



背景技术:

随着图像处理技术的不断发展,实现图像的实时传输的同时,也越来越关注于实时传输图像的清晰度。而实现对图像的高清实时传输,对信道质量要求较高,如果基于有限带宽的信道,图像的实时传输则无法保证清晰度的要求。所以,当前在进行图像的实时传输时,为了适应于有限的传输带宽,一般采取基于目标图像块的编码方法,以保证在传输过程中图像中目标图像块(即感兴趣区域(regionofinterest,roi)对应的图像块)的清晰度。

当前基于目标图像块的方法主要有两种,一种是直接编码方式,即采用不同的量化参数对图像中的目标图像块和目标图像块之外的图像块进行编码;另外一种是滤波编码方式,即采用不同的滤波器对图像中的目标图像块和目标图像块之外的图像块进行滤波,然后对滤波后的图像进行编码。现有技术中往往只使用以上两种方法中的其中一种。然而,由于直接编码方式和滤波编码方式的各自的特点,另外,由于图像的信源和传输所述图像的无线通信链路的通信质量时常处于变化之中,现有的策略不能灵活性适应各种应用场景。



技术实现要素:

有鉴于此,本发明实施例提供了一种可移动平台的图像处理方法及可移动平台,以提高基于目标图像块编码的灵活性。

本发明实施例第一方面提供了一种可移动平台的图像处理方法,该方法包括:

获取已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,其中,所述已编码的历史图像通过无线通信链路发送给接收端;

获取所述无线通信链路的通信状态参数;

根据编码质量评价参数和所述通信状态参数,确定在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,是否分别采用第一滤波器和第二滤波器对所述目标图像块和所述目标图像块之外的图像块进行滤波处理,其中,第一滤波器不同于第二滤波器。

本发明实施例第二方面提供了一种图像处理装置,该图像处理装置包括存储器、处理器和图像采集设备,该存储器用于存储程序指令,该处理器用于调用该程序指令来执行如下操作:

获取已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,其中,所述已编码的历史图像通过无线通信链路发送给接收端;

获取所述无线通信链路的通信状态参数;

根据编码质量评价参数和所述通信状态参数,确定在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,是否分别采用第一滤波器和第二滤波器对所述目标图像块和所述目标图像块之外的图像块进行滤波处理,其中,第一滤波器不同于第二滤波器。

本发明实施例第三方面提供了一种可移动平台,该可移动平台包括机身,动力系统,安装在所述机身,用于为所述可移动平台提供动力;以及如第二方面中任一项所述的处理器,图像采集设备,安装在所述机身,用于采集图像。

本发明实施例第四方面提供了一种可移动平台,所述计算机存储介质中存储有计算机程序指令,所述计算机程序指令被处理器执行时,用于执行如第一方面所述的可移动平台的图像处理方法。

在本发明实施例中,可移动平台可在获取到已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,以及无线通信链路的通信状态参数后,根据所述编码质量评价参数和所述通信状态参数,确定是否对所述当前待编码图像进行滤波处理,并在确定需要时采用第一滤波器和第二滤波器分别对所述当前待编码图像的目标图像块,以及所述目标图像块之外的图像块进行滤波处理。通过这种方式,可以根据已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数以及无线通信链路的通信状态参数来适应性地选择直接编码方式和滤波编码方式,这样可以使得选择的编码方式更加适合当前的应用场景,提高对图像编码的灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a是本发明实施例的一种可移动平台的图像处理方法的示意流程图;

图1b是本发明实施例的一种从当前编码图像中确定出目标图像块的示意图;

图1c是本发明实施例的一种可移动平台的图像处理方法的场景图;

图2是本发明另一实施例的一种可移动平台的图像处理方法的示意流程图;

图3是本发明又一实施例的一种可移动平台的图像处理方法的示意流程图;

图4是本发明实施例的一种可移动平台的图像处理装置的示意性框图。

具体实施方式

实时图像/视频传输系统对图传时延要求较高,传输带宽有限,所以,当有限的带宽无法满足对传输图像的整幅图像画面保持高清晰度的传输画质要求时,可基于传输图像的目标图像块(即roi对应的图像块),对该传输图像进行区域划分,基于该区域划分确定的不同图像区域对应的重要性,可采用不同的方式对同一图像不同的图像块进行处理使得同一传输图像的不同图像块对应不同清晰度的画质需求,从而可提高有限传输带宽的利用率,也就是说,在对传输图像进行区域划分后,目标图像块进行传输后得到的解码图像画质更清晰,而目标图像块之外的图像块进行传输后解码得到的图像画质相对于目标图像块的画质较低,并非是保持传输图像的画质一致进行传输的。

本发明的相关技术提及,可通过直接编码或者滤波编码这两种方式实现上述的技术效果,而采用直接编码方式和滤波编码方式具有各自的特点,通过实验发现,在图像编码后的码率位于某个临界码率以上时,采用直接编码的方式对图像进行编码后,经传输后解码得到的图像对应有较高的图像质量,而采用滤波编码方式会使得图像的高频纹理细节损失严重,而导致经传输后解码得到的图像质量较低。而随着传输的进行,当图像编码后的码率位于某个临界码率附近或者该临界码率以下时,如果采用直接编码方式对图像进行编码,经传输后解码得到的解码图像在主观上具有明显的浮动块效应,从而导致解码图像不清晰,而如果采用滤波编码方式可以使得解码图像在主观上更加顺滑自然,可有效避免浮动块效应导致的解码图像不清晰的问题。

基于以上实验发现,本发明实施例提出了一种可移动平台的图像处理方法,如图1a所示,涉及所述图像处理方法的主要装置模块有:图像采集装置、目标图像块产生器、视频编码器、传输设备、参数监控器、目标图像块控制装置和目标图像块需求装置。所述图像采集装置用于进行图像采集。目标图像块产生器用于确定采集到的图像对应的图像块划分,即确定出采集到的图像中的目标图像块和所述目标图像块之外的图像块。参数监控器用于收集已编码的历史图像中的目标图像块(即roi对应的图像块)和所述目标图像块之外的图像块(即非roi对应的图像块)的编码质量评价参数(例如量化参数或峰值信噪比),以及当前进行图像传输的无线通信状态参数(例如带宽),从而可根据所述编码质量评价参数确定已编码的历史图像的所述目标图像块和所述目标图像块之外的图像块的编码质量,并可根据所述无线通信状态参数确定所述无线通信链路的通信质量。目标图像块需求装置用于接收用户或者接收端反馈的目标图像块的划分需求指令。所述目标图像块控制装置为核心算法模块,可根据目标图像块需求装置提供的目标图像块的划分需求指令,确定出对图像的图像块划分需求,并指示目标图像块产生器按照所述划分需求将图像划分成目标图像块(即roi对应的图像块)和所述目标图像块之外的图像块(即非roi对应的图像块)。另外,所述目标图像块控制装置,还可以根据目标图像块之外的图像块的编码指令和所述无线通信链路的通信质量确定当前待编码图像的编码方式,即是采用直接编码方式还是采用滤波编码方式。同时,目标图像块控制装置控制视频编码器按照选择的视频编码方式对所述当前待编码图像进行编码。视频编码器负责根据目标图像块控制装置选择的编码方式对当前待编码图像进行编码,并进行码率控制以适配所述无线通信链路;传输设备则用于对编码后的图像进行传输。

具体地,参数监控器在图像编码过程中,可分别统计已编码的历史图像中目标图像块和所述目标图像块之外的图像块的编码质量评价参数,如量化参数、量化损失参数(包括均方差mse/量化损失参数psnr)等,还可统计当前信道(即无线通信链路)的通信状态参数,如信道带宽、误码率等;进一步地,所述参数监控器基于得到的编码质量评价参数计算出已编码的历史图像中目标图像块和所述目标图像块之外的图像块分别对应的编码质量f1和f0,并可基于确定的通信状态参数确定当前用于进行图像传输的无线通信链路的通信质量g。其中,参数监控器中预先定义了对目标图像块和所述目标图像块之外的图像块的编码质量进行计算的函数f以及所述通信质量对应的评价函数g,并将采集到的已编码的历史图像中目标图像块和所述目标图像块之外的图像块分别对应编码质量评价参数代入函数f中以获取已编码的历史图像中目标图像块和所述目标图像块之外的图像块分别对应的编码质量f1和f0,并将通信状态参数代入函数g中以确定无线通信链路的通信质量。

目标图像块需求装置在确定对图像的图像块划分后,如果所述目标图像块控制装置确定所述目标图像块之外的图像块的编码质量f0高于或等于预设编码质量阈值,且确定所述无线通信链路的通信质量g高于或等于预设通信质量阈值时,控制视频编码器按照直接编码方式对如图1b所示的当前待编码图像进行编码,即在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,不采用第一滤波器对所述目标图像块进行滤波处理,并不采用第二滤波器对所述目标图像块之外的图像块进行滤波处理,而是,则采用第一量化参数和不同于第一量化参数的第二量化参数分别对所述当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行编码处理,并在编码后经过所述无线通信链路将编码后的图像发送给接收端。其中,第一量化参数小于第二量化参数。其中,当前待编码图像的目标图像块已经由目标图像块产生器划分确定。

当目标图像块控制装置确定所述目标图像块之外的图像块的编码质量f0低于所述预设编码质量阈值,或所述无线通信链路的通信质量低于所述预设通信质量阈值时,则确定采用滤波编码方式对如图1b所示的当前待编码图像进行编码,目标图像块控制装置可以先采用第一滤波器对所述目标图像块进行滤波处理,并采用第二滤波器对所述目标图像块之外的图像块进行滤波处理,然后控制视频滤波器对滤波后的图像进行统一编码处理。

在一个实施例中,上述的图像处理方法可应用于如图1c所示的可移动平台中,具体可应用于图1c中的无人机中,所述可移动平台包括图像采集设备10,所述图像采集设备10可进行图像拍摄或者视频拍摄,从而可基于上述的图像处理方法使得所述可移动平台实现对图像或视频的处理。

在一个实施例中,所述可移动平台在进行图像传输时,可先获取已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,从而可根据所述历史图像中目标图像块之外的图像块的编码质量评价参数,确定所述历史图像的编码质量,其中,所述已编码的历史图像通过无线通信链路发送给接收端,所述已编码的历史图像中的目标图像块是所述可移动平台确定的所述历史图像中的roi对应的图像块,所述目标图像块之外的图像块即为所述历史图像的非roi区域对应的图像块。

在所述可移动平台确定对所述历史图像的编码质量的同时,所述可移动平台还需获取进行图像/视频传输的无线通信链路的通信状态参数,从而可基于所述通信状态参数确定出所述无线通信链路的通信质量,从而所述可移动平台可基于确定的对所述历史图像的编码质量和所述无线通信链路的通信质量,确定在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行编码之前,是否分别采用第一滤波器和第二滤波器对所述当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行滤波处理。

在一个实施例中,如果所述可移动平台确定不采用所述第一滤波器和所述第二滤波器对所述目标图像块和所述目标图像块之外的图像块进行滤波处理,则可基于不同的编码参数分别对所述当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行编码处理,并将编码后的图像块经所述无线通信链路进行传输;如果所述可移动平台确定需要采用所述第一滤波器和所述第二滤波器对所述目标图像块和所述目标图像块之外的图像块进行滤波处理,则采用第一滤波器对所述目标图像块进行滤波处理,并采用第二滤波器对所述目标图像块之外的图像块进行滤波处理,其中,所述第一滤波器对应的滤波配置参数小于所述第二滤波器对应的滤波配置参数。在所述可移动平台对所述目标图像块以及所述目标图像块之外的图像块进行滤波处理后,可对进行滤波处理后的所述待编码图像按照统一的编码参数进行编码处理,使得经传输解码后的图像的目标图像块和所述目标图像块之外的图像块之间比较流畅,从而可有效解决由浮动块效应造成的图像不清晰的问题。

请参见图2,是本发明实施例提出的一种移动平台的图像处理方法的示意流程图,如图2所示,该方法可包括:

s201,获取已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数。

具体地,以上的图像处理方法可以由可移动平台的图像处理装置来执行。所述图像处理装置可以获取已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数。编码质量评价参数可以用于表征历史图像编码的编码质量,即可以表征已编码的历史图像对应的解码图像的画质水平。在一个实施例中,所述编码质量评价参数是根据量化参数(qp)、峰值信噪比(psnr)、均方误差(mse)、结构相似性(ssim)中的一种或多种确定的。

在一个实施例中,所述历史图像可以是当前待编码图像的前一帧图像或者前几帧图像。所述历史图像中的目标图像块是所述历史图像中roi对应的图像块,所述目标图像块之外的图像块是所述历史图像中非roi对应的图像块。其中,所述可移动平台中预设了对图像中目标图像块的确定规则,可移动平台可根据所述预设的规则确定任一图像对应的目标图像块和所述目标图像块之外的图像块。其中,所述可移动平台在确定图像中的目标图像块时,可按照所述预设的规则从图像中确定一个或多个图像块作为所述目标图像块。

在一个实施例中,所述预设的规则例如可以是按照预设的构图规则从所述当前待编码图像中确定所述目标图像块;其中,所述预设的构图规则例如可以是基于构图将图像的中心区域作为目标图像块。或者,所述可移动平台可获取用于指示所述接收端的运动的运动数据,从而可根据所述运动数据从所述当前待编码图像中确定所述目标图像块,所述指示所述接收端的运动的运动数据可以佩戴接收端的用户的头部转动数据等,例如,所述接收端可以为视频眼镜,用户通过佩戴视频眼镜,使得所述视频眼镜可以通过内置的运动传感器检测用户的头部转动以生成所述头部转动数据,视频眼镜可以向所述可移动平台发送所述头部转动数据,基于所述运动数据可确定出用户对图像的关注区域,从而可将该关注区域内的图像作为目标图像块。又或者,接收端可以检测佩戴所述接收端的用户的眼球的转动的信息,并将所述眼球的转动的信息发送给可移动平台,所述可移动平台可获取佩戴所述接收端的用户的眼球的转动的信息,并根据所述信息从所述当前待编码图像中确定所述目标图像块,所述佩戴的接收端例如可以是视频眼镜等。再或者,所述可移动平台还可获取用户的构图指令,从而可根据所述构图指令从所述当前待编码图像中确定所述目标图像块,所述用户的构图指令例如可以是所述用户通过所述接收端发出的选择指令,从而可将所述选择指令作用的图像区域作为目标图像块。

在所述可移动平台确定编码质量评价参数后,由于所述已编码的历史图像是通过无线通信链路发送给接收端的,进一步地,为了确定是否需要对所述当前待编码图像进行滤波处理,所述可移动平台可获取所述无线通信链路的通信状态参数,即转而执行步骤s202。其中,所述接收端可以是遥控器、智能手机、平板电脑、膝上型电脑、穿戴式设备(例如手表、手环、视频眼镜等)中的一种或多种。

s202,获取所述无线通信链路的通信状态参数。

在一个实施例中,图像处理装置可以获取可移动平台采集得到的所述无线通信链路的通信状态参数,在某些情况中,图像处理装置可以获取接收端采集的所述无线通信链路的通信状态参数。所述无线通信链路的通信状态参数可以是任何反应可移动平台和接收端之间的无线通信链路的通信质量的参数。例如,所述通信状态参数可以是根据带宽、误码率、传输图像的帧率中的一种或多种确定的,进一步地,所述通信状态参数可以是带宽、误码率、传输图像的帧率中的一种或多种。

在所述可移动平台获取到所述无线通信链路的通信状态参数后,基于确定的编码质量评价参数和所述通信状态参数,转而执行步骤s203,以确定是否需要在对所述当前待编码图像进行编码前,对所述当前待编码图像进行滤波处理。

s203,根据编码质量评价参数和所述通信状态参数,确定在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,是否分别采用第一滤波器和第二滤波器对所述目标图像块和所述目标图像块之外的图像块进行滤波处理。

具体地,由于目标图像块和目标图像块之外的图像块需要对应不同的画质,因此用于对目标图像块进行滤波的第一滤波器不同于用于对目标图像块之外的图像块进行滤波的第二滤波器。在某些情况中,第一滤波器的类型可以不同于第二滤波器,在某些情况中,第一滤波器的配置参数不同于第二滤波器。进一步地,所述第一滤波器的配置参数不同于所述第二滤波器是指:所述第一滤波器对应的滤波配置参数小于所述第二滤波器对应的滤波配置参数。其中,所述滤波配置参数用于描述滤波器对图像进行滤波处理后对图像细节的保留程度,滤波配置参数越大,经滤波后丢失的图像细节越多,所述滤波配置参数例如可以是空间距离和/或灰度距离等。

在所述可移动平台根据所述质量评价参数和所述通信状态参数,确定对当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行编码之前,需要对所述当前待编码图像进行滤波处理时,则采用所述第一滤波器对所述待编码图像的目标图像块进行滤波处理,并采用第二滤波器对所述待编码图像的目标图像块之外的图像块进行滤波处理。在采用滤波器对所述待编码图像中的目标图像块和所述目标图像块之外的图像块进行滤波处理后,所述可移动平台可按照预设的编码规则对所述待编码图像进行统一编码处理,并在编码后经过所述无线通信链路将编码后的图像发送给接收端。

在一个实施例中,所述可移动平台在确定是否对所述当前待编码图像进行滤波处理时,可先将当根据编码质量评价参数确定所述历史图像的编码质量是否低于预设编码质量阈值,或者,根据所述通信状态参数确定所述无线通信链路的通信质量是否低于预设通信质量阈值,如果确定所述历史图像的编码质量高于或等于预设编码质量阈值,且根据所述通信状态参数确定所述无线通信链路的通信质量高于或等于所述预设通信质量阈值,则在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,不采用第一滤波器对所述目标图像块进行滤波处理,并不采用第二滤波器对所述目标图像块之外的图像块进行滤波处理;而当根据编码质量评价参数确定所述历史图像的编码质量低于预设编码质量阈值,或者根据所述通信状态参数确定所述无线通信链路的通信质量低于预设通信质量阈值时,在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,采用第一滤波器对所述目标图像块进行滤波处理,并采用第二滤波器对所述目标图像块之外的图像块进行滤波处理。

在一个实施例中,所述历史图像的编码质量是基于所述历史图像的编码质量评价参数确定的,具体地,如果所述编码质量评价参数包括的量化参数越小,峰值信噪比越大,均方误差越小,和/或结构相似性越大,对应确定的编码质量越高;而所述无线通信链路的通信质量是基于所述无线通信链路的通信状态参数确定的,具体地,如果所述通信状态参数包括的带宽越大、误码率越小,和/或帧率越高,则对应确定的通信质量越高。

在一个实施例中,若所述可移动平台根据所述质量评价参数和所述通信状态参数,确定不分别采用第一滤波器和第二滤波器对所述目标图像块和所述目标图像块之外的图像块进行滤波处理,则采用第一量化参数和不同于第一量化参数的第二量化参数分别对所述当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行编码处理,并在编码后经过所述无线通信链路将编码后的图像发送给接收端。其中,第一量化参数小于第二量化参数。

在本发明实施例中,可移动平台可在获取到已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,以及无线通信链路的通信状态参数后,根据所述编码质量评价参数和所述通信状态参数,确定是否对所述当前待编码图像进行滤波处理,并在确定需要时采用第一滤波器和第二滤波器分别对所述当前待编码图像的目标图像块,以及所述目标图像块之外的图像块进行滤波处理。通过这种方式,可以根据已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数以及无线通信链路的通信状态参数来确定是适应性地选择直接编码方式和滤波编码方式,这样可以使得选择的编码方式更加适合当前的应用场景,提高对图像编码的灵活性。

在一个实施例中,基于上述实施例的描述,为了对所述可移动平台是否需要对所述当前待编码图像进行滤波的确定方法进行具体描述,请参见图3,是本发明另一实施例提出的一种移动平台的图像处理方法,该方法包括:

s301,获取已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,其中,所述已编码的历史图像通过无线通信链路发送给接收端。

s302,获取所述无线通信链路的通信状态参数。

在一个实施例中,步骤s301-步骤s302的具体实施方式可参见上述实施例中的步骤s201和步骤s202,在此不再赘述。

s303,当根据编码质量评价参数确定所述历史图像的编码质量低于预设编码质量阈值,或者根据所述通信状态参数确定所述无线通信链路的通信质量低于预设通信质量阈值时,在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,采用第一滤波器对所述目标图像块进行滤波处理,并采用第二滤波器对所述目标图像块之外的图像块进行滤波处理。

在一个实施例中,所述可移动平台可根据量化参数qp和/或峰值信噪比psnr确定所述编码质量,进一步地,所述编码质量评价参数可以为量化参数qp和/或峰值信噪比psnr。此外,所述可移动平台在确定通信状态参数时,可基于带宽确定,进一步,所述通信状态参数可以为带宽。

在所述可移动平台确定出编码质量评价参数和所述通信状态参数后,根据所述编码质量评价参数可确定出所述可移动平台的编码质量,具体地,所述编码质量评价参数是根据量化参数和/或峰值信噪比确定的,当所述编码质量评价参数是根据量化参数确定时,若所述编码质量评价参数大于所述预设编码评价参数阈值,则确定所述编码质量低于预设编码质量阈值,或者,当所述编码质量评价参数根据峰值信噪比确定时,若所述编码质量评价参数小于对应的预设编码评价参数阈值,则确定所述编码质量低于所述预设编码质量阈值。在一个实施例中,不同的编码质量评价参数对应有不同的预设编码评价参数阈值,即所述量化参数和所述峰值信噪比对应的编码评价参数阈值不同。

进一步地,所述可移动平台可根据通信链路的通信状态参数确定出所述无线通信链路的通信质量,具体地,所述通信状态参数可根据带宽确定,若确定出的通信状态参数小于预设通信状态参数阈值时,则确定所述无线通信链路的通信质量低于预设通信质量阈值,否则,确定所述无线通信链路的通信质量高于或等于预设通信质量阈值。进一步地,当确定所述历史图像的编码质量低于预设编码质量阈值,或者确定所述无线通信链路的通信质量低于预设通信质量阈值时,所述可移动平台可确定在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行编码之前,需要采用第一滤波器对所述目标图像块进行滤波处理,并采用第二滤波器对所述目标图像块之外的图像块进行滤波处理。当判定所述历史图像的编码质量低于预设编码质量阈值或者所述无线通信链路的通信质量低于预设通信质量阈值,可以预判当前待编码图像编码之后的码率较低,在这种情况中,可以防止解码后的图像出现明显的浮动块效应,使得画质顺滑。

s304,当根据编码质量评价参数确定所述历史图像的编码质量高于或等于预设编码质量阈值,且根据所述通信状态参数确定所述无线通信链路的通信质量高于或等于预设通信质量阈值时,在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,不采用第一滤波器对所述目标图像块进行滤波处理,并不采用第二滤波器对所述目标图像块之外的图像块进行滤波处理。

在一个实施例中,如果确定不对所述当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行滤波处理,则直接对所述当前待编码图像中的目标图像块和所述目标图像块之外的图像块进行分区编码,也就是说,可按照第一量化参数对所述目标图像块进行编码,并按照预设的第二量化参数对所述目标图像块之外的图像块进行编码处理,并将进行分区编码后的图像经通信链路发送到接收端。其中,第一量化参数和第二量化参数可以是根据所述通信状态参数确定的。当判定所述历史图像的编码质量高于或等于预设编码质量阈值且所述无线通信链路的通信质量高于或等于预设通信质量阈值,可以预判当前待编码图像编码之后的码率较高,在这种情况中,可以为了提高画质,保证图像中的高频纹理信息不丢失,可以采用直接编码的方式对图像进行编码。

在本发明实施例中,所述可移动平台在获取到已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,以及无线通信链路的通信状态参数后,基于所述编码质量参数和所述通信状态参数,若根据编码质量评价参数确定所述历史图像的编码质量低于预设编码质量阈值,或者根据所述通信状态参数确定所述无线通信链路的通信质量低于预设通信质量阈值时,采用第一滤波器对所述目标图像块进行滤波处理,并采用第二滤波器对所述目标图像块之外的图像块进行滤波处理,并对滤波后的图像进行统一编码;或者,如果根据编码质量评价参数确定所述历史图像的编码质量高于或等于预设编码质量阈值,且根据所述通信状态参数确定所述无线通信链路的通信质量高于或等于预设通信质量阈值时,则直接对所述目标图像块和所述目标图像块之外的图像块进行直接编码,可减轻直接分区编码所导致的浮动块效应,可有效提升解码后图像的图像质量。

本发明实施例提供了一种图像处理装置,应用于可移动平台中,图4是本发明实施例提供的应用于可移动平台的图像处理装置的结构图,如图4所示,所述应用于可移动平台的图像处理装置400包括存储器401和处理器402,其中,存储器402中存储有程序代码,处理器402调用存储器中的程序代码,当程序代码被执行时,处理器402执行如下操作:

获取已编码的历史图像中的目标图像块之外的图像块的编码质量评价参数,其中,所述已编码的历史图像通过无线通信链路发送给接收端;

获取所述无线通信链路的通信状态参数;

根据编码质量评价参数和所述通信状态参数,确定在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,是否分别采用第一滤波器和第二滤波器对所述目标图像块和所述目标图像块之外的图像块进行滤波处理,其中,第一滤波器不同于第二滤波器。

在一个实施例中,所述通信状态参数是根据带宽、误码率、传输图像的帧率中的一种或多种确定的。

在一个实施例中,所述编码质量评价参数是根据量化参数(qp)、峰值信噪比(psnr)、均方误差(mse)、结构相似性(ssim)中的一种或多种确定的。

在一个实施例中,所述处理器402还用于执行如下操作:

当根据编码质量评价参数确定所述历史图像的编码质量低于预设编码质量阈值,或根据所述通信状态参数确定所述无线通信链路的通信质量低于预设通信质量阈值时,在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,采用第一滤波器对所述目标图像块进行滤波处理,并采用第二滤波器对所述目标图像块之外的图像块进行滤波处理。

在一个实施例中,所述编码质量评价参数是根据量化参数确定的,当所述编码质量评价参数大于所述预设编码评价参数阈值时,所述历史图像的编码质量低于预设编码质量阈值。

在一个实施例中,所述通信状态参数是根据带宽确定的,所述通信状态参数小于预设通信状态参数阈值时,所述无线通信链路的通信质量低于预设通信质量阈值。

在一个实施例中,所述处理器402还用于执行如下操作:

当根据编码质量评价参数确定所述历史图像的编码质量高于或等于预设编码质量阈值,且根据所述通信状态参数确定所述无线通信链路的通信质量高于或等于预设通信质量阈值时,在对当前待编码图像中的目标图像块和所述目标图像块之外的图像块编码之前,不采用第一滤波器对所述目标图像块进行滤波处理,并不采用第二滤波器对所述目标图像块之外的图像块进行滤波处理。

在一个实施例中,所述编码质量评价参数是根据量化参数确定的,当所述编码质量评价参数小于或等于所述预设编码评价参数阈值时,所述历史图像的编码质量高于预设编码质量阈值。

在一个实施例中,所述通信状态参数是根据带宽确定的,所述通信状态参数大于或等于预设通信状态参数阈值时,所述无线通信链路的通信质量高于预设通信质量阈值。

在一个实施例中,第一滤波器的滤波配置参数小于第二滤波器的滤波配置参数。

在一个实施例中,所述滤波配置参数包括空间距离和/或灰度距离。

在一个实施例中,所述处理器402还用于执行如下操作:

按照预设的构图规则从所述当前待编码图像中确定所述目标图像块;或者,

获取用于指示所述接收端的运动的运动数据,根据所述运动数据从所述当前待编码图像中确定所述目标图像块;或者,

获取用于指示佩戴所述接收端的用户的眼球的转动的信息,根据所述信息从所述当前待编码图像中确定所述目标图像块;或者,

获取根据用户的指令确定的构图指令,根据所述构图指令从所述当前待编码图像中确定所述目标图像块。

本实施例提供的应用于可移动平台的图像处理装置能执行前述实施例提供的如图2和图3所示的图像处理方法,且执行方式和有益效果类似,在这里不再赘述。

本发明实施例提供一种可移动平台,包括机身,动力系统以及如前所述的图像处理装置。可移动平台的图像处理装置工作与前述相同或类似,此处不再赘述。当所述可移动平台为无人机时,其动力系统可以包括旋翼、驱动旋翼旋转的电机及其电调。所述无人机可以是四旋翼、六旋翼、八旋翼或其他多旋翼无人机,此时无人机垂直起降进行工作。可以理解的是,无人机还可以是固定翼可移动平台或混合翼可移动平台。可以理解的是,所述可移动平台还可以包括无人车。

可以理解,以上所揭露的仅为本发明实施例的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1