视频数据扭曲处理方法、装置、计算设备及存储介质与流程

文档序号:13667562阅读:232来源:国知局
视频数据扭曲处理方法、装置、计算设备及存储介质与流程

本发明涉及图像处理领域,具体涉及一种视频数据扭曲处理方法、装置、计算设备及计算机存储介质。



背景技术:

随着科技的发展,图像采集设备的技术也日益提高。采集到的图像更加清晰、分辨率、显示效果也大幅提高。但现有录制的视频仅是单调的录制素材本身,可能无法满足用户的需求,用户希望对视频进行个性化处理,例如,想要将视频图像中的内容处理成具有透过蒸汽看过去的扭曲效果。现有技术在录制视频后,可以由用户手动对视频再做进一步的处理。但这样处理需要用户具有较高的图像处理技术,并且在处理时需要花费用户较多的时间,处理繁琐,技术复杂。并且在现有技术中,大多是利用正弦或余弦等函数对视频数据进行处理而得到具有扭曲效果的视频数据,然而采用这种方式处理后所得到的视频数据的扭曲效果不佳,十分生硬、不够自然。



技术实现要素:

鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频数据扭曲处理方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面,提供了一种视频数据扭曲处理方法,该方法包括:

获取视频数据中的待处理帧图像和第一噪声数据;

针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定第一扭曲纹理数据;利用第一扭曲纹理数据,对像素点的颜色分量值进行处理;

得到与待处理帧图像对应的图像扭曲数据;

根据图像扭曲数据,得到扭曲效果图像;

根据扭曲效果图像,得到帧处理图像;

将帧处理图像覆盖待处理帧图像得到处理后的视频数据。

进一步地,获取视频数据中的待处理帧图像进一步包括:获取本地视频数据和/或网络视频数据中的待处理帧图像。

进一步地,获取视频数据中的待处理帧图像进一步包括:获取由多个本地图片和/或多个网络图片合成的视频数据中的待处理帧图像。

进一步地,获取本地视频数据和/或网络视频数据中的待处理帧图像进一步包括:获取用户指定时间段的本地视频数据和/或网络视频数据中的待处理帧图像。

进一步地,获取由多个本地图片和/或多个网络图片合成的视频数据中的待处理帧图像进一步包括:获取用户指定时间段的由多个本地图片和/或多个网络图片合成的视频数据中的待处理帧图像。

进一步地,第一噪声数据包括多个第一颜色数据;

依据第一噪声数据,确定第一扭曲纹理数据进一步包括:

从第一噪声数据中提取出第一颜色数据;

依据所提取的第一颜色数据,确定第一扭曲纹理数据;

进一步地,从第一噪声数据中提取出第一颜色数据进一步包括:根据时间参数,从第一噪声数据中提取出第一颜色数据。

进一步地,利用第一扭曲纹理数据,对像素点的颜色分量值进行处理进一步包括:

利用第一扭曲纹理数据,确定与像素点对应的第一扭曲偏移量;

根据第一扭曲偏移量和像素点,确定与第一扭曲偏移量对应的像素点;

将像素点的颜色分量值赋值给与第一扭曲偏移量对应的像素点。

进一步地,利用第一扭曲纹理数据,确定与像素点对应的第一扭曲偏移量进一步包括:利用第一扭曲纹理数据和预设扭曲度系数,确定与像素点对应的第一扭曲偏移量。

进一步地,根据图像扭曲数据,得到扭曲效果图像进一步包括:根据图像扭曲数据,确定基础效果图像,并将基础效果图像确定为扭曲效果图像。

进一步地,在获取第一噪声数据之后,该方法还包括:

获取第二噪声数据;

利用第一噪声数据,对第二噪声数据进行处理,生成表层烟雾效果贴图;

根据图像扭曲数据,得到扭曲效果图像具体为:根据图像扭曲数据,确定基础效果图像;为基础效果图像添加表层烟雾效果贴图,得到扭曲效果图像。

进一步地,第二噪声数据包括多个第二颜色数据;

利用第一噪声数据,对第二噪声数据进行处理,生成表层烟雾效果贴图进一步包括:

针对第二噪声数据中的每一个第二颜色数据,依据第一噪声数据,确定第二扭曲纹理数据;利用第二扭曲纹理数据,确定与第二颜色数据对应的第二扭曲偏移量;根据第二扭曲偏移量和第二颜色数据,确定与第二扭曲偏移量对应的偏移对象;将第二颜色数据赋值给与第二扭曲偏移量对应的偏移对象;

得到与第二噪声数据对应的噪声扭曲数据;

根据噪声扭曲数据,生成表层烟雾效果贴图。

进一步地,根据噪声扭曲数据,生成表层烟雾效果贴图进一步包括:根据预设函数和/或预设添加颜色值以及噪声扭曲数据,进行半透明处理,生成表层烟雾效果贴图。

进一步地,根据第二扭曲偏移量和第二颜色数据,确定与第二扭曲偏移量对应的偏移对象进一步包括:

根据第二扭曲偏移量和第二颜色数据,得到待确定偏移对象;

判断待确定偏移对象是否超过预设对象范围;若是,则根据预设算法和待确定偏移对象,计算得到与第二扭曲偏移量对应的偏移对象;若否,则将待确定偏移对象确定为与第二扭曲偏移量对应的偏移对象。

进一步地,第一噪声数据为离散的彩色噪声数据。

进一步地,第二噪声数据为连续的黑白噪声数据。

进一步地,根据扭曲效果图像,得到帧处理图像进一步包括:将扭曲效果图像确定为帧处理图像。

进一步地,该方法还包括:

对待处理帧图像进行场景分割处理,得到与待处理帧图像对应的场景分割结果;其中,待处理帧图像包含有特定对象;

根据与待处理帧图像对应的场景分割结果,确定特定对象的轮廓信息;

根据扭曲效果图像,得到帧处理图像具体为:依据特定对象的轮廓信息、待处理帧图像和扭曲效果图像,得到局部扭曲效果图像;将局部扭曲效果图像确定为帧处理图像。

进一步地,依据特定对象的轮廓信息、待处理帧图像和扭曲效果图像,得到局部扭曲效果图像进一步包括:

依据特定对象的轮廓信息,从扭曲效果图像中提取出局部图像;

对待处理帧图像和局部图像进行融合处理,得到局部扭曲效果图像。

进一步地,该方法还包括:将处理后的视频数据上传至一个或多个云视频平台服务器,以供云视频平台服务器在云视频平台进行展示视频数据。

根据本发明的另一方面,提供了一种视频数据扭曲处理装置,该装置包括:

获取模块,适于视频数据中的待处理帧图像和第一噪声数据;

第一处理模块,适于针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定第一扭曲纹理数据;利用第一扭曲纹理数据,对像素点的颜色分量值进行处理;

第一生成模块,适于得到与待处理帧图像对应的图像扭曲数据;

第二生成模块,适于根据图像扭曲数据,得到扭曲效果图像;

第三生成模块,适于根据扭曲效果图像,得到帧处理图像;

覆盖模块,适于将帧处理图像覆盖待处理帧图像得到处理后的视频数据。

进一步地,获取模块进一步适于:获取本地视频数据和/或网络视频数据中的待处理帧图像。

进一步地,获取模块进一步适于:获取由多个本地图片和/或多个网络图片合成的视频数据中的待处理帧图像。

进一步地,获取模块进一步适于:获取用户指定时间段的本地视频数据和/或网络视频数据中的待处理帧图像。

进一步地,获取模块进一步适于:获取用户指定时间段的由多个本地图片和/或多个网络图片合成的视频数据中的待处理帧图像。

进一步地,第一噪声数据包括多个第一颜色数据;

第一处理模块进一步适于:

从第一噪声数据中提取出第一颜色数据;

依据所提取的第一颜色数据,确定第一扭曲纹理数据;

进一步地,第一处理模块进一步适于:根据时间参数,从第一噪声数据中提取出第一颜色数据。

进一步地,第一处理模块进一步适于:

利用第一扭曲纹理数据,确定与像素点对应的第一扭曲偏移量;

根据第一扭曲偏移量和像素点,确定与第一扭曲偏移量对应的像素点;

将像素点的颜色分量值赋值给与第一扭曲偏移量对应的像素点。

进一步地,第一处理模块进一步适于:利用第一扭曲纹理数据和预设扭曲度系数,确定与像素点对应的第一扭曲偏移量。

进一步地,第二生成模块进一步适于:根据图像扭曲数据,确定基础效果图像,并将基础效果图像确定为扭曲效果图像。

进一步地,获取模块进一步适于:获取第二噪声数据;

该装置还包括:第二处理模块,适于利用第一噪声数据,对第二噪声数据进行处理,生成表层烟雾效果贴图;

第二生成模块进一步适于:根据图像扭曲数据,确定基础效果图像;为基础效果图像添加表层烟雾效果贴图,得到扭曲效果图像。

进一步地,第二噪声数据包括多个第二颜色数据;

第二处理模块进一步适于:

针对第二噪声数据中的每一个第二颜色数据,依据第一噪声数据,确定第二扭曲纹理数据;利用第二扭曲纹理数据,确定与第二颜色数据对应的第二扭曲偏移量;根据第二扭曲偏移量和第二颜色数据,确定与第二扭曲偏移量对应的偏移对象;将第二颜色数据赋值给与第二扭曲偏移量对应的偏移对象;

得到与第二噪声数据对应的噪声扭曲数据;

根据噪声扭曲数据,生成表层烟雾效果贴图。

进一步地,第二处理模块进一步适于:根据预设函数和/或预设添加颜色值以及噪声扭曲数据,进行半透明处理,生成表层烟雾效果贴图。

进一步地,第二处理模块进一步适于:

根据第二扭曲偏移量和第二颜色数据,得到待确定偏移对象;

判断待确定偏移对象是否超过预设对象范围;若是,则根据预设算法和待确定偏移对象,计算得到与第二扭曲偏移量对应的偏移对象;若否,则将待确定偏移对象确定为与第二扭曲偏移量对应的偏移对象。

进一步地,第一噪声数据为离散的彩色噪声数据。

进一步地,第二噪声数据为连续的黑白噪声数据。

进一步地,第三生成模块进一步适于:将扭曲效果图像确定为帧处理图像。

进一步地,该装置还包括:

分割模块,适于对待处理帧图像进行场景分割处理,得到与待处理帧图像对应的场景分割结果;其中,待处理帧图像包含有特定对象;

确定模块,适于根据与待处理帧图像对应的场景分割结果,确定特定对象的轮廓信息;

第三生成模块进一步适于:依据特定对象的轮廓信息、待处理帧图像和扭曲效果图像,得到局部扭曲效果图像;将局部扭曲效果图像确定为帧处理图像。

进一步地,第三生成模块进一步适于:依据特定对象的轮廓信息,从扭曲效果图像中提取出局部图像;对待处理帧图像和局部图像进行融合处理,得到局部扭曲效果图像。

进一步地,该装置还包括:上传模块,适于将处理后的视频数据上传至一个或多个云视频平台服务器,以供云视频平台服务器在云视频平台进行展示视频数据。

根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;

存储器用于存放至少一可执行指令,可执行指令使处理器执行上述视频数据扭曲处理方法对应的操作。

根据本发明的再一方面,提供了一种计算机存储介质,存储介质中存储有至少一可执行指令,可执行指令使处理器执行如上述视频数据扭曲处理方法对应的操作。

根据本发明提供的技术方案,获取视频数据中的待处理帧图像和第一噪声数据,接着针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定第一扭曲纹理数据,利用第一扭曲纹理数据,对像素点的颜色分量值进行处理,得到与待处理帧图像对应的图像扭曲数据,根据图像扭曲数据,得到扭曲效果图像,然后根据扭曲效果图像,得到帧处理图像,将帧处理图像覆盖待处理帧图像得到处理后的视频数据。本发明采用了深度学习方法,实现了高效率高精准性地完成场景分割处理,且根据本发明提供的技术方案,利用噪声数据对视频帧图像中像素点的颜色分量值进行处理,能够方便地得到具有扭曲效果的视频数据,不需要用户手动对视频进行处理,自动实现对视频的处理,提高了视频数据处理效率,优化了视频数据扭曲处理方式,提高了视频数据扭曲效果。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了根据本发明一个实施例的视频数据扭曲处理方法的流程示意图;

图2示出了根据本发明另一个实施例的视频数据扭曲处理方法的流程示意图;

图3示出了根据本发明一个实施例的视频数据扭曲处理装置的结构框图;

图4示出了根据本发明另一个实施例的视频数据扭曲处理装置的结构框图;

图5示出了根据本发明实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的视频数据扭曲处理方法的流程示意图,如图1所示,该方法包括如下步骤:

步骤s100,获取视频数据中的待处理帧图像和第一噪声数据。

其中,获取的视频数据中的待处理帧图像可以是用户本地的视频数据中的待处理帧图像,也可以获取网络的视频数据中的待处理帧图像。或者还可以获取由多个本地图片合成的视频数据中的待处理帧图像,或者获取由多个网络图片合成的视频数据中的待处理帧图像,或者获取由多个本地图片和多个网络图片合成的视频数据中的待处理帧图像。当用户想要将视频数据处理成具有扭曲效果的视频数据时,例如,想要将视频帧图像中的内容处理成具有透过蒸汽看过去的扭曲效果,可在步骤s100中获取视频数据中的待处理帧图像和第一噪声数据。

其中,第一噪声数据包括多个第一颜色数据,具体地,第一噪声数据可为离散的彩色噪声数据,采用离散的第一噪声数据,有助于提高图像扭曲效果,使处理后的图像具有自然、较好的扭曲效果。

步骤s101,针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定第一扭曲纹理数据。

在步骤s101中,需要针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定与该像素点对应的第一扭曲纹理数据。具体地,待处理帧图像中的像素点和第一噪声数据中的第一颜色数据相对应,那么针对待处理帧图像中的每一个像素点,依据第一噪声数据中与该像素点对应的第一颜色数据,确定与该像素点对应的第一扭曲纹理数据,从而针对待处理帧图像中的像素点确定了不同的第一扭曲纹理数据,与所有像素点都使用相同的扭曲纹理数据相比,使处理后的图像具有自然、较好的扭曲效果。

步骤s102,利用第一扭曲纹理数据,对像素点的颜色分量值进行处理。

针对待处理帧图像中的每一个像素点,利用与该像素点对应的第一扭曲纹理数据,对该像素点的颜色分量值进行赋值等处理。当待处理帧图像为彩色图像时,以待处理帧图像的色彩模式采用rgb色彩模式为例,待处理帧图像中的像素点的颜色分量值包括红、绿、蓝三个颜色通道的颜色分量值,那么在具体应用中,本领域技术人员可从像素点对应的三个颜色通道的颜色分量值中选择合适的颜色通道的颜色分量值进行处理或者对所有颜色通道的颜色分量值都进行处理,此处不做限定。例如,可仅对像素点的红色颜色通道的颜色分量值和绿色颜色通道的颜色分量值进行处理。

步骤s103,得到与待处理帧图像对应的图像扭曲数据。

在对待处理帧图像中的每一个像素点的颜色分量值都进行处理后所得到的数据即为与待处理帧图像对应的图像扭曲数据。

步骤s104,根据图像扭曲数据,得到扭曲效果图像。

在步骤s103得到图像扭曲数据之后,在步骤s104中,根据图像扭曲数据,得到扭曲效果图像。例如,用户想要将待处理帧图像中的全部内容都处理成具有透过蒸汽看过去的扭曲效果,那么可根据图像扭曲数据,确定基础效果图像,该基础效果图像即为待处理帧图像中的全部内容都具有扭曲效果的图像,然后将基础效果图像确定为扭曲效果图像。

步骤s105,根据扭曲效果图像,得到帧处理图像。

在得到了扭曲效果图像之后,可将扭曲效果图像确定为帧处理图像,也可对扭曲效果图像进行进一步处理,将处理后的图像确定为帧处理图像。

步骤s106,将帧处理图像覆盖待处理帧图像得到处理后的视频数据。

使用帧处理图像直接覆盖掉待处理帧图像,直接可以得到处理后的视频数据。同时,录制的用户还可以直接看到帧处理图像。

根据本实施例提供的视频数据扭曲处理方法,获取视频数据中的待处理帧图像和第一噪声数据,接着针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定第一扭曲纹理数据,利用第一扭曲纹理数据,对像素点的颜色分量值进行处理,得到与待处理帧图像对应的图像扭曲数据,根据图像扭曲数据,得到扭曲效果图像,然后根据扭曲效果图像,得到帧处理图像,将帧处理图像覆盖待处理帧图像得到处理后的视频数据。本发明采用了深度学习方法,实现了高效率高精准性地完成场景分割处理,且根据本发明提供的技术方案,利用噪声数据对视频帧图像中像素点的颜色分量值进行处理,能够方便地得到具有扭曲效果的视频数据,不需要用户手动对视频进行处理,自动实现对视频的处理,提高了视频数据处理效率,优化了视频数据扭曲处理方式,提高了视频数据扭曲效果。

图2示出了根据本发明另一个实施例的视频数据扭曲处理方法的流程示意图,如图2所示,该方法包括如下步骤:

步骤s200,获取视频数据中的待处理帧图像、第一噪声数据和第二噪声数据。

其中,获取的视频数据中的待处理帧图像可以是用户本地的视频数据中的待处理帧图像,也可以获取网络的视频数据中的待处理帧图像。或者还可以获取由多个本地图片合成的视频数据中的待处理帧图像,或者获取由多个网络图片合成的视频数据中的待处理帧图像,或者获取由多个本地图片和多个网络图片合成的视频数据中的待处理帧图像。另外,还可以根据用户指定时间段,仅获取用户指定时间段内的视频数据中的待处理帧图像,具体地,可以获取用户指定时间段的本地视频数据和/或网络视频数据中的待处理帧图像,或者还可以获取用户指定时间段的由多个本地图片和/或多个网络图片合成的视频数据中的待处理帧图像。

其中,第一噪声数据包括多个第一颜色数据,第二噪声数据包括多个第二颜色数据。具体地,第一噪声数据为离散的彩色噪声数据,第二噪声数据为连续的黑白噪声数据,可利用第一噪声数据,对第二噪声数据进行处理,生成表层烟雾效果贴图。采用离散的第一噪声数据,有助于提高图像扭曲效果,使处理后的图像具有自然、较好的扭曲效果;采用连续的第二噪声数据,能够生成具有连续的烟雾效果的表层烟雾效果贴图,使处理后的图像具有自然的烟雾缭绕效果。

步骤s201,针对待处理帧图像中的每一个像素点,从第一噪声数据中提取出第一颜色数据;依据所提取的第一颜色数据,确定第一扭曲纹理数据。

待处理帧图像中的像素点和第一噪声数据中的第一颜色数据相对应,那么针对待处理帧图像中的每一个像素点,从第一噪声数据中提取出与该像素点对应的第一颜色数据。从而针对待处理帧图像中的像素点确定了不同的第一扭曲纹理数据,与所有像素点都使用相同的扭曲纹理数据相比,有助于获得自然、较好的扭曲效果。

为了进一步提高图像扭曲效果,可根据时间参数,从第一噪声数据中提取出第一颜色数据。具体地,针对待处理帧图像中同一个像素点,在时间参数发生变化时,从第一噪声数据中提取出不同的第一颜色数据作为与该像素点对应的第一颜色数据。

在实际应用中,第一噪声数据可为彩色噪声图,那么彩色噪声图中的每一个像素点所对应的颜色分量值即为一个第一颜色数据。为了便于说明,假设待处理帧图像中的像素点分别为a1、a2、a3等,彩色噪声图中的像素点分别为b1、b2、b3等,针对待处理帧图像中的像素点a1,当时间参数为时间1时,从彩色噪声图中提取出像素点b1所对应的颜色分量值作为与像素点a1对应的第一颜色数据;当时间参数为时间2时,从彩色噪声图中提取出像素点b3所对应的颜色分量值作为与像素点a1对应的第一颜色数据。

具体地,针对待处理帧图像中的每一个像素点,可依据所提取的与该像素点对应的第一颜色数据和预设第一计算函数,计算得到第一扭曲纹理数据,其中,本领域技术人员可根据实际需要设置预设第一计算函数,此处不做限定。

步骤s202,利用第一扭曲纹理数据,确定与像素点对应的第一扭曲偏移量。

具体地,可利用第一扭曲纹理数据和预设扭曲度系数,确定与像素点对应的第一扭曲偏移量。本领域技术人员可通过对扭曲度系数的调节,实现对图像扭曲程度的调节。

步骤s203,根据第一扭曲偏移量和像素点,确定与第一扭曲偏移量对应的像素点。

在确定了与像素点对应的第一扭曲偏移量之后,就可根据第一扭曲偏移量和像素点,确定与第一扭曲偏移量对应的像素点。

步骤s204,将像素点的颜色分量值赋值给与第一扭曲偏移量对应的像素点。

在确定了与第一扭曲偏移量对应的像素点之后,将像素点的颜色分量值赋值给与第一扭曲偏移量对应的像素点。例如,针对待处理帧图像中的像素点a1,与第一扭曲偏移量对应的像素点为像素点a2,那么将像素点a1的颜色分量值赋值给像素点a2,使像素点a2具有像素点a1的颜色分量值,从而达到图像扭曲的效果。

假设待处理帧图像中的像素点的颜色分量值包括红、绿、蓝三个颜色通道的颜色分量值,那么在具体应用中,本领域技术人员可从像素点对应的三个颜色通道的颜色分量值中选择合适的颜色通道的颜色分量值赋值给与第一扭曲偏移量对应的像素点,或者将所有颜色通道的颜色分量值都赋值给与第一扭曲偏移量对应的像素点,此处不做限定。例如,可仅将像素点的红色颜色通道的颜色分量值和绿色颜色通道的颜色分量值对应赋值给与第一扭曲偏移量对应的像素点。

步骤s205,得到与待处理帧图像对应的图像扭曲数据。

在对待处理帧图像中的每一个像素点的颜色分量值都进行赋值处理后所得到的数据即为与待处理帧图像对应的图像扭曲数据。

步骤s206,根据图像扭曲数据,确定基础效果图像。

其中,基础效果图像即为待处理帧图像中的全部内容都具有扭曲效果的图像。

步骤s207,针对第二噪声数据中的每一个第二颜色数据,依据第一噪声数据,确定第二扭曲纹理数据。

第二噪声数据中的第二颜色数据和第一噪声数据中的第一颜色数据相对应,那么针对第二噪声数据中的每一个第二颜色数据,从第一噪声数据中提取出与该第二颜色数据对应的第一颜色数据,然后依据所提取的与该第二颜色数据对应的第一颜色数据和预设第二计算函数,计算得到第二扭曲纹理数据,从而针对第二噪声数据中的第二颜色数据确定了不同的第二扭曲纹理数据,与所有第二颜色数据都使用相同的扭曲纹理数据相比,有助于获得自然、较好的烟雾缭绕效果。

其中,本领域技术人员可根据实际需要设置预设第二计算函数,预设第二计算函数可与预设第一计算函数相同,也可与预设第一计算函数不同,此处不做限定。

步骤s208,利用第二扭曲纹理数据,确定与第二颜色数据对应的第二扭曲偏移量。

具体地,可利用第二扭曲纹理数据和预设烟雾扭曲度系数,确定与第二颜色数据对应的第二扭曲偏移量。本领域技术人员可通过对烟雾扭曲度系数的调节,实现对烟雾扭曲程度的调节。

步骤s209,根据第二扭曲偏移量和第二颜色数据,确定与第二扭曲偏移量对应的偏移对象。

具体地,根据第二扭曲偏移量和第二颜色数据,得到待确定偏移对象,然后判断待确定偏移对象是否超过预设对象范围;若是,则根据预设算法和待确定偏移对象,计算得到与第二扭曲偏移量对应的偏移对象;若否,则将待确定偏移对象确定为与第二扭曲偏移量对应的偏移对象。

由于根据第二扭曲偏移量和第二颜色数据得到的待确定偏移对象可能超过预设对象范围,因此还需要对待确定偏移对象是否超过预设对象范围进行判断。如果待确定偏移对象超过预设对象范围,则根据预设算法和待确定偏移对象,计算得到与第二扭曲偏移量对应的偏移对象,从而实现对偏移对象的调整,有助于后续生成具有连续的烟雾效果的表层烟雾效果贴图。如果待确定偏移对象未超过预设对象范围,则可直接将待确定偏移对象确定为与第二扭曲偏移量对应的偏移对象。

步骤s210,将第二颜色数据赋值给与第二扭曲偏移量对应的偏移对象。

在确定了与第二扭曲偏移量对应的偏移对象之后,将第二颜色数据赋值给与第二扭曲偏移量对应的偏移对象。

在实际应用中,第一噪声数据可为彩色噪声图,第二噪声数据为黑白噪声图,那么彩色噪声图中的每一个像素点所对应的颜色分量值即为一个第一颜色数据,黑白噪声图中的每一个像素点所对应的颜色分量值即为一个第二颜色数据。为了便于说明,假设彩色噪声图中的像素点分别为b1、b2、b3等,黑白噪声图中的像素点分别为c1、c2、c3等,假设某个第二颜色数据为黑白噪声图中的像素点c1所对应的颜色分量值,针对该第二颜色数据,与第二扭曲偏移量对应的偏移对象为像素点c3,那么将像素点c1的颜色分量值赋值给像素点c3,使像素点c3具有像素点c1的颜色分量值,从而达到烟雾缭绕的效果。

步骤s211,得到与第二噪声数据对应的噪声扭曲数据。

在对第二噪声数据中的每一个第二颜色数据都进行赋值处理后所得到的数据即为与第二噪声数据对应的噪声扭曲数据。

步骤s212,根据噪声扭曲数据,生成表层烟雾效果贴图。

在得到了噪声扭曲数据之后,根据噪声扭曲数据,生成表层烟雾效果贴图。具体地,可根据预设函数和/或预设添加颜色值以及噪声扭曲数据,进行半透明处理,生成表层烟雾效果贴图。其中,本领域技术人员可根据实际需要设置预设函数和预设添加颜色值,此处不做限定。例如,预设函数可为正弦函数或余弦函数等,预设添加颜色值可为金黄色对应的颜色值或者红色对应的颜色值等。由于第二噪声数据为黑白噪声数据,因此根据预设添加颜色值和噪声扭曲数据,可生成具有彩色烟雾效果的表层烟雾效果贴图。例如,当预设添加颜色值为金黄色对应的颜色值时,生成的是具有金黄色烟雾效果的表层烟雾效果贴图。

步骤s213,为基础效果图像添加表层烟雾效果贴图,得到扭曲效果图像。

在得到了基础效果图像和表层烟雾效果贴图之后,为基础效果图像添加表层烟雾效果贴图,得到扭曲效果图像,该扭曲效果图像不仅具有扭曲效果,提高了图像扭曲效果,还具有烟雾效果,极大地丰富了图像效果。

步骤s214,将扭曲效果图像确定为帧处理图像。

步骤s215,将帧处理图像覆盖待处理帧图像得到处理后的视频数据。

使用帧处理图像直接覆盖掉待处理帧图像,直接可以得到处理后的视频数据。同时,录制的用户还可以直接看到当前帧处理后的图像。

步骤s216,将处理后的视频数据上传至一个或多个云视频平台服务器,以供云视频平台服务器在云视频平台进行展示视频数据。

处理后的视频数据可以保存在本地仅供用户观看,也可以将处理后的视频数据直接上传至一个或多个云视频平台服务器,如爱奇艺、优酷、快视频等云视频平台服务器,以供云视频平台服务器在云视频平台进行展示视频数据。

另外,在一些应用场景中,待处理帧图像包含有特定对象,如人体,用户仅想要对待处理帧图像中的特定对象区域或非特定对象区域进行扭曲,在这种情况下,该方法还可包括:对待处理帧图像进行场景分割处理,得到与待处理帧图像对应的场景分割结果;根据与待处理帧图像对应的场景分割结果,确定特定对象的轮廓信息。那么在步骤s214中不是将扭曲效果图像确定为帧处理图像,而是依据特定对象的轮廓信息、待处理帧图像和扭曲效果图像,得到局部扭曲效果图像,然后将局部扭曲效果图像确定为帧处理图像。

其中,在对待处理帧图像进行场景分割处理时,可以利用深度学习方法。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。可利用深度学习的分割方法对待处理帧图像进行场景分割,得到与待处理帧图像对应的场景分割结果。具体地,可利用深度学习方法得到的场景分割网络等对待处理帧图像进行场景分割处理,得到与待处理帧图像对应的场景分割结果,然后根据与待处理帧图像对应的场景分割结果,确定出特定对象的轮廓信息。假设特定对象为人体,那么就可根据场景分割结果,确定出人体的轮廓信息,从而区分出待处理帧图像中哪些区域是人体,哪些区域不是人体。

在确定了特定对象的轮廓信息之后,就可依据特定对象的轮廓信息,从扭曲效果图像中提取出局部图像,然后对待处理帧图像和局部图像进行融合处理,得到局部扭曲效果图像。具体地,可依据特定对象的轮廓信息,确定出扭曲效果图像中哪些区域是特定对象区域,哪些区域是非特定对象区域,可将非特定对象区域称为背景区域,然后从扭曲效果图像中提取出特定对象区域的图像或非特定对象区域的图像作为局部图像。例如,当特定对象为人体时,用户想要对待处理帧图像中的人体区域进行扭曲,那么依据人体的轮廓信息,从扭曲效果图像中提取出人体区域的图像作为局部图像,然后对待处理帧图像和局部图像进行融合处理,得到局部扭曲效果图像,该局部扭曲效果图像即为仅人体区域具有扭曲效果而背景区域不具有扭曲效果的图像;又如,当特定对象为人体时,用户想要对待处理帧图像中除人体区域之外的背景区域进行扭曲,那么依据人体的轮廓信息,从扭曲效果图像中提取出背景区域的图像作为局部图像,然后对待处理帧图像和局部图像进行融合处理,得到局部扭曲效果图像,该局部扭曲效果图像即为仅背景区域具有扭曲效果而人体区域不具有扭曲效果的图像。

根据本实施例提供的视频数据扭曲处理方法,利用一种噪声数据对视频帧图像中像素点的颜色分量值进行处理,能够方便地得到基础效果图像;并且利用该噪声数据对另一种噪声数据进行处理,还能够得到表层烟雾效果贴图,从而得到既具有扭曲效果又具有烟雾效果的视频数据,不仅不需要用户手动对视频进行处理,自动实现对视频的处理,提高了视频数据处理效率,优化了视频数据扭曲处理方式,有效地提高了视频数据扭曲效果,还极大地丰富了视频数据效果;另外,还可根据与待处理帧图像对应的场景分割结果,得到具有局部扭曲效果的视频数据,本发明采用了深度学习方法,实现了高效率高精准性地完成场景分割处理,有效地满足了用户的个性化需求。

图3示出了根据本发明一个实施例的视频数据扭曲处理装置的结构框图,如图3所示,该装置包括:获取模块301、第一处理模块302、第一生成模块303、第二生成模块304、第三生成模块305和覆盖模块306。

获取模块301适于:获取视频数据中的待处理帧图像和第一噪声数据。

其中,获取模块301获取的视频数据中的待处理帧图像可以是用户本地的视频数据中的待处理帧图像,获取模块301也可以获取网络的视频数据中的待处理帧图像。或者获取模块301还可以获取由多个本地图片合成的视频数据中的待处理帧图像,或者获取模块301获取由多个网络图片合成的视频数据中的待处理帧图像,或者获取模块301获取由多个本地图片和多个网络图片合成的视频数据中的待处理帧图像。

其中,第一噪声数据包括多个第一颜色数据,具体地,第一噪声数据可为离散的彩色噪声数据,采用离散的第一噪声数据,有助于提高图像扭曲效果,使处理后的图像具有自然、较好的扭曲效果。

第一处理模块302适于:针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定第一扭曲纹理数据;利用第一扭曲纹理数据,对像素点的颜色分量值进行处理。

第一生成模块303适于:得到与待处理帧图像对应的图像扭曲数据。

第二生成模块304适于:根据图像扭曲数据,得到扭曲效果图像。

可选地,第二生成模块304进一步适于:根据图像扭曲数据,确定基础效果图像,并将基础效果图像确定为扭曲效果图像。

第三生成模块305适于:根据扭曲效果图像,得到帧处理图像。

在得到了扭曲效果图像之后,第三生成模块305可将扭曲效果图像确定为帧处理图像,也可对扭曲效果图像进行进一步处理,将处理后的图像确定为帧处理图像。

覆盖模块306适于:将帧处理图像覆盖待处理帧图像得到处理后的视频数据。

根据本实施例提供的视频数据扭曲处理装置,获取模块获取视频数据中的待处理帧图像和第一噪声数据,第一处理模块针对待处理帧图像中的每一个像素点,依据第一噪声数据,确定第一扭曲纹理数据,利用第一扭曲纹理数据,对像素点的颜色分量值进行处理,第一生成模块得到与待处理帧图像对应的图像扭曲数据,第二生成模块根据图像扭曲数据,得到扭曲效果图像,第三生成模块根据扭曲效果图像,得到帧处理图像,覆盖模块将帧处理图像覆盖待处理帧图像得到处理后的视频数据。本发明采用了深度学习方法,实现了高效率高精准性地完成场景分割处理,且根据本发明提供的技术方案,利用噪声数据对视频帧图像中像素点的颜色分量值进行处理,能够方便地得到具有扭曲效果的视频数据,不需要用户手动对视频进行处理,自动实现对视频的处理,提高了视频数据处理效率,优化了视频数据扭曲处理方式,提高了视频数据扭曲效果。

图4示出了根据本发明另一个实施例的视频数据扭曲处理装置的结构框图,如图4所示,该装置包括:获取模块401、第一处理模块402、第一生成模块403、第二处理模块404、第二生成模块405、第三生成模块406、覆盖模块407和上传模块408。

获取模块401适于:获取视频数据中的待处理帧图像、第一噪声数据和第二噪声数据。

其中,获取模块401获取的视频数据中的待处理帧图像可以是用户本地的视频数据中的待处理帧图像,获取模块401也可以获取网络的视频数据中的待处理帧图像。或者获取模块401还可以获取由多个本地图片合成的视频数据中的待处理帧图像,或者获取模块401获取由多个网络图片合成的视频数据中的待处理帧图像,或者获取模块401获取由多个本地图片和多个网络图片合成的视频数据中的待处理帧图像。另外,获取模块401还可以根据用户指定时间段,仅获取用户指定时间段内的视频数据中的待处理帧图像,具体地,获取模块401可以获取用户指定时间段的本地视频数据和/或网络视频数据中的待处理帧图像,或者获取模块401还可以获取用户指定时间段的由多个本地图片和/或多个网络图片合成的视频数据中的待处理帧图像。

其中,第一噪声数据包括多个第一颜色数据,第二噪声数据包括多个第二颜色数据。具体地,第一噪声数据为离散的彩色噪声数据,第二噪声数据为连续的黑白噪声数据,可利用第一噪声数据,对第二噪声数据进行处理,生成表层烟雾效果贴图。

第一处理模块402适于:针对待处理帧图像中的每一个像素点,从第一噪声数据中提取出第一颜色数据;依据所提取的第一颜色数据,确定第一扭曲纹理数据;利用第一扭曲纹理数据,对像素点的颜色分量值进行处理。

其中,第一处理模块402进一步适于:根据时间参数,从第一噪声数据中提取出第一颜色数据。

第一处理模块402进一步适于:利用第一扭曲纹理数据,确定与像素点对应的第一扭曲偏移量;根据第一扭曲偏移量和像素点,确定与第一扭曲偏移量对应的像素点;将像素点的颜色分量值赋值给与第一扭曲偏移量对应的像素点。

第一处理模块402进一步适于:利用第一扭曲纹理数据和预设扭曲度系数,确定与像素点对应的第一扭曲偏移量。

第一生成模块403适于:得到与待处理帧图像对应的图像扭曲数据。

第二处理模块404适于:利用第一噪声数据,对第二噪声数据进行处理,生成表层烟雾效果贴图。

具体地,第二处理模块404进一步适于:针对第二噪声数据中的每一个第二颜色数据,依据第一噪声数据,确定第二扭曲纹理数据;利用第二扭曲纹理数据,确定与第二颜色数据对应的第二扭曲偏移量;根据第二扭曲偏移量和第二颜色数据,确定与第二扭曲偏移量对应的偏移对象;将第二颜色数据赋值给与第二扭曲偏移量对应的偏移对象;得到与第二噪声数据对应的噪声扭曲数据;根据噪声扭曲数据,生成表层烟雾效果贴图。

可选地,第二处理模块404进一步适于:根据预设函数和/或预设添加颜色值以及噪声扭曲数据,进行半透明处理,生成表层烟雾效果贴图。

可选地,第二处理模块404进一步适于:根据第二扭曲偏移量和第二颜色数据,得到待确定偏移对象;判断待确定偏移对象是否超过预设对象范围;若是,则根据预设算法和待确定偏移对象,计算得到与第二扭曲偏移量对应的偏移对象;若否,则将待确定偏移对象确定为与第二扭曲偏移量对应的偏移对象。

第二生成模块405适于:根据图像扭曲数据,确定基础效果图像;为基础效果图像添加表层烟雾效果贴图,得到扭曲效果图像。

第三生成模块406适于:根据扭曲效果图像,得到帧处理图像。

覆盖模块407适于:将帧处理图像覆盖待处理帧图像得到处理后的视频数据。

上传模块408,适于将处理后的视频数据上传至一个或多个云视频平台服务器,以供云视频平台服务器在云视频平台进行展示视频数据。

处理后的视频数据可以保存在本地仅供用户观看,也可以由上传模块408将处理后的视频数据直接上传至一个或多个云视频平台服务器,如爱奇艺、优酷、快视频等云视频平台服务器,以供云视频平台服务器在云视频平台进行展示视频数据。

另外,在一些应用场景中,待处理帧图像包含有特定对象,如人体,用户仅想要对待处理帧图像中的特定对象区域或非特定对象区域进行扭曲,在这种情况下,该装置还包括:分割模块409和确定模块410。

分割模块409适于:对待处理帧图像进行场景分割处理,得到与待处理帧图像对应的场景分割结果。

确定模块410适于:根据与待处理帧图像对应的场景分割结果,确定特定对象的轮廓信息。

在这种情况下,第三生成模块406适于:依据特定对象的轮廓信息、待处理帧图像和扭曲效果图像,得到局部扭曲效果图像;将局部扭曲效果图像确定为帧处理图像。

其中,第三生成模块406进一步适于:依据特定对象的轮廓信息,从扭曲效果图像中提取出局部图像;对待处理帧图像和局部图像进行融合处理,得到局部扭曲效果图像。

根据本实施例提供的视频数据扭曲处理装置,利用一种噪声数据对视频帧图像中像素点的颜色分量值进行处理,能够方便地得到基础效果图像;并且利用该噪声数据对另一种噪声数据进行处理,还能够得到表层烟雾效果贴图,从而得到既具有扭曲效果又具有烟雾效果的视频数据,不仅不需要用户手动对视频进行处理,自动实现对视频的处理,提高了视频数据处理效率,优化了视频数据扭曲处理方式,有效地提高了视频数据扭曲效果,还极大地丰富了视频数据效果;另外,还可根据与待处理帧图像对应的场景分割结果,得到具有局部扭曲效果的视频数据,本发明采用了深度学习方法,实现了高效率高精准性地完成场景分割处理,有效地满足了用户的个性化需求。

本发明还提供了一种非易失性计算机存储介质,计算机存储介质存储有至少一可执行指令,可执行指令可执行上述任意方法实施例中的视频数据扭曲处理方法。

图5示出了根据本发明实施例的一种计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。

如图5所示,该计算设备可以包括:处理器(processor)502、通信接口(communicationsinterface)504、存储器(memory)506、以及通信总线508。

其中:

处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。

处理器502,用于执行程序510,具体可以执行上述视频数据扭曲处理方法实施例中的相关步骤。

具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。

处理器502可能是中央处理器cpu,或者是特定集成电路asic(applicationspecificintegratedcircuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个cpu;也可以是不同类型的处理器,如一个或多个cpu以及一个或多个asic。

存储器506,用于存放程序510。存储器506可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行上述任意方法实施例中的视频数据扭曲处理方法。程序510中各步骤的具体实现可以参见上述视频数据扭曲处理实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。

类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1