一种实现全景拍摄的方法及装置与流程

文档序号:14359263阅读:349来源:国知局

本文涉及但不限于图像处理技术,尤指一种实现全景拍摄的方法及装置。



背景技术:

全景拍摄就是以设定的一个点作为中心进行一定角度的拍摄(例如、进行水平360度的拍摄;或进行水平360度和垂直180度的拍摄),将拍摄的多幅图片拼接成一张全景图像。拼接全景图像的基本原理是搜索两张图片的边缘部分,并将成像效果最为接近的区域加以重合,对非重合区域进行拼接以获得全景图像。

上述全景图像的拼接之前需要将成像效果最为接近的区域加以重合,其实现主要通过特征匹配技术实现,特征匹配耗时造成拼接过程长,另外,在连接区域,采用特征匹配进行拼接时,由于特征匹配精度问题,还存在连接区不自然的问题,影响了全景拍摄图像的质量。



技术实现要素:

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种实现全景拍摄的方法及装置,能够降低拼接过程的时间消耗,提高全景拍摄图像质量。

本发明实施例提供了一种实现全景拍摄的装置,包括:记录单元和拼接单元;其中,

记录单元用于,通过预设传感器记录全景拍摄时的拍摄轨迹信息;

拼接单元用于,根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理,以获得全景拍摄图像。

可选的,所述记录单元具体用于,

通过陀螺仪传感器分别记录全景拍摄时每一图像帧的拍摄角度,将全景拍摄时每一图像帧的拍摄角度按照预设编码方式分别转换为对应的编码信息;

利用转换获得的每一个编码信息标识全景拍摄对应的每一个图像帧,将标识所述图像帧的所有编码信息作为所述拍摄轨迹信息。

可选的,所述装置还包括:方向处理单元用于,

根据所述拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向相异的第二方向,且在所述第二方向的运动时长小于预设时长阈值时,继续所述全景拍摄;

根据所述拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向不同的第二方向,且在第二方向的运动时长大于或等于所述预设时长阈值时,停止所述全景拍摄。

可选的,所述拼接单元具体用于,

根据所述预设编码方式确定编码信息的排序规律;

确定与所述排序规律不符的编码信息,并删除与所述排序规律不符的编码信息所对应的图像帧;

对符合排序规律的编码信息对应的图像帧进行拼接,获得所述全景拍摄图像。

可选的,所述装置还包括:

缓存显示单元,用于根据拼接所述全景拍摄图像的编码信息对全景拍摄图像进行解析,缓存解析后的全景拍摄图像;根据终端移动角度读取缓存的所述解析后的全景拍摄图像,以对所述全景拍摄图像进行显示。

另一方面,本发明实施例还提供一种实现全景拍摄的方法,包括:

通过预设传感器记录全景拍摄时的拍摄轨迹信息;

根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理,以获得全景拍摄图像。

可选的,所述通过预设传感器记录全景拍摄时的拍摄轨迹信息包括:

通过陀螺仪传感器分别记录全景拍摄时每一图像帧的拍摄角度,将全景拍摄时每一图像帧的拍摄角度按照预设编码方式分别转换为对应的编码信息;

利用转换获得的每一个编码信息标识全景拍摄对应的每一个图像帧,将标识所述图像帧的所有编码信息作为所述拍摄轨迹信息。

可选的,所述方法还包括:

根据所述拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向相异的第二方向,且在所述第二方向的运动时长小于预设时长阈值时,继续所述全景拍摄;

根据所述拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向不同的第二方向,且在第二方向的运动时长大于或等于所述预设时长阈值时,停止所述全景拍摄。

可选的,所述根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理包括:

根据所述预设编码方式确定编码信息的排序规律;

确定与所述排序规律不符的编码信息,并删除与所述排序规律不符的编码信息所对应的图像帧;

对符合排序规律的编码信息对应的图像帧进行拼接,获得所述全景拍摄图像。

可选的,所述方法还包括:

根据拼接所述全景拍摄图像的编码信息对全景拍摄图像进行解析,缓存解析后的全景拍摄图像;

根据终端移动角度读取缓存的所述解析后的全景拍摄图像,以对所述全景拍摄图像进行显示。

与相关技术相比,本申请技术方案包括:通过预设传感器记录全景拍摄时的拍摄轨迹信息;根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理,以获得全景拍摄图像。本发明实施例通过记录的拍摄轨迹信息,降低了拼接过程的时间消耗,避免了拼接过程的不自然,提升了全景拍摄图像的质量和用户体验。

在阅读并理解了附图和详细描述后,可以明白其他方面。

附图说明

图1为实现本发明各个实施例的一可选移动终端的硬件结构示意;

图2为本发明实施例的相机的主要电气结构的框图;

图3为本发明实施例实现全景拍摄的方法的流程图;

图4为本发明实施例陀螺仪传感器的工作坐标示意图;

图5为相关技术中未删除图像帧的全景图像示意图;

图6为本发明实施例删除图像帧后的全景图像示意图;

图7为本发明实施例调整角度比值的示意图;

图8为本发明另一实施例实现全景拍摄的方法的流程图;

图9为本发明实施例实现全景拍摄的装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。

移动终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。下面,假设终端是移动终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例的一可选移动终端的硬件结构示意。

移动终端100可以包括a/v(音频/视频)输入单元120、用户输入单元130、输出单元150、存储器160、控制器180和电源单元190等等。图2示出了具有各种组件的移动终端,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

a/v输入单元120用于接收音频或视频信号。a/v输入单元120可以包括相机121,相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中,可以根据移动终端的构造提供两个或更多相机1210。

用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息,并且可以包括键盘、锅仔片、触摸板(例如,检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地,当触摸板以层的形式叠加在显示单元151上时,可以形成触摸屏。

输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如,音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151。

显示单元151可以显示在移动终端100中处理的信息。例如,当移动终端100处于电话通话模式时,显示单元151可以显示与通话或其它通信(例如,文本消息收发、多媒体文件下载等等)相关的用户界面(ui)或图形用户界面(gui)。当移动终端100处于视频通话模式或者图像捕获模式时,显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的ui或gui等等。

同时,当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时,显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(lcd)、薄膜晶体管lcd(tft-lcd)、有机发光二极管(oled)显示器、柔性显示器、三维(3d)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,典型的透明显示器可以例如为toled(透明有机发光二极管)显示器等等。根据特定想要的实施方式,移动终端100可以包括两个或更多显示单元(或其它显示装置),例如,移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据(例如,电话簿、消息、静态图像、视频等等)。而且,存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。

存储器160可以包括至少一种类型的存储介质,所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等等。而且,移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如,控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。控制器180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,这样的实施方式可以在控制器180中实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器160中并且由控制器180执行。

至此,己经按照其功能描述了移动终端。下面,为了简要起见,将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此,本发明能够应用于任何类型的移动终端,并且不限于滑动型移动终端。

如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。

图2为本发明实施例的相机的主要电气结构的框图。摄影镜头701由用于形成被摄体像的多个光学镜头构成,是单焦点镜头或变焦镜头,其中在本实施例中,摄影镜头701为两个。摄影镜头701能够通过镜头驱动部711在光轴方向上移动,根据来自镜头驱动控制部712的控制信号,控制摄影镜头701的焦点位置,在变焦镜头的情况下,也控制焦点距离。镜头驱动控制电路712按照来自微型计算机707的控制命令进行镜头驱动部711的驱动控制。

在摄影镜头701的光轴上、由摄影镜头701形成被摄体像的位置附近配置有摄像元件702。摄像元件702发挥作为对被摄体像摄像并取得摄像图像数据的摄像部的功能。在摄像元件702上二维地呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流,该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的rgb滤色器。

摄像元件702与摄像电路703连接,该摄像电路703在摄像元件702中进行电荷蓄积控制和图像信号读出控制,对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形,进而进行增益提高等以成为适当的信号电平。摄像电路703与模拟数字转换(a/d)转换部704连接,该a/d转换部704对模拟图像信号进行模数转换,向总线199输出数字图像信号(以下称之为图像数据)。

总线199是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线199连接着上述a/d转换部704,此外还连接着图像处理器705、jpeg处理器706、微型计算机707、动态随机访问存储器(sdram,synchronousdram)708、存储器接口(以下称之为存储器i/f)709、液晶显示器(lcd,liquidcrystaldisplay)驱动器710。

图像处理器705对基于摄像元件702的输出的图像数据进行ob相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。jpeg处理器706在将图像数据记录于记录介质715时,按照jpeg压缩方式压缩从sdram708读出的图像数据。此外,jpeg处理器706为了进行图像再现显示而进行jpeg图像数据的解压缩。进行解压缩时,读出记录在记录介质715中的文件,在jpeg处理器706中实施了解压缩处理后,将解压缩的图像数据暂时存储于sdram708中并在lcd716上进行显示。另外,在本实施例中,作为图像压缩解压缩方式采用的是jpeg方式,然而压缩解压缩方式不限于此,当然可以采用mpeg、tiff、h.264等其他的压缩解压缩方式。

微型计算机707发挥作为该相机整体的控制部的功能,统一控制相机的各种处理序列。微型计算机707连接着操作单元713和闪存714。

操作单元713包括但不限于实体按键或者虚拟按键,该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、ok按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部材,检测这些操作部材的操作状态。

将检测结果向微型计算机707输出。此外,在作为显示部的lcd716的前表面设有触摸面板,检测用户的触摸位置,将该触摸位置向微型计算机707输出。微型计算机707根据来自操作单元713的操作部材的检测结果,执行与用户的操作对应的各种处理序列。同样,此处可以是计算机707根据lcd716前面的触摸面板的检测结果,执行与用户的操作对应的各种处理序列。)

闪存714存储用于执行微型计算机707的各种处理序列的程序。微型计算机707根据该程序进行相机整体的控制。此外,闪存714存储相机的各种调整值,微型计算机707读出调整值,按照该调整值进行相机的控制。

sdram708是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该sdram708暂时存储从a/d转换部704输出的图像数据和在图像处理器705、jpeg处理器706等中进行了处理后的图像数据。

存储器接口709与记录介质715连接,进行将图像数据和附加在图像数据中的文件头等数据写入记录介质715和从记录介质715中读出的控制。记录介质715例如为能够在相机主体上自由拆装的存储器卡等记录介质,然而不限于此,也可以是内置在相机主体中的硬盘等。

lcd驱动器710与lcd716连接,将由图像处理器705处理后的图像数据存储于sdram,需要显示时,读取sdram存储的图像数据并在lcd716上显示,或者,jpeg处理器706压缩过的图像数据存储于sdram,在需要显示时,jpeg处理器706读取sdram的压缩过的图像数据,再进行解压缩,将解压缩后的图像数据通过lcd716进行显示。

lcd716配置在相机主体的背面等上,进行图像显示。该lcd716设有检测用户的触摸操作的触摸面板。另外,作为显示部,在本实施例中配置的是液晶表示面板(lcd716),然而不限于此,也可以采用有机el等各种显示面板。

基于上述移动终端硬件结构以及相机,提出本发明方法各个实施例。

图3为本发明实施例实现全景拍摄的方法的流程图,如图3所示,包括:

步骤300、通过预设传感器记录全景拍摄时的拍摄轨迹信息;

可选的,本发明实施例,通过预设传感器记录全景拍摄时的拍摄轨迹信息包括:

通过陀螺仪传感器分别记录全景拍摄时每一图像帧的拍摄角度,将全景拍摄时每一图像帧的拍摄角度按照预设编码方式分别转换为对应的编码信息;

利用转换获得的每一个编码信息标识全景拍摄对应的每一个图像帧,将标识图像帧的所有编码信息作为拍摄轨迹信息。

可选的,本发明实施例还包括:

开启摄像头后,根据拍摄轨迹信息确定摄像头的拍摄角度在第一方向的累计变化度数大于预设的触发阈值时,启动全景拍摄;

其中,启动全景拍摄包括:按照第一方向作为摄像头移动方向开始的全景拍摄。

需要说明的是,本发明实施触发阈值可以包括水平方向角度变化阈值和/或垂直方向的角度变化阈值。图4为本发明实施例陀螺仪传感器的工作坐标示意图,如图4所示,x轴表示水平方向,y轴表示垂直方向。以围绕m进行360度拍摄为例,触发阈值可以是水平方向角度变化阈值。这里,本发明实施例触发阈值可以是3度~20度之间的一个角度值,触发阈值的大小可以根据实际情况进行确定,触发阈值较小是,采集的图像帧一般较多;触发阈值较大时,采集的图像帧比较少。

步骤301、根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理,以获得全景拍摄图像。

可选的,本发明实施例方法还包括:

根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向相异的第二方向,且在第二方向的运动时长小于预设时长阈值时,继续全景拍摄;

根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向不同的第二方向,且在第二方向的运动时长大于或等于预设时长阈值时,停止全景拍摄。

可选的,本发明实施例还可以包括:接收到预设的停止拍摄指令时,停止全景拍摄。

可选的,根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理包括:

根据预设编码方式确定编码信息的排序规律;

确定与排序规律不符的编码信息,删除与排序规律不符的编码信息所对应的图像帧;

对符合排序规律的编码信息对应的图像帧进行拼接,获得上述全景拍摄图像。

需要说明的是,符合排序规律是指参照编码方式按照固定的大小排序、或按照固定的编码顺序进行排序;假设按照正整数1、2、3、4、5、6、7、8……n的正整数对图像帧进行编码,则如果全景拍摄时,摄像头移动方向一直沿第一方向移动,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、6、7、8……n;如果摄像头在向第一方向移动过程中,由于操作上的失误在编号为5的图像帧之后,向第一方向相反的第二方向移动了一定角度,并在此后恢复为第一方向的移动假设第二方向移动的角度对应三个图像帧,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、4、3、2、3、4、5……n;图5为相关技术中未删除图像帧的全景图像示意图,如图5所示,图中除标号为1的图像帧为完整图像外,第二帧图像与第一帧图像不重合的部分通过编号为2的矩形表示;同理,第三帧图像与第二帧图像不重合的部分通过编号为3的矩形表示;第四帧图像与第三帧图像不重合的部分通过编号为4的矩形表示;第五帧图像与第四帧图像不重合的部分通过编号为5的矩形表示;由于,摄像头向第二方向移动了三个图像帧,后续拼接按照编码排序显示的应该是编号5的矩形、编号4的矩形、编号3的矩形;然后摄像头恢复第一方向的运动后,继续编号3的矩形、编号4的矩形、编号5的矩形;图6为本发明实施例删除图像帧后的全景图像示意图,如图6所示,图中除标号为1的图像帧为完整图像外,第二帧图像与第一帧图像不重合的部分通过编号为2的矩形表示;第三帧图像与第二帧图像不重合的部分通过编号为3的矩形表示;第四帧图像与第三帧图像不重合的部分通过编号为4的矩形表示;第五帧图像与第四帧图像不重合的部分通过编号为5的矩形表示;由于与排序规律不符的编码信息后,删除了与排序规律不符的编码信息所对应的图像帧,因此,进行删除处理后,编码信息为符合排序规律的:1、2、3、4、5、6、7、8……n;即拼接编号5的部分之后,继续拼接通过编号为6的矩形表示的第六帧图像与第五帧图像不重合的部分,通过编号为7的矩形表示的第七帧图像与第六帧图像不重合的部分……。采用本发明实施例方式进行拼接,避免了拍摄全景图像过程中由于摄像头移动方向发生变化导致拼接不自然的情况,提升了全景拍摄的图像质量。

可选的,本发明实施例还包括:

根据拼接全景拍摄图像的编码信息,对全景拍摄图像根据终端移动角度进行显示。

需要说明的是,本发明实施例,进行全景拍摄图像的显示时,可以根据播放过程的移动角度全景拍摄图像的播放;移动角度与拍摄角度的比值可以是1,即移动1度时,对全景拍摄图像进行1度的变化显示;本发明实施例拍摄角度累计变化大于360度,则移动角度与拍摄角度的比值可以小于1,一般的移动角度达到360度时要完成所有拍摄角度的全景拍摄图像的显示;移动角度和拍摄角度的比值可以根据实际情况进行调整。图7为本发明实施例调整角度比值的示意图,如图7所示,角度比值表示的是移动角度和拍摄角度的比值,通过正立的三角形虚拟按键可以按照预设步长增大角度比值;通过倒立的三角形虚拟按键可以按照预设步长减小角度比值;这里预设步长可以是预先设定的一个固定值,例如、0.05;如果无法通过预设步长的调整获得所需的角度比值,可以修改预设步长或通过手动输入的方式确定角度比值的数值大小。

可选的,本发明实施例方法还包括:

根据拼接全景拍摄图像的编码信息对全景拍摄图像进行解析,缓存解析后的全景拍摄图像,根据终端移动角度读取缓存的解析后的全景拍摄图像,以对全景拍摄图像进行显示。

需要说明的是,相关技术中,全景拍摄图像的显示一般包括以下流程:获取全景拍摄图像、解析全景拍摄图像、输出全景拍摄图像;本发明实施例在解析全景拍摄图像后,对解析的全景拍摄图像进行缓存,在进行显示时,直接读取缓存数据即可,提高了显示效率;另外,如果在生成全景拍摄图像时还生成了音频信息,则音频信息并不影响上述过程的实施,只需要在解析到输出过程中加入音频处理过程即可。

本发明实施例通过记录的拍摄轨迹信息,降低了拼接过程的时间消耗,避免了拼接过程的不自然,提升了全景拍摄图像的质量和用户体验。

图8为本发明另一实施例实现全景拍摄的方法的流程图,如图8所示,包括:

步骤800、通过预设传感器记录全景拍摄时的拍摄轨迹信息;

可选的,通过预设传感器记录全景拍摄时的拍摄轨迹信息包括:

通过陀螺仪传感器分别记录全景拍摄时每一图像帧的拍摄角度,将全景拍摄时每一图像帧的拍摄角度按照预设编码方式分别转换为对应的编码信息;

利用转换获得的每一个编码信息标识全景拍摄对应的每一个图像帧,将标识图像帧的所有编码信息作为拍摄轨迹信息。

可选的,本发明实施例还包括:

开启摄像头后,根据拍摄轨迹信息确定摄像头的拍摄角度在第一方向的累计变化度数大于预设的触发阈值时,启动全景拍摄;

启动全景拍摄包括:按照第一方向作为摄像头移动方向开始的全景拍摄。

需要说明的是,本发明实施触发阈值可以包括水平方向角度变化阈值和/或垂直方向的角度变化阈值。以围绕m进行360度拍摄为例,触发阈值可以是水平方向角度变化阈值。这里,触发阈值可以是3度~20度之间的一个角度值,触发阈值的大小可以根据实际情况进行确定,触发阈值较小是,采集的图像帧一般较多;触发阈值较大时,采集的图像帧比较少。

可选的,本发明实施例方法还包括:

根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向相异的第二方向,且在第二方向的运动时长小于预设时长阈值时,继续全景拍摄;

根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向不同的第二方向,且在第二方向的运动时长大于或等于预设时长阈值时,停止全景拍摄。

可选的,本发明实施例还可以包括:接收到预设的停止拍摄指令时,停止全景拍摄。

步骤801、根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理,以获得全景拍摄图像。

可选的,本发明实施例根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理包括:

根据预设编码方式确定编码信息的排序规律;

确定与排序规律不符的编码信息,并删除与排序规律不符的编码信息所对应的图像帧;

对符合排序规律的编码信息对应的图像帧进行拼接,获得全景拍摄图像。

需要说明的是,符合排序规律是指参照编码方式按照固定的大小排序、或按照固定的编码顺序进行排序;假设按照正整数1、2、3、4、5、6、7、8……n的正整数对图像帧进行编码,则如果全景拍摄时,摄像头移动方向一直沿第一方向移动,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、6、7、8……n;如果摄像头在向第一方向移动过程中,由于操作上的失误在编号为5的图像帧之后,向第一方向相反的第二方向移动了一定角度,并在此后恢复为第一方向的移动假设第二方向移动的角度对应三个图像帧,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、4、3、2、3、4、5……n;删除与排序规律不符的编码信息后,符合排序规律编码信息为:1、2、3、4、5、6、7、8……n;采用本发明实施例方式进行拼接,避免了拍摄全景图像过程中由于摄像头移动方向发生变化导致拼接不自然的情况,提升了全景拍摄的图像质量。

步骤802、根据拼接全景拍摄图像的编码信息,对全景拍摄图像根据终端移动角度进行显示。

需要说明的是,本发明实施例,进行全景拍摄图像的显示时,可以根据播放过程的移动角度全景拍摄图像的播放;移动角度与拍摄角度的比值可以是1,即移动1度时,对全景拍摄图像进行1度的变化显示;本发明实施例拍摄角度累计变化大于360度,则移动角度与拍摄角度的比值可以小于1,一般的移动角度达到360度时要完成所有拍摄角度的全景拍摄图像的显示;移动角度和拍摄角度的比值可以根据实际情况进行调整。本发明实施例以角度比值表示的是移动角度和拍摄角度的比值,可以按照预设步长调整角度比值;这里预设步长可以是预先设定的一个固定值,例如、0.05;如果无法通过预设步长的调整获得所需的角度比值,可以修改预设步长或通过手动输入的方式确定角度比值的数值大小。

可选的,对全景拍摄图像根据终端移动角度进行显示包括:

根据拼接全景拍摄图像的编码信息对全景拍摄图像进行解析,缓存解析后的全景拍摄图像,根据终端移动角度读取缓存的解析后的全景拍摄图像,以对全景拍摄图像进行显示。

需要说明的是,相关技术中全景拍摄图像的显示一般包括以下流程:获取全景拍摄图像、解析全景拍摄图像、输出全景拍摄图像;本发明实施例在解析全景拍摄图像后,对解析的全景拍摄图像进行缓存,在进行显示时,直接读取缓存数据即可,提高了显示效率;另外,如果在生成全景拍摄图像时还生成了音频信息,则音频信息并不影响上述过程的实施,只需要在解析到输出过程中加入音频处理过程即可。

本发明实施例通过记录的拍摄轨迹信息,降低了拼接过程的时间消耗,避免了拼接过程的不自然,提升了全景拍摄图像的质量和用户体验。

图9为本发明实施例实现全景拍摄的装置的结构框图,如图9所示,包括:记录单元和拼接单元;其中,

记录单元用于,通过预设传感器记录全景拍摄时的拍摄轨迹信息;

可选的,记录单元具体用于,

通过陀螺仪传感器分别记录全景拍摄时每一图像帧的拍摄角度,将全景拍摄时每一图像帧的拍摄角度按照预设编码方式分别转换为对应的编码信息;

利用转换获得的每一个编码信息标识全景拍摄对应的每一个图像帧,将标识图像帧的所有编码信息作为拍摄轨迹信息。

可选的,本发明实施例还包括:

开启摄像头后,根据拍摄轨迹信息确定摄像头的拍摄角度在第一方向的累计变化度数大于预设的触发阈值时,启动全景拍摄;

启动全景拍摄包括:按照第一方向作为摄像头移动方向开始的全景拍摄。

需要说明的是,本发明实施触发阈值可以包括水平方向角度变化阈值和/或垂直方向的角度变化阈值。以围绕m进行360度拍摄为例,触发阈值可以是水平方向角度变化阈值。这里,本发明实施例触发阈值可以是3度~20度之间的一个角度值,触发阈值的大小可以根据实际情况进行确定,触发阈值较小是,采集的图像帧一般较多;触发阈值较大时,采集的图像帧比较少。

拼接单元用于,根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理,以获得全景拍摄图像。

可选的,本发明实施例装置还包括:方向处理单元用于,

根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向相异的第二方向,且在第二方向的运动时长小于预设时长阈值时,继续全景拍摄;

根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向不同的第二方向,且在第二方向的运动时长大于或等于预设时长阈值时,停止全景拍摄。

可选的,本发明实施例还可以包括:接收到预设的停止拍摄指令时,停止全景拍摄。

可选的,拼接单元具体用于,

根据预设编码方式确定编码信息的排序规律;

确定与排序规律不符的编码信息,并删除与排序规律不符的编码信息所对应的图像帧;

对符合排序规律的编码信息对应的图像帧进行拼接,获得全景拍摄图像。

需要说明的是,符合排序规律包括按照固定的大小排序、或按照固定的编码顺序进行排序;假设按照正整数1、2、3、4、5、6、7、8……n的正整数对图像帧进行编码,则如果全景拍摄时,摄像头移动方向一直沿第一方向移动,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、6、7、8……n;如果摄像头在向第一方向移动过程中,由于操作上的失误在编号为5的图像帧之后,向第一方向相反的第二方向移动了一定角度,并在此后恢复为第一方向的移动假设第二方向移动的角度对应三个图像帧,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、4、3、2、3、4、5……n;删除与排序规律不符的编码信息后,符合排序规律编码信息为:1、2、3、4、5、6、7、8……n;采用本发明实施例方式进行拼接,避免了拍摄全景图像过程中由于摄像头移动方向发生变化导致拼接不自然的情况,提升了全景拍摄的图像质量。

可选的,本发明实施例还包括:

根据拼接全景拍摄图像的编码信息,对全景拍摄图像根据终端移动角度进行显示。

需要说明的是,本发明实施例,进行全景拍摄图像的显示时,可以根据播放过程的移动角度全景拍摄图像的播放;移动角度与拍摄角度的比值可以是1,即移动1度时,对全景拍摄图像进行1度的变化显示;本发明实施例拍摄角度累计变化大于360度,则移动角度与拍摄角度的比值可以小于1,一般的移动角度达到360度时要完成所有拍摄角度的全景拍摄图像的显示;移动角度和拍摄角度的比值可以根据实际情况进行调整。本发明实施例以角度比值表示的是移动角度和拍摄角度的比值,可以按照预设步长调整角度比值;这里预设步长可以是预先设定的一个固定值,例如、0.05;如果无法通过预设步长的调整获得所需的角度比值,可以修改预设步长或通过手动输入的方式确定角度比值的数值大小。

可选的,本发明实施例装置还包括缓存显示单元,用于根据拼接全景拍摄图像的编码信息排序对全景拍摄图像进行解析,缓存解析后的全景拍摄图像,根据终端移动角度读取缓存的解析后的全景拍摄图像,以对全景拍摄图像进行显示。

需要说明的是,相关技术中,全景拍摄图像的显示一般包括以下流程:获取全景拍摄图像、解析全景拍摄图像、输出全景拍摄图像;本发明实施例在解析全景拍摄图像后,对解析的全景拍摄图像进行缓存,在进行显示时,直接读取缓存数据即可,提高了显示效率;另外,如果在生成全景拍摄图像时还生成了音频信息,则音频信息并不影响上述过程的实施,只需要在解析到输出过程中加入音频处理过程即可。

本发明实施例通过记录的拍摄轨迹信息,降低了拼接过程的时间消耗,避免了拼接过程的不自然,提升了全景拍摄图像的质量和用户体验。

本发明实施例还提供了一种实现全景拍摄的装置,包括:记录单元、方向处理单元、拼接单元和缓存显示单元;其中,

记录单元用于,通过预设传感器记录全景拍摄时的拍摄轨迹信息;

可选的,记录单元具体用于,

通过陀螺仪传感器分别记录全景拍摄时每一图像帧的拍摄角度,将全景拍摄时每一图像帧的拍摄角度按照预设编码方式分别转换为对应的编码信息;

利用转换获得的每一个编码信息标识全景拍摄对应的每一个图像帧,将标识图像帧的所有编码信息作为拍摄轨迹信息。

可选的,本发明实施例还包括:

开启摄像头后,根据拍摄轨迹信息确定摄像头的拍摄角度在第一方向的累计变化度数大于预设的触发阈值时,启动全景拍摄;

启动全景拍摄包括:按照第一方向作为摄像头移动方向开始的全景拍摄。

需要说明的是,本发明实施触发阈值可以包括水平方向角度变化阈值和/或垂直方向的角度变化阈值。以围绕m进行360度拍摄为例,触发阈值可以是水平方向角度变化阈值。这里,本发明实施例触发阈值可以是3度~20度之间的一个角度值,触发阈值的大小可以根据实际情况进行确定,触发阈值较小是,采集的图像帧一般较多;触发阈值较大时,采集的图像帧比较少。

拼接单元用于,根据记录的拍摄轨迹信息对全景拍摄的图像帧进行拼接处理,以获得全景拍摄图像。

可选的,拼接单元具体用于,

根据预设编码方式确定编码信息的排序规律;

确定与排序规律不符的编码信息,并删除与排序规律不符的编码信息所对应的图像帧;

对符合排序规律的编码信息对应的图像帧进行拼接,获得全景拍摄图像。

需要说明的是,符合排序规律包括按照固定的大小排序、或按照固定的编码顺序进行排序;假设按照正整数1、2、3、4、5、6、7、8……n的正整数对图像帧进行编码,则如果全景拍摄时,摄像头移动方向一直沿第一方向移动,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、6、7、8……n;如果摄像头在向第一方向移动过程中,由于操作上的失误在编号为5的图像帧之后,向第一方向相反的第二方向移动了一定角度,并在此后恢复为第一方向的移动假设第二方向移动的角度对应三个图像帧,则全景拍摄过程中图像帧的编码排序为1、2、3、4、5、4、3、2、3、4、5……n;删除与排序规律不符的编码信息后,符合排序规律编码信息为:1、2、3、4、5、6、7、8……n;采用本发明实施例方式进行拼接,避免了拍摄全景图像过程中由于摄像头移动方向发生变化导致拼接不自然的情况,提升了全景拍摄的图像质量。

方向处理单元用于,根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向相异的第二方向,且在第二方向的运动时长小于预设时长阈值时,继续全景拍摄;根据拍摄轨迹信息确定摄像头运动方向为与进行全景拍摄的第一方向不同的第二方向,且在第二方向的运动时长大于或等于预设时长阈值时,停止全景拍摄。

可选的,本发明实施例还可以包括:接收到预设的停止拍摄指令时,停止全景拍摄。

可选的,本发明实施例还包括:

根据拼接全景拍摄图像的编码信息,对全景拍摄图像根据终端移动角度进行显示。

需要说明的是,本发明实施例,进行全景拍摄图像的显示时,可以根据播放过程的移动角度全景拍摄图像的播放;移动角度与拍摄角度的比值可以是1,即移动1度时,对全景拍摄图像进行1度的变化显示;本发明实施例拍摄角度累计变化大于360度,则移动角度与拍摄角度的比值可以小于1,一般的移动角度达到360度时要完成所有拍摄角度的全景拍摄图像的显示;移动角度和拍摄角度的比值可以根据实际情况进行调整。本发明实施例以角度比值表示的是移动角度和拍摄角度的比值,可以按照预设步长调整角度比值;这里预设步长可以是预先设定的一个固定值,例如、0.05;如果无法通过预设步长的调整获得所需的角度比值,可以修改预设步长或通过手动输入的方式确定角度比值的数值大小。

缓存显示单元,用于根据拼接全景拍摄图像的编码信息排序对全景拍摄图像进行解析,缓存解析后的全景拍摄图像,根据终端移动角度读取缓存的解析后的全景拍摄图像,以对全景拍摄图像进行显示。

需要说明的是,相关技术中,全景拍摄图像的显示一般包括以下流程:获取全景拍摄图像、解析全景拍摄图像、输出全景拍摄图像;本发明实施例在解析全景拍摄图像后,对解析的全景拍摄图像进行缓存,在进行显示时,直接读取缓存数据即可,提高了显示效率;另外,如果在生成全景拍摄图像时还生成了音频信息,则音频信息并不影响上述过程的实施,只需要在解析到输出过程中加入音频处理过程即可。

本发明实施例通过记录的拍摄轨迹信息,降低了拼接过程的时间消耗,避免了拼接过程的不自然,提升了全景拍摄图像的质量和用户体验。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的每个模块/单元可以采用硬件的形式实现,例如通过集成电路来实现其相应功能,也可以采用软件功能模块的形式实现,例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。

虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1