全景照片的拍摄装置及方法
【专利摘要】本发明公开了一种全景照片的拍摄装置，在拍摄全景照片的过程中，抓取取景界面的图像帧，并记录图像帧在全景照片中的拼接位置，同时还检测当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求，并在当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的图像帧替换全景照片中的所述拼接位置之后的图像区域。本发明还公开了一种全景照片的拍摄方法。本发明在运动物体经过分界线时而造成全景照片不清晰时，可以通过之前拍摄的较为清晰的图像帧代替不清晰区域，有效地提高了全景照片的拍摄质量。
【专利说明】
全景照片的拍摄装置及方法
技术领域
[0001]本发明涉及移动终端技术领域，尤其涉及一种全景照片的拍摄装置及方法。
【背景技术】
[0002]目前，很多终端都具有全景拍摄功能。在进入全景拍摄功能时，如图1所示，终端上一般会显示一基准界面IlOa和一取景界面110b，基准界面IlOa显示当前已拍摄完成的基准照片，取景界面IlOb显示尚未拍摄完成的场景，基准界面IlOa与取景界面IlOb之间具有一以基准照片的侧边为分界的分界线110c。随着用户不断的控制终端向取景界面IlOb的方向旋转，分界线IlOc不断的向取景界面IlOb的方向移动，基准照片不断的向取景界面IlOb的方向推进合成，进而最终完成全景照片的拍摄。
[0003]然而，在全景拍摄时，取景界面I 1b中的场景中通常会存在运动物体，例如，运动的人或车辆等。在运动物体经过基准界面IlOa与取景界面IlOb之间的分界线IlOc时，常常会使得合成的照片出现模糊或衔接错位的区域，造成全景照片拍摄质量较差。
【发明内容】
[0004]本发明的主要目的在于提供一种全景照片的拍摄装置及方法，旨在提高全景照片的拍摄质量。
[0005]本发明提供的图片处理装置包括:
[0006]抓取模块，用于在拍摄全景照片的过程中，抓取取景界面的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面与取景界面之间的分界位置；
[0007]检测模块，用于检测当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求；
[0008]替换模块，用于在当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域。
[0009]可选的，所述检测模块还用于检测取景界面是否存在运动物体；
[0010]所述抓取模块还用于在所述取景界面存在运动物体时，抓取取景界面的图像帧。
[0011]可选的，所述检测模块还用于间隔性地获取所述取景界面的待检测图像，并对获取的相邻的两张所述待检测图像进行差分处理，生成二值图像，根据所述二值图像检测取景界面是否存在运动物体。
[0012]可选的，所述替换模块还用于确定在抓取过程中记录的位于当前分界位置之前的最邻近的拼接位置，并选取确定的所述最邻近的拼接位置对应的图像帧。
[0013]可选的，所述全景照片的拍摄装置还包括:
[0014]设置模块，用于将进行替换的所述图像帧的背离其拼接位置的侧边设置为当前基准界面与取景界面之间的分界线，并继续进行全景照片的拍摄。
[0015]此外，本发明进一步提供的全景照片的拍摄方法包括:
[0016]在拍摄全景照片的过程中，抓取取景界面的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面与取景界面之间的分界位置；
[0017]在拍摄全景照片的过程中，还检测当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求；
[0018]在当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域。
[0019]可选的，所述抓取取景界面的图像帧的步骤之前，所述全景照片的拍摄方法还包括:
[0020]检测取景界面是否存在运动物体；
[0021]在所述取景界面存在运动物体时，执行所述抓取取景界面IlOb的图像帧的步骤。
[0022]可选的，所述检测取景界面是否存在运动物体的步骤包括:
[0023]间隔性地获取所述取景界面的待检测图像；
[0024]对获取的相邻的两张所述待检测图像进行差分处理，生成二值图像；
[0025]根据所述二值图像检测取景界面是否存在运动物体。
[0026]可选的，所述选取抓取的位于当前分界位置之前的拼接位置对应的图像帧的步骤包括:
[0027]确定在抓取过程中记录的位于当前分界位置之前的最邻近的拼接位置；
[0028]选取确定的所述最邻近的拼接位置对应的图像帧。
[0029]可选的，所述采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域的步骤之后，还包括:
[0030]将进行替换的所述图像帧的背离其拼接位置的侧边设置为当前基准界面与取景界面之间的分界线，并继续进行全景照片的拍摄。
[0031]本发明提出的全景照片的拍摄装置及方法，通过在拍摄全景照片的过程中，抓取取景界面的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面与取景界面之间的分界位置，同时，在拍摄全景照片的过程中，还检测当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求，在当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域，从而在运动物体经过分界线时而造成全景照片不清晰时，可以通过之前拍摄的较为清晰的图像帧代替不清晰区域，有效地提高了全景照片的拍摄质量。
【附图说明】
[0032]图1为全景拍摄的场景示意图；
[0033]图2为本发明各个实施例涉及的一个可选的终端的硬件结构示意图；
[0034]图3为本发明全景照片的拍摄装置第一实施例的模块示意图；
[0035]图4为本发明全景照片的拍摄方法第一实施例的流程示意图；
[0036]图5为实现本发明各个实施例的移动终端的一个可选的硬件结构示意；
[0037]图6为实现本发明通信系统的结构示意。
[0038]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0039]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0040]现在将参考附图描述实现本发明各个实施例的系统架构。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
[0041 ]具体地，终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PAD(平板电脑)等等的移动终端。以下各个实施例以终端为手机为例进行说明。本发明各个实施例中的全景照片的拍摄装置均基于上述终端实现。
[0042]图5为实现本发明各个实施例的移动终端的一个可选的硬件结构示意。
[0043]移动终端100可以包括无线通信单元110、用户输入单元130、输出单元150、存储器160、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
[0044]无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括移动通信模块112、无线互联网模块113、短程通信模块114中的至少一个。
[0045]移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
[0046]无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(W1-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
[0047]短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
[0048]用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
[0049]输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152等等。
[0050]显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
[0051]同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管IXD(TFT-1XD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
[0052]音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
[0053]存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
[0054]存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(R0M)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
[0055]控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块1810可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
[0056]电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
[0057]这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
[0058]至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
[0059]如图5中所示的移动终端可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
[0060]图6为实现本发明通信系统的结构示意。现在将参考图6描述其中根据本发明的移动终端能够操作的通信系统。
[0061]这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
[0062]参考图6，⑶MA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSCUSOJSCSSO被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图6中所示的系统可以包括多个BSC2750。
[0063]每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz，5MHz 等等)。
[0064]分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为〃蜂窝站〃。或者，特定BS270的各分区可以被称为多个蜂窝站。
[0065]在图6中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
[0066]在图6中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的位置信息模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
[0067]作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275 ASC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。
[0068]如图1，终端在拍摄全景照片的过程中，抓取取景界面IlOb的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面IlOa与取景界面IlOb之间的分界位置;终端在拍摄全景照片的过程中，还检测当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求;在当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域。
[0069]作为一种实现方案，上述终端的硬件结构可以如图2所示。
[0070]参照图2，该终端可以包括相机单元110、用户输入单元120、存储器130、处理器140和通信总线150等等。图2示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。以下将详细描述终端的各个组件。
[0071]相机单元110可以为该终端自带的摄像头，可以进行拍照。
[0072]用户输入单元120可以接收用户输入的全景拍摄指令等。
[0073]存储器I 30可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器130可选的还可以是独立于前述处理器140的存储装置。作为一种计算机存储介质的存储器130中可以存储全景照片的拍摄程序。
[0074]处理器140可以调用存储器130中存储的全景照片的拍摄程序，并执行以下操作:
[0075]在拍摄全景照片的过程中，抓取取景界面IlOb的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面IlOa与取景界面I 1b之间的分界位置；
[0076]在拍摄全景照片的过程中，还检测当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求；
[0077]在当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域。
[0078]处理器140还可以调用存储器130中存储的全景照片的拍摄程序，并执行以下操作:
[0079]检测取景界面I1b是否存在运动物体；
[0080]在所述取景界面I 1b存在运动物体时，抓取取景界面I 1b的图像帧。
[0081]处理器140还可以调用存储器130中存储的全景照片的拍摄程序，并执行以下操作:
[0082]间隔性的获取所述取景界面IlOb的待检测图像；
[0083]对获取的相邻的两张所述待检测图像进行差分处理，生成二值图像；
[0084]根据所述二值图像检测取景界面IlOb是否存在运动物体。
[0085]处理器140还可以调用存储器130中存储的全景照片的拍摄程序，并执行以下操作:
[0086]确定在抓取过程中记录的位于当前分界位置之前的最邻近的拼接位置；
[0087]选取确定的所述最邻近的拼接位置对应的图像帧。
[0088]处理器140还可以调用存储器130中存储的全景照片的拍摄程序，并执行以下操作:
[0089]将进行替换的所述图像帧的背离其拼接位置的侧边设置为当前基准界面IlOa与取景界面IlOb之间的分界线110c，并继续进行全景照片的拍摄。
[0090]基于上述硬件架构提出本发明全景照片的拍摄装置的各个实施例。
[0091]参照图3，图3为本发明全景照片的拍摄装置第一实施例的功能模块示意图。需要强调的是，对本领域的技术人员来说，图3所示功能模块图仅仅是一个较佳实施例的示例图，本领域的技术人员围绕图3所示的全景照片的拍摄装置的功能模块，可轻易进行新的功能模块的补充;各功能模块的名称是自定义名称，仅用于辅助理解该全景照片的拍摄装置的各个程序功能块，不用于限定本发明的技术方案，本发明技术方案的核心是，各自定义名称的功能模块所要达成的功能。
[0092]本实施例提出一种全景照片的拍摄装置，该全景照片的拍摄装置可以设置于上述终端上，本实施例及以下实施例以终端为手机为例进行说明。所述全景照片的拍摄装置包括:
[0093]抓取模块210，用于在拍摄全景照片的过程中，抓取取景界面IlOb的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面I 1a与取景界面I 1b之间的分界位置；
[0094]在本实施例中，可以在用户触发全景拍摄控件时，则进入全景拍照模式。由于本发明中的全景照片拍摄具有修复功能，还可以在现有的全景拍摄界面上增加全景修复控件，在用户触发全景修复控件时，即可进入具有修复功能的全景照片拍摄模式。
[0095]可以在拍摄全景照片的整个过程中，每间隔预设时间间隔抓取一次取景界面IlOb的图像帧。由于一般在取景界面UOb中的运动物体经过分界线IlOc时，全景照片才会出现模糊或衔接错位的情况，因此，只需要抓取取景界面IlOb存在移动物体时的图像帧即可。可选的，为了提高抓取的效率，降低终端内存占用空间，以及提高终端拍摄效率，在抓取取景界面IlOb的图像帧之前，可以先检测取景界面IlOb是否存在运动物体；在所述取景界面11 Ob存在运动物体时，则抓取取景界面11 Ob的图像帧。
[0096]在抓取图像帧的时刻，基准界面IlOa与取景界面IlOb之间的分界位置，即为基准界面IlOa当前显示的基准照片的邻近取景界面IlOb的侧边，该侧边的位置即为图像帧相对于全景照片的拼接位置。将抓取的图像帧与其对应的拼接位置关联保存。
[0097]在本实施例中，在图像模糊时，例如，由于交界处出现运动物体而导致的模糊，则清晰度较差。在图像出现错位时，则平滑度较差。因此，可以通过检测当前基准界面UOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度来判断图像是否出现模糊或错位情况。
[0098]检测模块220，用于在拍摄全景照片的过程中，检测当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求；
[0099]在本实施例中，当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的大小可以根据实际需要进行设置，可以在基准界面IlOa中的基准照片的靠近分界线IlOc的位置选取一块区域，并在取景界面IlOb显示的图像中靠近分界线IlOc的位置选取一块区域，选取的两块区域共同构成了当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域。
[0100]可以采用现有的清晰度计算方法来计算所述图像区域的清晰度。在本实施例中，可以采用以下方式计算图像区域的清晰度:先对图像区域进行边缘检测，得到对应的图像轮廓。然后计算图像轮廓的平均宽度，例如，可以在图像轮廓上每间隔预设像素点选取一采样点，并分别计算各个采样点对应的轮廓宽度，然后计算各个采样点的平均轮廓宽度。在该图像区域对应的平均轮廓宽度大于预设轮廓宽度时，则判定图像区域的清晰度未达到预设要求。在该图像区域对应的平均轮廓宽度小于或等于预设轮廓宽度时，则判定图像区域的清晰度达到了预设要求。
[0101]可以采用现有的平滑度计算方法计算所述图像区域的平滑度。在本实施例中，可以采用以下方式计算图像区域的平滑度:先对图像图像区域进行边缘检测，得到对应的图像轮廓。然后计算图像轮廓的平滑度。在该图像区域对应的平滑度小于预设平滑度时，则判定图像区域的平滑度未达到预设要求。在该图像区域对应的平滑度大于或等于预设平滑度时，则判定图像区域的平滑度达到了预设要求。
[0102]在图像区域的清晰度或平滑度中至少一个不满足预设要求时，则认为图像出现了模糊或错位情况，则判定当前基准界面I 1a与取景界面I 1b之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求。
[0103]替换模块230，用于在当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域。
[0104]在本实施例中，在图像区域的清晰度未达到预设要求时，则表明当前可能有运动物体位于基准界面IlOa与取景界面IlOb之间的分界线IlOc处，会造成全景照片拍摄质量较差。例如，如图1所示的全景拍摄中，若在全景拍摄过程中，有一运动物体从右至左移动，则在运动物体位于取景界面IlOb内，且还未经过分界线IlOc时，终端就已经抓取到了含有运动物体的图像帧。随着在拍摄过程中，分界线IlOc不断右移，在运动物体经过分界线IlOc时，则会出现图像区域的清晰度未达到预设要求的情况，则可以利用此前抓取的图像帧来修复当前拍摄到的模糊的区域。在图1中，位于当前分界位置之前的拼接位置即为位于当前分界位置左侧的拼接位置，且所述拼接位置均是之前在保存图像帧时对应的分界位置。可以随机选取一张之前抓取的图像帧，也可以通过图像识别的方法选取一张运动物体最清晰或最大的图像帧。
[0105]可以在全景照片拍摄完成时进行替换，也可以在全景照片拍摄过程中进行替换。本实施例以在全景照片拍摄过程中进行替换为例。在替换时，可以将选取的整个图像帧替换全景照片对应的图像区域，也可以将选取的图像帧的部分区域替换全景照片对应的图像区域。在替换时，将全景照片中与选取的图像帧对应的拼接位置的右侧区域去除，并以选取的图像帧的全部区域或部分区域进行替代，从而将全景照片的模糊区域进行了取出，并以较为清晰的图像帧代替，有效地提高了全景照片的拍摄质量。
[0106]可选的，当在拍摄过程中进行修复时，在替代后，可以将替代的图像帧的侧边设置为新的分界线110c。可选的，所述全景照片的拍摄装置还包括:设置模块，用于将进行替换的所述图像帧的背离其拼接位置的侧边设置为当前基准界面IlOa与取景界面IlOb之间的分界线110c，并继续进行全景照片的拍摄。本实施例中，通过重新设置分界线110c，能够进一步提高拍摄全景照片的速度。
[0107]本发明提供的全景照片的拍摄装置，通过在拍摄全景照片的过程中，抓取取景界面IlOb的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面IlOa与取景界面IlOb之间的分界位置，同时，在拍摄全景照片的过程中，还检测当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求，在当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域，从而在运动物体经过分界线IlOc时而造成全景照片不清晰时，可以通过之前拍摄的较为清晰的图像帧代替不清晰区域，有效地提高了全景照片的拍摄质量。
[0108]进一步地，基于本发明全景照片的拍摄装置的第一实施例，本发明还提出了全景照片的拍摄装置的第二实施例，与第一实施例不同的是，在第二实施例中，所述检测模块220还用于间隔性的获取所述取景界面IlOb的待检测图像，并对获取的相邻的两张所述待检测图像进行差分处理，生成二值图像，根据所述二值图像检测取景界面IlOb是否存在运动物体。
[0109]在本实施例中，可以每个预设时间间隔获取一次取景界面IlOb的待检测图像，预设时间间隔例如可以为0.1s。还可以实时的获取取景界面IlOb的待检测图像。并对每相邻的两张待检测图像进行差分处理。可以根据3σ准则对待检测图像进行二值化差分处理，得到二值图像。可选的，还可以对二值图像进行滤波处理，去除虚假目标区域和孤立亮点，获得各区域的边界值。可选的，还可以利用区域生成的方法得到运动物体的完整轮廓，从而判断当前的取景界面IlOb中是否存在完整的运动物体。
[0110]可选的，在检测出取景界面IlOb存在完整的运动物体时，则判定取景界面IlOb存在运动物体。因此可以使得最终生成的全景照片存在完整的运动物体，进一步提高了全景照片的拍摄质量。
[0111]本实施例提供的检测取景界面IlOb中是否存在运动物体的方法，检测结果较为精确，进一步提高了全景照片的拍摄质量。
[0112]进一步地，为了进一步提高全景照片的拍摄质量，使得全景照片更加逼真和清晰，基于本发明全景照片的拍摄装置的第一或第二实施例，本发明还提出了全景照片的拍摄装置的第三实施例，与第一和第二实施例不同的是，在第三实施例中，所述替换模块230还用于确定在抓取过程中记录的位于当前分界位置之前的最邻近的拼接位置，并选取确定的所述最邻近的拼接位置对应的图像帧。
[0113]在本实施例中，在拍摄过程中，终端会不断的记录图像帧及其对应的拼接位置。在替换时，当前分界位置之前可能会存在若干记录的拼接位置，则与当前分界位置最近的拼接位置处的图像帧为清晰的，且该图像帧的抓取时间与当前时刻最接近，因此该图像帧中运动物体的状态与当前运动物体的状态最为接近，因此，通过选取位于当前分界位置之前的最邻近的拼接位置对应的图像帧，能够使得全景照片在保持其清晰度的基础上，进一步更加逼真，进一步提高了全景照片的拍摄质量。
[0114]本发明进一步提供一种全景照片的拍摄方法，该全景照片的拍摄方法可以基于上述终端实现，本实施例及以下实施例以终端为手机为例进行说明。参照图4，图4为本发明全景照片的拍摄方法第一实施例的流程示意图，该全景照片的拍摄方法的第一实施例与上述全景照片的拍摄装置的第一实施例对应，所述全景照片的拍摄方法包括:
[0115]步骤S10，在拍摄全景照片的过程中，抓取取景界面IlOb的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面11 Oa与取景界面11 Ob之间的分界位置；
[0116]在本实施例中，可以在用户触发全景拍摄控件时，则进入全景拍照模式。由于本发明中的全景照片拍摄具有修复功能，还可以在现有的全景拍摄界面上增加全景修复控件，在用户触发全景修复控件时，即可进入具有修复功能的全景照片拍摄模式。
[0117]可以在拍摄全景照片的整个过程中，每间隔预设时间间隔抓取一次取景界面IlOb的图像帧。由于一般在取景界面UOb中的运动物体经过分界线IlOc时，全景照片才会出现模糊或衔接错位的情况，因此，只需要抓取取景界面IlOb存在移动物体时的图像帧即可。可选的，为了提高抓取的效率，降低终端内存占用空间，以及提高终端拍摄效率，在抓取取景界面IlOb的图像帧之前，可以先检测取景界面IlOb是否存在运动物体；在所述取景界面11 Ob存在运动物体时，则抓取取景界面11 Ob的图像帧。
[0118]在抓取图像帧的时刻，基准界面IlOa与取景界面IlOb之间的分界位置，即为基准界面IlOa当前显示的基准照片的邻近取景界面IlOb的侧边，该侧边的位置即为图像帧相对于全景照片的拼接位置。将抓取的图像帧与其对应的拼接位置关联保存。
[0119]在本实施例中，在图像模糊时，例如，由于交界处出现运动物体而导致的模糊，则清晰度较差。在图像出现错位时，则平滑度较差。因此，可以通过检测当前基准界面UOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度来判断图像是否出现模糊或错位情况。
[0120]步骤S20，在拍摄全景照片的过程中，还检测当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求；
[0121]在本实施例中，当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的大小可以根据实际需要进行设置，可以在基准界面IlOa中的基准照片的靠近分界线IlOc的位置选取一块区域，并在取景界面IlOb显示的图像中靠近分界线IlOc的位置选取一块区域，选取的两块区域共同构成了当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域。
[0122]可以采用现有的清晰度计算方法来计算所述图像区域的清晰度。在本实施例中，可以采用以下方式计算图像区域的清晰度:先对图像区域进行边缘检测，得到对应的图像轮廓。然后计算图像轮廓的平均宽度，例如，可以在图像轮廓上每间隔预设像素点选取一采样点，并分别计算各个采样点对应的轮廓宽度，然后计算各个采样点的平均轮廓宽度。在该图像区域对应的平均轮廓宽度大于预设轮廓宽度时，则判定图像区域的清晰度未达到预设要求。在该图像区域对应的平均轮廓宽度小于或等于预设轮廓宽度时，则判定图像区域的清晰度达到了预设要求。
[0123]可以采用现有的平滑度计算方法计算所述图像区域的平滑度。在本实施例中，可以采用以下方式计算图像区域的平滑度:先对图像图像区域进行边缘检测，得到对应的图像轮廓。然后计算图像轮廓的平滑度。在该图像区域对应的平滑度小于预设平滑度时，则判定图像区域的平滑度未达到预设要求。在该图像区域对应的平滑度大于或等于预设平滑度时，则判定图像区域的平滑度达到了预设要求。
[0124]在图像区域的清晰度或平滑度中至少一个不满足预设要求时，则认为图像出现了模糊或错位情况，则判定当前基准界面I 1a与取景界面I 1b之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求。
[0125]在当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，则执行步骤S30。
[0126]在当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度达到预设要求时，则执行步骤S40。
[0127]步骤S30，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域；
[0128]步骤S40，继续全景拍摄。即继续执行步骤SlO和S20。
[0129]可以理解的是，步骤SlO和S20可以同时进行。
[0130]在本实施例中，在图像区域的清晰度未达到预设要求时，则表明当前可能有运动物体位于基准界面IlOa与取景界面IlOb之间的分界线IlOc处，会造成全景照片拍摄质量较差。例如，如图1所示的全景拍摄中，若在全景拍摄过程中，有一运动物体从右至左移动，则在运动物体位于取景界面IlOb内，且还未经过分界线IlOc时，终端就已经抓取到了含有运动物体的图像帧。随着在拍摄过程中，分界线IlOc不断右移，在运动物体经过分界线IlOc时，则会出现图像区域的清晰度未达到预设要求的情况，则可以利用此前抓取的图像帧来修复当前拍摄到的模糊的区域。在图1中，位于当前分界位置之前的拼接位置即为位于当前分界位置左侧的拼接位置，且所述拼接位置均是之前在保存图像帧时对应的分界位置。可以随机选取一张之前抓取的图像帧，也可以通过图像识别的方法选取一张运动物体最清晰或最大的图像帧。
[0131]可以在全景照片拍摄完成时进行替换，也可以在全景照片拍摄过程中进行替换。本实施例以在全景照片拍摄过程中进行替换为例。在替换时，可以将选取的整个图像帧替换全景照片对应的图像区域，也可以将选取的图像帧的部分区域替换全景照片对应的图像区域。在替换时，将全景照片中与选取的图像帧对应的拼接位置的右侧区域去除，并以选取的图像帧的全部区域或部分区域进行替代，从而将全景照片的模糊区域进行了取出，并以较为清晰的图像帧代替，有效地提高了全景照片的拍摄质量。
[0132]可选的，当在拍摄过程中进行修复时，在替代后，可以将替代的图像帧的侧边设置为新的分界线110c。可选的，所述采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域的步骤之后，还包括:将进行替换的所述图像帧的背离其拼接位置的侧边设置为当前基准界面IlOa与取景界面IlOb之间的分界线110c，并继续进行全景照片的拍摄。本实施例中，通过重新设置分界线110c，能够进一步提高拍摄全景照片的速度。
[0133]本发明提供的全景照片的拍摄方法，通过在拍摄全景照片的过程中，抓取取景界面IlOb的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面IlOa与取景界面IlOb之间的分界位置，同时，在拍摄全景照片的过程中，还检测当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求，在当前基准界面IlOa与取景界面IlOb之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域，从而在运动物体经过分界线IlOc时而造成全景照片不清晰时，可以通过之前拍摄的较为清晰的图像帧代替不清晰区域，有效地提高了全景照片的拍摄质量。
[0134]进一步地，基于本发明全景照片的拍摄方法的第一实施例，本发明还提出了与上述全景照片的拍摄装置第二实施例对应的全景照片的拍摄方法的第二实施例，与第一实施例不同的是，在第二实施例中，所述检测取景界面IlOb是否存在运动物体的步骤包括:
[0135]间隔性的获取所述取景界面IlOb的待检测图像；
[0136]对获取的相邻的两张所述待检测图像进行差分处理，生成二值图像；
[0137]根据所述二值图像检测取景界面IlOb是否存在运动物体。
[0138]在本实施例中，可以每个预设时间间隔获取一次取景界面IlOb的待检测图像，预设时间间隔例如可以为0.1s。还可以实时的获取取景界面IlOb的待检测图像。并对每相邻的两张待检测图像进行差分处理。可以根据3σ准则对待检测图像进行二值化差分处理，得到二值图像。可选的，还可以对二值图像进行滤波处理，去除虚假目标区域和孤立亮点，获得各区域的边界值。可选的，还可以利用区域生成的方法得到运动物体的完整轮廓，从而判断当前的取景界面IlOb中是否存在完整的运动物体。
[0139]可选的，在检测出取景界面IlOb存在完整的运动物体时，则判定取景界面IlOb存在运动物体。因此可以使得最终生成的全景照片存在完整的运动物体，进一步提高了全景照片的拍摄质量。
[0140]本实施例提供的检测取景界面IlOb中是否存在运动物体的方法，检测结果较为精确，进一步提高了全景照片的拍摄质量。
[0141]进一步地，为了进一步提高全景照片的拍摄质量，使得全景照片更加逼真和清晰，基于本发明全景照片的拍摄方法的第一或第二实施例，本发明还提出了与上述全景照片的拍摄装置第三实施例对应的全景照片的拍摄方法的第三实施例，与第一实施例不同的是，在第三实施例中，所述选取抓取的位于当前分界位置之前的拼接位置对应的图像帧的步骤包括:
[0142]确定在抓取过程中记录的位于当前分界位置之前的最邻近的拼接位置；
[0143]选取确定的所述最邻近的拼接位置对应的图像帧。
[0144]在本实施例中，在拍摄过程中，终端会不断的记录图像帧及其对应的拼接位置。在替换时，当前分界位置之前可能会存在若干记录的拼接位置，则与当前分界位置最近的拼接位置处的图像帧为清晰的，且该图像帧的抓取时间与当前时刻最接近，因此该图像帧中运动物体的状态与当前运动物体的状态最为接近，因此，通过选取位于当前分界位置之前的最邻近的拼接位置对应的图像帧，能够使得全景照片在保持其清晰度的基础上，进一步更加逼真，进一步提高了全景照片的拍摄质量。
[0145]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0146]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0147]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，月艮务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0148]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种全景照片的拍摄装置，其特征在于，所述全景照片的拍摄装置包括: 抓取模块，用于在拍摄全景照片的过程中，抓取取景界面的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面与取景界面之间的分界位置； 检测模块，用于检测当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求； 替换模块，用于在当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域。2.如权利要求1所述的全景照片的拍摄装置，其特征在于，所述检测模块还用于检测取景界面是否存在运动物体； 所述抓取模块还用于在所述取景界面存在运动物体时，抓取取景界面的图像帧。3.如权利要求2所述的全景照片的拍摄装置，其特征在于，所述检测模块还用于间隔性地获取所述取景界面的待检测图像，并对获取的相邻的两张所述待检测图像进行差分处理，生成二值图像，根据所述二值图像检测取景界面是否存在运动物体。4.如权利要求1至3任一项所述的全景照片的拍摄装置，其特征在于，所述替换模块还用于确定在抓取过程中记录的位于当前分界位置之前的最邻近的拼接位置，并选取确定的所述最邻近的拼接位置对应的图像帧。5.如权利要求1至3任一项所述的全景照片的拍摄装置，其特征在于，所述全景照片的拍摄装置还包括: 设置模块，用于将进行替换的所述图像帧的背离其拼接位置的侧边设置为当前基准界面与取景界面之间的分界线，并继续进行全景照片的拍摄。6.一种全景照片的拍摄方法，其特征在于，所述全景照片的拍摄方法包括: 在拍摄全景照片的过程中，抓取取景界面的图像帧，并记录所述图像帧在所述全景照片中的拼接位置，所述拼接位置为在抓取所述图像帧的时刻的基准界面与取景界面之间的分界位置； 检测当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度及平滑度是否达到预设要求； 在当前基准界面与取景界面之间的分界位置处对应的图像区域的清晰度或平滑度未达到预设要求时，选取抓取的位于当前分界位置之前的拼接位置对应的图像帧，并采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域。7.如权利要求6所述的全景照片的拍摄方法，其特征在于，所述抓取取景界面的图像帧的步骤之前，所述全景照片的拍摄方法还包括: 检测取景界面是否存在运动物体； 在所述取景界面存在运动物体时，执行所述抓取取景界面的图像帧的步骤。8.如权利要求7所述的全景照片的拍摄方法，其特征在于，所述检测取景界面是否存在运动物体的步骤包括: 间隔性地获取所述取景界面的待检测图像帧； 对获取的相邻的两张所述待检测图像帧进行差分处理，生成二值图像； 根据所述二值图像检测取景界面是否存在运动物体。9.如权利要求6至8任一项所述的全景照片的拍摄方法，其特征在于，所述选取抓取的位于当前分界位置之前的拼接位置对应的图像帧的步骤包括: 确定在抓取过程中记录的位于当前分界位置之前的最邻近的拼接位置； 选取确定的所述最邻近的拼接位置对应的图像帧。10.如权利要求6至8任一项所述的全景照片的拍摄方法，其特征在于，所述采用选取的所述图像帧替换所述全景照片中选取的所述图像帧对应的拼接位置之后的图像区域的步骤之后，还包括: 将进行替换的所述图像帧的背离其拼接位置的侧边设置为当前基准界面与取景界面之间的分界线，并继续进行全景照片的拍摄。
【文档编号】H04N5/232GK105959549SQ201610363107
【公开日】2016年9月21日
【申请日】2016年5月26日
【发明人】张翘, 吴晓妮
【申请人】努比亚技术有限公司