一种全景图像的生成和播放方法及移动终端的制作方法
【专利摘要】本发明公开了一种全景图像的生成的方法，包括：获取所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频；分别保存所述静态背景图像、运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹；根据所述保存的静态背景图像、动态视频以及运动轨迹，生成包含运动物体信息的全景图像。本发明还公开了一种全景图像的播放方法及移动终端。本发明公开的全景图像的生成和播放方法可保留运动物体信息，实现播放指定运动物体的动态视频，增加了全景图片浏览的趣味性。
【专利说明】
一种全景图像的生成和播放方法及移动终端
技术领域
[0001]本发明实施例涉及通信技术领域，并且更具体地，涉及一种全景图像的生成和播放方法及移动终端。
【背景技术】
[0002]为了扩大拍摄视区范围，尽可能多的在一幅图像中表现出拍摄场景的全景，全景图像因此应运而生。
[0003]目前，普遍采用图像拼接技术将数张有部分重叠的图像(不同时间、不同视角获得的)拼成一幅大型的无缝拼接的高分辨率全景图像，但这只适用于静态场景的拍摄，若拍摄场景中具有运动差异化，即既有移动的运动物体又有静止的背景时，现有技术中的图像拼接技术只能保存某一时刻的静态全景图像，会造成运动物体的运动信息丢失。
【发明内容】
[0004]本发明实施例提供一种全景图像的生成和播放方法及移动终端，以解决现有技术中的图像拼接技术造成运动物体的运动信息丢失的问题。
[0005]第一方面，提供了一种全景图像的生成的方法，应用于移动终端，所述移动终端包括第一摄像头，所述全景图像的生成方法包括:
[0006]接收用户全景图像的生成功能的启动请求；
[0007]获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频；
[0008]分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹；
[0009]根据所述保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。
[0010]第二方面，还提供了一种对上述方法所生成的包含运动物体信息的全景图像进行播放的方法，应用于移动终端，该方法包括:
[0011]接收用户全景图像播放功能的启动请求；
[0012]通过一个播放窗口以及至少一个播放子窗口，显示所述保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频；
[0013]根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频。
[0014]第三方面，提供了一种移动终端，所述移动终端包括第一摄像头，所述移动终端还包括:
[0015]第一接收模块，用于接收用户全景图像的生成功能的启动请求；
[0016]第一处理模块，用于根据所述第一接收模块接收到的启动请求，获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频；
[0017]保存模块，用于分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹；
[0018]第二处理模块，用于根据所述保存模块保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。
[0019 ]第四方面，还提供了一种移动终端，包括:
[0020]第二接收模块，用于接收用户全景图像播放功能的启动请求；
[0021 ]显示模块，用于根据所述第二接收模块接收到的启动请求，通过一个播放窗口以及至少一个播放子窗口，显示所述保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频；
[0022]播放模块，用于根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频。
[0023]这样，本发明实施例中，通过获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频;分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹;根据所述保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像，从而保留了全景拼接图像中的运动物体的运动信息，用户需要浏览全景拼接图像时，可通过播放窗口指定播放一个或者多个运动物体的动态视频进行播放，增加了全景图像浏览的趣味性。
【附图说明】
[0024]为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1表示本发明第一实施例提供的全景图像的生成方法的流程示意图；
[0026]图2表示本发明第一实施例提供的全景图像的生成方法的步骤S102中生成静态背景图像的具体过程的流程图；
[0027]图3表示本发明第一实施例提供的全景图像的生成方法的步骤S102中生成运动物体的动态视频的具体过程的流程图；
[0028]图4表示本发明第一实施例提供的全景图像的生成方法的步骤S1024的子步骤的流程图；
[0029]图5表示本发明第一实施例提供的全景图像的生成方法的步骤S1025的子步骤的流程图；
[0030]图6表示本发明第一实施例提供的全景图像的生成方法的具体实施例的流程图；[0031 ]图7表示本发明第二实施例提供的全景图像播放方法的流程图；
[0032]图8表示本发明第二实施例提供的全景图像的播放窗口结构示意图；
[0033]图9表示本发明第三实施例提供的移动终端的结构示意图；
[0034]图10表示本发明第三实施例提供的移动终端的另一结构示意图；
[0035]图11表示本发明第四实施例提供的移动终端的结构示意图；
[0036]图12表示本发明第四实施例提供的移动终端的另一结构示意图；
[0037]图13表示本发明第五实施例提供的移动终端的框图；
[0038]图14表示本发明第六实施例提供的移动终端的框图。
【具体实施方式】
[0039]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]第一实施例
[0041]本发明实施例提供了一种全景图像的生成方法，应用于移动终端，该移动终端具有第一摄像头，参见图1，该方法包括:
[0042]步骤S101、接收用户全景图像的生成功能的启动请求。
[0043]本步骤中，所述全景图像的生成功能的启动请求可包括物理按键触发指令，触摸手势操作指令，语音触发指令，指纹触发指令以及按压触发指令中的至少一种。具体的，上述指令被触发的方式可以是一个或多个物理按键触发、按键时间间隔方式触发、触摸屏单点或多点操作触发、红外传感器触发、加速度传感器触发、陀螺仪传感器触发、温度传感器触发、指纹识别触发、声音识别触发、手势识别触发或图像识别触发等。
[0044]当然，上述触发方式仅仅是举例说明，其他任意能够实现移动终端拍摄触发的方式均可以应用到本发明实施例中，在此不再赘述。
[0045]步骤S102、获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频。
[0046]本步骤中，通过对拍摄场景中的运动物体进行视频录制生成相应的动态视频，保留了运动物体的运动信息，使生成包含运动物体信息的全景图像成为可能。其中，被进行动态视频录制的运动物体为系统自动检测到的所有运动物体，用户还可指定录制一个或多个运动物体的运动视频，例如拍摄有2个跑步的人以及一个运动的动物的全景照片时，在录制过程，当用户通过点击等操作选择动物后，可指定该动物不进行录制，这样，所生成的包含运动物体信息的全景图像中无该动物的动态视频。
[0047]本步骤中，为了保证生成的全景图像中运动物体的运动信息与实际拍摄场景的一致性，在录制过程中，记录了每个运动物体在静态背景图像中的运动轨迹。此外，用户可以指定一个或者多个运动物体不被录制为动态视频，所指定的不被录制为动态视频的运动物体可根据用户的选择，不显示在静态背景图像中，或以静态图像的形式出现在拼接的静态背景图像中。
[0048]其中，移动终端的第一摄像头可以是前置摄像头，也可以是后置摄像头，一般优选后置摄像头。
[0049]步骤S103、分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹。
[0050]本步骤中，当接收到用户的停止拍摄并保存拍摄内容的请求时，分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹。
[0051]步骤S104、根据所述保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。
[0052]所述生成的全景图像中的运动物体信息体现在全景图像的播放过程中，包含有动态视频的播放窗口通过沿着其包含的运动物体在全景图中的运动轨迹移动，再现了运动物体在全景图坐标系下的运动信息;通过播放运动物体的动态视频，再现运动物体在动态视频播放子窗口坐标系下的运动信息。
[0053]进一步的，在对拍摄场景中的运动物体进行录制时，还可同步录制拍摄场景的音频数据，在接收到用户的停止拍摄并保存拍摄内容的请求时，保存录制的音频数据。通过同步录制音频数据，增加了拍摄场景的声音信息，进一步丰富了全景图像的信息内容，提升了用户体验。
[0054]优选的，参见图2，所述步骤S102可以具体包括:
[0055]步骤S1021、获取第一摄像头所采集的拍摄场景的连续帧图像。
[0056]其中，移动终端的第一摄像头可以是移动终端的后置摄像头，也可以是移动终端的前置摄像头，用户可根据拍摄需要进行选择。
[0057]步骤S1022、使用前后连续帧图像之间的局部特征进行配准参数估计，对所述连续帧图像进行变换。配准参数估计是目前比较常用的图像配准的方法，用于图像的拼接。
[0058]本发明实施例所述的局部特征用于根据预设的图像拼接技术，估计当前帧图像拼接到当前已拼接图像上所需要的变换。
[0059]步骤S1023、在变换后的连续帧图像中，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，生成拍摄场景的静态背景图像。
[0060]本步骤的融合拼接过程与现有的图像融合拼接过程不同的是，在变换后的连续帧图像中，对每帧图像区分了运动物体和非运动物体区域，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，从而保证所拼接的静态背景图像的每个区域的像素内容的完整性。
[0061]优选的，参见图3，所述步骤S102可以具体包括:
[0062]步骤S1024、对拍摄场景进行运动物体检测，确定至少一个运动物体区域。
[0063]本步骤中，为了能够对拍摄场景中的运动物体单独进行视频录制，首先要能够识别出拍摄场景中的运动物体，并确定运动物体的外部边界，也就是对拍摄场景进行运动物体检测，确定运动物体区域。
[0064]优选的，参见图4，所述步骤S1024具体可以包括:
[0065]步骤S10241、根据拍摄场景的连续帧图像之间的光流信息，确定至少一个运动物体的边缘信息，所述光流信息为每个像素点的连续帧间的运动矢量。
[0066]由于运动物体对于帧图像的其他区域具有更大的光流表现，因此，可根据连续帧图像之间的光流信息，确定运动物体的边缘信息。
[0067]步骤S10242、根据确定的运动物体的边缘信息，确定至少一个运动物体区域。
[0068]在步骤S10241确定运动的边缘信息之后，就可以根据边缘信息确定运动物体的外部边界，也就是确定运动物体对应的区域。
[0069]步骤S1025、对确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围。
[0070]本步骤中，根据上述步骤S1024确定的运动物体区域，对运动物体进行分割，也就是分别确定拍摄图像中的一个或多个离散的运动物体，当两个或多个运动物体在图像空间上相距较近，或存在出现遮挡现象时，可将这些运动物体作为一个运动物体来处理。在进行运动物体分割的时，确定每个分割运动物体的覆盖范围，一般分割运动物体的覆盖范围可以是一矩形区域，在该矩形区域内具有一定富余空间，可在运动物体在发生动作变化时，运动物体同样在该矩形区域内，并方便进行动态视频的录制和处理，其中每个分割的运动物体可能包括一个或多个运动物体。
[0071]优选的，参见图5，所述步骤S1025具体可以包括:
[0072]S10251、获取至少一个运动物体的纹理信息。
[0073]S10252、根据获取的运动物体的纹理信息，对确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围。
[0074]其中，基于物体的纹理连续性主要是解决运动物体内部区域在连续帧图像之间光流不明显的现象。
[0075]步骤S1026、根据所述确定的运动物体的覆盖范围，对运动物体单独进行录制，在录制过程中，对运动物体进行跟踪，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频。
[0076]本步骤中，对运动物体的跟踪可分两个步骤来完成，第一步记录运动物体在当前帧图像中的像素坐标;第二步记录当前帧图像在拼接的静态背景图像中的像素坐标，从而确定运动物体在静态背景图像中的像素坐标。
[0077]本步骤中，一方面，可以以确定的运动物体的覆盖范围为录制窗口进行录制，录制的每一视频帧的数据量比较小，可减少动态视频对存储空间的占用。另一方面，根据运动物体在静态背景图像中的像素坐标，可确定运动物体在静态背景图像中的运动轨迹，保证最终拍摄的全景图像与真实拍摄场景的一致性。其中，动态视频中，非运动区域设置为全透明，以避免动态视频在拼接的静态背景图像中播放时出现重影现象，造成图像失真。
[0078]上述内容，分别对包含运动物体信息的全景图像的生成方法进行了概括性的描述(步骤SlOl?步骤S104)，以及对步骤S102进行了具体的描述，为了对本发明实施例提供的技术的方案进行整体性的理解，下面以一具体实施例进行进一步的解释说明。
[0079I参见图6，该具体实施例包括:
[0080]步骤S601、在开始拍摄后，采集连续帧图像，然后分别执行步骤S602和步骤S606，所述步骤S602和步骤S606并行执行。[0081 ] 步骤S602、运动检测，然后执行步骤S603。
[0082]本步骤的目的是确定需要录制动态视频的运动物体。
[0083]将运动物体作为前景，由于前景相对于录制帧图像中的其他区域具有更大的光流表现，因此可根据连续帧图像之间光流信息找出运动物体边缘，也可结合用户手动刻画的区域来确定运动物体范围。其中，连续的光流差异化区域确定为同一个前景物体，这里的同一个前景物体可以是拍摄场景中的多个运动物体的组合，它们在图像空间上或相距较近，或体现出图像空间聚集的现象。
[0084]步骤S603、运动物体分割，然后执行步骤S604。
[0085]本步骤是确定需要录制动态视频区域的第二步，也就是根据步骤S602中确定运动物体的外部边界，确定多个在图像空间上离散的运动物体的覆盖范围，该覆盖范围作为录制动态视频的区域，一般设置该覆盖范围一矩形区域，方便动态视频的录制和处理。在整个拍摄过程中可以具有多个前景目标物体。当有两个或多个前景物体在图像空间上体现出聚合现象时，选择其中一个前景物体的覆盖范围，作为当前聚合前景物体的覆盖范围，在该覆盖范围内包含了聚合后的所有前景物体。
[0086]步骤S604、运动物体跟踪，然后执行步骤S605。
[0087]本步骤的目的主要是确定同一前景物体在拼接图像中的像素坐标。
[0088]本步骤主要分两个过程来完成，第一步记录前景物体在当前帧图像中的像素坐标;第二步记录当前帧图像在拼接图像中的像素坐标，在步骤S609完成之后，每一个前景物体在拼接的全景图像中的像素坐标最终确定。根据运动物体在静态背景图像中的像素坐标，可确定运动物体在静态背景图像中的运动轨迹
[0089]步骤S605、运动物体录像，然后执行步骤S608。
[0090]基于步骤S603确定的动态视频的录制区域，进行动态视频录制和视频编码，并设置非前景物体的像素区域为全透明。
[0091]另外，可同步录制音频数据，其中音频数据只有一份，而不是针对每个动态视频都具有一份音频数据。
[0092]步骤S606、局部特征提取，然后执行步骤S607。
[0093]本步骤中的局部特征，是指基于图像内容的具有一定的视角不变性、缩放不变性、亮度不变性等特征的算子，可以是SURF(Speeded Up Robust Features，加速鲁棒特征)、SIFT(Scale Invariant Feature Transform，尺度不变特征转换)等局部不变特征。本步骤所提取的局部特征用于根据预设的图像拼接技术，估计当前帧图像拼接到已拼接的中间图像上所需要的变换。
[0094]步骤S607、连续帧图像的拼接，然后执行步骤S608。
[0095]本步骤中，使用所提取的前后连续帧图像之间的局部特征进行配准参数估计，然后对所述连续帧图像进行变换，在变换后的连续帧图像中，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，生成拍摄场景的静态背景图像。
[0096]本步骤中，当前帧图像的局部特征用于和前一帧图像的局部特征进行匹配，根据特征匹配情况，进行配准参数估计，并暂存当前帧图像的局部特征以用于和下一帧图像的局部特征匹配。
[0097]步骤S608、判断拍摄是否结束，若是，执行步骤S609，若否，则执行步骤S601。
[0098]本发明实施例中，在变换后的连续帧图像中，对于当前帧和下一帧图像中，运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，例如有6帧图像，第一帧和第二帧图像融合拼接完成后，生成第一中间图像，然后需要继续将第一中间图像和第三帧图像进行融合拼接，依次类推，直至第6帧图像也融合拼接完成。
[0099]步骤S609、保存数据。
[0100]本步骤中，当结束拍摄时，分别保存拍摄场景的静态背景图像、所录制的运动物体的动态视频和音频数据以及每个运动物体在静态背景图像中的运动轨迹。
[0101]本发明实施例获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频;分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹;根据所述保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。本发明实施例所生成的全景图像保留了运动物体信息，通过同步录制音频数据，进一步丰富了全景图像的内容，提升了用户体验。
[0102]第二实施例
[0103]本发明提供了一种对根据第一实施例所述的方法所生成的包含运动物体信息的全景图像进行播放的方法，应用于移动终端，参见图7，该方法包括:
[0104]步骤S701、接收用户全景图像播放功能的启动请求。
[0105]本步骤中，所述全景图像播放功能的启动请求可包括物理按键触发指令，触摸手势操作指令，语音触发指令，指纹触发指令以及按压触发指令中的至少一种。具体的，上述指令被触发的方式可以是一个或多个物理按键触发、按键时间间隔方式触发、触摸屏单点或多点操作触发、红外传感器触发、加速度传感器触发、陀螺仪传感器触发、温度传感器触发、指纹识别触发、声音识别触发、手势识别触发或图像识别触发等。
[0106]当然，上述触发方式仅仅是举例说明，其他任意能够实现移动终端播放触发的方式均可以应用到本发明实施例中，在此不再赘述。
[0107]步骤S702、通过一个播放窗口以及至少一个播放子窗口，显示保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频。
[0108]将所述保存的拍摄场景的静态背景图像显示在播放窗口；将至少一个运动物体的动态视频分别通过一个播放子窗口显示在每个运动物体各自在静态背景图像中的运动轨迹的起点位置，其中，每个播放子窗口中非运动物体的像素区域显示为全透明，以避免动态视频播放时出现图像重影，造成图像失真，影响用户体验，还可减少动态视频的像素内容，减小动态视频的存储空间。
[0109]步骤S703、根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频。
[0110]本步骤中，用户可通过拖动进度控制滑块来控制运动物体的动态视频的播放进度。具体的，根据用户对播放窗口中的进度控制滑块的拖动操作，通过播放子窗口播放至少一个运动物体的动态视频，每个所述播放子窗口根据各自的播放进度在播放窗口中沿着各自中的运动物体各自在静态背景图像中的运动轨迹移动，所述播放进度与运动物体各自的运动轨迹同步，当已同步录制了拍摄场景的音频数据时，音频数据与所述至少一个运动物体的动态视频同步播放。
[0111]具体的，全景图像的播放窗口结构可参见图8，图8为用户调取全景图像准备播放时播放窗口所展示的内容，其中，静态背景图像801显示在播放窗口中，一个或多个动态视频的播放子窗口 802显示在静态背景图像801上，每个播放子窗口 802内部的非运动物体区域为全透明，并显示为静态背景图像的内容，每个播放子窗口 802显示在每个运动物体各自在静态背景图像中的运动轨迹的起点位置，这个起点位置由第一实施例中所记录的运动物体在静态背景图像中的运动轨迹的起点像素坐标确定。在播放窗口的下方具有一进度导轨803，在进度导轨803上设有一进度控制滑块804。其中，每个播放子窗口802会根据自身的播放进度在播放窗口中，沿着各自中的运动物体在静态背景图像801中的运动轨迹移动，保证拍摄的全景图像与实际拍摄场景的一致性。
[0112]具体的，在进行全景图像播放时，主要具有以下两种播放方式:
[0113]—是在播放窗口中显示静态背景图像的全部内容，在静态背景图像上展示运动物体对应的至少一个动态视频的播放子窗口，播放子窗口中显示动态的视频的初始画面，在开始播放时，所有动态视频同时播放，这样，用户可以一次性浏览所有全景内容，播放画面比较丰富，可提升了用户体验。
[0114]二是以浏览全景图像的方式进行播放，类似浏览视频的过程，播放窗口中的对静态背景图像的播放内容和拍摄时预览图像显示的内容同步，也就是在静态背景图像上播放动态视频的过程中，控制静态背景图像依据动态视频的播放进程，进行部分静态背景图像的播放。当动态视频的播放子窗口与整个播放窗口具有交集时，开始播放子窗口内的动态视频的播放，采用这样的播放的方式，与真实拍摄过程更符合，保证了全景图像一定的真实性。
[0115]其中，当未播放完而停止播放时，可对当前的播放进度进行保存，以便下次播放时，从保存的播放进度开始播放。
[0116]进一步的，若在拍摄过程中同步录制了音频数据，则在进行全景图像播放时，同步播放音频数据，为播放增加了声音信息，提升了用户体验。
[0117]进一步的，除了控制一个或多个动态视频在静态背景图像上同时播放，为了实现播放时每个动态视频的可操作性，可设置每个动态视频对应的播放子窗口为可选状态，根据用户对其中一动态视频的选择指令，播放被选择的动态视频，也就是用户可以选择性的播放动态视频，当选择想要播放的动态视频时，用户可手动拖动进度控制滑块在进度轨道上的移动，以控制动态视频的播放进度和动态视频的播放窗口在静态背景图像中的位置，其最大调节时间为动态视频中播放时间最长的时间值。当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。
[0118]本步骤中，用户还可通过直接拖动播放子窗口来控制运动物体的动态视频的播放进度。具体的，根据用户对某个播放子窗口的选择指令，确定所选择的播放子窗口；根据用户对所选择的播放子窗口的拖动操作，播放所选择的播放子窗口对应的运动物体的动态视频，拖动时，播放子窗口按照各自中的运动物体在静态背景图像中的运动轨迹移动，当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。
[0119]对于本发明实施例提供的包含运动物体信息的全景图像进行播放的方法，由于播放的全景图像是采用第一实施例所述的包含运动物体信息的全景图像的生成方法而生成的，由于拍摄过程已记录了运动物体在静态背景图像中的运动轨迹，在播放过程中，动态视频按照运动物体各自在静态背景图像中的运动轨迹进行播放，保证了播放的全景图像与真实拍摄场景的一致性，用户可选择性的播放一个或者多个运动物体的动态视频，通过拖动滑块或者拖动播放子窗口就可以浏览全景图像，从而增加了全景图像浏览的趣味性，提升了用户体验。
[0120]第三实施例
[0121]本发明实施例提供了一种移动终端，该移动终端包括第一摄像头，进一步的，参见图9，该移动终端900还包括:
[0122]第一接收模块901，用于接收用户全景图像的生成功能的启动请求。
[0123]其中，该第一接收模块901接收的用户全景图像的生成功能的启动请求可包括物理按键触发指令，触摸手势操作指令，语音触发指令，指纹触发指令以及按压触发指令中的至少一种。具体的，上述指令被触发的方式可以是一个或多个物理按键触发、按键时间间隔方式触发、触摸屏单点或多点操作触发、红外传感器触发、加速度传感器触发、陀螺仪传感器触发、温度传感器触发、指纹识别触发、声音识别触发、手势识别触发或图像识别触发等。
[0124]当然，上述触发方式仅仅是举例说明，其他任意能够实现移动终端拍摄触发的方式均可以应用到本发明实施例中，在此不再赘述。
[0125]第一处理模块902，用于根据接收模块901接收到的启动请求，获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频。
[0126]该第一处理模块902通过对拍摄场景中的运动物体进行视频录制生成相应的动态视频，保留了运动物体的运动信息，使生成包含运动物体信息的全景图像成为可能。为了保证生成的全景图像中运动物体的运动信息与实际拍摄场景的一致性，在录制过程中，第一处理模块902记录了每个运动物体在静态背景图像中的运动轨迹
[0127]保存模块903，用于分别保存第一处理模块902所生成的拍摄场景的静态背景图像，所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹。
[0128]第二处理模块904，用于根据所述保存模块903保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。
[0129]该第二处理模块904生成的全景图像中的运动物体信息体现在全景图像的播放过程中，包含有动态视频的播放窗口通过沿着其包含的运动物体在全景图中的运动轨迹移动，再现了运动物体在全景图坐标系下的运动信息;通过播放运动物体的动态视频，再现运动物体在动态视频播放子窗口坐标系下的运动信息。全景图像中保留了运动物体的运动信息，动静结合，增加了画面的动感，可提升了用户体验。
[0130]进一步的，该移动终端900还包括:
[0131]音频录制模块905，用于对拍摄场景中的运动物体进行录制时，同步录制拍摄场景的音频数据，并保存录制的音频数据。
[0132]本发明实施例中，通过音频录制模块905对同步音频的录制，可增加全景图像的声音信息，进一步丰富了全景图像的信息内容，提升了用户体验。
[0133]进一步的，参见图10，第一处理模块902具体包括:
[0134]获取单元9021，用于获取第一摄像头所采集的拍摄场景的连续帧图像。
[0135]其中，移动终端的第一摄像头可以是移动终端的后置摄像头，也可以是移动终端的前置摄像头，用户可根据拍摄需要进行选择。
[0136]变换单元9022，用于使用前后连续帧图像之间的局部特征进行配准参数估计，对所述连续帧图像进行变换。
[0137]本发明实施例所述的局部特征用于根据预设的图像拼接技术，估计当前帧图像拼接到当前已拼接图像上所需要的变换。
[0138]第一处理单元9023，用于在变换后的连续帧图像中，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，生成拍摄场景的静态背景图像。
[0139]由该单元生成的拍摄场景的静态背景图像中没有运动物体，或者只包含拍摄过程中用户指定留在图像中的运动物体。
[0140]该第一处理单元9023在变换后的连续帧图像中，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，从而保证所拼接的静态背景图像的每个区域的像素内容的完整性。
[0141]进一步的，参见图10，第一处理模块902具体包括:
[0142]第一确定单元9024，用于对拍摄场景进行运动物体检测，确定至少一个运动物体区域。
[0143]为了能够对拍摄场景中的运动物体单独进行视频录制，第一确定单元9024首先要能够识别出拍摄场景中的运动物体，并确定运动物体的外部边界，也就是通过该单元对拍摄场景进行运动物体检测，确定至少一个运动物体区域。
[0144]第二确定单元9025，用于对第一确定单元9024所确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围。
[OH5] 该第二确定单元9025主要是根据上述第一确定单元9024确定的至少一个运动物体区域，对运动物体进行分割，也就是分别确定拍摄图像中的一个或多个离散的运动物体，当两个或多个运动物体在图像空间上相距较近，或存在出现遮挡现象时，可将这些运动物体作为一个运动物体来处理。在进行运动物体分割的时，确定每个分割运动物体的覆盖范围，一般分割运动物体的覆盖范围可以是一矩形区域，在该矩形区域内具有一定富余空间，可在运动物体在发生动作变化时，运动物体同样在该矩形区域内，也方便进行动态视频的录制和处理，其中每个分割的运动物体可能包括一个或多个运动物体。
[0146]第二处理单元9026，用于根据第二确定单元9025所确定的运动物体的覆盖范围，对运动物体单独进行录制，在录制过程中，对运动物体进行跟踪，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频。
[0147]该第二处理单元9026可以以确定的运动物体的覆盖范围为录制窗口进行录制，录制的每一视频帧的数据量比较小，可减少动态视频对存储空间的占用。第二处理单元9026对运动物体的跟踪可分两个步骤来完成，第一步记录运动物体在当前帧图像中的像素坐标;第二步记录当前帧图像在拼接的静态背景图像中的像素坐标，从而确定运动物体在静态背景图像中的像素坐标。根据所确定的运动物体在静态背景图像中的像素坐标，可确定运动物体在静态背景图像中的运动轨迹，保证最终拍摄的全景图像与真实拍摄场景的一致性。其中，动态视频中，非运动区域设置为全透明，以避免动态视频在拼接的静态背景图像中播放时出现重影现象，造成图像失真。
[0148]进一步的，参见图10，第一确定单元9024包括:
[0149]第一确定子单元90241，用于根据拍摄场景的连续帧图像之间的光流信息，确定至少一个运动物体的边缘信息，光流信息为每个像素点的连续帧间的运动矢量。
[0150]由于运动物体对于帧图像的其他区域具有更大的光流表现，因此，该子单元可根据连续帧图像之间的光流信息，确定运动物体的边缘信息。
[0151]第二确定子单元90242，用于根据第一确定子单元90241所确定运动物体的边缘信息，确定至少一个运动物体区域。
[0152]在第一确定子单元90241确定运动的边缘信息之后，第二确定子单元90242就可以根据边缘信息确定运动物体的外部边界，也就是确定运动物体对应的区域。
[0153]进一步的，参见图10，第二确定单元9025包括:
[0154]获取子单元90251，用于获取至少一个运动物体的纹理信息；
[0155]第三确定子单元90252，用于根据获取子单元90251所获取的运动物体的纹理信息，对确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围。
[0156]其中，基于物体的纹理连续性主要是解决运动物体内部区域在连续帧图像之间光流不明显的现象。
[0157]本发明实施例的移动终端900能够实现图1至图6的方法实施例中移动终端实现的各个过程，为避免重复，这里不再赘述
[0158]本发明实施例的移动终端900通过上述模块，获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频;分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹;根据所述保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。本发明实施例通过上述模块所生成的全景图像保留了运动物体信息，并通过同步录制音频数据，进一步丰富了全景图像的内容，提升了用户体验。
[0159]第四实施例
[0160]本发明实施例提供了一种移动终端，参见图11，该移动终端1100包括:
[0161]第二接收模块1101，用于接收用户全景图像播放功能的启动请求。
[0162]其中，该第二接收模块1101接收的用户全景图像播放功能的启动请求可包括物理按键触发指令，触摸手势操作指令，语音触发指令，指纹触发指令以及按压触发指令中的至少一种。具体的，上述指令被触发的方式可以是一个或多个物理按键触发、按键时间间隔方式触发、触摸屏单点或多点操作触发、红外传感器触发、加速度传感器触发、陀螺仪传感器触发、温度传感器触发、指纹识别触发、声音识别触发、手势识别触发或图像识别触发等。
[0163]当然，上述触发方式仅仅是举例说明，其他任意能够实现移动终端播放触发的方式均可以应用到本发明实施例中，在此不再赘述。
[0164]显示模块1102，用于根据第二接收模块1101接收到的启动请求，通过一个播放窗口以及至少一个播放子窗口，显示保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频。
[0165]该显示模块1102将所述保存的拍摄场景的静态背景图像显示在播放窗口，并将至少一个运动物体的动态视频分别通过一个播放子窗口显示在每个运动物体各自在静态背景图像中的运动轨迹的起点位置，其中，每个播放子窗口中非运动物体的像素区域为显示为全透明，以避免动态视频播放时出现图像重影，造成图像失真，影响用户体验，也可减少动态视频的像素内容，减小动态视频的存储空间。
[0166]播放模块1103，用于根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频。
[0167]本发明实施例中，用户可通过拖动进度控制滑块来控制运动物体的动态视频的播放进度。具体的，根据用户对播放窗口中的进度控制滑块的拖动操作，播放模块1103通过播放子窗口播放至少一个运动物体的动态视频，所述播放子窗口根据各自的播放进度在播放窗口中沿着各自中的运动物体在静态背景图像中的运动轨迹移动，所述播放进度与运动物体各自的运动轨迹同步，当已同步录制了拍摄场景的音频数据时，音频数据与所述至少一个运动物体的动态视频同步播放。
[0168]播放模块1103除了控制一个或多个动态视频在静态背景图像上同时播放，为了实现播放时每个动态视频的可操作性，可设置每个动态视频对应的播放子窗口为可选状态，根据用户对其中一动态视频的选择指令，播放被选择的动态视频，也就是用户可以选择性的播放动态视频，当选择想要播放的动态视频时，用户可手动拖动进度控制滑块在进度轨道上的移动，以控制动态视频的播放进度和动态视频的播放窗口在静态背景图像中的位置，其最大调节时间为动态视频中播放时间最长的时间值。当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。
[0169]具体的，在进行全景图像播放时，可设置播放模块1103具有以下两种播放方式:
[0170]—是在播放窗口中显示静态背景图像的全部内容，在静态背景图像上展示运动物体对应至少一个动态视频的播放子窗口，播放子窗口中显示动态的视频的初始画面，在开始播放时，所有动态视频同时播放，这样，用户可以一次性浏览所有全景内容，播放画面比较丰富，可提升了用户体验。
[0171]二是以浏览全景图像的方式进行播放，类似观看视频的过程，播放窗口中的对静态背景图像的播放内容和拍摄时预览图像显示的内容同步，也就是在静态背景图像上播放动态视频的过程中，控制静态背景图像依据动态视频的播放进程，进行部分静态背景图像的播放。当动态视频的播放子窗口与整个播放窗口具有交集时，开始播放子窗口内的动态视频的播放，采用这样的播放的方式，与真实拍摄过程更符合，保证了全景图像一定的真实性。
[0172]其中，当未播放完而停止播放时，可对当前的播放进度进行保存，以便下次播放时，从保存的播放进度开始播放。
[0173]本发明实施例中，用户还可通过直接拖动播放子窗口来控制运动物体的动态视频的播放进度。具体的，根据用户对某个播放子窗口的选择指令，确定所选择的播放子窗口；播放模块1103根据用户对所选择的播放子窗口的拖动操作，播放所选择的播放子窗口对应的运动物体的动态视频，拖动时，播放子窗口按照各自中的运动物体在静态背景图像中的运动轨迹移动，当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。
[0174]进一步的，参见图12，显示模块1102包括:
[0175]第一显示单元11021，用于将保存的拍摄场景的静态背景图像显示在播放窗口。
[0176]第二显示单元11022，用于将至少一个运动物体的动态视频分别通过一个播放子窗口显示在每个运动物体各自在静态背景图像中的运动轨迹的起点位置。
[0177]其中，每个播放子窗口中非运动物体的像素区域显示为全透明，以避免动态视频播放时出现图像重影，造成图像失真，影响用户体验，也可减少动态视频的像素内容，减小动态视频的存储空间。
[0178]进一步的，参见图12，播放模块1103包括:
[0179]第一播放单元11031，用于根据用户对播放窗口中的进度控制滑块的拖动操作，通过播放子窗口播放至少一个运动物体的动态视频，每个所述播放子窗口根据各自的播放进度在播放窗口中沿着各自中的运动物体在静态背景图像中的运动轨迹移动，所述播放进度与运动物体各自的运动轨迹同步，当已同步录制了拍摄场景的音频数据时，音频数据与所述至少一个运动物体的动态视频同步播放。也就是，通过该第一播放单元11031可根据用户播放窗口中的进度控制滑块的拖动操作，控制动态视频的播放进度。
[0180]进一步的，参见图12，播放模块1103包括:
[0181]第三确定单元11032，用于根据用户对某个播放子窗口的选择指令，确定所选择的播放子窗口。
[0182]第二播放单元11033，用于根据用户对所选择的播放子窗口的拖动操作，播放所选择的播放子窗口对应的运动物体的动态视频，拖动时，播放子窗口按照各自中的运动物体在静态背景图像中的运动轨迹移动，当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。
[0183]本发明实施例的移动终端1100能够实现图7至图8的方法实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
[0184]本发明实施例的移动终端通过上述模块，实现了在播放过程中，动态视频按照运动物体各自在静态背景图像中的运动轨迹进行播放，保证了播放的全景图像与真实拍摄场景的一致性，用户可选择性的播放一个或者多个运动物体的动态视频，通过拖动滑块或者拖动播放子窗口就可以浏览运动物体的运动状态，从而增加了全景图像浏览的趣味性，提升了用户体验。
[0185]第五实施例
[0186]图13是本发明另一个实施例的移动终端的结构示意图。具体地，图13中的移动终端1300可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)、或车载电脑等。
[0187]图13中的移动终端1300包括射频(Rad1 Frequency，RF)电路1301、存储器1302、输入单元1303、显示单元1304、拍照模组1305、处理器1306、音频电路1307、WiFi (WirelessFidelity)模块1308、电源1309和播放模块1310，所述拍照模组1305包括第一摄像头。
[0188]其中，输入单元1330可用于接收用户输入的数字或字符信息，以及产生与移动终端1300的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元1303可以包括触控面板13031。触控面板13031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板13031上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板13031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器1306，并能接收处理器1306发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板13031。除了触控面板13031，输入单元1303还可以包括其他输入设备13032，其他输入设备13032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0189]其中，显示单元1304可用于显示由用户输入的信息或提供给用户的信息以及移动终端1300的各种菜单界面。显示单元1304可包括显示面板13041，可选的，可以采用IXD或有机发光二极管(Organic Light-Emitting D1de，0LED)等形式来配置显示面板13041。在本发明实施例进行拍摄过程中，可通过显示单元1304显示拍摄场景。
[0190]应注意，触控面板13031可以覆盖显示面板13041，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器1306以确定触摸事件的类型，随后处理器1306根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。在本发明实施例中，用户可通过触控面板输入包含运动物体信息的全景图像的生成功能的启动请求。
[0191]触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
[0192]其中处理器1306是移动终端1300的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器13021内的软件程序和/或模块，以及调用存储在第二存储器13022内的数据，执行移动终端1300的各种功能和处理数据，从而对移动终端1300进行整体监控。可选的，处理器1306可包括一个或多个处理单元。
[0193]在本发明实施例中，通过调用存储该第一存储器13021内的软件程序和/或模块和/或该第二存储器13022内的数据，输入单元1303用于接收用户全景图像的生成功能的启动请求;拍照模组1305用于根据输入单元1303接收的启动请求，获取第一摄像头所采集的拍摄场景的连续帧图像;处理器1306用于将拍照模组1305采集的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频;存储器1302用于分别保存处理器1306所生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹;处理器1306还用于根据所述存储器1302保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。
[0194]可选的，拍照模组1305具体用于获取第一摄像头所采集的拍摄场景的连续帧图像;处理器1306具体用于使用前后连续帧图像之间的局部特征进行配准参数估计，对所述连续帧图像进行变换;在变换后的连续帧图像中，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，生成拍摄场景的静态背景图像。
[0195]可选的，处理器1306具体用于对拍摄场景进行运动物体检测，确定至少一个运动物体区域;对所述确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围;根据所述确定的运动物体的覆盖范围，对运动物体单独进行录制，在录制过程中，对运动物体进行跟踪，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频。
[0196]可选的，处理器1306具体用于根据拍摄场景的连续帧图像之间的光流信息，确定至少一个运动物体的边缘信息，所述光流信息为每个像素点的连续帧间的运动矢量;根据所述确定运动物体的边缘信息，确定至少一个运动物体区域。
[0197]可选的，处理器1306具体用于获取至少一个运动物体的纹理信息；根据所述获取的运动物体的纹理信息，对所述确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围。
[0198]可选的，音频电路1307具体用于同步录制拍摄场景的音频数据，并通过第二存储器13022保存音频电路1307所录制的音频数据。
[0199]本发明实施例移动终端的输入单元1303接收用户全景图像的生成功能的启动请求;拍照模组1305根据输入单元1303接收的启动请求，获取第一摄像头所采集的拍摄场景的连续帧图像;处理器1306将拍照模组1305采集的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频；存储器1302分别保存处理器1306所生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹；处理器1306根据所述存储器1302保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。本发明实施例通过上述模块所生成的全景图像保留了运动物体信息，通过同步录制音频数据，进一步丰富了全景图像的内容，提升了用户体验。
[0200]第六实施例
[0201]图14是本发明另一个实施例的移动终端的框图。图14所示的移动终端1400包括:至少一个处理器1401、存储器1402、至少一个网络接口 1404和其他用户接口 1403。移动终端1400中的各个组件通过总线系统1405耦合在一起。可理解，总线系统1405用于实现这些组件之间的连接通信。总线系统1405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图14中将各种总线都标为总线系统1405。
[0202]其中，用户接口 1403可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏、拍照模组等，本发明实施例中，拍照模组包括前置摄像头和后置摄像头。
[0203]可以理解，本发明实施例中的存储器1402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory ,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PR0M，EPR0M)、电可擦除可编程只读存储器(Electrically EPROM,EEPR0M)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本发明实施例描述的系统和方法的存储器1402旨在包括但不限于这些和任意其它适合类型的存储器。
[0204]在一些实施方式中，存储器1402存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:操作系统14021和应用程序14022。
[0205]其中，操作系统14021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序14022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序14022中。
[0206]其中，处理器1401可能是一种集成电路芯片，具有信号的处理能力。处理器1401可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Applicat1n Specific Integrated Circui t，ASIC)、现成可编程门阵列(Fi eldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1402，处理器1401读取存储器1402中的信息，结合其硬件完成上述方法的步骤。
[0207]可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Applicat1n Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device ,DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
[0208]对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0209]在本发明实施例中，通过调用存储器1402存储的程序或指令，具体的，可以是应用程序14022中存储的程序或指令，用户接口 1403用于接收用户全景图像播放功能的启动请求;存储模块1402中的应用程序14022用于根据用户接口 1403接收的启动请求，通过一个播放窗口以及至少一个播放子窗口，显示保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频;并根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频。
[0210]可选的，应用程序14022具体用于将保存的拍摄场景的静态背景图像显示在播放窗口 ；将至少一个运动物体的动态视频分别通过一个播放子窗口显示在每个运动物体各自在静态背景图像中的运动轨迹的起点位置，其中，每个播放子窗口中非运动物体的像素区域显示为全透明。
[0211 ]可选的，应用程序14022具体用于根据用户对播放窗口中的进度控制滑块的拖动操作，通过播放子窗口播放至少一个运动物体的动态视频，每个所述播放子窗口根据各自的播放进度在播放窗口中沿着各自中的运动物体在静态背景图像中的运动轨迹移动，所述播放进度与运动物体各自的运动轨迹同步，当已同步录制了拍摄场景的音频数据时，音频数据与所述至少一个运动物体的动态视频同步播放。
[0212]可选的，应用程序14022具体用于根据用户对某个播放子窗口的选择指令，确定所选择的播放子窗口；根据用户对所选择的播放子窗口的拖动操作，播放所选择的播放子窗口对应的运动物体的动态视频，拖动时，播放子窗口按照各自中的运动物体在静态背景图像中的运动轨迹移动，当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。
[0213]本发明实施例的移动终端通过上述模块，实现了在播放过程中，动态视频按照运动物体各自在静态背景图像中的运动轨迹进行播放，保证了播放的全景图像与真实拍摄场景的一致性，用户可选择性的播放一个或者多个运动物体的动态视频，通过拖动滑块或者拖动播放子窗口就可以浏览运动物体的运动状态，从而增加了全景图像浏览的趣味性，提升了用户体验。
[0214]本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0215]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0216]在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0217]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0218]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0219]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0220]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
[0221]以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。
【主权项】
1.一种全景图像的生成方法，应用于移动终端，所述移动终端包括第一摄像头，其特征在于，所述全景图像的生成方法包括: 接收用户全景图像的生成功能的启动请求； 获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频； 分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹； 根据所述保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。2.根据权利要求1所述的方法，其特征在于，所述获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，包括: 获取所述第一摄像头所采集的拍摄场景的连续帧图像； 使用前后连续帧图像之间的局部特征进行配准参数估计，对所述连续帧图像进行变换； 在变换后的连续帧图像中，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，生成拍摄场景的静态背景图像。3.根据权利要求1所述的方法，其特征在于，所述对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频，包括: 对拍摄场景进行运动物体检测，确定至少一个运动物体区域； 对所述确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围； 根据所述确定的运动物体的覆盖范围，对运动物体单独进行录制，在录制过程中，对运动物体进行跟踪，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频。4.根据权利要求3所述的方法，其特征在于，所述对拍摄场景进行运动物体检测，确定至少一个运动物体区域，包括: 根据拍摄场景的连续帧图像之间的光流信息，确定至少一个运动物体的边缘信息，所述光流信息为每个像素点的连续帧间的运动矢量； 根据所述确定运动物体的边缘信息，确定至少一个运动物体区域。5.根据权利要求3所述的方法，其特征在于，所述对所述确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围，包括: 获取至少一个运动物体的纹理信息； 根据所述获取的运动物体的纹理信息，对所述确定的运动物体区域进行运动物体分害J，确定运动物体的覆盖范围。6.根据权利要求1所述的方法，其特征在于，对拍摄场景中的运动物体进行录制时，所述方法还包括: 同步录制拍摄场景的音频数据，并保存所述录制的音频数据。7.—种对根据权利要求1至6中任一项所述的方法所生成的包含运动物体信息的全景图像进行播放的方法，其特征在于，包括: 接收用户全景图像播放功能的启动请求； 通过一个播放窗口以及至少一个播放子窗口，显示所述保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频； 根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频。8.根据权利要求7所述的方法，其特征在于，所述通过一个播放窗口以及至少一个播放子窗口，显示所述保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频，包括: 将所述保存的拍摄场景的静态背景图像显示在播放窗口 ； 将至少一个运动物体的动态视频分别通过一个播放子窗口显示在每个运动物体各自在静态背景图像中的运动轨迹的起点位置，其中，每个播放子窗口中非运动物体的像素区域显示为全透明。9.根据权利要求7所述的方法，其特征在于，所述根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频，包括: 根据用户对播放窗口中的进度控制滑块的拖动操作，通过播放子窗口播放至少一个运动物体的动态视频，每个所述播放子窗口根据各自的播放进度在播放窗口中沿着各自中的运动物体在静态背景图像中的运动轨迹移动，所述播放进度与运动物体各自的运动轨迹同步，当已同步录制了拍摄场景的音频数据时，音频数据与所述至少一个运动物体的动态视频同步播放。10.根据权利要求7所述的方法，其特征在于，所述根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频，包括: 根据用户对某个播放子窗口的选择指令，确定所选择的播放子窗口 ； 根据用户对所选择的播放子窗口的拖动操作，播放所选择的播放子窗口对应的运动物体的动态视频，拖动时，播放子窗口按照各自中的运动物体在静态背景图像中的运动轨迹移动，当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。11.一种移动终端，所述移动终端包括第一摄像头，其特征在于，所述移动终端还包括: 第一接收模块，用于接收用户全景图像的生成功能的启动请求； 第一处理模块，用于根据所述第一接收模块接收到的启动请求，获取所述第一摄像头所采集的拍摄场景的连续帧图像，根据预设图像拼接算法生成拍摄场景的静态背景图像，并对拍摄场景中的至少一个运动物体进行录制，在录制过程中，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频； 保存模块，用于分别保存所述生成的拍摄场景的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹； 第二处理模块，用于根据所述保存模块保存的静态背景图像、所录制的运动物体的动态视频以及每个运动物体在静态背景图像中的运动轨迹，生成包含运动物体信息的全景图像。12.根据权利要求11所述的移动终端，其特征在于，所述第一处理模块包括: 获取单元，用于获取所述第一摄像头所采集的拍摄场景的连续帧图像； 变换单元，用于使用前后连续帧图像之间的局部特征进行配准参数估计，对所述连续帧图像进行变换； 第一处理单元，用于在变换后的连续帧图像中，对于运动物体和非运动物体重叠的区域，用非运动物体的像素内容进行融合拼接，生成拍摄场景的静态背景图像。13.根据权利要求11所述的移动终端，其特征在于，所述第一处理模块包括: 第一确定单元，用于对拍摄场景进行运动物体检测，确定至少一个运动物体区域； 第二确定单元，用于对所述第一确定单元所确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围； 第二处理单元，根据所述第二确定单元确定的运动物体的覆盖范围，对运动物体单独进行录制，在录制过程中，对运动物体进行跟踪，记录每个运动物体在静态背景图像中的运动轨迹，生成至少一个运动物体的动态视频。14.根据权利要求13所述的移动终端，其特征在于，所述第一确定单元包括: 第一确定子单元，用于根据拍摄场景的连续帧图像之间的光流信息，确定至少一个运动物体的边缘信息，所述光流信息为每个像素点的连续帧间的运动矢量； 第二确定子单元，用于根据所述第一确定子单元所确定运动物体的边缘信息，确定至少一个运动物体区域。15.根据权利要求13所述的移动终端，其特征在于，所述第二确定单元包括: 获取子单元，用于获取至少一个运动物体的纹理信息； 第三确定子单元，用于根据所述获取子单元所获取的运动物体的纹理信息，对所述确定的运动物体区域进行运动物体分割，确定运动物体的覆盖范围。16.根据权利要求11所述的移动终端，其特征在于，所述移动终端还包括: 音频录制模块，用于对拍摄场景中的运动物体进行录制时，同步录制拍摄场景的音频数据，并保存所述录制的音频数据。17.一种移动终端，其特征在于，包括: 第二接收模块，用于接收用户全景图像播放功能的启动请求； 显示模块，用于根据所述第二接收模块接收到的启动请求，通过一个播放窗口以及至少一个播放子窗口，显示所述保存的拍摄场景的静态背景图像以及至少一个运动物体的动态视频； 播放模块，用于根据用户的播放控制操作，按照每个运动物体在静态背景图像中的运动轨迹播放至少一个运动物体的动态视频。18.根据权利要求17所述的移动终端，其特征在于，所述显示模块包括: 第一显示单元，用于将所述保存的拍摄场景的静态背景图像显示在播放窗口； 第二显示单元，用于将至少一个运动物体的动态视频分别通过一个播放子窗口显示在每个运动物体各自在静态背景图像中的运动轨迹的起点位置，其中，每个播放子窗口中非运动物体的像素区域显示为全透明。19.根据权利要求17所述的移动终端，其特征在于，所述播放模块包括: 第一播放单元，用于根据用户对播放窗口中的进度控制滑块的拖动操作，通过播放子窗口播放至少一个运动物体的动态视频，每个所述播放子窗口根据各自的播放进度在播放窗口中沿着各自中的运动物体在静态背景图像中的运动轨迹移动，所述播放进度与运动物体各自的运动轨迹同步，当已同步录制了拍摄场景的音频数据时，音频数据与所述至少一个运动物体的动态视频同步播放。20.根据权利要求17所述的移动终端，其特征在于，所述播放模块包括: 第三确定单元，用于根据用户对某个播放子窗口的选择指令，确定所选择的播放子窗P； 第二播放单元，用于根据用户对所选择的播放子窗口的拖动操作，播放所选择的播放子窗口对应的运动物体的动态视频，拖动时，播放子窗口按照运动物体各自在静态背景图像中的运动轨迹移动，当已同步录制了拍摄场景的音频数据时，音频数据与所选择的播放子窗口对应的运动物体的动态视频同步播放。
【文档编号】H04N5/232GK105827946SQ201510843669
【公开日】2016年8月3日
【申请日】2015年11月26日
【发明人】张新远
【申请人】维沃移动通信有限公司