全景图像生成方法和装置与流程

本公开涉及一种图像技术领域，特别是涉及一种全景图像生成方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机技术的发展，智能终端的应用范围得到了广泛的提高，例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说，其拍照像素已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。

目前在采用智能终端进行拍照或录制视频时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果，还可以通过从网络端下载应用程序(application，简称为：app)来实现具有附加功能的拍照效果，例如可以实现暗光检测、美颜相机和超级像素等功能的app。目前也有app可以生成三维场景。

目前的三维场景一般根据模板或者图像生成，当将三维场景与图像传感器所采集的真实场景融合时，会发生融合不好的情况，比如会将真实场景中的其他图像均融合到三维场景中，影响显示效果

技术实现要素：

本公开全景图像生成方法、装置、电子设备和计算机可读存储介质。

根据本公开的一个方面，提供以下技术方案：

一种全景图像生成方法，包括：

加载三维场景；

将图像传感器定位于所述三维场景的原点；

判断所述图像传感器所采集的第一图像中是否出现预定目标；

如果出现所述预定目标，则将所述预定目标从所述第一图像中抽取出来；

根据三维场景和所述预定目标，生成所述全景图像。

进一步的，所述加载三维场景包括：获取所述三维场景的背景图，根据所述背景图生成所述三维场景。

进一步的，所述三维场景为六面体，所述背景图包括所述六面体的6个面的图像。

进一步的，所述判断所述图像传感器所采集的第一图像中是否出现预定目标，包括：识别所述预定目标的特征点，根据所述特征点判断是否出现所述预定目标。

进一步的，所述判断所述图像传感器所采集的第一图像中是否出现预定目标之前，还包括：读取位姿传感器的数据，根据所述位姿传感器的数据判断图像传感器的朝向，根据所述朝向，在全景图像生成装置上显示所述三维场景的部分场景图像。

进一步的，所述位姿传感器的数据包括位置和姿态，所述位置用于描述所述图像传感器在所述三维场景中的位置，所述姿态用于描述所述图像传感器的拍摄角度。

进一步的，所述根据三维场景和所述预定目标，生成所述全景图像，包括：根据所述三维场景的部分场景图像和所述预定目标，生成所述全景图像。

进一步的，所述根据三维场景和所述预定目标，生成所述全景图像，包括：将所述三维场景作为全景图的背景，将所述预定目标作为全景图的前景，融合所述三维场景和预定目标，生成所述全景图像。

进一步的，所述将所述预定目标从所述第一图像中抽取出来，包括：将所述第一图像的前景和背景抽取出来，获取所述预定目标，并将其他前景和背景透明化。

进一步的，所述判断所述图像传感器所采集的第一图像中是否出现预定目标之前，还包括：选择预设目标的类型。

根据本公开的另一个方面，还提供以下技术方案：

一种全景图像生成装置，包括：

加载模块，用于加载三维场景；

定位模块，用于将图像传感器定位于所述三维场景的原点；

预定目标判断模块，用于判断所述图像传感器所采集的第一图像中是否出现预定目标；

预定目标抽取模块，用于如果出现所述预定目标，则将所述预定目标从所述第一图像中抽取出来；

全景生成模块，用于根据三维场景和所述预定目标，生成所述全景图像。

进一步的，所述加载模块，还用于获取所述三维场景的背景图，根据所述背景图生成所述三维场景。

进一步的，所述三维场景为六面体，所述背景图包括所述六面体的6个面的图像。

进一步的，预定目标判断模块，还用于识别所述预定目标的特征点，根据所述特征点判断是否出现所述预定目标。

进一步的，所述全景生成模块，还包括：前景和背景设置模块，用于将所述三维场景作为全景图的背景，将所述预定目标作为全景图的前景；融合模块，用于融合所述三维场景和预定目标，生成所述全景图像。

进一步的，所述预定目标抽取模块，还包括：前景和背景抽取模块，用于将所述第一图像的前景和背景抽取出来，获取所述预定目标；透明模块，用于并将其他前景和背景透明化。

进一步的，所述全景图像生成装置，还包括：类型选择模块，用于选择预设目标的类型。

进一步的，所述全景图像生成装置，还包括了：位姿传感器数据读取模块，用于读取位姿传感器的数据，根据所述位姿传感器的数据判断图像传感器的朝向，根据所述朝向，在全景图像生成装置上显示所述三维场景的部分场景图像。

进一步的，所述位姿传感器的数据包括位置和姿态，所述位置用于描述所述图像传感器在所述三维场景中的位置，所述姿态用于描述所述图像传感器的拍摄角度。

进一步的，所述全景生成模块，用于根据所述三维场景的部分场景图像和所述预定目标，生成所述全景图像。

根据本公开的又一个方面，还提供以下技术方案：

一种电子设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一方法所述的步骤。

根据本公开的又一个方面，还提供以下技术方案：

一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一方法中所述的步骤。

本公开实施例提供一种全景图像生成方法、装置、硬件装置和计算机可读存储介质。其中，该全景图像生成方法包括：加载三维场景；将图像传感器定位于所述三维场景的原点；判断所述图像传感器所采集的第一图像中是否出现预定目标；如果出现所述预定目标，则将所述预定目标从所述第一图像中抽取出来；根据三维场景和所述预定目标，生成所述全景图像。在现有技术中，现实图像只能整体与三维场景融合，且融合的效果不够细致，如可能发生图像中的物体与三维场景发生镶嵌，该技术方案将出现在图像传感器中的预定目标抽取出之后，与三维场景融合，以更好的将现实图像与三维场景的融合，使融合更加细致。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1为根据本公开一个实施例的全景图像生成方法的流程示意图；

图2为根据本公开又一个实施例的全景图像生成方法的流程示意图；

图3为图2实施例中确定图像传感器的取景范围的方法示意图；

图4为根据本公开一个实施例的全景图像生成装置的结构示意图；

图5为根据本公开又一个实施例的全景图像生成装置的结构示意图；

图6为根据本公开一个实施例的电子设备的结构示意图；

图7为根据本公开一个实施例的计算机可读存储介质的结构示意图；

图8为根据本公开一个实施例的全景图像生成终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

为了解决如何提高用户体验效果的技术问题，本公开实施例提供一种全景图像生成方法。本实施例提供的该全景图像生成方法可以由一全景图像生成装置来执行，该全景图像生成装置可以实现为软件，或者实现为软件和硬件的组合，该全景图像生成装置可以集成设置在图像处理系统中的某设备中，比如图像处理服务器或者图像处理终端设备中。如图1所示，该全景图像生成方法主要包括如下步骤s1至步骤s5。其中：

步骤s1：加载三维场景。

其中，所述三维场景的加载可以有两种方式，第一种方式是直接加载三维场景模板，所述三维场景模板是已经制作好的三维场景，获取所述三维场景模板，并对其进行配置，完成三维场景的加载；第二种方式是加载三维场景所需要的图像，比如三维场景为一个六面体，此时可以获取所述六面体三维场景的六个面的图像，设置所述6个图像的位置，比如上、下、左、右、前、后六个位置，之后加载三维场景时，直接根据所述6个图像生成所述三维场景。在第二种方式中，涉及到图片的拼接，可以同过在图像上标注特征点，在拼接的时候，根据所述特征点对所述图像进行拼接，生成三维场景。

步骤s2：将图像传感器定位于所述三维场景的原点。

在该实施例中，所述全景图像生成方法可以运行于终端中，所述终端包括图像传感器，如摄像头，当三维场景加载完成之后，将图像传感器的位置设置于三维场景的原点，在本公开中，所述原点可以为所述三维场景的中心点，如三维场景是球体，则所述原点为球体的中心，三维场景为正六面体，则原点为三维场景的中心，所述中心可以由六面体不再同一面上顶点的连线决定等等。根据所述原点，在三维场景中建立三维坐标系，所述终端移动时，可以始终将终端的位置设置为原点；也可以固定所述原点，当终端移动时，所述终端在三维场景中移动，可以实时确定所述终端的坐标。

步骤s3：判断所述图像传感器所采集的第一图像中是否出现预定目标。

在该实施例中，图像传感器采集现实中的第一图像，所述第一图像中包括现实场景中的多个目标，比如在一个房间场景中，可能包括桌子、椅子以及人物等，预先可以设置预定目标，比如人物，则可以根据人脸特征点来识别第一图像中是否出现了人物。以人脸为例说明特征点的获取方法，人脸轮廓主要包括眉毛、眼睛、鼻子、嘴巴和脸颊5个部分，有时还会包括瞳孔和鼻孔，一般来说实现对人脸轮廓较为完整的描述，需要特征点的个数在60个左右，如果只描述基本结构，不需要对各部位细节进行详细描述，或不需要描述脸颊，则可以相应降低特征点数目，如果需要描述瞳孔、鼻孔或者需要更细节的五官特征，则可以增加特征点的数目。在图像上进行人脸特征点提取，相当于寻找每个人脸轮廓特征点在人脸图像中的对应位置坐标，即特征点定位，这一过程需要基于特征点对应的特征进行，在获得了能够清晰标识特征点的图像特征之后，依据此特征在图像中进行搜索比对，在图像上精确定位特征点的位置。由于特征点在图像中仅占据非常小的面积(通常只有几个至几十个像素的大小)，特征点对应的特征在图像上所占据的区域通常也是非常有限和局部的，目前用的特征提取方式有两种：(1)沿轮廓垂向的一维范围图像特征提取；(2)特征点方形邻域的二维范围图像特征提取。上述两种方式有很多种实现方法，如asm和aam类方法、统计能量函数类方法、回归分析方法、深度学习方法、分类器方法、批量提取方法等等。上述各种实现方法所使用的特征点个数，准确度以及速度各不相同，适用于不同的应用场景。

在该实施例中，可以通过部分特征点识别出预定目标的一部分，之后根据这一部分继续识别完整的预定目标，比如通过人脸识别，确定出现了人物，之后再根据人物身体的其他特征点，识别出人物的身体和四肢等。

在该步骤s3之前，还可以包括：

步骤s31，选择预设目标的类型。

在该步骤中，可以选择所述预设目标的类型，比如人物、房屋、树木、花草等。每种类型的预设目标使用不同的特征点来识别。可以理解的是，可以同时选择多种预设目标的类型，以识别出多种预设目标。

步骤s4：如果出现所述预定目标，则将所述预定目标从所述第一图像中抽取出来。

如果在步骤s3中，识别出预定目标，比如说人物，则将所述人物从现实图像中抽取出来，此处的抽取可以使用抠图操作来实现。抠图是一种把图像的前景部分从背景中分离出来的技术,它通过用户指定图像中少量部分前景和背景区域,并根据这些提示按照一定的判定规则分离出所有的前景物体。图像可以使用以下公式来表示：

c＝αf+(1-α)b

其中c表示图像像素，f表示前景图像像素，b表示背景图像像素，α表示透明度，0≤α≤1，前景抠图是根据当前图像像素c的灰度值求解3个变量的值，在求解过程中，可以使用多种方法，其中一种方法为基于采样的方法，基于采样的方法假定每个未知像素的前景和背景分量可以从其周围的已知像素中得到，对于每个未知像素，通过在已知区域中寻找最优的前背景对来进一步求解α值。采样的方式有多种，其中典型的一种为全面采样方法中，该方法在靠近已知前景和背景的地方以较小邻域进行采样，在远离已知前景和背景的地方则用较大的邻域进行采样，从而使得采样点更为全面。多数抠图方法均是对上述公式进行求解，只是求解的方式不同。本公开不限定具体的预定目标抽取方法，只要是能够抽取图像中的特定目标的方法均可引入本公开技术方案中。

在本公开中，使用抠图的方式进行预定目标抽取时，也可用不同的方式实现。典型的，可以在步骤s3中识别出预定目标之后，对预定目标及其附近预设范围内的图像进行抠图，直接抽取出预定目标；或者可以将所有的前景图像和背景图像抽取出来，在所述前景图像中获取预定目标，并将其他前景图像和背景图像透明化，以此抽取出预定目标。

步骤s5:根据三维场景和所述预定目标，生成所述全景图像。

在步骤s1中加载三维场景，在步骤s5中抽取出预定目标，在该步骤中，将三维场景和所述预设目标合成全景图像，具体的将所述三维场景作为全景图像的背景分量，将所述预设目标作为全景图像的前景分量，根据公式：

c＝αf+(1-α)b

在设定了α值的情况下，可以计算出合成之后的全景图像，此处的α值可以预先设定，也可以提供设定接口，使用户可以自定义α值，并通过全景图像生成装置实时预览不同的α值的合成效果。

在该实施例中，可以根据所述三维场景以及所述预设目标生成渲染序列，在该渲染序列中，首先渲染所述三维场景，之后渲染所述预设目标，在三维场景和预设目标重叠的位置，将所述三维场景设置为透明(α＝1)。

本公开实施例提供一种全景图像生成方法、装置、硬件装置和计算机可读存储介质。其中，该全景图像生成方法包括：加载三维场景；将图像传感器定位于所述三维场景的原点；判断所述图像传感器所采集的第一图像中是否出现预定目标；如果出现所述预定目标，则将所述预定目标从所述第一图像中抽取出来；根据三维场景和所述预定目标，生成所述全景图像。在现有技术中，现实图像只能整体与三维场景融合，且融合的效果不够细致，如可能发生图像中的物体与三维场景发生镶嵌，该技术方案将出现在图像传感器中的预定目标抽取出之后，与三维场景融合，以更好的将现实图像与三维场景的融合，使融合更加细致。

如图2所示，在一个可选的实施例中，在步骤s3即判断所述图像传感器所采集的第一图像中是否出现预定目标之前，还可以包括：

步骤s32,读取位姿传感器的数据，根据所述位姿传感器的数据判断所述图像传感器的朝向，根据所述朝向，在全景图像生成装置上显示所述三维场景的部分场景图像。

所述位姿传感器设置于图像传感器所在的终端上或者直接与所述图像传感器设置在一起，其目的在于判断图像传感器的位置和姿态。所述位姿传感器的数据包括位置和姿态，所述位置用于描述所述图像传感器在所述三维场景中的位置，所述姿态用于描述所述图像传感器的拍摄角度。

在该步骤中，根据位姿传感器的姿态数据，判断所述图像传感器的朝向，在是实施例中，所述姿态传感器是多个传感器的融合传感器，典型的其中的姿态数据来源于陀螺仪；根据所述方向，判断三维场景落入图像传感器采集范围内的部分场景图像，并在全景图像生成装置上显示所述三维场景的部分场景图像。

在一个实施方式中，所述原点一直位于图像传感器的位置，也就是说，无论图像传感器移动任何位置，都位于三维场景的中心，三维场景跟随图像传感器的移动而移动，在这种情况下，所述位姿传感器中的位置数据为全局位置数据，所述部分场景图像不会随着图像传感器的移动而发生大小变化，仅仅发生图像位置的变化。

在另外一个实施方式中，所述原点不随图像传感器的位置移动，也就是说，当图像传感器移动时，所述原点位于其产生位置，图像传感器在三维场景的相对坐标系中移动，所述位姿传感器中的位置数据为相对坐标系中的相对位置数据，在这种情况下，所述部分场景图像的范围大小根据图像传感器与所述部分场景图像的距离远近而发生变化，所述范围大小可以通过图像传感器与部分场景图像所在平面的距离来计算。如图3所示，图像传感器31，其在第一位置c时，在平面32上的取景范围为ab，其中心到平面32的垂点为o，图像传感器31在位置c时距离平面的距离为co，当图像传感器31移动到第二位置c’时，在平面32上的取景范围为a′b′，其中心到平面32的垂点为o，图像传感器31在位置c’时距离平面的距离为c′o，则:

由此可见计算出在图像传感器位于新位置时，其取景范围的大小，并计算应该显示在全景图像生成装置上的范围。可以理解的是，上述实施例只是从剖面上描述的，实际上，图像传感器的取景范围是一个平面，在此使用平面上的长度ab和a′b′来代替平面。

在该实施例中，所述步骤s5即根据三维场景和所述预定目标，生成所述全景图像，包括：

步骤s51，根据所述三维场景的部分场景图像和所述预定目标，生成所述全景图像。

在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。

下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。

为了解决如何提高图像融合效果的问题，本公开实施例提供一种全景图像生成装置。该装置可以执行上述全景图像生成方法实施例中所述的步骤。如图4所示，该装置主要包括：加载模块41、定位模块42、预定目标判断模块43、预定目标抽取模块44和全景生成模块45。其中，加载模块41，用于加载三维场景；定位模块42，用于将图像传感器定位于所述三维场景的原点；预定目标判断模块43，用于判断所述图像传感器所采集的第一图像中是否出现预定目标；预定目标抽取模块44，用于如果出现所述预定目标，则将所述预定目标从所述第一图像中抽取出来；全景生成模块45，用于根据三维场景和所述预定目标，生成所述全景图像。

所述加载模块41，还用于获取所述三维场景的背景图，根据所述背景图生成所述三维场景。

可选的，所述三维场景为六面体，所述背景图包括所述六面体的6个面的图像。

预定目标判断模块43，还用于识别所述预定目标的特征点，根据所述特征点判断是否出现所述预定目标。

所述全景生成模块45，还包括：前景和背景设置模块，用于将所述三维场景作为全景图的背景，将所述预定目标作为全景图的前景；融合模块，用于融合所述三维场景和预定目标，生成所述全景图像。

所述预定目标抽取模块44，还包括：前景和背景抽取模块，用于将所述第一图像的前景和背景抽取出来，获取所述预定目标；透明模块，用于并将其他前景和背景透明化。

所述全景图像生成装置，还包括：类型选择模块46，用于选择预设目标的类型。

上述全景图像生成装置与上述图1所示实施例中的全景图像生成方法对应一致，具体细节可参考上述对全景图像生成方法的描述，在此不再赘述。

如图5所示为全景图像生成装置的另一实施例，该实施例在图4的全景图像生成装置的基础上，还包括了：位姿传感器数据读取模块51，用于读取位姿传感器的数据，根据所述位姿传感器的数据判断图像传感器的朝向，根据所述朝向，在全景图像生成装置上显示所述三维场景的部分场景图像。

所述位姿传感器的数据包括位置和姿态，所述位置用于描述所述图像传感器在所述三维场景中的位置，所述姿态用于描述所述图像传感器的拍摄角度。

所述全景生成模块45，用于根据所述三维场景的部分场景图像和所述预定目标，生成所述全景图像。

有关全景图像生成装置实施例的工作原理、实现的技术效果等详细说明可以参考前述全景图像生成方法实施例中的相关说明，在此不再赘述。

图6是图示根据本公开的实施例的电子设备的硬件框图。如图6所示，根据本公开实施例的电子设备60包括存储器61和处理器62。

该存储器61用于存储非暂时性计算机可读指令。具体地，存储器61可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。

该处理器62可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备60中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器62用于运行该存储器61中存储的该计算机可读指令，使得该电子设备60执行前述的本公开各实施例的全景图像生成方法的全部或部分步骤。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图7是图示根据本公开的实施例的计算机可读存储介质的示意图。如图7所示，根据本公开实施例的计算机可读存储介质70，其上存储有非暂时性计算机可读指令71。当该非暂时性计算机可读指令71由处理器运行时，执行前述的本公开各实施例的全景图像生成方法的全部或部分步骤。

上述计算机可读存储介质70包括但不限于：光存储介质(例如：cd－rom和dvd)、磁光存储介质(例如：mo)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置rom的媒体(例如：rom盒)。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图8是图示根据本公开实施例的全景图像生成终端的硬件结构示意图。如图8所示，该全景图像生成终端80包括上述全景图像生成装置实施例。

该终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置、车载终端设备、车载全景图像生成终端、车载电子后视镜等等的移动终端设备以及诸如数字tv、台式计算机等等的固定终端设备。

作为等同替换的实施方式，该终端还可以包括其他组件。如图8所示，该图像特效处理终端80可以包括电源单元81、无线通信单元82、a/v(音频/视频)输入单元83、用户输入单元84、感测单元85、接口单元86、控制器87、输出单元88和存储单元89等等。图8示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的组件。

其中，无线通信单元82允许终端80与无线通信系统或网络之间的无线电通信。a/v输入单元83用于接收音频或视频信号。用户输入单元84可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元85检测终端80的当前状态、终端80的位置、用户对于终端80的触摸输入的有无、终端80的取向、终端80的加速或减速移动和方向等等，并且生成用于控制终端80的操作的命令或信号。接口单元86用作至少一个外部装置与终端80连接可以通过的接口。输出单元88被构造为以视觉、音频和/或触觉方式提供输出信号。存储单元89可以存储由控制器87执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储单元89可以包括至少一种类型的存储介质。而且，终端80可以与通过网络连接执行存储单元89的存储功能的网络存储装置协作。控制器77通常控制终端设备的总体操作。另外，控制器87可以包括用于再现或回放多媒体数据的多媒体模块。控制器87可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元81在控制器87的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

本公开提出的全景图像生成方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的全景图像生成方法的各种实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的全景图像生成方法的各种实施方式可以在控制器87中实施。对于软件实施，本公开提出的全景图像生成方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储单元89中并且由控制器87执行。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以根据与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。