全景拍摄方法、装置和终端设备与流程

本发明涉及拍摄技术领域，尤其涉及一种全景拍摄方法、装置和终端设备。

背景技术：

全景拍摄是利用相机将360度场景拍摄到的一组图片拼合成为一幅包含全部场景的图片。

在现有技术中，全景拍摄通过软件将多个图片连接在一起，最后经过系统渲染成为可以显示的，以拍摄者为中心的球形画面。但现有技术中的全景。但现有技术中的全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能。

技术实现要素：

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种全景拍摄方法，该方法通过拍摄得到包含深度信息的全景图片，从而丰富了全景图片的信息量和功能性。

本发明的第二个目的在于提出一种全景拍摄装置。

本发明的第三个目的在于提出一种终端设备。

本发明的第四个目的在于提出另一种终端设备。

为了实现上述目的，本发明第一方面实施例提出了一种全景拍摄方法，包括以下步骤：

获取至少两张包含第一深度信息的目标图片；

根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片；

对所述全景图片计算第二深度信息，得到包含第二深度信息的全景图片；其中，所述全景图片中对应所述重合区域的部分，根据所述重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。

本发明实施例的全景拍摄方法，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

为了实现上述目的，本发明第二方面实施例提出了一种全景拍摄装置，包括：

获取模块，用于获取至少两张包含第一深度信息的目标图片；

拼接模块，用于根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片；

计算模块，用于对所述全景图片计算第二深度信息，得到包含第二深度信息的全景图片；其中，所述全景图片中对应所述重合区域的部分，根据所述重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。

本发明实施例的全景拍摄装置，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

为了实现上述目的，本发明第三方面实施例提出了一种终端设备，包括：本发明第二方面实施例所述的全景拍摄装置。

本发明实施例的终端设备，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

为了实现上述目的，本发明第四方面实施例提出了另一种终端设备，包括以下一个或多个组件：壳体和位于所述壳体内的处理器、存储器和相机模组，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：

获取至少两张包含第一深度信息的目标图片；

根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片；

对所述全景图片计算第二深度信息，得到包含第二深度信息的全景图片；其中，所述全景图片中对应所述重合区域的部分，根据所述重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。

本发明实施例的终端设备，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的全景拍摄方法的流程图；

图2是根据本发明另一个实施例的全景拍摄方法的流程图；

图3a为相位差关系示意图之一；

图3b为相位差关系示意图之二；

图3c为相位差关系示意图之三；

图4为两张目标图片的示意图；

图5是根据本发明又一个实施例的全景拍摄方法的流程图；

图6为全景拍摄中成像位置的示意图；

图7a为在不同成像位置得到的目标图片的示意图之一；

图7b为在不同成像位置得到的目标图片的示意图之二；

图8为三角形相似原理示意图；

图9为本发明实施例提供的一种全景拍摄装置的结构示意图；

图10为本发明实施例提供的另一种全景拍摄装置的结构示意图；以及

图11是根据本发明另一个实施例的终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的全景拍摄方法、装置和终端设备。

图1是根据本发明一个实施例的全景拍摄方法的流程图，如图1所示，该方法包括：

步骤101，获取至少两张包含第一深度信息的目标图片。

具体地，通过拍摄获取至少两张目标图片，目标图片所展现的内容是全景图片中的一部分。在目标图片中包含有第一深度信息，例如：景深。

作为一种可能的实现方式，可以通过rgbd单摄像头相机进行拍摄，由于rgbd单摄像头相机所拍摄的图片中包含景深，因此，可以得到包含第一深度信息的目标图片。

其中，rgbd单摄像头，用于在通过拍摄得到普通的红绿蓝(rgb)三通道彩色图像之外，还可以得到相位相关信息，这里的相位相关信息能够指示每个像素对应的传感器距离被摄物体的实际距离。

作为另一种可能的实现方式，可以通过普通单摄像头相机进行拍摄。具体来说，可以基于不同拍摄位置，对相同被摄物体成像，得到包含相同特征点的至少两张目标图片；进而，采用双目测距算法，根据特征点在至少两张目标图片上的相对位置，以及所述不同成像位置之间的位移，计算得到目标图片中所述特征点的第一深度信息。

步骤102，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。

具体地，在对两张目标图片进行拼接时，可以将两张目标图片的重合区域对齐，从而拼接得到全景图片。

步骤103，对全景图片计算第二深度信息，得到包含第二深度信息的全景图片。

其中，全景图片中对应所述重合区域的部分，根据所述重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。

可选地，查询所述重合区域在不同目标图片中的第一深度信息；所述全景图片中对应所述重合区域的部分，对所查询到的第一深度信息求平均值，得到对应所述重合区域部分的第二深度信息。所述全景图片中对应非重合区域的部分，将所述非重合区域在所述目标图片中的第一深度信息，作为对应所述非重合区域部分的第二深度信息。

本实施例中，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

为了更加全面的说明本发明实施例的方法，下面将对方法进行详细说明：

图2是根据本发明另一个实施例的全景拍摄方法的流程图，本实施例所提供的方法，是基于rgbd单摄像头相机进行拍摄的应用场景下进行全景拍摄的方法。

如图2所示，该全景拍摄方法包括：

步骤201，基于图像传感器进行成像，得到目标图片，并对目标图片进行拼接，得到全景图片。

其中，图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列和位于所述滤光单元阵列之上的微透镜阵列，其中，所述感光单元阵列包括多个对焦单元和多个非对焦单元，所述微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦单元，n×n个第二微透镜覆盖一个非对焦单元，其中，n为正整数。

步骤202，根据目标图片中所携带的相位差信息，重构目标图片的深度图。

其中，所述相位差信息是所述对焦单元的2×2个感光像素中任意两个感光像素与另外两个感光像素之间的相位差。

这里的深度图用于指示图片各处对应的景深。

具体来说，基于相位对焦的原理，在合焦状态下，传感器与被摄物体之间的距离等于焦距。在这种情况下，图3a为相位差关系示意图之一，如图3a所示，左右相位点的相位差为零。如图3b和图3c分别示意图描述了传感器与被摄物体之间的距离小于和大于焦距时，左右相位点的相位差关系。

基于相位差，可以确定目标图片中的合焦区域。进而对目标图片可以进行高通滤波，提取图像的边缘和细节，并分析图像边缘位置的相位差和细节位置的相位差，得到图像边缘位置相对合焦区域的景深关系，以及细节位置相对合焦区域的景深关系。根据图像边缘位置相对合焦区域的景深关系，以及细节位置相对合焦区域的景深关系，建立景深轮廓图，初始建立的景深轮廓图中，仅包含有图像边缘位置、细节位置和合焦区域的景深。下一步可以对景深轮廓图进行完善得到整个画面的深度图。具体来说，可以在景深轮廓图中，结合图像内容、颜色的连续性，采用差值的方式计算出边缘位置的景深，还可以填充轮廓所勾勒的平坦区域的景深。

步骤203，查询所述重合区域在不同目标图片中的第一深度信息。

步骤204，全景图片中对应所述重合区域的部分，对所查询到的第一深度信息求平均值，得到对应所述重合区域部分的第二深度信息。

例如：图4为两张目标图片的示意图，如图4所示，图中划线区域为对应重合区域的部分，在对应重合区域的部分，景深值取均值。

步骤205，全景图片中对应非重合区域的部分，将所述非重合区域在所述目标图片中的第一深度信息，作为对应所述非重合区域部分的第二深度信息。

本实施例中，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

图5是根据本发明又一个实施例的全景拍摄方法的流程图，本实施例所提供的方法，是基普通单摄像头相机进行拍摄的应用场景下，进行全景拍摄的方法，在本实施例中，第一深度信息和第二深度信息具体可以为景深。如图5所示，该方法包括：

步骤301，在全景拍摄过程中，在至少两个不同拍摄位置，对相同被摄物体成像，得到包含相同特征点的至少两张目标图片。

具体地，由于采用了普通摄像头进行拍摄，为了得到第一深度信息，必须采用至少两个不同拍摄位置对同一被摄物体成像，从而在全景拍摄过程中，可以具体采用，在移动方向上，后一张目标图片的边沿处于前一张目标图片的两侧边之间，使得两张目标图片之间具有重叠区域，从而可以计算重叠区域中特征点的第一深度信息。

为了尽量计算得到更多的第一深度信息，尽量增大重叠区域的面积，优选地，在相邻的三张目标图片中，第一张目标图片的后边沿和第三张目标图片的前边沿重叠，且第一张目标图片的后边沿和第三张目标图片的前边沿均处于第二张目标图片的两侧边之间。

步骤302，采用双目测距算法，根据特征点在至少两张目标图片上的相对位置，以及所述不同成像位置之间的位移，计算得到目标图片中各特征点的第一深度信息。

具体地，从两个不同的成像位置拍摄图片，图6为全景拍摄中成像位置的示意图，如图6所示，将两个成像位置分别记录为ol和or，将两个成像位置之间的位移记为s。图7a和图7b为在不同成像位置得到的目标图片的示意图，在图7a和图7b中找到特征点，并记录特征点到边缘的位置，即为xl和xr，图像大小为c。

图8为三角形相似原理示意图，如图8所示，利用三角形相似原理可以求出特征点p点的景深d。

需要说明的是，图8中f为焦距，s为不同成像位置之间的位移。三角形相似原理的具体内容可参见光学原理的相关内容，本实施例中对于具体算法不再赘述。

步骤303，根据至少两张目标图片所包含的特征点，确定重合区域，对至少两张目标图片根据重合区域进行拼接，得到全景图片。

具体地，至少两张目标图片中相同特征点构成了这至少两张目标图片的重合区域。在确定出重合区域之后，根据重合区域进行拼接，得到全景图片。

步骤304，根据目标图片中的第一深度信息，得到全景图片的第二深度信息。

具体地，在相邻的三张目标图片中，借助上述三角形相似原理获得第一张目标图片和第二张目标图片之间重合区域的景深；以及第二张目标图片和第三张目标图片之间重合区域的景深。

因为在相邻的三张目标图片拍摄过程中，拍摄位置移动并不大，第一张目标图片和第二张目标图片求得的景深的区域，与第二张目标图片和第三张目标图片求得景深的区域之间可能会有重叠部分，将重叠部分的景深求均值，也就是将第一深度信息求均值，得到全景图像的第二深度信息。

本实施例中，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

为了实现上述实施例，本发明还提出了一种全景拍摄装置，图9为本发明实施例提供的一种全景拍摄装置的结构示意图，如图9所示，全景拍摄装置包括：获取模块61、拼接模块62和计算模块63。

获取模块61，用于获取至少两张包含第一深度信息的目标图片。

作为一种可能的实现方式，获取模块61，具体用于：在全景拍摄过程中，在至少两个不同拍摄位置，对相同被摄物体成像，得到包含相同特征点的至少两张目标图片；采用双目测距算法，根据特征点在至少两张目标图片上的相对位置，以及所述不同成像位置之间的位移，计算得到目标图片中所述特征点的第一深度信息。

拼接模块62，用于根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。

计算模块63，用于对所述全景图片计算第二深度信息，得到包含第二深度信息的全景图片；其中，所述全景图片中对应所述重合区域的部分，根据所述重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。

本发明实施例中，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

需要说明的是，前述对全景拍摄方法实施例的描述，也适用于本发明实施例的全景拍摄装置，其实现原理类似，在此不再赘述。

进而，图10为本发明实施例提供的另一种全景拍摄装置的结构示意图，如图10所示，在如图9所示的基础上，获取模块61，包括：成像单元611、重构单元612。

成像单元611，用于基于图像传感器进行成像，得到所述目标图片。

其中，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列和位于所述滤光单元阵列之上的微透镜阵列，其中，所述感光单元阵列包括多个对焦单元和多个非对焦单元，所述微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦单元，n×n个第二微透镜覆盖一个非对焦单元，其中，n为正整数。

重构单元612，用于根据所述目标图片中所携带的相位差信息，重构所述目标图片的深度图。

其中，所述相位差信息是所述对焦单元的2×2个感光像素中任意两个感光像素与另外两个感光像素之间的相位差。

进一步，计算模块63，包括：第一计算单元631和第二计算单元632。

第一计算单元631，用于查询所述重合区域在不同目标图片中的第一深度信息；所述全景图片中对应所述重合区域的部分，对所查询到的第一深度信息求平均值，得到对应所述重合区域部分的第二深度信息。

第二计算单元632，用于所述全景图片中对应非重合区域的部分，将所述非重合区域在所述目标图片中的第一深度信息，作为对应所述非重合区域部分的第二深度信息。

需要说明的是，前述对全景拍摄方法实施例的描述，也适用于本发明实施例的全景拍摄装置，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的全景拍摄装置，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

为了实现上述实施例，本发明还提出了一种终端设备，包括前述的全景拍摄装置。

需要说明的是，前述对全景拍摄装置实施例的描述，也适用于本发明实施例的终端设备，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的终端设备，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

为了实现上述实施例，本发明还提出了另一种终端设备，图11是根据本发明另一个实施例的终端设备的结构示意图，如图11所示，该终端设备1000包括：壳体1100和位于壳体1100内存储器1111、处理器1112和相机模组1113。

其中，处理器1111通过读取存储器1112中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：

获取至少两张包含第一深度信息的目标图片；

根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片；

对所述全景图片计算第二深度信息，得到包含第二深度信息的全景图片；其中，所述全景图片中对应所述重合区域的部分，根据所述重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。

需要说明的是，前述对全景拍摄方法实施例的描述，也适用于本发明实施例的终端设备1000，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的终端设备，通过获取至少两张包含第一深度信息的目标图片之后，根据至少两张目标图片的重合区域，对至少两张目标图片进行拼接，得到全景图片。进而对该全景图片计算第二深度信息，得到包含第二深度信息的全景图片，其中，全景图片中对应重合区域的部分，根据重合区域在不同目标图片中的第一深度信息，计算得到第二深度信息。由于在全景图片中包含有第二深度信息，从而丰富了全景图片所携带的信息量，同时，基于第二深度信息，能够有助于利用全景图片实现更加丰富的功能。解决了现有技术中全景拍摄所得到的全景图片中，所携带的信息量有限，仅能够进行缩放，无法实现更加丰富的功能的技术问题。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。