手势控制全景图像获取方法、装置、电子设备及存储介质与流程

本申请涉及图像处理技术领域，具体而言，涉及一种手势控制全景图像获取方法、装置、电子设备及存储介质。

背景技术：

全景图片拼接又叫全景接片，是把数码相机拍的图像进行一个缝合处理，从而得到一个全景图，拼接指的是使用普通相机拍的照片，普通相机对同一场景连续拍摄多张相互重叠的源图像融合生成一张视场角度更大的图像。

现有的全景图像的拼接方式通常是基于不同图像的重叠部分进行特征点匹配后实现相邻两张图像的拼接，而在图像复杂度较高或重叠度较低时不同图像的重叠部分的特征点匹配计算存在效率低或准确度较低的问题。

技术实现要素：

有鉴于此，本申请实施例的目的在于提供一种手势控制全景图像获取方法、装置、电子设备及存储介质，以改善现有技术中存在的在图像复杂度较高或重叠度较低时不同图像的重叠部分的特征点匹配计算存在效率低或准确度较低的问题。

本申请实施例提供了一种手势控制全景图像获取方法，所述方法包括：识别拍摄图像中的拍摄目标的指定手势；基于所述指定手势进行全景拍摄；基于全景拍摄中每次获取所述拍摄目标的图像时对应的云台角度和/或人手位置，确定每幅图像在全景拼接中的拼接处位置；基于所述每幅图像在全景拼接中的拼接处位置对所述拍摄目标的所有图像进行全景拼接。

在上述实现方式中，通过基于拍摄目标的图像时对应的云台角度和/或人手位置确定拼接处位置进行全景拼接，相对于仅仅基于不同图像的重叠部分进行特征匹配确定拼接位置具有更高的拼接效率，同时具有更高的拼接准确度。

可选地，所述基于所述指定手势进行全景拍摄，包括：在每次识别到指定拍摄手势时，获取所述拍摄目标的图像。

在上述实现方式中，通过指定拍摄手势控制图像获取，简化了拍摄控制步骤，提高了图像拍摄的效率。

可选地，所述在每次识别到指定拍摄手势时，获取所述拍摄目标的图像，包括：在每次识别到所述指定拍摄手势时，识别所述拍摄目标是否保持所述指定拍摄手势；在所述拍摄目标未保持所述指定拍摄手势时，获取所述拍摄目标的图像。

在上述实现方式中，在识别到指定拍摄手势时识别拍摄目标是否保持该指定拍摄手势，并在拍摄目标未保持指定拍摄手势后进行图像获取，避免拍摄图像获得拍摄目标处于该指定拍摄手势时的图像，而该指定拍摄手势通常不是拍摄目标需要被拍摄的姿势，从而提高了图像获取的准确度。

可选地，所述在每次识别到指定拍摄手势时，获取所述拍摄目标的图像，包括：对所述拍摄目标进行目标跟随；在每次识别到所述指定拍摄手势时，调节云台位置使所述拍摄目标处于图像中心，获取所述拍摄目标的图像。

在上述实现方式中，进行目标跟随调节云台位置使所述拍摄目标处于图像中心后获取图像，提高了对拍摄目标的图像获取的精确度。

可选地，所述基于所述指定手势进行全景拍摄，包括：在识别到指定启动手势时，启动全景拍摄；确定所述拍摄目标在图像中的身位信息；基于所述身位信息确定云台转动角度；在镜头每转动所述云台转动角度后，拍摄图像；在识别到指定停止手势时，停止全景拍摄。

在上述实现方式中，通过拍摄目标在图像中的身位信息转动云台以使拍摄目标在图像中处于利于拍摄成像的位置，避免拍摄角度无法跟随拍摄目标或转动角度过大或过小无法获得拍摄目标合适图像的问题。

可选地，所述确定所述拍摄目标在图像中的身位信息，包括：基于行人检测和分割算法确定所述拍摄目标在图像中所占的像素数，将所述像素数作为表示身位大小的所述身位信息。

在上述实现方式中，通过基于行人检测和分割算法确定所述拍摄目标在图像中所占的像素数作为身位信息，能够准确地判定当前拍摄目标在图像中与相机当前视场角度的关系，从而准确地获取当前图像中拍摄目标的身位大小。

可选地，所述基于所述身位信息确定云台转动角度，包括：将所述身位信息除以图像横向分辨率，再与横向视场角相乘的结果作为一个身位角度；基于角度调节设定控制所述云台转动角度为预设个数的身位角度。

在上述实现方式中，在每次拍摄图像后将拍摄角度转动预设个身位角度，从而能够保证下一拍摄角度的图像与当前拍摄目标的远近距离相匹配，使拍摄目标在下一拍摄角度的图像中被准确取景。

本申请实施例还提供了一种手势控制全景图像获取装置，所述装置包括：手势识别模块，用于识别拍摄图像中的拍摄目标的指定手势；拍摄模块，用于基于所述指定手势进行全景拍摄；拼接识别模块，用于基于全景拍摄中每次获取所述拍摄目标的图像时对应的云台角度和/或人手位置，确定每幅图像在全景拼接中的拼接处位置；拼接模块，用于基于所述每幅图像在全景拼接中的拼接处位置对所述拍摄目标的所有图像进行全景拼接。

在上述实现方式中，通过基于拍摄目标的图像时对应的云台角度和/或人手位置确定拼接处位置进行全景拼接，相对于仅仅基于不同图像的重叠部分进行特征匹配确定拼接位置具有更高的拼接效率，同时具有更高的拼接准确度。

可选地，所述拍摄模块具体用于：在每次识别到指定拍摄手势时，获取所述拍摄目标的图像。

在上述实现方式中，通过指定拍摄手势控制图像获取，简化了拍摄控制步骤，提高了图像拍摄的效率。

可选地，所述拍摄模块具体用于：在每次识别到所述指定拍摄手势时，识别所述拍摄目标是否保持所述指定拍摄手势；在所述拍摄目标未保持所述指定拍摄手势时，获取所述拍摄目标的图像。

在上述实现方式中，在识别到指定拍摄手势时识别拍摄目标是否保持该指定拍摄手势，并在拍摄目标未保持指定拍摄手势后进行图像获取，避免拍摄图像获得拍摄目标处于该指定拍摄手势时的图像，而该指定拍摄手势通常不是拍摄目标需要被拍摄的姿势，从而提高了图像获取的准确度。

可选地，所述拍摄模块具体用于：对所述拍摄目标进行目标跟随；在每次识别到所述指定拍摄手势时，调节云台位置使所述拍摄目标处于图像中心，获取所述拍摄目标的图像。

在上述实现方式中，进行目标跟随调节云台位置使所述拍摄目标处于图像中心后获取图像，提高了对拍摄目标的图像获取的精确度。

可选地，所述拍摄模块具体用于：在识别到指定启动手势时，启动全景拍摄；确定所述拍摄目标在图像中的身位信息；基于所述身位信息确定云台转动角度；在镜头每转动所述云台转动角度后，拍摄图像；在识别到指定停止手势时，停止全景拍摄。

在上述实现方式中，通过拍摄目标在图像中的身位信息转动云台以使拍摄目标在图像中处于利于拍摄成像的位置，避免拍摄角度无法跟随拍摄目标或转动角度过大或过小无法获得拍摄目标合适图像的问题。

可选地，所述拍摄模块具体用于：基于行人检测和分割算法确定所述拍摄目标在图像中所占的像素数，将所述像素数作为表示身位大小的所述身位信息。

在上述实现方式中，通过基于行人检测和分割算法确定所述拍摄目标在图像中所占的像素数作为身位信息，能够准确地判定当前拍摄目标在图像中与相机当前视场角度的关系，从而准确地获取当前图像中拍摄目标的身位大小。

可选地，所述拍摄模块具体用于：将所述身位信息除以图像横向分辨率，再与横向视场角相乘的结果作为一个身位角度；基于角度调节设定控制所述云台转动角度为预设个数的身位角度。

在上述实现方式中，在每次拍摄图像后将拍摄角度转动预设个身位角度，从而能够保证下一拍摄角度的图像与当前拍摄目标的远近距离相匹配，使拍摄目标在下一拍摄角度的图像中被准确取景。

本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种手势控制全景图像获取方法的流程示意图。

图2为本申请实施例提供的一种基于指定手势进行全景拍摄步骤的流程示意图。

图3为本申请实施例提供的一种手势控制全景图像获取装置的模块示意图。

图标：20-手势控制全景图像获取装置；21-手势识别模块；22-拍摄模块；23-拼接识别模块；24-拼接模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

本申请实施例提供了一种手势控制全景图像获取方法，请参考图1，图1为本申请实施例提供的一种手势控制全景图像获取方法的流程示意图，该手势控制全景图像获取方法的具体步骤可以如下：

步骤s12：识别拍摄图像中的拍摄目标的指定手势。

可选地，本实施例可以基于神将网络进行手势识别，通常其步骤可以划分为手势分割和手势识别，其中手势分割可以采用局部自适应阈值的图像二值化和高斯肤色模型算法提取手掌轮廓，手势识别可以采用上述手势分割出来的手势图像进行cnn(convolutionalneuralnetworks，卷积神经网络)训练，得到比较稳定的网络，然后输入新的图像进行分类输出即可。上述cnn可以为基于keras的卷积神经网络，keras是一个极简的、高度模块化的神经网络库，有助于提高cnn的快速开发。

可选地，本实施例中的指定手势可以是指示当前时刻进行拍摄的指定拍摄手势、指示开始全景拍摄的指定开始手势、指示停止全景拍摄的指定停止手势、指示转动拍摄角度的指定转动手势等，不同的指定手势可以根据具体需求进行设定，例如指定拍摄手势可以是双手握拳或双手对着镜头五指摊开等。

步骤s14：基于指定手势进行全景拍摄。

可选地，本实施例可以仅通过手势控制全景拍摄的开始和停止，例如在识别到指定开始手势时开始图像拍摄，每次拍摄后按照预设的角度和预设的间隔时间转动至下一拍摄角度，直至到达最大拍摄角度或识别到指定停止手势时停止全景拍摄。

应当理解的是，全景拍摄过程还可以是基于用户直接预设的拍摄轨迹进行连续拍摄。

可选地，本实施例还可以通过手势控制全景控制的整个流程，例如在云台自动转动过程中，识别到表示开始拍摄的指定手势后开始拍摄，识别到表示停止拍摄的指定手势后停止拍摄。

作为一种可选地实施方式，本实施例还在基于手势控制进行全景拍摄的方式还可以是在每次识别到指定拍摄手势时，获取拍摄目标的图像。

应当理解的是，本实施例提供的上述不同的基于手势控制进行全景图像拍摄拼接的方式可以任意组合，例如手势拍摄过程中也允许设定最大拍摄角度，到达最大拍摄角度就停止拍摄，以及轨迹拍摄和固定角度拍摄相互结合等。

具体地，基于指定拍摄手势进行拍摄的具体步骤可以如下：

步骤s141：在每次识别到指定拍摄手势时，识别拍摄目标是否保持指定拍摄手势。

应当理解的是，由于需要在识别指定拍摄手势时触发对拍摄目标进行拍摄动作，则需要使拍摄目标随时处于拍摄画面中，因此本实施例通过目标跟随的方式使拍摄目标持续处于拍摄画面中，具体地：对拍摄目标进行目标跟随；在每次识别到指定拍摄手势时，调节云台位置使拍摄目标处于图像中心，获取拍摄目标的图像。

步骤s142：在拍摄目标未保持指定拍摄手势时，获取拍摄目标的图像。

由于指定拍摄手势通常不是拍摄目标需要被拍摄的姿势，因此步骤s142在拍摄目标未保持指定拍摄手势时再进行拍摄，能够保证拍摄目标能够在延迟时间内调整姿势，获得需要的拍摄姿势的图像。

下面对步骤s141和s142进行举例说明，上述步骤在进行目标跟随前需要用户通过应用程序或硬件按钮触发开启，然后进行手势识别，识别到表示开始全景拍摄的指定手势时开始全景图像的拍摄，注意此时还需要持续识别拍摄目标的手势，在拍摄目标的手放下后再进入拍摄准备状态，识别到拍摄目标手放下的状态后可以通过语音和/或指示灯提示用户当前处于拍摄准备状态，并拍摄第一张图像。随后对拍摄目标进行目标跟随，云台根据目标跟随的结果进行云台位置的调节，当拍摄目标处于拍摄画面的中心时进行第二次拍摄，然后退出目标跟随模式。

退出目标跟随模式后，如果识别到表示继续拍摄的指定手势，对做出该指定手势的人继续进行上述流程的目标跟随与拍摄，如果识别到退出全景拍摄，等待后续步骤进行全景图像拼接。

作为一种可选地实施方式，在通过手势控制全景拍摄的开始和结束的方式中，考虑到因为视场角度的限制或者因为场地范围的限制，经常出现拍摄目标距离相机过远或过近的情况下无法拍摄到完整拍摄目标或拍摄目标成像太小的问题，亦或是全景拍摄每拍摄一次后转动角度过大或过小无法准确获取拍摄目标图像的问题。因此本实施例还可以基于拍摄目标在图像中的身位信息对每次拍摄后的转动角度进行设定，从而保证拍摄目标位于图像中适宜位置，其具体步骤可以如图2所示，图2为本申请实施例提供的一种基于指定手势进行全景拍摄步骤的流程示意图，其具体步骤可以如下：

步骤s143：在识别到指定启动手势时，启动全景拍摄。

步骤s144：确定拍摄目标在图像中的身位信息。

具体地，基于行人检测和分割算法确定拍摄目标(做出指定手势的行人)的宽度信息(拍摄目标实际占图像的像素数)，而相机的视场角和图像分辨率已知，进而计算处当前拍摄目标占据的图像百分比或者角度信息，将像素数作为表示身位大小的身位信息。

可选地，本实施例中的行人检测(pedestriandetection)利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位，其可以是基于全局特征的行人检测方式、基于人体部位的行人检测方式、基于立体视觉的行人检测方式等。

在通过行人检测确定拍摄目标后采用分割算法准确分割出拍摄目标，从而能够计算其在图像中所占的像素数。可选地，本实施中的分割算法可以是基于区域生长的分割算法、均值迭代分割算法、最大类间方差分割算法或最大熵分割算法等。

步骤s145：基于身位信息确定云台转动角度。

具体地，云台转动角度的确定步骤可以为：将身位信息除以图像横向分辨率，再与横向视场角相乘的结果作为一个身位角度；基于角度调节设定控制云台转动角度为预设个数的身位角度。例如用户设定的云台每次进行云台转动角度调节的身位角度的预设个数为5，则将此信息转换为具体的角度信息，以控制云台调节到固定角度。

可选地，一个身位角度＝一个身位占用的像素信息/图像分辨率(图像宽)*相机横向的视场角。

步骤s146：在镜头每转动云台转动角度后，拍摄图像。

在镜头每转动云台转动角度后，由于云台转动角度是基于拍摄目标在图像中的身位信息确定，能够适应拍摄目标与镜头的距离，因此在镜头每转动云台转动角度后能够更加准确地使拍摄目标处于图像中间位置，提高拍摄成像效果。

步骤s147：在识别到指定停止手势时，停止全景拍摄。

在上述基于拍摄目标的身位信息调整云台转动角度时，除了水平方向上的调节，还可以基于竖直方向上拍摄目标占图像大小进行云台在竖直方向上进行转动。例如，将身位信息除以图像纵向分辨率，再与纵向视场角相乘的结果作为一个纵向身位角度；基于角度调节设定控制云台转动角度为预设个数的纵向身位角度。

应当理解的是，步骤s141-s142和步骤s143-s147之间不是先后顺序的执行关系，而是并列可选地不同执行方式。

步骤s16：基于全景拍摄中每次获取拍摄目标的图像时对应的云台角度和/或人手位置，确定每幅图像在全景拼接中的拼接处位置。

在本实施例的拍摄过程中，记录云台的角度信息和每次识别的人手的位置信息，通过手势识别的人手位置确定两张图像之间的位置关系，确定两张图像之间的拼接处，降低了全景拼接处的搜索时间，同时也降低了误匹配的概率，降低重复性纹理处的误检测拼接问题，以提高全景拼接的速度和精度。

可选地，在全景拍摄的过程中，保证云台始终处于水平状态，防止不同旋转角度情况下的图像之间存在的畸变问题。

步骤s18：基于每幅图像在全景拼接中的拼接处位置对拍摄目标的所有图像进行全景拼接。

本实施例的全景拼接方式可以采用常用的拼接算法，对不同角度拍摄的图像进行图像匹配、图像拼接和图像融合。

其中，图像匹配可以是与特征无关的匹配方式，例如相关性匹配，也可以是根据特征进行匹配，例如根据sift(scale-invariantfeaturetransform，尺度不变特征变换)、surf(speeduprobustfeature)等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵从而进行图像匹配。

图像拼接则是根据图像匹配获得的相互关系，将不同角度拍摄获得的拍摄图像拼接至一起。

为了配合本实施例提供的上述手势控制全景图像获取方法，本申请实施例还提供了一种手势控制全景图像获取装置20。

请参考图3，图3为本申请实施例提供的一种手势控制全景图像获取装置的模块示意图。

手势控制全景图像获取装置20包括：

手势识别模块21，用于识别拍摄图像中的拍摄目标的指定手势；

拍摄模块22，用于基于指定手势进行全景拍摄；

拼接识别模块23，用于基于全景拍摄中每次获取拍摄目标的图像时对应的云台角度和/或人手位置，确定每幅图像在全景拼接中的拼接处位置；

拼接模块24，用于基于每幅图像在全景拼接中的拼接处位置对拍摄目标的所有图像进行全景拼接。

可选地，拍摄模块22具体用于：在每次识别到指定拍摄手势时，获取拍摄目标的图像。

可选地，拍摄模块22具体用于：在每次识别到指定拍摄手势时，识别拍摄目标是否保持指定拍摄手势；在拍摄目标未保持指定拍摄手势时，获取拍摄目标的图像。

可选地，拍摄模块22具体用于：对拍摄目标进行目标跟随；在每次识别到指定拍摄手势时，调节云台位置使拍摄目标处于图像中心，获取拍摄目标的图像。

可选地，拍摄模块22具体用于：在识别到指定启动手势时，启动全景拍摄；确定拍摄目标在图像中的身位信息；基于身位信息确定云台转动角度；在镜头每转动云台转动角度后，拍摄图像；在识别到指定停止手势时，停止全景拍摄。

可选地，拍摄模块22具体用于：基于行人检测和分割算法确定拍摄目标在图像中所占的像素数，将像素数作为表示身位大小的身位信息。

可选地，拍摄模块22具体用于：将身位信息除以图像横向分辨率，再与横向视场角相乘的结果作为一个身位角度；基于角度调节设定控制云台转动角度为预设个数的身位角度。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的手势控制全景图像获取方法中任一项所述方法中的步骤。

应当理解是，该电子设备可以是个人电脑(personalcomputer，pc)、平板电脑、智能手机、个人数字助理(personaldigitalassistant，pda)等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行手势控制全景图像获取方法中的步骤。

综上所述，本申请实施例提供了一种手势控制全景图像获取方法、装置、电子设备及存储介质，所述方法包括：识别拍摄图像中的拍摄目标的指定手势；基于所述指定手势进行全景拍摄；基于全景拍摄中每次获取所述拍摄目标的图像时对应的云台角度和/或人手位置，确定每幅图像在全景拼接中的拼接处位置；基于所述每幅图像在全景拼接中的拼接处位置对所述拍摄目标的所有图像进行全景拼接。

在上述实现方式中，通过基于拍摄目标的图像时对应的云台角度和/或人手位置确定拼接处位置进行全景拼接，相对于仅仅基于不同图像的重叠部分进行特征匹配确定拼接位置具有更高的拼接效率，同时具有更高的拼接准确度。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。