本发明无人机自拍系统与方法属于信息处理领域。
背景技术：
目前，随着社会的进步，人们的生活水平越来越高，旅游已成为人们的不可缺少的一种娱乐活动，旅游观光产业蓬勃发展，拍照更是旅游中不可缺少的活动，通过拍照可以记录美丽的风景、欢快的时光等等，目前已有的自拍工具主要有自拍相机或是自拍杆，还没有一种办法能够让观光者以极低的成本达到面向游览现场的自由视角的自拍体验，如果能够解决用户在任意位置、视角欣赏景点风光并将自身融入景色之中即实现自拍的问题，必将大大提升用户观光的体验，这将对景区来说不失为一种新的旅游项目。
技术实现要素：
本发明提供了一种无人机自拍系统与方法，用户在任意位置、视角欣赏景点风光并将自身融入景色之中即实现自拍。
本发明的目的是这样实现的：
无人机自拍系统，包括无人机端、基站端和用户端，所述无人机端和用户端位于浏览现场，所述无人机端包括无人机、设置在无人机上的采集设备和第一无线传输模块；采集设备包括图像/视频采集设备和人脸识别采集设备；所述基站端包括存储模块和第二无线传输模块；所述用户端包括至少一个用户设备，每个用户设备包括第三无线传输模块、用户交互模块和显示模块。
所述的无人机自拍系统，还包括姿态传感器和方向校正单元；
所述姿态传感器设于无人机上，用于在无人机识别到采集指令后采集无人机的姿态数据；所述姿态数据包含有与图像/视频对应的取景方向信息序列；
所述方向校正单元设于无人机端或基站端，用于利用姿态数据对图像/视频数据进行方向校正，以使得图像/视频数据中的每个图像/视频中各像素位置的方向信息从相对方向校正为绝对方向。
所述的无人机自拍系统，基站端还包括用户管理模块，用于接收来自每个用户设备的身份认证请求，并基于身份认证请求对对应的用户设备进行身份认证，在认证成功后向对应的用户设备发送认证成功信息以与所述用户设备建立数据连接。
所述的无人机自拍系统，所述的用户端还包括用户接入模块，用于向基站端发送身份认证请求，并在接收到来自基站端的认证成功信息后与基站端建立数据连接。
所述的无人机自拍系统，所述的第二无线传输模块在接收到来自第三无线传输模块的传输指令时，判定所述传输指令中是否包含已支付信息，并在包含已支付信息的情况下建立与第三无线传输模块之间的数据连接，所述已支付信息通过在线支付方式获得。
一种在无人机自拍系统上实现的无人机自拍方法，包括以下步骤：
步骤a、在用户交互模块中采用用户设备拍照或者本地照片通过第三传无线传输模块传输到基站端；
步骤b、第二无线传输模块接收所述照片，并且传输给无人机端，第一无线传输模块接收所述照片，用于人脸识别设备进行人脸识别；
步骤c、根据指令起飞无人机，无人机通过人脸识别设备按照特定方法搜索预先录入的人脸所在位置；
步骤d、搜索到人脸所在位置，通过用户交互模块启动拍照/摄像指令，图像/视频采集设备采集目标人脸所在的各个角度、任意位置的场景图片/视频，通过第一无线传输模块传输到基站端；
步骤e、第二无线传输模块接收采集的照片/视频，存储至存储模块，同时传输至用户端；
步骤f、第三无线传输模块接收采集的照片/视频，在用户设备上完成支付信息后，在显示模块显示；
步骤g、无人机按照原航线返回起飞位置。
所述的无人机自拍方法，步骤c所述按照特定方法搜索预先录入的人脸所在位置，具体方法是无人机从原始位置起飞直线上升飞行一定高度，旋转飞行360度，搜索目标人脸所在位置，如搜索到目标人脸进行步骤d，如未搜索到目标人脸，则进行返航。
有益效果
无人机自拍系统，提供了一种基于多媒体无线通讯、无人机平台和人脸识别的自拍方案，该系统利用无人机平台的自由视角特点和航拍能力，实现了低成本、低风险的自由视角自拍以及多用户共享，为普通用户在游览现场进行任意视角的自拍提供了可行的技术方案，用户可以借助无人机以独特位置、视角实现自拍图像及视频；
多名用户可以同时共享本系统进行自拍图像及视频；
本系统能够支持多用户自主选择自拍角度，且支持用户设备的屏幕显示图像的方向匹配用户设备的屏幕朝向；
在该系统中，通过方向校正单元进行方向校正后，能够使得显示在用户设备的显示模块屏幕上的图像帧序列中的每一帧对应的方向与发出该传输指令的用户设备显示模块的屏幕法线方向一致，从而实现自拍；
用户通过改变姿态信息(如改变用户设备的姿态，或通过触屏操作等)能够从基站获取不同角度的图像帧序列(因为姿态信息不同，所以得到的与姿态信息匹配的图像帧序列也不同)，由此实现自主选择自拍角度；
对于多个用户的情况，基站回传给各个用户的图像帧序列也由于各用户设备的姿态信息的不同而不同，由此显示在各个用户设备上的图像也就不同，从而能够实现多个用户自主选择自拍角度；用户可以通过诸如手机等移动终端以电子支付的形式支付使用费。
附图说明
图1是无人机自拍系统结构图。
图中：1无人机端、11无人机、12采集设备、121图像/视频采集设备、122人脸识别设备、13第一无线传输模块、2基站端、21存储模块、22第二无线传输模块、3用户端、311第三无线传输模块、312用户交互模块、313显示模块。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施例一
无人机自拍系统，如图1所示，包括无人机端1、基站端2和用户端3，所述无人机端1和用户端3位于浏览现场，所述无人机端1包括无人机11、设置在无人机11上的采集设备12和第一无线传输模块13；采集设备12包括图像/视频采集设备121和人脸识别采集设备(122)；所述基站端2包括存储模块21和第二无线传输模块22；所述用户端3包括至少一个用户设备，每个用户设备包括第三无线传输模块311、用户交互模块312和显示模块313。
所述的无人机自拍系统，还包括姿态传感器和方向校正单元；
所述姿态传感器设于无人机11上，用于在无人机11识别到采集指令后采集无人机的姿态数据；所述姿态数据包含有与图像/视频对应的取景方向信息序列；
所述方向校正单元设于无人机端1或基站端2，用于利用姿态数据对图像/视频数据进行方向校正，以使得图像/视频数据中的每个图像/视频中各像素位置的方向信息从相对方向校正为绝对方向。
无人机自拍系统包括无人机端1、基站端2和用户端3。其中，无人机端1和用户端3位于游览现场，无人机端1包括无人机11和设置在无人机11上的图像/视频采集设备121和第一无线传输模块13。基站端2包括存储模块21和第二无线传输模块22。用户端3包括至少一个用户设备，其中，每个用户设备包括第三无线传输模块311、用户交互模块312和显示模块313。其中，用户设备例如可以是智能手机或平板电脑等终端设备。用户端3包括n个用户设备，n例如为1、2、3、5、10等正整数。
基站端2可以单独设置，与无人机端1和用户端3分离的，在这种情况下基站端2设置在地面平台；或者基站端2也可以是与无人机端1设置在一起的，在这种情况下第二无线传输模块22和第一无线传输模块13可以采用同一个无线传输模块实现；或者基站端2也可以是与用户端3的每个用户设备设置在一起的，在这种情况下第二无线传输模块22和第三无线传输模块311可以采用同一个无线传输模块实现。
图像/视频采集设备121采用广视角摄像模块实现。图像/视频采集设备121识别到采集指令后开始采集其视野内在无人机11飞行期间的图像/视频数据。其中，图像/视频数据可以是视频数据或是图像集数据等等。图像/视频采集设备121所采集的图像/视频数据包括由一个或多个广视角图像构成的广视角图像序列，广视角图像序列中的每帧广视角图像均具有该图像的采集时间。在每帧广视角图像中的每个像素位置含有该像素位置对应的方向信息(如相对方向)。其中，广视角图像各像素位置对应的相对方向是指相对于图像/视频采集设备121的整体朝向而言的方向，是个相对量；而图像/视频采集设备121是设置在无人机11上的，其朝向在无人机11飞行期间会随着无人机11朝向的改变而改变，但广视角图像各像素位置对应的相对方向(即，相对于图像/视频采集设备121的方向)是不变的。其中，广视角图像各像素位置对应的相对方向是可以利用现有技术获得的，比如，根据图像/视频采集设备121的朝向、其包含的各个镜头分别的朝向等计算而得。当无人机端1接收到来自诸如遥控设备的停止采集指令时，图像/视频采集设备121停止采集。
采集指令可以来自诸如遥控器、控制按键等控制设备，图像/视频采集设备121可以通过第一无线传输模块13接收上述采集指令，而控制设备例如可由工作人员操作；
另外，基站端2在接收到来自用户设备的传输指令后，在与该用户设备建立数据连接关系的情况下，可以生成一个采集指令，无人机端1接收该采集指令，然后图像/视频采集设备121根据该采集指令来采集上述图像/视频数据。
无人机自拍系统还包括姿态传感器和方向校正单元(图中未示出)，其中姿态传感器和方向校正单元可以均设置在无人机端1，或者姿态传感器设置在无人机端1，而方向校正单元设置在基站端2。
在无人机端1识别到上述采集指令后，姿态传感器实时地采集无人机11的姿态数据(由于图像/视频采集设备121是设置在无人机11上的，所以无人机11的姿态数据相当于图像/视频采集设备121的姿态数据)。无人机11的姿态数据包含有与图像/视频采集设备121所采集的广视角图像序列对应的取景方向信息序列。也就是说，图像/视频采集设备121采集的每一帧广视角图像在上述取景方向信息序列中都有一个取景方向信息与之对应。取景方向信息序列包括的每一个取景方向信息是用来描述图像/视频采集设备121整体朝向的。图像/视频采集设备121设于无人机上，并假设图像/视频采集设备121的整体朝向与无人机正前方是一致的，这样，无人机朝正南方向飞行时，假设此时图像/视频采集设备121采集了一帧广视角图像(并存入广视角图像序列中)，那么该帧广视角图像对应的取景方向信息(由姿态传感器采集并存入取景方向信息序列中)则是正南方向，依此类推。
举例来说，假设图像/视频采集设备121所采集的广视角图像序列可以用{i1，i2，i3，……，im}表示，m表示该广视角图像序列中所包含的广视角图像数量，其为正整数；并且，假设姿态传感器所采集的取景方向信息序列(与上述广视角图像序列对应)可以用{d1，d2，d3，……，dm}表示。在该例子中，广视角图像i1与取景方向信息d1对应(即取景方向信息d1表示图像/视频采集设备121在采集广视角图像i1时的整体朝向)，广视角图像i2与取景方向信息d2对应(即取景方向信息d2表示图像/视频采集设备121在采集广视角图像i2时的整体朝向)，依此类推。这样，方向校正单元可以利用无人机11的姿态数据对图像/视频采集设备121采集到的图像/视频数据进行方向校正，以使得上述图像/视频数据中的每个广视角图像中各像素位置的方向信息从相对方向校正为绝对方向。
以上述例子中的广视角图像i1为例，在方向校正之前，广视角图像i1中各像素位置对应的方向信息为相对方向。根据其对应的取景方向信息d1，可知图像/视频采集设备121在采集广视角图像i1时的整体朝向，进而可以计算出广视角图像i1中各像素位置对应的绝对方向。利用广视角图像i1中各像素位置对应的绝对方向代替对应像素位置的相对方向，即完成方向校正。
第一种情况，姿态传感器和方向校正单元均设置在无人机端1，无人机端1将校正后的图像/视频数据通过第一无线传输模块13发送给基站端2，并保存在存储模块21；第二种情况，姿态传感器设置在无人机端1，而方向校正单元设置在基站端2，基站端2的方向校正单元对图像/视频采集设备121采集到的图像/视频数据进行方向校正，并将校正后的图像/视频数据保存在存储模块21。也就是说，存储模块21中存储的图像/视频数据中，每一个广视角图像中各像素位置对应的方向信息为绝对方向。需要说明的是，各像素位置的绝对方向是指相对于地球绝对坐标系而言的方向，而地球绝对坐标系各坐标轴向是不变的；而各像素位置的相对方向如上所述，是相对于图像/视频采集设备121的朝向而言的方向，而图像/视频采集设备121的朝向是变化的。
具体实施例二
所述的无人机自拍系统，基站端2还包括用户管理模块，用于接收来自每个用户设备的身份认证请求，并基于身份认证请求对对应的用户设备进行身份认证，在认证成功后向对应的用户设备发送认证成功信息以与所述用户设备建立数据连接。
所述的无人机自拍系统，所述的基站端2通过如下方式从存储模块21中获取图像帧序列：接收的传输指令中包含发送时间，在存储模块21存储的图像/视频数据中选择采集时间在发送时间及发送时间以后的多帧图像/视频作为候选图像，直到接收到发出所述传输指令的用户设备再次发来的新传输指令为止；针对已选择的所有候选图像中的每一帧图像/视频，利用图像/视频各像素位置对应的方向信息，在图像/视频中截取方向与所述姿态信息对应的截图，其中截图的尺寸为预设值；利用所截取的所有截图按照时间顺序形成图像帧序列，作为与传输指令包含的姿态信息相匹配的图像帧序列。
基站端2通过第二无线传输模块22接收来自用户端3一个或多个用户设备的传输指令。用户设备发来的传输指令中包含用户设备的姿态信息，用户设备的姿态信息是指用户设备在发送该传输指令时的姿态，例如可以是用户设备中显示模块的屏幕法线方向。针对从用户端3一个或多个用户设备所接收的至少一个传输指令中的每一个，基站端2从存储模块21存储的图像/视频数据中获取与该传输指令匹配包含的姿态信息相匹配的图像帧序列，以发送给发出该传输指令的那个用户设备；此外，发出该传输指令的那个用户设备接收从基站端2返回的图像帧序列，并通过其显示模块313显示出来。
基站端2可以通过如下步骤101～103从存储模块中获取与该传输指令包含的姿态信息相匹配的图像帧序列。
在步骤101中，该传输指令包含发送时间，在存储模块21存储的图像/视频数据中选择采集时间在该发送时间及该发送时间以后的多帧广视角图像作为候选图像，直到接收到发出该传输指令的用户设备再次发来的新传输指令为止。其中，发送时间是指用户设备在发送传输指令时的时间。
需要说明的是，在上述“在存储模块21存储的图像/视频数据中选择采集时间在该发送时间及该发送时间以后的多帧广视角图像”中提到的“多帧广视角图像”可能是一帧或多帧广视角图像，也可能是0帧(例如在存储模块21存储的图像/视频数据中选择出一帧采集时间为该发送时间的广视角图像后，立即收到上述新传输指令的情况下)。
在步骤102中，针对步骤101中已选择的所有候选图像中的每一帧广视角图像，利用该广视角图像各像素位置对应的方向信息，在该广视角图像中截取方向与该传输指令中的姿态信息对应的截图，其中该截图的尺寸为预设值，该预设值例如可以根据经验值设定，或者可以根据用户设备发来的传输指令中包含的屏幕尺寸参数来设定等等。
在步骤103中，利用步骤102中所截取的所有截图按照时间顺序形成图像帧序列，作为与该传输指令包含的姿态信息相匹配的图像帧序列。
需要说明的是，针对某个广视角图像，通过步骤102所截取的“方向与该传输指令中的姿态信息对应的截图”实际是“绝对方向与该传输指令中的姿态信息对应的截图”。最终通过用户设备所看到的图像或视频就是用户设备的屏幕法线方向所指的绝对方向，如果保持用户设备朝着一个方向不变，其显示的图像或视频则不会随着无人机飞行方向的改变而改变。换句话说，通过方向校正单元进行方向校正后，显示在用户设备的显示模块屏幕上的图像帧序列中的每一帧对应的取景方向与发出该传输指令的用户设备显示模块的屏幕法线方向一致。此外，需要说明的是，对于一帧图像而言，取景方向可以指该图像中心位置的取景方向，也就是说，该中心位置是朝向哪个方向拍摄的。
基站端2还可以包括用户管理模块，而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中，用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；每个用户设备的用户接入模块用于向基站端发送身份认证请求，并在接收到来自基站端的认证成功信息后与基站端建立数据连接。
具体实施例三
所述的无人机自拍系统，所述的用户端3还包括用户接入模块，用于向基站端2发送身份认证请求，并在接收到来自基站端2的认证成功信息后与基站端2建立数据连接。
所述的无人机自拍系统，所述的第二无线传输模块22在接收到来自第三无线传输模块311的传输指令时，判定所述传输指令中是否包含已支付信息，并在包含已支付信息的情况下建立与第三无线传输模块311之间的数据连接，所述已支付信息通过在线支付方式获得。
所述的无人机自拍系统，所述用户交互模块312：
用于获取用户设备的当前姿态，所述姿态信息是指用户设备在发送所述传输指令时的姿态，是用户设备中显示模块313的屏幕法线方向，通过在用户设备上进行触屏操作来设置，或通过在用户设备中集成姿态传感子模块来获取用户设备的当前姿态信息；
用于接收用户的自拍指令，并将当前显示于所述用户设备显示模块313上的图像存储于用户设备的本地相册中；
用于接收用户的录像指令，并将当前及后续显示于显示模块313上的图像连续存储于用户设备的本地相册中，直至接收到用户的停止录像指令为止，以利用所存储的所有图像形成对应的录像视频。
用户端每个用户设备通过用户交互模块312来设置所需图像帧序列的姿态信息，并通过第三无线传输模块311将包含有该姿态信息的传输指令发送给基站端2。例如，用户交互模块312可以由用户通过触屏操作的方式来设置姿态信息，在这种情况下，可以通过触屏模块同时实现用户交互模块312和显示模块313的功能。此外，也可以在用户交互模块312中集成陀螺仪等姿态传感子模块，以此来获取用户设备的当前自拍姿态来作为上述姿态信息。
用户端每个用户设备的用户交互模块312接收用户的自拍指令，并响应于该自拍指令而将当前显示于该用户设备显示模块313上的图像存储于该用户设备的本地相册中；和/或每个用户设备的用户交互模块312还可以接收用户的录像指令，并响应于该录像指令而将当前及后续显示于该用户设备显示模块上的图像连续地存储于该用户设备的本地相册中，直至接收到用户的停止录像指令为止，以利用响应于该录像指令所存储的所有图像形成对应的录像视频。由此，用户可以利用无人机来实现高空景点自拍、录影等功能。
第二无线传输模块22在接收到来自第三无线传输模块311(即用户端某个用户设备)的传输指令时，判定该传输指令中是否包含已支付信息，并在该传输指令中包含已支付信息的情况下建立与该第三无线传输模块311之间的数据连接；当其中不包含已支付信息时，则拒绝用户设备的连接请求。其中，已支付信息例如是通过诸如扫码支付等在线支付方式获得的，也可以是通过其他支付手段获得的。
具体实施例四
一种在所述无人机自拍系统上实现的无人机自拍方法，包括以下步骤：
步骤a、在用户交互模块312中采用用户设备拍照或者本地照片通过第三传无线传输模块311传输到基站端2；
步骤b、第二无线传输模块22接收所述照片，并且传输给无人机端1，第一无线传输模块接收所述照片，用于人脸识别设备122进行人脸识别；
步骤c、根据指令起飞无人机11，无人机11通过人脸识别设备122按照特定方法搜索预先录入的人脸所在位置；
步骤d、搜索到人脸所在位置，通过用户交互模块312启动拍照/摄像指令，图像/视频采集设备121采集目标人脸所在的各个角度、任意位置的场景图片/视频，通过第一无线传输模块13传输到基站端2；
步骤e、第二无线传输模块22接收采集的照片/视频，存储至存储模块21，同时传输至用户端3；
步骤f、第三无线传输模块311接收采集的照片/视频，在用户设备上完成支付信息后，在显示模块313显示；
步骤g、无人机11按照原航线返回起飞位置。
所述的无人机自拍方法，步骤c所述按照特定方法搜索预先录入的人脸所在位置，具体方法是无人机11从原始位置起飞直线上升飞行一定高度，旋转飞行360度，搜索目标人脸所在位置，如搜索到目标人脸进行步骤d，如未搜索到目标人脸，则进行返航。
通过每个用户设备的用户接入模块用于向基站端2发送身份认证请求，基站端2的用户管理模块接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息，所诉的用户设备的用户接入模块接收来自基站端2的认证成功信息后与基站端2建立数据连接；
在用户交互模块312中采用用户设备拍照或者本地照片通过第三传无线传输模块311传输到基站端2；第二无线传输模块22接收所述照片，并且传输给无人机端1，第一无线传输模块接收所述照片，用于人脸识别设备122进行人脸识别；根据指令起飞无人机11，无人机11从原始位置起飞直线上升飞行一定高度，旋转飞行360度，搜索预先录入的人脸所在位置，如未搜索到目标人脸，则进行返航；搜索到人脸所在位置，通过用户交互模块312启动拍照/摄像指令，图像/视频采集设备121采集目标人脸所在的各个角度、任意位置的场景图片/视频，通过第一无线传输模块13传输到基站端2；第二无线传输模块22接收采集的照片/视频，存储至存储模块21，同时传输至用户端3；第三无线传输模块311接收采集的照片/视频，在用户设备上完成支付信息后，在显示模块313显示；无人机11按照原航线返回起飞位置。
这是人物拍照的方法，另外进行风景拍照时，不需要进行人脸识别，直接按照既定的航线进行拍摄各个角度和位置的照片或视频。