一种通过Wifi实现多设备拍照时间同步的方法及系统与流程

本发明涉及一种同步拍照方法，主要用于高精度3d照片建模和影视子弹时间拍摄等领域，具体涉及一种通过wifi实现多设备拍照时间同步的方法及系统。

背景技术：

许多计算机视觉算法需要以不同角度拍摄的多张图像作为输入。这些算法在生成动态的场景视频时，如果输入的多张图像并非同一时间捕获，视频生成可能失败，所以确保图像在同一时刻拍摄对于生成这些场景视频而言至关重要。

传统的设备拍摄时间同步方法，主要通过专门的硬件实现，比如通过ieee1394同步接口将各拍摄设备连接起来，以确保各拍摄设备同步捕获图像。但硬件实现方式需要繁琐的布线，可移植性较差，更为重要的是，大多拍摄设备不具备专用的同步接口。

另外一种同步拍摄方法是，各拍摄设备各管各捕获图像，然后再对各拍摄设备捕获的图像进行帧对齐处理。这种后置的同步拍摄方法实际是一种图像帧对齐处理方法，无法在拍摄前同步各拍摄设备的拍照时间，造成后续图像帧对齐过程复杂，而且图像帧对齐结果往往并不理想。

技术实现要素：

本发明的目的在于提供一种通过wifi实现多设备拍照时间同步的方法及系统，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种通过wifi实现多设备拍照时间同步的方法，包括如下步骤：

步骤s1，在多个拍摄设备之间建立wifi通讯连接；

步骤s2，指定其中一个所述拍摄设备为领导者设备，指定剩余的所述拍摄设备为客户端设备，然后通过估计网络延迟将各所述客户端设备的时钟同步到所述领导者设备的时钟；

步骤s3，将所述领导者设备和所有所述客户端设备的图像拍摄模式设置为连续流拍摄模式；

步骤s4，所有所述拍摄设备在所述领导者设备的时钟域下对同一拍摄对象同时启动连续流图像拍摄，以对拍摄图像进行采样；

步骤s5，结合图像采样的时延情况，校正各所述客户端设备或所述领导者设备的时钟相位，以使得各所述客户端设备的时钟相位与所述领导者设备的时钟相位匹配对齐。

作为本发明的一种优选方案，所述拍摄设备包括智能手机。

作为本发明的一种优选方案，根据ntp网络时间协议将各所述客户端设备的时钟同步到所述领导者设备的时钟。

作为本发明的一种优选方案，所述步骤s2中，通过以下公式(1)估计所述客户端设备与所述领导者设备间的时钟偏移θ：

上式(1)中，t0用于表示所述领导者设备在领导者设备时间域中的t0时刻向所述客户端设备发送时钟同步指令；

t1用于表示所述客户端设备在客户端设备时间域中的t1时刻接收到所述领导者设备发送的所述时钟同步指令；

t2用于表示所述客户端设备在客户端设备时间域中的t2时刻向所述领导者设备发送时钟同步反馈指令，t2>t1；

t3用于表示所述领导者设备在领导者设备时间域中的t3时刻接收到所述客户端设备发送的所述时钟同步反馈指令，t3>t0。

作为本发明的一种优选方案，所述步骤s2中，通过以下公式(2)计算所述领导者设备与所述客户端设备之间收发指令的时间延迟

公式(2)中，t0用于表示所述领导者设备在领导者设备时间域中的t0时刻向所述客户端设备发送时钟同步指令；

t1用于表示所述客户端设备在客户端设备时间域中的t1时刻接收到所述领导者设备发送的所述时钟同步指令；

t2用于表示所述客户端设备在客户端设备时间域中的t2时刻向所述领导者设备发送时钟同步反馈指令，t2>t1；

t3用于表示所述领导者设备在领导者设备时间域中的t3时刻接收到所述客户端设备发送的所述时钟同步反馈指令，t3>t0。

作为本发明的一种优选方案，所述步骤s2中，每过一预设时间间隔重新同步各所述客户端设备与所述领导者设备的时钟。

作为本发明的一种优选方案，所述时间间隔为1小时。

作为本发明的一种优选方案，所述步骤s5中的所述结合图像采样的时延情况校正各所述客户端设备的时钟相位的方法具体为：

当所述领导者设备与所述客户端设备同步按下快门后，设定所述领导者设备开始采集图像的真实时间为ugoal，设定所述客户端设备开始采集图像的真实时间为u，

若ugoal>u，表示同步按下快门后，所述领导者设备响应拍摄的响应时间大于所述客户端设备响应拍摄的响应时间，则将所述领导者设备开始采集图像的时间延迟δ，以校正所述领导者设备的时钟相位，使得在按下快门后，所述领导者设备与所述客户端设备实现同步拍摄，此时δ＝ugoal-u；

若ugoal<u，表示同步按下快门后，所述领导者设备响应拍摄的响应时间小于所述客户端设备响应拍摄的响应时间，则将所述客户端设备开始采集图像的时间延迟δ，以校正所述领导者设备的时钟相位，使得在按下快门后，所述领导者设备与所述客户端设备实现同步拍摄，此时δ＝u-ugoal。

本发明还提供了一种通过wifi实现多设备拍照时间同步的系统，可实现所述方法，所述系统包括：

一可视化界面，用于提供给用户对同步设备拍照时间进行可视化操作；

网络互连模块，用于通过所述可视化界面提供给所述用户在多个所述拍摄设备之间建立wifi通讯连接；

时钟同步对象设定模块，用于通过所述可视化界面提供给所述用户在各所述拍摄设备中指定一设备作为时钟同步对象；

时钟同步模块，连接所述时钟同步对象设定模块，用于根据用户输入的时钟同步指令，以设定的所述时钟同步对象为所述领导者设备，并通过ntp网络时间协议将各所述客户端设备的时钟同步到所述领导者设备的时钟；

连续流拍摄模式设定模块，用于通过所述可视化界面提供给所述用户将所有所述拍摄设备的图像拍摄模式设定为连续流拍摄模式；

图像采样模块，连接所述连续流拍摄模式设定模块，用于通过所述可视化界面提供给所述一用户输入图像采样指令，各所述拍摄设备根据同步接收的所述图像采样指令同时启动连续流图像拍摄；

时钟相位校正模块，连接所述图像采样模块，用于结合图像采样的时延情况校正各所述客户端设备或所述领导者设备的时钟相位，以使得各所述客户端设备与的时钟相位与所述领导者设备的时钟相位匹配对齐。

作为本发明的一种优选方案，通过以下公式(3)估计所述客户端设备与所述领导者设备间的时钟偏移θ：

上式(1)中，t0用于表示所述领导者设备在领导者设备时间域中的t0时刻向所述客户端设备发送时钟同步指令；

t1用于表示所述客户端设备在客户端设备时间域中的t1时刻接收到所述领导者设备发送的所述时钟同步指令；

t2用于表示所述客户端设备在客户端设备时间域中的t2时刻向所述领导者设备发送时钟同步反馈指令，t2>t1；

t3用于表示所述领导者设备在领导者设备时间域中的t3时刻接受到所述客户端设备发送的所述时钟同步反馈指令，t3>t0。

本发明无需借助额外的硬件即可实现拍摄设备间的时间同步，解决了硬件同步方法布线繁琐，可移植性差的问题。而且本发明可在拍摄前完成对各拍摄设备的拍照时间同步，无需通过事后的图像帧对齐等图像处理手段对拍照时间进行校正，图像同步精度更高，操作更加简单、方便。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的通过wifi实现多设备拍照时间同步的方法的步骤图；

图2是本发明一实施例所述的通过wifi实现多设备拍照时间同步的系统的系统结构图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的wifi实现多设备拍照时间同步的方法，包括如下步骤：

步骤s1，在多个拍摄设备(包括智能手机，可以是不同品牌、不同型号的智能手机)之间建立wifi通讯连接；建立wifi通讯连接的方式可以是指定一拍摄设备为领导者设备，其他剩余的拍摄设备为客户端设备，领导者设备开启wifi热点，其他所有的客户端设备连接该wifi热点实现与领导者设备的通讯连接；

步骤s2，指定其中一个拍摄设备为领导者设备，指定剩余的拍摄设备为客户端设备，然后通过估计网络延迟将各客户端设备的时钟同步到领导者设备的时钟；本实施例优选通过ntp(networktimeprotocol)网络时间协议估计网络延迟；

网络延迟包括客户端设备时钟与领导者设备时钟间的时钟偏移，以及客户端设备与领导者设备之间收发通讯指令(消息)的时间延迟。关于时钟偏移的具体估计方法通过以下公式(1)计算而得：

上式(1)中，θ用于表示客户端设备时钟与领导者设备时钟间的时钟偏移；

t0用于表示领导者设备在领导者设备时间域中的t0时刻向客户端设备发送时钟同步指令；

t1用于表示客户端设备在客户端设备时间域中的t1时刻接收到领导者设备发送的时钟同步指令；

t2用于表示客户端设备在客户端设备时间域中的t2时刻向领导者设备发送时钟同步反馈指令，t2>t1；

t3用于表示领导者设备在领导者设备时间域中的t3时刻接收到客户端设备发送的时钟同步反馈指令，t3>t0。

关于时间延迟的具体估计方法通过以下公式(2)实现：

公式(2)中，用于表示客户端设备与领导者设备之间收发通讯指令(消息)的时间延迟；

t0用于表示领导者设备在领导者设备时间域中的t0时刻向客户端设备发送时钟同步指令；

t1用于表示客户端设备在客户端设备时间域中的t1时刻接收到领导者设备发送的所述时钟同步指令；

t2用于表示客户端设备在客户端设备时间域中的t2时刻向领导者设备发送时钟同步反馈指令，t2>t1；

t3用于表示领导者设备在领导者设备时间域中的t3时刻接收到客户端设备发送的时钟同步反馈指令，t3>t0。

步骤s2中，优选地，没过一预设时间间隔重新同步各客户端设备与领导者设备的时钟，以确保领导者设备与各客户端设备间的时钟始终处于同步状态。更优选地，该间隔时间为1小时。

步骤s3，将领导者设备和所有客户端设备的图像拍摄模式设置为连续流拍摄模式(即相机的连拍模式，多数智能手机都有此功能)；

步骤s4，所有拍摄设备在领导者设备的时钟域下对同一拍摄对象同时启动连续流图像拍摄，以对拍摄图像进行采样；

步骤s5，结合图像采样的时延情况，校正各客户端设备或领导者设备的时钟相位，以使得各客户端设备的时钟相位与领导者设备的时钟相位匹配对齐。具体地，结合图像采样的时延情况校正各客户端设备的时钟相位的方法具体为：

当领导者设备与客户端设备同步按下快门后，设定领导者设备开始采集图像的真实时间为ugoal，设定客户端设备开始采集图像的真实时间为u，

若ugoal>u，表示同步按下快门后，领导者设备响应拍摄的响应时间大于客户端设备响应拍摄的响应时间，则将领导者设备开始采集图像的时间延迟δ，以校正领导者设备的时钟相位，使得在按下快门后，领导者设备与客户端设备实现同步拍摄，此时δ＝ugoal-u；

若ugoal<u，表示同步按下快门后，领导者设备响应拍摄的响应时间小于客户端设备响应拍摄的响应时间，则将客户端设备开始采集图像的时间延迟δ，以校正领导者设备的时钟相位，使得在按下快门后，领导者设备与客户端设备实现同步拍摄，此时δ＝u-ugoal。

所以综上，步骤s4以连续流图像拍摄模式对拍摄图像进行采样的目的是，为计算时间延迟δ提供依据。比如同步按下快门后，客户端设备开始采集第一帧图像的真实时间为8:01:55，领导者设备开始采集第一帧图像的真实时间为8:01:54，也就是领导者设备比客户端设备开始采集图像的时间快了1秒。此时客户端设备开始采集图像的时间相比领导者设备开始采集图像的时间慢了1秒，本实施例通过将客户端设备开始采集图像的时间强制提前1秒(强制提前拍摄的现有方法有很多，在此不做阐述)或者将领导者设备正常开始采集图像的时间延迟1秒，以使得客户端设备和领导者设备间的时钟相位匹配对齐。

图2示出了本发明一实施例提供的一种通过wifi实现多设备拍照时间同步的系统，该系统可实现上述的wifi实现多设备拍照时间同步的方法，请参照图2，该系统包括：

一可视化界面，用于提供给用户对同步设备拍照时间进行可视化操作；

网络互连模块1，用于通过可视化界面提供给用户在多个拍摄设备之间建立wifi通讯连接；

时钟同步对象设定模块2，用于通过可视化界面提供给用户在各拍摄设备中指定一设备作为时钟同步对象；

时钟同步模块3，连接时钟同步对象设定模块2，用于根据用户输入的时钟同步指令，以设定的时钟同步对象为领导者设备，并通过ntp网络时间协议将各客户端设备的时钟同步到领导者设备的时钟；

连续流拍摄模式设定模块4，用于通过可视化界面提供给用户将所有拍摄设备的图像拍摄模式设定为连续流拍摄模式；

图像采样模块5，连接连续流拍摄模式设定模块4，用于通过可视化界面提供给一用户输入图像采样指令，各拍摄设备根据同步接收的图像采样指令同时启动连续流图像拍摄；

时钟相位校正模块6，连接图像采样模块5，用于结合图像采样的时延情况校正各客户端设备或领导者设备的时钟相位，以使得各客户端设备与的时钟相位与领导者设备的时钟相位匹配对齐。

该系统同步客户端设备与领导者设备间的时钟的方法在上述的通过wifi实现多设备拍照时间同步的方法已作了详细阐述，所以在此不再赘述。另外，该系统关于校正客户端设备与领导者设备间的时钟相位的方法同样在上述的通过wifi实现多设备拍照时间同步的方法作了详细阐述，所以在此同样不再赘述。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。