一种实现运动相机3D视频直播的方法及系统与流程

本发明涉及一种实现运动相机3D视频直播的方法及系统。

背景技术：

运动相机，是专门为运动而生的相机，相对于普通相机而言，其可以在相对恶劣的环境中，拍摄出优质的相片或者视频，因此运动相机广收户外运动者的欢迎。

随着近几年运动相机普及与相关技术的迅猛发展， 消费者对运动相机的体验提出了越来越多的要求，如运动相机视频直播等，所谓视频直播准确来讲是音视频直播，即把音视频信号压缩成数字信号，通过网络进行传输的一种流媒体应用，相对于传统视频点播的区别在于视频直播讲求信息的实时性广播。

现有的运动相机生产企业也在不断地对运动相机的视频直播进行优化，如申请号为201610197813.3的专利，针对而现有的视频直播方案都需要复杂的配置，冗繁的操作，不仅需要极其专业的设备和环境，还需要经过培训的专业操作人员的问题，提供了“一种运动相机上通过一键发起视频直播的方法”，能够通过运动相机上一键发起视频直播，操作简单便捷。又如申请号为201610197812.9的专利，提供了“一种运动相机多直播账号进行直播网络选择的系统和方法”，在运动相机和智能手机上都具有不同的视频直播账号的情况下，当运动相机具有3G/4G数据连接，并且同时通过智能手机分享的WiFi热点连接到两个网络的情况下，运动相机可以选择使用自身注册的直播账号，或者使用作为热点的智能手机上的直播账号进行视频直播；对运动相机直播技术的发展都起到了很大的作用。

但是，就目前的运动相机直播系统或者方法而言，运动相机在视频直播过程中，视频观看者会减少很多观看的真实感，不具有身临其境的感觉，无法满足消费者对运动相机直播提出的越来越高的要求。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种实现运动相机3D视频直播的方法及系统，根据视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频进行直播,让观众在观看直播的过程中能有身临其境的感觉，提升用户体验和运动相机的运用价值。

本发明的目的是通过以下技术方案来实现的：一种实现运动相机3D视频直播的方法，包括以下步骤：

利用两个运动相机以相同的视角进行视频拍摄，并获取测量所述两个运动相机之间的距离；

将运动相机之间的距离和各自拍摄得到的视频上传到服务器；

服务器根据视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频；

服务器对3D视频进行直播。

进一步地，利用两个运动相机以相同的视角进行视频拍摄的步骤包括：

将第一运动相机和第二运动相机通过支架固定且并行放置；

使第一运动相机和第二运动相机保持相同的拍摄角度；

利用第一运动相机拍摄得到每一帧视频图像均带有时间戳的第一视频；

利用第二运动相机拍摄得到每一帧视频图像均带有时间戳的第二视频。

进一步地，利用两个运动相机以相同的视角进行视频拍摄的步骤还包括：

使第一运动相机和第二运动相机在拍摄开始前进行时间同步。

进一步地，获取测量所述两个运动相机之间距离的步骤包括：

将第一运动相机和第二运动相机分别通过支架上的两个连接器固定；

第一运动相机和第二运动相机获取两连接器之间的距离。

其中，若所述第一运动相机和第二运动相机底部分别具有机械式固定卡口和位于卡口旁边的霍尔传感器；且所述第一运动相机和第二运动相机均分别具有无线通信模块和数据处理系统，能够相互建立无线连接，以及分别连接到远程服务器；支架上设置有位置固定的第一连接器和第二连接器，用于分别与第一运动相机和第二运动相机的机械式固定卡口连接；支架上在第一连接器附近和第二连接器附近，还分别设置有第一磁铁和第二磁铁；

则所述第一运动相机和第二运动相机上的霍尔传感器感应到磁场变化时，两台相机的数据处理系统获取预存的第一连接器和第二连接器的固定距离，作为两个运动相机之间的距离信息。

其中，若所述第一运动相机和第二运动相机底部均具有机电式固定卡口，用于与支架建立机械连接和电连接；且所述第一运动相机和第二运动相机均分别具有无线通信模块和数据处理系统，能够相互建立无线连接，以及分别连接到远程服务器；支架上设置有可滑动的第三连接器和第四连接器，用于分别与第一运动相机和第二运动相机的机电式固定卡口相连接；支架还设置有由导体材料构成的滑轨和电阻检测模块，第三连接器和第四连接器能够在支架的滑轨上运动，并通过导体与滑轨接触形成一个滑动变阻器，电阻检测模块用于检测当前滑动变阻器的阻值；

则当第一运动相机与第二运动相机在支架上固定完成后，电阻检测模块开始工作，测定当前滑动变阻器阻值，并通过第三连接器和第四连接器，将阻值信息分别向第一运动相机和第二运动相机传输；第一运动相机和第二运动相机获取到阻值信息后，与预存的滑动变阻器信息进行比对运算，获得当前第一运动相机与第二运动相机之间的间距。

进一步地，对两个运动相机拍摄得到的视频进行合成处理包括以下子步骤：

对两个视频的各帧的时间戳进行识别，挑选出同步帧对；

将每一个同步帧对中进行图像匹配，并计算出视差数据；

根据视差数据，结合两个运动相机的距离，计算得出深度数据；

利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；

将同步帧对形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。

进一步地，所述图像帧对的挑选步骤包括：对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，该两帧图像即为所述的同步帧对。

一种实现运动相机3D视频直播的系统，包括：

运动相机直播支架装置，两个运动相机从相同的角度进行视频拍摄，并获取所述两个运动相机之间的距离，将运动相机之间的距离和各自拍摄得到的视频上传到服务器；

服务器，用于根据视频携带的时间戳和运动相机之间的距离，将两个运动相机拍摄得到的视频合成一个3D视频；

直播模块，用于对合成的3D视频进行直播。

所述的运动相机直播支架装置包括第一运动相机、第二运动相机和支架；第一运动相机、第二运动相机和系统支架至少其中之一具有与服务器通讯的数据传输模块；

第一运动相机和第二运动相机通过支架固定且并行放置；第一运动相机用于获取每一帧视频图像均带有时间戳的第一视频，第二运动相机用于获取每一帧视频图像均带有时间戳的第二视频，且第一运动相机和第二运动相机在连接支架后获取两相机之间的间距。

所述的服务器包括：

同步帧对挑选单元，对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，得到同步帧对；

视差计算单元，用于对每一个同步帧对进行图像匹配，并计算出视差数据；

深度计算单元，用于根据视差数据，结合两个运动相机的距离，计算得出深度数据；

3D图像帧生成单元，用于利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；

3D视频合成单元，用于将形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。

所述的数据传输模块包括但不限于WIFI模块、3G通讯模块或4G LTE通讯模块；相应的，所述运动相机将视频传输给服务器的方式包括但不限于WIFI通讯传输、3G通讯传输或4G LTE通讯传输。

本发明的有益效果是：对两个运动相机拍摄得到的视频进行合成处理，得到3D视频进行直播,让观众在观看直播的过程中能有身临其境的感觉，提升用户体验和运动相机的运用价值；基于两个运动相机拍摄得到的每一帧视频图像时间戳，来进行视频图像的3D合成，运动相机不需要同时开始直播，服务器会根据视频流时间戳进行处理，极大减小操作难度。

附图说明

图1为本发明的方法流程图；

图2为运动相机3D直播支架装置的实施例一机械连接图；

图3为运动相机3D直播支架装置的实施例一电气连接图；

图4为运动相机3D直播支架装置的实施例二机械连接图；

图5为运动相机3D直播支架装置的实施例二电气连接图；

图6为本发明的系统原理框图，

图中，1-支架，2-第一运动相机，3-第二运动相机，4-机械式固定卡口，5-霍尔传感器，6-第一连接器，7-第二连接器，8-第一磁铁，9-第二磁铁，10-机电式固定卡口，11-第三连接器，12-第四连接器，13-滑轨，14-电阻检测模块。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种实现运动相机3D视频直播的方法，包括以下步骤：

利用第一运动相机2拍摄第一视频，第二运动相机3拍摄第二视频，两相机视角相同；并获得所述两个运动相机之间的距离信息；

将运动相机之间的距离和第一视频、第二视频上传到服务器；

服务器根据第一视频和第二视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频；

服务器对3D视频通过流媒体进行直播。

在具体实施过程中，利用第一运动相机2、第二运动相机3拍摄视频包括以下子步骤：

将第一运动相机2和第二运动相机3通过支架固定且并行放置；

使第一运动相机2和第二运动相机3保持相同的拍摄角度；

利用第一运动相机2拍摄得到每一帧视频图像均带有时间戳的第一视频；

利用第二运动相机3拍摄得到每一帧视频图像均带有时间戳的第二视频。

在该实施过程中，利用第一运动相机2、第二运动相机3拍摄视频除以上步骤外，还包括：使第一运动相机2和第二运动相机3在拍摄开始前进行时间同步。同步可以通过GPS或服务器授时完成，也可以通过在第一相机和第二相机之间建立数据连接来完成。

在本申请中的具体实施过程中，获得所述两个运动相机之间的距离信息包括如下子步骤：

将第一运动相机1和第二运动相机2分别通过支架1上的两个连接器固定；

将两连接器之间的距离输入第一运动相机1和第二运动相机2；

根据支架上的连接器是否固定，运动相机之间距离信息的获得分为如下两个具体实施例：

实施例一，对于具有固定连接点的支架1，距离信息可以通过在运动相机的交互界面人工选择支架型号输入相机，也可以通过位于支架上的磁性装置和位于运动相机上的磁检测装置输入相机：

图2~3示出了一种运动相机3D直播支架装置，如图2~3所示，该装置包括支架1、第一运动相机2和第二运动相机3，第一运动相机2和第二运动相机3均分别具有无线通信模块（数据传输模块）和数据处理系统，可相互建立无线连接，以及分别连接到远程服务器；第一运动相机2和第二运动相机3底部分别具有机械式固定卡口4和位于卡口旁边的霍尔传感器5；支架1上设置有位置固定的第一连接器6和第二连接器7（两连接器的具体为D1），用于分别与第一运动相机2和第二运动相机3的机械式固定卡口4连接；支架1上在第一连接器6附近和第二连接器7附近，还分别设置有第一磁铁8和第二磁铁9。

当第一运动相机2与第一连接器6固定完成时，第一磁铁8使得位于第一运动相机2上的霍尔传感器5感应到磁场变化，提示第一运动相机2的数据处理系统连接完成；当第二运动相机3与第二连接器7固定完成时，第二磁铁9使得位于第二运动相机3上的霍尔传感器5感应到磁场变化，提示第二运动相机3的数据处理系统连接完成。此时，第一运动相机和第二运动相机通过无线连接交换数据，确认两台相机均连接到系统支架；两台相机的数据处理系统获取预存在其中的第一距离D1作为两个运动相机之间的距离信息。

实施例二，对于具有可动连接点的支架，距离信息也可以通过支架上的测距装置测量之后，通过位于近场通信装置，磁感应装置或者位于连接点的数据接口输入第一运动相机和第二运动相机：

图4~5示出了另一种运动相机的3D直播支架装置，如图4~5所示，该装置包括支架1，第一运动相机2和第二运动相机3，其中第一运动相机2和第二运动相机3均分别具有无线通信模块（数据传输模块）和数据处理系统，可相互建立无线连接，以及分别连接到远程服务器；第一运动相机2和第二运动相机3底部均具有机电式固定卡口10，用于与支架建立机械连接和电连接；支架1上设置有可动的第三连接器11和第四连接器12，用于分别与第一运动相机2和第二运动相机3的机电式固定卡口10相连接；系统支架还设置有由导体材料构成的滑轨13和电阻检测模块14，第三连接器11和第四连接器12能够在在支架1的滑轨13上运动，并通过导体与滑轨接触形成一个滑动变阻器，电阻检测模块14用于检测当前滑动变阻器的阻值；

当第一运动相机2与第三连接器11固定完成，且第二运动相机3与第四连接器12固定完成时，第一运动相机2和支架1以及第二运动相机3均建立电连接。此时，第一运动相机2和第二运动相机3的数据处理系统认定连接完成。支架1上的电阻检测模块开始工作，测定当前滑动变阻器阻值，并通过第三连接器11和第四连接器12，将阻值信息分别向第一运动相机2和第二运动相机3传送。第一运动相机2和第二运动相机3获取到阻值信息后，与预存的滑动变阻器信息进行比对运算，获得当前第一运动相机2与第二运动相机之间3的间距D。例如，假设系统滑轨长度为75cm，滑轨总阻值为50k，上述信息预存于第一运动相机与第二运动相机的数据处理系统中。电阻检测模块测得当前阻值信息为30k，则此时第一运动相机与第二运动相机的间距D=75×30/50=45cm。

在本申请的具体实施过程中，所述的步骤S3包括以下子步骤：

对两个视频的各帧的时间戳进行识别，挑选出同步帧对；

将每一个同步帧对中进行图像匹配，并计算出视差数据；

根据视差数据，结合两个运动相机的距离，计算得出深度数据；

利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；

将同步帧对形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。

所述图像帧对的挑选步骤包括：对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，该两帧图像即为所述的同步帧对。

具体的，上述阈值为1/2f，f表示视频频率，当两帧图像的时间戳相差不超过1/2f时，该两帧图像同步，或者说该两帧图像为第一运动相机和第二运动相机在同一时刻拍摄的图像。

图6示出了根据本发明一个实施例的运动相机3D直播系统示意图，所述系统包括：

运动相机直播支架装置，用于使两个运动相机从相同的角度进行视频拍摄，并获取所述两个运动相机之间的距离，将运动相机之间的距离和各自拍摄得到的视频上传到服务器；

服务器，用于根据视频携带的时间戳和运动相机之间的距离，将两个运动相机拍摄得到的视频合成一个3D视频；

直播模块，用于对合成的3D视频通过流媒体进行直播，供用户观看。

其中，运动相机直播支架装置包括第一运动相机2、第二运动相机3和支架1；第一运动相机2、第二运动相机3和系统支架1至少其中之一具有与服务器通讯的数据传输模块；第一运动相机2和第二运动相机3通过支架3固定且并行放置；第一运动相机2用于获取每一帧视频图像均带有时间戳的第一视频，第二运动相机3用于获取每一帧视频图像均带有时间戳的第二视频，第一运动相机2和第二运动相机3在连接支架后获得两相机之间的间距。

所述的服务器包括：

同步帧对挑选单元，对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，得到同步帧对；

视差计算单元，用于对每一个同步帧对进行图像匹配，并计算出视差数据；

深度计算单元，用于根据视差数据，结合两个运动相机的距离，计算得出深度数据；

3D图像帧生成单元，用于利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；

3D视频合成单元，用于将形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。

所述的数据传输模块包括但不限于WIFI模块、3G通讯模块或4G LTE通讯模块；相应地，所述运动相机将视频传输给服务器的方式包括但不限于WIFI通讯传输、3G通讯传输或4G LTE通讯传输。

本发明中对两个运动相机拍摄得到的视频进行合成处理，得到3D视频进行直播,让观众在观看直播的过程中能有身临其境的感觉，提升用户体验和运动相机的运用价值，对运动相机的直播技术的发展起到了很大的作用；基于两个运动相机拍摄得到的每一帧视频图像时间戳，来进行视频图像的3D合成，运动相机不需要同时开始直播，服务器会将时间戳相差不超过阈值的帧图像，作为同一时间拍摄的视频图像帧进行合成，极大减小了操作难度。