本发明多分辨率全景视频直播拍照系统与方法属于信息处理领域。
背景技术：
在当今时代，视频直播越来越受大众的欢迎，纵观视频直播的发展史，是由视频点播的基础上演变而来，由互联网以及流媒体技术进行直播,从而能够实时、全面地传播视频内容。视频直播通过真实、生动的传播，营造出强烈的现场感，吸引眼球，达成印象深刻、记忆持久的传播效果，能够真实、直观、全面的宣传、展示自己一个完整的流媒体平台，在早期的视频播放时，视频内容的可视区域因拍摄等原因，如：摄像机镜头的取景角度、范围，导致其固定不可调，用户只能观看到当前的区域，视频画面只能跟随镜头移动而变化，用户观看无立体感，更不能有身临其境的感受。
随着全景视频技术的发展，出现了360度全景视频，能够让用户全方位的360度自由观看，可以上下左右前后、甚至远近距离观看。通常是通过多个摄像机同时对同一个空间下的物体进行多个角度拍摄来实现，在播放端允许用户在无需暂停视频播放的情况下，自由切换观看角度；全景视频具有立体感和真实感，能够很好地提供视觉体验；能够实现身临其境的体验和更令人刮目相看的惊奇效果。
随着人们需求的不断提高，图像记录成为人们一种新的留念记录，所以人们希望在观看视频直播时不但可以看到真实、全面、直观的视频，还可以实时地获取高质量图像以留存或与朋友分享。那么如何快速有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示，提高用户体验的真实感和舒适感，将成为一个亟待解决的问题。
技术实现要素：
本发明提供了一种多分辨率全景视频直播拍照系统与方法，有效地构建虚拟现实所需要的图像信息并将其传递到客户端并显示。
本发明的目的是这样实现的：
一种多分辨率全景视频直播拍照系统，包括图像采集模块、流媒体服务器模块和用户终端模块，所述图像采集模块包括图像采集设备和第一无线传输子模块；所述流媒体服务器模块包括处理子模块、存储子模块和第二无线传输子模块；所述的处理子模块包括实时拼接单元、视频编码单元和核心处理单元；所述存储子模块包括存储子单元a、存储子单元b和存储子单元c；用户终端模块包括至少一个用户设备，每个用户设备包括显示子模块、用户交互子模块和第三无线传输子模块。
所述的多分辨率全景视频直播拍照系统，所述的：
图像采集设备：用于采集图像数据；
第一无线传输子模块：用于将采集的图像数据传输给流媒体服务器模块；
实时拼接单元：用于实时拼接采集的图像数据；
视频编码单元：用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装并且分发；
核心处理单元：用于处理用户终端模块请求拍照的指令；
存储子单元：用于存储全景图像数据；
存储子单元：用于存储索引文件和视频流；
存储子单元：用于存储用户终端模块请求拍照的图像；
第二无线传输子模块：用于流媒体服务器模块和图像采集模块、用户终端模块之间的通信；
显示子模块：用于显示全景图像或视频流；
用户交互子模块：用于发送观看视频、拍照、预览、付费和下载请求；
第三无线传输子模块：用于用户终端模块和流媒体服务器模块之间的通信。
所述的多分辨率全景视频直播拍照系统，所述的流媒体服务器模块还包括用户管理模块，用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接。
所述的多分辨率全景视频直播拍照系统，所述的用户设备还包括用户接入模块，用于向流媒体服务器模块发送身份认证请求，并在接收到来自流媒体服务器模块的认证成功信息后与流媒体服务器模块建立数据连接。
一种在所述多分辨率全景视频直播拍照系统上实现的多分辨率全景视频直播拍照方法，包括以下步骤：
步骤a、通过图像采集设备采集图像数据，第一无线传输子模块将采集的图像数据传输给流媒体服务器模块；
步骤b、第二无线传输子模块接收到采集的图像数据，实时拼接单元将采集的图像数据实时拼接，并将拼接后的全景图像数据存储至存储子单元a；
步骤c、核心处理单元会根据时间戳信息生成全景视频数据索引文件，并建立索引文件和原始全景图像数据的映射关系，并根据映射关系保存索引文件至存储子单元b，视频编码单元将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储至存储子单元b，同时通过第二无线传输子模块传输给用户终端模块；
步骤d、第三无线传输子模块接收到视频流，在用户交互子模块中发起观看指令，在显示子模块中播放，在用户交互子模块中发起请求拍照指令，请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息，视频帧数据包括图像序列的标识和时间戳的位置，第三无线传输子模块把请求拍照指令传输给第二无线传输子模块；
步骤e、第二无线传输子模块接收到请求拍照指令，核心处理单元首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储子单元a中的原始全景图像，然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片，将截图保存至存储子单元c；
步骤f、用户在显示子模块中预览查看，如果用户满意，通过付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。
所述的一种多分辨率全景视频直播拍照方法，步骤e所述截取对应姿态信息的高分辨率图片，包括以下步骤：
步骤e1、将原始全景图像既是平面矩形图片重新映射到一个球面上，以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面，并将平面矩形图片贴图到全景映射球面上；
步骤e2、根据用户设备的姿态信息确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；
步骤e3、将已裁剪球面图形映射成目标矩形图片；目标矩形图片的尺寸为预设值，所述预设值根据经验值设定，或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
有益效果：
本发明多分辨率全景视频直播拍照系统，通过图像采集模块获得图像数据，传输给流媒体服务器模块，流媒体服务器模块将图像数据进行拼接，然后进行压缩编码，压缩成不同分辨率的视频流，并将压缩的视频流按照视频传输协议进行格式封装并且分发和存储，当用户终端模块的用户设备发送给流媒体服务器模块拍照请求时，流媒体服务器模块进行处理，再把请求拍照的图像传输给用户设备，在用户设备显示。用户可以使用该系统实时观看不同分辨率的全景视频，以满足不同用户同时观看全景视频的流畅性；用户在使用该系统观看低分辨率全景视频时，通过发送包含视频帧数据和姿态信息的拍照指令来实现实时获取高分辨率图像，提高了用户vr体验的真实感，实现了构建虚拟现实所需要的图像信息并将其传递到客户端并显示的功能。
附图说明
图1是多分辨率全景视频直播拍照系统结构图。
图中：1图像采集模块、11图像采集设备、12第一无线传输子模块、2流媒体服务器模块、21处理子模块、211实时拼接单元、212视频编码单元、213核心处理单元、22存储子模块、221存储子单元a、222存储子单元b、223存储子单元c、23第二无线传输子模块、3用户终端模块、31用户设备、311显示子模块、312用户交互子模块、313第三无线传输子模块。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
具体实施例一
一种多分辨率全景视频直播拍照系统，如图1所示，包括图像采集模块1、流媒体服务器模块2和用户终端模块3，所述图像采集模块1包括图像采集设备11和第一无线传输子模块12；所述流媒体服务器模块2包括处理子模块21、存储子模块22和第二无线传输子模块23；所述的处理子模块21包括实时拼接单元211、视频编码单元212和核心处理单元213；所述存储子模块22包括存储子单元a221、存储子单元b222和存储子单元c223；用户终端模块3包括至少一个用户设备，每个用户设备包括显示子模块311、用户交互子模块312和第三无线传输子模块313。
所述的多分辨率全景视频直播拍照系统，所述的：
图像采集设备11：用于采集图像数据；
第一无线传输子模块12：用于将采集的图像数据传输给流媒体服务器模块2；
实时拼接单元211：用于实时拼接采集的图像数据；
视频编码单元212：用于将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装并且分发；
核心处理单元213：用于处理用户终端模块3请求拍照的指令；
存储子单元a221：用于存储全景图像数据；
存储子单元b222：用于存储索引文件和视频流；
存储子单元c223：用于存储用户终端模块3请求拍照的图像；
第二无线传输子模块23：用于流媒体服务器模块2和图像采集模块1、用户终端模块3之间的通信；
显示子模块311：用于显示全景图像或视频流；
用户交互子模块312：用于发送观看视频、拍照、预览、付费和下载请求；
第三无线传输子模块313：用于用户终端模块3和流媒体服务器模块2之间的通信。
所述的多分辨率全景视频直播拍照系统，所述的流媒体服务器模块2还包括用户管理模块，用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接。
所述的多分辨率全景视频直播拍照系统，，所述的用户设备还包括用户接入模块，用于向流媒体服务器模块2发送身份认证请求，并在接收到来自流媒体服务器模块2的认证成功信息后与流媒体服务器模块2建立数据连接。
工作过程：图像采集模块1包含图像采集设备11和第一无线传输子模块12，用于采集其视野内全景图像数据，并将采集到的全景图像数据通过第一无线传输子模块12传输给流媒体服务器模块2。
流媒体服务器模块2包含处理子模块21、存储子模块22和第二无线传输子模块23；其中处理子模块21包含实时拼接单元211、视频编码单元212和核心处理单元213；存储子模块22包含存储子单元a221、存储子单元b222和存储子单元c223。第二无线传输子模块23用于流媒体服务器模块2、图像采集模块1和用户终端模块3的通信。
其中，实时拼接单元211用于实时拼接采集到的全景图像数据，并将拼接后的全景图像数据存储在存储子单元a221中；视频编码单元212用于将拼接后的全景图像数据进行压缩编码，压缩成流畅、标清、高清、超清不同分辨率的视频流，并将压缩的视频流按照视频传输协议进行格式封装并且分发；核心处理单元213用于处理用户终端模块3请求拍照的指令；存储子单元b222用于存储索引文件和全景视频数据；存储子单元c223用于存储用户终端模块3请求拍照的图像。
用户终端模块3包括一个或多个用户设备，每个用户设备包含显示子模块311、用户交互子模块312和第三无线传输子模块313。显示子模块311用于显示全景视频/图像；用户交互子模块312用于发送观看视频、拍照、预览、付费、下载等请求；第三无线传输子模块313用于用户终端模块3和流媒体服务器模块2的通信。其中，用户设备可以是智能手机、平板电脑或头戴式vr系统等终端设备。
流媒体服务器模块2还包括用户管理模块，而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中，用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；每个用户设备的用户接入模块用于向流媒体服务器模块2发送身份认证请求，并在接收到来自流媒体服务器模块2的认证成功信息后与流媒体服务器模块2建立数据连接。
流媒体服务器模块2接收到的全景图像数据首先进入实时拼接单元211进行全景拼接，并将拼接后的全景图像数据存储在存储子单元a221中，同时通过视频编码单元212将拼接后的全景图像数据进行压缩编码，压缩成流畅、标清、高清、超清不同分辨率的视频流，并将压缩的视频流按照视频传输协议进行格式封装并且分发；用户可以通过不同设备上对应的播放器实时解码流媒体服务器模块分发过来的视频数据，选择用户交互子模块312中的观看直播键进行实时的全景视频观看，用户可以选择流畅、标清、高清、超清不同分辨率的观看模式。
用户在观看全景视频直播时可以选择用户交互子模块312中的拍照键进行实时拍照，以获取高分辨率图像，在显示子模块311中显示。
具体实施例二
一种在所述多分辨率全景视频直播拍照系统上实现的多分辨率全景视频直播拍照方法，其特征在于，包括以下步骤：
步骤a、通过图像采集设备11采集图像数据，第一无线传输子模块12将采集的图像数据传输给流媒体服务器模块2；
步骤b、第二无线传输子模块23接收到采集的图像数据，实时拼接单元211将采集的图像数据实时拼接，并将拼接后的全景图像数据存储至存储子单元a221；
步骤c、核心处理单元213会根据时间戳信息生成全景视频数据索引文件，并建立索引文件和原始全景图像数据的映射关系，并根据映射关系保存索引文件至存储子单元b222，视频编码单元212将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储至存储子单元b222，同时通过第二无线传输子模块23传输给用户终端模块3；
步骤d、第三无线传输子模块313接收到视频流，在用户交互子模块312中发起观看指令，在显示子模块311中播放，在用户交互子模块312中发起请求拍照指令，请求拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息，视频帧数据包括图像序列的标识和时间戳的位置，第三无线传输子模块313把请求拍照指令传输给第二无线传输子模块23；
步骤e、第二无线传输子模块23接收到请求拍照指令，核心处理单元213首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储子单元a221中的原始全景图像，然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片，将截图保存至存储子单元c223；
步骤f、用户在显示子模块311中预览查看，如果用户满意，通过付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。
所述的一种多分辨率全景视频直播拍照方法，步骤e所述截取对应姿态信息的高分辨率图片，包括以下步骤：
步骤e1、将原始全景图像既是平面矩形图片重新映射到一个球面上，以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面，并将平面矩形图片贴图到全景映射球面上；
步骤e2、根据用户设备的姿态信息确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；
步骤e3、将已裁剪球面图形映射成目标矩形图片；目标矩形图片的尺寸为预设值，所述预设值根据经验值设定，或者根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。
图像采集模块1包含图像采集设备11和第一无线传输子模块12，通过图像采集设备11采集其视野内全景图像数据，第一无线传输子模块12将采集的全景图像数据传输给流媒体服务器模块2；
流媒体服务器模块2包含处理子模块21、存储子模块22和第二无线传输子模块23；其中处理子模块21包含实时拼接单元211、视频编码单元212和核心处理单元213；存储子模块22包含存储子单元a221、存储子单元b222和存储子单元c223。第二无线传输子模块23接收到采集的图像数据，实时拼接单元211将采集的图像数据实时拼接，并将拼接后的全景图像数据存储至存储子单元a221；核心处理单元213会根据时间戳信息生成全景视频数据索引文件，并建立索引文件和原始全景图像数据的映射关系，并根据映射关系保存索引文件至存储子单元b222，视频编码单元212将拼接后的全景图像数据进行压缩编码成视频流，并将视频流按照视频传输协议进行格式封装，存储至存储子单元b222，同时通过第二无线传输子模块23传输给用户终端模块3；
流媒体服务器模块2还包括用户管理模块，而一个或多个用户设备中的每个用户设备还包括用户接入模块。其中，用户管理模块用于接收来自每个用户设备的身份认证请求，并基于该身份认证请求对对应的用户设备进行身份认证，在认证成功后向该对应的用户设备发送认证成功信息以与该用户设备建立数据连接；每个用户设备的用户接入模块用于向流媒体服务器模块2发送身份认证请求，并在接收到来自流媒体服务器模块2的认证成功信息后与流媒体服务器模块2建立数据连接。
用户终端模块3包括一个或多个用户设备，每个用户设备包含显示子模块311、用户交互子模块312和第三无线传输子模块313。显示子模块311用于显示全景视频/图像；用户交互子模块312用于发送观看视频、拍照、预览、付费、下载等请求；第三无线传输子模块313用于用户终端模块3和流媒体服务器模块2的通信。其中，用户设备可以是智能手机、平板电脑或头戴式vr系统等终端设备。
第三无线传输子模块313接收到视频流，在用户交互子模块312中发起观看指令，在显示子模块311中播放，用户可以通过不同设备上对应的播放器实时解码流媒体服务器模块分发过来的视频数据，选择用户交互子模块312中的观看直播键进行实时的全景视频观看，用户可以选择流畅、标清、高清、超清不同分辨率的观看模式。用户在观看全景视频直播时可以选择用户交互子模块312中的拍照键进行实时拍照，以获取高分辨率图像。用户终端模块3发送的拍照指令中包含实时拍照的视频帧数据和用户设备的姿态信息；视频帧数据包括图像序列的标识和时间戳的位置；姿态信息可以由用户通过触屏操作的方式来设置，在这种情况下可以通过触屏模块同时实现用户交互子模块312和显示子模块311的功能；也可以在用户交互子模块312中集成陀螺仪等姿态传感子模块，以此来获取用户设备的当前姿态信息。第三无线传输子模块313把请求拍照指令传输给第二无线传输子模块23。
第二无线传输子模块23接收到请求拍照指令，核心处理单元213首先会根据拍照指令中发送的视频帧数据及已有的映射关系索引查找存储子单元a221中的原始全景图像，然后根据用户设备的姿态信息在原始全景图像中用一种方法截取对应姿态信息的高分辨率图片，将截图保存至存储子单元c223；用户在显示子模块311中预览查看，如果用户满意，通过付费点击下载，保存至用户设备的本地相册；如果用户不满意，则不需要付费，返回直播中。
核心处理单元213中所述截取对应姿态信息的高分辨率图片的方法如下：
将该原始全景图像(平面矩形图片)重新映射到一个球面上，即以平面矩形图片的侧边作为球面半圆弧生成对应的全景映射球面，并将平面矩形图片贴图到全景映射球面上；根据用户设备的姿态信息确定用户视野的角度范围；根据用户视野的角度范围在全景映射球面上查找待裁剪球面图形；将该已裁剪球面图形映射成目标矩形图片；该目标矩形图片的尺寸为预设值，该预设值可以根据经验值设定，或者可以根据用户设备发送的拍照指令中包含的屏幕尺寸参数来设定。最后将该高分辨率目标矩形图片保存到存储子单元c223中该用户对应的账号下，以用于用户最终的预览和下载。