本发明涉及增强现实视频的播放技术，具体涉及一种同步显示ar信息的视频播放方法。
背景技术：
增强现实技术(augmentedreality，简称ar)是指一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术。ar摄像机所拍摄的视频码流中会加上ar信息，ar信息是指在在目标物对应位置上的标签，标签上记录了目标物的自身属性，如名称、地理位置、介绍、特性等。在播放视频码流的过程中需要解析出ar信息，使ar信息可以与视频播放同步显示，但是现有的通用第三方播放器只能解析音频文件、视频文件、字幕文件，不能解析ar信息，因此需要寻找将ar摄像机所拍摄的视频在通用第三方播放器中播放的方法。
技术实现要素：
本发明为了克服上述现有技术所述的至少一种缺陷(不足)，提供一种同步显示ar信息的视频播放方法，使得ar摄像机所拍摄的含有ar信息的视频可以在第三方播放器中解析，并在视频播放过程中可以同步显示ar信息。
为实现本发明的目的，采用以下技术方案予以实现：
一种同步显示ar信息的视频播放方法，包括以下步骤：
s1.通过ar摄像机拍摄含有ar信息的视频码流；
s2.从视频码流中逐帧提取ar信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；
s3.将ar信息提取出来后的视频码流存储为视频文件；
s4.将字幕文件和视频文件合并为通用视频文件；
s5.在第三方播放器中将通用视频文件解析播放。
ar摄像机在拍摄视频时会将ar信息存储在视频码流中，在第三方播放器中对视频码流解析播放之前，因为现有常用的第三方播放器不能解析视频码流中的ar信息，所以需要对视频码流中的ar信息进行提取分离，具体的提取过程是逐帧读取视频码流，从每一帧视频码流中提取ar信息，ar信息提取后剩下的是现有常用的第三方播放器可以解析播放的视频码流。在从视频码流中逐帧提取ar信息的过程中生成字幕信息，并且将字幕信息存储为字幕文件，将ar信息提取后剩下的视频码流存储为视频文件，将字幕文件与视频文件合并为通用视频文件，此时即可以在第三方播放器中解析播放该通用视频文件，实现在视频播放的过程中同步显示ar信息的播放效果。
进一步地，所述字幕信息包括各个ar信息的显示时间、显示坐标、显示内容。
在实现视频播放的过程中同步显示ar信息时，需要知道ar信息具体在视频播放的哪个时间点或时间段出现，也需要知道ar信息具体在画面中的哪个位置出现，还需要知道ar信息具体显示的内容，因此在从视频码流中逐帧提取ar信息的过程中所生成的字幕信息需要包括各个ar信息的显示时间、显示坐标和显示内容。
进一步地，生成字幕信息中某ar信息的显示时间具体为：若该ar信息在第v1帧视频出现，在第v2帧视频消失，第v1帧视频的时间为t1，第v2帧视频的时间为t2，第1帧视频的时间为t0，则该ar信息的显示开始时间t＝t1–t0，结束时间t＝t2-t0。
在逐帧读取视频码流的过程中，从第v1帧视频开始可以提取到某ar信息，直到第v2帧视频为止，该ar信息的出现时间为从第v1帧视频的时间t1到第v2帧视频的时间t2，第1帧视频的时间为t0，因此该ar信息的显示开始时间t＝t1–t0，结束时间t为t2-t0。
进一步地，生成字幕信息中某ar信息的显示坐标具体为：根据拍摄每一帧视频时ar摄像机的参数和每一帧视频中所出现的该ar信息对应的目标物三维坐标(p，t)，计算出该ar信息的显示坐标(δx，δy)；
p、t分别是该ar信息在三维球面极坐标系下的水平角度和垂直角度，δx、δy分别是该ar信息在第三方播放器播放时在画面中心的水平偏移量和垂直偏移量。
当ar摄像机转动或者变倍时，在视频播放时目标物在画面上的位置会改变，而ar信息的显示位置需要跟随目标物在画面上的移动而改变，这时需要重新计算ar信息的显示坐标，因此在逐帧提取视频码流的过程中，逐帧获取ar摄像机的参数和所出现的ar信息对应的目标物三维坐标(p，t)，根据参数和(p，t)计算每一帧视频中ar信息的显示坐标(δx，δy)。
进一步地，所述参数包括ar摄像机的镜头水平角度p、镜头垂直夹角t、水平视场角v，采用公式
采用上述公式，可以在逐帧读取视频码流的过程中根据ar摄像机在拍摄每一帧视频时的镜头水平角度p、镜头垂直夹角t、水平视场角v快速地计算出每一帧视频中目标物在画面上的位置，也即可以快速地计算出每一帧视频中ar信息在画面上的显示坐标(δx，δy)。这里需要说明的是ar信息的目标物三维坐标(p，t)是在世界坐标下的。
另外，公式
进一步地，生成字幕信息中某ar信息的显示内容具体为该ar信息的文本内容。ar信息的文本内容记录了目标物的自身属性，如名称、地理位置、介绍、特性等。
进一步地，所述步骤s2具体为：根据ar信息的显示内容不同和/或ar信息对应的目标物不同，按照设定的规则分成不同类型的ar信息，从视频码流中逐帧提取不同类型的ar信息，在提取过程中所生成的字幕信息分别存储为不同的字幕文件；所述步骤s4具体为：根据用户的请求，指定全部或部分字幕文件和视频文件合并为通用视频文件。
不同用户在观看同一个视频时，所关注的目标物是不同的，所希望看到ar信息的显示内容也是不同的。例如，在一段播放附近街景的视频中，学生会更加关注附近街景中出现的文具店、玩具店、零食店等，并且会更加希望看到关于这些店铺售卖商品的介绍等，而餐厅老板会更加关注附近街景中出现的餐饮店，并且会更加希望看到关于这些餐饮店的主营菜品等。因此，在逐帧读取视频码流的过程中，需要根据显示内容的不同和/或目标物的不同将ar信息分成不同的类型，并且分别储存在不同的字幕文件中，灵活地、更有针对性地根据不同用户的需求进行字幕文件的筛选，再将筛选出来的字幕文件与视频文件合并成通用视频文件。
进一步地，所述步骤s5具体为：根据用户的请求，指定通用视频文件中全部或部分字幕文件和视频文件在第三方视频播放器中解析播放出来。
在通用视频文件解析播放时，如果有过多的字幕文件与视频文件一起解析出来，画面中则会出现过多的ar信息，导致用户在观看视频时感到眼花缭乱，甚至会出现ar信息占满画面而使用户无法观看视频的情况。因此，需要根据用户的请求，灵活地、更有针对性地对字幕文件进行筛选，再将筛选出来的字幕文件与视频文件解析播放。
与现有技术相比，本发明技术方案的有益效果是：
(1)通过逐帧提取ar摄像机所拍摄的视频码流中的ar信息，将提取出来的ar信息存储为字幕文件，提取ar信息后的视频码流存储为视频文件，并将字幕文件与视频文件合并为可供第三方播放器解析播放的通用视频文件，可以使得ar摄像机所拍摄的含有ar信息的视频在通用的第三方播放器中播放，并且在视频播放过程中同步显示ar信息；
(2)根据ar信息的显示内容不同和ar信息对应目标物的不同，将ar信息进行分类，不同类型的ar信息存储为不同的字幕文件，可以使得在视频播放时，可以灵活地、有针对性地选择若干种类型的ar信息同步显示。
附图说明
图1是本发明实施例的方法流程图。
图2是本发明实施例在通用视频文件播放过程中的画面示意图。
图3是本发明实施例在筛选字幕文件的示意图。
图4是本发明实施例在筛选字幕文件后的画面示意图。
图5是本发明实施例在筛选字幕文件后的另一个画面示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示，一种同步显示ar信息的视频播放方法，包括以下步骤：
s1.通过ar摄像机拍摄含有ar信息的视频码流；
s2.从视频码流中逐帧提取ar信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；
s3.将ar信息提取出来后的视频码流存储为视频文件；
s4.将字幕文件和视频文件合并为通用视频文件；
s5.在第三方播放器中将通用视频文件解析播放。
ar摄像机在拍摄视频时会将ar信息存储在视频码流中，在第三方播放器中对视频码流解析播放之前，因为现有常用的第三方播放器不能解析视频码流中的ar信息，所以需要对视频码流中的ar信息进行提取分离，具体的提取过程是逐帧读取视频码流，从每一帧视频码流中提取ar信息，ar信息提取后剩下的是现有常用的第三方播放器可以解析播放的视频码流。在从视频码流中逐帧提取ar信息的过程中生成字幕信息，并且将字幕信息存储为字幕文件，将ar信息提取后剩下的视频码流存储为视频文件，将字幕文件与视频文件合并为通用视频文件，此时即可以在第三方播放器中解析播放该通用视频文件，实现在视频播放的过程中同步显示ar信息的播放效果。
在本实施例中，字幕信息包括各个ar信息的显示时间、显示坐标、显示内容。
在实现视频播放的过程中同步显示ar信息时，需要知道ar信息具体在视频播放的哪个时间点或时间段出现，也需要知道ar信息具体在画面中的哪个位置出现，还需要知道ar信息具体显示的内容，因此在从视频码流中逐帧提取ar信息的过程中所生成的字幕信息需要包括各个ar信息的显示时间、显示坐标和显示内容。
在本实施例中，生成字幕信息中某ar信息的显示时间具体为：若该ar信息在第v1帧视频出现，在第v2帧视频消失，第v1帧视频的时间为t1，第v2帧视频的时间为t2，第1帧视频的时间为t0，则该ar信息的显示开始时间t＝t1–t0，结束时间t＝t2-t0。
在逐帧读取视频码流的过程中，从第v1帧视频开始可以提取到某ar信息，直到第v2帧视频为止，也即该ar信息的出现时间为从第v1帧视频的时间t1到第v2帧视频的时间t2，第1帧视频的时间为t0，因此该ar信息的显示开始时间t＝t1–t0，结束时间t为t2-t0。
在本实施例中，生成字幕信息中某ar信息的显示坐标具体为：根据拍摄每一帧视频时ar摄像机的参数和每一帧视频中所出现的该ar信息对应的目标物三维坐标(p，t)，计算出该ar信息的显示坐标(δx，δy)；
p、t分别是该ar信息在三维球面极坐标系下的水平角度和垂直角度，δx、δy分别是该ar信息在第三方播放器播放时在画面中心的水平偏移量和垂直偏移量。
当ar摄像机转动或者变倍时，在视频播放时目标物在画面上的位置会改变，而ar信息的显示位置需要跟随目标物在画面上的移动而改变，这时需要重新计算ar信息的显示坐标，因此在逐帧提取视频码流的过程中，逐帧获取ar摄像机的参数和所出现的ar信息对应的目标物三维坐标(p，t)，根据参数和(p，t)计算每一帧视频中ar信息的显示坐标(δx，δy)。
在本实施例中，参数包括ar摄像机的镜头水平角度p、镜头垂直夹角t、水平视场角v，采用公式
采用上述公式，可以在逐帧读取视频码流的过程中根据ar摄像机在拍摄每一帧视频时的镜头水平角度p、镜头垂直夹角t、水平视场角v快速地计算出每一帧视频中目标物在画面上的位置，也即可以快速地计算出每一帧视频中ar信息在画面上的显示坐标(δx，δy)。这里需要说明的是ar信息的目标物三维坐标(p，t)是在世界坐标下的。
这里需要说明的是ar信息的目标物三维坐标(p，t)是在世界坐标下的。
另外，公式
在本实施例中，生成字幕信息中某ar信息的显示内容具体为该ar信息的文本内容。ar信息的文本内容记录了目标物的自身属性，如名称、地理位置、介绍、特性等。
如图2所示，某通用视频文件在第三方视频播放器中解析出字幕文件和音视频文件，字幕文件和视频文件同步播放，从而实现在视频播放过程中同步显示ar信息，视频文件在播放时在画面上显示了ar摄像机所拍摄的建筑群，字幕文件播放时在对应建筑上显示了建筑的名称，分别为第二少年宫、西塔、花城广场、体育中心、中信大厦、图书馆、东塔、凯华国际中心、环球都会广场。
在本实施例中，步骤s2具体为：根据ar信息的显示内容不同和/或ar信息对应的目标物不同，按照设定的规则分成不同类型的ar信息，从视频码流中逐帧提取不同类型的ar信息，在提取过程中所生成的字幕信息分别存储为不同的字幕文件；步骤s4具体为：根据用户的请求，指定全部或部分字幕文件和视频文件合并为通用视频文件。
不同用户在观看同一个视频时，所关注的目标物是不同的，所希望看到ar信息的显示内容也是不同的。例如，在一段播放附近街景的视频中，学生会更加关注附近街景中出现的文具店、玩具店、零食店等，并且会更加希望看到关于这些店铺售卖商品的介绍等，而餐厅老板会更加关注附近街景中出现的餐饮店，并且会更加希望看到关于这些餐饮店的主营菜品等。因此，在逐帧读取视频码流的过程中，需要根据显示内容的不同和/或目标物的不同将ar信息分成不同的类型，并且分别储存在不同的字幕文件中，灵活地、更有针对性地根据不同用户的需求进行字幕文件的筛选，再将筛选出来的字幕文件与视频文件合并成通用视频文件。
在本实施例中，步骤s5具体为：根据用户的请求，指定通用视频文件中全部或部分字幕文件和视频文件在第三方视频播放器中解析播放出来。
在通用视频文件解析播放时，如果有过多的字幕文件与视频文件一起解析出来，画面中则会出现过多的ar信息，导致用户在观看视频时感到眼花缭乱，甚至会出现ar信息占满画面而使用户无法观看视频的情况。因此，需要根据用户的请求，灵活地、更有针对性地对字幕文件进行筛选，再将筛选出来的字幕文件与视频文件解析播放。
在本实施例的具体实施过程中，在逐帧读取视频码流时可以根据建筑的功能，将图2中所显示的ar信息进行分类，所生成的字幕信息分别存储为不同的字幕文件。例如：将第二少年宫、花城广场、体育中心、图书馆归为文体类，并存储为第一字幕文件，将西塔、中信大厦、东塔、凯华国际中心、环球都会广场归为商业类，存储为第二字幕文件。
如图3所示，用户可以提出请求对所需要解析播放的字幕文件进行筛选，选择第一字幕文件(对应的选项为“*text-文体”)或者第二字幕文件(对应的选项为“*text-商业”)或者全部字幕文件(对应的选项为“*text-all”)与视频文件一起解析播放。
当选择全部字幕文件与视频文件一起解析播放时，画面应如图2所示，所有的ar信息均显示，也即显示了所有建筑的名称。
当选择第一字幕文件与视频文件一起解析播放时，画面应如图4所示，仅仅显示了属于文体类的ar信息：第二少年宫、花城广场、体育中心、图书馆。
当选择第二字幕文件与视频文件一起解析播放时，画面应如图5所示，仅仅显示了属于商业类的ar信息：西塔、中信大厦、东塔、凯华国际中心、环球都会广场。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。