一种360度全景视频局部内容更换装置的制造方法
【专利摘要】本发明公开了一种360度全景视频局部内容更换装置，包括素材选择模块、智能选择模块、视频编辑模块和视频合成模块，素材选择模块用于获取视频及素材，智能选择模块用于提供选择视频的处理方式，视频编辑模块用于对视频的局部内容的精加工，视频合成模块用于对素材进行解码、用素材对视频进行叠加或替换合成处理、并对处理后的视频进行交织编码，这种360度全景视频局部内容更换装置，通过统一化地将视频与素材进行获取及加工，且在此基础上改善视频加工进程，极大提高了对360全景视频内容再加工的处理效率。
【专利说明】
一种360度全景视频局部内容更换装置
技术领域
[〇〇〇1 ]本发明涉及一种360度全景视频局部内容更换装置。【背景技术】
[0002]目前的360全景视频，由于多目摄像采集设备的限制，在拍摄期间，全景采集设备的底部通常是没有相机的，导致了视频的南北极(因为全景视频在采集缝合时会形成一个球体，球的顶部和底部在这里称为北极和南极)可能存在黑洞效应。
[0003]目前大多数厂家在应用时将这种黑洞用一张图片或一段视频来替换，从而达到较好的体验，甚至增值的目的。因为视频顶部(北极)的可视性相对较差，有些时候会在视频的北极也进行同样的处理。
[0004]基于上面的原因，当提供这样的成品内容给第三方使用时，第三方通常不愿意使用内部提供方已经合成在全景视频中的带有商业信息的南北极内容(图片或者运动视频)， 而希望用自有的图片替换，但目前还没有应用能满足。
【发明内容】
[0005]本发明的目的在于克服现有技术中的不足而提供一种360度全景视频局部内容更换装置。
[0006]为实现上述目的，一方面，本发明提供的一种360度全景视频局部内容更换装置， 包括素材选择模块、智能选择模块、视频编辑模块和视频合成模块，素材选择模块用于获取视频及素材，智能选择模块用于提供选择视频的处理方式，视频编辑模块用于对视频的局部内容的精加工，视频合成模块用于对素材进行解码、用素材对视频进行叠加或替换合成处理、并对处理后的视频进行交织编码。
[0007]优选地，素材选择模块通过上游系统或第三方提供的360度全景直播视频流的URL 获取视频。
[0008]优选地，素材选择模块通过挂接第三方存储系统从素材库中获取视频。[〇〇〇9 ]优选地，素材选择模块通过挂接第三方存储系统从素材库中获取素材。
[0010]根据本发明提供的一种360度全景视频局部内容更换装置，通过统一化地将视频与素材进行获取及加工，且在此基础上改善视频加工进程，极大提高了对360全景视频内容再加工的处理效率。【附图说明】
[0011]图1是本发明一实施例的一种360度全景视频局部内容更换装置的流程逻辑框图。
[0012]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。【具体实施方式】
[0013]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0014]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、 “厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0015]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上， 除非另有明确具体的限定。
[0016]在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接;可以是机械连接，也可以是电连接;可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0017]本发明一实施例的一种360度全景视频局部内容更换装置，包括素材选择模块、智能选择模块、视频编辑模块和视频合成模块。素材选择模块用于获取视频及素材，智能选择模块用于提供选择视频的处理方式，视频编辑模块用于对视频的局部内容的精加工，视频合成模块用于对素材进行解码、用素材对视频进行叠加或替换合成处理、并对处理后的视频进行交织编码。
[0018]请结合图1，图1为这种360度全景视频局部内容更换装置的一实施例的工作流程逻辑框图。
[0019]具体地，素材选择模块的内容来源支持主要为:
[0020]视频来源:[〇〇21]1、360全景视频文件A1:上游系统或者第三方提供的360度全景直播视频流，只需要将全景视频流通过URL的方式提供给本装置。[〇〇22]2、360全景视频文件A2:素材库里的360度全景视频文件[〇〇23] 本装置挂接第三方存储系统(可以通过NFS、WebDav、CIFS等方式形成一个本地虚拟存储)，可以通过HTTP、FTP等方式将视频URL提供给本装置，从而实现远程访问素材，或将素材复制至本装置内，并在本机的UI界面上选取相应素材。[〇〇24]素材来源:
[0025]素材B:用于叠加的图片或视频文件，图片和视频均可能带有Alpha通道
[0026]此处素材B的获取方式与上文的“360全景视频文件A2”的获取方式相同。
[0027]在素材选取后，使用者可以按需自行决定是通过智能选择模块进行内容更换还是选择视频编辑模块进行局部的精加工。
[0028]本系统的内容加工任务除了可以在本装置的UI界面上进行操作，亦可通过本装置提供的API接口进行。其作用是将待加工的360全景视频文件A1或者360全景视频文件A2里的局部画面内容由素材B的画面来替换。
[0029]具体地，由于主要的待加工内容是对南北极区域进行处理，因此智能选择模块即针对南北极圈的区域、针对南北极圈的大小(以下称为南北极参数，在这里称为炜度)的处理，本装置定义了三种可由使用者决定的处理方式:
[0030]1、内置摄像装置的南北极参数，由于不同摄像装置的南北极圈的尺寸存在不一致的情况，本装置将会不断内置更多厂家的南北极参数，使用者选择此方式时，需要进一步指定厂家装置类型来进行针对的加工替换；
[0031]2、直接指定南北极参数进行加工替换；
[0032]3、智能识别方法，此方法将会对原始视频进行分析，通过前后视频帧内容自动对比发现南北极的区域大小，也就是发现Equirectanglar模式下的南北极画面不变区域的高度，从而达到让使用者无须提供参数就可以达到局部内容叠加或者替换的目的，使用此方法可以大大减小加工进程的人力和时间成本。[〇〇33] 上述三种处理方法的选择由使用者决定，其可以通过本装置的UI系统进行选择， 亦可在API中进行指定。
[0034]具体地，由于在某些情况下，使用者需要做到对精确的局部内容更换叠加，甚至不是南北极区域(这种情况也会真实存在，当内容生产方二次加工时想要加入更多的商业内容时)。
[0035]因此，在视频编辑模块中，提供对不限于南北极的视频局部进行编辑加工，且提供全景视频的Equirectanglar方式预览和球形全景方式预览。在球形全景方式预览时，用户可以自由将图片拖动到任何位置，并可以进行缩放调节。叠加的图片和视频内容画面将会自动贴合至球面相应位置。Equirectangle方式预览方便使用者查看叠加的内容在任何时刻是否完全精准贴合。
[0036]值得说明的是，在这里提供的两种预览方式是支持音视频实时播放的，即使用者会真实感受到将要生产出来的成品文件的最终效果。
[0037]具体地，视频编辑模块可以适用于直播流和视频文件。
[0038]具体地，视频合成模块通过以下三个步骤进行对视频的素材叠加替换加工:
[0039]步骤1、全景素材及叠加素材的视码步骤，此步骤需要将全景视频文件A1或全景视频文件A2和叠加的素材B解码成相应的图像。
[0040]步骤2、内容加工步骤，当使用者在素材选择模块时选择的是采用智能选择模块的方式，此时的合成方法是将素材B中叠加内容的画面的中心点与待加工视频文件的南极点或者北极点重叠，并根据南北极参数对叠加内容的画面进行相应的缩放从而填满南极圈区域或者北极圈区域；当使用者在素材选择模块时选择的是采用视频编辑模块的方式，则按照其在视频编辑系统中确定的参数进行局部图像替换合成。[0041 ]步骤3、内容编码步骤，将合成好的图像与视频文件A1或视频文件A2中的音频进行交织后进行通用的编码过程，使用者可以在本装置中设定编码参数(不限于编码格式、分辨率、长宽比等)，本装置将按照使用者的要求编码成目标视频流或者视频文件。[〇〇42]综上，根据本发明提供的一种360度全景视频局部内容更换装置，通过统一化地将视频与素材进行获取及加工，且在此基础上改善视频加工进程，极大提高了对360全景视频内容再加工的处理效率。
[0043]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【主权项】
1.一种360度全景视频局部内容更换装置，其特征在于，包括素材选择模块、智能选择 模块、视频编辑模块和视频合成模块，所述素材选择模块用于获取视频及素材，所述智能选 择模块用于提供选择所述视频的处理方式，所述视频编辑模块用于对所述视频的局部内容 的精加工，所述视频合成模块用于对所述素材进行解码、用所述素材对所述视频进行叠加 或替换合成处理、并对处理后的所述视频进行交织编码。2.根据权利要求1所述的一种360度全景视频局部内容更换装置，其特征在于，所述素 材选择模块通过上游系统或第三方提供的360度全景直播视频流的URL获取所述视频。3.根据权利要求1所述的一种360度全景视频局部内容更换装置，其特征在于，所述素 材选择模块通过挂接第三方存储系统从素材库中获取所述视频。4.根据权利要求1所述的一种360度全景视频局部内容更换装置，其特征在于，所述素 材选择模块通过挂接第三方存储系统从素材库中获取所述素材。
【文档编号】H04N21/858GK105959579SQ201610568977
【公开日】2016年9月21日
【申请日】2016年7月18日
【发明人】陈勇, 孙波, 谢亚光
【申请人】杭州当虹科技有限公司