一种视频码流中全景信息的标识方法和标识装置的制造方法
【专利摘要】本发明的视频码流中全景信息的标识方法，包括：获取视频全景处理中的全景信息；将编码的全景信息封装在视频码流的单元结构中。可以在全景视频生成的完整步骤中，将每个处理过程中形成或利用的全景信息独立编码，与处理形成的相应部分视频片段形成全景视频的相应部分视频码流。充分利用了现有的视频编码标准中定义的参数集，使得解码端可以依据参数集中的参数对视频码流进行解码解析和后续处理。还包括视频码流中全景信息的标识装置。
【专利说明】
一种视频码流中全景信息的标识方法和标识装置
技术领域
[0001]本发明涉及一种数据处理方法和处理装置，特别是涉及一种视频处理数据的处理方法和处理装置。
【背景技术】
[0002]全景视频技术的飞速发展，给用户带来了一种全新的生动震撼的观看体验，在视频广播、通信、游戏和监控等领域，有着远大和广泛的应用前景。全景视频的制作包括全景视频的采集、图像拼接、格式转换和渲染等过程，其中图像拼接是关键步骤，包括摄像机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像融合，以及亮度与颜色的均衡处理等具体过程。全景视频数据量庞大，是传统单个摄像机采集的单目视频的数据量的两倍，甚至更大，无法在实际应用中进行网络传输。因此，需要对全景视频进行编码。然而，现有的视频编解码标准仅针对单个摄像机采集的单目视频，不支持直接对全景视频编解码。
【发明内容】
[0003]有鉴于此，本发明实施例提供了一种视频码流中全景信息的标识方法，解决传输全景视频占用带宽资源巨大，以及现有视频编解码标准不支持编解码全景视频的问题，实现对全景视频的编解码和高效地网络传输。
[0004]本发明实施例还提供了一种视频码流中全景信息的标识装置，解决现有视频码流处理不能完成全景视频的编解码，无法灵活网络传输的问题。
[0005]本发明的视频码流中全景信息的标识方法，包括:
[0006]获取视频全景处理中的全景信息；
[0007]将编码的全景信息封装在视频码流的单元结构中。
[0008]所述获取视频全景处理中的全景信息，包括:
[0009]获取所在处理过程中的全景信息。
[0010]所述获取视频全景处理中的全景信息，包括:
[0011]获取所在处理步骤中的所在处理过程的信息，或/和获取视频全景处理中的所在处理步骤的信息。
[0012]还包括:
[0013]将所述视频码流按需传输。
[0014]所述将编码的全景信息封装在视频码流的单元结构中，还包括:
[0015]记录相应处理步骤和处理过程的全景信息变化，编码为符合标准码流结构中单元结构的参数数据。
[0016]还包括:
[0017]获取相应的视频码流，解析视频码流的单元结构中的全景信息；
[0018]根据解析的全景信息，完成后续视频拼接及渲染过程，并输出。
[0019]本发明的视频码流中全景信息的标识装置，包括全景信息获取装置、参数编码装置和参数封装装置，其中:
[0020]全景信息获取装置，用于获取所在处理过程中的全景信息；
[0021 ]参数编码装置，用于将相应处理步骤和处理过程的全景信息编码为符合标准码流结构中单元结构的参数数据；
[0022]参数封装装置，用于将参数数据封装在单元结构中，与处理过程形成的视频形成视频码流。
[0023]还包括处理步骤标记装置和处理过程标记装置，其中:
[0024]处理步骤标记装置，用于获取视频全景处理中的所在处理步骤的信息；
[0025]处理过程标记装置，用于获取所在处理步骤中的所在处理过程的信息。
[0026]还包括码流转发装置，用于将视频码流按需传输。
[0027]还包括码流解析装置和全景视频生成装置，其中:
[0028]码流解析装置，用于获取相应的视频码流，解析视频码流的单元结构中的全景信息或参数数据；
[0029]全景视频生成装置，用于根据解析的全景信息或参数数据，完成后续视频拼接及渲染过程并输出。
[0030]所述参数编码装置，还用于记录相应处理步骤和处理过程的全景信息的变化，编码为符合标准码流结构中单元结构的参数数据。
[0031]本发明实施例的视频码流中全景信息的标识方法可以在全景视频生成的完整步骤中，将每个处理过程中形成或利用的全景信息独立编码，与处理形成的相应部分视频片段形成部分全景视频码流。充分利用了现有的视频编码标准中定义的参数集，包括序列参数集、图像参数集和补充增强信息参数集等。如其中补充增强信息参数集用于封装扩展功能信息，解码端依据参数集中的参数对视频码流进行解码解析和后续处理。
[0032]本发明实施例的视频码流中全景信息的标识装置可以将全景视频形成过程中的全景信息独立编码，插入相应的视频码流，形成全景视频的编解码，完成灵活地网络传输。
【附图说明】
[0033]图1为本发明视频码流中全景信息的标识方法实施例的流程图一；
[0034]图2为本发明视频码流中全景信息的标识方法实施例的流程图二；
[0035]图3为本发明视频码流中全景信息的标识装置实施例的结构示意图一；
[0036]图4为本发明视频码流中全景信息的标识装置实施例的结构示意图二。
【具体实施方式】
[0037]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。
[0038]本发明实施例的视频码流中全景信息的标识方法，主要包括获取视频全景处理中的全景信息，将编码的全景信息封装在视频码流的单元结构中，与全景处理后的全景视频码流同步传输。
[0039]如图1所示，本发明实施例的视频码流中全景信息的标识方法，包括:
[0040]获取视频全景处理中的所在处理步骤的信息；
[0041 ]获取所在处理步骤中的所在处理过程的信息；
[0042]获取所在处理过程(完成)中的全景信息；
[0043]将相应处理步骤和处理过程的全景信息编码为符合标准码流结构中(语法)单元结构的参数数据；
[0044]将参数数据封装在单元结构中，与处理过程形成的视频形成视频码流；
[0045]将视频码流按需传输。
[0046]上述全景信息，包括在不同步骤的不同阶段，对全景视频的形成，做出视觉特征改变的状态参数信息或控制参数信息，包括但不限于以下全景参数:
[0047]投影方式参数，包括立方体投影，圆柱体投影，棱锥投影等。
[0048]排列方式参数，包括正方形图像的排列方式，如前-后-左-右-上-下，左上-右上-左下-右下等。
[0049]立体影像模式画面布局参数，包括双目三维左右排列视频，双目三维上下排列视频等。
[0050]帧图像尺寸参数，包括单目二维视频包含的一幅图像的宽度和高度，双目三维视频包含的两幅图像的宽度和高度等。
[0051]拼接全景视频边侧参数，包括全景视频左侧被裁掉的列数，全景视频顶部被裁掉的行数，全景视频的宽度，全景视频的高度等。
[0052]拼接全景视频角度参数，包括全景视频水平方向的环绕度数，全景视频俯仰角的上限，全景视频俯仰角的下限等。
[0053]渲染全景视频角度参数，包括初始显示画面中心的水平方位角度，初始显示画面中心的俯仰角度，初始绕显示画面中心旋转的角度等。
[0054]渲染全景视频尺寸参数，包括显示画面的图像宽度，显示画面的图像高度，画面显示的初始水平视角，画面显示的最大水平视角，画面显示的最小水平视角等。
[0055]处理模块参数，包括拼接软件的名称，版本等。
[0056]场景采集参数，包括摄像机的个数，摆位等。
[0057]上述单元结构为标准码流结构(语法结构)明确定义的语法单元。本实施例中的单元结构优选补充增强信息单元(SEI)，充分利用补充增强信息单元与视频数据的同步性，使得参数数据可以随视频码流实时传输，使得处理软件实时获得，实时处理。
[0058]上述按需传输，包括但不限于受控的顺序传输、点对多点传输、广播传输和变速率传输等传输方式的部分或全部。
[0059]本实施例的视频码流中全景信息的标识方法，可以在全景视频生成的完整步骤中，将每个处理过程中形成或利用的全景信息独立编码，与过程形成的中间视频片段形成部分全景视频码流，进而形成完整的全景视频的编码过程。同时充分利用了现有的视频编码标准中定义的参数集结构，优化了全景信息的编码封装过程，使得解码解析视频码流时可以快速获得参数集中的参数对视频码流进行解码解析和后续处理。
[0060]本实施例的视频码流中全景信息的标识方法，还包括:
[0061]记录相应处理步骤和处理过程的全景信息变化，编码为符合标准码流结构中(语法)单元结构的参数数据。
[0062]通过本标识方法，可以记录多个处理步骤和处理过程的全景信息的变化信息，为后期的全景视频的优化提供可靠的数据基础。
[0063]如图2所示，本实施例的视频码流中全景信息的标识方法，还包括:
[0064]获取相应的视频码流，解析视频码流的单元结构中的全景信息或参数数据；
[0065]根据解析的全景信息或参数数据，完成后续视频拼接及渲染过程，并全景输出。
[0066]本实施例的视频码流中全景信息的标识方法，可以对获得的用于全景视频生成的中间素材的视频码流进行解析，获得必要的后续视频拼接及渲染的全景控制参数及数据，形成全景视频行程中的完整控制信息。
[0067]如图3所示，本发明实施例的视频码流中全景信息的标识装置包括处理步骤标记装置01、处理过程标记装置02、全景信息获取装置03、参数编码装置04、参数封装装置05和码流转发装置06，其中:
[0068]处理步骤标记装置01，用于获取视频全景处理中的所在处理步骤的信息；
[0069]处理过程标记装置02，用于获取所在处理步骤中的所在处理过程的信息；
[0070]全景信息获取装置03，用于获取所在处理过程中的全景信息；
[0071]参数编码装置04，用于将相应处理步骤和处理过程的全景信息编码为符合标准码流结构中单元结构的参数数据；
[0072]参数封装装置05，用于将参数数据封装在单元结构中，与处理过程形成的视频形成视频码流；
[0073]码流转发装置06，用于将视频码流按需传输。
[0074]本实施例的视频码流中全景信息的标识装置可以将全景视频形成过程中的全景信息独立编码，插入相应的视频码流，形成全景视频的编解码，完成灵活地网络传输。使得全景视频形成过程可以基于分布式计算平台完成，优化了全景视频形成的资源消耗。
[0075]本实施例的视频码流中全景信息的标识装置中，参数编码装置04，还用于记录相应处理步骤和处理过程的全景信息变化，编码为符合标准码流结构中(语法)单元结构的参数数据。
[0076]如图4所示，本发明实施例的视频码流中全景信息的标识装置，还包括码流解析装置07和全景视频生成装置08，其中:
[0077]码流解析装置07，用于获取相应的视频码流，解析视频码流的单元结构中的全景信息或参数数据；
[0078]全景视频生成装置08，用于根据解析的全景信息或参数数据，完成后续视频拼接及渲染过程并输出。
[0079]本实施例的视频码流中全景信息的标识装置，将视频码流中携带的全景信息解析并形成后续步骤的完整控制参数和数据，使得单目视频间设置的相关全景信息高效复原和结合，用于后续的全景视频的完整形成和呈现。
[0080]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
【主权项】
1.一种视频码流中全景信息的标识方法，包括: 获取视频全景处理中的全景信息； 将编码的全景信息封装在视频码流的单元结构中。2.如权利要求1所述的视频码流中全景信息的标识方法，其特征在于，所述获取视频全景处理中的全景信息，包括: 获取所在处理过程中的全景信息。3.如权利要求1所述的视频码流中全景信息的标识方法，其特征在于，所述获取视频全景处理中的全景信息，包括: 获取所在处理步骤中的所在处理过程的信息，或/和获取视频全景处理中的所在处理步骤的信息。4.如权利要求1所述的视频码流中全景信息的标识方法，还包括: 将所述视频码流按需传输。5.如权利要求1所述的视频码流中全景信息的标识方法，其特征在于，所述将编码的全景信息封装在视频码流的单元结构中，还包括: 记录相应处理步骤和处理过程的全景信息变化，编码为符合标准码流结构中单元结构的参数数据。6.如权利要求1所述的视频码流中全景信息的标识方法，还包括: 获取相应的视频码流，解析视频码流的单元结构中的全景信息； 根据解析的全景信息，完成后续视频拼接及渲染过程，并输出。7.—种视频码流中全景信息的标识装置，包括全景信息获取装置(03)、参数编码装置(04)和参数封装装置(05)，其中: 全景信息获取装置(03)，用于获取所在处理过程中的全景信息； 参数编码装置(04)，用于将相应处理步骤和处理过程的全景信息编码为符合标准码流结构中单元结构的参数数据； 参数封装装置(05)，用于将参数数据封装在单元结构中，与处理过程形成的视频形成视频码流。8.如权利要求7所述的视频码流中全景信息的标识装置，还包括处理步骤标记装置(01)和处理过程标记装置(02)，其中: 处理步骤标记装置(01)，用于获取视频全景处理中的所在处理步骤的信息； 处理过程标记装置(02)，用于获取所在处理步骤中的所在处理过程的信息。9.如权利要求7所述的视频码流中全景信息的标识装置，还包括码流转发装置(06)，用于将视频码流按需传输。10.如权利要求7所述的视频码流中全景信息的标识装置，还包括码流解析装置(07)和全景视频生成装置(08)，其中: 码流解析装置(07)，用于获取相应的视频码流，解析视频码流的单元结构中的全景信息或参数数据； 全景视频生成装置(08)，用于根据解析的全景信息或参数数据，完成后续视频拼接及渲染过程并输出。11.如权利要求7至10任一所述的视频码流中全景信息的标识装置，其特征在于，所述参数编码装置(04)，还用于记录相应处理步骤和处理过程的全景信息的变化，编码为符合标准码流结构中单元结构的参数数据。
【文档编号】H04N21/434GK106060652SQ201610404446
【公开日】2016年10月26日
【申请日】2016年6月8日
【发明人】昝劲文, 汪源, 吕卓逸, 张韵东
【申请人】北京中星微电子有限公司