专利名称：一种全景视频的法庭庭审转播监督系统的制作方法
技术领域：
本发明属于信息通讯和视频处理技术领域，具体涉及一种全景视频的法庭庭审转 播监督系统。
背景技术：
案件的公开审理是法庭审判公正性的一种有力保障，庭审应该受到民众的公开监 督，这是社会发展和司法体系建设的必然要求。目前，法庭庭审一般都允许普通民众旁听， 但是，由于法庭的场所空间限制，所能容纳的旁听席位是非常有限的，往往不能满足大量民 众的旁听需求。另外，对于一些社会影响比较广泛的案件，不同地区的法律界人士和民众都 会非常关注，但由于地域条件和时间的限制，很难参与现场庭审，无法实现及时的旁听和监 督。随着电子及通讯技术的进步，特别是互联网技术的迅猛发展，视频监控技术从最 初的模拟闭路电视逐步发展到目前的数字网络监控系统。数字网络监控系统的基本原理是 通过摄像机把场景转化为视频信号，并传输入视频数字编码器，数字编码器则把模拟的视 频信号转换成数字信号(或者直接采集为数字视频信号)，并以一定的编码方式进行编码， 通过网络接入设备以一定的方式接到传输网络，传输网络通过局域网/广域网将视频内容 进行传播。基于以上技术的发展，目前有些研发机构相继提出了庭审网络视频直播技术，通 过数字网络视频系统，对法庭案件的审理过程向公众进行实时现场播出，使公众了解案件 审理的过程，并对审理的公正性实现有效的监督。这一技术在很大程度上满足了公众异地 及时旁听审判过程的需求以及案件审理公开性的要求，但在具体实现上也还存在着一些亟 待解决的问题。法庭的布局一般分为法官席、原告席、被告席、证人席、旁听席等，为了给观众展现 真实的庭审效果，需要对所有环节进行长时间不间断的连续拍摄，播出时不能进行画面的 切换和编辑，以避免对真实性构成影响，所以一般都需要多台摄像设备对不同方向的坐席 进行单独取景拍摄，这些现场画面会以分屏的形式展现在播出端，异地观众往往需要通过 多个视频窗口，或者屏幕画中画的形式来观看整个法庭效果，这样就会增加操作的复杂性， 给观看带来很大的不方便。可见，法庭庭审视频的全景展现对于视频的现场转播是非常有 必要的，但是，目前的所谓法庭全景视频图像往往只是一个远景视频，不能看到各方向坐席 的细节活动，不能真正满足公众观看的要求，有待进一步加以改进。
发明内容
本发明的目的在于针对庭审视频转播的需求以及现有技术的缺陷，提供一种全景 视频的法庭庭审转播监督系统，为异地观看者展现法庭的360度全景，提高观看效果。本发明的技术方案如下一种全景视频的法庭庭审转播监督系统，包括多台不同 视角方向的摄像装置，多台摄像装置分别与视频服务器的不同端口连接，视频终端设备通 过网络系统与视频服务器相连接，其中，所述的多台摄像装置分别对准法庭庭审现场的几处固定席位进行连续拍摄，所述的视频服务器包括，-视频流校正模块，用于对各台摄像装置输入的视频流进行图像校正，消除由镜头 所带来的畸变，并输出校正后的多个图像视频流的帧序列；-视频帧拼接模块，用于将各个视频流的同一时刻的帧一一对应，将同一时刻的一 组同步视频 帧进行全景拼接；-全景视频图像后处理模块，用于对拼接后的每帧全景图像进行左、右重叠区域的 光线一致性调整，并将拼接后的全景图像按照时间顺序进行排列；-音频信号合成模块，用于对同一时刻的每个视频帧的音频轨道所包含的音频数 据进行合成，生成统一的音频信号数据；-视频流输出模块，用于将排列后的各全景图像帧形成视频流，进行视频流的输
出O进一步，如上所述的全景视频的法庭庭审转播监督系统，其中，所述的摄像装置为 数字摄像装置或模拟摄像装置；如果采用模拟摄像装置，则模拟摄像装置通过视频数字编 码器与视频服务器连接。更进一步，如上所述的全景视频的法庭庭审转播监督系统，其中，所述的摄像装置 设置在法庭中央偏上方的位置，为具有多个不同角度摄像头的数字摄像机，每个摄像头对 准法庭的一个固定席位。进一步，如上所述的全景视频的法庭庭审转播监督系统，其中，所述的视频流校正 模块对不同时刻的每个视频帧的音频轨道加入不同的标记；所述的视频帧拼接模块根据各 视频流中每个视频帧的音频轨道的标记，来确定同一时刻的一组同步视频帧。进一步，如上所述的全景视频的法庭庭审转播监督系统，其中，视频帧拼接模块根 据各台摄像装置的排序对相邻的两个视频帧进行依次配准和拼接。进一步，如上所述的全景视频的法庭庭审转播监督系统，其中，所述的视频终端设 备为PC终端或网络电视设备；如果为PC终端，则PC终端上设有庭审视频播放软件系统，软 件系统支持屏幕滚动功能，可进行360度旋转。本发明的有益效果如下本发明所提供的系统通过多台不同视角方向的摄像机分 别拍摄法官席、原告席、被告席、证人席、旁听席等位置的视频图像，然后对同一时刻的视频 图像帧进行依次拼接和调整，并对音频数据进行合成，生成法庭的全景视频流，这种全景视 频流可以通过网络系统实时的进行输出，供不同地域的公众进行观看，实现了异地旁听法 庭庭审的效果，最大限度的保证了案件审理的公开性和透明度，为司法体系的健康发展提 供了有力的技术支持。
图1为本发明的系统结构示意图。
具体实施例方式下面结合附图和具体实施例对本发明进行详细的描述。本发明是专门针对法庭庭审的特点，而提出的一种对庭审现场进行实时的视频转 播，通过网络进行数据的传输，供广大公众在异地进行同步旁听并实行监督的数字化网络视频转播系统。如图1所示，该系统包括多台不同视角方向的摄像装置，根据规范的庭审现 场的布局，一般应包括法官席摄像机、原告席(或公诉方)摄像机、被告席摄像机、证人席摄 像机、旁听席摄像机，多台摄像机分别与视频服务器的不同端口连接，将拍摄到的视频内容 以视频流的形式输入视频服务器，以供视频服务器进一步加工处理。另外，还可以在法庭中 央偏上方的位置，设置一个具有多个不同角度摄像头的数字摄像机，每个摄像头对准法庭 的一个固定席位。本发明中采用的摄像机可以为数字摄像机或模拟摄像机。数字摄像机的数字信号 可以直接输入视频服务器以便后续利用；如果采用模拟摄像机，则模拟摄像机通过视频数 字编码器与视频服务器连接，通过数字编码器则把模拟的视频信号转换成数字信号。为了能将多台摄像机拍摄的法庭内不同位置的视频图像合并为一个全景视频，视 频服务器需要具备如下功能模块视频流校正模块、视频帧拼接模块、全景视频图像后处理 模块、音频信号合成模块以及视频流输出模块。下面分别对各模块的原理和功能进行介绍。 视频流校正模块多个摄像机从不同的方向拍摄的多个视频流分别输入视频流校正模块后，视频流 校正模块对各视频流图像分别进行图像校正，消除由镜头所带来的畸变。这种校正技术一 般在视频流输入之前对各摄像机进行标定，将标定参数保存在视频流校正模块中，视频流 输入后，利用标定参数对视频中的每一图像帧进行校正。然后，视频流校正模块针对每个图 像视频流，对不同时刻的每个视频帧的音频轨道加入不同的标记，来源于不同摄像机的视 频流的同一时刻的视频帧的标记相同，以便后续的图像拼接定位使用。标记完成后，以帧序 列的形式对多个校正后的图像视频流进行输出。 视频帧拼接模块多个视频流的帧序列同时输入视频帧拼接模块后，在视频帧拼接模块里实现同一 时刻多幅图像的整体拼接。此时的关键技术是将各个视频流的同一时刻的帧一一对应起 来。由于视频流校正模块已经对每个图像视频流的不同时刻的每个视频帧的音频轨道加入 了不同的标记，而且各视频流同一时刻的视频帧的标记是相同的，因此，可以据此判断哪些 图像帧是同一时刻的图像，从而将同一时刻的一组同步视频帧进行全景拼接。视频帧拼接模块在进行图像拼接时，主要是根据各台摄像机的排序对相邻的两个 摄像机所提供的视频帧进行依次配准和拼接，这样，就形成了一个能够反映整个法庭庭审 现场的全景图像。拼接后的全景图像视频帧按照原来的帧序列顺序输入到全景视频图像后 处理模块。 全景视频图像后处理模块 全景视频图像后处理模块是对拼接后的全景图像帧进行后续加工的单元。由于每 一帧完整的全景图像是由不同的摄像机针对不同方向的场景拍摄的图像拼接而成的，而每 一台摄像机所拍摄的光线可能都不尽相同，因此，拼接后的全景图像的拼接边界重叠处往 往会由于不同的光线效果而呈现明显的不协调，影响视频的整体效果。全景视频图像后处理模块主要就是对拼接后的每帧全景图像进行左、右重叠区域 的光线一致性调整，这种一致性调节的具体方法很多，可以以某一边界一侧的光线强度为 基准，然后进行顺次的一致性修订，也可以以某个固定的光线参数为标准进行统一的调整， 其目的都是最终实现视觉效果的统一。拼接后的全景图像就要按照时间顺序进行排列，以备输出。 音频信号合成模块目前普遍使用的数字摄像机的视频信号中一般都带有专门的音频轨道，用以传输 音频数据。本发明的多个摄像机是同时采集法庭内的音频信号，声音的内容应该基本一致， 但由于摄像机针对的拍摄区域不同，所以捕捉的音频信号内容往往会存在一些差异。音频 信号合成模块将各个视频流中的音频轨道信息的数据进行提取并进行整合，整合时可以采 用保留最大音频信号原则，即将同一时刻几个视频流的音频轨道信号的强度值进行比较， 将强度最大的音频信号作为输出结果，以体现当前时刻法庭上主要的声音信息。 视频流输出模块视频流输出模块将排列后的各全景图像帧形成视频流，并同时将整合后的音频信 号加入音频轨道，然后进行视频流的输出。输出的视频流文件可以存入网络系统所提供的 存储器中，一方面作为视频文件的备份，并可以同时供网络用户随时读取，以全景的角度观 看法庭庭审的全过程。网络用户所采用的视频终端设备可以为PC终端或网络电视设备。网络电视一般 不设置操作系统，只是为观众提供大视角的全景图像，与传统的远景图像相比视觉效果更 加清晰，法庭庭审的细节表现的更加全面生动，而且不需要画面的切换，实时性更强，使观 者有身临其境的感觉。如果视频终端设备采用PC终端，则PC终端上设有专门的庭审视频 播放软件系统，软件系统支持屏幕滚动功能，这样，用户就可以通过鼠标的简单操作，使转 播的庭审画面进行滑动，实现真正意义上的360度旋转全景图像，从而随时清晰的捕捉法 庭上的每一个庭审细节，体会真实的庭审旁听感受。本发明所述的系统并不限于具体实施方式
中所述的实施例，本领域技术人员根据 本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。
权利要求
一种全景视频的法庭庭审转播监督系统，包括多台不同视角方向的摄像装置，多台摄像装置分别与视频服务器的不同端口连接，视频终端设备通过网络系统与视频服务器相连接，其特征在于所述的多台摄像装置分别对准法庭庭审现场的几处固定席位进行连续拍摄，所述的视频服务器包括，-视频流校正模块，用于对各台摄像装置输入的视频流进行图像校正，消除由镜头所带来的畸变，并输出校正后的多个图像视频流的帧序列；-视频帧拼接模块，用于将各个视频流的同一时刻的帧一一对应，将同一时刻的一组同步视频帧进行全景拼接；-全景视频图像后处理模块，用于对拼接后的每帧全景图像进行左、右重叠区域的光线一致性调整，并将拼接后的全景图像按照时间顺序进行排列；-音频信号合成模块，用于对同一时刻的每个视频帧的音频轨道所包含的音频数据进行合成，生成统一的音频信号数据；-视频流输出模块，用于将排列后的各全景图像帧形成视频流，进行视频流的输出。
2.如权利要求1所述的全景视频的法庭庭审转播监督系统，其特征在于所述的摄像 装置为数字摄像装置或模拟摄像装置。
3.如权利要求2所述的全景视频的法庭庭审转播监督系统，其特征在于所述的摄像 装置设置在法庭中央偏上方的位置，为具有多个不同角度摄像头的数字摄像机，每个摄像 头对准法庭的一个固定席位。
4.如权利要求2所述的全景视频的法庭庭审转播监督系统，其特征在于采用模拟摄 像装置时，模拟摄像装置通过视频数字编码器与视频服务器连接。
5.如权利要求1或2或3或4所述的全景视频的法庭庭审转播监督系统，其特征在于 所述的视频流校正模块对不同时刻的每个视频帧的音频轨道加入不同的标记；所述的视频 帧拼接模块根据各视频流中每个视频帧的音频轨道的标记，来确定同一时刻的一组同步视 频帧。
6.如权利要求1或2或3或4所述的全景视频的法庭庭审转播监督系统，其特征在于 视频帧拼接模块根据各台摄像装置的排序对相邻的两个视频帧进行依次配准和拼接。
7.如权利要求1或2或3或4所述的全景视频的法庭庭审转播监督系统，其特征在于 所述的视频终端设备为PC终端或网络电视设备。
8.如权利要求7所述的全景视频的法庭庭审转播监督系统，其特征在于当视频终端 设备为PC终端时，PC终端上设有庭审视频播放软件系统，软件系统支持屏幕滚动功能，可 随鼠标操作进行360度旋转。
全文摘要
本发明属于信息通讯和视频处理技术领域，具体涉及一种全景视频的法庭庭审转播监督系统。该系统包括多台不同视角方向的摄像装置，多台摄像装置分别与视频服务器的不同端口连接，视频终端设备通过网络系统与视频服务器相连接，其中，所述的视频服务器包括视频流校正模块、视频帧拼接模块、全景视频图像后处理模块、音频信号合成模块以及视频流输出模块。本发明通过多台不同视角方向的摄像机分别拍摄法庭内各位置的视频图像，然后对同一时刻的视频图像帧进行依次拼接和调整，并对音频数据进行合成，生成法庭的全景视频流，通过网络系统实时的进行输出，供公众进行观看，实现了异地旁听法庭庭审的效果，最大限度的保证了案件审理的公开性和透明度。
文档编号H04N5/262GK101841695SQ20091008036
公开日2010年9月22日 申请日期2009年3月19日 优先权日2009年3月19日
发明者商文彬, 杨劲松, 蔡常军, 黄琼 申请人:新奥特硅谷视频技术有限责任公司