一种多源异类数据同步重放方法
【技术领域】
[0001] 本发明属于同步重放技术领域，尤其设及一种多源异类数据同步重放方法。
【背景技术】
[0002] 为了保证海事部口事件查证分析的完整性、准确性，情景再现当时值班员的值班 过程，VTS(VesselTrafficService船舶交通管理系统）系统的记录重放子系统将记录系 统处理和显示的雷达回波视频、系统处理信息（航迹信息、告警信息、指挥命令等），记录值 班员的电话/电台通话记录W及值班员值班席位屏幕视频数据；用户事件查证分析时，可 按需组合多种数据同步重放，实现值班过程情景再现。
[0003] 目前常见的记录重放系统，主要针对单一数据类型，如语音记录重放系统、视频监 控记录重放系统、空管雷达记录重放系统等。而VTS的记录重放系统设及到屏幕视频、雷达 回波视频、电台/电话音频W及系统处理数据（航迹信息、告警信息、指挥命令等）等多源 异类信息的记录重放，已有的同步重放技术已经无法满足VTS记录重放系统的按需组合同 步重放要求，存在W下技术问题：
[0004] 1、多源异类数据。重放数据来源不同、种类不同、采样周期不同，屏幕视频来源于 值班席位的屏幕视频信号、音频来源于VHF内通系统、雷达回波视频来源于雷达录取系统、 系统处理数据来源于雷达录取系统和AIS系统；同时每路视频、音频的来源也不同，分别来 源于不同的值班席位屏幕、不同的电话通道/电台通道。
[0005] 2、记录文件分类单独存储。视频、音频、雷达回波视频和系统处理数据的文件分类 存储，且视频、音频文件存储时区分不同屏幕和通道，每路视频、音频单独存储。
[0006] 3、记录文件起止时间不同。各类数据每隔一段时间生成一个文件，每路视频、音频 和雷达回波视频、系统处理数据的记录文件开始时间和结束时间不同。
[0007] 4、来源不同的多路音视频同步播放本身就是音视频播放的难点，现有多路音视频 同步播放技术主要将音频序列设置为参考序列，视频流根据音频播放时间戳来调整自己播 放的速度实现音视频同步；现有多路视频同步播放技术主要时通过视频拼接技术，将多路 视频合成一个视频进行重放，无法满足VTS系统按需组合重放的要求。
【发明内容】
[0008] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种多源异 类数据同步重放方法，包括W下步骤：
[0009] 步骤1，采集多源异类数据，VTS系统在多源异类数据中的每个数据包或者数据帖 中增加时间戳标记，时间戳转换；
[0010] 步骤2,设计多源异类数据重放进程；
[0011] 步骤3,进行多进程协同同步，控制进程进行总体控制（包括用户操作响应、数据 同步控制、重放逻辑控制等各种对数据重放进程的控制），数据重放进程从后台服务端下载 步骤1采集的多源异类数据，进行时间戳转换和定位，对数据进行解码和重放，实现多源异 类数据同步重放。
[0012] 其中，步骤1中，根据多源异类数据的类型分别进行如下操作：
[0013] 若所述多源异类数据为雷达回波视频和系统处理数据，不对其时间戳转换，直接 使用；
[0014] 若所述多源异类数据为视频数据，视频数据帖时间戳的单位是采样周期的倒数即 1/90000S，对于视频数据记录文件内任意一个数据帖对应的标准时间的计算公式为：
[0016] 若所述多源异类数据为音频数据，音频数据帖时间戳的单位为1/8000S，对于音频 数据记录文件内任意一个数据帖对应的标准时间的计算公式为：
[0018] 步骤2中，所述多源异类数据重放进程设计如下：
[0019] 每个数据重放进程状态由播放状态和数据状态组成，只有在播放状态为暂停、数 据状态为有数据时，才允许调用Play函数，调用Play函数则立即进入播放状态；
[0020]Seek函数用于完成重放时间点的定位、数据缓冲和解码并主动向控制进程反馈准 备完成状态：在播放、暂停和停止=个播放状态下调用Seek函数时，首先播放状态变为暂 停，数据状态变为无数据；然后数据重放进程从后台服务端缓冲对应播放数据，对收到数据 包或者数据帖中的时间戳进行时间转换，并判断转换后的时间与控制进程要求的定位时间 之差是否小于定位阀值（一般取值100ms);若大于定位阀值则继续进行缓冲、转换和判断； 若小于定位阀值，则完成定位，定位完成后数据重放进程继续下载当前定位时间点及之后 的数据，对运些数据中的数据包或数据帖进行数据解码，放入缓冲区直至重放缓冲区填满 为止；之后数据重放进程自动转换状态变为暂停和有数据，并向控制进程主动上报当前数 据状态，说明已进入可W调用Play函数的状态即准备完成状态。
[0021] 步骤3包括如下步骤：
[0022] 步骤1-1，用户通过控制进程界面点击播放按钮或在重放过程中进行拖动进度条 的操作时，控制进程首先发送"定位"命令给各个数据重放进程，定位命令包含时间参数，同 时等待所有数据重放进程进行应答；
[0023] 步骤1-2,各个数据重放进程收到定位命令后，立即进入暂停状态，然后从后台服 务端缓冲对应播放数据，对收到数据包或者数据帖中的时间戳进行时间转换，并判断转换 后的时间与控制进程要求的定位时间之差是否小于定位阀值（一般取值100ms);若大于定 位阀值则继续进行缓冲、转换和判断；若小于定位阀值，则完成定位，定位完成后各类数据 重放进程继续下载当前定位时间点及之后的数据，对运些数据中的数据包或数据帖进行数 据解码，放入缓冲区直至重放缓冲区填满为止，随即数据重放进程进入有数据状态即准备 完成状态，此时数据重放进程主动向控制进程回复准备完成状态；
[0024] 步骤1-3,当控制进程收到所有数据重放进程有数据状态即准备完成状态的应答 后，则同时向所有重放进程发送播放控制命令，数据重放进程收到播放命令后开始重放，实 现同步重放。
[0025] 步骤3中，多进程协同同步包括手动触发和自动触发两种触发方式：当用户点击 播放按钮或者拖动播放进度条时，即进行播放或者定位播放两种重放控制操作时，都将触 发多进程协同同步过程，保证同步重放；当数据正常重放时，重放控制进程根据策略，即距 离上一次手动或者自动同步控制操作的固定时间间隔定时判断当前控制进程的重放时间 和各个重放控制进程的重放时间，若重放时间的误差小于预定阀值700ms，则不进行同步干 预，否则将进行同步干预。
[00%] 有益效果：本发明可实现对屏幕视频、雷达回波视频、电台/电话音频W及系统处 理数据（航迹信息、告警信息、指挥命令等）等多源异类数据的同步重放技术，实质是解决 运些数据来源不同、采样周期迴异、数据之间相对独立且关联性不强的多源异类数据，按需 组合重放同步控制复杂的问题，增加系统数据重放的全面性和多样性，使各类数据相互印 证进而提高用户事件查证分析的完整性、准确性和工作效率。
[0027] 采用本发明的多源异类数据同步重放技术，能实现对VTS系统中的屏幕视频、雷 达回波视频、电台/电话音频W及系统处理数据（航迹信息、告警信息、指挥命令等）等多 源异类数据的按需组合同步重放，组合数据同步重放的同步误差符合系统要求（<ls)。通过 此技术，解决系统各类数据重放的同步性问题，使各类数据相互印证进而提高用户事件查 证分析的完整性、准确性和工作效率。
【附图说明】
[0028] 下面结合附图和【具体实施方式】对本发明做更进一步的具体说明，本发明的上述和 /或其他方面的优点将会变得更加清楚。
[0029] 图1是本发明的多进程协同同步控制序列图。
[0030] 图2是本发明的多进程协同的控制进程的同步控制流程图。
[0031] 图3是本发明的数据重放进程的状态机图。
【具体实施方式】
[0032] 本发明W标准时间为同步基准，采用多进程协同机制，集中控制分散重放，实现多 源异类数据按需组合同步重放。具体实施包括如下几个方面。 阳〇3引 1、时间戳转换
[0034] 在数据采集时，系统对每个数据包或者数据帖中增加时间戳标记。由于数据包和 数据帖中的时间戳标记并不采用统一格式，因此需要时间戳转换。统一转换为标准时间，便 于进行多源异类数据的同步重放。
[0035] (1)雷达回波视频和系统处理数据的记录文件由一个个数据包组成，每个数据包 内都有一个时间戳，此时间戳为数据产生时的系统标准时间，无需转换，直接使用即可。
[0036] (2)视频数据采集时使用H. 264标准进行编码，数据记录时采用RTP协议进行传 输。视频数据帖时间戳不是标准时间而是一个值，用来反映某个数据块产生的时间点，其单 位是采样周期的倒数即1/90000S;对于视频文件的起始时间戳来说，其值为随机数，而其 后的所有时间戳都在起始时间戳上单调递增。由于每个视频数据记录文件在记录时，都记 录其文件开始时间和结束时间，因此对于文件内任意一个数据帖对应的标准时间的计算公 式为：
[0038] (3)音频数据采集时也使用H. 264标准进行编码，数据记录时采用RTP协议进行传 输。与视频数据帖时间戳类似，音频数据帖时间戳的单位为1/8000S。因此对于音频文件内 任意一个数据帖对应的标准时间的计算公式为：
[0040] 2、多进程协同同步机制
[0041] 多进程协同机制通过重放控制进程统一控制并收集各重放进程的数据状态实现， 重放控制进程将各重放进程原来单一的播放命令分解为=个步骤，多进程协同同步控制序 列图如图1所示，控制进程的同步控制流程图如图2所示。
[0042] 步骤1，用户通过控制进程界面点击播放按钮或在重放过程中进行拖动进度条等 操作时，控制进程首先发送"定位"命令（定位命令包含时间参数）给各数据重放进程，同 时等待所有重放进行应答。
[0043] 步骤2,各重放进程收到定位命令后，立即进入暂停状态然后从后台服务端缓冲 对应播放数据，对收到数据包或者数据帖中的时间戳进行必要的时间转