基于视频的三维虚拟船舶定位及其轨迹模拟方法
【专利摘要】本发明公开了一种基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，包括如下步骤：步骤一：基于视频识别运动船舶并提取船舶的特征信息；步骤二：按照固定时间间隔获取视频中船舶的位置信息及运动方向；步骤三：根据所得位置信息实现虚拟船舶在三维虚拟场景中的准确定位；步骤四：对已获取的位置和当前位置点进行拟合，实时地生成船舶的运动轨迹。本发明能够快速的实现虚实场景中船舶实时匹配，可用于实现水运视频的虚拟动态呈现，对船舶航道的管理及船舶安全位置预测有重要的意义。
【专利说明】基于视频的三维虚拟船舶定位及其轨迹模拟方法
【技术领域】
[0001]本发明涉及一种水运中的虚拟现实技术，具体涉及一种基于视频的三维虚拟船舶定位及其轨迹模拟方法，本发明属于计算机图形图像处理领域。
【背景技术】
[0002]随着虚拟现实、计算机视觉等技术的发展，以及数码相机、摄像机等设备的普及，计算机处理、记录和显示三维物体已经广泛地服务于各个领域。三维建模技术方法很多，基于图像的建模技术是目前最广泛使用的方法，利用多幅图像的信息，不仅降低了特征匹配难度，而且提高了重建精度，传统的水运三维系统很多，但不能与真实的水运场景信息匹配，且不能满足实时性的需求，因此无法做到实时的演示和真实的动态呈现。
【发明内容】
[0003]为解决现有技术的不足，本发明的目的在于提供一种基于视频的三维虚拟船舶定位及其轨迹模拟方法，能够快速的实现虚实场景中船舶实时匹配，可用于实现水运视频的实时虚拟呈现，对船舶航道的管理及安全位置预测有重要的意义。
[0004]为了实现上述目标，本发明采用如下的技术方案:
[0005]基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，包括如下步骤:
[0006]步骤1:基于视频识别运动船舶并提取船舶的特征信息；
[0007]步骤2:按照固定的时间间隔获取视频中船舶的位置信息及运动方向；
[0008]步骤3:根据所得位置信息实现船舶在三维虚拟场景中的准确定位；
[0009]步骤4:对已获取的位置和当前位置点进行拟合，实时地生成船舶的运动轨迹。
[0010]前述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，所述步骤I基于视频识别运动船舶并提取船舶的特征信息具体包括:
[0011]步骤Ia:取视频第一帧为背景，由背景减法识别船舶，背景实时自动更新；
[0012]步骤Ib:对识别出的运动船舶获取其最小外接矩形，从而得到船舶的轮廓信息。
[0013]前述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，所述步骤2按照固定的时间间隔获取视频中船舶的位置信息及运动方向具体包括:
[0014]步骤2a:对摄像机进行标定，获得摄像机的内外参数和畸变系数；
[0015]步骤2b:建立二维图像到三维模型的映射关系，将图像像素距离转化为实际距离；
[0016]步骤2c:按照固定时间间隔获取船舶中心位置点到摄像机投影点的距离；
[0017]步骤2d:根据前后相邻时刻船舶中心位置点的位置关系，以前一时刻船舶中心位置点到当前时刻船舶中心位置点的方向向量作为船舶在前一时刻的运动方向。
[0018]前述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，所述步骤3根据所得位置信息实现船舶在三维虚拟场景中的准确定位具体包括如下步骤:
[0019]步骤3a:在三维虚拟场景中以摄像机投影点为中心，坐标轴平行于航道建立坐标系;
[0020]步骤3b:将步骤2c所得船舶中心位置点到摄像机投影点的距离转化为坐标，在三维模型场景中对应标出。
[0021]前述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，所述步骤4对已获取的位置点和当前位置点进行拟合，实时地生成船舶的运动轨迹具体包括:
[0022]步骤4a:结合步骤2d所得的运动方向，对所获位置点坐标进行线性拟合或者曲线拟合；
[0023]步骤4b:根据视频对步骤4a所得曲线进行修正，平滑处理，得到船舶运动轨迹。
[0024]前述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，步骤4中，已获取的位置为当前时刻之前的一系列船舶中心位置点，当前位置点即为当前时刻所得的船舶中心位置点。
[0025]前述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，步骤2b所述的二维图像到三维模型的映射关系，由摄像机单目测距法建立测距模型，根据步骤2a所得摄像机的外内参数数据，代入已建测距模型，即可将图像像素距离转化为真实世界距离。
[0026]前述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，所述固定时间间隔为3s_5s0
[0027]本发明的有益之处在于:本发明的基于视频的三维虚拟船舶定位及其轨迹模拟方法，能够快速的实现虚实场景中船舶实时匹配，可用于实现水运视频的实时虚拟呈现，对船舶航道的管理及安全位置预测有重要的意义。
【专利附图】
【附图说明】
[0028]图1是本发明中基于视频的三维虚拟船舶实时轨迹模拟方法流程图；
[0029]图2是本发明中三维虚拟船舶的轨迹图。
【具体实施方式】
[0030]以下结合附图和具体实施例对本发明作具体的介绍。
[0031]如图1所示，本发明基于视频的三维虚拟船舶定位及其轨迹模拟方法，包括如下步骤:
[0032]步骤1:基于视频识别运动船舶并提取船舶的特征信息；
[0033]步骤2:按照固定的时间间隔获取视频中船舶的位置信息及运动方向，所述固定时间间隔为3s-5s。；
[0034]步骤3:根据所得位置信息实现船舶在三维虚拟场景中的准确定位；
[0035]步骤4:对已获取的位置和当前位置点进行拟合，实时地生成船舶的运动轨迹。
[0036]步骤I目的在于由视频获得运动船舶的特征信息，主要是轮廓信息，步骤2目的在于在一定时间内获取船舶的位置信息和运动方向，此处选取船舶中心位置点到摄像机投影点的距离，并由前后位置点关系确定船舶前一时刻的运动方向，步骤3和步骤4目的在于将前两步所获信息在三维虚拟场景中定位出来，并实时的模拟视频中船舶的运动轨迹，重点在于实时性。
[0037]进一步的，所述步骤I基于视频识别运动船舶并提取船舶的特征信息具体包括:
[0038]步骤la:取视频第一帧为背景，由背景减法识别船舶，背景实时更新，更新模型^:acc(x, y)t= (1-α ).acc (x, y) w+ a.image (x, y) 1其中 α 为更新速率，acc (x, y) 1表示t时刻时输出累积图像，image (X，丫^^表示t时刻的图像。
[0039]步骤Ib:对识别出的运动船舶获取其最小外接矩形，从而得到船舶的轮廓信息。
[0040]进一步的，所述步骤2按照固定的时间间隔获取视频中船舶的位置信息及运动方向具体包括:
[0041]步骤2a:对摄像机进行标定，获得摄像机的内外参数和畸变系数。
[0042]步骤2b:建立二维图像到三维模型的映射关系，将图像像素距离转化为实际距离。
[0043]步骤2c:按照固定时间间隔获取船舶中心位置点到摄像机投影点的距离。
[0044]步骤2d:根据前后相邻时刻船舶中心位置点的位置关系，以前一时刻船舶中心位置点到当前时刻船舶中心位置点的方向向量作为船舶在前一时刻的运动方向。
[0045]进一步的，所述步骤3根据所得位置信息实现船舶在三维虚拟场景中的准确定位具体包括如下步骤:
[0046]步骤3a:在三维虚拟场景中以摄像机投影点为中心，坐标轴平行于航道建立坐标系O
[0047]步骤3b:将步骤2c所得船舶中心位置点到摄像机投影点的距离转化为坐标，在三维模型场景中对应标出。
[0048]进一步的，所述步骤4对已获取的位置点和当前位置点进行拟合，实时地生成船舶的运动轨迹具体包括:
[0049]步骤4a:结合步骤2d所得的运动方向，对所获位置点坐标进行线性拟合或者曲线拟合。
[0050]步骤4b:根据视频对步骤4a所得曲线进行修正，平滑处理，得到船舶运动轨迹。
[0051]进一步的，步骤4中，已获取的位置为当前时刻之前的一系列船舶中心位置点，当前位置点即为当前时刻所得的船舶中心位置点。
[0052]进一步的，步骤2b所述的二维图像到三维模型的映射关系，由摄像机单目测距法建立测距模型，根据步骤2a所得摄像机的外内参数数据，代入已建测距模型，即可将图像像素距离转化为真实世界距离。
[0053]如图2所示，图中横坐标t代表时间，纵坐标s代表位置，s包括偏离摄像机投影点的横坐标X和纵坐标y，长划线代表航道，第一个长方形代表船舶，之后的等间隔时刻用圆点代替船舶中心位置点位置，箭头所指方向为船舶当前时刻的运行方向，由这些点的位置及船舶运行方向即为船舶轨迹曲线的切线方向这一条件，对多个坐标点进行曲线拟合，即可实时的得到船舶的运动轨迹，如图曲线所示。
[0054]本发明未进一步说明的均为现有技术。
[0055]以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
【权利要求】
1.基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，包括如下步骤: 步骤1:基于视频识别运动船舶并提取船舶的特征信息； 步骤2:按照固定的时间间隔获取视频中船舶的位置信息及运动方向； 步骤3:根据所得位置信息实现船舶在三维虚拟场景中的准确定位； 步骤4:对已获取的位置和当前位置点进行拟合，实时地生成船舶的运动轨迹。
2.根据权利要求1所述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，所述步骤I基于视频识别运动船舶并提取船舶的特征信息具体包括: 步骤Ia:取视频第一帧为背景，由背景减法识别船舶，背景实时自动更新； 步骤Ib:对识别出的运动船舶获取其最小外接矩形，从而得到船舶的轮廓信息。
3.根据权利要求1所述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，所述步骤2按照固定的时间间隔获取视频中船舶的位置信息及运动方向具体包括: 步骤2a:对摄像机进行标定，获得摄像机的内外参数和畸变系数； 步骤2b:建立二维图像到三维模型的映射关系，将图像像素距离转化为实际距离； 步骤2c:按照固定时间间隔获取船舶中心位置点到摄像机投影点的距离； 步骤2d:根据前后相邻时刻船舶中心位置点的位置关系，以前一时刻船舶中心位置点到当前时刻船舶中心位置点的方向向量作为船舶在前一时刻的运动方向。
4.根据权利要求3所述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，所述步骤3根据所得位置信息实现船舶在三维虚拟场景中的准确定位具体包括如下步骤: 步骤3a:在三维虚拟场景中以摄像机投影点为中心，坐标轴平行于航道建立坐标系；步骤3b:将步骤2c所得船舶中心位置点到摄像机投影点的距离转化为坐标，在三维模型场景中对应标出。
5.根据权利要求3所述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，所述步骤4对已获取的位置点和当前位置点进行拟合，实时地生成船舶的运动轨迹具体包括: 步骤4a:结合步骤2d所得的运动方向，对所获位置点坐标进行线性拟合或者曲线拟合； 步骤4b:根据视频对步骤4a所得曲线进行修正，平滑处理，得到船舶运动轨迹。
6.根据权利要求1所述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，步骤4中，已获取的位置为当前时刻之前的一系列船舶中心位置点，当前位置点即为当前时刻所得的船舶中心位置点。
7.根据权利要求3所述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于，步骤2b所述的二维图像到三维模型的映射关系，由摄像机单目测距法建立测距模型，根据步骤2a所得摄像机的外内参数数据，代入已建测距模型，即可将图像像素距离转化为真实世界距离。
8.根据权利要求1所述的基于视频的三维虚拟船舶定位及其轨迹模拟方法，其特征在于:所述固定时间间隔为3s-5s。
【文档编号】G06T7/00GK104484883SQ201410816104
【公开日】2015年4月1日 申请日期:2014年12月24日 优先权日:2014年12月24日
【发明者】何坤金, 李强, 张文英, 张莉军, 刘建新, 陈正鸣, 韩磊 申请人:河海大学常州校区