一种画面匹配方法、装置、设备和存储介质与流程

文档序号:16473366发布日期:2019-01-02 23:20阅读:133来源:国知局
一种画面匹配方法、装置、设备和存储介质与流程

本发明实施例涉及图像处理技术领域,尤其涉及一种画面匹配方法、装置、设备和存储介质。



背景技术:

随着图像处理技术的发展,将日常生活中的三维立体图像转换到摄像头拍摄的二维画面中,以向用户展示需要的图像信息,从而便于用户能够直观得到目标物体在画面中的位置信息。例如,某一车辆在道路中行驶时,该车辆前方安装的摄像头可以实时检测此道路中该车辆前方的其他车辆的运行信息,并在该车辆中的视频画面中对应匹配标记出其他车辆的位置,直观地展示给该车辆的驾驶员,使驾驶员可以直观确定道路中的车辆行驶信息,降低驾驶危险。

目前,画面匹配通常在安装雷达和摄像头等采集设备后,在现场预先采集一份雷达数据,同时获取相应的录制视频,并在后续回放时通过手动拖拽一个四边形的四个顶点与视频画面中的道路重合,并将雷达所测量的目标物体的标记点位置与视频画面中的目标物体重合,实现目标物体在视频画面中的匹配,以在后续根据目标物体在视频画面中对应匹配的比例关系,确定匹配位置。

现有技术中手动操作匹配的匹配精度较低,而且仅能得到目标物体在视频画面中的大致位置,并不能确定具体的位置信息,匹配准确性较低。



技术实现要素:

本发明实施例提供了一种画面匹配方法、装置、设备和存储介质,以实现目标物体在对应视频画面中所处位置的准确匹配,提高匹配精度,简化匹配过程。

第一方面,本发明实施例提供了一种画面匹配方法,该方法包括:

获取目标物体的雷达数据和视频画面,所述视频画面由摄像头采集;

根据所述雷达数据,以及虚拟屏幕与所述摄像头的相对位置,确定所述目标物体在虚拟屏幕上投影的第一位置信息,所述虚拟屏幕位于所述摄像头和所述目标物体之间;

根据所述虚拟屏幕与视频画面的变换比例以及所述第一位置信息,确定所述目标物体在所述视频画面中的第二位置信息。

第二方面,本发明实施例提供了一种画面匹配装置,该装置包括:

目标获取模块,用于获取目标物体的雷达数据和视频画面,所述视频画面由摄像头采集;

目标投影模块,用于根据所述雷达数据,以及虚拟屏幕与所述摄像头的相对位置,确定所述目标物体在虚拟屏幕上投影的第一位置信息,所述虚拟屏幕位于所述摄像头和所述目标物体之间;

目标画面匹配模块,用于根据所述虚拟屏幕与视频画面的变换比例以及所述第一位置信息,确定所述目标物体在所述视频画面中的第二位置信息。

第三方面,本发明实施例提供了一种设备,该设备包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的画面匹配方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的画面匹配方法。

本发明实施例提供了一种画面匹配方法、装置、设备和存储介质,通过在摄像头与目标物体之间设置一虚拟屏幕,使得目标物体首先在该虚拟屏幕上进行投影,并根据虚拟屏幕与视频画面的变换比例,以及在虚拟屏幕上投影的第一位置信息,确定目标物体在视频画面中的第二位置信息,从而实现视频画面上目标物体的准确位置匹配,提高了位置匹配精度,简化了匹配过程。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:

图1a为本发明实施例一提供的一种画面匹配方法的流程图;

图1b为本发明实施例一提供的方法中虚拟屏幕、检测方和目标物体的分布位置的原理示意图;

图1c、图1d分别为本发明实施例一提供的方法中包含三维坐标值的雷达数据中的横坐标和纵坐标在虚拟屏幕上投影的原理示意图;

图1e为本发明实施例一提供的方法中包含二轴坐标值的雷达数据中的纵坐标在虚拟屏幕上投影的原理示意图;

图2a为本发明实施例二提供的方法中确定虚拟屏幕与摄像头的相对位置的方法流程图;

图2b、图2c分别为本发明实施例二提供的方法中雷达数据包含二维坐标值和三维坐标值时,两个角反射器放置位置的示意图;

图2d为本发明实施例二提供的方法中两个角反射器放置在同一横纵坐标的不同高度位置时,雷达数据中的纵坐标在虚拟屏幕上投影的原理示意图;

图3为本发明实施例三提供的方法中确定标记框的预设尺寸的方法流程图;

图4为本发明实施例四提供的方法中通过标记框在视频画面中的第二位置信息处标记出目标物体的方法流程图;

图5为本发明实施例五提供的一种画面匹配装置的结构示意图;

图6为本发明实施例六提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a为本发明实施例一提供的一种画面匹配方法的流程图,本实施例可适用于任一种装配雷达和摄像头的交通工具、机器人、室内或室外固定监控设备等对任意对象在视频画面中的匹配情况中。本实施例提供的一种画面匹配方法可以由本发明实施例提供的画面匹配装置来执行,该装置可以通过软件和/或硬件的方式来实现,并集成在执行本方法的设备中,在本实施例中执行本方法的设备可以是平板电脑、台式机和笔记本等任意一种可以进行数据后台运算的设备。具体的,参考图1a,该方法可以包括如下步骤:

s110,获取目标物体的雷达数据和视频画面。

具体的,本实施例为了使拍摄的视频画面中对任意对象的位置信息能够直观呈现,从而将任意对象的实际位置信息和拍摄的视频画面进行景物匹配。因此,需要首先确定需要进行画面匹配的各对象的实际位置信息以及该对象所在的视频画面,该视频画面可以由摄像头采集。其中,目标物体是本实施例中需要进行画面匹配的对象,雷达数据为目标对象相对于本实施例中测量原点的实际位置信息,可以通过预先装配的雷达来测量,测量原点可以是该雷达的安装位置,可选的,本实施例中的雷达可以选用毫米波雷达或脉冲雷达,通过现有的调频连续波(frequencymodulatedcontinuouswave,fmcw)或高频脉冲波的方式探测目标物体的角度、距离和速度等信息,以此确定目标物体的实际位置信息;视频画面为目标物体当前所在的画面,可以通过预先装配的摄像头拍摄获得。其中,雷达和摄像头可能装配在检测方不同位置上,存在会一定的安装误差,因此本实施例中可以在后台根据雷达和摄像头在安装时的位置差和雷达实时采集的位置数据进行误差消除,本实施例中的雷达数据是已将雷达和摄像头的安装位置差消除后的位置信息,也就是已经换算为以摄像头为原点的位置数据。

可选的,在需要对目标物体的实际位置和画面显示位置进行画面匹配时,首先可以通过安装的雷达和摄像头来采集目标物体的实际位置数据,并根据安装的位置差计算消除误差后目标物体以摄像头为原点的雷达数据和目标物体当前所在的视频画面。其中,雷达数据可以是三维的坐标数据,由三维坐标系中的三轴坐标值来具体表示,x轴坐标可以表示目标物体相对于检测方(也就是通过安装的雷达和摄像头采集目标物体信息的一方)雷达的横向距离,y轴坐标可以表示目标物体相对于检测方雷达的纵向距离,z轴坐标可以表示目标物体相对于检测方所在平面的高度。

以道路中运行的各车辆为例来说,若我方车辆为了检测前方道路中的其他车辆相对于我方车辆的距离,并在对应的视频画面中直观呈现,此时我方车辆就是检测方,其上预先装配有雷达和摄像头,来采集前方道路中其他车辆(也就是目标物体)的雷达数据和视频画面,此时雷达数据中的x轴坐标可以表示其他车辆相对于我方车辆雷达的横向距离(我方车头方向往右90°为正),y轴坐标可以表示其他车辆相对于我方车辆雷达的纵向距离(我方车辆前方为正),z轴坐标可以表示其他车辆相对于我方车辆底部所在平面或者某一确定的水平面的高度(高于地面为正),该确定的水平面可以根据后续画面匹配的具提要求来确定。

s120,根据雷达数据,以及虚拟屏幕与摄像头的相对位置,确定目标物体在虚拟屏幕上投影的第一位置信息。

其中,虚拟屏幕位于摄像头和目标物体之间,可以是与视频画面对应的将目标物体的实际位置在视频画面显示之前进行中间投影显示的一个虚拟视线平面,其中可以根据虚拟屏幕与摄像头之间的相对位置的变化,而显示与视频画面中相同的画面,该虚拟屏幕与视频画面具有相同的长宽比例,例如,摄像头拍摄的视频画面比例一般为4:3,则虚拟屏幕在空间坐标中的长宽比例也为4:3。具体的,虚拟屏幕的具体长宽可以由用户自行设置,由于虚拟屏幕中的显示画面与摄像头拍摄的视频画面相同,因此不同长宽的虚拟屏幕相对于摄像头的相对位置不同,其中,相对位置可以是本实施例中的三轴坐标系中不同坐标轴的相对位置差。可选的,本实施例中的虚拟屏幕可以的大小可以是长为1米、宽为0.75米,此时,可以通过对该虚拟屏幕的位置校准来确定该虚拟屏幕相对于摄像头的相对位置。可选的,本实施例中的虚拟屏幕、检测方中的摄像头与雷达以及目标物体的分布位置如图1b所示,检测方通过虚拟屏幕对目标物体进行雷达测距和摄像头拍摄,此时图1b中可以明确表示出目标物体在虚拟屏幕上投影的虚拟位置。

可选的,在获取到目标物体的雷达数据后,由于目标物体在虚拟屏幕上投影的虚拟位置与实际位置之间的各个坐标轴之间存在相似三角形的比例关系,因此可以根据该雷达数据和预先确定虚拟屏幕与摄像头的相对位置,通过对应的相似比例关系,得到目标物体在虚拟屏幕上投影后的虚拟位置的第一位置信息。示例性的,如图1c和图1d所示,当存在目标物体a与目标物体b,且两者的三轴坐标均不相同时,目标物体a的雷达数据中的三轴坐标值为(x1,y1,z1),目标物体b的雷达数据中的三轴坐标值为(x2,y2,z2),此时虚拟屏幕与摄像头的相对位置已知,也就是虚拟屏幕和摄像头之间的距离和高度,如图1d中距离y*高度h*。需要说明的是,本实施例中为了简便运算,在对目标物体的雷达数据进行采集时,z轴坐标所选择的原点为虚拟屏幕底端所在的水平面,此时设定摄像头的坐标为(0,0,h*)。

可选的,若目标物体a在虚拟屏幕上投影的坐标为(x1′,y1′)和目标物体b在虚拟屏幕上投影的坐标为(x2′,y2′),如图1c中,目标物体在虚拟屏幕中投影的横坐标xi′与实际位置数据存在如下关系:其中,y*为虚拟屏幕相对于摄像头的距离;如图1d中,若目标物体的雷达数据中的三轴坐标值为(xi,yi,zi),根据图1d中所存在的比例关系,可以确定其在虚拟屏幕中投影的纵坐标yi′与实际位置数据存在如下关系:其中,h*为虚拟屏幕底端所在的水平面与摄像头之间的高度。此时通过上述两个公式便可以根据雷达数据和虚拟屏幕与摄像头的相对位置,确定出目标物体在虚拟屏幕上投影的第一位置信息。

进一步的,由于雷达自身硬件的因素,有些雷达仅能测出目标物体的二维位置数据,并不能测出对应含俯仰角的高度信息,此时目标物体的雷达数据中的二维坐标值为(xi,yi),在不存在高度信息时,本实施例中将虚拟屏幕的底端所在平面与目标物体设置为同一水平面,此时目标物体在虚拟屏幕中投影的横坐标xi′的计算与高度信息无关,计算公式不变;而其在虚拟屏幕中投影的纵坐标yi′的计算与高度信息相关,需要重新确定,如图1e所示,此时高度信息可以看作为0,根据图1e中相似三角形之间的比例关系,可以确定在虚拟屏幕中投影的纵坐标yi′与实际位置数据存在如下关系:

由此,根据坐标位置之间的转换比例,可以实现目标物体在虚拟屏幕上进行中间投影,根据雷达数据以及虚拟屏幕与摄像头的相对位置,确定目标物体在虚拟屏幕上投影的第一位置信息。

s130,根据虚拟屏幕与视频画面的变换比例以及第一位置信息,确定目标物体在视频画面中的第二位置信息。

具体的,由于虚拟屏幕的长宽和视频画面中的对应的像素坐标为定值,因此虚拟屏幕上的位置坐标值与视频画面的像素值之间存在一定的变换比例,本实施例中虚拟屏幕的长为1米、宽为0.75米,而视频画面的横宽度为640像素、纵宽度为480像素,因此虚拟屏幕与视频画面之间的变换比例为1:640,也就是在虚拟屏幕上的位置坐标值可以通过1米:640像素的比例对应到视频画面中的像素坐标值。

可选的,在确定目标物体在虚拟屏幕上投影的第一位置信息后,可以得到目标物体在虚拟屏幕上的横纵坐标值(xi′,yi′),此时根据虚拟屏幕与视频画面的变换比例,可以分别确定出目标物体在视频画面中的像素坐标值,其中此时的像素坐标原点为视频画面底端的中心点,目标物体在视频画面中的像素坐标值也就是目标物体在视频画面中的第二位置信息。

可选的,在上述方法的基础上,为了使用户更加直观的看出目标物体在视频画面中的位置信息,本实施例在确定目标物体在视频画面中的第二位置信息之后,还可以包括:

通过标记框在视频画面中的第二位置信息处标记出目标物体。

可选的,标记框用于在视频画面中标记出目标物体,可以是方形框、圆框等,本实施例在确定目标物体在视频画面中的第二位置信息后,可以在该第二位置信息处添加标记框,以在视频画面中标记出该目标物体,使目标物体在视频画面中的位置能够更加直观的呈现。

本实施例的技术方案,通过在摄像头与目标物体之间设置一虚拟屏幕,使得目标物体首先在该虚拟屏幕上进行投影,并根据虚拟屏幕与视频画面的变换比例,以及在虚拟屏幕上投影的第一位置信息,确定目标物体在视频画面中的第二位置信息,从而实现视频画面上目标物体的准确位置匹配,提高了位置匹配精度,简化了匹配过程。

实施例二

图2a为本发明实施例二提供的方法中确定虚拟屏幕与摄像头的相对位置的方法流程图。本实施例是在上述实施例的基础上进行优化,在执行该方法中确定目标物体在视频画面的位置之前,还需要通过设置角反射器来对虚拟屏幕与摄像头的相对位置进行校准。具体的,如图2a所示,本实施例可以包括如下步骤:

s210,获取预先设置的角反射器的雷达参考数据和视频参考画面。

其中,雷达参考数据是在对虚拟屏幕的位置进行校准时,由安装的雷达采集的用户预先放置的至少两个角反射器的实际位置数据。角反射器的位置可以根据本实施例中的雷达是否能够检测含俯仰角的高度信息来确定。示例性的,当雷达仅能检测出横纵坐标时,两个角反射器的放置位置可以如图2b中所示,将角反射器放在地面上;当雷达还能检测含俯仰角的高度信息的三维坐标数据时,两个角反射器的放置位置可以如图2c中角反射器a和角反射器b的放置,将两个角反射器放置在同一横纵坐标的不同高度位置上。同时,视频参考画面由摄像头采集,且雷达参考数据为已经消除雷达和摄像头安装位置误差后的位置数据。

可选的,在对虚拟屏幕与摄像头的相对位置进行校准时,首先可以通过雷达来检测预先放置的两个角反射器的雷达参考数据(也就是角反射器的实际位置数据),也可以通过摄像头来采集角反射器所在的视频参考画面信息,以便后续确定角反射器在视频参考画面中的显示位置。

s220,根据用户对角反射器在视频参考画面中的触摸位置,确定角反射器在视频参考画面中的第一参考位置信息。

可选的,在获取到预先设置的角反射器的雷达参考数据和视频参考画面后,为了根据实施例一中虚拟屏幕上的位置坐标与实际位置数据之间的对应关系,确定虚拟屏幕与摄像头的相对位置,首先需要确定两个角反射器在虚拟屏幕上投影的位置数据,此时可以根据两个角反射器在视频参考画面中的显示位置来确定。可选的,本实施例中用户可以点击或触摸两个角反射器在视频参考画面中的位置,从而根据用户对角反射器在视频参考画面中的触摸位置,确定出两个角反射器在视频参考画面中的第一参考位置信息,也就是角反射器在视频参考画面中的像素坐标,以便后续确定角反射器在虚拟屏幕上投影的位置坐标。

s230,根据角反射器的第一参考位置信息和变换比例,确定角反射器在虚拟屏幕上投影的第二参考位置信息。

具体的,在得到角反射器在视频参考画面中的第一参考位置信息时,可以根据虚拟屏幕与视频画面之间的变换比例,本实施例中变换比例选用1米:640像素,将两个角反射器的第一参考位置信息中的像素横纵坐标分别对应转换为两个角反射器在虚拟屏幕上投影的横纵坐标,也就是角反射器在虚拟屏幕上投影的第二参考位置信息,也就是实施例一中的提到的(xi′,yi′)。

s240,根据角反射器的雷达参考数据和第二参考位置信息,确定虚拟屏幕与摄像头的相对位置。

其中,虚拟屏幕与摄像头的相对位置包括虚拟屏幕与摄像头之间的距离和高度,也就是实施例一中的y*和h*。具体的,本实施例中的角反射器可以替代实施例一中的目标物体,此时根据前述信息可以确定:当雷达可以测量三维坐标数据时,角反射器在虚拟屏幕中投影的纵坐标yi′与实际位置数据存在如下关系:此时由于两个角反射器如图2c中放置在同一横纵坐标的不同高度位置上,如图2d所示,若两个角反射器的雷达参考数据分别为(x1,y1,z1)和(x1,y1,z2),其对应的在虚拟屏幕上投影的第二参考位置信息分别为(x1′,y1′)和(x2′,y2′),则对两个角反射器可以分别确定由于此时两个角反射器的雷达参考数据中的y1、z1和z2,以及在虚拟屏幕上投影的坐标位置y1′和y2′均可知,则可以确定此时虚拟屏幕相对于摄像头的距离虚拟屏幕相对于摄像头的高度以此通过在预先设定的位置放置两个角反射器来校验得到虚拟屏幕与摄像头的相对位置。

而当雷达仅可以测量二维坐标数据,不能检测含俯仰角的高度信息时,角反射器在虚拟屏幕中投影的纵坐标yi′与实际位置数据存在如下关系:此时由于两个角反射器如图2b中均放置在地面的不同横纵坐标位置上,若两个角反射器的雷达参考数据分别为(x1,y1)和(x2,y2),其对应的在虚拟屏幕上投影的第二参考位置信息分别为(x1′,y1′)和(x2′,y2′),则对两个角反射器可以分别确定由于此时两个角反射器的雷达参考数据中的y1和y2,以及在虚拟屏幕上投影的坐标位置y1′和y2′均可知,则可以确定此时虚拟屏幕相对于摄像头的高度虚拟屏幕相对于摄像头的距离以此通过在预先设定的位置放置两个角反射器来校验得到虚拟屏幕与摄像头的相对位置。

本实施例的技术方案,通过角反射器的雷达数据和在视频画面上的坐标数据,以及虚拟屏幕与视频画面的变换比例,实现对虚拟屏幕与摄像头的相对位置的校准,不需要在现场采集数据,简化了校准过程,并通过后台计算而不需要手动拖拽,提高了校准精度。

实施例三

图3为本发明实施例三提供的方法中确定标记框的预设尺寸的方法流程图。本实施例是在上述实施例的基础上进行优化,在通过角反射器对虚拟屏幕与摄像头的相对位置进行确定之外,还可以根据角反射器在视频画面的显示位置预先确定在视频画面标记角反射器的标记框的尺寸。具体的,如图3所示,本实施例可以包括如下步骤:

s310,根据标记框在视频参考画面中的尺寸和变换比例,确定标记框在虚拟屏幕上投影后的尺寸。

其中,标记框用于在视频参考画面中标记角反射器,也可以在视频画面中标记目标物体;此时标记框在视频参考画面中的尺寸可以正好可以标记出该角反射器对应的目标物体的标记框的大小。本实施例可以通过在视频参考画面中预先绘制一个对应尺寸的标记框,并根据虚拟屏幕与视频画面之间的变换比例,将该标记框在视频参考画面中的尺寸对应的像素长度转换为该标记框在虚拟屏幕中投影后的尺寸,可以标记虚拟屏幕上投影的角反射器。

s320,根据角反射器的雷达参考数据和在虚拟屏幕上投影的第二参考位置信息,确定虚拟屏幕的第一投影比例。

可选的,为了确定标记框在目标物体所处位置的尺寸,还可以根据角反射器的雷达参考数据和在虚拟屏幕上投影的第二参考位置信息,具体的是根据标记框标记的角反射器所代表的目标物体在虚拟屏幕中投影的横坐标xi′与实际位置数据存在的关系:中,确定出其中的并将其作为该标记框标记角反射器在虚拟屏幕上的第一投影比例,以便在后续根据该第一投影比例确定标记框在角反射器所处位置的尺寸。

s330,根据标记框在虚拟屏幕上投影后的尺寸和第一投影比例,确定标记框的预设尺寸。

具体的,在确定标记框在虚拟屏幕上投影后的尺寸后,为了进一步确定标记框在角反射器代表的目标物体所处位置的预设尺寸,还可以根据该第一投影比例,将标记框所对应的各边边长对应转换为在目标物体所处位置的尺寸,也就是标记框的预设尺寸。

本实施例的技术方案,根据视频参考画面中标记框的尺寸,以及视频画面、虚拟屏幕以及实际位置之间的各比例关系,实现在目标物体所处位置的标记框预设尺寸的自动确定,不需要用户根据目标物体的大小手动输入,提高了标记框的尺寸标记范围精度。

实施例四

图4为本发明实施例四提供的方法中通过标记框在视频画面中的第二位置信息处标记出目标物体的方法流程图。本实施例是在上述实施例的基础上,对通过标记框在视频画面中的第二位置信息处标记出目标物体这一步骤进行进一步解释说明。具体的,如图4所示,本实施例可以包括如下步骤:

s410,根据目标物体的雷达数据和在虚拟屏幕上投影的第一位置信息,确定虚拟屏幕的第二投影比例。

具体的,在对视频画面中的目标物体进行标记时,首先需要确定标记框的尺寸,也就是标记框的边长、大小等信息,因此若标记框在目标物体所处位置的预设尺寸确定,则需要依据目标物体进行画面匹配的步骤,依次将该标记框在虚拟屏幕和视频画面上进行对应转换。此时根据目标物体的雷达数据和在虚拟屏幕上投影的第一位置信息,也就是目标物体在虚拟屏幕中投影的横坐标xi′与实际位置数据存在的关系:将其中的作为目标物体在虚拟屏幕上的第二投影比例,使标记框转换到虚拟屏幕上。

s420,根据标记框的预设尺寸和第二投影比例,确定标记框在虚拟屏幕上投影后的尺寸。

其中,标记框的预设尺寸可以通过实施例三中的方法在虚拟屏幕校准时自动确定,也可以根据针对目标物体的大小由用户自行设定,本实施例中由于主要用于检测道路中的车辆,从而标记对应车辆,因此用户将标记框的预设尺寸设定为与车辆大小相近的方形框,由于车辆宽近1.6米,因此将方形框的边长也设为1.6米。

可选的,在确定标记框需要投影到虚拟屏幕上的第二投影比例后,可以将该标记框的预设尺寸,通过第二投影比例对应的转换为标记框在虚拟屏幕上投影后的尺寸,使得标记框在虚拟屏幕上投影后的尺寸也可以标记在虚拟屏幕上投影的目标物体。

s430,根据标记框在虚拟屏幕上投影后的尺寸和变换比例,确定标记框在视频画面中的尺寸,并根据目标物体在视频画面中的第二位置信息,确定标记框在视频画面中的标记位置。

可选的,在确定标记框在虚拟屏幕上投影后的尺寸后,根据虚拟屏幕与视频画面之间的变换比例(1米:640像素),可以将标记框在虚拟屏幕上投影后的尺寸对应转换为在视频画面上的像素大小,从而确定标记框在视频画面中的尺寸。同时,可以根据目标物体在视频画面中的第二位置信息,也就是目标物体在视频画面中的像素坐标,确定出标记框对视频画面中的目标物体的标记位置。其中,标记位置可以是目标物体在视频画面中的第二位置信息对应的像素坐标与标记框底端边长中心重合,也可以是目标物体的第二位置信息对应的像素坐标与标记框中的中心点的像素坐标重合,也就是将标记框中某一特殊点的像素坐标与目标物体在视频画面中的第二位置信息对应的像素坐标重合,从而使标记框覆盖目标物体。示例性的,若对道路前方的其他车辆进行画面匹配,并标记其他车辆在视频画面中的位置,则根据雷达检测的车辆的位置确定标记框的标记位置,若雷达检测的是车辆底端车牌的位置数据,则将该位置对应的像素坐标与标记框底端边长中心的像素坐标重合;若雷达通过车辆后窗位置安装的某一雷达反射器来检测车辆后窗位置的位置数据,则将该位置对应的像素坐标与标记框中的中心点的像素坐标重合,以使标记框可以标记出车辆的全部部分。

s440,根据标记框在视频画面中的尺寸,在视频画面中的标记位置处标记出目标物体。

具体的,在确定标记框在视频画面中的标记位置后,根据标记框在视频画面中的尺寸,也就是标记框的边长对应的像素长度,将该尺寸的标记框显示在视频画面中确定的标记位置处,从而在视频画面中标记出该目标物体。

本实施例的技术方案,根据标记框的预设尺寸,以及视频画面、虚拟屏幕以及实际位置之间的各转换比例关系,实现在视频画面中对于目标物体的自动标记,简化了画面匹配过程和标记框的标记确定过程,提高了标记精度。

实施例五

图5为本发明实施例五提供的一种画面匹配装置的结构示意图,具体的,如图5所示,该装置可以包括:

目标获取模块510,用于获取目标物体的雷达数据和视频画面,该视频画面由摄像头采集;

目标投影模块520,用于根据雷达数据,以及虚拟屏幕与摄像头的相对位置,确定目标物体在虚拟屏幕上投影的第一位置信息,该虚拟屏幕位于摄像头和目标物体之间;

目标画面匹配模块530,用于根据虚拟屏幕与视频画面的变换比例以及第一位置信息,确定目标物体在视频画面中的第二位置信息。

本实施例的技术方案,通过在摄像头与目标物体之间设置一虚拟屏幕,使得目标物体首先在该虚拟屏幕上进行投影,并根据虚拟屏幕与视频画面的变换比例,以及在虚拟屏幕上投影的第一位置信息,确定目标物体在视频画面中的第二位置信息,从而实现视频画面上目标物体的准确位置匹配,提高了位置匹配精度,简化了匹配过程。

进一步的,虚拟屏幕与摄像头的相对位置可以通过相对位置确定模块540来确定,上述装置还可以包括:相对位置确定模块540:具体用于获取预先设置的角反射器的雷达参考数据和视频参考画面,该视频参考画面由摄像头采集;根据用户对角反射器在视频参考画面中的触摸位置,确定角反射器在视频参考画面中的第一参考位置信息;根据角反射器的第一参考位置信息和变换比例,确定角反射器在虚拟屏幕上投影的第二参考位置信息;根据角反射器的雷达参考数据和第二参考位置信息,确定虚拟屏幕与摄像头的相对位置,该相对位置包括虚拟屏幕与摄像头之间的距离和高度。

进一步的,上述装置还可以包括:标记框投影模块550,用于根据标记框在视频参考画面中的尺寸和变换比例,确定标记框在虚拟屏幕上投影后的尺寸,该标记框用于在视频参考画面中标记角反射器;第一投影比例确定模块560,用于根据角反射器的雷达参考数据和在虚拟屏幕上投影的第二参考位置信息,确定虚拟屏幕的第一投影比例;预设尺寸确定模块570,用于根据标记框在虚拟屏幕上投影后的尺寸和第一投影比例,确定标记框的预设尺寸。

进一步的,上述装置还可以包括:标记模块580,用于通过标记框在视频画面中的第二位置信息处标记出目标物体。

进一步的,上述标记模块580可以具体用于:根据目标物体的雷达数据和在虚拟屏幕上投影的第一位置信息,确定虚拟屏幕的第二投影比例;根据标记框的预设尺寸和第二投影比例,确定标记框在虚拟屏幕上投影后的尺寸;根据标记框在虚拟屏幕上投影后的尺寸和变换比例,确定标记框在视频画面中的尺寸,并根据目标物体在视频画面中的第二位置信息,确定标记框在视频画面中的标记位置;根据标记框在视频画面中的尺寸,在视频画面中的标记位置处标记出目标物体。

本实施例提供的画面匹配装置可适用于上述任意实施例提供的画面匹配方法,具备相应的功能和有益效果。

实施例六

图6为本发明实施例六提供的一种设备的结构示意图,如图6所示,该设备包括处理器60、存储装置61、通信装置62、输入装置63和输出装置64;该设备中处理器60的数量可以是一个或多个,图6中以一个处理器60为例;设备中的处理器60、存储装置61、通信装置62、输入装置63和输出装置64可以通过总线或其他方式连接,图6中以通过总线连接为例。

存储装置61作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的画面匹配方法对应的程序指令/模块(例如,画面匹配装置中的目标获取模块510、目标投影模块520和目标画面匹配模块530)。处理器60通过运行存储在存储装置61中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的画面匹配方法。

存储装置61可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置61可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置61可进一步包括相对于处理器60远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置62可用于实现设备间的网络连接或者移动数据连接。

输入装置63可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入,例如接收用户手动输入的标记框的尺寸、以及虚拟屏幕与视频画面的变换比例等。

输出装置64可包括显示屏等显示设备。

本实施例提供的一种设备可用于执行上述任意实施例提供的画面匹配方法,具备相应的功能和有益效果。

实施例七

本发明实施例七还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述任意实施例中的画面匹配方法。该方法具体可以包括:

获取目标物体的雷达数据和视频画面,该视频画面由摄像头采集;

根据雷达数据,以及虚拟屏幕与摄像头的相对位置,确定目标物体在虚拟屏幕上投影的第一位置信息,该虚拟屏幕位于摄像头和目标物体之间;

根据虚拟屏幕与视频画面的变换比例以及第一位置信息,确定目标物体在视频画面中的第二位置信息。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的画面匹配方法中的相关操作。

通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是,上述画面匹配装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1