数据处理方法、监测系统、电子设备及显示设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据处理方法、监测系统、电子设备及显示设备。


背景技术：

2.目前，利用视觉检测和跟踪算法来跟踪监测对象，如人或车辆等，还可在监测对象出现排队情况时统计出排队队伍中监测对象的数量。
3.以现有公共交通视频监控系统为例，该系统仅能输出排队的车辆数目，无法有效反映出排队队伍中某一车辆距队头的距离，或是队尾车辆距队头的距离(即排队总长度)，实用性较低。


技术实现要素：

4.鉴于上述问题，提出了本技术以提供一种解决上述问题或至少部分地解决上述问题的数据处理方法、监测系统、电子设备及显示设备。
5.于是，在本技术的一个实施例中，提供了一种数据处理方法。该方法，包括：
6.获取对象区域的图像数据及雷达数据；
7.基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；
8.基于所述图像数据，获取待识别内容的特征像素点；
9.根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
10.在本技术的另一实施例中，提供了一种数据处理方法。该方法，包括：
11.获取对象区域的图像数据和雷达数据；
12.基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；
13.基于所述图像数据，获取排队队伍的特征像素点；
14.根据所述距离地图中与所述排队队伍的特征像素点存在映射关系的距离数据，确定排队长度。
15.在本技术的另一实施例中，提供了一种数据处理方法。该方法，包括：
16.获取对象区域的图像数据及雷达数据；
17.基于所述图像及所述雷达数据，得到距离地图，以在需要基于图像数据确定距离数据时提供数据支持；
18.其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
19.在本技术的一实施例中，提供了一种监测系统。该系统，包括：雷达、图像传感器及处理装置；其中，
20.雷达，用于对对象区域进行测量得到雷达数据；
21.图像传感器，用于采集所述对象区域的图像数据；
22.处理装置，用于根据所述雷达数据及所述图像数据，获得距离地图；其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；基于所述图像数据，获取待识别内容的特征像素点；根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
23.在本技术的一个实施例中，提供了一种数据处理方法。该方法包括：
24.显示交互界面；
25.响应于用户通过交互界面指定的对象区域，获取所述对象区域的图像数据及雷达数据；
26.根据所述图像数据和雷达数据，确定所述图像数据中待识别内容对应的距离数据；其中，所述距离数据是由所述雷达数据确定；
27.显示所述距离数据。
28.在本技术的一个实施例中，提供了一种电子设备。该电子设备包括：设备体、图像传感器、雷达及处理器。其中，图像传感器，设置在所述设备体上，用于采集对象区域的图像数据；雷达，设置在所述设备体上，用于对所述对象区域进行测量得到雷达数据；处理器，设置在所述设备体内，用于获取所述图像数据及雷达数据；基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；基于所述图像数据，获取待识别内容的特征像素点；根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
29.在本技术的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
30.所述存储器，用于存储程序；
31.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
32.获取对象区域的图像数据及雷达数据；
33.基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；
34.基于所述图像数据，获取待识别内容的特征像素点；
35.根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
36.在本技术的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
37.所述存储器，用于存储程序；
38.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
39.获取对象区域的图像数据和雷达数据；
40.基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；
41.基于所述图像数据，获取排队队伍的特征像素点；
42.根据所述距离地图中与所述排队队伍的特征像素点存在映射关系的距离数据，确
定排队长度。
43.在本技术的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
44.所述存储器，用于存储程序；
45.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
46.获取对象区域的图像数据及雷达数据；
47.基于所述图像及所述雷达数据，得到距离地图，以在需要基于图像数据确定距离数据时提供数据支持；
48.其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
49.在本技术的一个实施例中，提供了一种显示设备。该显示设备包括：存储器、处理器及显示器；其中，
50.所述存储器，用于存储程序；
51.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
52.控制所述显示器显示交互界面；
53.响应于用户通过交互界面指定的对象区域，获取所述对象区域的图像数据及雷达数据；
54.根据所述图像数据和雷达数据，确定所述图像数据中待识别内容对应的距离数据；其中，所述距离数据是由所述雷达数据确定；
55.控制所述显示器显示所述距离数据。
56.本技术实施例提供的一个技术方案中，通过对对象区域的图像数据及雷达数据进行融合得到一距离地图；获取到所述图像数据中待识别内容的特征像素点后，利用所述距离地图便可获取到与该特征像素点存在映射关系的距离数据，方案简单、易实现，且具有较高的计算效率与精度。
57.本技术实施例提供的另一个技术方案中，根据对象区域的图像数据及雷达数据获得距离地图，该距离地图为基于图像数据确定图像数据中待识别内容对应的距离提供了便利，且精度高，有助于改善现有技术中基于视觉图像测距精度低的问题。
附图说明
58.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
59.图1为本技术一实施例提供的数据处理方法的流程示意图；
60.图2a为本技术另一实施例提供的数据处理方法的流程示意图；
61.图2b为本技术实施例提供的数据处理方法在具体应用场景下的具体实现原理性示意图；
62.图2c为本技术实施例提供的用户通过交互界面进行对象区域和待识别内容输入的一种实现示意图；
63.图3为本技术另一实施例提供的数据处理方法的流程示意图；
64.图4为本技术一实施例提供的视觉场景图；
65.图5a为本技术一实施例提供的应用场景示意图；
66.图5b为本技术另一实施例提供的应用场景示意图；
67.图6a为本技术一实施例提供的数据处理方法中排队长度计算的原理性示意图；
68.图6b为本技术一实施例提供的数据处理方法以确定排队长度的流程示意图；
69.图7为本技术又一实施例提供的数据处理方法的流程示意图；
70.图8为本技术一实施例提供的数据处理方法中距离地图生成的理论性流程示意图；
71.图9为本技术一实施例提供的数据处理方法中车辆排队长度确定的理论性流程示意图；
72.图10为本技术一实施例提供的数据处理方法的流程示意图；
73.图11为本技术一实施例提供的监测系统的结构框图；
74.图12为本技术一实施例提供的无人机实现距离数据确定的原理性示意图；
75.图13为本技术一实施例提供的数据处理方法的流程示意图；
76.图14为本技术一实施例提供的数据处理装置的结构框图；
77.图15为本技术另一实施例提供的数据处理装置的结构框图；
78.图16为本技术另一实施例提供的数据处理装置的结构框图；
79.图17为本技术一实施例提供的电子设备的结构框图。
具体实施方式
80.基于毫米波雷达以及基于毫米波雷达与视频数据结合的方法虽然已开始被用于多种场景中，如交通态势感知，但由于受毫米波雷达距离精度的限制，难以有效区分静止目标(如车辆)与背景(如路面等)。因此，至今仍缺少简单、有效的融合方法，以提升基于视觉图像测距的精度。
81.为此，本技术提供了如下各实施例以解决或部分解决上述所存在的问题。为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
82.此外，在本技术的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
83.图1示出了本技术一实施例提供的数据处理方法的流程示意图。该方法的执行主
体可以是与图像传感器和雷达连接的服务端；还可以是具有处理能力的图像传感器(如摄像头)；还可以是与图像传感器和雷达连接的客户端；还可以是能采集图像数据和雷达数据的可移动设备。其中，所述客户端可以是可包括：手机、平板电脑、智能穿戴设备等任意终端设备；服务端可以是常用服务器、云端或虚拟服务器等；可移动设备可以是：需用户遥控的无人设备或是自主移动设备，如无人机、无人驾驶车辆等等，本技术实施例对此不作具体限定。如图1所示，所述方法包括：
84.101、获取对象区域的图像数据及雷达数据。
85.102、基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
86.103、基于所述图像数据，获取待识别内容的特征像素点。
87.104、根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
88.上述101中，图像数据可由图像传感器采集得到，雷达数据可由雷达，如激光雷达等，对所述对象区域进行测量得到。具体实施时，所述对象区域可以是用户通过交互界面输入的。例如，公共交通视频监控系统中，多个道路和路口处设有图像数据及雷达；用户可通过交互界面输入道路名称或标号等，便可获取到设置在该道路路侧或架设在道路上方的龙门架上的图像传感器和雷达采集到的图像数据和雷达数据。或者，本实施例提供的所述方法的执行主体为一可移动设备，如无人飞行器，机器人等；该可移动设备上设置有图像传感器或雷达，用户可通过客户端提供的交互方式(如遥控等)控制自主移动设备移动至对象区域，然后控制自主移动设备上的图像传感器及雷达采集对象区域的图像数据及雷达数据。
89.在一种可实现的方案中，上述102中，基于所述图像数据和雷达数据，获得距离地图的步骤，可具体包括：
90.1021、将所述雷达数据中所含的任一监测对象对应的距离数据通过投影转换到所述图像数据所在的图像坐标系下，得到所述监测对象映射在所述图像坐标系下的像素点；
91.1022、将所述像素点与所述距离数据关联，以添加至所述距离地图。
92.上述1021中，监测对象可以是任何形式的对象，如人、车辆、物体等等。有关距离数据投影转换到图像坐标系下的过程，将在下文中作更进一步的描述，可参见下文中的相应内容。
93.上述103中，所述待识别内容可以是一个系统默认内容。例如，在道路监测场景下，待识别内容可以是目标车辆、车辆排队队尾车辆、或是队头车辆等；在人流量监控场景下，待识别内容可以是目标人员、人排队队尾人员、或是人排队队头人员等。当然，待识别内容还可以是用户输入的，比如，用户想要知道图像数据中某一目标对象，如人、车辆或物体，距离图像数据及雷达数据的采集位置的距离数据；用户可通过交互界面上提供的方式，如点击、输入框内输入等，输入待识别内容；又或者，用户想要获知图像数据中两个人物之间的距离；此时用户可通过交互界面将两个人物的影像作为待识别内容。
94.具体实施时，上述103“基于所述图像数据，获取待识别内容的特征像素点”，可具体包括：对所述图像数据进行图像识别，以识别出目标内容；从所述图像数据中，提取出所述目标内容的特征像素点。其中，所述目标内容包括如下中的至少一种：人、车辆、物体、人排队队伍、车辆排队队伍、物体陈列队伍。
95.通常情况下，从图像数据中识别出的目标内容由多个像素点构成。假设，目标内容
为人或车辆，此时可将所述人或车辆在所述图像数据中的像素点集中占中心位置的像素点作为该目标内容的特征像素点。
96.本技术实施例提供的一个技术方案中，通过对对象区域的图像数据及雷达数据进行融合得到一距离地图；获取到所述图像数据中待识别内容的特征像素点后，利用所述距离地图便可获取到与该特征像素点存在映射关系的距离数据，方案简单、易实现，且具有较高的计算效率与精度。
97.图2a示出了本技术另一实施例提供的数据处理方法的流程示意图。如图2a所示，所述方法，包括：
98.201、基于交互界面，接收用户输入的所述对象区域。
99.202、获取所述对象区域的图像数据及雷达数据。
100.203、基于所述图像数据和雷达数据，获得距离地图。
101.其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
102.204、根据所述图像数据，获取待识别内容的特征像素点。
103.这里需要补充的是，所述待识别内容也可以是用户通过交互界面输入的。
104.205、根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
105.206、在显示界面，展示所述距离数据。
106.参见图2b所示，用户可通过客户端设备400提供的交互界面41输入对象区域。如图2b所示的实例，用户可通过交互界面41上对象区域名称或标号对应的输入框内输入相应的信息，即**道路。当然，用户也可通过点击对象区域名称或标号对应的输入框的控件，从下拉列表单中选择目标对象区域。
107.进一步的，参见图2b所示，用户还可通过该交互界面41输入待识别内容。如图2b所示的实例，用户可通过交互界面41上的待识别内容对应的输入框输入相应的内容“车辆排队队尾车辆”。
108.经上述步骤202、203、204和205后，在如图2b所示的显示界面42中显示获取到的所述距离数据。
109.在另一种可实现的方案中，上述交互界面41和显示界面42还可采用图2c所示的样式实现。例如，图2c所示的实例，第一界面401’上显示有多个区域对应的页面元素，当然在具体实施时，可直接使用各区域的图像数据作为页面元素显示在第一界面401’上。用户可采用点击的方式，选择对象区域。假设，用户选择区域6为对象区域；该对象区域的图像数据显示在第二界面402’上；用户可通过移动图框来指定待识别内容，如图2c所示的实例，用户将图框移动到人排队队伍中的一个目标人物的头像处；经过上述步骤202、203、204和205后，便可得到目标人物距离图像采集位置的距离数据，并在该第二界面402’上进行显示。
110.本技术提供的各实施例所展示的技术方案，适用于各类利用图像数据获取距离数据的场景。如用户想获知图像数据中一人、车辆或物体距离图像和雷达数据采集位置的距离，或者想获知图像数据中两个人、两辆车或两个物体之间的距离等，均可采用本实施例提供的方案实现。获取到特征像素点对应的距离数据后，还可根据获取到的距离数据确定相应的信息，如排队队长。下面的实施例将提供基于上述各实施例方法实现的排队队长的方案，并在下述实施例中对上述实施例中的部分步骤进行详细的说明。
111.图3示出了本技术一实施例提供的数据处理方法的流程示意图。该方法的执行主体可以是与图像传感器和雷达连接的服务端，还可以是具有处理能力的图像传感器(如图像传感器)，还可以是与图像传感器和雷达连接的客户端。其中，所述客户端可以是可包括：手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，本技术实施例对此不作具体限定。具体的，本实施例提供的所述方法，如图3所示，包括：
112.301、获取对象区域的图像数据和雷达数据。
113.302、基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
114.303、基于所述图像数据，获取排队队伍的特征像素点。
115.304、根据所述距离地图中与所述排队队伍的特征像素点存在映射关系的距离数据，确定排队长度。
116.上述301中，图像数据由图像传感器采集得到。所述雷达数据可通过毫米波雷达、微波雷达、激光雷达等任意一种雷达来获取，这里不做具体限定。例如，本技术各实施例中的所述雷达数据可以是毫米波雷达测量得到的。所述毫米波雷达是一种工作在毫米波波段探测的雷达，其具有尺寸小、分辨率高、全天候等特点，且受光照条件及天气环境影响较小。因此，通过毫米波雷达检测目标对象(如车辆、行人、物体)时，基于其向前方目标发射的毫米波信号和接收的与发射信号对应的目标反射的信号，利用多普勒原理对目标反射的信号进行放大、相干检波、混频等一系列处理操作提取出有效信号后，毫米波雷达根据所述有效信号可准确的获得目标对象与毫米雷达的相对距离、相对速度和方向角等运动状态信息，其中，所述方向角可包括方位角和仰角，所述方位角为所述相对距离在水平面上的投影与目标某一起始方向(比如正北方向)在水平面上的夹角，所述仰角为所述相对距离与所述相对距离在水平面上的投影在沿垂直面上的夹角。
117.另外，上述302“基于所述图像数据和所述雷达数据，获取距离地图”的步骤可以是随着时间推移不间断执行的步骤。例如，定期(如1s、10s、30s等)执行一次，以不断更新所述距离地图。即本实施例提供的所述方法还包括：
118.定期地融合图像传感器采集到的图像及雷达测得的雷达数据，以更新所述距离地图。
119.所述雷达测得的雷达数据中可包含有至少一个监测对象对应的距离数据。参见图4所示的一具体实例中，距离数据可包含：测距值r(即作为监测对象的车辆11与雷达12的相对距离连线)、相对速度和方向角等运动状态信息；其中，所述方向角可包括方位角β和仰角α，所述方位角β为所述测距值r在水平面(如图4中所示的道路所在平面)上的投影与车辆11的行驶方向的夹角，所述仰角α为所述测距值r与其自身在水平面上的投影的夹角。相应的，在一种可实现的方案中，可直接将距离数据与图像像素点关联，以得到距离地图。即上述301中“基于所述图像数据和所述雷达数据，获得距离地图”，具体可采用如下步骤来实现：
120.3011、将所述雷达数据中含有的任一监测对象对应的距离数据通过投影转换到所述图像所在的图像坐标系中，得到所述监测对象映射在所述图像坐标系下的像素点。
121.3012、将所述像素点与所述距离数据关联，以添加至所述距离地图中。
122.上述3011中，可先获取雷达对应的雷达坐标系与图像传感器(如摄像机)对应的传
感器坐标系之间的第一转换关系；根据图像传感器的成像原理，获取传感器坐标系和图像坐标系(亦或称为像素坐标系)之间的第二转换关系；然后，结合第一转换关系和第二转换关系，即可得到雷达坐标系与图像坐标系之间的第三转换关系。其中，坐标系的转换关系实质上可理解为变换矩阵。基于得到的第三转换关系，便可获得雷达测得的监测对象(即能接收到回波，并基于回波得到距离数据)在图像坐标系上的投影点(即像素点)。可以理解的是：任一监测对象的距离数据均在雷达坐标系下对应有一坐标值(这里假设为第一坐标值)，利用上述第三转换关系便可得到在图像坐标系下的第二坐标值，该第二坐标值对应的像素点即为该监测对象对应的映射点。其中，第一转换关系可根据所述雷达与图像传感器的安装参数来获得；所述安装参数可包括：图像传感器与雷达在左右、上下以及前后之间的距离差、图像传感器与道路方向的夹角、图像传感器与水平面的夹角以及雷达安装高度等等。与此同时，还需要对获取得到的所述图像和所述雷达数据进行时间上的对准。
123.在另一种可实现的方案中，所述距离地图中的与图像像素点关联的距离数据是所述监测对象在平行于水平面的一设定方向上相对于所述雷达的水平距离。即上述步骤3012“将所述像素点与所述距离数据关联，以添加至所述距离地图中”可具体包括：
124.根据所述测距值及方向角，计算所述监测对象在平行于水平面的一设定方向上相对于所述雷达的水平距离；
125.将所述像素点与所述水平距离关联，以添加至所述距离地图中。
126.继续参见图4示出的一具体应用场景示意图，雷达12通过立杆被安装道路旁，在利用侧装雷达12得到的雷达数据中含有监测对象(即图4中的车辆11)距离雷达12的测距值r以及方向角。其中，方向角包含方位角β和仰角α。参见图2，雷达12、车辆11及立杆的安装位置a构成第一直角三角形；利用直角三角形的三角关系，立杆的高(即ab点距离h)可获知，仰角α、测距值r均已知，即可计算出图2中o’a的距离aoo’又为一第二直角三角形；该第二直角三角形中边o’a的距离已知，方位角β已知，便可计算得到水平距离d。
127.这里需要说明的是：雷达的安装方式不同，其对应的水平距离的计算方式会有所不同。比如，雷达通过设置在道路旁的立杆上的伸出杆，伸入至正对车道。此时，雷达测得的距离数据中方向角中的方位角β可能很小(比如在一个误差范围内)或为零，此时监测对象(如图4中的车辆11)对应的水平距离，即测距值r的投影距离。
128.本实施例中将像素点与水平距离关联，使得后续排队长度计算更加简便。比如，利用距离地图获取到的排队队头像素点对应的距离，以及排队队尾像素点对应的距离，均为到一固定位置(如图4中所示的o点位置)的距离；因此在计算排队长度时，仅需将两个距离进行相减便可获得所述排队长度。但距离地图是需要随时间推移不断融合新采集的图像数据和雷达数据更新的；这势必会增数据处理量；而距离地图在特定情况(如出现排队或用户指定)下才被使用，为了减少数据处理量，在生成距离地图时，仅将图像像素点与雷达数据中监测对象的距离数据关联得到即可；在特殊情况事件发生时，再对通过距离地图得到的距离数据进行计算得到排队长度。
129.上述302中，排队队伍的特征像素点可包括排队队尾像素点；或者，所述排队队伍的特征像素点既包含排队队尾像素点，也包含有排队队头像素点。排队队伍的特征像素点仅包括排队队尾像素点，适于排队队头为一固定位置的场景。比如，设置在十字路口处的图
像传感器及雷达，排队队头的位置即停车线的位置。此种情况下，无需识别图像中排队队头像素点，停车线距离图像传感器和雷达的距离是一个已知量；只需要识别图像中的排队队尾像素点，利用距离地图获取排队队尾像素点对应的距离，便可计算出排队长度。而排队队伍的特征像素点既包含排队队尾像素点，也包含有排队队头像素点，适于排队队头位置不固定的场景。比如，高速路上，因车辆事故造成的车辆排队，事故地点的位置是不固定的，因此，需同时识别出排队队尾像素点及排队队头像素点。
130.另外，本实施例可利用图像识别技术识别出图像数据中排在队头或队尾的监测对象(如人、车辆)，然后将队头或队尾的监测对象的一像素点作为排队队尾像素点。例如，图像识别技术可基于神经网络模型实现，即利用训练好的神经网络模型对图像中处于排队状态的监测对象进行识别，并识别出排在队尾的监测对象；然后，根据识别结果，确定出排队队尾像素点。
131.上述303中，可直接通过查询距离地图中所述排队队伍的特征像素点对应的距离，便可利用该距离确定出排队长度。
132.本实施例提供的一个技术方案中，通过对监测区域内的所述图像及所述雷达数据进行融合得到一距离地图，在区域内出现监测对象排队的情况下，对所述图像进行图像识别以确定排队队伍特征像素点；进而根据所述排队队伍特征像素点在所述距离地图中关联的距离，完成排队长度的计算；方案简单、易实现，且具有较高的计算效率与精度。
133.在一种可实现的技术方案中，所述排队队伍的特征像素点包括：排队队尾像素点。相应的，上述302中“对所述图像进行图像识别，以获得图像中排队队伍的特征像素点”，具体包括如下步骤：
134.3021、识别所述图像中处于排队状态的监测对象；
135.3022、基于识别结果，确定排在队尾的监测对象为目标对象；
136.3023、将所述目标对象上的一像素点作为所述排队队尾像素点。
137.上述3021中，可利用现有图像识别技术对采集到的所述图像中的监测对象进行识别，例如采用深度学习的目标检测技术(即神经网络技术)识别图像中处于排队状态的监测对象。具体地，如图5a示出的一道路上的图像传感器采集到的图像a，监测对象为车辆；将该图像a输入到预先训练好的目标深度学习网络模型中，根据所述目标深度学习网络模型的输出结果，即可确定所述视觉场景图中的各车辆以及各车辆对应的位置信息。根据所述位置信息，确定出处于排队状态下的所述车辆，同时也就能够确定排在队尾的车辆为目标对象。
138.在一实施例中，上述3023中“将所述目标对象上的一像素点作为所述排队队尾像素点”，具体可采用如下步骤来实现：
139.s11、获取所述图像中属于所述目标对象的像素点集；
140.s12、将所述像素点集中处于中心的像素点作为所述排队队尾像素点，或将所述像素点集中距所述图像上边界最近的一像素点作为所述排队队尾像素点，或将所述像素点中距所述图像下边界最近的一像素点作为所述排队队尾像素点。
141.例如，图5a示出的一图像a，车辆01为确定出的目标对象；在获取到在所述图像a中属于所述目标对象01的像素点集后，可将所述像素点集中处于中心的像素点a作为所述排队队尾像素点，或将所述像素点中距所述图像a上边界1最近的一像素点b作为所述排队队
尾像素点。在图5b示出的另一图像b中，车辆02为确定出的目标对象；在获取到图像b中属于所述目标对象02的像素点集后，可将像素点集中处于中心的像素点c作为所述排队队尾像素点，或将所述像素点集中距所述图像b下边界2最近的一像素点d作为所述排队队尾像素点。图像a和图像b的区别在于图像传感器的设置位置不同。具体实施时，可根据图像中实际车辆行驶的方向来确定队尾车辆以及相应的排队队尾像素点。
142.在一可实现的方案中，排队队头位置固定。相应的，上述步骤303中“根据所述距离地图中与所述排队队伍的特征像素点存在映射关系的距离，确定排队长度”，可具体包括如下步骤：
143.获取预置排队队头位置对应的第一距离；
144.从所述距离地图中，获取与所述排队队尾像素点存在映射关系的第二距离；
145.根据所述第一距离及所述第二距离，确定所述排队长度。
146.其中，所述第一距离为排队队头位置距一参照点(如图4中所示的o点位置)的距离，其可以是一个已知量。当第二距离为距离数据时，可先利用上文中图4对应的内容，计算出排队队尾像素点距离o点位置的水平距离；所述第一距离与计算得到的水平距离之差，即为所述排队长度。若第二距离为水平距离，则直接计算所述第一距离与计算得到的水平距离之差，即得到所述排队长度。其中，水平距离的计算可参见上文中的相应内容，此处不作赘述。
147.所述排队队伍的特征像素点除包含有排队队尾像素点外，还包含有排队队头像素点。相应的，上述实施例步骤303中“根据所述距离地图中与所述排队队伍的特征像素点存在映射关系的距离数据，确定排队长度”，可具体包括如下步骤：
148.3031、获取排队队头像素点；
149.3032、从所述距离地图中，获取与所述排队队头像素点存在映射关系的第一距离以及与所述排队队尾像素点存在映射关系的第二距离；
150.3033、根据所述第一距离和所述第二距离，计算所述排队长度。
151.上述3031中，具体可采用如下方式中的一种或多种来获取排队队头像素点：
152.方式一：获取预配置的排队队头像素点。
153.例如，在一种场景下，如图6a所示的场景，可以预配置道路停车线500上的某一像素点作为排队队头的像素点。将该排队队头的像素点作为一固定值进行存储，在需要时可从相应存储区域中调取出。
154.方式二：识别所述图像中排在队头的监测对象，将排在队头的监测对象上的一像素点作为所述排队队头像素点。
155.例如，图5a所示的图像a中，可通过图像识别技术识别出图像a中排在对头的车辆03，同样，获取该图像a中所述车辆03所对应的像素点集，将车辆03所对应的像素点集中的一像素点作为所述排队队头像素点。
156.上述3032中，由于所述距离地图中含有图像像素点与距离的映射关系，因此在确定出排队队头像素点和排队队尾像素点后，通过所述映射关系可直接从所述距离地图中获取到与所述排队队头像素点存在映射关系的第一距离以及与所述排队队尾像素点存在映射关系的第二距离。
157.上述3033中“根据所述第一距离和所述第二距离，计算所述排队长度”，将结合图
6a示出的一应用场景进行具体说明。如图6a所示，以排在队头的监测对象上的一像素点f作为所述排队队头像素点；以排队队尾的像素点集中距所述图像上边界最近的一像素点e作为所述排队队尾像素点。从所述距离地图中所获取的与所述排队队头像素点f存在映射关系的第一距离为第一测距值为r2和第一方向角(包括仰角α2和方位角β2)；从所述距离地图中所获取的与所述排队队尾像素点e存在映射关系的第二距离为第二测距值r1和第二方向角(包括仰角α1和方位角β1)；根据所述第一测距值r2、所述第一方向角、所述第二测距值r1和所述第二方向角，即可以计算得到车辆的排队长度
158.另一种可实现方案是，在距离地图生成过程中就对雷达数据进行处理，以使距离地图中包含的与图像像素点关联的距离为水平距离；则可直接将所述第一距离与所述第二距离的差，作为所述排队长度。
159.所述图像传感器在一采集周期内可针对所述区域进行多次采集，采集到的是含有多帧图像的视频流信息。而判断监测对象是否处于排队状况，是需要基于连续帧图像来实现的。即本实施例提供的所述方法，还可包括：
160.304a、基于所述图像传感器针对所述区域采集到的多帧图像，对出现在所述区域内的监测对象进行行为跟踪，得到跟踪数据；
161.304b、根据所述跟踪数据，确定所述区域内是否出现监测对象排队的情况。
162.上述304a中，在对所示图像传感器针对所述区域采集到的多帧图像进行实时分析得到监测对象所在的图像区域后，可采用粒子滤波、卡尔曼滤波等跟踪方式对出现在所述区域内的监测对象进行相邻帧或相邻几帧进行关联分析，实现所述监测对象的连续跟踪。具体地，步骤304a中“基于所述图像传感器针对所述区域采集到的多帧图像，对出现在所述区域内的监测对象进行行为跟踪，得到跟踪数据”，具体可采用如下步骤来实现：
163.304a1、对在所述多帧图像的至少部分帧中出现的监测对象进行检测；
164.304a2、基于检测出的监测对象在相应帧图像中的位置，确定所述监测对象的运动参数；其中，所述运动参数包括如下中的至少一种：运动速度、运动距离。
165.上述304a1中，对所述多帧图像的至少部分帧中出现的监测对象进行检测和识别的过程，可参见上述各实施例中对所述图像识别的相应内容，这里不再赘述。
166.上述304a2中，检测出所述监测对象在相应帧图像中的位置之后，基于同一所述监测对象在相邻帧图像中的位置，则可以确定出在相邻帧时间间隔内该所述监测对象的运动距离，根据所述运动距离和所述时间间隔则可得到所述监测对象的运动速度。
167.上述304b中，所述跟踪数据中可包含但不限于：至少一个监测对象的运动速度和/或运动距离。在所述至少一个监测对象中超过预设数量的监测对象对应的运动参数满足预设条件时，则可判定确定所述区域内出现监测对象排队的情况。例如：将所述运动距离小于预设距离阈值或所述运动速度小于预设速度阈值的监测对象，确定运动参数满足预设条件的监测对象。
168.在实际中，受多种因素的影响在图像传感器采集到的多帧图像中，监测对象难免存在有被遮挡的情况，进而造成利用现有检测技术对所述多帧图像中的所述监测对象进行检测与识别时，存在漏检的情况。比如，排队车队的队列中，排在前面的车辆为一大型货车，排在后面的车辆为一小型轿车。在所述图像传感器采集到的图像中，该小型轿车只漏出了车尾的一小部分。在进行图像识别时，因车辆特征信息较少，很有可能出现未识别出该小型
轿车的情况。为了提高所述监测对象识别的准确率，在对监测对象进行识别时，除了利用图像识别技术外，还可融合雷达数据来识别图像中遮挡的检测对象，以提高所述监测对象的检测精度。具体地，上述方法，还可包括：
169.305a、基于所述多帧图像采集期间所述雷达针对所述区域测得的雷达数据，对在所述多帧图像的至少部分帧中未被检测出的被遮挡监测对象进行检测；
170.305b、存在被遮挡监测对象的情况下，结合所述多帧图像及所述多帧图像采集期间所述雷达针对所述区域测得的雷达数据，确定被遮挡监测对象在相应帧图像中的位置。
171.举一实际应用例，所述雷达数据中包含有所述监测对象的位置信息，在检测被遮挡监测对象时，实际可基于雷达数据与图像像素点之间的映射关系，将所述雷达数据投影至与所述雷达数据对应的图像上，确定利用雷达检测获得的所述监测对象所存在的第一目标区域；对与所述雷达数据对应的图像进行目标识别，得到利用图像识别方法获得的所述监测对象所存在的第二目标区域；基于所述第一目标区域与所述第二目标区域之间的关联度，分别确定出第一监测对象(即同时被雷达和图像检测出来的检测对象)、第二监测对象(即图像检测出而雷达未检测出的监测对象)以及第三监测对象(雷达检测出而图像未检测出的监测对象)。针对所述第二监测对象，可利用所述第二监测对象对应的第二目标区域与提取的所述第一监测对象对应的第一目标区域(或第二目标区域)进行特征相似性度量，判定所述第二监测对象是否为被遮挡监测对象；对所述第三监测对象，可利用雷达数据中包含的监测对象的速度来获得所述第三监测对象的一基本概率赋值，该基本概率赋值可基于以下等式(1)和(2)获得：
[0172][0173][0174]
其中，式(1)和(2)中的v
x
(k)、v
y
(k)、v
r
(k)分别为雷达检测到的第k个目标的x速度，y速度和径向速度，n为利用所述雷达检测到的监测对象的数目；m
v
为基本概率赋值。
[0175]
将所述基本概率赋值与所述第一监测对象对应的平均基本概率赋值进行比较，确定该所述第三监测对象是否为被遮挡监测对象，其中所述平均基本概率赋值也可由式(1)和(2)得到。例如，若所述基本概率赋值大于平均基本概率赋值且小于1，则判定该第三监测对象为被遮挡监测对象。
[0176]
进一步地，上述方法，还可包括：
[0177]
306a、在所述区域内出现监测对象排队的情况下，统计排队监测对象的数量并输出。
[0178]
进一步地，上述方法，还可包括：
[0179]
307、将所述排队长度发送至客户端，以便在所述客户端显示的地图上展示所述区域对应的排队长度和/或所述排队长度对应的凸显元素；其中，所述凸显元素包括如下中至少一项：凸显颜色、凸显动效。
[0180]
例如，所述凸显颜色可为比较显著的黄色、红色等颜色；所述凸显动效可为呼吸动效，即时亮时暗的效果。
[0181]
综上所述，本实施例提供的所述数据处理方法可总结为图6b所示的过程。即，图像处理器200(如图像传感器)与雷达300的数据采集区域为同一区域100。通过融合所述图像处理器200采集到的图像及雷达300采集到的雷达数据，可得到距离地图；在基于所述图像处理器200采集的图像，或者基于图像及雷达数据，对监测对象(如车辆)进行跟踪；根据跟踪数据判定区域100内出现监测对象排队情况时，对排队状态下采集到的图像进行识别以获得排队队伍的特征像素点；然后利用距离地图及排队队伍的特征像素点，确定排队长度。
[0182]
图7示出了本技术又一实施例提供的数据处理方法的流程示意图，该数据处理方法用于生成所述距离地图。如图7所示，该数据处理方法包括：
[0183]
401、获取对象区域的图像数据及雷达数据；
[0184]
402、基于所述图像及所述雷达数据，得到距离地图，以在需要基于图像数据确定距离数据时提供数据支持；
[0185]
其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
[0186]
上述步骤401和402的具体实现可参见上述各实施例中“基于所述图像及所述雷达数据，得到距离地图”的相应内容，在此不再赘述。
[0187]
进一步地，所述方法，还可包括：
[0188]
403、定期融合图像传感器采集到的图像及雷达测得的雷达数据，更新所述距离地图。
[0189]
本技术实施例提供的技术方案，通过对对象区域内的图像数据和雷达数据进行融合，来构建一含有图像像素点与距离数据的映射关系的高精度距离地图，为查询所述图像中各像素点对应距离数据提供了依据，提高了查询效率。同时，对所述距离地图进行定期更新，保证了数据信息的时效性与精确性。
[0190]
这里需要说明的是：本技术实施例提供的所述方法中各步骤未尽详述的内容可参见上述各实施例中的相应内容，此处不再赘述。此外，本技术实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
[0191]
参见图8所示，本实施例提供的技术方案可简述为如下过程：
[0192]
定期(如等时间间隔)获取雷达针对区域测得的雷达数据，计算出每个监测对象对应的运动距离和运动速度；融合雷达测量期间图像传感器采集到的图像数据(即图8中的视觉场景图)，即得到距离地图。
[0193]
这里需要说明的是：雷达数据与图像数据除在空间上进行融合外，还需要在时间上同步，以实现时间上的融合。比如，雷达的采样周期为50ms，即采样帧速率为20帧/秒，而图像传感器(如图像传感器)采样帧速率为25帧/秒。为了保证数据的可靠性，可以以摄像机采样速率为基准，摄像机每采一帧，选取雷达对应帧上的数据，以保证雷达数据与摄像机采
样图像在时间上的同步。
[0194]
参见图9所示，基于图8得到的距离地图确定排队长度的技术方案可简述为如下过程：
[0195]
基于采集视频和雷达数据，完成目标的检测与跟踪，并对目标排队情况进行判断；在确定出现排队状况的情况下，结合距离地图以计算车辆的排队长度。
[0196]
图10示出了本技术又一实施例提供的数据处理方法的流程示意图。如图10所示，该数据处理方法包括：
[0197]
501、获取图像传感器针对区域采集到的图像以及雷达针对所述区域测得的含有距离的雷达数据；
[0198]
502、融合所述图像及所述雷达数据，得到距离地图；其中，所述距离地图中含有图像像素点与距离的映射关系，所述距离由所述雷达数据确定；
[0199]
503、存在与距离有关信息的获取事件时，根据所述获取事件中指示的监测对象对应在所述图像中的像素点及所述距离地图，确定针对所述获取事件的响应信息。
[0200]
上述步骤501和502，具体实现可参见上述各实施例中相应内容，在此不再赘述。
[0201]
上述503中，所述获取事件可以为用户通过客户端所发送的获取其自身相对于雷达的距离的请求，或获取其与某一车辆的距离的请求。例如，针对交通指挥部，在交通指挥部服务端存储有所述监测区域内对应的雷达数据和视频图像，以及通过融合所述雷达数据和视频图像数据而得到的距离地图；当一用户通过客户端触发向服务端获取与某一车辆的距离请求信息时，所述服务端接收到用户的获取请求信息后，便可根据用户对应在所述图像中的像素点及所述距离地图确定出与请求信息对应的响应信息并反馈给用户。
[0202]
进一步地，所述方法，还可包括如下步骤：
[0203]
504、接收到客户端针对所述图像中一监测对象发送的距离获取请求时，触发距离获取事件；或者
[0204]
505、在所述区域内出现监测对象排队的情况下，触发排队长度获取事件。
[0205]
本技术实施例提供的技术方案，在接收到与距离有关信息获取事件时，根据获取事件中所指示的监测对象对应在图像中的像素点及距离地图，可减少错误率的出现、提高响应信息的反馈效率。
[0206]
这里需要说明的是：本技术实施例提供的所述方法中各步骤未尽详述的内容可参见上述各实施例中的相应内容，此处不再赘述。此外，本技术实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。
[0207]
图11示出了本技术一实施例提供的监测系统的结构框图。如图11所示，该监测系统，包括：雷达601、图像传感器602以及处理装置603，其中：
[0208]
所述雷达601，用于对对象区域进行测量得到雷达数据；
[0209]
所述图像传感器602，用于采集所述对象区域的图像数据；
[0210]
所述处理装置603，用于根据所述图像数据及所述雷达数据，获得距离地图；其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；基于所述图像数据，获取待识别内容的特征像素点；根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
[0211]
上述中，所述雷达601和所述图像传感器602可安装在路侧龙门架、路灯或杆状设施的位置处并进行联合标定，使所述雷达扫描范围与所述摄像机的拍摄范围为同一区域。所述处理装置603可被布设在所述图像传感器上或服务端侧。
[0212]
进一步地，该监测系统，还可包括：客户端604，所述客户端604与所述处理装置通信连接，用于为用户提供交互界面；基于所述交互界面接收用户输入的对象区域和/或所述待识别内容；从所述处理装置获取所述距离数据，在显示界面，展示所述距离数据。具体实施时，所述客户端可以是台式计算机、智能手机、显示器、智能穿戴设备等等。
[0213]
本实施例提供的技术方案中，通过对监测区域内的所述图像及所述雷达数据进行融合得到一距离地图，在区域内出现监测对象排队的情况下，对所述图像进行图像识别以确定排队队伍特征像素点；进而根据所述排队队伍特征像素点在所述距离地图中关联的距离，完成排队长度的计算；方案简单、易实现，且具有较高的计算效率与精度。
[0214]
本技术又一个实施例提供了一种电子设备。该电子设备可以是无人机(如图12所示的示例)、无人车或机器人等。该电子设备包括：设备体、图像传感器、雷达及处理器。其中，设备体可在外部指令(如用户的遥控指令或服务端的控制指令等)的控制下或按照自主导航信息，移动至相应位置，以使图像传感器采集到对象区域的图像数据，雷达可测量到对象区域的雷达数据。具体的，图像传感器设置在所述设备体上，用于采集对象区域的图像数据；雷达设置在所述设备体上，用于对所述对象区域进行测量得到雷达数据；处理器，设置在所述设备体内，用于获取所述图像数据及雷达数据；基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；基于所述图像数据，获取待识别内容的特征像素点；根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
[0215]
具体的，在车辆排队场景下，所述处理器可用于：识别图像数据中排队队伍的特征像素点；然后利用距离地图，获取所述特征像素点对应的距离数据；随后可根据获取到的距离数据，确定排队长度。
[0216]
以无人机为例，参见图12所示，无人机的机体1(即设备体)上设有图像传感器200和雷达(图中未示出)。无人机移动到目标位置，然后控制所述图像传感器200采集下方视野范围内的图像数据，控制所述雷达对所述图像传感器的视野范围区域进行测量得到雷达数据。无人机的处理器根据图像数据及雷达数据获得距离地图；然后，识别图像数据中待识别内容(例如排队队伍中队头车辆/人，以及排队队伍中队尾车辆/人)，并获取该待识别内容的特征像素点。假设无人机需获得车辆排队长度，此时待识别内容可为两个目标对象，因此获取到的特征像素点也应该包含有两个，分别为：队头车辆/人对应的第一特征像素点，队尾车辆/人对应的第二特征像素点。利用距离地图，分别获取所述第一特征像素点对应的第一距离数据，以及所述第二特征像素点对应的第二距离数据。获取这两个距离数据后，便可基于第一距离数据和第二距离数据，计算排队队伍的长度。无人机可将排队队伍的长度发送至客户端400(如用户的手机)进行显示。
[0217]
参见图13所示的又一实施例，提供了一种数据处理方法。本实施例侧重于人机交互方面。具体的，本实施例提供的所述方法包括：
[0218]
s01、显示交互界面；
[0219]
s02、响应于用户通过交互界面指定的对象区域，获取所述对象区域的图像数据及
雷达数据；
[0220]
s03、根据所述图像数据和雷达数据，确定所述图像数据中待识别内容对应的距离数据；其中，所述距离数据是由所述雷达数据确定；
[0221]
s04、显示所述距离数据。
[0222]
上述s01中，交互界面可以是图2b中标号41对应的界面，当然也可以是其他形式的界面，本实施例对于交互界面的界面设计不作具体限定。该交互界面上显示有提示用户输入、选择或语音输入的页面元素。用户在该页面元素的提示下，可选择使用键盘输入对象区域的名称或标号；也可通过点击下拉列表框的方式选择对象区域；还可通过语音的方式输入对象区域等等。
[0223]
上述s03中“根据所述图像数据和雷达数据，确定所述图像数据中待识别内容对应的距离数据”可具体包括：
[0224]
根据所述图像数据和雷达数据，获得距离地图；其中，所述距离地图中含有图像像素点与距离数据的映射关系；
[0225]
基于所述图像数据，获取待识别内容的特征像素点；
[0226]
根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
[0227]
有关上述各步骤的更详细的描述，可参见上述各实施例中的相应内容，此处不作赘述。
[0228]
上述s04，所述距离数据可现实在如图2b中的显示界面42中，该距离数据可与所述图像数据一同展示。或者，所述距离数据也可显示在如图2b中的交互界面41中，本实施例对此不作具体限定。
[0229]
本实施例中待识别内容可以为预置的默认内容或者是用户预先配置好的内容，比如，车辆、人、机器人、物流车等等。对于此种情况，用户无需再指定待识别内容。在另一些实施例中，用户需要指定待识别内容；为了满足该需求，本实施例提供的所述方法还可包括：
[0230]
s05、响应于用户通过所述交互界面输入的待识别内容，触发根据所述图像数据和雷达数据，确定所述图像数据中待识别内容对应的距离数据的步骤。
[0231]
如图2b中交互界面41所示，该交互界面41中为用户提供了指定待识别内容的入口，如输入框、下拉列表框或语音输入控件等等。用户可通过该交互界面提供的输入方式，输入待识别内容。其中，待识别内容可以是：人、车、机器人等等。
[0232]
本技术各实施例提供的技术方案可应用到多种应用场景中，比如：旅游景区人流监测场景、商场/超市等促销排队监测场景、交通车流监测场景、机场人流监测场景、火车站人流监测场景等这类与人相关的流量监测场景。除此之外，本技术各实施例提供的技术方案还可应用到机器监控场景，比如：物流机器人排队监测场景、智能工厂/智能仓库中转运车(如agv车)排队监测场景等。此外，本技术实施例提供的技术方案还可应用在产品智能仓储场景中，例如，基于产品仓库中产品陈列区域的图像数据及雷达数据，可获得产品陈列区域外轮廓特征像素点对应的距离数据，进而可得到产品陈列区域的尺寸信息(如长宽高尺寸)，根据该尺寸信息便可估算出该产品陈列区内产品仓储量。
[0233]
上述实施例中结合了交通车辆排队的场景进行了相应的描述。下面再结合两个具体的应用场景，对本技术实施例提供的技术方案进行说明。
[0234]
场景1、机场安检排队
[0235]
通过布设在各安检口周围的摄像头及雷达，可采集各安检口处的图像数据及雷达数据。以其中一个安检口为例，根据该安检口的图像数据及雷达数据可获得距离地图；然后，识别图像数据中人排队队伍，随后从图像数据中提取人排队队伍的特征像素点，如排在队尾的人的像素点；之后，利用距离地图，获取与该特征像素点存在映射关系的距离数据。因为，安检口的对头位置是固定的，因此，知道排在队尾人对应的距离数据后，便可获得排队队伍长度。
[0236]
机场工作人员可通过客户端设备(如机场总控室内的计算机、或手持设备等)随时调取看到各安检口对应的排队队伍长度。然后，可通过广播或现场引导的方式，引导人们尽量移动到排队队伍较短的安检口处。除此之外，还可通过各安检口的排队长度，确定出安检人流量，以便于随时作出相应的调整，比如，增加安检口数量，增派案件人员等等。
[0237]
除了机场安检口外，托运排队队伍、机场境外入关排队队伍等，都可采用本实施例提供的方案进行监测。
[0238]
场景2、物流机器人排队
[0239]
物流机器人可应用于仓库、分拣中心、运输等场景，进行货物转移、搬运等操作的机器人；如agv机器人、码垛机器人、分拣机器人等等。下面以仓库agv机器人为例，agv机器人用于仓库内货物的转运。在仓库内的多个位置均设置有摄像头及雷达。每对儿摄像头及雷达采集同一区域的数据。基于摄像头采集的该区域的图像数据以及雷达采集的该区域的雷达数据，可获得距离地图；然后，识别图像数据中的agv机器人，识别出该区域agv小车出现排队情况时，根据所述图像数据获得agv机器人排队队伍的特征像素点，如排队队头agv机器人的第一像素点以及排队队尾agv机器人的第二像素点；随后，利用距离地图，获取与第一像素点存在映射关系的第一距离数据，以及与第二像素点存在映射关系的第二距离数据；根据所述第一距离数据及所述第二距离数据，得到agv机器人排队长度。
[0240]
仓库管理人员可通过客户端设备，如管控室内的计算机或手持设备，查看到仓库内各个区域的agv机器人的运行情况。在某一个区域出现agv机器人排队的情况时，可及时获得排队队伍长度。
[0241]
图14示出了本技术一实施例提供的数据处理装置的结构框图。如图14所示，所述数据处理装置包括：第一获取模块131、生成模块132、第二获取模块133及第三获取模块134。其中，所述第一获取模块131用于获取对象区域的图像数据及雷达数据。生成模块132用于根据所述图像数据和雷达数据获得距离地图。其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。第二获取模块133用于基于所述图像数据，获取待识别内容的特征像素点。第三获取模块134用于根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
[0242]
进一步的，本实施例提供的所述数据处理装置还可包括接收模块及展示模块。其中，所述接收模块用于通过交互界面接收用户输入的所述对象区域；以及所述展示模块用于在显示界面上展示所述距离数据。
[0243]
再进一步的，所述接收模块还可用于：通过交互界面接收用户输入的所述对象区域及所述待识别内容。
[0244]
进一步的，所述生成模块132具体用于：将所述雷达数据中所含的任一监测对象对应的距离数据通过投影转换到所述图像数据所在的图像坐标系下，得到所述监测对象映射
在所述图像坐标系下的像素点；将所述像素点与所述距离数据关联，以添加至所述距离地图。
[0245]
进一步的，所述第二获取模块133具体用于：对所述图像数据进行图像识别，以识别出目标内容；从所述图像数据中，提取出所述目标内容的特征像素点。
[0246]
这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
[0247]
图15示出了本技术一实施例提供的数据处理装置的结构框图。如图15所示，该数据处理装置包括：第一获取模块141、生成模块142、第二获取模块143及确定模块144。其中，所述第一获取模块用于获取对象区域的图像数据和雷达数据；所述生成模块用于基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；所述第二获取模块用于基于所述图像数据，获取排队队伍的特征像素点；所述确定模块用于根据所述距离地图中与所述排队队伍的特征像素点存在映射关系的距离数据，确定排队长度。
[0248]
本实施例提供的技术方案中，通过对监测区域内的所述图像及所述雷达数据进行融合得到一距离地图，在区域内出现监测对象排队的情况下，对所述图像进行图像识别以确定排队队伍特征像素点；进而根据所述排队队伍特征像素点在所述距离地图中关联的距离，完成排队长度的计算；方案简单、易实现，且具有较高的计算效率与精度。
[0249]
进一步地，所述生成模块142具体用于：将所述雷达数据中含有的任一监测对象对应的距离数据通过投影转换到所述图像所在的图像坐标系中，得到所述监测对象映射在所述图像坐标系下的像素点；将所述像素点与所述距离数据关联，以添加至所述距离地图。
[0250]
进一步的，所述距离数据包括：测距值及方向角。相应的，所述生成模块142在将所述像素点与所述距离数据关联，以添加至所述距离地图时，具体用于：根据所述测距值及方向角，计算所述监测对象在平行于水平面的一设定方向上的水平距离；将所述像素点与所述水平距离关联，以添加至所述距离地图。
[0251]
进一步地，所述排队队伍的特征像素点包括：排队队尾像素点。相应的，所述第二获取模块143，具体用于：识别所述图像中处于排队状态的监测对象；基于识别结果，确定排在队尾的监测对象为目标对象；将所述目标对象的一像素点作为所述排队队尾像素点。
[0252]
再进一步的，所述第二获取模块143在将所述目标对象的一像素点作为所述排队队尾像素点时，具体用于：获取所述图像中属于所述目标对象的像素点集；将所述像素点集中处于中心的像素点作为所述排队队尾像素点，或将所述像素点集中距所述图像上边界最近的一像素点作为所述排队队尾像素点，或将所述像素点中距所述图像下边界最近的一像素点作为所述排队队尾像素点。
[0253]
进一步地，所述排队队伍的特征像素点还包括：排队队头像素点；相应的，所述确定模块144，具体用于：从所述距离地图中，分别获取与所述排队队头像素点存在映射关系的第一距离以及与所述排队队尾像素点存在映射关系的第二距离；根据所述第一距离和所述第二距离，计算所述排队长度。
[0254]
其中，排队队头像素点的获取方式包括：获取预配置的排队队头像素点；或者识别所述图像中排在队头的监测对象，将排在队头的监测对象上的一像素点作为所述排队队头
像素点。
[0255]
进一步的，本实施例提供的所述数据处理装置还包括更新模块。该更新模块用于定期地融合图像传感器采集到的图像数据及雷达测得的雷达数据，以更新所述距离地图。
[0256]
进一步的，所述数据处理装置还可包括：跟踪模块和检测模块，其中：所述跟踪模块，用于基于所述图像传感器针对所述对象区域采集到的多帧图像，对出现在所述区域内的监测对象进行行为跟踪，得到跟踪数据；检测模块用于根据所述跟踪数据，检测所述区域内是否出现监测对象排队的情况；在检测出所述对象区域内出现监测对象排队的情况下，触发基于所述图像数据获取排队队伍的特征像素点的步骤。
[0257]
再进一步的，所述跟踪模块在基于所述图像传感器针对所述对象区域采集到的多帧图像，对出现在所述对象区域内的监测对象进行行为跟踪，得到跟踪数据时，具体用于：对在所述多帧图像的至少部分帧中出现的监测对象进行检测；基于检测出的监测对象在相应帧图像中的位置，确定所述监测对象的运动参数；其中，所述运动参数包括如下中的至少一种：运动速度、运动距离。
[0258]
进一步的，本实施例中的检测模块还用于：基于所述多帧图像采集期间所述雷达针对所述对象区域测得的雷达数据，对在所述多帧图像的至少部分帧中未被检测出的被遮挡监测对象进行检测；存在被遮挡监测对象的情况下，结合所述多帧图像及所述多帧图像采集期间所述雷达针对所述对象区域测得的雷达数据，确定被遮挡监测对象在相应帧图像中的位置。
[0259]
进一步地，所述跟踪数据中含有至少一个监测对象的运动速度和/或运动距离。相应的，所述跟踪模块在根据所述跟踪数据，确定所述区域内是否出现监测对象排队的情况时，具体用于：在所述至少一个监测对象中超过预设数量的监测对象对应的运动参数满足预设条件时，确定所述区域内出现监测对象排队的情况。
[0260]
进一步的，本实施例提供的数据处理装置还可包括：输出模块，其中：所述输出模块，用于在所述区域内出现监测对象排队的情况下，统计排队监测对象的数量并输出，如输出至显示设备进行显示。再进一步的，所述输出模块还用于将所述排队长度发送至客户端，以便在所述客户端显示的地图上展示所述区域对应的排队长度和/或所述排队长度对应的凸显元素；其中，所述凸显元素包括如下中至少一项：凸显颜色、凸显动效。
[0261]
这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
[0262]
图16示出了本技术另一实施例提供的数据处理装置的结构框图。如图16所示，该装置包括：获取模块151和生成模块152。其中：所述获取模块151获取对象区域的图像数据及雷达数据；所述生成模块152用于基于所述图像及所述雷达数据，得到距离地图，以在需要基于图像数据确定距离数据时提供数据支持，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
[0263]
本技术实施例提供的技术方案，通过融合图像数据和雷达数据，来构建一含有图像像素点与距离的映射关系的高精度距离地图，为查询所述图像中各像素点对应距离提供了依据，便于提高查询效率。
[0264]
进一步地，所述生成模块152在基于所述图像数据及所述雷达数据获取距离数据，
具体用于：将所述雷达数据中含有的任一监测对象对应的距离数据通过投影转换到所述图像所在的图像坐标系中，得到所述监测对象映射在所述图像坐标系下的像素点；将所述像素点与所述距离数据关联，以添加至所述距离地图。
[0265]
进一步的，所述距离数据包括：测距值及方向角。相应的，所述生成模块152在将所述像素点及所述距离数据关联，以添加至所述距离地图时，具体用于：根据所述测距值及方向角，计算所述监测对象在平行于水平面的一设定方向上的水平距离；将所述像素点与所述水平距离关联，以添加至所述距离地图。
[0266]
进一步的，本实施例提供的数据处理装置还可包括更新模块，该更新模块用于定期地融合图像传感器针对所述对象区域采集到的图像数据及雷达针对所述对象区域测得的雷达数据，以更新所述距离地图。
[0267]
这里需要说明的是：上述实施例提供的数据处理装置可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
[0268]
图17示出了本技术一实施例提供的电子设备的结构示意图。如图17所示，所述电子设备包括：存储器801以及处理器802。存储器801可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0269]
所述处理器802，与所述存储器801耦合，用于执行所述存储器801中存储的所述程序，以用于：
[0270]
获取对象区域的图像数据及雷达数据；
[0271]
基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；
[0272]
基于所述图像数据，获取待识别内容的特征像素点；
[0273]
根据所述距离地图，获取与所述特征像素点存在映射关系的距离数据。
[0274]
其中，处理器802在执行存储器801中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
[0275]
进一步，如图17所示，电子设备还包括：通信组件803、显示器804、电源组件805等其它组件。图17中仅示意性给出部分组件，并不意味着电子设备只包括图17所示组件。
[0276]
本技术另一实施例提供的电子设备，其结构同上述图17。具体的，所述电子设备包括存储器以及处理器。存储器可被配置为存储其它各种数据以支持在电子设备上的操作。所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
[0277]
获取对象区域的图像数据和雷达数据；
[0278]
基于所述图像数据和雷达数据，获得距离地图，其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定；
[0279]
基于所述图像数据，获取排队队伍的特征像素点；
[0280]
根据所述距离地图中与所述排队队伍的特征像素点存在映射关系的距离数据，确
定排队长度。
[0281]
其中，处理器在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
[0282]
本技术又一实施例提供一种电子设备，其结构同上述图17。具体的，所述电子设备包括存储器以及处理器。存储器可被配置为存储其它各种数据以支持在电子设备上的操作。所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
[0283]
获取对象区域的图像数据及雷达数据；
[0284]
基于所述图像及所述雷达数据，得到距离地图，以在需要基于图像数据确定距离数据时提供数据支持；
[0285]
其中，所述距离地图中含有图像像素点与距离数据的映射关系，所述距离数据由所述雷达数据确定。
[0286]
进一步的，所述处理器在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
[0287]
本技术又一实施例提供一种显示设备，其结构同上述图17。该显示设备包括：存储器、处理器及显示器；其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
[0288]
控制所述显示器显示交互界面；
[0289]
响应于用户通过交互界面指定的对象区域，获取所述对象区域的图像数据及雷达数据；
[0290]
根据所述图像数据和雷达数据，确定所述图像数据中待识别内容对应的距离数据；其中，所述距离数据是由所述雷达数据确定；
[0291]
控制所述显示器显示所述距离数据。
[0292]
进一步的，所述处理器在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。
[0293]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的数据处理方法步骤或功能。
[0294]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0295]
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0296]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。