[0001]
本发明涉及视觉识别技术领域，尤其是涉及一种多目标检测网络的构建方法、多目标检测方法及装置。
背景技术：
[0002]
随着智能交通系统研究的不断发展，面向多视认目标驾驶环境的多目标检测方法必将发挥更加重要的作用。目前，现有的多目标检测方法通常需要对道路上的待检测对象的整体进行识别，然而整体识别的复杂程度较高，导致多目标检测的效率较低，而且对于道路上被遮蔽的待检测对象，还存在检测精度较低的问题。
技术实现要素：
[0003]
有鉴于此，本发明的目的在于提供一种多目标检测网络的构建方法、多目标检测方法及装置，可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
[0004]
第一方面，本发明实施例提供了一种多目标检测网络的构建方法，包括：采集目标对象的双目信息和模拟驾驶环境的环境信息；基于所述双目信息和所述环境信息，建立视觉检索区域子网络；其中，所述视觉检索区域子网络用于从真实驾驶场景中确定第一核心区域和所述第一核心区域对应的第一区域权重；基于所述双目信息和所述环境信息，建立视觉检索策略子网络；其中，所述视觉检索策略子网络用于确定所述真实驾驶场景中待视认对象的第一重要等级和第一视认顺序；基于所述视觉检索区域子网络和所述视觉检索策略子网络，构建多目标检测网络；其中，所述多目标检测网络用于对真实驾驶场景中的待视认对象进行检测。
[0005]
在一种实施方式中，所述基于所述双目信息和所述环境信息，建立视觉检索区域子网络的步骤，包括：基于所述双目信息和所述环境信息，确定所述目标对象的视线点信息；从所述视线点信息中提取目标视认点；利用聚类算法对所述目标视认点进行处理，得到所述目标视认点在所述模拟驾驶环境中所在的第二核心区域和所述第二核心区域对应的第二区域权重；基于所述模拟驾驶环境中的第二核心区域和所述第二核心区域对应的第二区域权重，建立视觉检索区域子网络。
[0006]
在一种实施方式中，所述基于所述双目信息和所述环境信息，建立视觉检索策略子网络的步骤，包括：对所述双目信息进行多尺度几何分析和谐波分析，得到所述模拟驾驶环境中的待视认对象的第二重要等级；对所述目标视认点进行时域分析，得到所述模拟驾驶环境中的待视认对象的第二视认顺序；基于所述第二重要等级和所述第二视认顺序，建立视觉检索策略子网络。
[0007]
在一种实施方式中，所述基于所述视觉检索区域子网络和所述视觉检索策略子网络，构建多目标检测网络的步骤，包括：根据预先建立的机器学习架构和所述视觉检索区域子网络，建立单目标检测网络；其中，所述机器学习架构是利用fast r-cnn算法建立得到的；所述单目标检测网络用于检测所述真实驾驶场景中的待视认对象；基于所述单目标检
测网络和所述视觉检索策略子网络，构建多目标检测网络。
[0008]
在一种实施方式中，所述根据预先建立的机器学习架构和所述视觉检索区域子网络，建立单目标检测网络的步骤，包括：利用petri网离散系统建模算法，基于所述视觉检索区域子网络，建立视觉检索网络库；其中，所述视觉检索网络库包括第二核心区域和所述第二核心区域对应的第二区域权重；利用所述视觉检索网络库对预先建立的机器学习架构进行训练，得到单目标检测网络。
[0009]
在一种实施方式中，所述基于所述单目标检测网络和所述视觉检索策略子网络，构建多目标检测网络的步骤，包括：基于所述视觉检索策略子网络，建立多目标检测层级架构；其中，所述多目标检测层级架构用于确定所述真实驾驶场景中的待视认对象的重要等级，并基于所述重要等级对所述真实驾驶场景中的待视认对象进行视认处理；结合所述单目标检测网络和所述多目标检测层级架构，得到目标检测网络。
[0010]
第二方面，本发明实施例还提供一种多目标检测方法，包括：采用多目标检测网络对目标对象所处的真实驾驶场景中的待视认对象进行检测，得到多目标检测结果；其中，所述多目标检测网络是基于如第一方面提供的任一项所述的方法构建得到的。
[0011]
第三方面，本发明实施例还提供一种多目标检测网络的构建装置，包括：信息采集模块，用于采集目标对象的双目信息和模拟驾驶环境的环境信息；第一网络建立模块，用于基于所述双目信息和所述环境信息，建立视觉检索区域子网络；其中，所述视觉检索区域子网络用于从真实驾驶场景中确定第一核心区域和所述第一核心区域对应的第一区域权重；第二网络建立模块，用于基于所述双目信息和所述环境信息，建立视觉检索策略子网络；其中，所述视觉检索策略子网络用于确定所述真实驾驶场景中待视认对象的第一重要等级和第一视认顺序；检测网络建立模块，用于基于所述视觉检索区域子网络和所述视觉检索策略子网络，构建多目标检测网络；其中，所述多目标检测网络用于对真实驾驶场景中的待视认对象进行检测。
[0012]
第四方面，本发明实施例还提供一种多目标检测装置，包括：目标检测模块，用于采用多目标检测网络对目标对象所处的真实驾驶场景中的待视认对象进行检测，得到多目标检测结果；其中，所述多目标检测网络是基于如第一方面提供的任一项所述的方法构建得到的。
[0013]
第五方面，本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法，或执行如第二方面提供的所述的方法。
[0014]
第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面提供的任一项所述的方法的步骤，或，执行上述第二方面提供的所述的方法的步骤。
[0015]
本发明实施例提供的一种多目标检测网络的构建方法及装置，首先采集目标对象的双目信息和模拟驾驶环境的环境信息，以分别基于双目信息和环境信息，建立用于从真实驾驶场景中确定第一核心区域和第一核心区域对应的第一区域权重的视觉检索区域子网络，和基于双目信息和环境信息，建立用于确定真实驾驶场景中待视认对象的第一重要等级和第一视认顺序的视觉检索策略子网络，进而基于视觉检索区域子网络和视觉检索策略子网络，构建多目标检测网络，其中，多目标检测网络用于对真实驾驶场景中的待视认对
象进行检测。上述方法基于采集的双目信息和环境信息，分别建立视觉检索区域子网络和视觉检索策略子网络，进而建立得到多目标检测网络，本发明实施例基于第一核心区域、第一核心区域的区域权重、第一重要等级和第一视认顺序可以较好地对真实驾驶场景中的待视认对象进行识别，从而可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
[0016]
本发明实施例提供的一种多目标检测方法及装置，采用多目标检测网络对目标对象所处的真实驾驶场景中的待视认对象进行检测，得到多目标检测结果。上述方法利用具有较高检测效率和较高检测准确度的多目标检测网络对真实驾驶场景汇总的待视认对象进行检测，可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
附图说明
[0017]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]
图1为本发明实施例提供的一种多目标检测网络的构建方法的流程示意图；
[0019]
图2为本发明实施例提供的一种视觉检索区域子网络的架构示意图；
[0020]
图3为本发明实施例提供的一种建立视觉检索区域子网络的过程示意图；
[0021]
图4为本发明实施例提供的一种视觉检索策略子网络的架构示意图；
[0022]
图5为本发明实施例提供的一种建立视觉检索策略子网络的过程示意图；
[0023]
图6为本发明实施例提供的一种建立机器学习架构的过程示意图；
[0024]
图7为本发明实施例提供的一种多目标检测网络的构建方法的框架示意图；
[0025]
图8为本发明实施例提供的一种多目标检测方法的流程示意图；
[0026]
图9为本发明实施例提供的一种多目标检测网络的构建装置的结构示意图；
[0027]
图10为本发明实施例提供的一种多目标检测装置的结构示意图；
[0028]
图11为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0029]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0030]
目前，现有的多目标检测方法存在检测效率较低和检测准确度较低的问题，诸如，相关技术公开了一种利用毫米波雷达的多目标检测方法，对接收的fmcw(frequency modulated continuous wave，调频连续波)和cw(continuous wave，连续多普勒)的波形信号进行傅里叶变换后，采用频率聚类算法分别对2个波形进行相关处理，对目标的检测结果有较高的准确性；相关技术公开了一种基于格雷互补波形的多目标检测方法，对于检测场景中获得的雷达信号，使用标准匹配滤波方法和二项式设计匹配滤波方法分别获得模糊函数图像，两者进行互补优化为一幅模糊函数图像，具有较高的多普勒分辨率和较低的漏检率；相关技术公开了一种基于上下文信息的多目标检测方法，该方法针对目标本身信息不
足问题，借助于摄像机获取的图片或视频中来自于目标外的相关信息，为目标检测提供辅助信息，提高了多目标检测的准确性；相关技术公开了一种基于高层场景信息的地面运动目标检测方法，在使用帧间差分法提取初步目标检测结果的基础上，计算每个点的光流矢量实现对目标的光流关联，去除部分虚警，最后利用场景的高层信息基本矩阵f判断运动点和背景点，去除了大量的虚警。上述方法虽然能够实现多目标检测，但是均存在检测效率较低和检测准确度较低的问题，并且，上述对视觉检索机制的研究多仅停留在驾驶行为分析和驾驶意图预测层面，而面向环境感知的视觉检索机制应用研究较少，以驾驶人视觉检索机制为指导的环境感知方法仍有较大的优化空间。基于此，本发明实施提供了一种多目标检测网络的构建方法、多目标检测方法及装置，可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
[0031]
为便于对本实施例进行理解，首先对本发明实施例所公开的一种多目标检测网络的构建方法进行详细介绍，参见图1所示的一种多目标检测网络的构建方法的流程示意图，该方法主要包括以下步骤s102至步骤s108：
[0032]
步骤s102，采集目标对象的双目信息和模拟驾驶环境的环境信息。其中，双目信息可以包括诸如瞬目反射信息、瞳孔直径信息、视线位置信息或注视时间信息等，环境信息也即模拟驾驶环境的影像信息。
[0033]
步骤s104，基于双目信息和环境信息，建立视觉检索区域子网络。其中，视觉检索区域子网络用于从真实驾驶场景中确定第一核心区域和第一核心区域对应的第一区域权重，第一核心区域可以理解为真实驾驶场景中各个邻近视认点间的距离小于一定阈值的视认点集合所在的区域，第一核心区域对应的第一区域权重可以用于表征该第一核心区域的重要程度。
[0034]
在一种实施方式中，可以基于双目信息和环境信息确定目标视认点，通过对目标视认点进行聚类处理可以得到多个视认点集合，进而将各个视认点集合所在的区域分别确定为模拟驾驶环境中的第二核心区域；并且对于每个第二核心区域，基于该第二核心区域内所包含的视线点信息的密度，确定该第二核心区域的区域权重，进而基于模拟驾驶环境中的第二核心区域和第二核心区域对应的第二区域权重，建立视觉检索区域子网络，以通过视觉检索区域子网络从真实驾驶场景中确定第一核心区域和第一核心区域对应的第一区域权重。其中，视线点是指目标对象的视线与驾驶场景显示平面的交点，视认点是指目标对象视线与驾驶场景显示平面的交点且注视持续时间大于设定阈值的视线点。
[0035]
步骤s106，基于双目信息和环境信息，建立视觉检索策略子网络。其中，视觉检索策略子网络用于确定真实驾驶场景中待视认对象的第一重要等级和第一视认顺序，第一重要等级用于表征真实驾驶场景中待视认对象的重要程度，第一视认顺序用于表征目标对象在真实驾驶场景中观察各个待视认对象的顺序。在一种实施方式中，可以对基于双目信息和环境信息得到的目标视认点进行时域分析，得到模拟驾驶环境中的待视认对象的第二视认顺序；还可以对双目信息进行多尺度几何分析和谐波分析，得到模拟驾驶环境中的待视认对象的第二重要等级，从而基于模拟驾驶环境中待视认对象的第二重要等级和第二视认顺序，建立视觉检索策略子网络，利用视觉检索策略子网络以确定真实驾驶场景中待视认对象的第一重要等级和第一视认顺序。
[0036]
步骤s108，基于视觉检索区域子网络和视觉检索策略子网络，构建多目标检测网
络。其中，多目标检测网络用于对真实驾驶场景中的待视认对象进行检测，在一种实施方式中，可以预先建立机器学习架构，并利用视觉检索子网络对机器学习架构进行训练，从而基于训练后的机器学习架构和视觉检索策略子网络构建多目标检测网络。
[0037]
本发明实施例提供的上述多目标检测网络的构建方法，基于采集的双目信息和环境信息，分别建立视觉检索区域子网络和视觉检索策略子网络，进而建立得到多目标检测网络，本发明实施例基于第一核心区域、第一核心区域的区域权重、第一重要等级和第一视认顺序可以较好地对真实驾驶场景中的待视认对象进行识别，从而可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
[0038]
在实际应用中，上述方法可应用于驾驶模拟器，驾驶模拟器为模拟驾驶环境的实验装置，包括实验轿车、眼动仪和模拟器屏幕，眼动仪又包括场景相机和眼动相机。在一种实施方式中，可以通过眼动仪同步采集双目信息和环境信息。在实际应用中，可以通过使用模拟器屏幕显示多视认目标的模拟驾驶环境；通过调换模拟器屏幕，采集目标对象在不同模拟驾驶环境下的双目信息和环境信息；通过给驾驶员下达指令，实现不同的驾驶任务；实验进行10次以上的信息采集，以保证信息的准确性。
[0039]
本发明实施例中，上述视觉检索区域子网络是逐次针对单一视认目标，视觉检索策略子网络针对不同驾驶任务下包含多类视认目标的驾驶环境，为便于对视觉检索区域子网络和视觉检索策略子网络进行理解，本发明实施例分别提供了基于双目信息和环境信息建立视觉检索子网络和基于双目信息和环境信息建立视觉检索策略子网络的实施方式。
[0040]
在上述驾驶模拟器的基础上，本发明实施例提供了一种基于双目信息和环境信息，建立视觉检索区域子网络的实施方式，参见如下步骤a1至步骤a4：
[0041]
步骤a1，基于双目信息和环境信息，确定目标对象的视线点信息。其中，视线点信息也即目标对象实现与模拟驾驶环境显示平面的交点。
[0042]
步骤a2，从视线点信息中提取目标视认点。其中，目标视认点也即注视持续时间大于预设阈值的视线点。在一种实施方式中，可将视线点信息划分为常规扫视视线点和目标视认点，可选的，统计一定时间t内目标对象眼睛的视线点落在模拟驾驶环境某区域内的次数为n，视线点出现频率为m＝n/t，根据落在某目标区域内的视线点的出现频率m对视线点进行划分，设置视线点的出现频率阈值s,出现频率m>s的视线点划分为目标视认点，出现频率m≤s的视线点划分为常规扫视视线点。
[0043]
步骤a3，利用聚类算法对目标视认点进行处理，得到目标视认点在模拟驾驶环境中所在的第二核心区域和第二核心区域对应的第二区域权重。其中，聚类算法可以采用基于dbscan(density-based spatial clustering of applications with noise)密度的聚类算法，基于dbscan密度的聚类算法是一种简单有效的基于密度的聚类算法，能在具有噪声的空间信息库中发现任意形状的簇。为便于对上述步骤a3进行理解，本发明实施例提供了一种确定聚类簇的实施方式，给定信息集d，若一个点簇可由其中的任何核心对象唯一确定，对于某一点簇中的对象，给定半径r
e
的邻域内信息对象个数必须大于给定值m
p
，然后参见如下(1)至(5)：
[0044]
(1)确定r
e
邻域。给定信息对象p的r
e
邻域n
eps
(p)，定义以p为核心，以r
e
为半径的球体区域，即：n
eps
(p)＝{q∈d|dist(p,q)≤r
e
}，其中，dist(p,q)为给定信息集d中给定对象信息p与给定信息对象q的距离。
[0045]
(2)确定核心点与边界点。对于信息对象p∈d，给定整数m
p
，若p的r
e
邻域内对象个数满足|n
eps
(p)|≥m
p
，则称p为核心点；落在核心点r
e
邻域内的非核心点对象定义为边界点。
[0046]
(3)确定直接密度可达。给定r
e
与m
p
，若给定对象信息p与给定信息对象q满足p∈n
eps
(p)或|n
eps
(p)|≥m
p
，则称给定对象信息p与给定信息对象q出发直接密度可达。
[0047]
(4)确定密度可达。给定信息集d，存在一个对象链p
i
(i＝1,2,...,n,p1＝q,p
n
＝p)，对于p
i
∈d，若在条件p
i+1
从p
i
直接密度可达，则称给定对象信息p与给定信息对象q密度可达。
[0048]
(5)确定簇与噪声。由任意一个核心点对象开始，从该对象密度可达的所有对象构成一个聚类簇，不属于任何簇的对象为噪声。
[0049]
步骤a4，基于模拟驾驶环境中的第二核心区域和第二核心区域对应的第二区域权重，建立视觉检索区域子网络。为便于对视觉检索区域子网络进行理解，本发明实施例提供了一种视觉检索区域子网络的架构示意图，如图2所示，通过驾驶模拟器设置一个只包含单一视认目标的模拟驾驶环境，将驾驶人在单一视认目标区域上的视线点位置信息作为信息集d，通过上述步骤a3对信息集d进行聚类分析(t1)，将聚类簇所覆盖的区域作为待视认对象的各个第二核心区域a1、a2、a3，其中，第二核心区域的数量为不定值，然后根据第二核心区域内所包含的视线点的密度，对待视认对象的各个第二核心区域a1、a2、a3进行区域权重分配(t2)，得到各个第二核心区域分别对应的第二区域权重b1、b2、b3，重复此过程，逐次对其他模拟驾驶环境中单一视认目标进行分析，构建出的一种对样本规模需求低的样本处理网络(也即，上述视觉检索区域子网络)。图2中，t1表示聚类分析过程，t2表示区域权重分配过程，a1、a2、a3表示多个第二核心区域，b1、b2、b3表示各个第二核心区域分别对应的第二区域权重。
[0050]
为进一步对上述步骤a1至步骤a4所述的建立视觉检索区域子网络的方法进行理解，本发明实施例还提供了如图3所示的一种建立视觉检索区域子网络的过程示意图，如图3所示，建立动态坐标系以及在动态坐标系下不同时刻视线点分布，然后将视线点信息映射至同一动态坐标系，并对目标区域范围内的视线点信息进行空间位置分析，以及对目标区域范围内的视线点信息进行驻留时长分析确定长时间驻留视线点(也即上述目标视认点)，利用聚类算法对长时间驻留视线点进行处理，得到多个第二核心区域(包括a1、a2、a3)，并基于第二核心区域内所包含的视线点的密度对第二核心区域对应的第二区域权重(包括b1、b2、b3)进行分配，从而得到视觉检索区域子网络。
[0051]
在上述驾驶模拟器的基础上，本发明实施例提供了一种基于双目信息和环境信息，建立视觉检索策略子网络的实施方式，参见如下步骤b1至步骤b3：
[0052]
步骤b1，对双目信息进行多尺度几何分析和谐波分析，得到模拟驾驶环境中的待视认对象的第二重要等级。其中，多尺度几何分析方法是指使用小波变换分析方法。在一种实施方式中，可以对双目信息中的瞳孔直径信息进行多尺度几何分析，以及对双目信息中的瞬目反射信息进行谐波分析。可选的，多尺度几何分析方法是指使用小波变换分析方法，把采集到的驾驶员瞳孔直径信息分解在不同的尺度上，对采集到的双目信息进行不同精度拆分，深入剖析处理。峰值信息对应瞳孔变大时刻，将此时刻待视认对象作为重要对象，其余为常规对象。
[0053]
本发明实施例提供了一种对双目信息中的瞳孔直径信息进行多尺度几何分析的
实施方式，假设m(t)是采集到的瞳孔直径信息，该瞳孔直径信息的小波变换可表示成下列形式：其中，a>0，而符合以下条件：条件：在此代表定义在有限区间里的小波函数，为其在频域空间的转换函数，参数a是扩张函数，b是位移参数，它表示在时间轴上小波区段的位置。记变换后函数n(t)的峰值为n
max
。以一定时间t为周期将函数n(t)分为t个时间段，提取各个时间段的瞳孔直径信息并对其进行均值化处理，得到瞳孔直径均值信息
[0054]
本发明实施例提供了一种对双目信息中的瞬目反射信息进行谐波分析的实施方式，对含p个分量的瞬目反射信息采样得到采样点的集合x(n)，任取采样点的集合x(n)中n个瞬目反射信息，对其进行离散傅里叶变换后得到新的信息信号集x(k)，公式为：其中，(k＝0,1,2,...,n-1)，对傅里叶变换后得到的瞬目反射信息集合x(k)进行分析。以一定时间t为周期将函数x(k)分为t个时间段，提取各个时间段的眨眼持续时间(是指眼睛一次完全睁开到下一次完全睁开所经历的时间)，并对眨眼持续时间进行均值处理，记眨眼时间均值为
[0055]
然后基于瞳孔直径均值信息和眨眼时间均值为得到模拟驾驶环境中的待视认对象的第二重要等级，在一种具体的实施方式中，可以按照如下公式基于瞳孔直径均值信息和眨眼时间均值计算l
i
：
[0056]
其中，n1＝0.65，n2＝0.35，l
i
可以用于表征待视认对象的重要性，在一种可选的实施方式中，可以通过l
i
的大小将其对应的待视认对象进行排序，得到模拟驾驶环境中的待视认对象的第二重要等级。
[0057]
步骤b2，对目标视认点进行时域分析，得到模拟驾驶环境中的待视认对象的第二视认顺序。时域分析是指控制系统在视线点位置及注视时间这两个输入量的条件下，根据输出量的时域表达式，直观、准确地分析出待视认对象的第二视认顺序。本发明实施例提供了一种对目标视认点进行时域分析的具体实施方式，将驾驶人视线与模拟驾驶环境显示平面的交点作为驾驶人视线点位置。设某采样点对应时刻的视线方向向量分别为其中，i＝1,2,...,n，已知驾驶人与模拟驾驶环境显示平面间的水平距离为d，则其视线点位置坐标采集注视持续时间大于预设阈值s时获取的目标的视线点位置(也即，上述目标视认点)。统计固定时间段内视线点位置坐标密集区域集合，根据时间的先后顺序，对视线点各个密集区域集合对应的待视认对象进行排序，得到模拟驾驶环境中的待视认对象的第二视认顺序。
[0058]
步骤b3，基于第二重要等级和第二视认顺序，建立视觉检索策略子网络。在一种实
施方式中，结合时域分析法分析目标视认点与不同待视认对象的相对位置关系，确定不同驾驶任务下对各待视认对象的第二视认顺序，最终根据第二重要等级和第二视认顺序构建出视觉检索策略子网络。为便于对视觉检索策略子网络进行理解，本发明实施例提供了一种视觉检索策略子网络的架构示意图，如图4所示，s1表示多尺度几何分析过程，s2表示谐波分析过程，s3表示时域分析过程，s4表示基于m1和n1得到第二重要等级的过程，s5表示基于s1和s2得到第二视认顺序的过程，m表示瞳孔直径信息，n表示瞬目反射信息，s表示目标视认点，m1表示m经多尺度几何分析得到的信息，n1表示n经谐波分析得到的信息，s1和s2表示s经时域分析得到的信息，l1、l2、l3表示不同的第二重要等级，k1、k2、k3表示第二视认顺序，time1、time2、time3表示不同的视认时间。
[0059]
基于上述图4，本发明实施例进一步提供了如图5所示的一种建立视觉检索策略子网络的过程示意图，对瞳孔直径信息进行多尺度几何分析以及对瞬目反射信息进行谐波分析，并结合认知神经学和认知心理学得到第二重要等级，对视线点信息进行视线点划分确定目标视认点，并对目标视认点进行时域分析，得到第二视认顺序，最终利用petri网离散建模方法基于第二重要等级和第二视认顺序，建立视觉检索策略子网络。
[0060]
为便于对上述步骤s108进行理解，本发明实施例还提供了一种基于视觉检索区域子网络和视觉检索策略子网络，构建多目标检测网络的实施方式，参见如下步骤1至步骤2：
[0061]
步骤1，根据预先建立的机器学习架构和视觉检索区域子网络，建立单目标检测网络。其中，机器学习架构是利用fast r-cnn算法建立得到的，faster r-cnn算法是指通过区域建议网络来提取样本的候选区域，之后将候选区域输入到快速区域卷积神经网络提取特征，通过softmax分类函数来进行特征分类和多任务损失函数进行边框回归，建立前方车辆的单目标检测网络，将测试样本输入到单目标检测网络(可用于检测诸如行人、机动车、非机动车、标志标线等待视认对象)，得到待视认对象的检测结果。单目标检测网络用于检测真实驾驶场景中的待视认对象。本发明实施例还提供了一种建立机器学习架构的实施方式，参见图6所示的一种建立机器学习架构的过程示意图，faster r-cnn算法输入驾驶过程中通过场景相机获取的驾驶环境图像(也即，上述环境信息)后，通过zf-net特征提取网络对驾驶环境图像做特征提取，输出的特征图分为两部分被rpn(regionproposal network，区域候选网络)层和roi pooling(感兴趣区域池化)层共享，其中一部分特征图经过rpn层生成具有3种不同的面积和3种宽高比的窗口，即在每个滑动位置产生k＝9个基准矩形框。之后候选区域生成网络对于每个基准矩形框会输出4个修正参数t
x
、t
y
、t
w
、t
h
，利用这4个修正参数对基准矩形框进行修正即可得出候选区域，下式为基准矩形框的修正式：
[0062]
x＝w
a
t
x
+x
a
、y＝h
a
t
y
+y
a
、w＝w
a
exp(t
w
)、h＝h
a
exp(t
h
)。
[0063]
上式中，x,y,w,h分别表示候选区域的中心横坐标、中心纵坐标、宽度、高x
a
、y
a
、w
a
、h
a
分别表示基准矩形框的中心横坐标、中心纵坐标、宽度、高度。
[0064]
候选区域生成网络的损失函数一个多任务损失函数，通过该多任务损失函数将候选区域的类别置信度和修正参数的训练任务统一起来。下式为候选区域生成网络的损失函数：
[0065][0066]
上式中，i是基准框的序号，p
i
是第i个基准框内包含待测目标的预测置信度，p
i*
是
第i个基准框的标签，p
i*
＝1代表第i个基准框内包含待测目标，p
i*
＝0代表第i个基准框内不包含待测目标,t
i
是基准框的预测修正参数,t
i*
是基准框相对于目标标签框的修正参数，λ用于调节两个子损失函数的相对重要程度，设λ＝10。l
cls
表示目标与非目标对数损失，l
reg
是包含待测目标锚点边框的回归损失,l
reg
(t
i
,t
i*
)＝smooth
l1
是鲁棒回归损失函数,如下式所示：
[0067][0068]
将候选区域投影到另一部分的特征图上共同输入roi pooling层，通过roi pooling层将候选区域所包含的特征池化成大小、形状相同的特征图；然后使用全连接层输出候选区域对应各个类别的分数和修正参数，最后利用softmax loss(探测分类概率)和smooth
l1
损失(探测边框回归)对分类概率和边框回归(bounding box regression)联合训练，输出候选区域对应的目标类别及其置信度与边界框的修正参数。
[0069]
在一种实施方式中，可按照如下步骤1.1至步骤1.2执行根据预先建立的机器学习架构和视觉检索区域子网络，建立单目标检测网络的步骤：
[0070]
步骤1.1，利用petri网离散系统建模算法，基于视觉检索区域子网络，建立视觉检索网络库。其中，视觉检索网络库包括第二核心区域和第二核心区域对应的第二区域权重，视觉检索网络库是指驾驶任务下具有各待视认对象的核心区域的集合，是对待视认对象进行决策分析的基础依据。
[0071]
步骤1.2，利用视觉检索网络库对预先建立的机器学习架构进行训练，得到单目标检测网络。本发明实施例提取核心区域建立视觉检索网络库，以该视觉检索网络库作为训练样本，对机器学习架构进行训练，降低了样本整体规模需求，提高了对待视认对象的感知精度和响应速度。
[0072]
本发明实施例基于视觉检索区域子网络构建视觉检索网络库，并以之为目标识别机制结合机器学习架构，构建出的一种优化的仿视觉检索的单目标检测方法,对被遮蔽目标具有较高的检测精度和检测速度的一种检测方法。
[0073]
步骤2，基于单目标检测网络和视觉检索策略子网络，构建多目标检测网络。在一种实施方式中，可按照如下步骤2.1至步骤2.2执行基于单目标检测网络和视觉检索策略子网络，构建多目标检测网络的步骤：
[0074]
步骤2.1，基于视觉检索策略子网络，建立多目标检测层级架构。其中，多目标检测层级架构用于确定真实驾驶场景中的待视认对象的重要等级，并基于重要等级对真实驾驶场景中的待视认对象进行视认处理。本发明实施例面向不同驾驶任务下的多视认目标环境，根据视觉检索策略子网络，建立一种仿视觉检索的多目标检测层级架构，该架构能对重要目标和常规目标进行不同程度的识别处理。
[0075]
步骤2.2，结合单目标检测网络和多目标检测层级架构，得到目标检测网络。在一种实施方式中，将仿视觉检索的单目标检测方法作为检测功能节点，置于仿视觉检索策略的多目标检测层级架构中，建立一种仿视觉检索机制的多目标检测网络。
[0076]
为便于对上述实施例提供的多目标检测网络的构建方法进行理解，本发明实施例还提供了一种多目标检测网络的构建方法的应用实例，参见图7所示的一种多目标检测网
络的构建方法的框架示意图，首先采集信息(包括双目信息和环境信息)；然后基于采集到的信息确定目标视线点(也即，上述目标视认点)，利用dbscan算法确定核心区域，并进一步对各个核心区域进行区域区域权重划分，然后利用petri网算法基于核心区域和区域区域权重划分构建视觉检索区域子网络，进而得到视觉检索网络库，此时结合预先建立的机器学习架构，利用fast r-cnn算法建立单目标检测网络；同时，基于采集到的信息中的瞳孔直径、瞬目反射进行重要性分级(也即，上述第二重要等级)，以及基于采集到的信息中的视线位置和注视时间确定视认顺序，并利用petri网算法基于重要性分级和视认顺序建立视觉检索子网络，进而得到视认层级架构(也即，上述多目标检测层级架构)，最终基于单目标检测网络和视认层级架构，得到多目标检测网络。
[0077]
综上所述，本发明实施例提供的上述多目标检测网络的构建方法，至少具有以下特点：
[0078]
(1)提取核心区域建立视觉检索网络库，以该视觉检索网络库作为训练样本，降低了样本整体规模需求，提高了对待视认对象的感知精度和响应速度。
[0079]
(2)以视觉检索网络库作为训练样本结合机器学习方法构建一种优化的单目标检测方法，有效提高被遮蔽目标检测精度，实质性地提高了目标感知效率。
[0080]
(3)提出的视觉检索策略，可使智能车对于复杂环境下多视认目标的反应更加真实准确，可以确定重要目标，减少需持续跟踪目标的数量，从而缩短复杂环境感知所需的时间，提高了感知效率，使智能车在复杂的多目标环境下的行驶更为安全可靠。
[0081]
基于上述实施例提供的多目标检测网络的构建方法，本发明实施例还提供了一种多目标检测方法，参见图8所示的一种多目标检测方法的流程示意图，该方法主要包括：步骤s802，采用多目标检测网络对目标对象所处的真实驾驶场景中的待视认对象进行检测，得到多目标检测结果。其中，多目标检测网络是基于如前述实施例提供的多目标检测网络的构建方法构建得到的。具体可参见前述实施例，本发明实施例对此不进行限制。
[0082]
本发明实施例提供的上述多目标检测方法，利用具有较高检测效率和较高检测准确度的多目标检测网络对真实驾驶场景汇总的待视认对象进行检测，可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
[0083]
对于上述实施例提供的多目标检测网络的构建方法，本发明实施例提供了一种多目标检测网络的构建装置，参见图9所示的一种多目标检测网络的构建装置的结构示意图，该装置主要包括以下部分：
[0084]
信息采集模块902，用于采集目标对象的双目信息和模拟驾驶环境的环境信息。
[0085]
第一网络建立模块904，用于基于双目信息和环境信息，建立视觉检索区域子网络；其中，视觉检索区域子网络用于从真实驾驶场景中确定第一核心区域和第一核心区域对应的第一区域权重。
[0086]
第二网络建立模块906，用于基于双目信息和环境信息，建立视觉检索策略子网络；其中，视觉检索策略子网络用于确定真实驾驶场景中待视认对象的第一重要等级和第一视认顺序。
[0087]
检测网络建立模块908，用于基于视觉检索区域子网络和视觉检索策略子网络，构建多目标检测网络；其中，多目标检测网络用于对真实驾驶场景中的待视认对象进行检测。
[0088]
本发明实施例提供的上述多目标检测网络的构建装置，基于采集的双目信息和环
境信息，分别建立视觉检索区域子网络和视觉检索策略子网络，进而建立得到多目标检测网络，本发明实施例基于第一核心区域、第一核心区域的区域权重、第一重要等级和第一视认顺序可以较好地对真实驾驶场景中的待视认对象进行识别，从而可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
[0089]
在一种实施方式中，第一网络建立模块904还用于：基于双目信息和环境信息，确定目标对象的视线点信息；从视线点信息中提取目标视认点；利用聚类算法对目标视认点进行处理，得到目标视认点在模拟驾驶环境中所在的第二核心区域和第二核心区域对应的第二区域权重；基于模拟驾驶环境中的第二核心区域和第二核心区域对应的第二区域权重，建立视觉检索区域子网络。
[0090]
在一种实施方式中，第二网络建立模块906还用于：对双目信息进行多尺度几何分析和谐波分析，得到模拟驾驶环境中的待视认对象的第二重要等级；对目标视认点进行时域分析，得到模拟驾驶环境中的待视认对象的第二视认顺序；基于第二重要等级和第二视认顺序，建立视觉检索策略子网络。
[0091]
在一种实施方式中，检测网络建立模块908还用于：根据预先建立的机器学习架构和视觉检索区域子网络，建立单目标检测网络；其中，机器学习架构是利用fast r-cnn算法建立得到的；单目标检测网络用于检测真实驾驶场景中的待视认对象；基于单目标检测网络和视觉检索策略子网络，构建多目标检测网络。
[0092]
在一种实施方式中，检测网络建立模块908还用于：利用petri网离散系统建模算法，基于视觉检索区域子网络，建立视觉检索网络库；其中，视觉检索网络库包括第二核心区域和第二核心区域对应的第二区域权重；利用视觉检索网络库对预先建立的机器学习架构进行训练，得到单目标检测网络。
[0093]
在一种实施方式中，检测网络建立模块908还用于：基于视觉检索策略子网络，建立多目标检测层级架构；其中，多目标检测层级架构用于确定真实驾驶场景中的待视认对象的重要等级，并基于重要等级对真实驾驶场景中的待视认对象进行视认处理；结合单目标检测网络和多目标检测层级架构，得到目标检测网络。
[0094]
对于前述实施例提供的多目标检测方法，本发明实施例提供了一种多目标检测装置，参见图10所示的一种多目标检测装置的结构示意图，该装置主要包括以下部分：目标检测模块1002，用于采用多目标检测网络对目标对象所处的真实驾驶场景中的待视认对象进行检测，得到多目标检测结果；其中，多目标检测网络是基于如前述实施例提供的任一项的多目标检测网络的构建方法构建得到的。
[0095]
本发明实施例提供的上述多目标检测装置，利用具有较高检测效率和较高检测准确度的多目标检测网络对真实驾驶场景汇总的待视认对象进行检测，可以有效提高多目标检测的效率，以及提高多目标检测的准确度。
[0096]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0097]
本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
[0098]
图11为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处
理器110，存储器111，总线112和通信接口113，所述处理器110、通信接口113和存储器111通过总线112连接；处理器110用于执行存储器111中存储的可执行模块，例如计算机程序。
[0099]
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
[0100]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。