一种仿视网膜的目标检测方法、装置、存储介质及终端

1.本发明涉及计算机视觉技术领域，特别涉及一种仿视网膜的目标检测方法、装置、存储介质及终端。


背景技术：

2.视觉目标检测是通过特定传感器采集目标的视觉信息，并计算感兴趣目标物体的位置信息和类别属性。目标精准检测是目标跟踪、行为理解、视频对象检索等高级视觉任务的基础，并广泛应用于自动驾驶、视频监控和人机交互等领域。深度学习技术较大提升了图像或视频目标检测的准确率，但传统图像帧范式在高速运动或低光照等极端场景极大制约了目标对象进行实时精准检测。
3.近年来，深度学习目标检测器在大数据和强算力的驱动下，以监督学习的方式逐层端到端学习目标的高层语义特征，避免了手工设计特征的繁琐低效，在常规运动速度或适宜光照下目标检测取得了突破性进展并应用相对较成熟。然而，在实际复杂场景(高速运动或极端光照)下运动目标的视觉成像与检测技术需求日益迫切，例如高速飞行器位姿测量、高速行驶车辆检测、体育赛事中球类物体定位等。这些典型高速目标的运动速度超过100千米/小时，具有持续时间短、机动性强、轨迹复杂与规律性差等特点，但传统图像帧范式采样率一般在30-120帧/秒，在单位曝光时间内高速运动目标位移量较大，其成像存在严重的运动模糊效应，从而导致高速运动目标检测性能大幅度降低。
4.此外，现有高速相机大多数采用传统“所见即所得”的图像帧范式成像机制，通过稠密采样直接得到高帧率图像序列，其产生的海量冗余数据会给存储和处理带来了极大挑战，在资源受限情况下难以满足高速运动目标的实时精准检测。此外，高速相机的价格昂贵也一定程度上制约了其广泛应用。因此，现有图像帧范式很难满足实际极端场景下目标高效精准检测的应用需求，探索新型视觉采样范式与目标探测技术是亟待研究的。


技术实现要素：

5.本技术实施例提供了一种仿视网膜的目标检测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
6.第一方面，本技术实施例提供了一种仿视网膜的目标检测方法，方法包括：
7.获取目标脉冲阵列信号；其中，
8.目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号；
9.将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号；
10.将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号
对应的目标检测结果。
11.可选的，时空同步包括时域同步和空间同步；
12.将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，包括：
13.采用同步触发采集软件将第一脉冲阵列信号与第二脉冲阵列信号进行时域同步；
14.采用空间法射变换来构建第一脉冲阵列信号与第二脉冲阵列信号的映射关系，以对第一脉冲阵列信号与第二脉冲阵列信号进行空间同步。
15.可选的，预先训练的目标检测器包括时域聚合表征模块与动态交互融合模块；
16.将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果，包括：
17.时域聚合表征模块根据待处理脉冲阵列信号进行时域建模，得到第一特征图序列和第二特征图序列；
18.动态交互融合模块根据第一特征图序列和第二特征图序列进行互补融合，得到待处理脉冲阵列信号对应的目标检测结果；其中，
19.互补融合的融合方式为特征相加方式、特征拼接方式或网络模型信号交互方式。
20.可选的，时域聚合表征模块包括信号划分子模块、特征表征子模块以及信息挖掘子模块；待处理脉冲阵列信号包括第一同步脉冲阵列信号和第二同步脉冲阵列信号；
21.时域聚合表征模块根据待处理脉冲阵列信号进行时域建模，得到第一特征图序列和第二特征图序列，包括：
22.信号划分子模块将第一同步脉冲阵列信号和第二同步脉冲阵列信号进行动态划分，得到划分后的脉冲阵列信号；
23.特征表征子模块将划分后的脉冲阵列信号进行特征编码，得到时域上多个编码特征；
24.信息挖掘子模块根据时域上多个编码特征进行时域建模，得到第一特征图序列和第二特征图序列。
25.可选的，将第一同步脉冲阵列信号和第二同步脉冲阵列信号进行动态划分，得到划分后的脉冲阵列信号，包括：
26.分别获取第一同步脉冲阵列信号和第二同步脉冲阵列信号各自在时域上的信号变化信息，得到第一信号变化信息和第二信号变化信息；
27.根据第一信号变化信息动态调整信号划分阈值，得到调整后的第一信号划分阈值；
28.根据第二信号变化信息动态调整信号划分阈值，得到调整后的第二信号划分阈值；
29.采用调整后的第一信号划分阈值将第一同步脉冲阵列信号进行动态划分，得到划分后的第一脉冲阵列信号；
30.采用调整后的第二信号划分阈值将第二同步脉冲阵列信号进行动态划分，得到划分后的第二脉冲阵列信号。
31.可选的，将划分后的脉冲阵列信号进行特征编码，得到时域上多个编码特征，包括：
32.在时域上按预设固定频率的时间戳对划分后的第一脉冲阵列信号进行重构，得到
重构图像序列；
33.将重构图像序列进行映射、转置以及仿射变换，得到时域上多个第一编码特征；
34.对划分后的第二脉冲阵列信号进行空间变换，得到时域上多个第二编码特征。
35.可选的，仿视网膜中央凹采样电路为积分型视觉采样模型，积分型视觉采样模型以异步脉冲阵列信号表示视觉纹理信息；仿视网膜外周采样电路为差分型视觉采样模型，差分型视觉采样模型以异步脉冲阵列信号表示场景动态信息；其中，积分型视觉采样模型是采样神经元积分发放模型。
36.第二方面，本技术实施例提供了一种仿视网膜的目标检测装置，装置包括：
37.信号获取模块，用于获取目标脉冲阵列信号；其中，
38.目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号；
39.时空同步模块，用于将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号；
40.检测结果输出模块，用于将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。
41.第三方面，本技术实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
42.第四方面，本技术实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
43.本技术实施例提供的技术方案可以包括以下有益效果：
44.在本技术实施例中，仿视网膜的目标检测装置首先获取目标脉冲阵列信号，其中目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号，然后将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号，最后将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。由于本技术利用仿视网膜中央凹采样电路的高速视觉纹理成像的优势，并结合仿视网膜外周视觉采样电路的高时间分辨率、高动态范围、低功耗优势，从而可以解决传统相机在高速运动、过光照和低光照场景下难以高精度检测的问题，提升了极端场景的检测精度。
45.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
46.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
47.图1是本技术实施例提供的一种仿视网膜的目标检测方法的流程示意图；
48.图2是本技术提供的一种仿视网膜中央凹与外周联合的脉冲阵列信号采集装置；
49.图3是本技术实施例提供的一个标准的棋盘格校正板示意图；
50.图4是本技术提供的一种目标检测过程的网络结构处理流程图；
51.图5是本技术提供的一种高速运动场景下的场景图；
52.图6是本技术提供的一种仿视网膜的目标检测流程示意框图；
53.图7是本技术实施例提供的一种仿视网膜的目标检测装置的结构示意图；
54.图8是本技术实施例提供的一种终端的结构示意图。
具体实施方式
55.以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
56.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
57.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
58.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
59.本技术提供了一种仿视网膜的目标检测方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本技术提供的技术方案中，由于本技术利用仿视网膜中央凹采样电路的高速视觉纹理成像的优势，并结合仿视网膜外周视觉采样电路的高时间分辨率、高动态范围、低功耗优势，从而可以解决传统相机在高速运动、过光照和低光照场景下难以高精度检测的问题，提升了极端场景的检测精度，下面采用示例性的实施例进行详细说明。
60.下面将结合附图1-附图6，对本技术实施例提供的仿视网膜的目标检测方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的仿视网膜的目标检测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
61.请参见图1，为本技术实施例提供了一种仿视网膜的目标检测方法的流程示意图。如图1所示，本技术实施例的方法可以包括以下步骤：
62.s101，获取目标脉冲阵列信号；
63.其中，目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号；
64.通常，生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。
65.近年来，仿视网膜传感器是模仿生物视网膜视觉通路的成像机理，目前主要有动态视觉传感器(dynamic vision sensor,dvs)和超高速全时视觉传感器(vidar)。动态视觉传感器是模拟视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是
以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，但无法捕获场景的纹理细节；超高速全时视觉传感器是模拟视网膜中央凹清晰成像的机理，发放的神经脉冲信号是对场景的光强积分超过阈值，以时空稀疏脉冲信号全时记录视觉信息，相比传统图像帧相机具有高时间分辨率、高动态氛围等优势，同时相比动态视觉传感器具有捕获场景纹理细节的能力。
66.动态视觉传感器(dynamic vision sensor，dvs)来进行目标检测，其一定程度上克服了传统图像帧在极端场景的不足，但是dvs相机仅感知运动信息而无法提供精细化纹理，以至于仅利用dvs脉冲流难以满足一些场景(如静止或缓慢运动)下目标的精准检测。采用动态视觉与图像混合的双模视觉传感器(dynamic and active pixel vision sensor,davis)来进行目标检测，其利用dvs脉冲流与图像帧二者的优势互补特性来提升目标检测性能，但是传统图像帧的受限帧率限制了该联合目标检测器在高速运动场景的精度。因此，亟需探索全新的视觉采样手段与目标检测框架来实现极端场景下目标高精度检测。
67.近期，vidar相机模拟视网膜中央凹三层抽象结构，不同于dvs相机模拟视网膜外周的动态感知功能，其采用了神经元积分发放模型，即将单个像素的光强信息以脉冲频率调制(pulse frequency modulation,pfm)或脉冲宽度调制(pulse width modulation,pwm)，依据窗口内脉冲发放频率或脉冲间隔可重构纹理图像。vidar相机的时域采样频率高达20000赫兹，其高速纹理成像能力为高速运动目标检测提供了一种全新的方案。但是，vidar相机比dvs相机的动态感知范围会更低，以至于vidar难以在低光照条件下高质量成像。事实上，vidar相机和dvs相机在时域分辨率、动态范围等感知特性上存在互补关系。一些研究表明：人类视觉系统中视网膜中央凹与外周区域不是彼此分离的，存在动态交互与协同来获得更强视觉感知与目标定位能力。因此，模拟视网膜中央凹与外周协同感知机理可以实现极端场景目标精准检测。
68.在本技术实施例中，例如图2所示，图2是本技术提供的一种仿视网膜中央凹与外周联合的脉冲阵列信号采集装置，首先采用了一款vidar相机和一款davis346相机(包dvs和图像帧两个模态)，并选择了一款thorlabs ccm1-bs013的光学分光镜将光路等分到2款神经形态视觉相机，然后光路搭建，将thorlabs ccm1-bs013的两面棱镜分别接入vidar相机和davis相机，两个相机并分别与采集服务器相邻接，服务器中有芯片，该芯片可处理脉冲阵列信号。
69.在一种可能的实现方式中，在进行目标检测时，首先获取来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号，得到目标脉冲阵列信号。
70.s102，将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号；
71.通常，时空同步包括时域同步和空间同步。
72.在本技术实施例中，首先采用同步触发采集软件将第一脉冲阵列信号与第二脉冲阵列信号进行时域同步，然后采用空间法射变换来构建第一脉冲阵列信号与第二脉冲阵列信号的映射关系，以对第一脉冲阵列信号与第二脉冲阵列信号进行空间同步。
73.例如，时空同步，可在服务器控制端设计了一个时空同步触发采集软件，同时触发vidar相机和davis346相机采集软件，并同时获取两路异步脉冲阵列信号后进行处理。空间
同步，采用一个标准的棋盘格校正板放置在混合相机前，如图3所示，并采用空间法射变换来构建两个相机视角的映射关系，并将vidar相机的视角映射到davis346视角。
74.在一种可能的实现方式中，在将两个相机的两路脉冲阵列信号进行时域同步和空间同步后，可得到待处理脉冲阵列信号。
75.s103，将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。
76.在本技术实施例中，例如图4所示，图4是本技术提供的一种目标检测过程的网络结构处理流程图，预先训练的目标检测器包括时域聚合表征模块与动态交互融合模块，两个相机的脉冲阵列信号通过该网络结构处理后，可输出高速运动场景或低光照场景下的检测结果。
77.具体的，在将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果时，首先时域聚合表征模块根据待处理脉冲阵列信号进行时域建模，得到第一特征图序列和第二特征图序列，然后动态交互融合模块根据第一特征图序列和第二特征图序列进行互补融合，得到待处理脉冲阵列信号对应的目标检测结果。其中，互补融合的融合方式为特征相加方式、特征拼接方式或网络模型信号交互方式。
78.具体的，时域聚合表征模块包括信号划分子模块、特征表征子模块以及信息挖掘子模块；待处理脉冲阵列信号包括第一同步脉冲阵列信号和第二同步脉冲阵列信号。
79.进一步地，在时域聚合表征模块根据待处理脉冲阵列信号进行时域建模，得到第一特征图序列和第二特征图序列时，首先信号划分子模块将第一同步脉冲阵列信号和第二同步脉冲阵列信号进行动态划分，得到划分后的脉冲阵列信号，然后特征表征子模块将划分后的脉冲阵列信号进行特征编码，得到时域上多个编码特征，最后信息挖掘子模块根据时域上多个编码特征进行时域建模，得到第一特征图序列和第二特征图序列。
80.具体的，在将第一同步脉冲阵列信号和第二同步脉冲阵列信号进行动态划分，得到划分后的脉冲阵列信号时，首先分别获取第一同步脉冲阵列信号和第二同步脉冲阵列信号各自在时域上的信号变化信息，得到第一信号变化信息和第二信号变化信息，然后根据第一信号变化信息动态调整信号划分阈值，得到调整后的第一信号划分阈值，再根据第二信号变化信息动态调整信号划分阈值，得到调整后的第二信号划分阈值，其次采用调整后的第一信号划分阈值将第一同步脉冲阵列信号进行动态划分，得到划分后的第一脉冲阵列信号，最后采用调整后的第二信号划分阈值将第二同步脉冲阵列信号进行动态划分，得到划分后的第二脉冲阵列信号。
81.具体的，在将划分后的脉冲阵列信号进行特征编码，得到时域上多个编码特征时，首先在时域上按预设固定频率的时间戳对划分后的第一脉冲阵列信号进行重构，得到重构图像序列，然后将重构图像序列进行映射、转置以及仿射变换，得到时域上多个第一编码特征，最后对划分后的第二脉冲阵列信号进行空间变换，得到时域上多个第二编码特征。
82.具体的，仿视网膜中央凹采样电路为积分型视觉采样模型，积分型视觉采样模型以异步脉冲阵列信号表示视觉纹理信息；仿视网膜外周采样电路为差分型视觉采样模型，差分型视觉采样模型以异步脉冲阵列信号表示场景动态信息；其中，积分型视觉采样模型是采样神经元积分发放模型。
83.例如图5所示，图5是本技术提供的一种高速运动场景下的场景图，首先通过仿视
网膜的两个相机针对高速运行的风扇叶采集两路脉冲信号阵列，然后输入目标检测器中，最后输出检测结果，该检测结果中可看出每个风扇叶上的字母清晰可见。
84.例如图6所示，图6是本技术提供的一种仿视网膜的目标检测流程示意框图，首先将仿视网膜中央凹采样电路和仿视网膜外周采样电路集成为采集装置，并将二者输出的脉冲阵列信号作为目标检测器的输入，然后将两路连续的脉冲阵列信号进行灵活划分，将划分后的脉冲阵列信号进行特征编码，其次将时域上多个编码特征进行时域建模，挖掘脉冲阵列信号的时域相关性，最后将两路脉冲阵列信号进行特征融合，并依据目标检测任务的推理频率需求，灵活设置目标检测结果输出的频率。
85.具体的，脉冲阵列信号进行灵活划分策略，可对场景变化程度、光流信息、运动速度等进行自适应调整。
86.具体的，脉冲阵列信号的特征编码，可以采用手工设计核函数、卷积神经网络或脉冲神经网络将三维空间上离散点阵编码为三维张量，该张量可以兼容现有深度学习模型。
87.具体的，脉冲阵列信号在时域上多个特征向量进行时域建模，可采用循环神经网络、transformer等结构来挖掘脉冲阵列信号的时序相关性。
88.具体的，灵活设置目标检测结果输出的频率，其不同于传统视频的固定帧率输出频率，推理输出的频率依据检测任务的需求来灵活地调整，并对脉冲阵列信号的时域长度或脉冲数据进行调参，如高速运动场景的推理频率可达上千赫兹。
89.具体的，积分型视觉采样模型是采样神经元积分发放模型，其神经形态视觉传感器包括但不限于超高速全时视觉传感器，具有高的时间分辨率和清晰纹理等优势。
90.具体的，差分型视觉采样模型的神经形态视觉传感器包括但不限于dvs、davis、atis、celex等，具有高的时域分辨率、高动态范围和低功耗等优势。
91.具体的，采集装置中时空同步方法不仅限于仿视网膜中央凹采样电路和仿视网膜外周采样电路，其可以推广到涉及仿视网膜中央凹采样电路、仿视网膜外周采样电路与传统图像帧采样电路的二者组合。
92.在本技术实施例中，仿视网膜的目标检测装置首先获取目标脉冲阵列信号，其中目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号，然后将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号，最后将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。由于本技术利用仿视网膜中央凹采样电路的高速视觉纹理成像的优势，并结合仿视网膜外周视觉采样电路的高时间分辨率、高动态范围、低功耗优势，从而可以解决传统相机在高速运动、过光照和低光照场景下难以高精度检测的问题，提升了极端场景的检测精度。
93.下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
94.请参见图7，其示出了本发明一个示例性实施例提供的仿视网膜的目标检测装置的结构示意图。该仿视网膜的目标检测装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括信号获取模块10、时空同步模块20、检测结果输出模块30。
95.信号获取模块10，用于获取目标脉冲阵列信号；其中，
96.目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号；
97.时空同步模块20，用于将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号；
98.检测结果输出模块30，用于将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。
99.需要说明的是，上述实施例提供的仿视网膜的目标检测装置在执行仿视网膜的目标检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的仿视网膜的目标检测装置与仿视网膜的目标检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
100.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
101.在本技术实施例中，仿视网膜的目标检测装置首先获取目标脉冲阵列信号，其中目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号，然后将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号，最后将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。由于本技术利用仿视网膜中央凹采样电路的高速视觉纹理成像的优势，并结合仿视网膜外周视觉采样电路的高时间分辨率、高动态范围、低功耗优势，从而可以解决传统相机在高速运动、过光照和低光照场景下难以高精度检测的问题，提升了极端场景的检测精度。
102.本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的仿视网膜的目标检测方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的仿视网膜的目标检测方法。
103.请参见图8，为本技术实施例提供了一种终端的结构示意图。如图8所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
104.其中，通信总线1002用于实现这些组件之间的连接通信。
105.其中，用户接口1003可以包括显示屏(display)、摄像头(camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
106.其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
107.其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)
和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
108.其中，存储器1005可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及仿视网膜的目标检测应用程序。
109.在图8所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的仿视网膜的目标检测应用程序，并具体执行以下操作：
110.获取目标脉冲阵列信号；其中，
111.目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号；
112.将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号；
113.将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。
114.在一个实施例中，处理器1001在执行将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步时，具体执行以下操作：
115.采用同步触发采集软件将第一脉冲阵列信号与第二脉冲阵列信号进行时域同步；
116.采用空间法射变换来构建第一脉冲阵列信号与第二脉冲阵列信号的映射关系，以对第一脉冲阵列信号与第二脉冲阵列信号进行空间同步。
117.在一个实施例中，处理器1001在执行将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果时，具体执行以下操作：
118.时域聚合表征模块根据待处理脉冲阵列信号进行时域建模，得到第一特征图序列和第二特征图序列；
119.动态交互融合模块根据第一特征图序列和第二特征图序列进行互补融合，得到待处理脉冲阵列信号对应的目标检测结果；其中，
120.互补融合的融合方式为特征相加方式、特征拼接方式或网络模型信号交互方式。
121.在一个实施例中，处理器1001在执行时域聚合表征模块根据待处理脉冲阵列信号进行时域建模，得到第一特征图序列和第二特征图序列时，具体执行以下操作：
122.信号划分子模块将第一同步脉冲阵列信号和第二同步脉冲阵列信号进行动态划分，得到划分后的脉冲阵列信号；
123.特征表征子模块将划分后的脉冲阵列信号进行特征编码，得到时域上多个编码特征；
124.信息挖掘子模块根据时域上多个编码特征进行时域建模，得到第一特征图序列和第二特征图序列。
125.在一个实施例中，处理器1001在执行将第一同步脉冲阵列信号和第二同步脉冲阵列信号进行动态划分，得到划分后的脉冲阵列信号时，具体执行以下操作：
126.分别获取第一同步脉冲阵列信号和第二同步脉冲阵列信号各自在时域上的信号变化信息，得到第一信号变化信息和第二信号变化信息；
127.根据第一信号变化信息动态调整信号划分阈值，得到调整后的第一信号划分阈值；
128.根据第二信号变化信息动态调整信号划分阈值，得到调整后的第二信号划分阈值；
129.采用调整后的第一信号划分阈值将第一同步脉冲阵列信号进行动态划分，得到划分后的第一脉冲阵列信号；
130.采用调整后的第二信号划分阈值将第二同步脉冲阵列信号进行动态划分，得到划分后的第二脉冲阵列信号。
131.在一个实施例中，处理器1001在执行将划分后的脉冲阵列信号进行特征编码，得到时域上多个编码特征时，具体执行以下操作：
132.在时域上按预设固定频率的时间戳对划分后的第一脉冲阵列信号进行重构，得到重构图像序列；
133.将重构图像序列进行映射、转置以及仿射变换，得到时域上多个第一编码特征；
134.对划分后的第二脉冲阵列信号进行空间变换，得到时域上多个第二编码特征。
135.在本技术实施例中，仿视网膜的目标检测装置首先获取目标脉冲阵列信号，其中目标脉冲阵列信号包括来自仿视网膜中央凹采样电路的第一脉冲阵列信号和来自仿视网膜外周采样电路的第二脉冲阵列信号，然后将第一脉冲阵列信号与第二脉冲阵列信号进行时空同步，得到待处理脉冲阵列信号，最后将待处理脉冲阵列信号输入预先训练的目标检测器中，输出待处理脉冲阵列信号对应的目标检测结果。由于本技术利用仿视网膜中央凹采样电路的高速视觉纹理成像的优势，并结合仿视网膜外周视觉采样电路的高时间分辨率、高动态范围、低功耗优势，从而可以解决传统相机在高速运动、过光照和低光照场景下难以高精度检测的问题，提升了极端场景的检测精度。
136.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，仿视网膜的目标检测的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
137.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。