物体识别方法和飞行时间物体识别电路与流程

本公开总体上涉及用于飞行时间相机数据的物体识别方法和用于识别飞行时间相机数据中的物体的飞行时间物体识别电路。

背景技术：

1、通常，基于深度图像识别物体的方法是已知的。

2、对于这样的物体识别方法，可以用训练数据来训练神经网络(nn)，例如卷积神经网络(cnn)。为了生成算法的稳健性(nn可以为识别物体而生成该算法)，训练数据可能需要是多样的。

3、例如，如果应该识别人，则训练数据应该代表不同的人，可能处于不同的姿势，并且不总是同一个人。

4、训练数据还应该是广泛的，使得预定(大)量的训练数据可以用于训练，使得可以执行有效和稳健的训练。

5、为了基于深度图像识别物体，可以使用来自飞行时间(tof)相机的深度数据。

6、tof相机可以测量发射光(在场景(例如，物体)处反射)的往返延迟，其可以指示深度，即，到场景的距离。

7、可以用不同的方法来确定往返延迟，例如直接飞行时间(dtof)，其中基于时序直方图直接测量往返延迟的时间。众所周知，dtof可以基于spad(单光子雪崩二极管)技术。

8、此外，飞行时间深度图像可以基于间接tof(itof)，其中确定发射的调制光与其反射之间的相移，其中，可以在图像传感器处对光进行解调(通常基于多个capd(电流辅助光子解调器))。

9、尽管存在用于识别物体的技术，但是通常期望提供一种物体识别方法和物体识别电路。

技术实现思路

1、根据第一方面，本公开提供了一种用于飞行时间相机数据的物体识别方法，包括：

2、基于预训练算法识别真实物体，其中，基于飞行时间训练数据来训练预训练算法，其中，基于指示背景的实时飞行时间数据和通过在表示模拟物体的合成覆盖图像数据上应用掩模而生成的模拟飞行时间数据的组合来生成飞行时间训练数据，从而生成掩模的模拟物体，掩模是基于合成覆盖图像数据生成的。

3、根据第二方面，本公开提供了一种飞行时间物体识别电路，用于识别飞行时间相机数据中的物体，所述飞行时间物体识别电路被配置为：

4、基于预训练算法识别真实物体，其中，基于飞行时间训练数据来训练预训练算法，其中，基于指示背景的实时飞行时间数据和通过在表示模拟物体的合成覆盖图像数据上应用掩模而生成的模拟飞行时间数据的组合来生成飞行时间训练数据，从而生成掩模的模拟物体，掩模是基于合成覆盖图像数据生成的。

5、在从属权利要求、下面的描述和附图中阐述了进一步的方面。

技术特征：

1.一种用于飞行时间相机数据的物体识别方法，包括：

2.根据权利要求1所述的物体识别方法，其中，所述掩模基于所述模拟物体的二值化、所述模拟物体的侵蚀和所述模拟物体的模糊中的至少一者。

3.根据权利要求1所述的物体识别方法，其中，所述掩模基于对所述模拟物体应用以下至少一者：随机亮度变化、均匀亮度噪声、以及基于所述背景来平衡所述合成覆盖图像数据。

4.根据权利要求1所述的物体识别方法，其中，所述预训练算法是基于生成对抗网络、卷积神经网络、递归神经网络和与具有长短期记忆的神经网络相组合的卷积神经网络中的至少一者的。

5.根据权利要求1所述的物体识别方法，其中，所述飞行时间训练数据进一步包括边界框信息和像素精确掩模信息中的至少一者。

6.根据权利要求1所述的物体识别方法，其中，所述飞行时间训练数据表示飞行时间图像数据和飞行时间置信度数据中的至少一者。

7.根据权利要求1所述的物体识别方法，其中，所述飞行时间训练数据进一步基于随机数据增强和超参数调整中的至少一者。

8.根据权利要求1所述的物体识别方法，其中，基于早期停止来进一步训练所述预训练算法。

9.根据权利要求1所述的物体识别方法，其中，所述真实物体包括手。

10.根据权利要求9所述的物体识别方法，所述方法进一步包括：识别所述手的手势。

11.一种飞行时间物体识别电路，用于识别飞行时间相机数据中的物体，所述飞行时间物体识别电路被配置为：

12.根据权利要求11所述的飞行时间物体识别电路，其中，所述掩模基于所述模拟物体的二值化、所述模拟物体的侵蚀和所述模拟物体的模糊中的至少一者。

13.根据权利要求11所述的飞行时间物体识别电路，其中，所述掩模基于对所述模拟物体应用以下至少一者：随机亮度变化、均匀亮度噪声、以及基于所述背景来平衡所述合成覆盖图像数据。

14.根据权利要求11所述的飞行时间物体识别电路，其中，所述预训练算法基于生成对抗网络、卷积神经网络、递归神经网络和与具有长短期记忆的神经网络相组合的卷积神经网络中的至少一者。

15.根据权利要求11所述的飞行时间物体识别电路，其中，所述飞行时间训练数据进一步包括边界框信息和像素精确掩模信息中的至少一者。

16.根据权利要求11所述的飞行时间物体识别电路，其中，所述飞行时间训练数据表示飞行时间图像数据和飞行时间置信度数据中的至少一者。

17.根据权利要求11所述的飞行时间物体识别电路，其中，所述飞行时间训练数据进一步基于随机数据增强和超参数调整中的至少一者。

18.根据权利要求11所述的飞行时间物体识别电路，其中，基于早期停止来进一步训练所述预训练算法。

19.根据权利要求11所述的飞行时间物体识别电路，其中，所述真实物体包括手。

20.根据权利要求19所述的飞行时间物体识别电路，进一步被配置为：

技术总结
本公开总体上涉及用于飞行时间相机数据的物体识别方法，包括：基于预训练算法识别真实物体，其中，基于飞行时间训练数据来训练所述预训练算法，其中，基于指示背景的真实飞行时间数据和通过在表示模拟物体的合成覆盖图像数据上应用掩模而生成的模拟飞行时间数据的组合来生成所述飞行时间训练数据，从而生成掩模的模拟物体，所述掩模是基于所述合成覆盖图像数据生成的。

技术研发人员：马尔特·阿尔,大卫·达尔·佐特,瓦伦·阿罗拉
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：
技术公布日：2024/1/15