多模态、多技术载具信号检测的制作方法

文档序号:31701501发布日期:2022-10-01 08:29阅读:来源:国知局

技术特征:
1.一种方法,包括:在由载具上的相机捕获的三维对象的第一二维图像内搜索所述三维对象的第一光;在第二二维图像内搜索第二光;确定所述第二光属于所述三维对象;以及确定所述第一光和所述第二光的语义含义。2.根据权利要求1所述的方法,还包括基于所述第一光和所述第二光的所述语义含义来控制所述载具,其中所述控制是加速、制动或转向所述载具。3.根据权利要求1所述的方法,还包括:确定所述第一光在所述三维对象上的第一位置和所述第一光在所述第一二维图像中的第一颜色,其中所述语义含义是基于所述第一位置和所述第一颜色。4.根据权利要求3所述的方法,还包括:基于所述第一位置,将所述第一光投影到所述三维对象的三维表示的第一表示位置上;确定所述第二光在所述三维对象上的第二位置和所述第二光在所述第二二维图像中的第二颜色;以及基于所述第二位置,将所述第二光投影到所述三维对象的所述三维表示的第二表示位置上,其中所述语义含义是基于所述第一表示位置、所述第二表示位置、所述第一颜色和所述第二颜色。5.根据权利要求1所述的方法,还包括:确定所述第一光的第一语义含义;以及确定所述第二光的第二语义含义,其中所述语义含义是基于所述第一语义含义和所述第二语义含义。6.根据权利要求1所述的方法,还包括:接收由所述相机捕获所述第一二维图像的时间的第一时间戳;接收捕获所述第二二维图像的时间的第二时间戳;以及基于所述第一时间戳和所述第二时间戳来确定所述三维对象的光在闪烁,其中所述语义含义是基于所述光在闪烁的所述确定。7.根据权利要求6所述的方法,其中,所述语义含义是基于所述第一二维图像中的所述第一光的第一颜色和所述第二二维图像中的所述第二光的第二颜色。8.一个或多个非暂时性计算机可读介质,编码有指令,所述指令在由一个或多个处理单元执行时执行一种方法,所述方法包括:在由载具上的相机捕获的三维对象的第一二维图像内搜索所述三维对象的第一光;在第二二维图像内搜索第二光;确定所述第二光属于所述三维对象;以及确定所述第一光和所述第二光的语义含义。9.根据权利要求8所述的非暂时性计算机可读介质,所述方法还包括:基于所述第一光和所述第二光的所述语义含义来控制所述载具,其中所述控制是加速、制动或转向所述载具。
10.根据权利要求8所述的非暂时性计算机可读介质,所述方法还包括:确定所述第一光在所述三维对象上的第一位置和所述第一光在所述第一二维图像中的第一颜色,其中所述语义含义是基于所述第一位置和所述第一颜色。11.根据权利要求10所述的非暂时性计算机可读介质,所述方法还包括:基于所述第一位置,将所述第一光投影到所述三维对象的三维表示的第一表示位置上;确定所述第二光在所述三维对象上的第二位置和所述第二光在所述第二二维图像中的第二颜色;以及基于所述第二位置,将所述第二光投影到所述三维对象的所述三维表示的第二表示位置上,其中所述语义含义是基于所述第一表示位置、所述第二表示位置、所述第一颜色和所述第二颜色。12.根据权利要求8所述的非暂时性计算机可读介质,所述方法还包括:确定所述第一光的第一语义含义;以及确定所述第二光的第二语义含义,其中所述语义含义是基于所述第一语义含义和所述第二语义含义。13.根据权利要求8所述的非暂时性计算机可读介质,所述方法还包括:接收由所述相机捕获所述第一二维图像的时间的第一时间戳;接收捕获所述第二二维图像的时间的第二时间戳;以及基于所述第一时间戳和所述第二时间戳来确定所述三维对象的光在闪烁,其中所述语义含义是基于所述光在闪烁的所述确定。14.根据权利要求8所述的非暂时性计算机可读介质,其中,所述语义含义是基于所述第一二维图像中的所述第一光的第一颜色和所述第二二维图像中的所述第二光的第二颜色。15.一种载具,包括:包括指令的存储器;执行指令的处理器;包括相机的主体;以及载具信号检测器,其编码在指令中用于:在由所述相机捕获的三维对象的第一二维图像内搜索所述三维对象的第一光;在第二二维图像内搜索第二光;确定所述第二光属于所述三维对象;以及确定所述第一光和所述第二光的语义含义。16.根据权利要求15所述的载具,其中所述载具信号检测器还用于基于所述第一光和所述第二光的所述语义含义来控制所述载具,其中所述控制是加速、制动或转向所述载具。17.根据权利要求15所述的载具,其中所述载具信号检测器还用于确定所述第一光在所述三维对象上的第一位置和所述第一光在所述第一二维图像中的第一颜色,其中所述语义含义是基于所述第一位置和所述第一颜色。18.根据权利要求17所述的载具,其中所述载具信号检测器还用于:
基于所述第一位置,将所述第一光投影到所述三维对象的三维表示的第一表示位置上;确定所述第二光在所述三维对象上的第二位置和所述第二光在所述第二二维图像中的第二颜色;以及基于所述第二位置,将所述第二光投影到所述三维对象的所述三维表示的第二表示位置上,其中所述语义含义是基于所述第一表示位置、所述第二表示位置、所述第一颜色和所述第二颜色。19.根据权利要求15所述的载具,其中所述载具信号检测器还用于:确定所述第一光的第一语义含义;以及确定所述第二光的第二语义含义,其中所述语义含义是基于所述第一语义含义和所述第二语义含义。20.根据权利要求15所述的载具,其中所述载具信号检测器还用于:接收由所述相机捕获所述第一二维图像的时间的第一时间戳;接收捕获所述第二二维图像的时间的第二时间戳;以及基于所述第一时间戳和所述第二时间戳来确定所述三维对象的光在闪烁,其中所述语义含义是基于所述光在闪烁的所述确定。

技术总结
一种载具包括捕获三维对象的多个二维图像的一个或多个相机。光检测器和/或语义分类器在这些图像内搜索三维对象的光。载具信号检测模块融合来自光检测器和/或语义分类器的信息以产生针对光的语义含义。可以基于语义含义来控制载具。此外,载具可以包括深度传感器和对象投影仪。对象投影仪可以基于深度传感器来确定二维图像内的感兴趣区域。光检测器和/或语义分类器可以使用这些感兴趣区域来高效地执行对光的搜索。执行对光的搜索。执行对光的搜索。


技术研发人员:C
受保护的技术使用者:通用汽车巡航控股有限责任公司
技术研发日:2020.11.23
技术公布日:2022/9/30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1