检测车辆中的物体的制作方法
本文总体上涉及机动车辆领域，并且更具体地，涉及检测车辆中的物体的方法、系统和装置。
背景技术：
可以装备车辆以在自动驾驶模式和乘员驾驶模式下均可操作。车辆可以装备有计算设备、网络、传感器和控制器，以获取关于车辆环境的信息并且基于该信息驾驶车辆。安全和舒适的车辆驾驶可以取决于获得关于车辆环境的准确和及时的信息。可以装备计算设备、网络、传感器和控制器以分析它们的性能，检测何时没有以准确和及时的方式获取信息以及采取包括通知车辆的乘员、放弃自主控制或停车的纠正措施。
技术实现要素：
根据本发明，提供一种方法，包含：
获取车辆内部的第一图像；以及
通过确定第一图像缺少包括在存储的第二图像中的图案来检测物体。
根据本发明的一个实施例，该方法还包含：从第一图像中减去第二图像以产生差异图像。
根据本发明的一个实施例，该方法还包含：通过基于差异图像确定尺寸和位置来检测物体。
根据本发明的一个实施例，其中检测物体包括将尺寸与预定的最小尺寸进行比较。
根据本发明的一个实施例，该方法还包含：当位置包括车辆座椅时，确定物体重量。
根据本发明的一个实施例，该方法还包含：将物体重量与预定的乘员最小重量进行比较，以确定物体是否是乘员。
根据本发明的一个实施例，该方法还包含：通过获取红外光波长和阻挡可见光波长来获取第一图像。
根据本发明的一个实施例，其中图案包括棋盘格或网格图案。
根据本发明的一个实施例，其中图案应用于车辆座椅、车辆地板、车辆扶手、车辆杯架和车辆行李架。
根据本发明的一个实施例，其中从红外视频数据获取第一图像和第二图像。
根据本发明，提供一种计算机设备，被编程为：
获得车辆内部的第一图像；以及
通过将车辆内部的第一图像与先前获取的第二图像进行比较来检测物体。
根据本发明的一个实施例，该设备还被编程为：从第一图像中减去第二图像以产生差异图像。
根据本发明的一个实施例，该设备还被编程为：通过基于差异图像确定尺寸和位置来检测物体。
根据本发明的一个实施例，其中检测物体包括将尺寸与预定的最小尺寸进行比较。
根据本发明的一个实施例，该装置还被编程为：当位置包括车辆座椅时，确定物体重量。
根据本发明的一个实施例，该装置还被编程为：将物体重量与预定的乘员最小重量进行比较，以确定物体是否是乘员。
根据本发明的一个实施例，该装置还被编程为：通过获取红外光波长和阻挡可见光波长来获取第一图像。
根据本发明的一个实施例，其中图案包括棋盘格或网格图案。
根据本发明的一个实施例，其中图案应用于车辆座椅、车辆地板、车辆扶手、车辆杯架和车辆行李架。
根据本发明的一个实施例，其中从红外视频数据获取第一图像和第二图像。
附图说明
图1是示例性车辆的框图；
图2是具有座椅的示例性车辆内部的图；
图3是示例性车辆座椅的视频图像的图；
图4是带有物体的示例性座椅的视频图像的图；
图5是带有物体的经处理的视频图像的图；
图6是用于检测车辆内部中的物体的示例过程的流程图。
具体实施方式
本文公开了一种方法，包含：获取车辆内部的第一图像，以及通过确定第一图像缺少包括在存储的第二图像中的图案来检测物体。可以从第一图像中减去第二图像以产生差异图像并且通过基于差异图像确定尺寸和位置来检测物体，其中检测物体包括将尺寸与预定的最小尺寸进行比较，以及当该位置包括车辆座椅时，可以确定物体重量并且可以将物体重量与预定的乘员最小重量进行比较以确定物体是否是乘员。
可以通过获取红外光波长并且阻挡可见光波长来获取第一图像。该图案可包括棋盘格或网格图案，其中该图案应用于车辆座椅、车辆地板、车辆扶手、车辆杯架和车辆行李架。可以从红外视频数据获取第一图像和第二图像。可以获取多个第一视频图像，并且可以通过确定第一图像缺少包括在多个存储的第二视频图像中的图案来检测物体，其中多个存储的第二视频图像每个对应于多个第一视频图像中的一个。可以从对应的第一图像中减去多个第二视频图像以产生多个差异图像，并且可以通过基于多个差异图像确定尺寸和位置来检测物体。
进一步公开了一种计算机可读介质，存储用于执行上述方法步骤中的一些或全部的程序指令。进一步公开了一种被编程用于执行上述方法步骤中的一些或全部的计算机，该计算机包括被编程为确定第一图像缺少包括在存储的第二图像中的图案的计算机装置。计算机可以进一步被编程为从第一图像中减去第二图像以产生差异图像并且通过基于差异图像确定尺寸和位置来检测物体，其中检测物体包括将尺寸与预定的最小尺寸进行比较，并且当位置包括车辆座椅时，可以确定物体重量并且可以将物体重量与预定的乘员最小重量进行比较以确定物体是否是乘员。
计算机还可以被编程为通过获取红外光波长和阻挡可见光波长来获取第一图像。该图案可以包括棋盘格或网格图案，其中该图案应用于车辆座椅、车辆地板、车辆扶手、车辆杯架和车辆行李架。计算机可以进一步编程为从红外视频数据中获取第一图像和第二图像。可以获取多个第一视频图像，并且可以通过确定第一图像缺少包括在多个存储的第二视频图像中的图案来检测物体，其中多个存储的第二视频图像每个对应于多个第一视频图像中的一个。计算机可以进一步被编程为从对应的第一图像中减去多个第二视频图像以产生多个差异图像，并且可以通过基于多个差异图像确定尺寸和位置来检测物体。
图1是车辆信息系统100的图，该车辆信息系统100根据所公开的实施方式包括可在自主(在本公开中“自主”意味着“完全自主”)模式和乘员驾驶(也称为非自主)模式操作的车辆110。车辆110还包括用于执行用于在自主操作期间驾驶车辆110的计算的一个或多个计算设备115。计算设备115可以从传感器116接收关于车辆操作的信息。
计算设备115包括处理器和诸如已知的存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行的用于执行包括如本文所公开的各种操作的指令。例如，计算设备115可以包括用于进行以下操作的编程：操作车辆制动器、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一个或多个来控制车辆110中的加速度)、转向、气候控制、内部和/或外部灯等中的一个或多个，以及确定计算设备115而不是人类操作员是否以及何时要控制这种操作。
计算设备115可以包括或者例如经由如下面进一步描述的车辆通信总线通信地耦接到多于一个计算设备，例如包括在车辆110中等用于监测和/或控制各种车辆部件(例如动力传动系统控制器112、制动控制器113、转向控制器114等)的控制器。计算装置115通常被设置用于在例如车辆110中的总线(例如控制器局域网(controllerareanetwork，can)等)的车辆通信网络上进行通信；车辆110网络可以包括诸如已知的有线或无线通信机制(例如以太网或其他通信协议)。
通过车辆网络，计算设备115可以向车辆中的各种设备发送消息和/或从各种设备(例如，控制器、致动器、包括传感器116的传感器等)接收消息。可选地或另外地，在计算设备115实际包含多个设备的情况下，车辆通信网络可以用于在本公开中表示为计算设备115的设备之间的通信。此外，如下所述，各种控制器或传感元件可以经由车辆通信网络向计算设备115提供数据。
另外，计算设备115可以被配置用于经由网络130通过车辆到基础设施(vehicletoinfrastructure，v到i)接口111与远程服务器计算机120(例如，云服务器)通信，如下所述可以使用各种有线和/或无线网络技术(例如，蜂窝、蓝牙
如已经提到的，通常包括在存储在存储器中并且由计算设备115的处理器执行的指令中的是用于操作一个或多个车辆110部件或子系统的程序，例如制动、转向、推进等，而无需人类操作员的干预。使用在计算设备115中接收的数据(例如来自传感器116、服务器计算机120等的传感器数据)，计算设备115可以在没有驾驶员操作车辆110的情况下进行各种确定和/或控制各种车辆110的部件和/或操作。例如，计算设备115可以包括用于进行以下操作的编程：调节车辆110的操作行为(例如速度、加速度、减速度、转向等)以及策略行为(诸如车辆之间的距离和/或车辆之间的时间量、车道变换、车辆之间的最小间隙、最小路径左转、到达特定位置和交叉路口(无信号)的时间、通过交叉路口的最短到达时间)。
如在此使用的那样，控制器包括通常被编程为控制特定车辆子系统的计算设备。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是已知的电子控制单元(ecu)，可能包括如本文所述的附加编程。控制器可以通信地连接到计算设备115并且从计算设备115接收指令以根据指令致动子系统。例如，制动控制器113可以从计算设备115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ecu)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可以被编程并且连接到车辆110通信总线，例如控制器局域网(controllerareanetwork，can)总线或本地互连网络(localinterconnectnetwork，lin)总线，以从计算机115接收指令并且基于指令来控制致动器。
传感器116可以包括已知通过车辆通信总线提供数据的各种设备。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(gps)传感器可以提供车辆110的地理坐标。由雷达和/或其他传感器116提供的距离和/或由gps传感器提供的地理坐标可以由计算设备115使用以自主地或半自主地操作车辆110。
车辆110通常是具有三个或更多个车轮的陆基自主车辆110，例如客车、轻型卡车等。车辆110包括一个或多个传感器116、v到i接口111、计算设备115和一个或多个控制器112、113、114。
传感器116可以被编程为收集与车辆110和车辆110正在其中运行的环境有关的数据。作为示例而非限制，传感器116可以包括例如高度计、摄像机、激光雷达(lidar)、雷达、超声波传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、诸如开关的机械传感器等。传感器116可以用于感测车辆110运行的车辆周围的环境，车辆周围的“环境”指的是车身外部的环境条件，例如天气条件(例如，风速、降水存在或不存在和/或降水类型、环境温度、环境光强度等)、道路坡度、道路位置或相邻车辆110的位置。传感器116还可以用于收集包括与车辆110的操作(例如速度、横摆率、转向角、发动机速度、制动压力、油压、应用于车辆110中的控制器112、113、114的功率水平、部件之间的连接以及车辆110的电气和逻辑健康)有关的动态车辆110数据的数据。
图2是车辆110的俯视图，其中车顶被移除以示出车辆内部202的部分。在占用车辆以进行运输时，乘员可以进入、占用和离开车辆110。乘员不时地将诸如手机、袋子、饮料杯等的个人物品不期望地留在车辆110中。物体可以在车辆内部202的表面上使用和放下并且被遗忘，或者物体可能例如从袋子或口袋中无意地丢失而在离开车辆110时没有注意到。例如，从用于租用的无人看管的车辆中收回被遗忘的物体可能需要人类来发现和取回物体。为了解决缺乏提供有关丢失物体的信息的当前技术的问题，可以允许人类访问车辆内部202的视频图像；车辆内部202可以配置有一个或多个视频摄像机204以查看车辆内部的表面，例如地板206和座椅208、210、212、214以及例如车辆内部202中的能够支撑诸如壁架、扶手、杯架、行李架和仪表板的物体的其他表面。通过为车辆内部202配置视频摄像机204以查看能够支撑物体的车辆内部202的部分，并且可操作地将视频摄像机204与计算设备115连接，可以获取车辆内部202的视频图像并且将其存储在计算设备115处。
一旦获取车辆内部202的视频图像并且将其存储在计算装置115中，它们就可通过v到i接口111传输到服务器，以供人类检查以确定是否遗忘了物体在车辆110中。人类可以是拥有查看来自车辆内部202的视频图像的权限的所有者或其他授权人员。隐私问题可以使视频摄像机204和计算设备115被配置为防止未授权从车辆内部202获取视频图像。当乘员忘记车辆110中的物体并且乘员不是车辆110的所有者时，例如乘员可以通过诸如蜂窝网络的广域网联系可操作地连接到车辆110的服务器，申请并且接收权限以从车辆观看视频图像，并且使用从车辆110获取的视频图像来确定车辆内部202是否存在物体。
除了获取和存储车辆内部202的视频图像之外，计算设备115还可以被编程为使用机器视觉技术来处理车辆内部202的视频图像以通过比较在没有物体存在的情况下的视频图像和带有物体存在的情况下的视频图像来确定一个或多个物体是否存在于车辆内部202中。为了帮助计算设备115处理视频图像以检测车辆内部202中的物体的存在，可以为地板206和座椅208、210、212、214提供应用于地板206和座椅208、210、212、214的表面和车辆内部202其它表面的图案216。应用于车辆内部202中的表面的图案216可以是在视觉上不同于物体外观的任何类型的图案。图案216可以应用于车辆内部202中的表面，以允许计算设备115或人类观察者更容易地检测车辆内部202中的物体的存在。例如，在具有黑色装饰的座椅208、210、212、214上具有黑色外壳的手机可能难以在视频图像中被检测到。
将图案216应用于包括地板206和座椅208、210、212、214的车辆内部202中的表面可以允许计算装置115和人类观察者检测车辆内部202中的物体，否则由于物体的外观和它们所在的车辆内部202表面之间的相似性而无法检测到这些物体。应用于表面的图案216可以是可以与物体区分开的任何图案(例如包括如所示的网格图案216的几何图案，或如棋盘格或条纹的几何图案，或包括可与物体区分的细节的随机图案)。图案216可以是包括棋盘格、网格、点、线、几何图像等的任何预定图案，或可以是可以应用于地板206、座椅208、210、212、214或可以当车辆内部202没有乘员时辨别所获取的视频图像中阻挡或破坏图案216的物体的装饰材料的任何图案216。图案216可以通过例如编织或染色或包括在覆盖这些表面的覆盖物中包括在覆盖地板206和座椅208、210、212、214的织物或地毯中。
通过使图案216仅在红外(infrared，ir)波长的光下可见，图案216可以包括在车辆内部202的表面中而不会对乘员可见。通过使用ir染料形成图案216或者通过使用与可见光不同地反射或吸收ir光的材料以形成图案216，可以使图案216仅在ir波长下可见。通过使图案216在ir波长下与在可见光波长下不同地反射或吸收，图案216在以人类可见的波长采集的视频图像中基本上是不可见的。视频摄像机204可以被配置为获取ir波长的ir视频图像，其清楚地示出例如人类或者可见光视频摄像机204不可见的图案216。
图3是利用视频摄像机204获取的参考视频图像300的示图，其示出了包括覆盖有图案216的地板204的一部分和座椅210、214的车辆内部202的一部分。参考视频图像300可以是可见光参考视频图像300，其中图案216对人类和可见光视频摄像机204可见，或者可以是ir光视频图像300，其中图案216仅通过用ir视频摄像机204获取参考视频图像300而变得可见。在任一情况下，可以由计算设备115获取并且存储参考视频图像300。
图4是利用视频摄像机204获取的测试视频图像400的图示，其示出了包括覆盖有图案216的地板204以及座椅210、214并且包括第一物体402和第二物体404的车辆内部202。可以看出在测试视频图像400中，第一物体402和第二物体404可以阻挡图案216并且在测试视频图像400中看起来没有图案化。这可以是这样的情况：无论测试视频图像400是如上所述的关于图2和图3的以可见光还是ir波长获取的。
图5是结果视频图像500的图示，该结果视频图像500是从获取和存储的测试视频图像400中减去所获取和存储的参考视频图像300的结果。因为地板204和座椅210、214的大多数图像细节以及图案216从参考视频图像300到测试视频图像400没有改变，这些细节在两个图像中将相等并且将被减去至近零值。保留非零内容的结果视频图像500的仅有部分是与第一和第二物体502、504相关联的结果视频图像500的部分，其中非零内容被定义为包含大于预定最小值的值的图像像素。要求大于预定最小值的值可以滤除与由于采集过程引起的像素值的微小变化引起的电子“噪声”相关联的非零内容。注意，由于减法处理，从测试视频图像400减去参考视频图像300可以形成类似于第一物体502和第二物体504的图像上的图案216的图像细节。例如，可以在减法之前对参考视频图像300和测试视频图像400进行归一化以解决照明的差异，从而使减法处理更准确。
以这种方式，车辆内部202的参考视频图像300和测试视频图像400可以用于检测结果视频图像500中存在于车辆内部202中的第一物体502和第二物体504的存在。在结果视频图像500中，第一物体502以实线示出，以及第二物体504以虚线示出。这是因为计算设备115可以测量检测到的第一物体502和第二物体504的面积或尺寸，并且根据测量的尺寸不同地处理第一物体502和第二物体504。例如，可以确定第二物体504小于预定下限。可以检测到小于预定限制的第二物体504但是不报告。例如，可以确定第二物体504小于钢笔或铅笔，并且因此确定第二物体504小于预定限制。例如，这可以防止可能代表真实物体的小物体的“麻烦”检测，以及因此可能对乘员来说是不感兴趣的。
图6是关于图1-5描述的用于检测车辆内部202中的物体502、504的存在的过程600的流程图的图示。过程600可以由计算设备115的处理器实现，例如从传感器116获取输入信息并且执行指令和通过控制器112、113、114发送控制信号。过程600包括以所公开的顺序实施的多个步骤。过程600还包括包含更少步骤的实现或者可以包括以不同顺序实施的步骤。
过程600开始于步骤602，其中车辆110中的计算设备115获取并且存储如图3所示的参考图像视频图像300。计算设备115可以在任何时间获取并且存储参考视频图像300，确定车辆内部202没有第一物体402和第二物体404，例如以提供仅包括车辆内部202(包括地板204、座椅208、210、212、214和图案216)的参考视频图像300。稍后，在步骤604，如上面关于图4所讨论的计算设备获取并且存储测试视频图像400。可以提示计算设备115获取和存储测试视频图像400的事件包括确定例如乘员已退出车辆110或经由v到i接口111从服务器接收请求以获取和存储测试视频。
在步骤606，计算设备115从获取和存储的测试视频图像400中减去所获取和存储的参考视频图像300，以形成如上面关于图5所讨论的结果视频图像500。在步骤608，计算设备可以确定结果视频图像500是否包括非零内容。如上面关于图5所讨论的，非零内容的检测可以指示车辆内部202中的物体502、504的存在。如果在步骤608没有检测到结果视频图像500的非零部分，则在结果视频图像500中没有检测到物体并且过程600结束。如果检测到结果视频图像500的非零部分，则在步骤610，可以测量例如第一物体502和第二物体504的尺寸。
在步骤610，例如通过确定可以测量的x和y坐标中的最小边界框来测量第一物体502和第二物体504的尺寸。还可以通过计算视频像素的数量并且从而确定例如包括在第一物体502和第二物体504中的面积来测量第一物体502和第二物体504的尺寸。可以使用任一或两者测量来确定第一物体502和第二物体504的尺寸。在步骤612，计算设备可以检查第一物体502和第二物体504的测量尺寸并且将它们与预定的下限进行比较。如果第一物体和第二物体的测量尺寸小于预定限制，则计算设备115不报告任何物体并且过程600结束。
如果在步骤612，计算设备115确定第一物体502和第二物体504的至少一个测量尺寸超过预定限制，则在步骤614，计算设备115报告超过限制的第一物体502和第二物体504。计算设备115的报告可以包括例如经由v到i接口111将包括测试和结果视频图像400、500的信息发送到服务器。服务器可以包括关于最后一个离开车辆110的乘员的信息以及使用该信息来联系乘员并且提醒他们已检测到的物体。在该步骤之后，过程600结束。
诸如本文所讨论的那些计算设备通常每个都包括可由诸如上面标识的那些计算设备之类的一个或多个计算设备执行的指令，并且用于执行上述过程的框或步骤。例如，上面讨论的过程框可以体现为计算机可执行指令。
计算装置大体上包括计算机可执行指令，其中，该指令可由一个或多个计算装置——例如，那些上面所列举的——执行。计算机执行指令可由利用各种程序语言和/或技术创建的计算机程序编译或解释，包括，但不限于，javatm、c、c++、visualbasic、javascript、perl、html等单独或者组合。通常，处理器(例如，微处理器)——例如，从存储器、计算机可读介质等——接收指令，并且执行这些指令，从而执行一个或多个程序，包括这里所描述的一个或多个程序。这种指令和其它的数据利用各种计算机可读介质可被存储和传输。计算设备中的文件通常是存储在计算机可读介质(例如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括任何介质，其参与提供计算机可读的数据(例如，指令)。这种介质可采取多种形式，包括，但不限于，非易失性介质和易失性介质。非易失性介质可包括，例如，光盘或磁盘以及其它的永久存储器。易失性介质包括动态随机存取存储器(dram)，其典型地构成主存储器。计算机可读介质的一般形式包括，例如，软盘、软磁盘、硬盘、磁带、任何其它的磁介质，只读光盘驱动器(cd-rom)、数字化视频光盘(dvd)、任何其它的光学介质，穿孔卡片、纸带、任何其它的具有孔式样的物理介质，ram(随机存取存储器)、prom(可编程只读存储器)、eprom(可擦除可编程只读存储器)、flash-eeprom(闪速电可擦除可编程只读存储器)、任何其它的存储器芯片或内存盒，或任何其它的计算机可读的介质。
在权利要求中所使用的全部术语，旨在被给予如本领域技术人员所理解的它们的普遍的含义，除非在此做出与此相反的明确指示。特别地，单独的冠词的使用，例如，“一个”、“这”、“所述”等应该被理解为描述一个或多个指示的元件，除非权利要求描述了与此相反的明确限制。
这里使用的术语“示例性”是指表示示例的意义，例如，对“示例性窗口小部件”的引用应当被读取为简单地参考窗口小部件的示例。
副词“近似地”修改值或结果意味着由于材料的缺陷、加工、制造、传感器测量、计算、处理时间、通信时间等，形状、结构、测量、值、确定、计算等可能偏离精确描述的几何形状、距离、测量、值、确定、计算等。
在附图中，相同的附图标记表示相同的元件。此外，可以改变这些元件中的一些或全部。关于本文所述的媒介、过程、系统、方法等，应该理解的是尽管已经描述了这些过程的步骤等根据某个有序序列发生，但是这些过程可以用所描述的步骤以不同于此处描述的顺序的顺序执行。还应该理解的是可以同时执行某些步骤，可以添加其他步骤，或者可以省略这里描述的某些步骤。换句话说，提供本文的过程的描述是为了说明某些实施方案，并且决不应解释为限制要求保护的发明。
- 还没有人留言评论。精彩留言会获得点赞！