本发明涉及一种用于自主车辆的传感器系统和方法。
背景技术：
自主车辆是许多研究和开发的主题。这种车辆包括能够识别和避开障碍物并且导航到目的地的一组传感器和控制逻辑。自主车辆的一个应用是用作可以按需接载乘客的出租车。
本文公开的系统和方法提供了一种用于提供自主出租车服务的方法。
技术实现要素：
根据本发明，提供一种用于车辆的系统，包括：
红外(ir)摄像机，该红外(ir)摄像机感测车辆的内部；
控制器，该控制器连接到ir摄像机并且编程为--
接收ir摄像机的第一输出；
在第一输出之后接收ir摄像机的第二输出；以及
如果在第一输出和第二输出之间的变化指示异常，则调用补救措施。
根据本发明的一个实施例，还包括：
可见光摄像机，该可见光摄像机可操作地连接到控制器并且在可见光摄像机的视野中具有车辆的内部；
其中控制器还被编程为：
接收可见光摄像机的第三输出；
如果在第一输出和第二输出之间的变化指示异常，则(a)识别第三输出中对应于异常的关注区域(roi)，以及(b)将roi传送到调度器。
根据本发明的一个实施例，其中控制器还被编程为：
接收来自调度器的输入；
如果输入是继续行进到清洁站的指令，则将车辆自主地驱动到清洁站。
根据本发明的一个实施例，控制器还被编程为：
如果输入是继续行进到下一个接载位置的指令，则将车辆自主地驱动到下一个接载位置。
根据本发明的一个实施例，控制器还被编程为：
在第三输出之前接收来自可见光摄像机的第四输出；
评估(a)第一输出和第二输出之间的差异与(b)第四输出和第三输出之间的差异的组合；以及
如果组合指示异常，则调用补救措施。
根据本发明的一个实施例，控制器还被编程为在接载乘客之前利用ir摄像机捕获第一输出并且在放下乘客之后利用ir摄像机捕获第二输出。
根据本发明的一个实施例，控制器还被编程为：
从第二输出中减去第一输出以获得差分图像；以及
评估差分图像以确定第一输出和第二输出是否指示异常。
根据本发明的一个实施例，控制器还被编程为：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，控制器还被编程为：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，控制器还被编程为：
识别差分图像中超过阈值的像素以获得阈值之上的像素；
识别连续的阈值之上的像素的集群；以及
如果集群中的任何一个大于阈值尺寸，则将大于阈值尺寸的集群识别为异常。
根据本发明，提供一种方法包括，通过车辆的控制器进行以下步骤：
接收在ir摄像机的视野中具有车辆的内部的ir摄像机的第一输出；
在第一输出之后接收ir摄像机的第二输出；
确定在第一输出和第二输出之间的变化指示异常；以及
响应于确定第一输出和第二输出之间的变化指示异常，而调用补救措施。
根据本发明的一个实施例，还包括：
接收来自可见光摄像机的第三输出，可见光摄像机的视野包括车辆的内部；
响应于确定第一输出和第二输出之间的变化指示异常，而(a)识别在第三输出中对应于异常的关注区域(roi)，以及(b)将roi传送到调度器。
根据本发明的一个实施例，还包括：
接收来自调度器的包括继续行进到清洁站的指令的输入；以及
响应于输入，而将车辆自主地驱动到清洁站。
根据本发明的一个实施例，还包括：
接收来自调度器的包括继续行进到下一个接载位置的指令的输入；以及
响应于输入，而将车辆自主地驱动到下一个接载位置。
根据本发明的一个实施例，还包括：
在第三输出之前接收来自可见光摄像机的第四输出；
评估第一输出和第二输出之间的差异与第四输出和第三输出之间的差异的组合；以及
确定组合指示异常。
根据本发明的一个实施例，还包括在接载乘客之前利用ir摄像机捕获第一输出并且在放下乘客之后利用ir摄像机捕获第二输出。
根据本发明的一个实施例，还包括：
从第二输出中减去第一输出以获得差分图像；以及
评估差分图像以确定第一输出和第二输出是否指示异常。
根据本发明的一个实施例，还包括：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，还包括：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，还包括：
识别差分图像中超过阈值的像素以获得阈值之上的像素；
识别连续的阈值之上的像素的集群；以及
将大于阈值尺寸的集群识别为异常。
附图说明
为了本发明的优点将被容易的理解，将通过参考附图中所示的具体实施例来提出对上面简要描述的本发明更加详细的描述。理解这些附图仅描述了本发明的典型实施例并且因此不应被考虑为限制其范围，将通过使用附图利用附加的特征和细节来描述和解释本发明，在附图中：
图1a是用于实施本发明的实施例的系统的示意性框图；
图1b是包括用于实施本发明的实施例的内部传感器的车辆的示意性框图；
图2是适合于实施根据本发明的实施例的方法的示例性计算装置的示意性框图；
图3是用于根据本发明的实施例评估自主出租车的状态的方法的过程流程图；以及
图4a至图4d是示出了根据本发明的实施例识别车辆内部中的异常的图像。
具体实施方式
参考图1a和图1b，车辆100(参见图1b)可以容纳控制器102。车辆100可以包括本领域中已知的任何车辆。车辆100可以具有本领域已知的任何车辆的所有结构和特征，该结构和特征包括车轮、连接到车轮的传动系统、连接到传动系统的发动机、转向系统、制动系统以及本领域中已知的被包括在车辆中的其它系统。
如本文更详细讨论的，控制器102可以执行自主导航和碰撞避免。控制器102可以接收来自一个或多个外部传感器104的一个或多个输出。例如，一个或多个摄像机106a可以被安装到车辆100，并且将接收到的图像流输出到控制器102。控制器102可以接收来自一个或多个麦克风106b的一个或多个音频流。例如，一个或多个麦克风106b或麦克风阵列106b可以被安装到车辆100并且将音频流输出到控制器102。麦克风106b可以包括具有随角度变化的灵敏度的定向麦克风。
外部传感器104可以包括诸如radar(无线电检测和测距)106c、lidar(光检测和测距)106d、sonar(声音导航和测距)106e等的传感器。
控制器102可以执行接收外部传感器104的输出的自主操作模块108。自主操作模块108可以包括障碍物识别模块110a、碰撞预测模块110b以及判定模块110c。障碍物识别模块110a分析外部传感器的输出并且识别潜在的障碍物，该障碍物包括人、动物、车辆、建筑物、路沿以及其它物体和结构。特别地，障碍物识别模块110a可以识别传感器输出中的车辆图像。
碰撞预测模块110b基于车辆100当前的轨迹或当前的预期路径预测哪些障碍物图像可能与车辆100发生碰撞。碰撞预测模块110b可以评估与由障碍物识别模块110a识别的物体碰撞的可能性。判定模块110c可以做出停止、加速、转弯等的决定以便避开障碍物。碰撞预测模块110b预测潜在碰撞的方式和判定模块110c采取行动以避开潜在碰撞的方式都可以根据自主车辆领域中已知的任何方法或系统。
判定模块110c可以通过致动控制车辆100的方向和速度的一个或多个致动器112来控制车辆的轨迹。例如，致动器112可以包括转向致动器114a、加速器致动器114b以及制动致动器114c。致动器114a-114c的配置可以根据自主车辆领域中已知的这种致动器的任何实施方式。
本文公开的实施例中，自主操作模块108可以执行到指定位置的自主导航、自主停车以及本领域已知的其它自动驾驶活动。
自主操作模块108还可以包括根据本文所公开的方法评估车辆100的内部的状态的内部模块110d。内部模块110d可以评估一个或多个内部传感器116的输出。内部传感器116可以包括一个或多个摄像机118a，即可见光摄像机(诸如静态图像或视频摄像机)。内部传感器116也可以包括一个或多个红外(ir)摄像机118b。内部传感器116可以包括本领域已知的任何传感器，诸如电化学传感器、湿度传感器或电子温度计。例如，内部模块110d可以实施2016年11月4日提交的标题为“一种用于评估自主车辆的内部的系统和方法(asystemandmethodsforassessingtheinteriorofaautonomousvehicle)”的美国申请序列号15/343,726中公开的技术，其全部内容在此并入本文。
如图1b所示，一个或多个摄像机118a可以在车辆中定位和定向，以在摄像机118a中的至少一个的视野中具有所有座椅表面(座椅底部和座椅靠背)。车辆内部的其它区域也可以位于摄像机118a中的至少一个的视野中。
一个或多个ir摄像机118b可以在车辆中定位和定向，以在ir摄像机118b中的至少一个的视野中具有所有座椅表面(座椅底部和座椅靠背)。车辆内部的其它区域也可以位于ir摄像机118b中的至少一个的视野中。
控制器102可以诸如通过网络122与服务器120进行数据通信，网络122可以包括任何有线或无线网络连接，含蜂窝数据网络连接。本文公开的方法可以由服务器120、控制器102或两者的组合来实施。
图2是示出示例性计算装置200的框图。计算装置200可以用于执行诸如本文所讨论的各种程序。控制器102和服务器系统120可以具有计算装置200的一些或全部属性。
计算装置200包括一个或多个处理器202、一个或多个存储装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(i/o)装置210以及显示装置230，所有这些装置都连接到总线212。处理器202包括执行存储在存储装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202也可以包括诸如高速缓冲存储器的各种类型的计算机可读介质。
存储装置204包括诸如易失性存储器(例如，随机存取存储器(ram)214)和/或非易失性存储器(例如，只读存储器(rom)216)的各种计算机可读介质。存储装置204也可以包括诸如闪存的可重写rom。
大容量存储装置208包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存)等等。如图2所示，特定大容量存储装置是硬盘驱动器224。各种驱动器也可以被包括在大容量存储装置208中以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置208包括可移动介质226和/或不可移动介质。
i/o装置210包括允许将数据和/或其它信息输入到计算装置200或从计算装置200取回的各种装置。示例性i/o装置210包括光标控制装置、键盘、小键盘、麦克风、监视器或其它显示装置、扬声器、打印机、网络接口卡、调制解调器、镜头、ccd(电荷耦合器件(chargecoupleddevice))或其它图像捕获装置等。
显示装置230包括能够向计算装置200中的一个或多个用户显示信息的任何类型的装置。显示装置230的示例包括监视器、显示终端、视频投影装置等。
接口206包括允许计算装置200与其它系统、装置或计算环境交互的各种接口。示例性接口206包括任意数量的不同网络接口220，诸如与局域网(lan)、广域网(wan)、无线网络以及因特网的接口。其它接口包括用户界面218和外围装置接口222。接口206也可以包括一个或多个外围接口，诸如用于打印机、指向装置(鼠标、跟踪板等)、键盘等的接口。
总线212允许处理器202、存储装置204、接口206、大容量存储装置208、i/o装置210以及显示装置230彼此通信，以及与耦合到总线212的其它装置或部件通信。总线212表示几种类型的总线结构(诸如系统总线、外围部件互连(peripheralcomponentinterconnect，pci)总线、ieee1394总线，通用串行总线(universalserialbus，usb)等等)中的一个或多个。
为了说明的目的，程序和其它可执行程序部件在本文中被示出为离散块，但是可以理解的是，这种程序和部件可以在不同时间驻留在计算装置200的不同存储部件中，并且由处理器202执行。可替选地，本文描述的系统和程序可以以硬件、或者硬件、软件和/或固件的组合的形式来实施。例如，一个或多个专用集成电路(asic)可以被编程为执行本文描述的系统和程序中的一个或多个。
参考图3，所示出的方法300可以被用于获得来自内部传感器116的数据，以便评估车辆100的内部的状况。方法300可以由控制器102、服务器系统120执行，或者在这些装置之间进行分配。
方法300可以包括使用一个或多个摄像机118a、一个或多个ir摄像机118b、或者一个或多个摄像机118a和一个或多个ir摄像机118b两者来接收302车辆的内部的一个或多个初始图像。
步骤302可以恰好在旅程中接载一个或多个乘客之前(例如，在接载位置处当一个或多个乘客进入车辆之前)、在从调度区域出发之前、在清洁站处清洁或检查之后、或者在之前的旅程中放下乘客之后而进行。
步骤302的一个或多个图像可以由控制器102存储，并且可以附加地或可替选地传送给服务器系统120，服务器系统120可以将步骤302的一个或多个图像存储在旅程数据记录中。
控制器100然后可以接载304一个或多个乘客、自主地导航到目的地、以及在目的地处放置306一个或多个乘客。
方法300然后可以包括使用一个或多个摄像机118a、一个或多个ir摄像机118b或者一个或多个摄像机118a和一个或多个ir摄像机118b两者来接收308车辆的内部的一个或多个最终图像。步骤308可以在放置306一个或多个乘客之后立即执行。例如，响应于在停靠在目的地之后检测到车辆100的一个或多个车门的关闭。在步骤308接收到的图像可以由控制器102在本地存储，并且可以附加地或可替选地传送到服务器系统120。
方法300然后可以包括执行310背景减除，例如，从相同区域的最终图像中减去区域的初始图像。例如，如图4a的可见光图像中所示，可以相对于车辆的后座执行方法300。在图4b中示出了初始ir图像，并且在图4c中示出具有溢出物(spill)的最终ir图像。由于溢出物可能很热(例如溢出的咖啡)或很冷(例如，冷饮或者由于蒸发而冷却的液体)，溢出物将通常在ir图像中是特别可见的。图4d示出了从图像4c的相应像素值中减去图像4b的像素值的差分图像，即可以从最终图像中的给定位置处的像素中减去初始图像中的该位置处的像素以获得差异，该差异是差分图像中该位置处的像素值。
方法300可以包括应用312一个或多个阈值或应用其它图像处理技术来突出差分图像中的异常。例如，差分图像中具有低于阈值的强度的像素可以被移除。例如，在像素强度处于0和255之间的情况下，差分图像中高于40的强度可被保留并且进一步评估。剩余的像素然后可以被分组为连续像素的集群。然后可以评估每个群集占用的区域。那些由尺寸阈值(sizethreshold)以下的区域包围的群集可以从进一步考虑中移除。那些占据区域大于尺寸阈值的集群可以被进一步处理或者被识别为可能是溢出液体的异常。在一些实施例中，尺寸阈值是相对尺寸阈值，即那些小于图像中集群尺寸的某个百分比或其它函数的集群可被确定为低于尺寸阈值。可以执行本领域已知的其它处理技术，诸如视网膜大脑皮层理论(retinex)处理等。
在一些实施例中，步骤314的异常检测可以包括可见光和ir图像两者的处理。例如，ir差分图像可以被计算为初始ir图像和最终ir图像之间(即，乘客旅程之前和之后)的差异。可见光差分图像可以被计算为初始可见光图像和最终可见光图像之间的差异。可以分析这两个差分图像以确定是否存在异常。例如，可以以与上述相同的方式对可见光差分图像执行集群尺寸的阈值转换、分类归并以及评估。因此，在ir差分图像和可见光差分图像两者中都发现异常的情况下，确定出现异常的可能性将增加。
如果在步骤314的输出中检测到316异常，则方法300可以包括将警告发送到318调度器(dispatcher)。在一些实施例中，警告可以包括对应于每个异常的可见光图像的一部分。例如，如图4d所示，白色区域指示异常。相应的区域(例如在相同区域的可见光图像4a中的边界矩形)可以与警告一起发送，由此使得调度器能够验证是否出现溢出物。例如，可以传输具有对应于诸如通过叠加在图像上的边界矩形来突出的异常的区域的可见光图像。
调度器然后可以指示车辆继续行进到清洁站或释放320车辆以自主地行进到下一个接载位置，诸如由控制器102从服务器系统120接收到的接载位置。控制器102然后将使车辆继续行进到由调度器指示的位置。
在上面的描述中，参考形成本文的一部分的附图，并且该附图通过说明具体实施方式来示出，在该具体实施方式中可以实践本公开。可以理解的是在不脱离本发明的范围的情况下可以使用其它实施方式并且可以改变结构。说明书中，涉及“一个实施例”、“实施例”、“示例性实施例”等的内容表示描述的实施例可包括特定的特征、结构或者特性，但是每个实施例未必包括该特定的特征、结构或者特性。此外，这类词组未必涉及相同的实施例。而且，当结合实施例描述特定的特征、结构或者特性时，可以主张：不论是否明确的描述，结合其它实施例来改变这种特征、结构或者特性都在本领域技术人员的公知常识内。
本文公开的系统、装置以及方法的实施方式可包括或使用专用计算机或者通用计算机，如本文讨论的，该专用计算机或者通用计算机包括计算机硬件，例如一个或多个处理器以及系统存储器。在本发明范围内的实施方式也可包括用于承载或者存储计算机可执行的指令和/或数据结构的传统介质和其它计算机可读介质。这种计算机可读介质可以是任意可得介质，该介质可以通过通用计算机系统或者专用计算机系统存取。承载计算机可执行指令的计算机可读介质是传输介质。因此，举例来说但是不限于此，本发明的实施方式包括至少两个明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、只读光盘驱动器(cd-rom)、固态驱动器(ssd)(例如，基于ram)、闪存、相变存储器(pcm)、其它类型存储器、其它光盘存储、磁盘存储或者其它磁盘存储装置、或者任意其它介质，该任意其它介质可用于以计算机可执行指令或者数据结构的形式存储需要的程序代码装置并且其可通过通用计算机或者专用计算机存取。
本文公开的系统、装置以及方法的实施方式可通过计算机网络通信。“网络”限定为一个或多个数据连接，该数据连接能够在计算机系统和/或模块和/或其它电子装置之间传输电子数据。当信息通过网络或其它通信连接(硬连线的、无线的或者硬连线的或无线的结合)转移或提供到计算机时，计算机适当地将该连接视为传输介质。传输介质可包括网络和/或数据连接，该网络和/或数据连接可包括可用于以计算机可执行指令或者数据结构的形式承载需要的程序代码装置并且其可通过通用计算机或者专用计算机存取。上述的结合也应当认为包含在计算机可读介质的范围内。
例如，计算机可执行指令包括指令和数据，当在处理器中执行时，该指令和数据导致通用计算机、专用计算机或者专用处理装置执行某一功能或某组功能。例如，计算机可执行指令可以是二进制、中间格式指令(诸如汇编语言)或者甚至是源代码。尽管本主题是以结构特征和/或方法行为的特定语言描述的，然而可以理解的是：所附权利要求限定的本主题不是必须限定为已描述的特征或者本文描述的行为。当然，描述的特征和行为公开为实施权利要求的示例性形式。
本领域技术人员将会理解的是，本发明可在具有很多类型的计算机系统配置的网络计算环境中实践，该计算机系统配置包括装在仪表盘上的车载计算机、个人计算机、台式计算机、笔记本计算机、消息处理器、手持装置、多处理器系统、基于微处理器或可编程的家用电子产品、网络个人计算机(networkpc)、微型计算机、大型计算机、移动电话、个人数字助理(pda)、平板电脑、寻呼机、路由器、交换器、各种存储设备等。本发明也可在分布式系统环境中实践，其中，通过网络链接的(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的结合)本地计算机系统以及远程计算机系统二者都执行任务。在分布式系统环境中，程序模块可位于本地存储装置和远程存储装置中。
而且，在适当的情况下，本文描述的功能可以以下一种或多种部件执行：硬件、软件、固件、数字部件或者模拟部件。例如，一种或多种专用集成电路(asic)可编程以实施本文描述的一种或多种系统和程序。贯穿说明书和权利要求书使用的某些术语涉及具体系统部件。如本领域技术人员将理解的，部件可涉及到不同的名称。本文不旨在区分在名称上有区别而在功能上没有区别的部件。
应当注意的是，本文讨论的传感器实施例包括计算机硬件、软件、固件、或者以上任意组合以执行它们的功能的至少一部分。例如，传感器可包括配置为在一个或多个处理器中执行的计算机代码，并且可包括由计算机代码控制的硬件逻辑电路/硬件电子电路。这些示例性装置以说明的目的提供于本文中，并且不旨在限制于此。本发明的实施例可实施于本领域技术人员已知的其它类型的装置中。
本发明的至少一些实施例涉及计算机程序产品，该计算机程序产品包括存储在任意计算机可用介质上的这种逻辑(例如，以软件的形式)。如本文描述的，这种软件当在一个或多个数据处理装置中被执行时使该装置操作。
虽然上面已经描述了本发明的各种实施例，但是应当理解的是，它们仅仅是作为示例而非限制性的。对于相关领域的技术人员显而易见的是，在不脱离本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本发明的宽度和范围不应该由上述示例性实施例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，呈现了前述描述。它不是穷举的，也不是将披露限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，可以以期望的任意组合方式使用上述替代实施例中的任何或全部，以形成本发明的另外的混合实施例。