视频图像捕获和车辆的识别的制作方法
【专利摘要】一种用于捕获、分类并随后观看车辆的轨道图像记录的方法和设备，该方法包括按照任意适合顺序的以下步骤：使用成像装置(11、15)沿相对于成像装置的多个方位捕获车辆的轨道移动图像记录；参照图像捕获期间对于成像装置外部可见的车辆唯一标识符，来存储和分类捕获的每个车辆的轨道图像记录，以提供对于车辆而言唯一的连续图像记录，其中车辆唯一标识符例如是车辆许可证号或登记号；并且其后选择性地显示(12)车辆的轨道图像。
【专利说明】视频图像捕获和车辆的识别
【技术领域】
[0001]本发明涉及视频捕获领域，具体涉及用于经由网站呈现的车辆视频图像捕获。
【背景技术】
[0002]已知车辆特许经销商使用网站来显示与它们正销售的车辆有关的信息。目的在于通过使得潜在消费者能够观看存货车辆来吸引消费者。该信息可以包括对每个车辆加以描述和示出的文本和/或数字照片，尽管提供视频剪辑已经变得日益普遍。
[0003]在US2009 / 0160930中示出了一种用于从各个角度记录安装在车辆转台上的机动车的数字图像。然后，在记录处理开始之前，将每个记录的图像与唯一车辆标识符(例如，车辆底盘号)相结合地存储在数字数据存储器中，使得在记录会话结束处，记录的帧与涉及不同车辆的另一这样的会话开始之前选择的唯一标识符有关，从而对于每个车辆，捕获的数据与唯一标识符分别匹配。然而，这种特定系统的缺点在于，在用于控制视频摄像机8的计算机5再次可用于针对另一车辆的另一记录序列时，必须向图像处理计算机15发送所有记录的帧，导致系统延迟。
[0004]典型地，这样的捕获系统将针对每个车辆的媒体内容合并到然后经由潜在消费者的web浏览器被显示的网页中。捕获内容的过程典型地包括:将经由上/下坡道将车辆驾驶到转台上，并且然后随着转台平台的选择给车辆拍摄照片或视频。
[0005]典型地，内容是流媒体内容，并且在转台的全360度轨道旋转期间对车辆进行拍摄，以便提供轨道图像，使得消费者可以从各个角度观看到车辆。
[0006]该过程工作量大并且耗时，相当重要的原因是经销商通常以从标准(默认)角度(即，预定轨道开始位置)示出的车辆开始提供每个视频。这种视角被认为以有利位置示出车辆，并且因此使其更吸引潜在买方。因此，在每个捕获会话开始处(即，当已经沿着坡道将车辆驾驶到转台上以便进行拍照和/或拍摄)，转台必须旋转，使得车辆相对于摄像机处于适当的位置。这典型地涉及通过按钮来操作转台的技术人员，以将车辆调动到适当的开始位置。
[0007]一旦车辆处在默认开始位置，就可以发起图像捕获处理。技术人员必须发起转台的旋转以及开启必要的照明设备，并且经由摄像机开始记录。在图像捕获处理期间，通过转台旋转车辆，直到已经记录和存储了所需的数据量(例如，平台的一个完整旋转期间车辆的视频)为止。
[0008]一旦技术人员认为已经记录了所需的数据量，技术人员使转台停止并且通过停止摄像机来结束视频/图像捕获。技术人员通过机械手段(例如，按压按钮或开关以操作摄像机/转台)进行上述操作。一旦拍摄完成，拍摄期间用于照亮车辆的照明设备必须关闭或断电。
[0009]然后将车辆从转台移开。然而，转台不可能在车辆对准上/下坡道时停止，因此必须旋转平台，使得车辆处在正确位置以将车辆驶离转台。同样，这需要即使大量工作和时间来调动转台。[0010]然后将媒体内容(典型地，流视频内容)处理成分组，并且上载到服务器，以经由经销商网站观看。
[0011]因此，消费者能够浏览和观看经销商的车辆库存，而不必亲自去展厅。清楚地，这样的便捷性对于经销商而言是极有价值的营销手段。
[0012]然而，执行以下过程需要技术人员大量的时间和工作:在每个捕获会话开始处定位车辆，将转台的旋转与摄像机的操作同步，停止旋转和图像捕获，在适当时间接通和/或关断必要照明设备，并且定位车辆以从转台移开。
【发明内容】
[0013]因此，本发明的目的在于使上述过程自动化并简化，以便最小化技术人员操控机械设备所需的时间和工作(具体地，与转台上的车辆定位和摄像机操作相关)。所需的技术人员时间/工作越少，每天就可以拍摄更多车辆。这继而提供了节省成本的优点。
[0014]根据本发明，提供了一种用于捕获、分类并随后观看车辆的轨道图像记录的方法，所述方法包括按照任意适合顺序的以下步骤:使用成像装置沿相对于成像装置的多种方位捕获车辆的轨道移动图像记录；参照图像捕获期间对于成像装置外部可见的车辆唯一标识符，来存储和分类捕获的每个车辆的轨道图像记录，以提供对于车辆而言唯一的连续图像记录，其中车辆唯一标识符例如是车辆许可证号或登记号；并且其后选择性地显示车辆的轨道图像。
[0015]便利地，通过参照每个车辆的唯一标识符来分类捕获的每个车辆的轨道图像记录的步骤包括以下步骤:包含验证算法，通过验证算法在车辆周围的不同角度位置处提取车辆唯一标识符的多个读数，获得多个结果，并且提高与实现其精度有关的置信等级，例如，通过匹配轨道图像记录中的12个车号牌读数来验证整个记录期间的图像内容仅与该车辆有关。
[0016]可以通过相关联的算法舍弃或降级被感知为给定大小以下的号码，来进一步提高号码识别的置信等级。这一点在以下方面是特别有用的特征:例如，通过使用在停车场中的轨道图像捕获，该方法可以离开车辆转台使用；图像识别硬件和/或软件不足以捕获其他车辆以及目标车辆的图像；以及可以合理地假定距成像装置的相对距离使得记录的字母和/或号码比目标车辆上的字母和/号码小。
[0017]便利地，车辆唯一标识符的提取和编码与成像装置的操作无关，使得在完成针对车辆的轨道图像记录的获得时，可以在针对在前车辆的提取和编码过程仍在进行的同时，记录针对另一车辆的后续轨道图像记录。
【专利附图】
【附图说明】
[0018]现在仅通过示例并且参照附图描述本发明的实施例，在附图中:
[0019]图1示出了根据本发明的系统的高级概述的流程图。
[0020]图2示出了根据本发明实施例的系统的更详细流程图。
[0021]图3示出了根据本发明实施例的示例登录屏幕的屏幕截图。
[0022]图4示出了根据本发明实施例的初始对话屏幕的屏幕截图。
[0023]图5示出了根据本发明实施例的设置对话屏幕的屏幕截图。[0024]图6示出了根据本发明实施例的主对话屏幕的屏幕截图，包括外部和内部摄像机分别所观看到的车辆的相邻外部和内部视图，以及‘记录’按钮。
[0025]图7和8示出了点击‘记录’按钮之后图6的主对话屏幕的屏幕截图。
[0026]图9示出了根据本发明实施例的对话屏幕的屏幕截图，该屏幕指示当前不会会话结束，并且提供‘开始’按钮以辅助另一捕获会话的开始。
[0027]图10示出了根据本发明实施例的许可证验证屏幕的屏幕截图。
【具体实施方式】
[0028]转向图1，本发明的目的在于提供一种更效率的装置，通过最小化视频摄像机和/或转台操作者所需的输入来产生和传递与车辆有关的媒体内容。本发明包括对执行软件的计算机处理器的使用，该计算机处理器以自动方式控制转台、内部和/或外部照明设备和摄像机。在本文描述的示意实施例中，视频摄像机安装在车辆的外部，以捕获车辆外部的移动图像。在另一实施例中，围绕车辆行走的技术人员可以手持摄像机。备选或附加地，摄像机可以安装在车辆内部的旋转内部吊索上，以捕获车辆内部的图像。任一方式的目的在于提供车辆的轨道视频图像记录。
[0029]因此，在图1中示出了本发明的过程一般概述，在图1中，沿着坡道将汽车驾驶到转台上，并且用户指示系统的软件组件执行媒体捕获会话(即，仅需要一个指令或输入来使软件将车辆调度到相对于摄像机的正确开始位置，开始旋转、照明和记录、结束旋转、并在适当时间点处照明和记录，并且定位车辆以经由坡道移开)。
[0030]图2示出了该过程的扩大图，包括可以在记录已经完成之后执行的过程阶段。
[0031]在使用中，技术人员(即，用户)将要记录的车辆沿坡道驾驶到转台的可旋转平台(如图1的步骤I所示)上。技术人员然后可以离开车辆，并且移至与包括本发明的其他系统组件通信的控制台或屏幕。
[0032]该系统图像用户界面，图像用户界面设计为尽可能简化和最小化。由于仅允许授权(许可)用户访问系统，因此首先向技术人员呈现登录屏幕，在图3中示出了登录屏幕的示意。技术人员必须提供用户名2和口令3，当点击提交按钮4时，由系统识别属于授权用户的用户名和口令。
[0033]一旦技术人员成功登录，就允许技术人员访问对他授权的那些系统特征或组件。如以下更详细说明的，该系统可以包括多个特征，并且给定用户可以选择预订那些特征中的所有或仅一些。因此，在成功登录时，系统检查技术人员的特权状态，并且使得能够访问预订的系统组件。
[0034]对于授权技术人员访问的每个系统组件，可以存在多种设置，包括用于配置用户与核心系统(即，视频捕获组件)的交互的设置(即，参数)。用户设置存储在系统上的文件中，并且可以由用户经由图形用户界面中提供的选择进行访问(以观看和/或改变)。在附图的示意屏幕截图中，可以经由菜单条上提供的下拉菜单来访问设置。
[0035]其他设置可以包括对可以使用的视频格式的选择，或者从多个设备中选择使用哪个摄像机。也可以包括其他设置，并且本发明并不意在限于该方面。例如，可以包括与车辆的照明(照射)有关的设置。
[0036]图5示出了显示用户会话设置的屏幕的示例。在该示意中，屏幕7的左侧显示了管理用户视频捕获会话的一般参数。用户可以根据他的需要或偏好来改变这些参数。例如，可以通过改变框9中的值来改变为每个车辆进行的视频记录的长度。还可以改变启动时转台旋转的时间量(以下更详细说明)。
[0037]在图5中，屏幕8的右侧显示与以下讨论的可选系统特征有关的设置。
[0038]因此，在成功登录时，获取用户设置文件，并且加载到存储器中，以在会话期间配置与系统的交互。一旦用户点击初始对话屏幕上的‘新会话’按钮6，视频捕获会话就开始(如图1和4的步骤5所示)。
[0039]在这点上，对系统中包括的摄像机执行初始检查，以确保摄像机工作并准备投入使用。在系统软件和接收器(例如，flexiPanel蓝牙接收器)之间建立连接，以使得能够向转台发送‘开始’和‘停止’命令，以开始/结束旋转。在会话开始处发起该连接并且保持开启，直到用户结束会话为止。
[0040]既然用户已经成功登陆，已经加载会话设置，就与转台建立蓝牙连接，并且捕获会话开始。
[0041]在开始记录之前，系统可以通过接通照明设备或中将照明调高到期望级别来控制照明设备，使得在捕获会话期间可以适当地照亮车辆。
[0042]向技术人员呈现如图6、7和8所示的主对话屏幕。对话屏幕示出了转台上摄像机11所观看到的外部车辆的预览。如果由于用户已经预定了该系统特征因此还在使用可选内部摄像机，则在屏幕12上也呈现来自内部摄像机的视图。在点击‘记录’按钮14时，视频捕获开始。在捕获会话的持续时间内在屏幕上保持预览，并且实时更新。
[0043]软件经由蓝牙连接指示转台开始旋转。一旦转台旋转已经达到最优速度(由用户设置所确定)，则系统指示所选摄像机开始记录15。记录持续用户设置指定的时间长度，并且进度条13向用户示出记录过程进行中，并且还提供剩余要完成的记录的长度的指示。在系统上本地存储记录。可以向用户呈现文本消息(例如，‘阶段1:记录’或‘阶段2:分析’)以指示系统当前执行哪个过程阶段。如果遇到错误，则记录停止并且显示错误消息。
[0044]一旦已经记录了指定的视频长度，摄像机就停止记录15a，用户经由‘会话完成’屏幕(9)将该事件通知16给用户。在该时间点车辆可以驶离转台。系统还可以在拍摄完成关闭(或调暗)照明设备。捕获会话中系统调整照明级别的时间点也可以改变。
[0045]一旦记录阶段已经完成，处理阶段就开始。对存储的视频进行编码17以准备用于通过上载器模块上载到web服务器。静止图像的提取也可以在处理阶段期间执行，并且可以使用传统号码识别设备(例如，在画.nd1-rs.com可获得的号码识别设备)。然而，US2009 / 0160930中描述的系统与本发明之间的重要不同是:本发明在时间上更高效的能力在于，只要视频摄像机停止记录目标车辆，软件就执行车号牌识别提取、对图像的编码和后续上载、以及提取的针对该车辆的唯一标识符(典型地，登记号)，尽管应理解在没有车号牌的情况下也可以在目标车辆的外部使用其他唯一标识符，例如具有不可能进行临时复制的足够数字的随机产生的号码。
[0046]还应当注意，在物理站点处初始安装本发明的系统时，需要对系统进行校准以准备用于第一次使用。如上所述，汽车经销商典型地偏爱以在相对于摄像机特定、预定角度定位的车辆开始视频剪辑。然而在每个站点处，转台和摄像机的定位可以略微不同，并且从一个站点到另一站点车辆接近转台的方向可以不同。因此，在安装时，转台可以操作为，手动旋转转台直到车辆在正确初始(默认)对准中。在系统内记录旋转时间的长度，使得在每个会话的开始处，系统在记录之前‘知道’必须将转台旋转特定角度，以将车辆调动到正确的开始位置。
[0047]一旦已知这种所需的旋转程度，每个会话自动开始将转台旋转直到所需位置，而无需技术人员对转台的另外输入、调动或手动操控。一旦处在正确的开始位置，系统就在开始记录和旋转之前自动使转台暂停预定并存储的时间量。
[0048]因此，系统提供从记录18直接提取车辆的注册内容的能力，并且在系统已经从获取的视频自动提取登记号之后，存储注册内容并且传递到系统的上载器模式，以连同其他(视频/图像)内容一起上载到媒体服务器。
[0049]在编码之前进行号码识别，并且对原始捕获的视频实时地执行号码识别(由于这为识别算法提供了最完全的输入数据)。
[0050]图像识别是较难的搜索领域，并且对字母和符号的检测当前不是100%可靠的，本发明优选地合并验证算法，以提高识别系统的可靠性。
[0051]传统地，对单个源图像执行牌照识别，并且操作的成功取决于多个因素，例如，图像分辨率、图像格式和图像尺寸、车号牌相对于摄像机的角度、车牌距镜头的距离和车牌上使用的字体；并且取决于外部因素，例如，照明级别、车牌清洁程度等。
[0052]在本发明的上下文中，由于对车辆进行拍摄的受控环境而优化识别过程。然而，仍然会出现错误。例如，假阳性识别可以导致不正确的登记号。
[0053]因此，识别算法可以使用一个或更多个度量。在对车号牌执行识别之后，可以通过对每个单独的数字执行软件实现的检查，来评价和提高识别分析的精度。例如，如果软件判定数字可能已经与另一数字混淆或者被误判断为另一数字，则可以向识别结果提供较低的“置信等级”，通过系统向用户标记上述识别结果。
[0054]一旦被标记，可以提示用户在视觉上检查识别软件确定的车号牌是否对应于车辆的号牌。在图5的屏幕8的右侧示出了这种检查和关联的用户提示的示例。
[0055]在另一实施例中，在记录过程的期间以变化的角度拍摄多个(例如，12个)车辆的静止视图，其中的一些视图(即，4个视图)包括车号牌。可以在用户所确定的系统配置文件中指定(存储)示例尝试数目。在完成多次尝试识别时，系统对多个结果和置信等级进行分析，并且被合并到‘全局’置信等级中。如果该置信等级大于预定度量级别，则该注册与车辆注册匹配的置信等级提高。
[0056]在没有实现19成功识别的情况下，可以向用户提供手动20输入数据的选项。
[0057]在自动或手动输入登记号时，可以输入21与车辆有关的其他数据。如果已经启用的选项，则可以进行web服务调用，以从针对该车注册的外部源自动获取数据。然后可以通过上载器模块将整个数据集合(车辆细节、图像/视频内容和注册细节)上载到媒体服务器，以由潜在的消费者访问。
[0058]因此，本发明提供了一种自动解决方案，通过控制和指导硬件设备(转台、摄像机等)的至少部分计算机实现系统来捕获车辆的轨道视频或图像数据，使得操作人员不需要手动调节和同步捕获过程的开始和结束点。该系统还可以确保将车辆放置在相对于摄像机的正确初始位置，而无需用户交互，因此节省了大量时间和工作，并且继而节省了由于增加的车辆通过量而引起费用。因此，本发明提供的自动解决方案提供了针对已知方法的更有效率的备选方案。
[0059]应当注意，上述实施例示意而不是限制本发明，并且在不背离所附权利要求限定的本发明的范围的情况下本领域技术人员能够设计许多备选实施例。在权利要求中，括号中的任何附图标记不应视为限制权利要求。词语“包括”等不排除除了任一权利要求或整个说明书中列出的那些元件或步骤以外的其他元件或步骤的存在。在本说明书中，“包括”意味着“包括或由…组成”。元件的单数形式不排除该元件的复数形式，反之亦然。本发明可以由包括若干不同元件的硬件并且通过适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置的中若干装置可以由一个和相同的硬件来实现。事实仅在于，彼此不同的从属权利要求中 引述的特定手段并不指示这些手段的组合的使用不是有利的。
【权利要求】
1.一种用于捕获、分类并随后观看车辆的轨道图像记录的方法，所述方法包括按照任意适合顺序的以下步骤: 使用成像装置(11、15)沿相对于成像装置的多个方位捕获车辆的轨道移动图像记录；参照图像捕获期间对于成像装置外部可见的车辆唯一标识符，来存储和分类所捕获的每个车辆的轨道图像记录，以提供对于车辆而言唯一的连续图像记录，其中车辆唯一标识符例如是车辆许可证号或登记号；并且 其后选择性地显示(12)车辆的轨道图像。
2.根据权利要求1所述的方法，其中，通过参照车辆唯一标识符来分类所捕获的每个车辆的轨道图像记录的步骤包括以下步骤:包含验证算法，通过验证算法在车辆周围的不同角度位置处提取车辆唯一标识符的多个读数，获得多个结果，并且提高与实现其精度有关的置/[目等级。
3.根据权利要求2所述的方法，其中，通过相关联的算法舍弃或降级被感知为在给定大小以下的号码，来进一步提高号码识别的置信等级。
4.根据前述权利要求中任一项所述的方法，其中，便利地，唯一车辆标识符的提取和编码与成像装置的操作无关，使得在完成针对车辆的轨道图像记录的获得时，在针对在前车辆的提取和编码过程仍在进行的同时，记录针对另一车辆的后续轨道图像记录。
5.一种执行根据前述权利要求中任一项所述的方法的设备，包括: 成像装置(11、15)，沿多个轨道方位捕获车辆的轨道图像记录； 从成像装置中提取在车辆外部可见的唯一标识符的装置，所述唯一标识符例如是车辆登记号； 存储装置，存储从图像捕获和提取过程获得的数据；以及 用于随后向显示器(12)上载数据的装置。
6.根据权利要求5所述的设备，其中，唯一标识符的提取包括:使用多个算法，通过所述多个算法实现提取数据的精度的所选置信等级。
7.一种实质上如上文参照附图描述的信息捕获方法。
8.一种实质上如上文参照附图描述的信息捕获设备。
【文档编号】G06T1/00GK103430209SQ201280012892
【公开日】2013年12月4日 申请日期:2012年3月9日 优先权日:2011年3月11日
【发明者】亚当·詹姆斯·布莱斯 申请人:莱福昂秀有限责任公司