信号识别系统的制作方法

本发明涉及信号识别系统，该系统应用于车辆，识别车辆周围的信号机(交通信号灯、红绿灯)的点亮状态。

背景技术：

专利文献1公开了一种检测信号机及其状态的方法。该方法首先使用搭载于车辆的传感器扫描对象区域(targetarea)，取得与对象区域有关的信息(图像)。在此，对象区域指的是存在信号机的典型的区域。接下来，该方法根据对象区域信息检测信号机，并检测该信号机的位置。再者，该方法基于亮度判定所检测出的信号机的状态(绿(青)灯、黄灯、红灯或者不详)。例如，在绿灯的亮度最高的情况下，判定为检测出的信号机的状态为绿灯。

现有技术文献

专利文献1：美国专利申请公开第2013/0253754号说明书

技术实现要素：

发明所要解决的问题

根据专利文献1所公开的方法，通过使用搭载于车辆的传感器来取得与对象区域有关的信息(图像)。而且，通过图像解析来识别信号机的点亮状态。然而，通过图像解析识别点亮状态的识别精度是存在限度的。

本发明的一个目的在于，提供能够提高识别车辆周围的信号机的点亮状态的精度的技术。

用于解决问题的技术方案

本发明的一个观点涉及应用于车辆的信号识别系统。

所述信号识别系统具备一个或多个存储装置以及一个或多个处理器。

在所述一个或多个存储装置中保存摄像头(camera，相机)拍摄信息和灯(灯火)模式(pattern，图案)信息，所述摄像头拍摄信息包含由搭载于所述车辆的摄像头所拍摄的表示所述车辆周围的状况的图像，所述灯模式信息是与具有多个灯部分的信号机有关的信息，表示所述多个灯部分之间的相对位置关系以及所述多个灯部分的各自的点亮时的外观。

所述一个或多个处理器，基于所述摄像头拍摄信息，检测所述车辆周围的对象信号机，取得至少表示所述对象信号机的多个检测部分的各自的外观的信号检测信息，进行通过比较所述信号检测信息与所述灯模式信息来识别所述对象信号机的点亮状态的点亮状态识别处理，在所述点亮状态识别处理中，所述一个或多个处理器将与所述对象信号机的所述多个检测部分的各自的所述外观匹配的所述多个灯部分的点亮状态识别为所述对象信号机的所述点亮状态。

发明效果

根据本发明的一个观点，信号识别系统基于摄像头拍摄信息，检测车辆周围的对象信号机，取得信号检测信息。信号检测信息至少表示对象信号机的多个检测部分的各自的外观。

信号识别系统为了识别对象信号机的点亮状态，不仅使用基于摄像头拍摄信息的信号检测信息，而且也使用独立于摄像头拍摄信息的灯模式信息。灯模式信息表示信号机的多个灯部分之间的相对位置关系以及多个灯部分的各自的点亮时的外观。信号识别系统将信号检测信息与灯模式信息进行比较。而且，信号识别系统将与对象信号机的多个检测部分的各自的外观匹配的多个灯部分的点亮状态识别为对象信号机的点亮状态。

如此，通过比较基于摄像头拍摄信息的信号检测信息与独立于摄像头拍摄信息的灯模式信息来识别对象信号机的点亮状态，因此识别精度提高。再者，在该比较中，并非着眼于对象信号机的单一的(单个)检测部分，而是着眼于多个检测部分。这也有助于识别精度的提高。

附图说明

图1是用于对本发明的实施方式的概要进行说明的概略图。

图2是用于对本发明的实施方式涉及的灯模式信息的一例进行说明的概念图。

图3是用于对本发明的实施方式涉及的点亮状态识别处理的第1例进行说明的概念图。

图4是用于对本发明的实施方式涉及的点亮状态识别处理的第2例进行说明的概念图。

图5是用于对本发明的实施方式涉及的点亮状态识别处理的第3例进行说明的概念图。

图6是用于对本发明的实施方式涉及的点亮状态识别处理的第4例进行说明的概念图。

图7是用于对本发明的实施方式涉及的点亮状态识别处理的第5例进行说明的概念图。

图8是用于对本发明的实施方式涉及的点亮状态识别处理的第6例进行说明的概念图。

图9是用于对本发明的实施方式涉及的点亮状态识别处理的第7例进行说明的概念图。

图10是表示本发明的实施方式涉及的灯模式信息的各种例子的概念图。

图11是表示本发明的实施方式涉及的灯模式信息的又一例的概念图。

图12是表示本发明的实施方式涉及的灯模式信息的又一例的概念图。

图13是表示本发明的实施方式涉及的灯模式信息的又一例的概念图。

图14是表示本发明的实施方式涉及的灯模式信息的又一例的概念图。

图15是用于对本发明的实施方式中的信号机地图信息的一例进行说明的概念图。

图16是用于对本发明的实施方式中的灯模式数据库的一例进行说明的概念图。

图17是表示本发明的实施方式涉及的信号识别系统的功能构成例的框图。

图18是表示本发明的实施方式涉及的信号识别系统的处理的流程图。

图19是用于对本发明的实施方式涉及的信号检测处理进行说明的概念图。

图20是表示本发明的实施方式涉及的信号识别系统的第1构成例的框图。

图21是表示本发明的实施方式涉及的传感器群组和驾驶环境信息的例子的框图。

图22是表示本发明的实施方式涉及的信号识别系统的第2构成例的框图。

图23是表示本发明的实施方式的第1变形例涉及的信号识别系统的功能构成例的框图。

图24是表示本发明的实施方式的第1变形例涉及的信号识别系统的处理的流程图。

图25是表示本发明的实施方式的第2变形例涉及的信号识别系统的功能构成例的框图。

图26是表示本发明的实施方式的第3变形例涉及的信号识别系统的功能构成例的框图。

图27是表示本发明的实施方式的第4变形例涉及的信号识别系统的功能构成例的框图。

标号说明

1车辆；2摄像头；10信号识别系统；20信号检测部；30模式选择部；40点亮状态识别部；100车载装置；110传感器群组；120通信装置；130行驶装置；140控制装置；150处理器；160存储装置；200外部装置；220通信装置；240控制装置；250处理器；260存储装置；300存储装置；400存储装置；dtc信号检测信息；img摄像头拍摄信息；map地图信息；pat灯模式信息；pos位置信息；res识别结果信息；rul点亮规则信息；sit周边状况信息；sta车辆状态信息；map_db地图数据库；pat_db灯模式数据库；sg_map信号机地图信息。

具体实施方式

参照附图，对本发明的实施方式进行说明。

1.概要

1-1.信号识别系统

图1是用于对本发明的实施方式的概要进行说明的概略图。车辆1在道路上行驶。道路上设置有信号机(交通信号机)。车辆1按照信号机的点亮状态(信号显示)行驶。为了实现车辆1的自动驾驶，希望自动地识别车辆1周围的信号机的点亮状态。

信号识别系统10应用于车辆1，自动地识别车辆1周围的信号机的点亮状态。典型地，信号识别系统10搭载于车辆1。或者，信号识别系统10也可以配置于车辆1外部的外部装置，远程地识别信号机的点亮状态。或者，信号识别系统10也可以分布式地配置于车辆1和外部装置。

信号识别系统10首先取得摄像头拍摄信息img。摄像头拍摄信息img是由搭载于车辆1的摄像头(拍摄装置)2所获得的信息。摄像头2拍摄车辆1周围的状况。典型地，摄像头2设置为能够拍摄车辆1前方的状况。摄像头拍摄信息img包含由摄像头2拍摄到的图像、即表示车辆1周围的状况的图像。

信号识别系统10基于摄像头拍摄信息img，检测车辆周围的信号机。从由摄像头2拍摄到的图像中检测(提取)信号机的图像解析方法是众所周知的。以下，将基于摄像头拍摄信息img检测出的信号机称为“对象信号机sx”。以下，将对象信号机sx中的被检测出的部分称为“检测部分”。典型地，存在颜色和/或形状不同的多个检测部分。

信号检测信息dtc是表示对象信号机sx的检测结果的信息。例如，信号检测信息dtc表示对象信号机sx的各检测部分是否已点亮。信号检测信息dtc也可以表示出对象信号机sx的各检测部分的颜色。信号检测信息dtc也可以表示出对象信号机sx的各检测部分的形状。信号检测信息dtc也可以表示出对象信号机sx的多个检测部分之间的相对位置关系。

信号识别系统10能够基于信号检测信息dtc来识别对象信号机sx的点亮状态(信号显示)。然而，在“仅”使用信号检测信息dtc的情况下，点亮状态的识别精度未必高。其原因在于，信号检测信息dtc的精度本身未必高。

例如，在摄像头2的性能低的情况下，信号检测信息dtc的精度也会降低。另外，信号检测信息dtc的精度不仅会因摄像头2的性能而改变，也会因图像解析的性能而改变。然而，图像解析的性能存在限度。为了完全地辨识点亮部分的各种形状(例如圆圈、箭头、数字)和/或各种点亮模式，需要不切实际的数量的学习。也即是说，通过图像解析识别点亮状态的识别精度是存在限度的。

如此，在“仅”使用根据摄像头拍摄信息img所获得的信号检测信息dtc的情况下，对象信号机sx的点亮状态的识别精度未必够。于是，根据本实施方式，为了提高识别对象信号机sx的点亮状态的精度，除了信号检测信息dtc之外，还使用独立于摄像头拍摄信息img的“灯模式信息pat”。

1-2.灯模式信息

图2是用于对本实施方式涉及的灯模式信息pat的一例进行说明的概念图。通常，信号机具有多个灯部分。灯部分指的是点亮及熄灭的部分。作为灯部分，可例示灯泡、led(lightemittingdiode，发光二极管)、发光装置、显示器等。以下，设为信号机具有n个(n为2以上的整数)灯部分。

灯模式信息pat表示信号机的n个灯部分的模式。此处的模式包含n个灯部分之间的“相对位置关系”、即n个灯部分的“配置”。再者，模式包含n个灯部分的各个灯部分点亮时的“外观”。灯部分的点亮时的“外观”至少包含“颜色(绿色、黄色、红色等)”以及“形状(圆、箭头等)”。

图2所例示的灯模式信息pat是与具有6个灯部分l1～l6的信号机有关的信息。灯部分l1～l3是典型的圆形信号，在上层沿水平方向配置。灯部分l4～l6是箭头信号，在下层沿水平方向配置。灯部分l1～l3从左向右按此顺序配置成一排。灯部分l4～l6从左向右按此顺序配置成一排。由此，灯部分l1、l4在上下方向上相邻，灯部分l2、l5在上下方向上相邻，灯部分l3、l6在上下方向上相邻。

灯部分l1的点亮时的外观为绿色的圆(greencircle)。括号内为英译。灯部分l2的点亮时的外观为黄色的圆(yellowcircle)。灯部分l3的点亮时的外观为红色的圆(redcircle)。灯部分l4的点亮时的外观为绿色的左箭头(greenleftarrow)。灯部分l5的点亮时的外观为绿色的上箭头(greenuparrow)。灯部分l6的点亮时的外观为绿色的右箭头(greenrightarrow)。此外，图中的大写字母“g”、“y”、“r”分别意味着绿色、黄色、红色。这在以下的图中也是同样的。

各灯部分的非点亮时的颜色为黑色。这一情况既可以是隐含假设，也可以在灯模式信息pat中被明确指示。

1-3.点亮状态识别处理

本实施方式涉及的信号识别系统10通过比较信号检测信息dtc与灯模式信息pat，高精度地识别对象信号机sx的点亮状态。以下将该处理称为“点亮状态识别处理”。下面，说明本实施方式涉及的点亮状态识别处理的几个例子。

1-3-1.第1例

图3是用于对点亮状态识别处理的第1例进行说明的概念图。信号检测信息dtc包含与对象信号机sx的两个检测部分有关的信息。更详细而言，信号检测信息dtc表示出对象信号机sx的两个检测部分的各自的“外观”。在本例中，对象信号机sx的检测部分的外观包括颜色和形状(点亮时的点亮部分的形状)双方。一方检测部分的外观为“红色的圆”，另一方检测部分的外观为“绿色的右箭头”。但是，设为两个检测部分之间的相对位置关系不明确。

信号识别系统10将信号检测信息dtc与灯模式信息pat进行比较。而且，信号识别系统10将与对象信号机sx的两个检测部分的各自的外观匹配(match)的灯部分l1～l6的点亮状态识别为对象信号机sx的点亮状态。

根据灯模式信息pat，灯部分l3的点亮时的外观为“红色的圆”，灯部分l6的点亮时的外观为“绿色的右箭头”。因此，对象信号机sx的点亮状态被识别为“l3、l6：点亮，l1、l2、l4、l5：非点亮”。即，识别为上下排列的“红色的圆形信号”和“绿色的右箭头信号”已点亮。

如此，根据第1例，信号检测信息dtc表示出对象信号机sx的多个检测部分的各自的外观。即使它们多个检测部分之间的相对位置关系不详(未知)，通过参照灯模式信息pat，也能够高精度地识别对象信号机sx的点亮状态。

1-3-2.第2例

图4是用于对点亮状态识别处理的第2例进行说明的概念图。信号检测信息dtc包含与对象信号机sx的两个检测部分有关的信息。更详细而言，信号检测信息dtc除了对象信号机sx的两个检测部分的各自的“外观”以外还表示出它们两个检测部分之间的“相对位置关系”。但是，在本例中，检测部分的外观只包括颜色，形状(点亮时的点亮部分的形状)不详。一方检测部分的外观为“红色”，另一方检测部分的外观为“绿色”，它们两个检测部分上下排列。

信号识别系统10将信号检测信息dtc与灯模式信息pat进行比较。而且，信号识别系统10将与对象信号机sx的两个检测部分的各自的外观以及两个检测部分之间的相对位置关系匹配(match)的灯部分l1～l6的点亮状态识别为对象信号机sx的点亮状态。

根据灯模式信息pat，灯部分l3的点亮时的外观为“红色”，灯部分l6的点亮时的外观为“绿色”，并且上述灯部分l3、l6上下排列。因此，对象信号机sx的点亮状态被识别为“l3、l6：点亮，l1、l2、l4、l5：非点亮”。即，识别为上下排列的“红色的圆形信号”和“绿色的右箭头信号”已点亮。

如此，根据第2例，信号检测信息dtc表示出对象信号机sx的多个检测部分的各自的外观(颜色)和它们多个检测部分之间的相对位置关系。即使各检测部分的准确的形状不详，通过参照灯模式信息pat，也能够高精度地识别对象信号机sx的点亮状态。

1-3-3.第3例

图5是用于对点亮状态识别处理的第3例进行说明的概念图。信号检测信息dtc除了上述的第2例(图4)的情况下的内容以外还表示出两个检测部分的各自的粗略的形状。一方检测部分的外观为“红色的圆”，另一方检测部分的外观为“绿色的箭头”，它们两个检测部分上下排列。但是，设为箭头的方向未知。

与第2例的情况同样地，对象信号机sx的点亮状态被识别为“l3、l6：点亮，l1、l2、l4、l5：非点亮”。即，识别为上下排列的“红色的圆形信号”和“绿色的右箭头信号”已点亮。即使箭头方向不详，通过参照灯模式信息pat，也能够高精度地识别对象信号机sx的点亮状态。

1-3-4.第4例

图6是用于对点亮状态识别处理的第4例进行说明的概念图。信号检测信息dtc也可以不仅包含与点亮部分有关的信息，还包含与非点亮部分有关的信息。即，对象信号机sx的多个检测部分也可以包括点亮部分和非点亮部分双方。非点亮部分的颜色为黑色。

在图6所示的例子中，信号检测信息dtc除了对象信号机sx的4个检测部分的各自的“外观”以外还表示出它们4个检测部分之间的“相对位置关系”。在本例中，检测部分的外观只包括颜色，形状(点亮时的点亮部分的形状)不详。一个检测部分的外观为“绿色”，其他3个检测部分的外观为“黑色”。再者，3个黑色的检测部分分别位于绿色的检测部分的右、下以及右下方。

根据灯模式信息pat，作为绿色的检测部分的候选，存在灯部分l1、l4～l6这4个部分。但是，只有灯部分l1，在其右、下以及右下方存在其他灯部分。因此，对象信号机sx的点亮状态被识别为“l1：点亮，l2～l6：非点亮”。即，识别为仅“绿色的圆形信号”已点亮。

如此，根据第4例，黑色的非点亮部分也被作为检测部分之一来利用。其结果，即使在对象信号机sx的点亮部分仅有一个的情况下，通过参照灯模式信息pat，也能够高精度地识别对象信号机sx的点亮状态。

1-3-5.第5例

图7是用于对点亮状态识别处理的第5例进行说明的概念图。与上述的第4例(图6)的情况同样地，对象信号机sx的多个检测部分包括点亮部分和非点亮部分双方。

信号检测信息dtc除了对象信号机sx的6个检测部分的各自的“外观”以外还表示出它们6个检测部分之间的“相对位置关系”。在本例中，检测部分的外观只包括颜色，形状(点亮时的点亮部分的形状)不详。即，红色的检测部分位于右上，3个黑色的检测部分分别位于红色检测部分的左、下以及左下方。另外，绿色的检测部分位于左下，3个黑色的检测部分分别位于绿色的检测部分的右、上以及右上方。

根据灯模式信息pat，作为绿色的检测部分的候选，有灯部分l1、l4～l6这4个部分。但是，只有灯部分l4，在其右、上以及右上方存在有其他灯部分。因此，对象信号机sx的点亮状态被识别为“l3、l4：点亮，l1、l2、l5、l6：非点亮”。即，识别为“红色的圆形信号”和“绿色的左箭头信号”已点亮。

如此，根据第5例，黑色的非点亮部分也被作为检测部分之一来利用。其结果，即使对象信号机sx的各检测部分的准确的形状不详，通过参照灯模式信息pat，也能够高精度地识别对象信号机sx的点亮状态。

1-3-6.第6例

图8是用于对点亮状态识别处理的第6例进行说明的概念图。信号检测信息dtc除了对象信号机sx的6个检测部分的各自的“外观”以外还表示出它们6个检测部分之间的“相对位置关系”。在本例中，检测部分的外观包括“是否已点亮”，但颜色以及形状不详。也即是说，仅明确了对象信号机sx的各检测部分是否已点亮，而各检测部分的颜色以及形状不详。

在图8所示的例子中，6个检测部分中的右上和左下的检测部分已点亮。在右上和左下的两个点亮部分之间，夹着非点亮部分。参照灯模式信息pat可知，两个点亮部分相当于灯部分l3、l4。因此，对象信号机sx的点亮状态被识别为“l3、l4：点亮，l1、l2、l5、l6：非点亮”。即，识别为“红色的圆形信号”和“绿色的左箭头信号”已点亮。

如此，根据第6例，信号检测信息dtc表示出对象信号机sx的多个检测部分之间的相对位置关系、和各检测部分是否已点亮。即使各检测部分的颜色以及形状不详，通过参照灯模式信息pat，也能够高精度地识别对象信号机sx的点亮状态。

1-3-7.第7例

图9是用于对点亮状态识别处理的第7例进行说明的概念图。在本例中，信号机仅具有配置在水平方向上的3个灯部分l1～l3。

信号检测信息dtc表示出对象信号机sx的3个检测部分之间的相对位置关系、和各检测部分是否已点亮。具体而言，3个检测部分中的右端的检测部分点亮，左端以及中央的检测部分没有点亮。参照灯模式信息pat可知，右端的点亮部分相当于灯部分l3。因此，对象信号机sx的点亮状态被识别为“l3：点亮，l1、l2：非点亮”。即，识别为“红色的圆形信号”已点亮。

如上所述，信号检测信息dtc至少表示对象信号机sx的多个检测部分的各自的“外观”。例如，各检测部分的外观包括各检测部分的“颜色”。各检测部分的外观也可以还包括各检测部分的“点亮时的形状”。信号检测信息dtc也可以进一步表示出对象信号机sx的多个检测部分之间的“相对位置关系”。在知道相对位置关系的情况下，识别对象信号机sx的点亮状态的精度会进一步提高。另外，在知道相对位置关系的情况下，各检测部分的外观也可以包括各检测部分“是否已点亮”。检测部分的外观越详细，识别对象信号机sx的点亮状态的精度则越高。

1-4.各种灯模式信息

道路上存在各种形式的信号机。另外，信号机的形式也可能根据国家而不同。因此，优选预先按信号机的每种形式准备灯模式信息pat。

图10示出灯模式信息pat的各种例子。图10中的例[a]与图9中示出的相同，例[d]与图2中示出的相同。例[b]仅具有右箭头信号作为箭头信号。例[c]具有向左上方倾斜的箭头信号。在灯模式信息pat中，“向左上方倾斜的箭头”也可以定义为“上箭头或者左箭头”。

图11示出灯模式信息pat的又一例。在图11所示的例子中，红色、黄色以及绿色的圆形信号沿垂直方向而配置。例[b]还具有箭头信号。例[c]具有黄色的箭头信号和绿色的箭头信号。

图12示出灯模式信息pat的又一例。在图12所示的例子中，信号机具有表示“数字”的灯部分。在图12中的例[a]中，表示数字的灯部分与表示绿色信号的灯部分的左侧相邻而配置，该数字意味着绿色信号显示的剩余时间。在例[b]中，配置有表示意味着红色信号显示的剩余时间的数字的灯部分。

图13示出灯模式信息pat的又一例。在图13所示的例子中，一个信号机由隔开的两个局部信号机构成。右侧的局部信号机是某个交叉路口处的直行用的信号机。左侧的局部信号机是相同的交叉路口处的左转用的信号机。

图14是表示灯模式信息pat的又一例的概念图。在图14所示的例子中，“红色的×形状”的灯部分与“绿色的上箭头”的灯部分相邻而配置。例如，“红色的×形状”意味着禁止进入，“绿色的上箭头”意味着允许进入。

在有多种灯模式信息pat的情况下，可选择与对象信号机sx相关联的适当的灯模式信息pat。或者，也可以在使用多种灯模式信息pat分别进行点亮状态识别处理后，采用匹配度最高的识别结果。关于灯模式信息pat的选择以及利用的详情，将会在后面说明。

1-5.总结以及效果

如上所述，根据本实施方式，信号识别系统10基于摄像头拍摄信息img，检测车辆1周围的对象信号机sx，取得信号检测信息dtc。信号检测信息dtc至少表示对象信号机sx的多个检测部分的各自的外观。

信号识别系统10为了识别对象信号机sx的点亮状态，不仅使用基于摄像头拍摄信息img的信号检测信息dtc，而且也使用独立于摄像头拍摄信息img的灯模式信息pat。灯模式信息pat表示信号机的n个灯部分之间的相对位置关系以及n个灯部分的各自的点亮时的外观。信号识别系统10将信号检测信息dtc与灯模式信息pat进行比较。而且，信号识别系统10将与对象信号机sx的多个检测部分的各自的外观匹配的n个灯部分的点亮状态识别为对象信号机sx的点亮状态。

如此，通过比较基于摄像头拍摄信息img的信号检测信息dtc与独立于摄像头拍摄信息img的灯模式信息pat来识别对象信号机sx的点亮状态，因此识别精度提高。再者，在该比较中，并非着眼于对象信号机sx的单一的检测部分，而是着眼于多个检测部分。这也有助于识别精度的提高。

信号检测信息dtc也可以表示对象信号机sx的多个检测部分的各自的外观和它们多个检测部分之间的相对位置关系。在该情况下，信号识别系统10将与对象信号机sx的多个检测部分的各自的外观以及多个检测部分之间的相对位置关系匹配的n个灯部分的点亮状态识别为对象信号机sx的点亮状态。由此，识别精度进一步提高。

以下，进一步详细地对本实施方式涉及的信号识别系统10进行说明。

2.信号识别系统的功能构成例

2-1.信号机地图信息

图15是用于对本实施方式中的信号机地图信息sg_map的一例进行说明的概念图。信号机地图信息sg_map是与信号机有关的地图信息。更详细而言，信号机地图信息sg_map按每个信号机(sg1、sg2、sg3…)表示出其位置[x，y，z]和朝向h。在此，位置[x，y，z]指的是绝对位置，在绝对坐标系(纬度、经度、高度)中定义。朝向h也在绝对坐标系中定义。这种信号机地图信息sg_map被预先制作。

2-2.灯模式数据库

图16是用于对本实施方式中的灯模式数据库pat_db的一例进行说明的概念图。灯模式数据库pat_db按每个信号机(sg1、sg2、sg3…)表示出要使用的灯模式信息pat(pat1、pat2、pat3…)。更详细而言，灯模式数据库pat_db将信号机(sg1、sg2、sg3…)的位置[x，y，z]与灯模式信息pat(pat1、pat2、pat3…)相关联而表示。也可以为，信号机的位置[x，y，z]以及朝向h与灯模式信息pat相关联。这种灯模式数据库pat_db被预先制作。

信号机地图信息sg_map与灯模式数据库pat_db也可以成为一体。也即是说，信号机地图信息sg_map也可以按每个信号机(sg1、sg2、sg3…)表示位置[x，y，z]、朝向h以及要使用的灯模式信息pat(pat1、pat2、pat3…)。

2-3.功能构成以及处理流程

图17是表示本实施方式涉及的信号识别系统10的功能构成例的框图。信号识别系统10具备信号检测部20、模式选择部30以及点亮状态识别部40。图18是表示本实施方式涉及的信号识别系统10的处理的流程图。参照图17以及图18，说明本实施方式涉及的信号识别系统10的处理。

2-3-1.步骤s10

搭载于车辆1的摄像头2拍摄车辆1周围的状况。摄像头拍摄信息img包含由摄像头2拍摄到的图像、即表示车辆1周围的状况的图像。信号检测部20取得摄像头拍摄信息img。

2-3-2.步骤s20

信号检测部20进行基于摄像头拍摄信息img来检测车辆1周围的信号机的“信号检测处理”。

首先，信号检测部20设定由摄像头拍摄信息img所示的图像中的“关注区域roi”(步骤s21)。如图19所示，关注区域roi指的是在图像中假设为存在信号机的区域。为了设定关注区域roi，可使用位置信息pos和上述的信号机地图信息sg_map(参照图15)。

位置信息pos表示绝对坐标系中的车辆1或者摄像头2的位置以及朝向。固定于车辆1的车辆坐标系中的摄像头2的设置位置以及设置方向是已知的。由此，根据绝对坐标系中的车辆1的位置以及朝向，能够算出绝对坐标系中的摄像头2的位置以及朝向。

基于摄像头2的位置以及朝向，能够从信号机地图信息sg_map中提取假设为正在由摄像头2拍摄的信号机。也即是说，信号检测部20基于位置信息pos和信号机地图信息sg_map，确定假设为正在由摄像头2拍摄的信号机。而且，信号检测部20基于摄像头2与所确定的信号机之间的相对位置关系，将存在所确定的信号机的图像区域设定为关注区域roi。也有一个图像中存在多个关注区域roi的情况。

在设定关注区域roi后，信号检测部20从关注区域roi内检测信号机。从图像中检测(提取)信号机的图像解析方法是众所周知的(例如，参照专利文献1)。通过预先设定关注区域roi，由此信号检测处理的计算量大幅削减。

通过该信号检测处理检测出的信号机是作为识别点亮状态的对象的“对象信号机sx”。信号检测部20取得表示对象信号机sx的检测结果的信号检测信息dtc。

如在图3～图9中说明的那样，信号检测信息dtc至少表示对象信号机sx的多个检测部分的各自的“外观”。例如，各检测部分的外观包括各检测部分的“颜色”。各检测部分的外观也可以还包括各检测部分的“点亮时的形状”。信号检测信息dtc也可以进一步表示出对象信号机sx的多个检测部分之间的“相对位置关系”。在知道相对位置关系的情况下，各检测部分的外观也可以包括各检测部分“是否已点亮”。

2-3-3.步骤s30

模式选择部30进行选择要使用的灯模式信息pat的“灯模式选择处理”。在本实施方式中，模式选择部30从灯模式数据库pat_db(图16)中选择要使用的灯模式信息pat(步骤s31)。

更详细而言是使用灯模式数据库pat_db和上述的位置信息pos。模式选择部30基于摄像头2的位置以及朝向，从灯模式数据库pat_db中确定假设为正在由摄像头2拍摄的信号机。所确定的信号机相当于对象信号机sx。而且，模式选择部30从灯模式数据库中取得(选择)与所确定的信号机(对象信号机sx)的位置相关联的灯模式信息pat。

2-3-4.步骤s40

点亮状态识别部40进行识别对象信号机sx的点亮状态的“点亮状态识别处理”。更详细而言，点亮状态识别部40通过比较信号检测信息dtc与灯模式信息pat，识别对象信号机sx的点亮状态(参照图3～图9)。

信号检测信息dtc至少表示出对象信号机sx的多个检测部分的各自的外观。灯模式信息pat表示出信号机的n个灯部分之间的相对位置关系以及n个灯部分的各自的点亮时的外观。点亮状态识别部40将与对象信号机sx的多个检测部分的各自的外观匹配的n个灯部分的点亮状态识别为对象信号机sx的点亮状态。

信号检测信息dtc也可以表示出对象信号机sx的多个检测部分的各自的外观和它们多个检测部分之间的相对位置关系。在该情况下，点亮状态识别部40将与对象信号机sx的多个检测部分的各自的外观以及多个检测部分之间的相对位置关系匹配的n个灯部分的点亮状态识别为对象信号机sx的点亮状态。

2-3-5.步骤s50

点亮状态识别部40生成表示点亮状态识别处理的结果的识别结果信息res。识别结果信息res被利用于车辆1的自动驾驶控制等。

3.信号识别系统的具体的构成例

以下，对本实施方式涉及的信号识别系统10的具体的构成例进行说明。

3-1.第1构成例

图20是表示本实施方式涉及的信号识别系统10的第1构成例的框图。在第1构成例中，信号识别系统10由搭载于车辆1的车载装置100实现。

车载装置100具备传感器群组110、通信装置120、行驶装置130以及控制装置140。

传感器群组110取得表示车辆1的驾驶环境的驾驶环境信息env。

图21是表示传感器群组110和驾驶环境信息env的例子的框图。传感器群组110包括位置传感器111、周边状况传感器112以及车辆状态传感器113。驾驶环境信息env包含位置信息pos、周边状况信息sit以及车辆状态信息sta。

位置传感器111检测车辆1的位置以及朝向。例如，位置传感器111包括检测车辆1的位置以及朝向的gps(globalpositioningsystem，全球定位系统)传感器。位置信息pos表示绝对坐标系中的车辆1或者摄像头2的位置以及朝向。固定于车辆1的车辆坐标系中的摄像头2的设置位置以及设置方向是已知的。由此，根据绝对坐标系中的车辆1的位置以及朝向，能够算出绝对坐标系中的摄像头2的位置以及朝向。

周边状况传感器112检测车辆1周围的状况。周边状况传感器112包括摄像头2。摄像头2拍摄车辆1周围的状况。典型地，摄像头2设置为能够拍摄车辆1前方的状况。周边状况传感器112也可以还包括激光雷达(lidar:laserimagingdetectionandranging)和/或雷达(radar)。周边状况信息sit是根据周边状况传感器112的检测结果所获得的信息。该周边状况信息sit包含摄像头拍摄信息img。摄像头拍摄信息img包含由摄像头2拍摄到的图像、即表示车辆1周围的状况的图像。

车辆状态传感器113检测车辆1的状态。车辆1的状态包含车辆1的速度(车速)、加速度、转向角、偏航率(yawrate)等。再者，车辆1的状态也包括由车辆1的驾驶员进行的驾驶操作。驾驶操作包括加速操作、刹车操作以及转向(操舵)操作。车辆状态信息sta表示由车辆状态传感器113检测出的车辆1的状态。

通信装置120与车辆1的外部进行通信。例如，通信装置120与车辆1外部的外部装置经由通信网络进行通信。

行驶装置130包括操舵装置、驱动装置和制动装置。操舵装置将车辆1的车轮进行转向。例如，操舵装置包括动力转向(eps:electricpowersteering)装置。驱动装置是产生驱动力的动力源。作为驱动装置，可例示电动机和发动机。制动装置产生制动力。

控制装置140控制车载装置100。控制装置140也被称为电子控制单元(ecu：electroniccontrolunit)。控制装置140具备处理器150以及存储装置160。处理器150执行保存于存储装置160的控制程序，由此实现各种处理。

控制装置140(处理器150)进行取得各种信息的信息取得处理。各种信息被保存于存储装置160。

例如，控制装置140(处理器150)从传感器群组110取得驾驶环境信息env，将该驾驶环境信息env保存于存储装置160。

另外，控制装置140(处理器150)从地图数据库map_db取得所需的地图信息map，将该地图信息map保存于存储装置160。地图信息map除了一般的道路地图和导航地图之外也包含上述的信号机地图信息sg_map(参照图15)。地图数据库map_db被保存于存储装置300。存储装置300既可以是车载装置100的一部分，也可以设置在车辆1的外部。在地图数据库map_db存在于车辆1的外部的情况下，控制装置140通过通信装置120访问地图数据库map_db，取得所需的地图信息map。

另外，控制装置140(处理器150)从灯模式数据库pat_db取得所需的灯模式信息pat，将该灯模式信息pat保存于存储装置160。灯模式数据库pat_db被保存于存储装置400。存储装置400既可以是车载装置100的一部分，也可以设置在车辆1的外部。在灯模式数据库pat_db存在于车辆1的外部的情况下，控制装置140通过通信装置120访问灯模式数据库pat_db，取得所需的灯模式信息pat。

图17中示出的信号检测部20、模式选择部30以及点亮状态识别部40是处理器150的功能块。信号检测部20、模式选择部30以及点亮状态识别部40通过由处理器150执行保存于存储装置160的计算机程序来实现。

处理器150基于驾驶环境信息env以及信号机地图信息sg_map，执行信号检测处理(步骤s20)，取得信号检测信息dtc。信号检测信息dtc被保存于存储装置160。另外，处理器150基于驾驶环境信息env以及灯模式数据库pat_db，执行灯模式选择处理(步骤s30)，取得灯模式信息pat。灯模式信息pat被保存于存储装置160。再者，处理器150基于信号检测信息dtc以及灯模式信息pat，执行点亮状态识别处理(步骤s40)，生成识别结果信息res(步骤s50)。识别结果信息res被保存于存储装置160。

处理器150基于识别结果信息res，进行车辆1的自动驾驶控制。自动驾驶控制包括操舵控制、加速控制以及减速控制中的至少一方。处理器150使行驶装置130(操舵装置、驱动装置、制动装置)适当地工作，进行操舵控制、加速控制以及减速控制中的所需的车辆控制。

3-2.第2构成例

图22是表示本实施方式涉及的信号识别系统10的第2构成例的框图。在第2构成例中，信号识别系统10由车辆1外部的外部装置200实现。外部装置200例如是管理服务器。

外部装置200具备通信装置220以及控制装置240。

通信装置220与外部装置200的外部进行通信。例如，通信装置220与车载装置100(参照图20)经由通信网络进行通信。

控制装置240控制外部装置200。控制装置240具备处理器250以及存储装置260。处理器250执行保存于存储装置260的控制程序，由此实现各种处理。

控制装置240(处理器250)进行取得各种信息的信息取得处理。各种信息被保存于存储装置260。

例如，控制装置240(处理器250)通过通信装置220从车载装置100取得驾驶环境信息env。驾驶环境信息env被保存于存储装置260。

另外，控制装置240(处理器250)从地图数据库map_db取得所需的地图信息map，将该地图信息map保存于存储装置260。地图数据库map_db被保存于存储装置300。存储装置300既可以是外部装置200的一部分，也可以设置在外部装置200的外部。在地图数据库map_db存在于外部装置200的外部的情况下，控制装置240通过通信装置220访问地图数据库map_db，取得所需的地图信息map。

另外，控制装置240(处理器250)从灯模式数据库pat_db取得所需的灯模式信息pat，将该灯模式信息pat保存于存储装置260。灯模式数据库pat_db被保存于存储装置400。存储装置400既可以是外部装置200的一部分，也可以设置在外部装置200的外部。在灯模式数据库pat_db存在于外部装置200的外部的情况下，控制装置240通过通信装置220访问灯模式数据库pat_db，取得所需的灯模式信息pat。

图17中示出的信号检测部20、模式选择部30以及点亮状态识别部40是处理器250的功能块。信号检测部20、模式选择部30以及点亮状态识别部40通过由处理器250执行保存于存储装置260的计算机程序来实现。

处理器250基于驾驶环境信息env以及信号机地图信息sg_map，执行信号检测处理(步骤s20)，取得信号检测信息dtc。信号检测信息dtc被保存于存储装置260。另外，处理器250基于驾驶环境信息env以及灯模式数据库pat_db，执行灯模式选择处理(步骤s30)，取得灯模式信息pat。灯模式信息pat被保存于存储装置260。再者，处理器250基于信号检测信息dtc以及灯模式信息pat，执行点亮状态识别处理(步骤s40)，生成识别结果信息res(步骤s50)。识别结果信息res被保存于存储装置260。

处理器250也可以经由通信装置220将识别结果信息res提供给车载装置100。车载装置100的处理器150基于识别结果信息res，进行车辆1的自动驾驶控制。

3-3.第3构成例

信号识别系统10的功能(即信号检测部20、模式选择部30以及点亮状态识别部40)也可以分布于车载装置100的处理器150和外部装置200的处理器250。处理中所需的信息也可以分布于车载装置100的存储装置160、外部装置200的存储装置260、存储装置300和存储装置400。所需的信息通过通信而由车载装置100和外部装置200共享。

上述的第1～第3构成例也能够总结如下。即，信号识别系统10具备一个处理器(处理器150或者处理器250)或者多个处理器(处理器150以及处理器250)。另外，信号识别系统10具备一个或多个存储装置(存储装置160、260、300、400)。信号识别系统10的处理中所需的信息保存于一个或多个存储装置。一个或多个处理器访问一个或多个存储装置来取得所需的信息，并基于取得的信息执行上述的处理。

4.变形例

接着，说明变形例。将会适当省略与已进行的说明(图15～图22)重复的说明。

4-1.第1变形例

图23是表示第1变形例涉及的信号识别系统10的功能构成例的框图。在第1变形例中，省略了灯模式数据库pat_db。取而代之地，多种灯模式信息pat(pat1、pat2…)被预先保存于预定的存储装置(存储装置160或者存储装置260)。

图24是表示第1变形例涉及的信号识别系统10的处理的流程图。在步骤s30中，模式选择部30按顺序选择多种灯模式信息pat(步骤s32)。

点亮状态识别部40使用选择出的灯模式信息pat进行点亮状态识别处理(步骤s40)。识别结果信息res作为“临时的识别结果信息”被保存于预定的存储装置。在使用了所有的灯模式信息pat之前(步骤s45：否)，重复执行步骤s30和步骤s40。在对于所有的灯模式信息pat完成了点亮状态识别处理时(步骤s45：是)，处理前进至步骤s50。

在步骤s50中，点亮状态识别部40从多种临时的识别结果信息中采用匹配度最高的作为最终的识别结果信息res。

例如，在对象信号机sx的多个检测部分之间的“相对位置关系”与由灯模式信息pat所示的“相对位置关系”匹配的情况下，附加第1得分(score)。另外，在对象信号机sx的检测部分的“外观”与由灯模式信息pat所示的“外观”匹配的情况下，附加第2得分。外观匹配的检测部分的个数越多，则第2得分越高。另外，若不仅颜色而且形状也匹配，则第2得分更高。然后，采用第1得分与第2得分之和最高的临时的识别结果信息作为最终的识别结果信息res。

4-2.第2变形例

图25是表示第2变形例涉及的信号识别系统10的功能构成例的框图。在第2变形例中，省略了信号机地图信息sg_map。

在信号检测处理(步骤s20)中，信号检测部20在不设定关注区域roi的情况下检测车辆1周围的信号机。虽然搜索范围广，但能够利用公知的图像解析方法从图像中检测(提取)信号机。

4-3.第3变形例

图26是表示第3变形例涉及的信号识别系统10的功能构成例的框图。在第3变形例中，省略了灯模式数据库pat_db以及信号机地图信息sg_map。即，第3变形例是第1变形例和第2变形例的组合。

4-4.第4变形例

图27是表示第4变形例涉及的信号识别系统10的功能构成例的框图。点亮规则信息rul被预先保存于预定的存储装置(存储装置160或者存储装置260)。点亮规则信息rul表示与信号机的点亮状态有关的规则。例如，在日本的信号机的情况下，存在“圆形灯部分必须点亮一个”这一规则。

点亮状态识别部40进行点亮状态识别处理(步骤s40)。识别结果信息res作为“临时的识别结果信息”被保存于预定的存储装置。而且，点亮状态识别部40检查临时的识别结果信息是否与由点亮规则信息rul所示的规则匹配。

在仅有一个圆形灯部分已点亮的情况下，临时的识别结果信息有效。在该情况下，点亮状态识别部40采用该临时的识别结果信息作为最终的识别结果信息res。

另一方面，在没有圆形灯部分点亮的情况下、或者在两个以上的圆形灯部分已点亮的情况下，临时的识别结果信息无效。在该情况下，点亮状态识别部40将临时的识别结果信息废弃，维持上次的有效的识别结果信息res。

根据第4变形例，可抑制对象信号机sx的点亮状态的误识别。例如，可抑制由对象信号机sx的疑似(伪)点亮引起的误识别。

5.其他

5-1.灯罩

存在在信号机的灯部分的上部附设有灯罩的情况。灯模式信息pat也可以包含“有无灯罩”作为灯部分的属性信息。

例如，设为在绿色的圆形灯部分(绿信号灯)附设有灯罩。在完全没有检测出圆形灯部分的情况下，点亮状态识别部40视作绿色的圆形灯部分实际上已点亮，并进行点亮状态识别处理(步骤s40)。

5-2.闪烁信号

存在信号机的灯部分闪烁的情况。灯模式信息pat也可以包含“闪烁”作为灯部分的属性信息。

例如，考虑黄色的圆形灯部分(黄信号灯)闪烁的情况。灯模式信息pat表示“闪烁”作为黄色的圆形灯部分的属性信息。在对象信号机sx的检测部分在闪烁的情况下，点亮状态识别部40判定为该检测部分相当于黄色的圆形灯部分。