专利名称：调查装置和调查方法
技术领域：
在本文中讨论的实施例针对一种调查装置、调查程序以及调查方法。
背景技术：
由于车辆的通过和随时间的变化，在道路路面中出现诸如坑洼、车辙以及裂缝等退化。如果道路表面具有很少的退化，则道路的修理费用很低。因此，期望在早期阶段发现道路表面的退化。因此，正在讨论例如将摄像装置安装在定期地巡查道路的道路巡查车辆上等以拍摄道路，并且根据所拍摄的图像调查道路表面的退化。例如，提出了一种技术，该技术通过使用图像处理技术比较由安装在巡查车辆上的成像摄像装置在不同日期在同样的位置所拍摄的两个视频数据来检测道路、周边设施等的异常。此外，例如，提出了一种技术，该技术用于获得输入的图像与预先登记的背景图像之间基于像素的差别程度，并且基于差别程度判定是否存在侵入物体。专利文献1:日本公开特许公报第2002-357557号专利文献2:日本公开特许公报第2001-186511号然而，道路可能具有多个车道。因此，即使显示了过去在同样的路线上所拍摄的图像，也可能显示不同的成像目标。
发明内容
根据实施例的方面，一种调查装置包括:存储部，存储多条图像信息和多条位置信息，多条图像信息包括通过安装在车辆上的摄像部连续拍摄的多个道路图像，多条位置信息表示对应的多条图像信息的多个图像的拍摄位置；判定部，基于在存储部中存储的多条图像信息和多条位置信息，对于拍摄到被设定为调查目标的道路的图像信息的图像，以图像中的任意一个的拍摄位置作为用于具有对应拍摄位置的每个图像的基准，来判定图像的拍摄位置是否在容许值之内；生成部，当判定部判定拍摄位置在容许值之内时，生成同步地显示已经被判定为在容许值之内的图像的画面的画面信息，并且当拍摄位置被判定为超出容许值时，生成不显示已经被判定为超出容许值的图像的画面的画面信息；以及输出部，输出通过生成部生成的画面信息。
图1是示出包括调查装置的整个调查系统的示意配置的示例的图；图2是示出用于位置数据的标签的示例的图；图3是示出位置数据的数据配置的示例的图；图4是示出日期和时间输入画面的示例的图；图5是示出位置校正画面的示例的图；图6是示出视频数据指定画面的示例的图7是示出调查画面的示例的图；图8是示出不显示比较目标的图像的调查画面的示例的图；图9是示意地示出视频数据的回放的图；图10是示出回放画面的示例的图；图11是示出显示不同位置的回放画面的示例的图；图12是示出不显示比较目标的图像的回放画面的示例的图；图13是示出导出处理的步骤的流程图；图14是示出调查画面显示处理的步骤的流程图；图15是示出回放画面显示处理的步骤的流程图；图16是示意地示出通过数字静物摄像机(digital still camera)所拍摄的图像的回放的图；以及图17是示出执行调查程序的计算机的图。
具体实施例方式将参照
本发明的优选实施例。可以在与处理内容不矛盾的范围内适当地合并实施例。以下将说明调查系统的应用的情况。[a]第一实施例将说明根据第一实施例的调查系统。图1是示出包括调查装置的整个调查系统的示意配置的示例的图。如在图1中所示，调查系统10包括记录装置11、调查装置12以及终端13。记录装置11、调查装置12以及终端13可以交换各种信息。例如，记录装置11、调查装置12以及终端13经由网络14以可通信的方式连接，并且可以交换各种信息。这样的网络14的形态包括(无论是有线还是无线的)诸如包括移动电话的移动通信等任意通信网络、因特网(Internet)、LAN (局域网)以及VPN (虚拟专用网络)。此外，记录装置11和调查装置12可以经由存储卡15交换各种信息。记录装置11是安装在在道路上的行驶的车辆(诸如道路巡查车辆)上并且存储连续拍摄的道路图像和图像的拍摄位置的设备。记录装置11包括拍摄部(在下文中作为实施例中的示例被描述为摄像装置20。然而可以使用除了摄像装置以外的其它装置，只要该装置可以拍摄图像或视频。)、GPS (全球定位系统)单元21以及存储部22。摄像装置20连续地拍摄道路并且生成多个连续拍摄的道路图像的图像信息。例如，摄像装置20是安装在可以在车辆的前后方向上拍摄道路的位置上的视频摄像装置。摄像装置20以预定的帧频连续拍摄道路，并且生成连续拍摄的图像的视频数据22a作为图像信息。如果帧频约为在从行驶的车辆连续拍摄的过程中在相邻图像之间以重叠的方式呈现一部分道路的速度，则该巾贞频是足够的。例如，列举了 24fps (巾贞/秒)、30fps、60fps等。每当从GPS卫星接收信号时，GPS单元21基于接收到的信号计算由经度和纬度所表示的当前位置，并且生成包括当前位置和计算当前位置时的时间的数值数据22b。在存储部22中存储各种信息。例如，在存储部22中存储通过摄像装置20所生成的视频数据22a。此外，在存储部22中存储通过GPS单元21所生成的数值数据22b。存储部22的设备示例包括可以重写数据的诸如半导体存储器等存储装置(诸如快闪存储器和NVSRAM(非易失静态随机存取存储器))、硬盘以及光盘。存储部22中所存储的视频数据22a和数值数据22b经由网络14或存储卡15被传送至调查装置12。例如，记录装置11随时经由网络14将数值数据22b传送至调查装置12。此外，记录装置11通过用户操作将视频数据22a存储在存储卡15中。用户携带存储卡15以将存储卡15安装到调查装置12的读卡器30 (将在下文中描述);因此，视频数据22a被传送至调查装置12。数值数据22b和视频数据22a均可以经由存储卡15被传送至调查装置12。此外，数值数据22b和视频数据22a均可以经由网络14被传送至调查装置12。调查装置12是用于道路退化状态调查的物理服务器，并且是例如对进行数据感测和道路调查的公司提供的服务器计算机。终端13是进行道路调查的用户所使用的计算机，并且是例如对进行道路调查的公司提供的客户端计算机。调查装置12将各种操作画面的图像信息传送至终端13以显示各种操作画面，从终端13接收表示操作内容的操作信息，并因此能够使用户从终端13执行各种操作。调查装置12包括读卡器30、通信I/F (接口)31、存储部32以及控制部33。读卡器30是读取存储卡15中所存储的数据并且将数据写入存储卡15的接口。读卡器30经由存储卡15从记录装置11获取各种信息。例如，读卡器30从记录装置11获取视频数据22a。通信I/F 31包括至少一个端口并且是控制与记录装置11和终端13的通信的接口。通信I/F 31经由网络14从记录装置11获取各种信息。例如，通信I/F 31从记录装置11获取数值数据22b。此外，通信I/F 31经由网络14将各种信息传送至终端13，或经由网络14从终端13接收各种信息。例如，通信I/F 31将各种操作画面的图像信息传送到终端13。通信I/F 31从终端13接收表示在操作画面上的操作内容的操作信息。换言之，调查装置12将来自通信I/F 31的各种操作画面的图像信息输出以在终端13上显示。各种信息被存储在存储部32中。例如，视频数据32a、数值数据32b以及位置数据32c存储在存储部32中。存储部32的设备示例包括可以重写数据的诸如半导体存储器等存储装置(诸如快闪存储器和NVSRAM (非易失静态随机存取存储器))、硬盘以及光盘。视频数据32a是从记录装置11所获取的视频数据22a。在视频数据32a中存储当车辆行驶时通过记录装置11的摄像装置20连续拍摄的道路图像。数值数据32b是从记录装置11所获取的数值数据22b。在数值数据32b中存储当车辆行驶时通过记录装置11的GPS单元21所计算的道路位置和计算位置时的日期和时间。位置数据32c是表示在视频数据22a中所记录的图像的拍摄位置的信息。在本实施例中，位置数据32c以XML (可扩展标记语言)格式配置。图2是示出用于位置数据的标签的示例的图。如在图2中所示，位置数据32c包括数据名为“标题”、“日期”以及“点数据(pointData)”的项作为标签。“标题”是当嵌入数据名称和注释时所使用的标签。在本实施例中，通过道路被设置为注释。“日期”是当嵌入与位置相关的视频数据的记录开始日期和时间时所使用的标签。“点数据”是当嵌入每个图像的拍摄位置时所使用的标签。“点数据”还被发展为较低级项“lat”、“lng”、“m0Vie”以及“frame”的层。“lat”是当嵌入代表拍摄位置的纬度的坐标值时所使用的标签。“lng”是当嵌入代表拍摄位置的经度的坐标值时所使用的标签。“movie”是当嵌入与拍摄位置相关的视频数据的文件名时所使用的标签。“frame”是当嵌入与拍摄位置有关的图像的位置以及第一帧视频数据的经过时间(elapsedtime)时所使用的标签。
图3是示出位置数据的数据配置的示例的图。如在图3中所示，通过使用在图2中所描述的其各自的标签将数据嵌入到位置数据32c中。图3的示例示出通过“标题(caption)” 标签将“识别的 B 部分(IDENTIFIEDB SECTION)” 以及“道路 A (ROADA〃)”和“道路B (ROAD B")”分别嵌入作为位置数据和通过道路的数据名。此外，图3的示例通过“日期(date)”标签示出与位置相关的视频数据的记录开始日期和时间是“01/12/201110:00:00”。此外，图3的示例示出从文件名为“b2.flv”的视频数据开始起经过“12:55:45”的帧的图像的拍摄位置是纬度“33.23382”和经度“ 131.60612”。此外，图中示出从文件名为“b2.flv”的视频数据开始起经过“12:56:21”的帧的图像的拍摄位置是纬度“33.23356”和经度“131.60626”。此外，图中示出从文件名为“b2.flv”的视频数据开始起经过"12:56:87"的帧的图像的拍摄位置是纬度“33.23343”和经度"131.60623”。此夕卜，图中示出文件名为“b2.flv”的视频数据从开始起经过“12:57:45”的帧的图像的拍摄位置是纬度“33.23321”和经度“131.60627”。在本实施例中，关于位置，假定纬度是北纬并且经度是东经，并且省略代表它们的标志，但是，如果作为位置区分北纬、南纬、东经以及西经时则附上标志。例如，关于纬度，在北纬的情况下在前面附上“N”，在南纬的情况下在前面附上“S”。关于经度，在东经的情况下在前面附上“E”，在西经的情况下在前面附上“E”。位置数据32c是通过登记部33c (将在下文中描述)生成的，并且登记在存储部32中。此外，位置数据32c用于将要在生成部33f (将在下文中描述)中执行的处理中。返回到图1，控制部33是包括内部存储器的电子电路(诸如CPU)，并且包括识别部33a、校正部33b、登记部33c、接受部33d、判定部33e以及生成部33f。在本文中，GPS单元21以大约一至几秒的周期(长于摄像装置20的拍摄周期)计算位置。因此，仅部分图像的拍摄位置被记录在数值数据32b中。识别部33a进行各种识别。例如，识别部33a通过插值从在数值数据32b中包括的部分图像的拍摄位置来识别视频数据32a的多个帧的图像的拍摄位置。例如，识别部33a从视频数据32a的记录开始日期和时间以及帧频获得每帧的图像的拍摄时间和日期。识别部33a然后通过插值从在数值数据32b中所包括的位置计算得到的位置以及日期和时间来识别在每帧的图像的日期和时间时的拍摄位置。插值可以是诸如线性插值和样条插值等任一插值方法。关于记录开始日期和时间，如果记录开始日期和时间被记录在视频数据32a中，则可能以使用该日期和时间。此外，记录装置11将通过GPS单元21所进行的位置计算与通过摄像装置20进行的拍摄进行同步，并且如果拍摄期间的位置以及日期和时间被记录在数值数据32b中，则识别部33a可以将数值数据32b的拍摄期间的第一个日期和时间设定为记录开始日期和时间。此外，识别部33a可以将用于输入记录开始日期和时间的日期和时间输入画面的图像信息传送至终端13以显示日期和时间输入画面；并且将在日期和时间输入画面上输入的日期和时间设定为记录开始的日期和时间。图4是示出日期和时间输入画面的示例的图。如在图4中所示，日期和时间输入画面50设置有用于输入记录开始的日期和时间的输入区域51。在输入区域51中输入记录开始日期和时间之后，在日期和时间输入画面50上选择OK按钮52以指定记录开始日期和时间。校正部33b进行各种校正。例如，校正部33b校正已经通过识别部33a所识别的视频数据32a的图像的拍摄位置。校正部33b例如，将位置校正画面的图像信息传送至终端13以显示位置校正画面并且接受帧的图像的拍摄位置的校正，其中在位置校正画面中识别的视频数据32a的图像的拍摄位置被映射在地图上。图5是示出位置校正画面的示例的图。如在图5中所示,位置校正画面60包括显示区域61，显示区域61显示其中视频数据32a的帧的图像的拍摄位置已经被映射在地图上的图像。在图5的示例中，通过标记62表示在显示区域61中的被映射在地图上的拍摄位置。在位置校正画面60上，通过执行预定的移动操作(诸如拖拽标记62)可以移动标记62的位置。此外，在位置校正画面60上，通过执行预定的指定的操作(诸如点击标记62)将对应于标记62的图像显示在显示区域63中。在位置校正画面60上，在校正标记62的位置之后选择OK按钮64 ;因此，指定图像的校正后的拍摄位置。例如，校正部33b可以在地图上映射识别的视频数据32a的帧的图像的拍摄位置，并且执行地图匹配以在地图的道路上放置连接拍摄位置的路径，以自动地校正图像的拍摄位置。可以在存储部32中预登记地图信息，或可以适当地从服务供应商的服务器获取地图信息，以提供地图信息。登记部33c进行各种类型的登记。例如，如果通过位置校正画面60指定图像的拍摄位置，则登记部33c在地图上映射图像的指定的拍摄位置，并且根据拍摄位置识别已经通过的通过道路。登记部33c然后将识别出的通过道路设定为注释，并且在存储部32中登记表示通过位置校正画面60所指定的图像的拍摄位置的位置数据32c。接受部33d执行各种类型的接受。例如，接受部33d接收用于调查的视频数据32a的指定。例如，接受部33d将指定用于调查的视频数据32a的视频数据指定画面的图像信息传送至终端13，以显示视频数据指定画面，并且接受用于调查的视频数据32的指定。图6是示出视频数据指定画面的示例的图。如在图6中所示，视频数据指定画面70包括用于选择调查路径的选择区域71。在选择区域71中，从在存储部32中所存储的每个位置数据32c中读取视频数据32a的记录起始日期和时间以及注释中所存储的通过道路，并且对于每个位置数据32c逐行的显示记录开始日期和时间中的日期和通过道路。在图6的示例中，行71表示在2011年12月I日通过国道A和B。此外，行71b表示在2011年11月30日通过国道C和D。在视频数据指定画面70上，可以通过在选择区域71中所显示的任一行上执行预定的指定操作(诸如点击)来选择调查路径。在视频数据指定画面70的选择区域71中作为调查路径而选择的视频数据32a的图像用作基准图像(referenceimages)(将在下文中描述)。此外，视频数据指定画面70包括用于选择比较目标的视频数据32a的选择区域72。如果在视频数据指定画面70上选择了选择区域71中的任一行，则对于调查路径的每个通过道路在选择区域72中逐行地显示表示通过同样的道路的视频数据32a的记录开始日期和时间中的日期和通过道路，而不是显示选择的行的视频数据32a。图6的示例示出在选择区域71中选择了行71a的结果。在图6的示例中，行72a和72b示出作为表示通过国道A的视频数据32，存在表示在2011年12月2日通过国道A和国道E的视频数据32a和表示在2009年12月15日通过国道A和国道F的视频数据32a。此外，在图6的示例中，行72c和72d示出作为表示通过国道B的视频数据32，存在表示在2011年4月I日通过国道B和国道G的视频数据32a和表示在2010年11月15日通过国道B和国道H的视频数据32a。在视频数据指定画面70上，通过选择在选择区域71中所显示的任一行、选择在选择区域72中所显示的任一行以及随后选择OK按钮73来指定调查路径的视频数据32a和比较目标的视频数据32a。判定部33e进行各种判定。例如，关于调查路径的视频数据32a的图像，对于调查路径的通过道路中的每一个，判定部33e识别比较目标的视频数据32a的图像，该图像具有对应的拍摄位置。例如，关于调查路径的视频数据32a的图像，判定部33e基于调查路径和比较目标的视频数据32a的位置数据32c，将具有最近接拍摄位置的比较目标的视频数据32a的图像识别为具有对应拍摄位置的图像。对于具有对应的拍摄位置的每个图像，判定部33e然后以被设定为调查路径的视频数据32a的图像的拍摄位置为基准判定被设定为比较目标的视频数据32a的图像的拍摄位置是否在容许值之内。基于成像位置之间的距离定义容许值。具体地，基于多个图像的比较参照在每个图像中是否显示相同的地点来定义容许值。例如，在通过摄像装置20所拍摄的图像中示出的区域可以被设定为容许区域。图像中所示的区域的三维空间中的距离值可以通过之前的拍摄校正来决定，并且根据摄像装置20的固定角和摄像装置的视角(透镜可以示出的区域)计算得到。其被定义如下:在可以识别道路表面的图像的纵向方向上的限定幅度对应深度方向上的距离的容许值，并且在图像的横向方向上的区域宽度对应左右方向的距离的容许值。如果从两个成像位置拍摄相同的方向，则识别在来自两个成像位置的各自位置的图像中所示的区域，并且如果识别的区域彼此互相重叠，则它们被设定为成像目标。通过成像位置之间的距离判定在图像中所示的区域是否重叠。因此，可以通过成像位置之间的距离判定容许值。判定部33e通过使用依照成像位置之间的距离判定的容许值来判定是否在成像区域中显示了可以被比较的区域。在许多情况下，在道路上行驶在相同方向上的车辆被认为对相同的方向成像，并且因此仅可能通过成像位置来辨别。然而，即使拍摄位置相同，但如果拍摄方向不同，则在相同的情况下也不显示相同的地点。因此，拍摄区域是否重叠的计算可以考虑拍摄方向。例如，可以从紧邻的前一拍摄位置到确定目标的拍摄位置的移动方向获得拍摄方向。如果简化处理，容许值可以被设定为一个车道的距离。通过以这样的方式设定容许值，可以辨别对应的图像是否是在相同区间和相同车道上行驶过程中所拍摄的。生成部33f生成各种信息。例如，生成部33f生成各种画面(诸如调查画面和回放画面(将在下文中描述))的图像信息，并且将生成的图像信息传送至终端13以显示用于道路调查的各种画面。此外，在调查画面和回放画面上，如果判定部33e判定拍摄位置在容许值之内，则生成部33f同步地显示被判定为在容许值之内的图像，并且如果判定拍摄位置超出容许值，则已经被判定为超出容许值的图像被设定为不显示。例如，如果在如图6中所示的视频数据指定画面70上，指定了调查路径的视频数据32a和比较目标的视频数据32a并且选择了 OK按钮，则生成部33f将调查画面的图像信息传送至终端13以显示调查画面。图1是示出调查画面的示例的图。如在图1中所示,调查画面80包括显示区域81,该显示区域81显示其中被设定为调查路径的视频数据32a的图像的拍摄位置被映射在地图上的图像。在图7的示例中，通过标记82表示在显示区域81中的被映射在地图上的拍摄位置。此外，调查画面80包括显示作为基准图像的调查路径的视频数据32a的图像的显示区域83，和显示作为比较图像的比较目标的视频数据32a的图像的显示区域84。通过执行预定的指定操作(诸如点击标记82)，将对应于标记82的基准图像显示在调查画面80的显示区域83中。此外，如果以基准图像的拍摄位置为基准，比较目标的图像的对应的拍摄位置在容许值之内，则在调查画面80的显示区域84中同步地显示比较目标的图像。另一方面，如果以基准图像的拍摄位置为基准，比较目标的图像的对应的拍摄位置超出容许值，则不显示比较目标的图像并且在调查画面80的显示区域84中不显示图像。图8是示出不显示比较目标的图像的调查画面的示例的图。在图8的示例中，以基准图像的拍摄位置为基准，比较目标的图像的对应的拍摄位置超出容许值；因此，在显示区域84中显示“X”标记并且不显示比较目标的图像。调查画面80包括指示视频数据32a的回放的回放按钮85。如果在标记82上执行了指定操作，则生成部33f将指定的位置设定为回放开始位置，并且如果未在标记82上执行指定的操作，则生成部33f将调查路径的视频数据32a的开始设定为回放开始位置。如果选择了回放按钮85，则生成部33f将回放画面的图像信息传送至终端13以从回放开始位置起彼此相邻地回放调查路径的视频数据32a和比较目标的视频数据32a以显示在回放画面上。与调查路径的视频数据32a的图像同步地，在回放画面上显示对应的比较目标的视频数据32a的图像。图9是示意地示出视频数据的回放的图。生成部33f以拍摄时的帧频显示作为基准图像的调查路径的视频数据32a的图像。此外，生成部33f将作为比较图像的比较目标的视频数据32a的图像与调查路径的视频数据32a的图像同步地显示。图9中的示例示出基准图像的图像的间隔被设定为常数，并且比较图像的图像的宽度是改变的，并且因此依照基准图像显示对应的比较图像。依照基准图像，对应的比较图像被相继地显示在回放画面上。图10是示出回放画面的示例的图。如在图10中所示，回放画面90包括显示基准图像的显示区域91、显示比较目标的图像的显示区域92、指示回放/暂停的回放/暂停按钮93以及指示停止的停止按钮94。显示区域91显示被设定为调查路径的视频数据32a的图像。显示区域92显示被设定为比较目标的视频数据32a的图像。在视频数据32a的回放期间如果选择了回放/暂停按钮93，则回放/暂停按钮暂停视频数据32a的回放，并且在暂停期间如果选择了回放/暂停按钮93，则继续视频数据32a的回放。如果选择停止按钮94，则显示调查画面80。用户将显示在回放画面90上的基准图像和比较图像进行比较以调查道路的改变。即使单独地检查视频数据32a的每个图像，也可能难以辨别道路的退化与道路上的污垢。例如，可能难以辨别在视频中道路上所显示的黑色区域是水坑还是路面上的坑洞。此外，视频数据32a随当车辆行驶时的天气和道路拥堵而不同，并且可能难以通过图像处理辨别道路的退化。因此，调查装置12回放在彼此相连的不同时间所拍摄的道路的图像以有利于用户辨别退化状态。此外，视频数据32a中的每个具有不同的条件(诸如拍摄时车辆的行驶速度和车辆是否因为交通信号而停止)。因此，如果分别地以普通方式回放被设定为调查路径的视频数据32a和被设定为比较目标的视频数据32a，则图像的拍摄位置不对应；因此，对于用户难以了解道路的改变。因此，在回放画面上执行了依照基准图像显示对应的比较图像的回放。因此，用户可以比较在相同位置中的图像，并且因此更容易了解道路的改变。在图10的示例中，在基准图像和对比图像中示出退化95 (诸如道路表面的裂缝)。如果比较图10所示的回放画面90上的基准图像和比较图像，用户可以辨别出退化95在大约一年的时间中已经有了发展。图11是示出显示不同位置的回放画面的示例的图。同样地在图11中，在基准图像和对比图像中示出退化96 (诸如道路表面的裂缝)。如果比较图11所示的回放画面90上的基准图像和比较图像，用户可以辨别出退化96在大约一年的时间中没有太多发展。此外，如果以基准图像的拍摄位置为基准对应的比较目标的图像的拍摄位置超出容许值，则不显示比较目标的图像并且在回放画面90的显示区域92上不显示图像。图12是示出不显示比较目标的图像的回放画面的示例的图。同样地在示例12中，以基准图像的拍摄位置为基准对应的比较目标的图像的拍摄位置超出容许值；因此，在显示区域92中显示“X”标记，并且不显示对比目标的图像。接下来，将描述通过根据本实施例的调查装置12导出位置数据32c的导出处理的流程。图13是示出导出处理的步骤的流程图。例如，当通过行驶在道路上的记录装置11所获得的视频数据32a和数值数据22b存储在存储部22中时执行导出处理。例如，当在调查装置12上执行指示位置数据的导出的预定操作时，可以执行导出处理。如在图13中所示，识别部33a例如根据视频数据32a的记录开始的日期和时间以及帧频来识别视频数据32a的图像的拍摄日期和时间(步骤S10)。识别部33a然后通过插值从数值数据32b所包括的位置以及计算位置时的日期和时间来识别视频数据32a的图像的拍摄位置(步骤S11)。校正部33b致使终端13显示位置校正画面60并且接受视频数据32a的帧图像的拍摄位置的校正(步骤S12)。校正部33b判定是否已经选择了用于指示校正完成的位置校正画面60的OK按钮64 (步骤S13)。如果未指示校正的完成(步骤S13为否)，则校正部33b再次运行步骤S13并且等待用于完成校正的指令。另一方面，如果已经指示校正完成(步骤S13为是)，则登记部33c在地图上映射图像的指定拍摄位置，并且从拍摄位置中识别通过道路(步骤S14)。登记部33c然后将识别出的通过道路设定为注释，并且在存储部32中登记表示图像的拍摄位置的位置数据、通过位置校正画面60指定的拍摄位置(步骤S15)，并且结束处理。因此，位置数据32c被存储在存储部32中。接下来，将描述根据实施例的调查装置12致使终端13显示调查画面的调查画面显示处理的流程。图14是示出调查画面显示处理的步骤的流程图。例如，当选择了调查路径和比较目标的视频数据32a并且在视频数据指定画面70上选择了 OK按钮73时，执行调查画面显示处理。如在图14中所示，关于调查路径的视频数据32a的图像，对于调查路径的每个通过道路，判定部33e识别具有对应的拍摄位置的比较目标的视频数据32a的图像(步骤S20)。生成部33f生成调查画面80的图像信息以传送至终端13 (步骤S21 )，在调查画面80中被设定为调查路径的视频数据32a的图像的拍摄位置被映射在显示区域81中的地图上。生成部33f判定是否指定了调查画面80的显示区域81中的任一映射的标记82 (步骤S22)。如果指定了任一标记82 (步骤S22为肯定)，则判定部33e识别对应于指定的标记82的图像的比较目标的视频数据32a的图像(步骤S23)。判定部33e然后以指定的标记82的图像的拍摄位置为基准判定比较目标的视频数据32a的图像的拍摄位置是否在容许值之内(步骤S24)。
如果拍摄位置在容许值之内(步骤S24为是)，则生成部33f在显示区域83中设定调查路径的指定的图像，并且生成调查画面80的图像信息以传送至终端13 (步骤S25)，在调查画面80中在显示区域84设定比较目标的对应的图像。因此，显示了调查路径的指定图像和比较目标的对应的图像的调查画面80被显示在终端13上。另一方面，如果判定拍摄位置超出容许值(步骤S24为否)，则生成部33f在显示区域83中设定调查路径的指定图像，并且生成调查画面80的图像信息以传送至终端13，在调查画面80中在显示区域84设定了“X”标记(步骤S26)。因此，显示了调查路径的指定图像以及没有显示比较目标的对应的图像的调查画面80被显示在终端13上。如果未指定标记82 (步骤S22为否)，生成部33f判定是否指定了回放按钮85 (步骤S27)。如果指定了回放按钮85 (步骤S27为是)，则执行回放画面显示处理(将在下文中描述)(步骤S28)。如果未指定回放按钮85 (步骤S27为否)，则生成部33f判定是否执行了指示处理结束的预定的操作(步骤S29)。如果未执行指示处理结束的预定操作(步骤S29为否)，则移动至上述步骤S22。另一方面，如果执行了指示处理结束的预定的操作，则生成部33f结束处理。接下来，将描述根据实施例的调查装置12致使终端13显示回放画面的回放画面显示处理的流程。图15是示出回放画面显示处理的步骤的流程图。如在图15中所示，如果在调查画面80上指定了标记82，则生成部33f将指定的位置识别为回放开始位置，并且如果未指定标记82，则生成部33f将调查路径的视频数据32a的开始识别为回放开始位置(步骤S30)。生成部33f将被识别为回放开始位置的调查路径的视频数据32a的图像识别为显示目标的图像(步骤S31)。判定部33e识别对应于调查路径的视频数据32a的显示目标的图像的比较目标的视频数据32a的图像(步骤S32)。判定部33e然后以被设定为调查路径的视频数据32a的显示目标的图像的拍摄位置为基准，判定被设定为比较目标的视频数据32a的图像的拍摄位置是否在容许值之内(步骤S33)。如果判定该拍摄位置在容许值之内(步骤S33为是)，则生成部33f在显示区域91中设定显示目标的图像，并且生成回放画面90的图像信息以传送至终端13，在回放画面90中比较目标的对应的图像被设定在显示区域92中(步骤S34)。因此，显示调查路径的显示目标的图像和比较目标的对应图像的回放画面90被显示在终端13上。另一方面，如果判定拍摄位置超出容许值(步骤S33为否)，则生成部33f在显示区域91中设定显示目标的图像，并且生成回放画面90的图像信息以传送至终端13，在回放画面90中在显示区域92中设定“X”标记(步骤S35)。因此，显示了调查路径的显示目标的图像和不显示比较目标的对应图像的回放画面90被显示在终端13上。生成部33f判定是否选择了回放/暂停按钮93以指示暂停(步骤S36)。如果未指示暂停(步骤S36为否)，则移动至步骤S38 (将在下文中描述)。另一方面，如果指示了暂停(步骤S36为是)，则生成部33f再次判定是否选择了回放/暂停按钮93以指示回放(步骤S37)。如果未选择回放(步骤S37为否定)，则生成部33f再次移动至步骤S37以等待用于回放的指令。另一方面，如果选择了回放(步骤S37为是)，则移动至步骤S38 (将在下文中描述)。生成部33f判定是否选择了停止按钮94以指示回放的停止(步骤S38)。如果指示了回放的停止(步骤S38为肯定)，则生成部33f将结束回放画面显示处理并且返回上述的调查画面显示处理。另一方面，如果未指示回放停止(步骤S38为否)，则生成部33f判定在调查路径的视频数据32中是否存在下一帧(步骤S39)。如果存在下一帧(步骤S39为是)，则生成部33f将调查路径的视频数据32a的下一帧设定为显示目标的图像(步骤S40)，并且移动至上述步骤S32。另一方面，如果不存在下一帧(步骤S39为否)，则生成部33f结束回放画面显示处理，并且返回上述的调查画面显示处理。以这样的方式，调查装置12在存储部32中存储是多个道路图像的图像信息的多个视频数据32a，多个道路图像是通过安装在车辆上的摄像装置20连续拍摄的，并且是通过在各自道路上驾驶车辆若干次而拍摄的。换言之，调查装置在存储部32中存储通过安装在车辆上的拍摄部连续地拍摄的、包括多个道路图像的多条图像信息。此外，调查装置12在存储部32中存储表示它们各自对应的视频数据32a的图像的拍摄位置的多个位置数据32c。关于其中拍摄了被设定为调查目标的道路的视频数据32a的图像，对于具有对应的拍摄位置的每个图像，调查装置12以任一图像的拍摄位置为基准判定图像的拍摄位置是否在容许值之内。如果判定拍摄位置在容许值之内，则调查装置12生成用于同步地显示被判定为在容许值之内的图像的画面的画面信息。此外，如果判定拍摄位置超出容许值，则调查装置12生成其中不显示被判定为超出容许值的图像的画面的画面信息。调查装置12将生成的画面信息从通信I/F 31输出至终端13。因此，根据调查装置12，因为不显示被判定为超出容许值的不同车道的图像中的任意一个，所以可以消除不同车道的图像的比较。此外，调查装置12获取通过车辆一次行驶由摄像装置20所拍摄的视频数据22a和表示处于比摄像装置20的拍摄周期长的周期中的图像的拍摄位置的数值数据22b。调查装置12通过插值从由数值数据22b所表示的图像的拍摄位置来识别视频数据22a的图像的拍摄位置。调查装置12在存储部32中登记视频数据22a和表示识别出的图像的拍摄位置的位置数据32c。因此，根据调查装置12，即使在记录装置11中登记了视频数据22a的仅仅一部分图像的拍摄位置，也可以识别视频数据22a和调查道路的图像的拍摄位置。此外，调查装置12根据摄像装置20的固定角度和摄像装置20的视角，识别对应于可以识别道路表面的图像的纵向方向上的位置的深度方向上的距离，以及对应于处在纵向方向上的位置上的图像的横向方向上的区域宽度的左右方向上的距离。调查装置12然后根据在深度方向和左右方向上识别的距离计算在图像中所示的区域中的三维空间坐标，并且基于拍摄位置之间的距离是否被包括在所计算的坐标中而决定容许值。因此，根据调查装置12，通过使用确定的容许值来进行判定，可以判定是否是成像目标(成像目标由其中从两个重叠的成像位置拍摄图像的区域来示出)。此外，调查装置12接受被设定为基准的指定的图像。调查装置12以指定的图像的拍摄位置为基准判定每个图像的拍摄位置是否在容许值之内。因此，根据调查装置12，可能依照调查的对象和调查道路指定图像。例如，如果用在不同时间拍摄的同样的道路的两个视频数据32a进行调查，则可以通过比较之前的视频数据32a和作为基准的新的视频数据32a来判定当前的退化状态和退化的发展速度。例如，在图10的示例中，退化95本身很大，并且基准图像和比较图像之间的改变也很大；因此，能够判定退化的发展迅速并且需要紧急修复。此外，例如，在图11的示例中，退化96本身很小，并且基准图像和比较图像之间的改变很小；因此，能够判定退化的发展很慢并且不需要紧急修复。另一方面，如果使用不同时间拍摄的同样的道路的两个视频数据32a进行调查，可以通过比较新的视频数据32a和作为基准的旧的视频数据32a，对退化的发展进行调查。例如，如果在其中显示旧的视频数据32a的图像的基准图像中的退化很小，并且在显示新的视频数据32a的图像的比较图像中的退化很大，则能够判定这样的退化的速度很快。此外，例如，在图11的示例中，退化96本身很小，并且基准图像和比较图像之间的改变很小；因此，能够判定诸如退化96等退化的发展缓慢。[b]第二实施例到目前为止描述了与本公开的装置相关的实施例；然而，本公开的技术可以体现为上述实施例之外的各种形式。将在下面描述本发明所包括的其它实施例。例如，在第一实施例中描述了通过视频摄像装置所拍摄的视频数据被用作多个连续地拍摄的图像的图像信息的情况；然而本公开的装置不限于此。例如，可能使用通过数字静物摄影机连续地拍摄的多个图像的图像信息。同样地，如果通过数字静物摄影机以这样的方式拍摄道路，则与基准图像信息的图像同步地显示另一图像信息的图像，其中基准图像信具有在不同的时间拍摄了作为调查对象的道路作为基准的任一图像信息。图16是示意地示出通过数字静物摄影机所拍摄的图像的回放的图。生成部33f生成相继地显示基准图像信息的图像的图像的图像信息。此外，如果存在其中拍摄位置对应于基准图像信息的图像的的其它图像信息的图像，则生成部33f生成将要同步地显示的图像的图像信息。同样地在这种情况下，根据基准图像信息的图像的拍摄位置判定其它图像信息的图像的拍摄位置在容许值之内，同步地显示被判定为拍摄位置在容许值之内的图像，并且不显示被判定为拍摄位置超出容许值的图像。此外，在上述实施例中描述了以下情况:以被设定为调查路径的视频数据32a的图像的拍摄位置为基准，判定被设定为比较目标的视频数据32a的图像的拍摄位置是否在容许值之内。然而，本实施例不限于此。例如，可以根据通过对应于被设定为调查路径的视频数据32a的位置数据32c表示的拍摄位置随时间的改变获得车辆的行驶方向，并且可以判定关于相对于车辆的行驶方向的横向(cross)方向拍摄位置是否在容许值之内。例如，可以通过拍摄位置的最小二乘法和分析(诸如简单回归分析和多元回归分析)，从预定时间之前被判定为在容许值之内的拍摄位置获得车辆的行驶方向。例如，预定的时间可以被确定为几秒至几分钟。例如，相对于车辆的行驶方向的横向方向可能是垂直于在被判定为在容许值之内的拍摄位置的车辆的方向。此外，通过在预定时间之前从被判定为在容许值之内的拍摄位置获得车辆的平均行驶方向获得车辆的平均行驶方向，横向方向可以是垂直于平均行驶方向的方向。此外，在上述实施例中描述了以下情况，其中调查装置12将各种操作画面的图像信息从通信I/F 31输出以显示在终端13上，但是实施例不限于此。例如，各种操作画面的图像信息可以被输出至显示部(诸如显示器)，这些信息被提供给调查装置12以显示在显示部中，并且用于操作画面的操作信息可以从设置在调查装置12的操作部(诸如鼠标和键盘)获得。此外，在上述实施例中描述了以下情况:在调查画面80上彼此相连的显示不同时间所拍摄的相同道路的两个图像，但是实施例不限于此。例如，可以彼此相连的显示不同时间拍摄的相同道路的三个或更多的图像。此外，在图中所示的装置的组成元件是功能性和概念性的意义，并且不必如图中所示的那样物理地配置。换言之，装置的分散或集成的特定形态不限于图中所示的形式，并且其部分或整体可根据各种负荷、使用环境等而被配置成以任意单位功能地或物理地分散或集成。例如，可以适当地集成调查装置12的识别部33a、校正部33b、登记部33c、接受部33d、判定部33e和生成部33f中的处理部。此外，每个处理部的处理可以被适当地分离为多个处理部中的处理。此外，在处理单元中执行的处理功能的全部或部分可以通过CPU和程序实现(该程序由CPU解释和执行)，或可通过使用连线逻辑(wired logic)的硬件实现。调查程序另外，在以上描述的实施例中描述的各种处理可以通过使用计算机系统(诸如个人计算机或工作站)执行事先准备的程序而实现。在下文中，将描述执行具有与以上描述的实施例相同的功能的程序的计算机系统的示例。图17是示出执行调查程序的计算机的图。如在图17中所示，计算机300包括中央处理部(CPU)310、只读存储器(ROM)、硬盘驱动器(HDD) 320以及随机访问存储器(RAM) 340。单元310至340通过总线400互连。调查程序320被事先存储在HDD 320中，其执行与调查装置12的识别部33a、校正部33b、登记部33c、接受部33d、判定部33e以及校正部33f类似的功能。此外，各种信息存储在HDD 320中。例如，在HDD 320中存储对应于在图1中所示的视频数据32a和数值数据32b的视频数据320b和数值数据320c。CPU 310从HDD 320读取调查程序320a以布置到RAM 340中，并且执行使用HDD320中所存储的视频数据320a和数值数据320c的处理。换言之，调查程序320a执行与调查装置12的识别部33a、校正部33b、登记部33c、接受部33d、判定部33e以及校正部33f类似的功能。初始时不需要在HDD 320中存储调查程序320。例如，程序可存储在“便携式物理介质”(诸如插入到计算机300中的软盘(FD)、⑶-ROM、DVD盘、磁光盘或IC卡)中。在这样的情况下，计算机300可从它们中的任一个中读取程序并且执行该程序。另外，程序可存储在“另一计算机”中，“另一计算机”通过公共线、因特网、LAN、WAN等连接至计算机300。在这样的情况中，计算机300可被配置成从它们中的任一个中读取程序并且执行该程序。根据在本申请中所公开的调查装置的各个方面，当同步地显示多个图像时，可以仅回放同步地显示相同目标、对应它们的位置的图像。
权利要求
1.一种调查装置，包括: 存储部，存储多条图像信息和多条位置信息，所述多条图像信息包括由安装在车辆上的摄像部连续拍摄的多个道路图像，所述多条位置信息表示对应的多条图像信息的多个图像的拍摄位置； 判定部，基于在所述存储部中存储的所述多条图像信息和所述多条位置信息，关于拍摄了被设定为调查目标的道路的图像信息的图像，以所述图像中的任意一个的拍摄位置作为基准，针对具有对应拍摄位置的每个图像判定所述图像的拍摄位置是否在容许值之内； 生成部，当所述判定部判定所述拍摄位置在所述容许值之内时，生成同步地显示已经被判定为在所述容许值之内的图像的画面的画面信息，并且当所述拍摄位置被判定为超出所述容许值时，生成不显示已经被判定为超出所述容许值的图像的画面的画面信息；以及 输出部，输出由所述生成部生成的画面信息。
2.根据权利要求1所述的调查装置，还包括: 获取部，获取通过所述车辆行驶一次由所述拍摄部拍摄的图像信息，并且以比所述拍摄部的拍摄周期长的较长周期获取表示图像的拍摄位置的位置信息； 识别部，通过以在所述较长周期中拍摄的图像的数量在由所述获取部所获取的位置信息所表示的图像的拍摄位置之间进行插值，来识别所获取的图像信息的图像的拍摄位置；以及 登记部，在所述存储部中登记由所述获取部获取的所述图像信息和表示已经由所述识别部识别的所述图像的拍摄位置的所述位置信息。
3.根据权利要求1或2所述的调查装置，其中所述判定部根据所述拍摄部的固定角度和所述拍摄部的视角，识别与用于识别道路表面的图像的纵向方向上的位置对应的深度方向上的距离，并且识别与在所述纵向方向上的所述位置上的所述图像的横向方向上的区域宽度对应的左右方向上的距离，以计算在所述图像中所示的区域的三维空间中的坐标，以及基于拍摄位置之间的距离是否被包括在计算出的坐标中来决定所述容许值。
4.根据权利要求1或2所述的调查装置，进一步包括接受部，所述接受部接受将被设定为基准的图像的指定，其中 所述判定部以由所述接受部指定的图像的拍摄位置为基准，判定所述图像的拍摄位置是否在所述容许值内。
5.一种调查方法，包括: 基于多条图像信息和多条位置信息，关于拍摄了被设定为调查目标的道路的图像信息的图像，以所述图像中的任意一个的拍摄位置作为基准，针对具有对应拍摄位置的每个图像，由计算机判定所述图像的所述拍摄位置是否在容许值之内，其中所述多条图像信息包括由安装在车辆上的摄像部连续拍摄的多个道路图像，所述多条位置信息表示对应的多条图像信息的多个图像的拍摄位置；和 当所述拍摄位置被判定为在所述容许值之内时，生成同步地显示已经被判定为在所述容许值之内的图像的画面的画面信息，并且当所述拍摄位置被判定为超出所述容许值时，生成不显示已经被判定为超出所述容许值的图像的画面的画面信息。
全文摘要
本发明提供一种调查装置、调查程序以及调查方法。判定部基于存储部所存储的多条图像信息和多条位置信息，对于拍摄到被设定为调查目标的道路的图像信息的图像，以图像中的任意一个的拍摄位置作为用于具有对应拍摄位置的每个图像的基准，来判定图像的拍摄位置是否在容许值之内。当拍摄位置被判定为在容许值之内时，生成部生成同步地显示被判定为在容许值之内的图像的画面的画面信息。此外，当拍摄位置被判定为超出容许值时，生成部生成不显示被判定为超出容许值的图像的画面的画面信息。
文档编号H04N5/76GK103188469SQ20121049116
公开日2013年7月3日 申请日期2012年11月27日 优先权日2011年12月27日
发明者下村照雄, 十时伸, 葛西一良 申请人:富士通株式会社