信息管理系统以及在该信息管理系统中使用的车载装置、图像管理服务器的制作方法

1.本发明涉及信息管理系统以及在该信息管理系统中使用的车载装置、图像管理服务器。


背景技术：

2.以往以来，作为这种系统，提出了具备与行车记录仪一起被车载的边界设备(edge device)、通过通信网连接于多个边界设备的行车记录仪信息服务器、以及与该通信网连接的外部服务器的系统(例如参照专利文献1)。在该系统中，边界设备提取通过行车记录仪拍摄到的图像的特征信息，基于特征信息检测是否发生了交通事故等的预定事件。并且，边界设备当检测到发生了预定事件时，将检测到预定事件时的图像的特征信息与拍摄到该图像的位置以及时刻的信息一起发送至行车记录仪信息服务器。行车记录仪信息服务器基于从边界设备取得的信息，生成表示所发生的交通事故的概要的事故概要信息，对外部服务器提供事故概要信息。外部服务器向利用该服务器的大量驾驶员提供与交通事故有关的信息。
3.现有技术文献
4.专利文献1：日本特开2019－197525号公报


技术实现要素：

5.发明要解决的技术问题
6.然而，在上述的系统中，从通过行车记录仪拍摄到的图像提取特征信息，在提取到了特征信息时，自动地向行车记录仪信息服务器发送图像和位置以及时刻的信息，因此，会发生不管有无需要都发送大量图像的情况。在该情况下，通信量变得过大。
7.本发明的信息管理系统以及在该信息管理系统中使用的车载装置、图像管理服务器的主要目的在于，抑制用户与图像管理服务器之间的包括稀少图像的图像的通信量、通信频度。
8.用于解决问题的技术方案
9.本发明的信息管理系统以及在该信息管理系统中使用的车载装置、图像管理服务器为了达成上述的主要目的而采用了以下手段。
10.本发明的信息管理系统，具备：
11.车载装置，其具有搭载于车辆的摄像头、对车辆状态进行检测的传感器、将由所述摄像头拍摄到的图像和由所述传感器检测到的车辆状态与时刻一起作为拍摄图像和检测车辆状态来进行存储的存储装置、能够传送所述拍摄图像和所述检测车辆状态的传送装置以及对所述摄像头和所述传送装置进行控制的控制装置；
12.便携终端，其能够取得并发送从所述传送装置传送来的所述拍摄图像和所述检测车辆状态；以及
13.图像管理服务器，其接收从所述便携终端发送来的所述拍摄图像和所述检测车辆状态，
14.所述信息管理系统的特征在于，
15.所述车载装置的所述控制装置执行使用存储于所述存储装置的拍摄图像中的被选择的选择图像和作为拍摄到所述选择图像时的车辆状态的选择车辆状态来判定所述选择图像是否为稀少图像的车辆侧判定处理，向所述便携终端传送通过所述车辆侧判定处理的执行而判定为所述选择图像是稀少图像的所述选择图像和所述选择车辆状态，
16.所述便携终端仅在由用户允许了发送时向所述图像管理服务器发送从所述车载装置传送来的所述选择图像和所述选择车辆状态，
17.所述图像管理服务器具备图像储存装置，所述图像储存装置储存从所述便携终端接收到的所述选择图像和所述选择车辆状态。
18.在该本发明的信息管理系统中，车载装置执行使用由摄像头拍摄并与时刻一起进行了存储的拍摄图像中的被选择的选择图像和拍摄到该选择图像时所检测到的车辆状态(选择车辆状态)来通过车辆侧判定处理判定选择图像是否为稀少图像的车辆侧判定处理，向便携终端传送通过车辆侧判定处理的执行而判定为选择图像是稀少图像的选择图像和选择车辆状态。便携终端仅在由用户允许了发送时向图像管理服务器发送从车载装置传送来的选择图像和选择车辆状态。图像管理服务器将从便携终端接收到的选择图像和选择车辆状态储存于图像储存装置。这样，在本发明的信息管理系统中，向便携终端传送在车载装置中使用选择图像和拍摄到选择图像时的车辆状态(选择车辆状态)来通过车辆侧判定处理判定为选择图像是稀少图像的选择图像和选择车辆状态。并且，仅在由用户允许了发送时，从便携终端向图像管理服务器发送选择图像和选择车辆状态。因此，与自动地向图像管理服务器发送选择图像中的符合预定条件的图像相比，能够对用户与图像管理服务器之间的包括稀少图像的动态图像的通信量、通信频度进行抑制。此外，“图像”包括静止画面、动态图像，在以下也是同样的。
19.在本发明的信息管理系统中也可以为，所述车载装置的所述控制装置选择由用户对所述拍摄图像指定了开始位置和结束位置时所指定的范围的图像来作为所述选择图像。即，通过用户的操作来对选择图像进行选择。由此，能够将用户感觉为是稀少图像的图像选择为选择图像。
20.在本发明的信息管理系统中也可以为，所述车载装置的所述控制装置在预定定时选择所述拍摄图像的预定范围的图像来作为所述选择图像。即，每预定定时而自动地对选择图像进行选择。例如，也可以设为：每预定时间而对选择图像进行选择，或者，每当在车辆中点火关闭(启动停止)时对选择图像进行选择。或者，也可以设为：在刚对拍摄图像进行拍摄之后将该图像选择为选择图像，对选择图像实施车辆侧判定处理，在判定为选择图像是稀少图像时，将判定为稀少图像的图像的前后数秒量的图像再次选择为选择图像。由此，不需要由用户进行选择图像的选择。
21.在本发明的信息管理系统中也可以为，所述车辆侧判定处理是如下处理：通过基于储存于所述图像储存装置的过去的图像来对所述选择图像进行评价，从而判定是否为稀少图像。能够使用储存于图像储存装置的过去的图像。在该情况下也可以为，所述车辆侧判定处理是如下处理：在基于对储存于所述图像储存装置的过去的图像中的事物或者事件进
行了学习的结果而无法识别所述选择图像中的事物或者事件时，判定为是稀少图像。即也可以为，基于是否能够通过人工智能图像识别处理识别选择图像中的事物或者事件，判定选择图像是否为稀少图像，该人工智能图像识别处理是通过对储存于图像储存装置的过去的图像中的事物或者事件进行图像识别来构建的。在这些情况下也可以为，所述车辆侧判定处理是如下处理：在基于所述选择车辆状态而所述选择图像是在道路上行驶期间中拍摄到的图像时，判定所述选择图像是否为稀少图像。由此，能够限定为车辆行驶在道路上时拍摄到的图像。
22.在本发明的信息管理系统中也可以为，所述图像管理服务器执行使用从所述便携终端接收到的所述选择图像和所述选择车辆状态来判定所述选择图像是否为稀少图像的服务器侧判定处理，将通过所述服务器侧判定处理的执行而判定为了所述选择图像是稀少图像的所述选择图像储存于所述图像储存装置。由此，图像管理服务器对于由用户选择以及允许而被从便携终端发送来的选择图像判定该选择图像是否为稀少图像，因此，能够设置足以进行稀少图像的判定的阶段。其结果，能够更适当地判定并储存稀少图像。在该情况下也可以为，所述服务器侧判定处理是在基于对储存于所述图像储存装置的过去的图像中的事物或者事件进行了学习的结果而无法识别所述选择图像中的事物或者事件时判定为是稀少图像的处理、且在预定定时进行所述学习的处理，所述终端侧判定处理是使用了以过去的特定的定时进行了所述学习的结果的处理。由此，能够将终端侧判定处理设为使用了服务器侧判定处理的处理，能够从便携终端向图像管理服务器发送更适当的选择图像和选择车辆状态。进一步，在该情况下也可以为，所述服务器侧判定处理是如下处理：在基于所述选择车辆状态而所述选择图像是在道路上行驶期间中拍摄到的图像时，判定所述选择图像是否为稀少图像。由此，能够限定为车辆行驶在道路上时拍摄到的图像。
23.本发明的车载装置是构成上述的本发明的信息管理系统的车载装置。即，本发明的车载装置是信息管理系统中的车载装置，所述信息管理系统具备：
24.车载装置，其具有搭载于车辆的摄像头、对车辆状态进行检测的传感器、将由所述摄像头拍摄到的图像和由所述传感器检测到的车辆状态与时刻一起作为拍摄图像和检测车辆状态来进行存储的存储装置、能够传送所述拍摄图像和所述检测车辆状态的传送装置以及对所述摄像头和所述传送装置进行控制的控制装置；
25.便携终端，其能够取得并发送从所述传送装置传送来的所述拍摄图像和所述检测车辆状态；以及
26.图像管理服务器，其接收从所述便携终端发送来的所述拍摄图像和所述检测车辆状态，
27.所述车载装置的所述控制装置向所述便携终端传送存储于所述存储装置的拍摄图像中的被选择的选择图像和作为拍摄到所述选择图像时的车辆状态的选择车辆状态，
28.所述便携终端仅在由用户允许了发送时向所述图像管理服务器发送从所述车载装置传送来的所述选择图像和所述选择车辆状态，
29.所述图像管理服务器具备图像储存装置，所述图像储存装置储存从所述便携终端接收到的所述选择图像和所述选择车辆状态，
30.所述车载装置的特征在于，
31.所述控制装置执行使用所述选择图像和所述选择车辆状态来判定所述选择图像
是否为稀少图像的车辆侧判定处理，向所述便携终端传送通过所述车辆侧判定处理的执行而判定为所述选择图像是稀少图像的所述选择图像和所述选择车辆状态。
32.该本发明的车载装置被使用于本发明的信息管理系统。在具备本发明的车载装置的信息管理系统中，车载装置执行使用由摄像头拍摄并与时刻一起进行了存储的拍摄图像中的被选择的选择图像和拍摄到该选择图像时所检测到的车辆状态(选择车辆状态)来通过车辆侧判定处理判定选择图像是否为稀少图像的车辆侧判定处理，向便携终端传送通过车辆侧判定处理的执行而判定为了选择图像是稀少图像的选择图像和选择车辆状态。便携终端仅在由用户允许了发送时，向图像管理服务器发送从车载装置传送来的选择图像和选择车辆状态。图像管理服务器将从便携终端接收到的选择图像和选择车辆状态储存于图像储存装置。这样，在具备本发明的车载装置的信息管理系统中，向便携终端传送在车载装置中使用选择图像和拍摄到选择图像时的车辆状态(选择车辆状态)来通过车辆侧判定处理判定为了选择图像是稀少图像的选择图像和选择车辆状态。并且，仅在由用户允许了发送时，从便携终端向图像管理服务器发送选择图像和选择车辆状态。因此，与自动地向图像管理服务器发送选择图像中的符合预定条件的图像相比，能够对用户与图像管理服务器之间的包括稀少图像的动态图像的通信量、通信频度进行抑制。
33.在本发明的车载装置中也可以为，所述控制装置选择由用户对所述拍摄图像指定了开始位置和结束位置时所指定的范围的图像来作为所述选择图像。即，通过用户的操作来对选择图像进行选择。由此，能够将用户感觉为是稀少图像的图像选择为选择图像。
34.在本发明的车载装置中也可以为，所述控制装置在预定定时选择所述拍摄图像的预定范围的图像来作为所述选择图像。即，每预定定时而自动地对选择图像进行选择。例如，也可以为：每预定时间而对选择图像进行选择，或者，每当在车辆中点火关闭(启动停止)时对选择图像进行选择。或者，也可以设为：在刚对拍摄图像进行拍摄之后将该图像选择为选择图像，对选择图像实施车辆侧判定处理，在判定为了选择图像是稀少图像时，将判定为了稀少图像的图像的前后数秒量的图像再次选择为选择图像。由此，不需要由用户进行选择图像的选择。
35.在本发明的车载装置中也可以为，所述车辆侧判定处理是如下处理：通过基于储存于所述图像储存装置的过去的图像来对所述选择图像进行评价，从而判定是否为稀少图像。能够使用储存于图像储存装置的过去的图像。在该情况下也可以为，所述车辆侧判定处理是如下处理：在基于对储存于所述图像储存装置的过去的图像中的事物或者事件进行了学习的结果而无法识别所述选择图像中的事物或者事件时，判定为是稀少图像。即也可以为，基于是否能够通过人工智能图像识别处理识别选择图像中的事物或者事件，判定选择图像是否为稀少图像，该人工智能图像识别处理是通过对储存于图像储存装置的过去的图像中的事物或者事件进行图像识别来构建的。在这些情况下也可以为，所述车辆侧判定处理是如下处理：在基于所述选择车辆状态而所述选择图像是在道路上行驶期间中拍摄到的图像时，判定所述选择图像是否为稀少图像。由此，能够限定为车辆行驶在道路上时拍摄到的图像。
36.本发明的图像管理服务器是构成上述的本发明的信息管理系统的图像管理服务器。即，本发明的图像管理服务器是信息管理系统中的图像管理服务器，所述信息管理系统具备：
37.车载装置，其具有搭载于车辆的摄像头、对车辆状态进行检测的传感器、将由所述摄像头拍摄到的图像和由所述传感器检测到的车辆状态与时刻一起作为拍摄图像和检测车辆状态来进行存储的存储装置、能够传送所述拍摄图像和所述检测车辆状态的传送装置以及对所述摄像头和所述传送装置进行控制的控制装置；
38.便携终端，其能够取得并发送从所述传送装置传送来的所述拍摄图像和所述检测车辆状态；以及
39.图像管理服务器，其接收从所述便携终端发送来的所述拍摄图像和所述检测车辆状态，
40.所述车载装置的所述控制装置执行使用存储于所述存储装置的拍摄图像中的被选择的选择图像和作为拍摄到所述选择图像时的车辆状态的选择车辆状态来判定所述选择图像是否为稀少图像的车辆侧判定处理，向所述便携终端传送通过所述车辆侧判定处理的执行而判定为了所述选择图像是稀少图像的所述选择图像和所述选择车辆状态，
41.所述便携终端仅在由用户允许了发送时向所述图像管理服务器发送从所述车载装置传送来的所述选择图像和所述选择车辆状态，
42.所述图像管理服务器具备图像储存装置，所述图像储存装置储存从所述便携终端接收到的所述选择图像和所述选择车辆状态，
43.所述图像管理服务器的特征在于，
44.执行使用从所述便携终端接收到的所述选择图像和所述选择车辆状态来判定所述选择图像是否为稀少图像的服务器侧判定处理，将通过所述服务器侧判定处理的执行而判定为了所述选择图像是稀少图像的所述选择图像储存于所述图像储存装置。
45.该本发明的图像管理服务器被使用于本发明的信息管理系统。在具备本发明的图像管理服务器的信息管理系统中，车载装置执行使用由摄像头拍摄并与时刻一起进行了存储的拍摄图像中的被选择的选择图像和拍摄到该选择图像时所检测到的车辆状态(选择车辆状态)来通过车辆侧判定处理判定选择图像是否为稀少图像的车辆侧判定处理，向便携终端传送通过车辆侧判定处理的执行而判定为了选择图像是稀少图像的选择图像和选择车辆状态。便携终端仅在由用户允许了发送时，向图像管理服务器发送从车载装置传送来的选择图像和选择车辆状态。图像管理服务器将从便携终端接收到的选择图像和选择车辆状态储存于图像储存装置。这样，在具备本发明的图像管理服务器的信息管理系统中，向便携终端传送在车载装置中使用选择图像和拍摄到选择图像时的车辆状态(选择车辆状态)来通过车辆侧判定处理判定为了选择图像是稀少图像的选择图像和选择车辆状态。并且，仅在由用户允许了发送时，从便携终端向图像管理服务器发送选择图像和选择车辆状态。因此，与自动地向图像管理服务器发送选择图像中的符合预定条件的图像相比，能够对用户与图像管理服务器之间的包括稀少图像的动态图像的通信量、通信频度进行抑制。进一步，图像管理服务器对于由用户选择以及允许而从便携终端发送来的选择图像判定该选择图像是否为稀少图像，因此，能够设置足以进行稀少图像的判定的阶段。其结果，能够更适当地判定并储存稀少图像。
46.在本发明的图像管理服务器中也可以为，所述服务器侧判定处理是通过基于储存于所述图像储存装置的过去的动态图像对所述选择图像进行评价来判定是否为稀少动态图像的预定判定处理被在预定定时进行更新的处理，所述终端侧判定处理是使以过去的特
定的定时被进行了更新的所述服务器侧判定处理和所述服务器侧判定处理中的至少一部分的判定精度降低了的处理。由此，图像管理服务器对于由用户选择以及允许而从便携终端发送来的选择图像，判定该选择图像是否为稀少图像，因此，能够设置足以进行稀少图像的判定的阶段。其结果，能够更适当地判定并储存稀少图像。
47.在本发明的图像管理服务器也可以为，所述服务器侧判定处理是在基于对储存于所述图像储存装置的过去的图像中的事物或者事件进行了学习的结果而无法识别所述选择图像中的事物或者事件时判定为是稀少图像的处理、且在预定定时进行所述学习的处理，所述终端侧判定处理是使用了以过去的特定的定时进行了所述学习的结果的处理。由此，能够将终端侧判定处理设为使用了服务器侧判定处理的处理，能够从便携终端向图像管理服务器发送适当的选择图像和选择车辆状态。进一步，在该情况下也可以为，所述服务器侧判定处理是如下处理：在基于所述选择车辆状态而所述选择图像是在道路上行驶期间中拍摄到的图像时，判定所述选择图像是否为稀少图像。由此，能够限定为车辆行驶在道路上时拍摄到的图像。
附图说明
48.图1是表示作为本发明的第1实施例的信息管理系统10的构成的概略的构成图。
49.图2是表示第1实施例的信息管理系统10具备的车载装置20的构成的概略的构成图。
50.图3是表示用户选择图像时由车载装置20的电子控制单元30执行的图像选择判定处理的一个例子的流程图。
51.图4是表示由便携终端120执行的图像发送处理的一个例子的流程图。
52.图5是表示由信息管理中心220的图像管理服务器230执行的图像储存处理的一个例子的流程图。
53.图6是表示变形例的图像储存处理的一个例子的流程图。
54.图7是表示由第2实施例的车载装置20的电子控制单元30执行的图像选择判定处理的一个例子的流程图。
具体实施方式
55.接着，使用实施例对本具体实施方式进行说明。
56.【实施例1】
57.图1是表示作为本发明的第1实施例的信息管理系统10的构成的概略的构成图，图2是表示第1实施例的信息管理系统10具备的车载装置20的构成的概略的构成图。如图所示，第1实施例的信息管理系统10具备被车载了的车载装置20、便携终端120以及图像管理中心220。
58.如图2所示，车载装置20搭载于将从驱动源22输出到驱动轴24的驱动力经由差速齿轮(differential gear)26传递至驱动轮28a、28b来进行行驶的汽车。作为驱动源22，可以举出发动机变速器系统、混合动力系统、电动汽车系统、燃料电池系统等，发动机变速器系统具备使用汽油、轻油等的碳氢化合物的燃料来进行驱动的发动机和自动变速器，混合动力系统具备发动机、马达以及蓄电池，电动汽车系统具备马达和蓄电池，燃料电池系统具
备马达、蓄电池以及燃料电池。
59.车载装置20具备摄像头60、各种传感器40、存储装置64、显示装置70、操作装置72、通信装置74、电子控制单元30。
60.摄像头60配置在车辆前方，例如可以使用组装在将车速、gps(global positioning system，全球定位系统)数据、时刻等与拍摄图像一起进行存储的行车记录仪的摄像头。此外，摄像头60也可以设为不仅是安装在车辆前方、也安装于车辆后方、车辆横向的摄像头。
61.作为各种传感器40，可以举出车速传感器49、车轮速传感器50、加速度传感器51、偏航率传感器52、坡度传感器53、gps(global positioning system)62等的对车辆的状态进行检测的传感器。
62.存储装置64例如由硬盘驱动器、ssd(solid state drive，固态硬盘驱动器)构成，可以使用组装在行车记录仪中的存储装置、与行车记录仪分开地设置的存储装置。
63.显示装置70例如作为液晶显示器来构成，可以使用组装于行车记录仪的显示装置、与行车记录仪分开地设置的显示装置。
64.操作装置72具备在使存储于存储装置64的图像(包括动态图像)显示于显示装置70、对显示于显示装置70的图像(包括动态图像)进行编辑时所使用的开关类，可以使用组装于行车记录仪的操作装置、与行车记录仪分开地设置的操作装置。
65.通信装置74具有通过有线方式或者无线方式来向便携终端120传送图像(包括动态图像)的功能(例如蓝牙(注册商标)的功能)，可以使用组装于行车记录仪的通信装置、与行车记录仪分开地设置的通信装置。
66.电子控制单元30是以cpu31为中心构成的微型计算机，在cpu31之外，具备存储程序等的rom32、暂时性地存储数据的ram32、存储数据等的闪速存储器34、具有定时器功能等的时刻计35、未图示的输入输出端口。电子控制单元30可以使用组装于行车记录仪的电子控制单元、与行车记录仪分开地设置的电子控制单元。另外，电子控制单元30也可以设为与进行车辆的行驶控制的单元和进行通过摄像头60拍摄到的图像的编辑、存储、传送等的控制的单元分体的电子控制单元。
67.来自各种传感器的信号经由输入端口被输入到电子控制单元30。作为经由输入端口而被输入到电子控制单元30的信号，可以举出来自点火开关42的点火信号、来自对变速杆43的位置进行检测的挡位传感器44的挡位、来自对加速踏板45的踏下量进行检测的加速踏板位置传感器46的加速器开度、来自对制动踏板47的踏下量进行检测的制动踏板位置传感器48的制动器位置等。另外，也可以举出来自车速传感器49的车速、来自车轮速传感器50的车轮速、来自加速度传感器51的加速度、来自偏航率传感器52的偏航率、来自坡度传感器53的路面坡度、来自gps62的gps数据(位置信息)等。进一步，也可以举出操作装置72的开关类的操作信号、来自驱动源22的表示驱动源22的状态的各种信号等。
68.从电子控制单元30经由输出端口输出各种控制信号。作为经由输出端口从电子控制单元30输出的控制信号，可以举出将由摄像头40拍摄到的图像(包括动态图像)与时刻一起存储于存储装置64的控制信号、将表示由各种传感器检测到的车辆的状态的信号与时刻一起存储于存储装置64的控制信号、在向便携终端120传送图像(包括动态图像)时输出给通信装置74的传送控制信号等。
69.便携终端120例如作为具有微型计算机的功能和电话功能的智能手机来构成。在便携终端120安装有应用软件，该应用软件取得从车载装置20通过有线方式或者无线方式传送来的图像，经由互联网、电话线路等的通信网与信息管理中心220进行通信。
70.信息管理中心220具备图像管理服务器230、图像储存装置240以及通信装置250。图像管理服务器230由通用的微型计算机构成，安装有与便携终端120进行通信的程序、对通过与便携终端120的通信取得的图像进行评价的程序等。图像储存装置240例如由硬盘驱动器、ssd(solid state drive)构成。
71.在第1实施例的信息管理系统10的车载装置20中，与点火开关42的接通断开无关地，由摄像头60拍摄到的图像总是与拍摄时刻一起被存储于存储装置64。另外，在车载装置20中，关于由各种传感器40检测到的车辆状态，也与点火开关42的接通断开无关地与检测时刻一起被存储于存储装置64。作为车辆状态，例如包括来自车速传感器49的车速、来自车轮速传感器50的车轮速、来自加速度传感器51的加速度、来自偏航率传感器52的偏航率、来自坡度传感器53的路面坡度、来自gps62的gps数据(位置信息)等中的至少一部分。此外，通过摄像头60进行的拍摄、通过各种传感器40进行的车辆状态的检测也可以设为限定在点火开关42被接通时。
72.接着，对这样构成的第1实施例的信息管理系统10中的动作进行说明。用户对车载装置20的操作装置74的开关类进行操作，使存储于存储装置64的图像(包括静止画面和动态图像。以下是同样的。)显示于显示装置72，对应该发送给信息管理中心220的图像的范围进行选择。图3是表示用户选择应该发送给信息管理中心220的图像时由车载装置20的电子控制单元30执行的图像选择判定处理的一个例子的流程图。
73.当执行图像选择判定处理时，电子控制单元30开始存储于存储装置64的图像在显示装置72中的显示(步骤s100)。接着，等待被输入应该传送给信息管理中心220的图像的开始位置(时刻)(步骤s110)，将所输入的位置(时刻)设定为开始位置(时刻)(步骤s120)。具体而言，当由用户输入进行操作装置74的快进开关、返回开关等的操作来输入应该传送给便携终端120的图像(动态图像)的开始位置时，将该位置设定为开始位置(开始时刻)。接着，等待被输入图像的结束位置(时刻)(步骤s130)，将所输入的位置设定为结束位置(时刻)(步骤s140)。同样地，当由用户进行操作装置74的快进开关、返回开关等的操作来输入应该传送的图像的结束位置时，将该位置设定为结束位置(结束时刻)。以下，将从开始位置(开始时刻)到结束位置(结束时刻)的图像称为选择图像。
74.接着，等待由用户进行稀少判定处理的“执行”的操作(步骤s150)。当由用户进行稀少判定处理的“执行”的操作时，电子控制单元30基于选择图像的图像数据或者车辆状态数据所包含的gps数据(位置信息)，判定选择图像的拍摄位置是否为道路上(步骤s160、s170)。例如，能够将gps数据与地图进行对照来判定是否为道路上。在判定为了选择图像的拍摄位置不是道路上时，不属于稀少图像而判断为不需要图像，删除选择图像的图像数据和车辆状态数据(步骤s240)，结束图像选择判定处理。
75.在步骤s170中判定为了选择图像的拍摄位置为道路上时，基于车辆状态数据，判定选择图像的拍摄是否是在行驶期间中进行的(步骤s180、s190)。例如，能够根据车速是否为阈值(3km/h、5km/h等)以上来判定是否为行驶期间中。在判定为了选择图像的拍摄不是在行驶期间中进行的时，不属于稀少图像而判定为不需要图像，删除选择图像的图像数据
和车辆状态数据(步骤s240)，结束图像选择判定处理。
76.在步骤s180中判定为了选择图像的拍摄是在行驶期间中进行的时，对于选择图像实施车辆侧ai图像识别处理(步骤s200)，判定是否能够识别选择图像中的事物、事件(步骤s210)。在第1实施例中，车辆侧ai图像识别处理是下载使用在图像管理服务器230中在预定定时被进行更新的服务器侧ai图像识别处理来调整后的车辆侧ai图像识别处理而得到的处理。作为服务器侧ai图像识别处理，在第1实施例中使用如下处理：针对判断为是稀少图像而储存于图像储存装置240的大量图像，对各图像中的事物、事件给与解而对各图像中的事物、事件进行机器学习，使用由此得到的已学习模型来对选择图像中的事物、事件进行识别。该机器学习以在图像储存装置240中储存了作为稀少图像的选择图像的定时或者每一定期间的定时或者所希望的定时反复进行，服务器侧ai图像识别处理被进行更新。在第1实施例中，车辆侧ai图像识别处理被使用这样的服务器侧ai图像识别处理进行调整，使用了其被下载且安装于便携终端120而得到的处理。因此，在步骤s200、s2210的处理中判定为了能够通过终端侧ai图像识别处理识别到选择图像的事物、事件时，能够判定为选择图像不是稀少图像。在该情况下，判断为选择图像是不需要图像而删除选择图像的图像数据和车辆状态数据(步骤s240)，结束图像选择判定处理。
77.在步骤s200、s210中判定为了无法通过车辆侧ai图像识别处理识别选择图像的事物、事件时，判定为选择图像是稀少图像。并且，等待由用户对选择图像进行“传送”的操作(步骤s220)。当由用户进行“传送”的操作时，向便携终端120传送选择图像的图像数据和车辆状态数据(步骤s230)，结束图像选择判定处理。对于从车载装置20向便携终端120的传送，在由用户通过有线方式或者无线方式将便携终端120与车载装置20连接、并启动了取得从便携终端120的车载装置20传送的图像、与信息管理中心220进行通信的应用软件的状态时进行该传送。
78.图3的图像选择判定处理的步骤s150、s210的稀少判定处理是选择性的处理，在未由用户进行稀少判定处理的“执行”的操作时，不进行稀少判定处理、步骤s220、s230的传送处理而结束图像选择判定处理。另外，步骤s220、s230的传送处理也是选择性的处理，在未由用户进行“传送”的操作时，即使通过稀少判定处理判定为是稀少图像，也不传送选择图像而结束图像选择判定处理。
79.接着，对接受了选择图像的传送的便携终端120的动作进行说明。图4是表示由便携终端120执行的图像发送处理的一个例子的流程图。该处理在便携终端120与车载装置20通过有线方式或者无线方式相连接、且启动了取得从便携终端120的车载装置20传送的图像并与信息管理中心220进行通信的应用软件时被加以执行。
80.当执行图像发送处理时，便携终端120首先取得从车载装置20传送的选择图像的图像数据和车辆状态数据(步骤s300)。即，通过在执行该步骤s300时执行图3的图像选择判定处理的步骤s220、s230，选择图像的图像数据和车辆状态数据被从车载装置20进行传送，由便携终端120进行取得。此外，这以后的处理与便携终端120和车载装置20有无通过有线方式或者无线方式实现的连接无关。
81.接着，等待由用户对选择图像进行“发送”的操作(步骤s310)。当由用户进行“发送”的操作时，向信息管理中心20发送选择图像的图像数据和车辆状态数据(步骤s320)，结束图像发送处理。这样的步骤s310、s320的选择图像的发送处理是选择性的处理，在未由用
户进行“发送”的操作时，不进行发送处理而结束图像发送处理。
82.接着，对信息管理中心220的图像管理服务器230的动作进行说明。图5是表示由信息管理中心220的图像管理服务器230执行的图像储存处理的一个例子的流程图。当被从便携终端120发送选择图像的图像数据和车辆状态数据时，信息管理中心220的图像管理服务器230接收选择图像的图像数据和车辆状态数据(步骤s400)，将选择图像作为稀少图像储存于图像储存装置240(步骤s410)，结束图像储存处理。选择图像被通过车载装置20的图像选择判定处理中的车辆侧ai图像识别处理判定为是稀少图像，因此，在图像管理服务器中，不对选择图像进行稀少判定处理，将选择图像作为是稀少图像来储存于图像储存装置240。
83.在以上说明的第1实施例的信息管理系统10中，车载装置20基于由摄像头60拍摄并与时刻一起进行了存储的图像中的由用户所选择了的选择图像的图像数据和拍摄到该选择图像时的车辆状态数据，判定选择图像是否为稀少图像。并且，向便携终端120传送判定为了选择图像是稀少图像的选择图像的图像数据和车辆状态数据。便携终端120仅在由用户允许了发送时，向图像管理服务器230发送选择图像的图像数据和车辆状态数据。图像管理服务器230当接收选择图像的图像数据和车辆状态数据时，将选择图像作为是稀少图像来储存于图像储存装置240。这样，在第1实施例的信息管理系统10中，在车载装置20中使用选择图像的图像数据和车辆状态数据来通过车辆侧ai图像识别处理判定选择图像是否为稀少图像，在判定为了选择图像是稀少图像时，向便携终端120传送选择图像的图像数据和车辆状态数据。并且，仅在由用户允许了发送时，向图像管理服务器230发送选择图像的图像数据和车辆状态数据。因此，与自动地向图像管理服务器发送选择图像中的符合预定条件的图像相比，能够对用户与图像管理服务器230之间的包括稀少图像的动态图像的通信量、通信频度进行抑制。
84.在第1实施例的信息管理系统10的车载装置20中设为了：对于选择图像，等待由用户进行稀少判定处理的“执行”的操作而进行选择图像是否为稀少图像的判定。但是，也可以设为：若设定了选择图像后，则不进行用户的操作，而进行选择图像是否为稀少图像的判定。
85.在第1实施例的信息管理系统10中，在实施例的信息管理系统10中设为了：图像管理服务器230当接收从便携终端120发送来的选择图像的图像数据和车辆状态数据时，将选择图像作为是稀少图像来储存于图像储存装置240。但是，也可以设为在图像管理服务器230中也进行稀少判定。在该情况下，代替图5的图像储存处理而进行图6的图像储存处理即可。
86.在图6的图像储存处理中，图像管理服务器230当接收选择图像的图像数据和车辆状态数据时(步骤s500)，与上述的图3的图像选择判定处理中的步骤s160～s190同样地，基于选择图像的图像数据或者车辆状态数据，判定选择图像是否是在道路上行驶期间中拍摄到的图像(步骤s510～s540)。在判定为了选择图像的拍摄位置不是道路上时、判定为了选择图像的拍摄不是在行驶期间中进行的时，不属于稀少图像而判断为不需要图像，删除选择图像的图像数据和车辆状态数据(步骤s580)，结束图像储存处理。在步骤s510～s540中判定为了选择图像是在道路上行驶期间中拍摄到的图像时，对选择图像实施实施服务器侧ai图像识别处理(步骤s550)，判定是否能够识别到选择图像中的事物、事件(步骤s560)。在上面关于服务器侧ai图像识别处理进行了描述。在判定为了无法通过服务器侧ai图像识别
处理识别选择图像的事物、事件时，判断为选择图像是稀少图像，将选择图像储存于图像储存装置240(步骤s570)，结束图像储存处理。另一方面，在判定为了能够通过服务器侧ai图像识别处理识别到选择图像的事物、事件时，判断为选择图像不是稀少图像、而是不需要图像，删除选择图像的图像数据和车辆状态数据(步骤s580)，结束图像储存处理。
87.通过这样的图像储存处理，能够仅将从便携终端120发送来的选择图像中的在道路上行驶期间中拍摄到的图像、且无法通过服务器侧ai图像识别处理识别图像的事物、事件的图像作为稀少图像来存储于图像储存装置240。储存于图像储存装置240的稀少图像不只是被使用于上述的服务器侧ai图像识别处理、终端侧ai图像识别处理，也被使用于自动驾驶中的图像识别处理，在稀少图像为事故图像的情况下也被使用于事故的解析、事故信息等。若设为这样通过图像管理服务器230进行图6的图像储存处理，则能够更适当地判定并储存稀少图像。
88.在图6的图像储存处理中设为了：在选择图像不是在道路上行驶期间中拍摄到的图像时，不进行基于服务器侧ai图像识别处理的稀少图像的判定。但是，也可以设为：若即使不处于行驶期间中、但选择图像是在道路上拍摄到的图像，则进行基于服务器侧ai图像识别处理的稀少图像的判定，若即使不处于道路上、但选择图像是在行驶期间中拍摄到的图像，则进行基于服务器侧ai图像识别处理的稀少图像的判定，或者，对与是否处于道路上、是否处于行驶期间中无关地拍摄到的选择图像进行基于服务器侧ai图像识别处理的稀少图像的判定。
89.在图6的图像储存处理中设为了：在选择图像不是在道路上行驶期间中拍摄到的图像时，不进行基于服务器侧ai图像识别处理的稀少图像的判定。但是，也可以设为：对于选择图像是在道路上行驶期间中、进一步在预定状态、例如加速度为第1阈值以上或者小于第2阈值的状态、偏航率为第3阈值以上或者小于第4阈值的状态、路面坡度为第5阈值以上或者小于第6阈值的状态中的任一状态时拍摄到的选择图像，进行基于服务器侧ai图像识别处理的稀少图像的判定。
90.【实施例2】
91.接着，对本发明的第2实施例的信息管理系统510进行说明。第2实施例的信息管理系统510采用与图1和图2所例示的第1实施例的信息管理系统10的硬件结构相同的硬件结构。因此，省略关于第2实施例的信息管理系统510的硬件结构的说明。
92.在第2实施例的信息管理系统510的车载装置20中，执行图7所示的图像选择判定处理。该处理在点火开关42接通时被加以执行。
93.当执行图像选择判定处理时，电子控制单元30等待经过预定时间(步骤s600)。预定时间例如可以使用5秒、10秒等。当经过预定时间时，将在预定时间前～当前时刻的期间由摄像头60拍摄到的图像设定为选择图像(步骤s610)。
94.接着，使用所设定的选择图像的图像数据和车辆状态数据，进行选择图像是否为稀少图像的稀少判定处理(步骤s620～s670)。该稀少判定处理与第1实施例的信息管理系统10的车载装置20执行的图3的图像选择判定处理中的步骤s180～s210的处理相同。
95.在步骤s620～s670中判定为了选择图像的拍摄是道路上行驶期间中进行的、且无法通过车辆侧ai图像识别处理识别选择图像的事物、事件时，判断为选择图像是稀少图像，向便携终端120传送选择图像的图像数据和车辆状态数据(步骤s680)。并且，判定点火开关
42是否断开(步骤s700)，在判定为了点火开关42未断开时，返回到步骤s600的等待经过预定时间经过的处理。另一方面，在判定为了点火开关42断开时，结束图像选择判定处理。
96.在步骤s630中判定为了选择图像的拍摄不是在道路上进行的时、在步骤s650中判定为了选择图像的拍摄不是在行驶期间中进行的时、或者在步骤s670中判定为了能够通过车辆侧ai图像识别处理识别到选择图像的事物、事件时，判断为选择图像不是稀少图像，解除选择图像的设定(步骤s690)。然后，判定点火开关42是否断开(步骤s700)，在判定为了点火开关42未断开时，返回到步骤s600的等待经过预定时间的处理。另一方面，在判定为了点火开关42断开时，结束图像选择判定处理。
97.在第2实施例的信息管理系统510中，与第1实施例的信息管理系统10同样地，在便携终端120中执行图4的图像发送处理，在信息管理中心220的图像管理服务器230中执行图5的图像储存处理。关于这些处理，省略上述的说明。
98.在以上说明的第2实施例的信息管理系统510中，车载装置20每当经过预定时间时，将在预定时间前～当前时刻的期间由摄像头60拍摄到的图像设定为选择图像，基于选择图像的图像数据和拍摄到该选择图像时的车辆状态数据，判定选择图像是否为稀少图像。并且，在判定为了选择图像是稀少图像时，向便携终端120传送选择图像的图像数据和车辆状态数据。便携终端120仅在由用户允许了发送时，向图像管理服务器230发送选择图像的图像数据和车辆状态数据。图像管理服务器230当接收到选择图像的图像数据和车辆状态数据时，将选择图像作为是稀少图像来储存于图像储存装置240。这样，在第2实施例的信息管理系统10中，在车载装置20中按每预定时间而设定选择图像，判定选择图像是否为稀少图像，向便携终端120传送判定为了是稀少图像的选择图像的图像数据和车辆状态数据。并且，仅在由用户允许了发送时，向图像管理服务器230发送选择图像的图像数据和车辆状态数据。因此，与自动地向图像管理服务器发送选择图像中的符合预定条件的图像相比，能够对用户与图像管理服务器230之间的包括稀少图像的动态图像的通信量、通信频度进行抑制。
99.在第2实施例的信息管理系统510的车载装置20中设为了：每当经过预定时间时设定选择图像，判定选择图像是否为稀少图像。但是，也可以设为：将与摄像头60的拍摄同时地拍摄到的图像设定为选择图像，判定选择图像是否为稀少图像。在该情况下也可以设为：在将选择图像判定为了是稀少图像时，将判定为了稀少图像的图像的预定时间(例如5秒)之前的图像作为开始位置(开始时刻)，并且，将未判定为稀少图像的图像的预定时间(例如5秒)之后的图像作为结束位置(结束时刻)，将开始位置(开始时刻)～结束位置(结束时刻)的图像设定为选择图像来传送至便携终端120。
100.在第2实施例的信息管理系统510的车载装置20中设为了：在点火开关42接通时，每当经过预定时间时设定选择图像，判定选择图像是否为稀少图像。但是，也可以设为：在点火开关40断开了以后，将点火开关42从接通到断开为止的期间由摄像头60拍摄到的图像设定为选择图像，判定选择图像是否为稀少图像。在该情况下也可以设为：按每预定时间而对点火开关42从接通到断开为止的期间由摄像头60拍摄到的图像进行区分，依次设定为选择图像，判定选择图像是否为稀少图像。
101.在第2实施例的信息管理系统510中设为了：图像管理服务器230当接收到从便携终端120发送来的选择图像的图像数据和车辆状态数据时，将选择图像作为是稀少图像来
储存于图像储存装置240。但是，也可以设为：进行图6的图像储存处理、其变形例的处理来在图像管理服务器230中也进行稀少判定。
102.在第1实施例的信息管理系统10、第2实施例的信息管理系统510的车载装置20中设为了：在选择图像不是在道路上行驶期间中拍摄到的图像时，不进行基于车辆侧ai图像识别处理的稀少图像的判定。但是，也可以设为：若即使不处于行驶期间中、但选择图像是在道路上拍摄到的图像，则进行基于车辆侧ai图像识别处理的稀少图像的判定，若即使不处于道路上、但选择图像是在行驶期间中拍摄到的图像，则进行基于车辆侧ai图像识别处理的稀少图像的判定，或者，对与是否处于道路上、是否处于行驶期间中无关地拍摄到的选择图像进行基于车辆侧ai图像识别处理的稀少图像的判定。
103.在第1实施例的信息管理系统10、第2实施例的信息管理系统510的车载装置20中设为了：在选择图像不是在道路上行驶期间中拍摄到的图像时，不进行基于车辆侧ai图像识别处理的稀少图像的判定。但是，也可以设为：对于选择图像是在道路上行驶期间中、进一步是在预定状态、例如加速度为第1阈值以上或者小于第2阈值的状态、偏航率为第3阈值以上或者小于第4阈值的状态、路面坡度为第5阈值以上或者小于第6阈值的状态中的任一状况时拍摄到的选择图像，进行基于车辆侧ai图像识别处理的稀少图像的判定。
104.在第1实施例的信息管理系统10、第2实施例的信息管理系统510的车载装置20中设为了：作为车辆侧ai图像识别处理，下载并安装使用在图像管理服务器230中在预定定时被进行更新的服务器侧ai图像识别处理来调整后的车辆侧ai图像识别处理。但是，只要是使用基于储存于图像识别装置240的稀少图像在预定定时进行了机器学习后的结果(已学习模型)来进行了调整，则也可以为不使用服务器侧ai图像识别处理。
105.在实施例中，将本发明作为信息管理系统10、信息管理系统510的形态来进行了说明，但既可以设为信息管理系统10、信息管理系统510具备的车载装置20的形态，也可以设为信息管理系统10具备的便携终端120的形态，还可以设为信息管理系统10、信息管理系统510具备的图像管理服务器230的形态。
106.对实施例的主要要素与在用于解决问题的技术方案一栏所记载的发明的主要要素的对应关系进行说明。在实施例中，摄像头60相当于“摄像头”，各种传感器40相当于“传感器”，存储装置64相当于“存储装置”，通信装置74相当于“传送装置”，电子控制单元30相当于“控制装置”，车载装置20相当于“车载装置”。另外，便携终端120相当于“便携终端”，图像管理服务器230相当于“图像管理服务器”，图像储存装置240相当于“图像储存装置”。
107.此外，实施例的主要要素与在用于解决问题的技术方案一栏所记载的发明的主要要素的对应关系是用于实施例具体地对用于解决问题的技术方案一栏所记载的具体形态进行说明的一个例子，因此，并不限定用于解决问题的技术方案一栏所记载的发明的要素。即，关于用于解决问题的技术方案一栏所记载的发明的解释，应该基于该栏的记载来进行，实施例不过是用于解决问题的技术方案一栏所记载的发明的具体的一个例子。
108.以上，使用实施例对用于实现本发明的形态进行了说明，但本发明丝毫不限定于这样的实施例，当然能够在不脱离本发明的宗旨的范围内通过各种形态来实施。
109.产业上的可利用性
110.本发明能够利用于信息管理系统、在该信息管理系统中使用的车载装置、图像管理服务器的制造产业等。