本发明涉及图像处理系统、图像处理方法、信息处理装置和记录介质。
背景技术
存在基于对车辆周边的拾取图像来调查拥堵等的原因的技术。
例如，为了确定拥堵的原因，首先，系统收集车辆周边的拾取图像。接下来，系统基于所收集的图像检测作为拥堵的源头的车辆。然后，系统从多个方向拾取源头车辆所位于的源头地点的图像，并且基于所拾取的图像确定拥堵的原因。存在允许系统检测交通拥堵并且以这种方式确定拥堵的原因的技术(例如，日本专利申请公开第2008-65529号等)。
技术实现要素：
然而，可能从车辆收集数据例如使用相似参数拾取的图像，并且可能会产生偏差。在当以这种方式使数据的平衡较差时基于图像进行机器学习的情况下，机器学习的准确度可能会受到影响。然而，不可能掌握要被用于机器学习等的数据例如图像的平衡。
因此，根据本发明的实施方式的图像处理系统提供了使得可以掌握要被用于机器学习等的数据例如图像的平衡的技术。
根据本发明的第一方面的图像处理系统包括：车辆以及信息处理装置，其中，所述车辆包括：图像拾取装置；第一图像获取单元，其被配置成获取示出车辆周边的第一图像，第一图像由图像拾取装置拾取；以及位置数据发送单元，其被配置成向信息处理装置发送位置数据，位置数据指示车辆在第一图像被拾取时的位置，并且所述信息处理装置包括：位置数据接收单元，其被配置成从位置数据发送单元接收位置数据；第二图像获取单元，其被配置成获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；分组单元，其被配置成基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及分析单元，其被配置成分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
在以上方面中，图像处理系统可以基于位置数据和第二图像来确定第二图像的参数。然后，图像处理系统可以对第二图像分组并且可以分析参数的平衡。由此，可以知道要被用于后续步骤中执行的机器学习等的数据例如图像是否存在偏差。
此外，在平衡较差的情况下，图像处理系统可以例如通过添加用于修复较差平衡的图像来改善平衡。
可以掌握要被用于机器学习等的数据例如图像的平衡。
在以上方面中，信息处理装置还包括：图像请求单元，其被配置成基于分析单元的分析结果向车辆请求第三图像，第三图像是从第一图像中选择的并且通过其调整平衡的图像；图像接收单元，其从车辆接收第三图像；以及学习单元，其基于第二图像和第三图像执行学习并且生成学习数据库。
在以上方面中，车辆还包括：分析结果接收单元，其被配置成接收分析单元的分析结果；选择单元，其被配置成基于分析结果从第一图像中选择第三图像，第三图像是通过其调整平衡的图像；以及图像发送单元，其被配置成向信息处理装置发送第三图像，并且信息处理装置还包括：图像接收单元，其被配置成从车辆接收第三图像；以及学习单元，其被配置成基于第二图像和第三图像执行学习并且生成学习数据库。
在以上方面中，车辆还包括：地图数据获取单元，其被配置成获取指示车辆的当前位置、目的地和从当前位置到目的地的路径的地图数据；以及引导单元，其被配置成基于地图数据和学习数据库来执行对车辆行驶的路线的引导，并且引导单元被配置成使用地标来执行对交叉路口的引导。
在以上方面中，参数是第二图像被拾取的位置、第二图像被拾取的道路、第二图像被拾取的时间、天气、拾取第二图像的车辆的车辆类型、图像拾取装置的型号、关于拾取第二图像的车辆的控制信息、第二图像被拾取的位置周围的拥堵状态、第二图像被拾取的位置周围的拥挤状态、第二图像被拾取的位置周围的空间状态、拾取第二图像的车辆的车辆速度、拾取第二图像的车辆所位于的车道或其组合。
根据本发明的第二方面的图像处理方法包括：第一图像获取步骤，其中，车辆获取示出车辆的周边并且由图像拾取装置拾取的第一图像；位置数据发送步骤，其中，车辆向信息处理装置发送位置数据，该位置数据指示车辆在第一图像被拾取时的位置；位置数据接收步骤，其中，信息处理装置接收在位置数据发送步骤中发送的位置数据；第二图像获取步骤，其中，信息处理装置获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；分组步骤，其中，信息处理装置基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及分析步骤，其中，信息处理装置分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
根据本发明的第三方面的信息处理装置包括：位置数据接收单元，其被配置成接收位置数据，该位置数据指示车辆在第一图像被拾取时的位置，第一图像示出车辆的周边并且由车辆中装备的图像拾取装置来拾取，图像获取单元，其被配置成获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；分组单元，其被配置成基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及分析单元，其被配置成分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
根据本发明的第四方面的计算机可读非暂态记录介质记录程序，该程序使计算机执行：i)位置数据接收步骤，其中，计算机接收位置数据，位置数据指示车辆在第一图像被拾取时的位置，第一图像示出车辆的周边并且由车辆中装备的图像拾取装置拾取；ii)图像获取步骤，其中，计算机获取用于机器学习的多个第二图像，所述多个第二图像基于位置数据与车辆的位置有关；iii)分组步骤，其中，计算机基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组；以及iv)分析步骤，其中，计算机分析多个组之间的平衡，所述平衡是属于多个组的第二图像的数目的平衡。
附图说明
下面将参照附图描述本发明的示例性实施方式的特征、优点以及技术和工业意义，在附图中相同的附图标记表示相同的元素，并且在附图中：
图1是示出根据本发明的实施方式的图像处理系统的示例性整体配置和示例性硬件配置的图；
图2是示出根据本发明的第一实施方式的图像处理系统中的整体处理的示例的流程图；
图3是示出根据本发明的第一实施方式的图像处理系统中的示例性平衡分析的图；
图4是示出车辆中的示例性导航的图；
图5是示出根据本发明的第一实施方式的图像处理系统中的用于机器学习等的示例性处理的流程图；
图6是示出根据本发明的第二实施方式的图像处理系统中的整体处理的示例的流程图；
图7是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的示例的流程图；
图8是示出本发明的实施方式中的车辆行驶的示例性道路和示例性图像的图；
图9是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的修改的流程图；
图10是示出作为根据本发明的第三实施方式的图像处理系统中的第三图像的候选的图像的生成的示例的图；
图11是示出根据本发明的第一实施方式的图像处理系统的示例性功能配置的功能框图；
图12是示出根据本发明的第二实施方式的图像处理系统的示例性功能配置的功能框图；
图13是示出根据本发明的实施方式的图像处理系统中的示例性处理结果的图；以及
图14是示出比较示例的图。
具体实施方式
在下文中，将参照附图描述本发明的实施方式。
第一实施方式
示例性整体配置和示例性硬件配置
图1是示出根据本发明的实施方式的图像处理系统的示例性整体配置和示例性硬件配置的图。在所示出的示例中，图像处理系统is包括作为示例性图像拾取装置的摄像机cm和作为示例性信息处理装置的服务器sr。
如图所示，作为示例性图像拾取装置的摄像机cm被装备在车辆ca中。摄像机cm拍摄车辆ca的周边并且生成图像。例如，如图所示，摄像机cm拾取车辆ca的前方视野的图像。接下来，由图像获取装置im获取由摄像机cm生成的图像。此外，车辆ca装备有电子控制单元(ecu)ct和通信装置cd。
例如，图像获取装置im包括运算装置例如电子电路、电子控制单元(ecu)或中央处理单元(cpu)以及控制装置。图像获取装置im还包括辅助存储装置例如硬盘，并且存储从摄像机cm获取的图像。此外，图像获取装置im包括通信部分例如天线和处理集成电路(处理ic)，并且通过网络nw将图像发送到外部装置例如服务器sr。
ecuct是运算装置和控制装置的示例。ecuct连接至存储装置例如存储器。
通信装置cd通过网络nw执行用于与外部装置发送和接收数据的通信。例如，通信装置cd包括天线、处理电路等。
在此，可以设置多个摄像机cm和多个图像获取装置im。此外，可以设置多个车辆ca。
另一方面，服务器sr通过网络连接至车辆ca。例如，服务器sr包括cpush1、存储装置sh2、输入装置sh3、输出装置sh4和通信装置sh5。
服务器sr中包括的硬件资源通过总线sh6相互连接。硬件资源通过总线sh6发送和接收信号和数据。
cpush1包括运算装置和控制装置。存储装置sh2是主存储装置例如存储器。存储装置sh2还可以包括辅助存储装置。输入装置sh3是键盘等，并且输入来自用户的操作。输出装置sh4是显示器等，并且向用户输出处理结果等。通信装置sh5是连接器、天线等，并且通过网络nw、电缆等与外部装置发送和接收数据。
服务器sr不限于所示出的配置，并且例如还可以包括其他装置。此外，可以设置多个服务器sr。
示例性整体处理
图2是示出根据本发明的第一实施方式的图像处理系统中的整体处理的示例的流程图。在该图中，在图2的左侧示出车辆ca(参见图1)中的处理，并且另一方面，在图2的右侧示出服务器sr(参见图1)中的处理。
在步骤sa01中，图像处理系统利用车辆ca中包括的图像拾取装置来拾取图像。在下文中，将在步骤sa01中拾取的图像称为作为示例性第一图像的“图像img1”。例如，在车辆ca侧，以预设时间段拾取图像img1。
在步骤sa02中，图像处理系统从车辆ca向服务器sr发送位置数据。例如，位置数据是指示车辆ca的位置的以10m(米)为单位的坐标的数据或指示车辆ca的位置的链接号码的数据。
链接号码是允许识别道路地图上的节点和节点之间的路段的编号。节点是道路网络中的节点，并且具体地是交叉路口等。即，当发现找到链接号码时，图像处理系统可以基于先前输入的地图数据等来识别车辆ca所位于的道路。具体地，链接号码例如是“http://www.drm.jp/database/expression.html”中描述的编号。
位置数据是文本数据等，并且因此在数据量上小于图像数据等。因此，在图像处理系统中，可以在步骤sa02中减少通信量。
在步骤sb01中，图像处理系统接收从车辆ca发送的位置数据。即，在步骤sa02之后，图像处理系统接收服务器sr侧的位置数据。
在步骤sa03中，图像处理系统在车辆ca侧缓存第一图像。即，图像处理系统将在步骤sa01中拾取的图像img1保存在车辆ca侧。优选地将图像img1与位置数据、关于图像img1的图像拾取的参数等相关联地保存。
在步骤sb02中，图像处理系统在服务器sr侧获取第二图像。第二图像是先前输入的图像、从车辆ca定期发送的图像、其组合等。即，第二图像仅需要是从外部装置等收集的图像，并且输入路线等不受限制。在此，第二图像可以与第一图像部分相同。在下文中，将第二图像的示例称为“图像img2”。
在步骤sb03中，图像处理系统在服务器sr侧执行对图像img2的分组并且分析平衡。首先，在服务器sr中预先设置执行分析的参数。
参数是当图像img2被拾取时的状态等。具体地，参数是图像img2被拾取时的每个时间、图像img2被拾取时的每个天气等。
例如，在图像img2的图像处理之后确定参数。例如，通过在亮度等的图像处理之后调查图像img2，图像处理系统可以估计天气、时间等。此外，通过对图像img2的光流处理，图像处理系统可以估计车辆速度等。为了确定参数，可以使用传感器数据等。例如，可以基于速度传感器的数据来确定车辆速度。另外，可以通过从外部装置获取气象数据等来确定天气的参数。类似地，可以通过获取时间数据来确定时间的参数。此外，可以根据位置数据来确定图像被拾取的位置的参数等。
此外，参数是配备有拾取图像img2的图像拾取装置的车辆的每种车辆类型、拾取图像img2的图像拾取装置的每个附接位置、拾取图像img2的图像拾取装置的每个型号(model)等。当在后续步骤中执行图像识别处理时，优选地将车辆类型、位置、型号等设置成参数。
此外，参数是在图像img2被拾取时将前灯设置成远光灯还是近光灯的车辆控制信息等。当在后续步骤中执行图像识别处理时，优选地将控制信息设置成参数。
另外，参数是指示图像img2被拾取的位置周围的拥堵状态、拥挤状态或者空间状态、车辆速度等的数据。当在后续步骤中使用交通信息时，优选地将数据设置成参数。例如，车辆速度可以是单位为10km/h(千米每小时)等的车辆速度。
此外，参数是指示拾取图像img2的车辆所位于的车道的车道数据。当在后续步骤中使用交通信息时或者当在后续步骤中执行图像识别处理时，优选地将车道数据设置成参数。
在步骤sb03中，首先，图像处理系统将具有相同参数的图像img2设置成一组。然后，图像处理系统分析关于组间图像数目是否大致相等的平衡。例如，如下分析平衡。
图3是示出根据本发明的第一实施方式的图像处理系统中的示例性平衡分析的图。例如，如图所示，图像处理系统将图像img2分组成三个状态：“状态1”，“状态2”和“状态3”。具体地，假设参数是“天气”。此外，假设“状态1”是“晴朗”组，“状态2”是“多云”组，并且“状态3”是“下雨”组。在该图中，横坐标轴表示状态并且纵坐标轴表示图像的数目。在该示例中，图像img2包括许多属于“状态1”的组的图像。具体地，最多收集的图像是在“晴朗”天拾取的图像，并且第二多收集的图像是在“多云”天拾取的图像。在示例中，最少收集的图像是在“下雨”天拾取的图像。在下文中，所示平衡的情况将被作为示例描述。
在该示例中，对“状态1”存在偏差，并且图像处理系统输出较差平衡的分析结果。具体地，基于“状态1”，“状态2”的图像的数目少于“状态1”的图像的数目，差为df1。此外，基于“状态1”，“状态3”的图像的数目少于“状态1”的图像的数目，差为df2。另一方面，当不存在差时或者当差等于或小于预定值时，图像处理系统输出良好平衡的分析结果。在较差平衡的分析结果的情况下，图像处理系统确定调整平衡。
在步骤sb04中，图像处理系统确定是否在服务器sr侧调整平衡。即，图像处理系统基于步骤sb03中的分析结果来确定是否调整平衡。
接下来，当图像处理系统确定图像处理系统调整平衡时(步骤sb04中为是)，图像处理系统进行到步骤sb05。另一方面，当图像处理系统确定图像处理系统不调整平衡时(步骤sb04中为否)，图像处理系统进行到步骤sb07。
在步骤sb05中，图像处理系统从服务器sr侧向车辆侧请求图像。即，在图3中示出的示例的情况下，在步骤sb05中，图像处理系统调整平衡，使得差df1和差df2减小。具体地，在图3中示出的示例的情况下，图像处理系统向车辆ca请求满足“状态2”的图像，以用于减小差df1。类似地，图像处理系统向车辆ca请求满足“状态3”的图像，以用于减小差df2。
在步骤sa04中，图像处理系统确定是否已经请求图像。即，当执行步骤sb05时，图像处理系统确定已经请求了图像。
接下来，当图像处理系统确定已经请求了图像时(步骤sa04中为是)，图像处理系统进行到步骤sa05。另一方面，当图像处理系统确定还未请求图像时(步骤sa04中为否)，图像处理系统结束处理。
在步骤sa05中，图像处理系统从第一图像中选择所请求的图像(在下文中，将从第一图像中选择的图像称为“第三图像”)，并且发送所选择的图像。即，在图3中示出的示例的情况下，图像处理系统从图像img1中选择满足“状态2”的图像和满足“状态3”的图像，并且将所选择的图像作为第三图像从车辆ca发送到服务器sr。
在步骤sb06中，图像处理系统接收第三图像。即，图像处理系统在服务器sr侧接收在步骤sa05中发送的图像img1。
在步骤sa04、步骤sa05、步骤sb05和步骤sb06中，通过所谓的推送(push)通信，图像处理系统通过添加允许补偿差的第三图像来调整平衡。
在步骤sb07中，图像处理系统执行机器学习等。例如，假设如下执行导航的情况。
图4是示出车辆中的示例性导航的图。
例如，假设车辆ca如图所示行驶到目的地。如图所示，车辆ca在作为到目的地的路线的以下路线(由图中箭头所示的路线)上行驶，车辆ca沿着该路线在车辆ca前方的交叉路口cr处向右转弯。即，在这种情况下，在车辆ca中装备有所谓的汽车导航装置的情况下，汽车导航装置通过语音、图像、其组合等引导操作车辆ca的驾驶员，使得车辆ca在交叉路口cr处向右转弯。
此外，例如，当车辆ca从外部装置接收地图数据dm或者通过来自记录介质的输入获取地图数据dm时，车辆ca可以掌握车辆ca的位置、交叉路口cr的位置、目的地在从交叉路口cr的向右方向上的事实等。
在下文中，所示出的情况将被作为示例描述。使用图像处理系统的情况不限于所示出的情况，并且例如，可以在除了交叉路口以外的情况中使用图像处理系统。
此外，如图所示，假设汽车导航装置期望使用布置在交叉路口cr附近的标识牌(signboard)lm作为地标来执行对路线的引导。在这种情况下，在车辆ca中，由图像拾取装置拾取车辆ca的前方视野的图像，并且执行对所拾取的图像上的标识牌lm的图像识别。例如，对于这种图像识别，期望基于包含标识牌lm的图像来执行机器学习，如下所述。
图5是示出根据本发明的第一实施方式的图像处理系统中的用于机器学习等的示例性处理的流程图。在图2中示出的步骤sb07中，例如执行图5中示出的处理。
在步骤sb0701中，图像处理系统确定要被用于机器学习的图像的平衡是否良好。即，当在图2中示出的步骤sa04、步骤sa05、步骤sb05、步骤sb06等中调整了平衡时，如图3中示出的偏差较小，并且要被用于机器学习的图像通常是较好地平衡的。在这种情况下，图像处理系统确定要被用于机器学习的图像的平衡良好。
接下来，当图像处理系统确定要被用于机器学习的图像的平衡良好时(步骤sb0701中为是)，图像处理系统进行到步骤sb0702。另一方面，当图像处理系统确定要被用于机器学习的图像的平衡不佳时(步骤sb0701中为否)，图像处理系统结束图5中示出的处理。
在步骤sb0702中，图像处理系统执行对标识牌等的学习。具体地，如图4所示，在使用标识牌lm来引导的情况下，图像处理系统使用包含标识牌lm的图像来执行学习。由此，图像处理系统可以执行对图像上的标识牌lm的图像识别。
在步骤sb0703中，图像处理系统确定识别准确度是否增加。在该示例中，图像处理系统确定对图像上的标识牌lm的图像识别的识别准确度是否增加。即，图像处理系统基于由于步骤sb0702中的学习而产生的识别准确度是否比学习之前的识别准确度增加来确定识别准确度是否增加。
接下来，当图像处理系统确定识别准确度增加时(步骤sb0703中为是)，图像处理系统进行到步骤sb0704。另一方面，当图像处理系统确定识别准确度未增加时(步骤sb0703中为否)，图像处理系统结束图5中示出的处理。
在步骤sb0704中，图像处理系统更新学习数据库。即，图像处理系统在后续汽车导航等中使用更新的学习数据库。学习数据库可以被配置成由除了图像处理系统以外的外部装置使用。
第二实施方式
可以在车辆ca侧通过所谓的本地管理来调整平衡，而不是通过第一实施方式中的推送通信来调整平衡。
在下文中，整体配置和硬件配置与第一实施方式中的整体配置和硬件配置相同的情况将被作为示例描述。因此，将省略重复的描述。下面将主要描述不同点。第二实施方式与第一实施方式在整体处理上不同。
图6是示出根据本发明的第二实施方式的图像处理系统中的整体处理的示例的流程图。在该图中，相同的附图标记被分配给与第一实施方式中的处理相同的处理，并且将省略描述。
在步骤sb20中，图像处理系统将来自服务器sr的分析结果发送到车辆ca。即，图像处理系统将指示步骤sb03中分析的图像的平衡的数据发送到本地侧。
在步骤sa20中，图像处理系统在车辆ca侧接收分析结果。即，图像处理系统在车辆ca侧接收指示步骤sb20中发送的分析结果的数据。由此，车辆ca例如可以知道服务器sr侧的图像处于图3中示出的状态。因此，基于分析结果，车辆ca可以知道应该被发送到服务器sr以改善平衡的图像的参数。
在步骤sa21中，图像处理系统基于分析结果在车辆ca侧从第一图像中选择第三图像。具体地，在图3中示出的示例的情况下，图像处理系统在车辆ca侧从图像img1中选择满足“状态2”的第三图像和满足“状态3”的第三图像，并且在步骤sa05中发送所选择的图像。
因此，当在步骤sa21中将所选择的图像发送到服务器sr时，图像处理系统可以利用在步骤sa05中发送的图像来调整图像img2的平衡。
第三实施方式
车辆ca可以被配置成如下选择第三图像。
在下文中，如图4所示的汽车导航使用对象例如道路上的标识牌lm用于引导的情况将被作为示例描述。即，车辆ca期望向服务器sr发送包含标识牌lm的图像。例如，第三图像可以通过以下处理来选择。
图7是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的示例的流程图。例如，图7中示出的处理在第一图像被缓存之后并且在第三图像被发送到服务器sr之前的定时处在车辆ca侧执行。
在以下描述中，假设图像处理系统被设置成收集包含出现在车辆ca行驶的道路左侧的对象的图像。设置不限于左侧并且也可以采用其他设置例如设置到右侧。
在步骤s311中，图像处理系统确定车辆ca正在行驶的道路是否具有三个或更多车道。例如，图像处理系统可以通过例如对图像img1执行用于检测白线并且对存在于与行驶方向rd正交的方向上的白线进行计数的图像处理来计算车辆ca正在行驶的道路的车道的数目。
接下来，当图像处理系统确定车辆ca正在行驶的道路具有三个或更多车道时(步骤s311中为是)，图像处理系统进行到步骤s312。另一方面，当图像处理系统确定车辆ca正在行驶的道路不具有三个或更多车道时(步骤s311中为否)，图像处理系统结束处理。
在步骤s312中，图像处理系统确定车辆ca是否在最左侧车道上行驶。例如，通过对图像img1的图像处理、车辆ca的位置等，图像处理系统可以知道车辆ca是否在最左侧车道上。
接下来，当图像处理系统确定车辆ca在最左侧车道上行驶时(步骤s312中为是)，图像处理系统进行到步骤s313。另一方面，当图像处理系统确定车辆ca不在最左侧车道上行驶时(步骤s312中为否)，图像处理系统结束处理。
在步骤s313中，图像处理系统选择在当前行驶状态下拾取的图像img1作为第三图像的候选。
例如，车辆ca在以下道路上行驶的情况将被作为示例描述。
图8是示出本发明的实施方式中的车辆行驶的示例性道路和示例性图像的图。如图所示，假设车辆ca正在行驶方向rd(在该图中，在从下侧到上侧的方向上)上行驶。在该示例中，道路具有左车道lal、中央车道lac和右车道lar。因此，当车辆ca正在该道路上行驶时，图像处理系统在步骤s311中确定车辆ca正在行驶的道路具有三个或更多车道(步骤s311中为是)。
此外，当车辆ca正在左车道lal上行驶时，图像处理系统在步骤s312中确定车辆ca正在最左侧车道上行驶(步骤s312中为是)。
在车辆ca正在具有三个或更多车道的道路上行驶的情况下，如图所示，只有在车辆ca正在左车道lal上行驶时拾取的图像包含对象例如出现在车辆ca正在行驶的道路的左侧的标识牌lm。具体地，例如，获得图像img31作为在车辆ca正在左车道lal上行驶时拾取的图像。此外，例如，获得图像img32作为在车辆ca正在中央车道lac上行驶时拾取的图像。
在很多情况下，标识牌lm处于左车道lal上的图像拾取装置的角视场中，但是标识牌lm不处于中央车道lac或右车道lar上的图像拾取装置的角视场中。因此，在很多情况下，图像img31包含标识牌lm并且图像img32不包含标识牌lm，如图所示。因此，图像处理系统选择在车辆ca正在左车道lal上行驶时拾取的图像(如由图像img31所例示的那样)作为第三图像的候选(步骤s313)。同时，由于诸如图像img32的图像未被选择为第三图像，因此诸如图像img32的图像不被发送到服务器sr。因此，图像处理系统可以减少通信量。
即，图像处理系统可以通过将第三图像缩减为当车辆ca处于以下位置时拾取的图像(如由图像img31所例示的那样)来减少通信量：该位置允许对旨在用于通过机器学习进行图像识别的对象的图像拾取。
例如可以采用以下处理来替代图7中示出的处理。
图9是示出根据本发明的第三实施方式的图像处理系统中的第三图像的选择的修改的流程图。图9中示出的处理与图7中示出的处理不同，不同之处在于采用步骤s321替代步骤s313。下面将主要描述不同点。相同的附图标记被分配给相同的处理，并且将省略描述。
在步骤s313中，图像处理系统删除图像img1的右侧并且选择删除之后的图像作为第三图像的候选。具体地，在步骤s313中，图像处理系统如下生成图像。
图10是示出在根据本发明的第三实施方式的图像处理系统中的生成作为第三图像的候选的图像的示例的图。例如，假设所示出的图像img1作为第一图像被拾取并且被缓存。在步骤s313中，图像处理系统处理图像img1，以生成图像img33或图像img34。
具体地，图像img33是如图所示删除了图像img1的右侧的图像。由此，图像img33在数据量上比图像img1小。
此外，图像img34是图像img1的右侧被填充的图像。在这种情况下，确定不需要发送右侧的数据，并且因此，图像img34是可以以比图像img1更小的通信量发送的图像。
在机器学习等中(步骤sb07)，使用包含作为学习的目标的对象的图像。因此，在图像中，除了对象例如标识牌lm出现的范围以外的范围的数据通常对于机器学习等是不必要的。因此，如图所示，图像处理系统处理图像img1，以从图像img1中删除未被用于机器学习等的范围或者禁止将未被用于机器学习等的范围发送到服务器sr。由此，图像处理系统可以减少通信量。
示例性功能配置
图11是示出根据本发明的第一实施方式的图像处理系统的示例性功能配置的功能框图。例如，如图所示，图像处理系统is包括第一图像获取单元isf1、位置数据发送单元isf2、第二图像获取单元isf3、位置数据接收单元isf4、分组单元isf5和分析单元isf6。如图所示，图像处理系统is优选地具有还包括以下项的功能配置：图像请求单元isf7、图像接收单元isf8、学习单元isf9、引导单元isf10和地图数据获取单元isf11。在下文中，所示出的功能配置将被作为示例描述。
第一图像获取单元isf1执行获取示出车辆ca的周边的第一图像例如图像img1的第一图像获取步骤，该第一图像由图像拾取装置例如摄像机cm拾取。例如，第一图像获取单元isf1由图像获取装置im(参见图1)等实现。
位置数据发送单元isf2执行向服务器sr发送指示车辆ca的位置的位置数据pos的位置数据发送步骤。例如，位置数据发送单元isf2由通信装置cd(参见图1)等实现。
第二图像获取单元isf3执行获取第二图像例如图像img2的第二图像获取步骤。例如，第二图像获取单元isf3由通信装置sh5(参见图1)等实现。
位置数据接收单元isf4执行从位置数据发送单元isf2获取位置数据pos的位置数据接收步骤。例如，位置数据接收单元isf4由通信装置sh5(参见图1)等实现。
分组单元isf5执行分组步骤，该分组步骤基于指示图像拾取时的状态的参数来将多个第二图像划分成多个组。例如，分组单元isf5由cpush1(参见图1)等实现。
分析单元isf6执行分析步骤，该分析步骤分析作为属于多个组的第二图像的数目的平衡的多个组之间的平衡并且输出分析结果ans。例如，分析单元isf6由cpush1(参见图1)等实现。
图像请求单元isf7执行图像请求步骤，该图像请求步骤基于分析结果ans向车辆ca请求第三图像例如图像img3，第三图像从图像img1中选择并且通过第三图像调整平衡。例如，图像请求单元isf7由通信装置sh5(参见图1)等实现。
图像接收单元isf8执行从车辆ca接收图像img3的图像接收步骤。例如，图像接收单元isf8由通信装置sh5(参见图1)等实现。
学习单元isf9执行学习步骤，该学习步骤基于图像img2、图像img3等执行学习并且生成学习数据库db。例如，学习单元isf9由cpush1(参见图1)等实现。
引导单元isf10执行引导步骤，该引导步骤基于地图数据dm和学习数据库db来引导驾驶员dv沿着车辆ca行驶的路线。例如，引导单元isf10由ecuct(参见图1)等实现。
地图数据获取单元isf11执行地图数据获取步骤，该地图数据获取步骤获取指示车辆ca的当前位置、目的地以及从当前位置到目的地的路径的地图数据dm。例如，地图数据获取单元isf11由通信装置cd(参见图1)等实现。
例如，功能配置可以是以下功能配置。
图12是示出了根据本发明的第二实施方式的图像处理系统的示例性功能配置的功能框图。图12与图11的不同之处在于车辆ca包括选择单元isf20、图像发送单元isf21和分析结果接收单元isf22。下面将主要描述与图11的不同点。
选择单元isf20执行基于分析结果ans从图像img1中选择图像img3的选择步骤。例如，选择单元isf20由ecuct(参见图1)等实现。
图像发送单元isf21执行向服务器sr发送图像img3的图像发送步骤。例如，图像发送单元isf21由通信装置cd(参见图1)等实现。
分析结果接收单元isf22执行接收分析结果ans的分析结果接收步骤。例如，分析结果接收单元isf22由通信装置cd(参见图1)等实现。
在以上配置的情况下，图像处理系统is首先可以利用第二图像获取单元isf3获取图像img2。此外，图像处理系统is可以基于位置数据等来确定图像img2的每个参数。
参数指示图像img2中的每一个的图像拾取状态等。例如，参数是图像img2被拾取的时间、天气、拾取图像img2的车辆的车辆类型、摄像机cm的型号、关于拾取图像img2的车辆的控制信息、图像img2被拾取的位置周围的拥堵状态、图像img2被拾取的位置周围的拥挤状态、图像img2被拾取的位置周围的空间状态、拾取图像img2的车辆的车辆速度、拾取图像img2的车辆所位于的车道、或其组合。此外，具有相同参数的图像被分组到相同的组。因此，当分析单元isf6可以掌握参数时，分析单元isf6可以分析平衡，如图3所示。
在机器学习等中，当在图像的状态中存在偏差时，使用包括机器学习的结果的学习数据库db的处理的准确度经常降低。例如，使用学习数据库db，在车辆ca等中执行生成交通信息例如拥堵预测、汽车导航中的图像识别等的处理。
图像处理系统is可以从分析结果ans中掌握要被用于机器学习等的图像的平衡。然后，图像处理系统is可以基于用于生成学习数据库db的图像的平衡来预测例如使用学习数据库db的处理的准确度。例如，可以基于平衡是好还是差来预测拥堵的命中率或检测率、图像识别中的预定对象的识别率等是否高。
例如，当图像处理系统is可以掌握平衡时，图像处理系统is可以请求车辆ca发送用于改善平衡的第三图像，如图11所示。此外，当图像处理系统is可以掌握平衡时，图像处理系统is可以通过向车辆ca发送分析结果ans来使车辆ca发送用于改善平衡的第三图像。
因此，在以上配置的情况下，例如会产生以下效果。
图13是示出根据本发明的实施方式的图像处理系统中的示例性处理结果的图。图13的左侧是示出作为与图3中的平衡相同的平衡的分析结果ans的图。当发送图像img3时，添加满足“状态2”的图像和满足“状态3”的图像。在此，优选地，图像处理系统is禁止将满足“状态1”的图像发送到信息处理装置。
因此，例如，图像处理系统is大致地均衡状态的各个图像数目，如图13的右侧所示，并且由此可以改善平衡。
在受监督的机器学习等中，当在要被用于学习的数据中即在所谓的监督数据中存在偏差使得平衡较差时，后续步骤中的处理的准确度通常降低。同时，当不调整平衡时，数据例如图像的平衡通常会降低。例如，在拥堵状态下的图像和非拥堵状态下的图像被收集用于拥堵预测的处理的情况下，由于非拥堵状态更频繁，所以更可能收集非拥堵状态下的图像。
此外，在大都市区域、主要道路等中，由于存在许多车辆，所以容易收集图像。相比之下，在乡村、一般道路等中，与在大都市区域、主要道路等中相比，更难收集图像。因此，当采用位置、道路等作为状态时，在大都市区域、主要道路等中拾取的图像的数目经常变大，使得平衡变差。此外，就气候而言，在一些情况下，“下雨”天的数目会根据季节等变大。在这种情况下，可能收集“下雨”状态下拾取的图像。此外，在很多情况下，可能收集早晨或白天期间拾取的图像，并且不大可能收集夜晚期间拾取的图像。
因此，通过添加第三图像并且改善平衡，图像处理系统is可以执行例如用于执行精确处理的机器学习。如图13的右侧所示，当已经收集到足够的数据量时，禁止数据的收集。由此，可以避免不必要的数据被收集，并且因此可以减少数据发送中的通信量，并且减少通信成本或保存数据的存储区域。
在图11和图12中示出的配置中，图像处理系统is可以准确地检测标识牌等，并且因此可以通过消息ms等向驾驶员dv准确地通知关于作为引导中的地标的标识牌等。
比较示例
图14是示出比较示例的图。例如，如图所示，为了调整平衡，删除数据的方法是可能的。具体地，在与图13的左侧的平衡相同的平衡的情况下，删除“状态1”的图像和“状态2”的图像，使得“状态1”的图像的数目和“状态2”的图像的数目变得与“状态3”的图像的数目相等。当采用这种方法调整平衡时，删除的图像被浪费。
其他实施方式
引导单元isf10和地图数据获取单元isf11可以被包括在除了装备有图像拾取装置的车辆以外的车辆中。
根据本发明的实施方式可以通过使计算机例如信息处理装置或信息处理系统执行上述图像处理方法中的步骤的程序来实现。程序可以被分发同时被存储在计算机可读记录介质中。
此外，作为如上所述的每个装置，可以设置多个装置。此外，可以以并行、分布式的或冗余的方式执行以上图像处理方法中的全部或一些步骤。
因此，已经描述了本发明的优选实施方式。然而，本发明不限于所描述的实施方式，并且可以在权利要求中描述的本发明的精神的范围内进行各种修改或改变。