信息处理装置、感测装置、移动体以及信息处理方法与流程

信息处理装置、感测装置、移动体以及信息处理方法
1.相关申请的相互参照
2.本技术主张2019年12月23日在日本提出专利申请的日本特愿2019-231662号的优先权，并将该在先申请的公开内容全部援引入本技术用于参照。
技术领域
3.本发明涉及信息处理装置、感测装置、移动体以及信息处理方法。


背景技术：

4.以往，公开了一种图像处理装置，其对从设置于车辆上来获取车辆周边的影像的摄像头输出的影像信号进行处理以检测有无接近的车辆及行人等，并对图像中的接近车辆及行人等加上方框标记来显示(例如，参照专利文献1)。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开平11-321494号公报


技术实现要素：

8.本发明的信息处理装置具备：输入接口、处理器以及输出接口。所述输入接口构成为，获取从观测空间得到的观测数据。所述处理器构成为，检测所述观测数据中包含的检测对象。所述处理器构成为，将该检测出的检测对象的坐标映射变换为虚拟空间的检测对象的坐标，在所述虚拟空间上追踪表示所述检测对象的质点的位置以及速度，将所述追踪到的所述质点的所述虚拟空间上的坐标映射变换为显示空间上的坐标。所述处理器构成为，依次观测所述显示空间上的所述检测对象的大小，并基于当前时间点的所述检测对象的大小的观测值和过去的所述检测对象的大小的推定值来推定当前时间点的所述检测对象的大小。所述输出接口构成为，输出基于映射变换到所述显示空间上的所述质点的坐标以及所述推定出的所述检测对象的大小的输出信息。
9.本发明的感测装置具备：传感器、处理器以及输出接口。所述传感器构成为，感测观测空间，获取检测对象的观测数据。所述处理器构成为，检测所述观测数据中包含的检测对象。所述处理器构成为，将该检测到的检测对象的坐标映射变换为虚拟空间的检测对象的坐标，在所述虚拟空间上追踪表示所述检测对象的质点的位置以及速度，将所述追踪到的所述质点的所述虚拟空间上的坐标映射变换为所述显示空间上的坐标。所述处理器构成为，依次观测所述显示空间上的所述检测对象的大小，并基于当前时间点的所述检测对象的大小的观测值和过去的所述检测对象的大小的推定值，来推定当前时间点的所述检测对象的大小。所述输出接口构成为，输出基于映射变换到所述显示空间上的所述质点的坐标以及所述推定出的所述检测对象的大小的输出信息。
10.本发明的移动体具备感测装置。所述感测装置具备：传感器、处理器以及输出接口。所述传感器构成为，感测观测空间，获取检测对象的观测数据。所述处理器构成为，检测
所述观测数据中包含的检测对象。所述处理器构成为，将该检测出的检测对象的坐标映射变换为虚拟空间的检测对象的坐标，在所述虚拟空间上追踪表示所述检测对象的质点的位置以及速度，将所述追踪到的所述质点的所述虚拟空间上的坐标映射变换为所述显示空间上的坐标。所述处理器构成为，依次观测所述显示空间上的所述检测对象的大小，并基于当前时间点的所述检测对象的大小的观测值和过去的所述检测对象的大小的推定值，来推定当前时间点的所述检测对象的大小。所述输出接口构成为，输出基于映射变换到所述显示空间上的所述质点的坐标以及所述推定出的所述检测对象的大小的输出信息。
11.本发明的信息处理方法包括步骤：从观测空间获取观测数据，检测所述观测数据中包含的检测对象。所述信息处理方法包括步骤：将该检测出的检测对象的坐标映射变换为虚拟空间的检测对象的坐标，在所述虚拟空间上追踪表示所述检测对象的质点的位置以及速度，将所述追踪到的所述质点的所述虚拟空间上的坐标映射变换为所述显示空间上的坐标。所述信息处理方法包括步骤：依次观测所述显示空间上的所述检测对象的大小，并基于当前时间点的所述检测对象的大小的观测值和过去的所述检测对象的大小的推定值，来推定当前时间点的所述检测对象的大小。所述信息处理方法包括步骤：输出基于映射变换到所述显示空间上的所述质点的坐标以及所述推定出的所述检测对象的大小的输出信息。
附图说明
12.图1是表示一个实施方式的包括作为信息处理装置的图像处理装置的图像处理系统的概略结构的框图。
13.图2是表示搭载有图1的图像处理系统的车辆与行人的图。
14.图3是表示追踪运动图像上的被摄体图像的处理的例子的流程图。
15.图4是表示运动图像上的被摄体图像的一个例子的图。
16.图5是说明实际空间的被摄体、运动图像中的被摄体图像以及虚拟空间中的质点的关系的图。
17.图6是表示虚拟空间中的质点的移动的一个例子的图。
18.图7是说明运动图像中的被摄体图像的大小的追踪方法的图。
19.图8是表示推定被摄体图像的大小的一个例子的图。
20.图9是在运动图像上显示图像要素(边界框)的图像的例子。
21.图10是表示一个实施方式的作为感测装置的拍摄装置的概略结构的框图。
22.图11是表示包括毫米波雷达的感测装置的概略结构的一个例子的框图。
23.图12是表示图11的感测装置的信息处理部执行的处理的例子的流程图。
24.图13是表示映射变换到虚拟空间上的观测数据的一个例子的图。
25.图14是将图13的观测数据进行聚类化的图。
具体实施方式
26.在搭载于车辆等的信息处理装置中，随着接近的车辆以及行人等与本车辆的相对位置的变化，显示空间的图像中的车辆以及行人等的图像的位置以及大小时刻发生变化。因此，在准确地追踪接近的车辆以及行人等的位置的同时掌握检测对象的大小会导致处理负荷变大，且会导致追踪误差和/或精度的降低。
27.优选的是，信息处理装置能够在高精度地追踪检测对象的同时降低处理负荷。
28.以下，参照附图对本发明的实施方式进行说明。在以下的说明中使用的附图是示意性的图。附图上的尺寸比例等未必与现实一致。
29.本发明的一个实施方式的信息处理装置的一个例子即图像处理装置20包括在图像处理系统1中。图像处理系统1包括：拍摄装置10、图像处理装置20以及显示器30。拍摄装置10是用于感测观测空间的传感器的一个例子。如图2所例示，图像处理系统1搭载于作为移动体的一个例子的车辆100。
30.如图2所示，在本实施方式中，在实际空间的坐标中，x轴方向是设置有拍摄装置10的车辆100的宽度方向。实际空间是用于获取观测数据的对象即观测空间。y轴方向是车辆100的后退的方向。x轴方向和y轴方向是与车辆100所处的路面平行的方向。z轴方向是垂直于路面的方向。能够将z轴方向称为铅垂方向。x轴方向、y轴方向以及z轴方向相互正交。x轴方向、y轴方向以及z轴方向的取用方法并不限定于此。x轴方向、y轴方向以及z轴方向能够互相替换。
31.(拍摄装置)
32.拍摄装置10构成为，包括：拍摄光学系统11、拍摄元件12以及处理器13。
33.拍摄装置10可以设置于车辆100的各种位置。拍摄装置10包括前置摄像头、左侧摄像头、右侧摄像头以及后置摄像头等，但并不限定于这些。前置摄像头、左侧摄像头、右侧摄像头以及后置摄像头分别以能够对车辆100的前方、左侧方、右侧方以及后方的周边区域进行拍摄的方式设置于车辆100。在以下作为一例说明的实施方式中，如图2所示，拍摄装置10以光轴方向从水平方向朝下的方式安装于车辆100，以便对车辆100的后方进行拍摄。
34.如图1所示，拍摄装置10包括：拍摄光学系统11、拍摄元件12以及处理器13。拍摄光学系统11构成为包含1个以上的透镜。拍摄元件12包括：ccd图像传感器(charge-coupled device image sensor：电荷耦合器件图像传感器)以及cmos图像传感器(complementary mos image sensor：互补金属氧化物半导体图像传感器)。拍摄元件12将由拍摄光学系统11在拍摄元件12的成像面上成像的被摄体图像变换为电信号。被摄体图像是作为检测对象的被摄体的图像。拍摄元件12能够以规定的帧率(frame rate)对运动图像进行拍摄。运动图像是观测数据的一个例子。将构成运动图像的各静止图像称为帧。将能够在一秒钟内拍摄的图像的数量称为帧率。帧率例如可以设为60fps(frames per second)、30fps等。
35.处理器13控制拍摄装置10整体，并且对从拍摄元件12输出的运动图像执行各种图像处理。处理器13进行的图像处理可以包括失真校正、亮度调整、对比度调整以及伽玛校正(gamma correction)等的任意的处理。
36.处理器13可以由1个或多个处理器构成。处理器13例如包括构成为通过执行存储于关联的存储器的指示来执行1个以上的数据计算步骤或者处理的1个以上的电路或单元。处理器13包括1个以上的处理器、微处理器、微控制器、专用集成电路(asic：application specific integrated circuit)、数字信号处理装置(dsp：digital signal processor)、可编程逻辑器件(pld：programmable logic device)、现场可编程逻辑门阵列(fpga：field-programmable gate array)、或者这些设备或结构的任意组合，或者其他已知的设备或结构的组合。
37.(图像处理装置)
38.图像处理装置20能够安装于车辆100的任意的位置。图像处理装置20构成为包括：输入接口21、存储部22、处理器23以及输出接口24。
39.输入接口21构成为能够与拍摄装置10之间通过有线或无线的通信单元进行通信。输入接口21从拍摄装置10获取运动图像。输入接口21可以与拍摄装置10发送的图像信号的传输方式对应。能够将输入接口21称为输入部或者获取部。拍摄装置10与输入接口21之间可以通过can(controller area network：控制器域网)等车载通信网络连接。
40.存储部22是存储处理器23进行处理所需的数据以及程序的存储装置。例如，存储部22临时存储从拍摄装置10获取的运动图像。例如，存储部22顺序存储通过处理器23进行的处理而生成的数据。存储部22可以通过使用例如半导体存储器、磁存储器以及光存储器等中的任一个以上来构成。半导体存储器可以包括易失性存储器和非易失性存储器。磁存储器可以包括例如硬盘和磁带等。光存储器可以包含例如cd(compact disc)、dvd(digital versatile disc)以及bd(blu-ray(注册商标)disc)等。
41.处理器23控制图像处理装置20整体。处理器23识别经由输入接口21获取的运动图像中包含的被摄体图像。处理器23将识别出的被摄体图像的坐标映射变换为虚拟空间的被摄体40的坐标，在虚拟空间上追踪表示被摄体40的质点的位置以及速度。质点是有质量无大小的点。虚拟空间是在处理器23等运算装置中为了描述物体的运动而使用的虚拟空间。在本实施方式中，虚拟空间是在由实际空间的x轴、y轴以及z轴这三轴构成的坐标系中，将z轴方向的值设为规定的固定值的二维空间。处理器23将追踪到的质点的在虚拟空间上的坐标映射变换为显示运动图像的图像空间上的坐标。图像空间是显示空间的一个例子。显示空间是为了使利用者视觉辨认或者为了供其他装置利用而将检测对象二维地表现的空间。另外，处理器23依次观测图像空间上的被摄体图像的大小，并基于当前时间点的被摄体图像的大小的观测值和过去的被摄体图像的大小的推定值，来推定当前时间点的被摄体图像42的大小。将在后面详细描述处理器23进行的处理。处理器23与拍摄装置10的处理器13相同，可以包括多个处理器。另外，处理器23与处理器13相同，也可以构成为组合多个种类的设备。
42.输出接口24构成为从图像处理装置20输出作为输出信息的输出信号。能够将输出接口24称为输出部。输出接口24能够输出基于映射变换到显示运动图像的图像空间上的质点的坐标以及推定出的图像空间内的被摄体图像的大小的输出信号。例如，输出接口24能够将表示被摄体图像的大小的图像要素重叠在从拍摄装置10输出的图像上，并将其输出到显示器30。表示被摄体图像的大小的图像要素例如是边界框。边界框是包围被摄体图像的长方形的框线。输出接口24可以直接输出质点的坐标以及被摄体图像的大小作为输出信号。
43.输出接口24可以构成为包括物理连接器以及无线通信机。在多个实施方式的一个中，输出接口24与can等车辆100的网络连接。输出接口24可以经由can等通信网络与显示器30、车辆100的控制装置以及警报装置等连接。从输出接口24输出的信息能在显示器30、控制装置以及警报装置的每一个中被适当利用。
44.显示器30可以显示从图像处理装置20输出的运动图像。显示器30也可以具有如下功能：在从图像处理装置20接收到表示被摄体图像的位置的质点的坐标以及被摄体图像的大小的信息的情况下，根据该信息生成图像要素并使其与运动图像重叠。显示器30可以采
用各种装置。例如，显示器30可以采用液晶显示器(lcd：liquid crystal display)、有机el(electro-luminescence)显示器、无机el显示器、等离子显示器(pdp：plasma display panel)、场致发射显示器(fed：field emission display)、电泳显示器、扭转球显示器等。
45.(被摄体图像的追踪处理)
46.接下来，参照图3的流程图，详细说明图像处理装置20执行的图像处理方法。图像处理方法是信息处理方法的一个例子。图像处理装置20可以构成为读取记录在非临时性计算机可读介质中的程序来执行以下说明的处理器23执行的处理。非临时性计算机可读介质包括但不限于磁存储介质、光学存储介质、光磁存储介质以及半导体存储介质。磁存储介质包括磁盘、硬盘以及磁带。光学存储介质包括cd(compact disc)、dvd、蓝光盘(blu-ray(注册商标)disc)等光盘。半导体存储介质包括：rom(read only memory：只读存储器)、eeprom(electrically erasable programmable read-only memory：带电可擦可编程只读存储器)、闪存。
47.图3的流程图是获取运动图像的连续帧，并由处理器23执行的处理。图像处理装置20的处理器23按照图3的流程图，每当获取运动图像的帧时，追踪(跟踪)被摄体图像42的位置以及大小。在以下的说明中，如图2所示，假定设置于车辆100的后方的拍摄装置10对作为被摄体40的行人进行拍摄的场景。被摄体40不限于行人，可以包括在道路上行驶的车辆、道路上的障碍物等各种对象物。
48.处理器23经由输入接口21从拍摄装置10获取运动图像的各帧(步骤s101)。在图4中示出了运动图像的1帧的一个例子。在图4的例子中，在由uv坐标系构成的二维的图像空间41中显示有想要横穿车辆100的后方的行人即被摄体40的被摄体图像42。u坐标是图像的横向的坐标。v坐标是图像的纵向的坐标。在图4中，uv坐标的原点是图像空间41的左上端的点。另外，将从左向右的方向作为u坐标的正方向。将从上向下的方向作为v坐标的正方向。
49.处理器23通过图像识别来从运动图像的各帧中识别被摄体图像42(步骤s102)。由此，处理器23检测被摄体40。被摄体图像42的识别方法包括公知的各种方法。例如，被摄体图像42的识别方法包括：基于车辆以及行人等物体的形状识别的方法、基于模板匹配的方法、从图像中计算特征量并用于匹配的方法等。在特征量的计算中，能够使用能学习输入输出的关系的函数逼近器。能学习输入输出的关系的函数逼近器能够使用神经网络。
50.处理器23将图像空间41的被摄体图像42的坐标(u，v)映射变换为虚拟空间的被摄体40的坐标(x’，y’)(步骤s103)。通常，作为二维坐标的图像空间41的坐标(u，v)无法变换为实际空间的坐标(x，y，z)。但是，通过确定实际空间中的高度并将z坐标固定为规定值，能够将图像空间41的坐标(u，v)映射为与实际空间的坐标(x，y，z0)(z0为固定值)对应的二维的虚拟空间的坐标(x’，y’)。以下，参照图4以及图5进行说明。
51.在图4中，确定位于被摄体图像42的最下部的中央的代表点43。例如，代表点43能够为在图像空间41中被摄体图像42所占的区域的v坐标的最下方的位置且u坐标的范围的中心位置。假定该代表点43是与被摄体图像42对应的被摄体40的与路面或地面接触的位置。
52.在图5中，示出了位于三维的实际空间的被摄体40与二维的图像空间41上的被摄体图像42之间的关系。在拍摄装置10的内部参数已知的情况下，能够基于图像空间41的坐标(u，v)，计算从拍摄装置10的拍摄光学系统11的中心朝向实际空间中的对应的坐标(x，y，
z)的方向。拍摄装置10的内部参数包括：拍摄光学系统11的焦距、畸变以及拍摄元件12的像素尺寸等信息。在实际空间中，将朝向与图像空间41的代表点43对应的方向的直线与z＝0的基准面44相交的点作为被摄体40的质点45。基准面44相当于车辆100所处的路面或地面。质点45具有三维的坐标(x，y，0)。因此，在将z＝0的二维空间作为虚拟空间时，质点45的坐标能够用(x’，y’)来表示。虚拟空间上的质点45的坐标(x’，y’)相当于在实际空间中从沿着z轴的方向观察被摄体40时的xy平面(z＝0)上的被摄体40的特定的点的坐标(x，y)。特定的点是与质点45对应的点。
53.如图6所示，处理器23在虚拟空间46上追踪从被摄体图像42的代表点43映射变换到虚拟空间46上的质点45的位置(x’，y’)以及速度(v
x'
，v
y'
)(步骤s104)。由于质点45具有位置(x’，y’)以及速度(v
x'
，v
y'
)的信息，因此处理器23能够预测连续帧中的质点45的位置(x’，y’)的范围。处理器23能够将位于在下一帧中预测到的范围中的质点45识别为与追踪的被摄体图像42对应的质点45。处理器23在每次接收到新帧的输入时，依次更新质点45的位置(x’，y’)以及速度(v
x'
，v
y'
)。
54.例如，使用了基于状态空间模型的卡尔曼滤波器的推定能够用于质点45的追踪。通过进行使用了卡尔曼滤波器的预测/推定，从而针对要追踪的被摄体40的不能检测、误检测等的鲁棒性提高。通常，对于图像空间41的被摄体图像42，难以通过用于描述运动的适当模型来描述。因此，难以对图像空间41的被摄体图像42简单地进行高精度的位置的推定。在本实施方式的图像处理装置20中，通过将被摄体图像42映射变换为实际空间的质点45，能够应用用于描述实际空间中的运动的模型，因此使被摄体图像42的追踪的精度提高。另外，通过将被摄体40作为不具有大小的质点45来处理，能够实现简单易行的追踪。
55.处理器23在每次推定质点45的新的位置时，将质点45的虚拟空间46上的坐标映射变换为图像空间41上的坐标(u，v)(步骤s105)。虚拟空间46的位于坐标(x’，y’)处的质点45作为实际空间的位于坐标(x’，y’，0)处的点，能够映射变换到图像空间41上。实际空间的坐标(x’，y’，0)能够通过公知的方法映射为拍摄装置10的图像空间41上的坐标(u，v)。
56.处理器23能够与上述的步骤s103至步骤s105的处理并行地执行以下说明的步骤s106以及步骤s107的处理。对于步骤s103至步骤s105的处理、和步骤s106至步骤s107的处理中的一方，处理器23可以在另一方的处理之前或之后执行。
57.处理器23观测在步骤s102中识别出的显示运动图像的图像空间上的被摄体图像42的大小(步骤s106)。被摄体图像42的大小包括被摄体图像42在图像空间上所占的宽度以及高度。被摄体图像42的大小例如能够以像素为单位来表示。
58.处理器23基于当前时间点的被摄体图像42的大小的观测值和过去的被摄体图像42的大小的推定值，来推定当前时间点的被摄体图像42的大小(步骤s107)。其中，“当前时间点的被摄体图像”是指，基于从拍摄装置10最近获取的帧的图像的被摄体图像。“前数第一个的被摄体图像”是指，基于从拍摄装置10最近获取的帧的前一帧的图像的被摄体图像。处理器23针对作为运动图像而获取的各帧的图像，连续观测被摄体图像42的大小。在本技术中，可以将在当前时间点的观测称为“本次观测”，将从本次观测起前数第一个进行的观测称为“上次观测”。在本技术中，“当前时间点”与“本次”、“前数第一个”与“上次”均用于几乎相同的意思。
59.如图7所示，处理器23基于通过上次观测的结果推定出的上次的宽度的推定值w
(k-1)和通过本次观测的结果获得的本次的宽度的观测值w
means
(k)，进行追踪处理，计算本次的宽度的推定值w(k)。处理器23基于通过上次观测的结果推定出的上次的高度的推定值h(k-1)和通过本次观测的结果获得的本次的高度的观测值h
means
(k)，进行追踪处理，计算本次的高度的推定值h(k)。其中，k对应于运动图像中包含的帧的顺序的编号。本次的观测是将第k帧作为对象。被摄体图像42的宽度以及高度的推定能够基于下面的数学式(1)、(2)进行。
60.w(k)＝w(k-1)+α(wmeans(k)-w(k-1)) (1)
61.h(k)＝h(k-1)+α(hmeans(k)-h(k-1)) (2)
62.参数α是包含在0≤α≤1的范围中的参数。参数α是根据针对宽度以及高度的观测值w
means
(k)、h
means
(k)的可靠度而设定的参数。在α＝0的情况下，本次的宽度以及高度的推定值w(k)、h(k)分别为与上次的宽度以及高度的推定值w(k-1)、h(k-1)相同的值。在α＝0.5的情况下，本次的宽度以及高度的推定值w(k)、h(k)分别为上次的宽度以及高度的推定值w(k-1)、h(k-1)和本次的宽度以及高度的观测值w
means
(k)、h
means
(k)的平均值。在α＝1的情况下，本次的宽度以及高度的推定值w(k)、h(k)分别为本次的宽度以及高度的观测值w
means
(k)、h
means
(k)。
63.处理器23可以动态地调整进行追踪期间的参数α。例如，处理器23可以推定运动图像中包含的被摄体图像42的识别的精度，并基于推定出的识别的精度动态地调整参数α。例如，处理器23可以根据运动图像计算图像的亮度以及对比度等的值，并在图像较暗的情况或对比度较低的情况下，判断为被摄体图像42的识别的精度较低，使参数α减小。处理器23可以根据运动图像内的被摄体图像42的运动的速度，来调整参数α。例如，在运动图像内的被摄体图像42运动较快的情况下，为了追随被摄体图像42的运动，处理器23可以将参数α设定得比被摄体图像42运动较慢时更大的值。
64.处理器23有时在步骤s102中无法从本次的帧中检测出当前时间点的被摄体图像42的大小的观测值。例如，在两个被摄体图像42在显示运动图像的图像空间上重叠的情况下，有时无法检测出它们各自的被摄体图像42的大小。在这样的情况下，处理器23可以仅基于过去的被摄体图像42的大小的推定值，来推定当前时间点的被摄体图像42的大小。例如，处理器23可以将前数第一个的宽度以及高度的推定值w(k-1)、h(k-1)作为当前时间点的宽度以及高度的推定值w(k)、h(k)。
65.处理器23在无法检测出被摄体图像42的大小的当前时间点的观测值的情况下，可以考虑两个以上之前的帧中包含的被摄体图像42的宽度以及高度的推定值w(k-j)、h(k-j)(j≥2)。例如，处理器23可以使用0≤β≤1的范围中包含的参数β，通过以下的数学式(3)、(4)来推定当前时间点的被摄体图像42的宽度以及高度的推定值w(k)以及h(k)。
66.w(k)＝w(k-1)+β(w(k-1)-w(k-2))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
67.h(k)＝h(k-1)+β(h(k-1)-h(k-2))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
68.由此，在无法获取被摄体图像42的当前时间点的大小的情况下，能够通过反映前两帧的被摄体图像42的大小的推定值，来推定当前时间点的被摄体图像42的大小。
69.使用图8来说明被摄体图像42的大小的追踪的流程的一个例子。作为进行被摄体图像42的推定的初始值(k＝0)，处理器23将最初的宽度以及高度的观测值w
means
(0)、h
means
(0)设为宽度以及高度的推定值w(0)、h(0)。在以后的帧中，处理器23将上次的帧的宽度以
及高度的推定值w(k-1)、h(k-1)设为该帧中的宽度以及高度的预测值w(k-1)、h(k-1)。处理器23使用宽度以及高度的预测值w(k-1)、h(k-1)和该帧中的宽度以及高度的观测值w
means
(k)、h
means
(k)，来推定该帧中的宽度以及高度的推定值w(k)、h(k)。
70.在图8中，假设在第k+1帧中，无法获得观测值。在该情况下，处理器23在数学式(1)、(2)中设为α＝0，并将前数第一个的帧中的被摄体图像42的宽度以及高度的预测值w(k)、h(k)作为第k+1帧中的被摄体图像42的宽度以及高度的推定值w(k+1)、h(k+1)。或者，处理器23可以使用数学式(3)、(4)来计算第k+1帧中的被摄体图像42的宽度以及高度的推定值w(k+1)、h(k+1)。在该情况下，前数第二个的帧中的宽度和高度的推定值w(k-1)、h(k-1)以及前数第一个的帧中的宽度和高度的推定值w(k)、h(k)被反映在推定值w(k+1)、h(k+1)中。
71.这样，处理器23即使从图像空间41的运动图像中不能检测到被摄体图像42的宽度以及高度的观测值的情况下，也能够稳定地计算被摄体图像42的宽度以及高度的推定值w(k)、h(k)。
72.在步骤s105中，当获得当前时间点的质点45向图像空间41映射变换后的坐标(u，v)，并在步骤s107中推定出被摄体图像42的大小时，处理器23进入到步骤s108的处理。在步骤s108中，如图9所示，处理器23生成将表示推定出的物体图像的大小的图像要素48重叠在显示运动图像的图像空间上的基于质点的坐标的位置的图像。图像要素48例如是边界框。边界框是包围被摄体图像42的长方形的框线。处理器23经由输出接口24使包含附加了图像要素48的被摄体图像42的运动图像显示于显示器30。由此，图像处理系统1的利用者能够在由图像要素48强调被摄体图像42的状态下视觉确认图像处理装置20所识别出的被摄体图像42。
73.根据本实施方式，图像处理装置20在虚拟空间46中追踪被摄体图像42的位置作为质点45，并在图像空间41内追踪被摄体图像42的大小，将它们的结果合成而显示于显示器30。由此，图像处理装置20能够高精度地追踪被摄体图像42的位置以及大小并降低处理负荷。
74.根据本实施方式，图像处理装置20使用卡尔曼滤波器来追踪与被摄体图像42的位置对应的质点45，因此即使图像处理装置20中的对被摄体图像42的位置的识别误差较大的情况下，也能够高精度地推定被摄体图像42的位置。
75.根据本实施方式，图像处理装置20连续地观测被摄体图像42的大小，并基于当前时间点的被摄体图像42的大小的观测值和过去的被摄体图像42的大小的推定值，来推定当前时间点的被摄体图像42的大小。由此，即使在观测的被摄体图像42的大小的误差较大的情况下，图像处理装置20也能够高精度地推定被摄体图像42的大小。另外，图像处理装置20使用参数α以及β来反映过去的被摄体图像42的推定值，并以此计算当前时间点的被摄体图像42的推定值，因此即使各时间点的观测值包含误差而产生偏差的情况下，也能够抑制所显示的图像要素48的闪烁等。由此，图像处理装置20能够提供易于利用者观看的图像。
76.(具有追踪功能的拍摄装置)
77.在上述实施方式中说明的本实施方式的图像处理装置20的功能能够搭载于拍摄装置。图10是概略地表示具有图像处理装置20的功能的本发明的一个实施方式的拍摄装置50的图。拍摄装置50具有：拍摄光学系统51、拍摄元件52、存储部53、处理器54以及输出接口
55。拍摄光学系统51以及拍摄元件52是与图1的拍摄装置10的拍摄光学系统11及拍摄元件12相似的结构要素。存储部53以及输出接口55是与图1的图像处理装置20的存储部22以及输出接口24相似的结构要素。处理器54是兼具图1的拍摄装置10的处理器13以及图像处理装置20的处理器23的功能的结构要素。
78.在拍摄装置50中，通过拍摄元件52对由拍摄光学系统51成像的被摄体40的运动图像进行拍摄。关于拍摄元件52输出的运动图像，处理器54执行与图3的流程图中记载的处理相同的处理。由此，拍摄装置50能够使在被摄体图像42上附加了图9所示那样的作为边界框的图像要素48的图像显示于显示器30。
79.在上述实施方式中，将信息处理装置作为图像处理装置20，并将传感器作为拍摄装置10进行说明。传感器不限于检测可见光的拍摄装置，还包括通过远红外线获取图像的远红外线摄像头。另外，本发明的信息处理装置不限于获取运动图像作为观测数据并通过图像识别检测检测对象的装置。例如，传感器可以是能够感测作为观测对象的观测空间来检测检测对象的方向以及大小的拍摄装置以外的传感器。传感器例如包括使用电磁波或超声波的传感器。使用了电磁波的传感器包括毫米波雷达以及lidar(laser imaging detection and ranging：激光成像探测与测距)。因此，检测对象不限于被拍摄为图像的被摄体。信息处理装置可以获取从传感器输出的、包含检测对象的方向以及大小等的信息的观测数据，从而检测检测对象。另外，显示空间不限于显示运动图像的图像空间，还能够为能够二维地显示检测出的检测对象的空间。
80.(包括毫米波雷达的感测装置)
81.作为一例，参照图11对一个实施方式的感测装置60进行说明。感测装置60包括作为传感器的一例的毫米波雷达61、信息处理部62以及输出部63。感测装置60能够与拍摄装置10类似地搭载于车辆的各种位置。
82.毫米波雷达61能够使用毫米波段的电磁波，检测检测对象的距离、速度以及方向等。毫米波雷达61包括发送信号生成部64、高频电路65、发送天线66、接收天线67以及信号处理部68。
83.发送信号生成部64产生进行频率调制后的线性调频信号(chirp signal)。线性调频信号是频率以一定时间间隔上升或下降的信号。发送信号生成部64例如安装于dsp(digital signal processor：数字信号处理器)。发送信号生成部64可以由信息处理部62控制。
84.线性调频信号被d/a变换后，在高频电路65中进行频率变换而成为高频信号。高频电路65通过发送天线66将高频信号作为电波发射到观测空间。高频电路65能够通过接收天线67接收从发送天线66发射的电波被检测对象反射后的反射波作为接收信号。毫米波雷达61可以具有多个接收天线67。毫米波雷达61能够通过在信号处理部68中检测各接收天线间的相位差，来推定检测对象的方向。毫米波雷达61中的方位检测的方法不限于使用相位差的方法。毫米波雷达61也能够通过用毫米波段的波束扫描来检测检测对象的方位。
85.高频电路65对接收信号进行放大，与发送信号混合而变换为表示频率差的差拍信号。差拍信号被变换为数字信号，并且被输出到信号处理部68。信号处理部68对接收信号进行处理，执行距离、速度以及方向等的推定处理。毫米波雷达61中的距离、速度以及方向等的推定方法是公知的，因此省略由信号处理部68进行的处理的内容。信号处理部68例如安
装于dsp。信号处理部68可以安装于与发送信号生成部64相同的dsp。
86.信号处理部68将推定出的距离、速度以及方向的信息作为检测对象的观测数据输出至信息处理部62。信息处理部62能够基于观测数据，将检测对象映射变换到虚拟空间上，执行各种处理。信息处理部62由与拍摄装置10的处理器13相似的一个以上的处理器构成。信息处理部62可以控制感测装置60的整体。稍后将进一步描述信息处理部62执行的处理。
87.输出部63是将由信息处理部62处理的结果输出到感测装置60的外部的显示装置或者车辆内的ecu的输出接口。输出部63可以包括与can等车辆的网络连接的通信处理回路以及通信连接器等。
88.以下，参照图12的流程图对信息处理部62执行的处理的一部分进行说明。
89.信息处理部62从信号处理部68获取观测数据(步骤s201)。
90.接下来，信息处理部62将观测数据映射到虚拟空间上(步骤s202)。在图13中示出了映射到虚拟空间上的观测数据的一个例子。毫米波雷达61的观测数据作为点的信息而获得，其中，各点分别包括距离、速度以及方向的信息。信息处理部62将各观测数据映射到水平面上。在图13中，横轴是以中心为0，以米为单位表示左右方向即x轴方向的轴。纵轴是以最近的位置为0，以米为单位表示y轴方向即深度方向的距离的轴。
91.接下来，信息处理部62对虚拟空间的各点的集合进行聚类化，来检测检测对象(步骤s203)。聚类化是指，从表示各个点的数据中提取作为点的集合的点群。如图14中用虚线的椭圆包围所示，信息处理部62能够提取作为表示观测数据的各点的集合的点群。信息处理部62能够判断为在多个观测数据集合的部分中实际存在有检测对象。与此相对地，能够判断为与各个离散的点对应的观测数据是因观测噪声产生的。信息处理部62可以对与观测数据对应的点的数量或密度等设置阈值，来判断观测数据的集合是否为检测对象。信息处理部62能够基于点群所占的区域的大小来推定检测对象的大小。
92.接下来，信息处理部62跟踪所检测出的各个点群的在虚拟空间内的位置(步骤s204)。信息处理部62能够将各点群所占的区域的中心或者点群中包含的点的位置的坐标的平均作为各个点群的位置。信息处理部62通过跟踪点群的运动，以时间序列的方式掌握检测对象的运动。
93.在步骤s204之后或者与步骤s204并行地，信息处理部62推定与各个点群对应的检测对象的类别(步骤s205)。检测对象的类别包括“车辆”、“行人”以及“二轮车”等。检测对象的类别的确定能够使用检测对象的速度、大小、形状、位置、观测数据的点的密度、检测出的反射波的强度等中的任一者以上来进行。例如，信息处理部62能够以时间序列积累从信号处理部68获取的检测对象的多普勒速度，并根据多普勒速度的分布模式来推定检测对象的类别。另外，信息处理部62能够根据在步骤s203中推定出的检测对象的大小的信息来推定检测对象的类别。进一步地，信息处理部62能够从信号处理部68获取与观测数据对应的反射波的强度，来推定检测对象的类别。例如，由于包含大量金属的车辆的反射截面积大，因此与反射截面积小的行人相比，反射波的强度更强。信息处理部62可以推定检测对象的类别，并且计算表示推定的准确度的可靠度。
94.在步骤s205之后，信息处理部62将检测对象从虚拟空间映射变换到显示用空间即显示空间上(步骤s206)。显示空间可以是像图像空间那样用二维平面表示从利用者的视点观察的三维的观测空间。显示空间可以是从z轴方向(铅垂方向)看观察对象的二维空间。信
息处理部62也可以不经由步骤s203至s205而直接将在步骤s201中从信号处理部68获取的观测数据映射到显示空间上。
95.信息处理部62能够基于映射变换到显示空间上的检测对象以及通过步骤s203～s206得到的检测对象的位置、速度、大小以及类别等的数据，进行进一步的数据处理(步骤s207)。例如，信息处理部62可以连续观测显示空间上的检测对象的大小，并基于当前时间点的检测对象的大小的观测值和过去的检测对象的大小的推定值，来推定当前时间点的所述检测对象的大小。因此，信息处理部62能够使用毫米波雷达61的观测数据来执行与图3所示的处理相似的处理。另外，信息处理部62能够从输出部63输出各数据，以用于其他装置中的处理(步骤s207)。
96.如上所述，在使用毫米波雷达61作为传感器的情况下，感测装置60也能够执行与使用拍摄装置作为传感器的情况相似的处理并获得相似的效果。图11的感测装置60内置有毫米波雷达61和信息处理部62。但是，毫米波雷达和具有信息处理部62的功能的信息处理装置也可以独立地设置。
97.对于本发明的实施方式，基于各附图及实施例进行了说明，但应该注意本领域技术人员容易基于本发明进行各种变形或修改。因此，应该注意的是，这些变形或修改包含在本发明的范围内。例如，各构成部或者各步骤等所包含的功能等能够以在逻辑上不矛盾的方式进行再配置，能够将多个构成部或者步骤等组合为一个或者进行分割。以装置为中心对本发明的实施方式进行了说明，但本发明的实施方式也能够作为包括装置的各构成部所执行的步骤的方法来实现。本发明的实施方式能够作为由装置所具备的处理器执行的方法、程序、或者记录有程序的存储介质来实现。应理解，在本发明的范围内也包含这些内容。
98.本发明中的“移动体”包括车辆、船舶以及航空器。本发明中的“车辆”包括汽车以及工业车辆，但并不限定于此，还可以包括铁路车辆、生活车辆、以及在跑道上行驶的固定翼飞机。汽车包括但不限定于轿车、卡车、公交车、二轮车、以及无轨电车等，可以包括在道路上行驶的其他车辆。工业车辆包括农业以及建设用的工业车辆。工业车辆包括但不限定于叉车以及高尔夫球车。用于农业的工业车辆包括拖拉机、耕耘机、移栽机、割捆机、联合收割机以及割草机，但并不限定于此。用于建筑的工业车辆包括推土机、铲运机、挖掘机、吊车、翻斗车以及装卸车，但不限于此。车辆包括以人力行驶的车辆。此外，车辆的分类不限于上述的例子。例如，汽车可以包括能够在道路上行驶的工业车辆，同一车辆可以被包含在多个分类中。本发明的船舶包括喷气式水上飞机、船只、油船。本发明的航空器包括固定翼飞机以及旋翼飞机等。
99.附图标记的说明：
100.1：图像处理系统
101.10：拍摄装置(感测装置)
102.11：拍摄光学系统
103.12：拍摄元件
104.13：处理器
105.20：图像处理装置(信息处理装置)
106.21：输入接口
107.22：存储部
108.23：处理器
109.24：输出接口
110.30：显示器
111.40：被摄体(检测对象)
112.41：图像空间(显示空间)
113.42：被摄体图像
114.43：代表点
115.44：基准面
116.45：质点
117.46：虚拟空间
118.48：图像要素
119.50：拍摄装置(感测装置)
120.51：拍摄光学系统
121.52：拍摄元件
122.53：存储部
123.54：处理器
124.55：输出接口
125.60：感测装置
126.61：毫米波雷达(传感器)
127.62：信息处理部
128.63：输出部
129.64：发送信号生成部
130.65：高频电路
131.66：发送天线
132.67：接收天线
133.68：信号处理部
134.100：车辆(移动体)