影像处理装置以及影像处理系统的制作方法

1.本发明涉及对使用超广角镜头拍到的影像进行处理的影像处理装置以及影像处理系统。


背景技术：

2.近年来，能够记录车辆的前后左右360
°
全方位影像的行车记录仪正在普及。例如，考虑在车辆的前后左右设置四个相机，并且在车厢内的顶棚以俯视车厢内的方式设置超广角相机的结构。由使用了鱼眼镜头等的超广角相机拍到的影像是圆形状影像(例如，参照专利文献1)。一般的影像的记录格式是以帧为单位记录矩形影像，因此在以一般的记录格式记录由超广角相机拍到的影像的情况下，会在四个角处产生闲置的区域。
3.在先技术文献
4.专利文献
5.专利文献1：日本特开2015-80107号公报。


技术实现要素：

6.如上所述，在由设置于车辆的多个相机同时拍摄并记录的情况下，按每个相机生成影像数据的文件，在再现时，存在由多个相机拍到的影像数据的合成、同步管理变得复杂的趋势。
7.本实施方式是鉴于这样的状况而完成的，其目的在于提供一种高效地生成由包含超广角相机的多个相机拍到的影像数据的文件的技术。
8.为了解决上述问题，本实施方式的一个方式的影像处理装置包括：第一获取部，从设置于移动体的规定位置的主拍摄部获取主影像数据，所述主影像数据包含具有曲线部的形状的影像区域；第二获取部，从设置于所述移动体的其他位置的副拍摄部获取副影像数据；合成部，向所述主影像数据的各帧的所述影像区域以外的空闲区域，合成并配置基于所述副影像数据生成的呈适合所述空闲区域的形状的影像数据；以及生成部，基于合成后的所述影像数据生成一个动态图像文件。
9.本实施方式的另一方式是影像处理方法。该方法包括以下步骤：从设置于移动体的规定位置的主拍摄部获取主影像数据，所述主影像数据包含具有曲线部的形状的影像区域；从设置于所述移动体的其他位置的副拍摄部获取副影像数据；向所述主影像数据的各帧的所述影像区域以外的空闲区域，合成并配置基于所述副影像数据生成的呈适合所述空闲区域的形状的影像数据；基于合成后的所述影像数据生成一个动态图像文件。
10.另外，将以上的构成要素的任意组合、本实施方式的表现在方法、装置、系统、记录介质、计算机程序等之间变换后的方案作为本实施方式的方式也是有效的。
11.根据本实施方式，能够高效地生成由包含超广角相机的多个相机拍到的影像数据的文件。
附图说明
12.图1的(a)～(b)是示出构成实施方式1涉及的影像处理系统的、搭载于车辆的主拍摄部和四个副拍摄部的配置例的图。
13.图2是示出实施方式1涉及的影像处理系统的结构的框图。
14.图3是用于说明实施方式1涉及的由主拍摄部、第一副拍摄部～第四副拍摄部分别拍摄到的主影像、第一副影像～第四副影像的图。
15.图4是用于说明实施方式1涉及的由主拍摄部、第一副拍摄部～第四副拍摄部分别拍摄到的主影像、第一副影像～第四副影像的变形处理的图。
16.图5是示出在主影像中配置了四个部分影像数据之后的合成影像的图。
17.图6的(a)～(b)是示出构成实施方式2涉及的影像处理系统的、搭载于车辆的主拍摄部和副拍摄部的配置例的图。
18.图7是示出实施方式2涉及的影像处理系统的结构的框图。
19.图8是用于说明实施方式2涉及的由主拍摄部、副拍摄部分别拍摄到的主影像、副影像的图。
20.图9是用于说明实施方式2涉及的由主拍摄部、副拍摄部分别拍摄到的主影像、副影像的变形处理的图。
21.图10是示出在主影像中配置了四个部分影像数据之后的合成影像的图。
具体实施方式
22.(实施方式1)
23.图1的(a)～(b)是示出构成实施方式1涉及的影像处理系统的、搭载于车辆1的主拍摄部10和四个副拍摄部11-14的配置例的图。图1的(a)是从上方观察车辆1的图，图1的(b)是从左侧面观察车辆1的图。主拍摄部10包括具有超广角镜头的相机。在本实施方式中，超广角镜头设想使用能够适合视场角为180
°
的车辆1的前后左右以及车厢内的半球状的整个周围的圆周鱼眼镜头。如图1的(a)～(b)所示，在本实施方式中，主拍摄部10以俯视车内的方式朝下设置于车内的顶棚，拍摄车内外的景象。
24.在实施方式1中，为了补充主拍摄部10的死角或周边部的分辨率不足，在车辆1的外侧设置多个副拍摄部11-14。假定多个副拍摄部11-14包括具有与圆周鱼眼镜头相比周边图像的失真少的一般的广角镜头的相机。在实施方式1中，在车辆1的前方设置有第一副拍摄部11，在车辆1的后方设置有第二副拍摄部12，在车辆1的左侧方设置有第三副拍摄部13，在车辆1的右侧方设置有第四副拍摄部14。
25.在图1的(a)～(b)所示的例子中，第一副拍摄部11安装于前格栅，其拍摄车辆1的前方的景象。第二副拍摄部12安装于后格栅，其拍摄车辆1的后方的景象。第三副拍摄部13安装于左侧的侧视镜，其拍摄车辆1的左侧方的景象。第四副拍摄部14安装于右侧的侧视镜，其拍摄车辆1的右侧方的景象。
26.图2是示出实施方式1涉及的影像处理系统5的结构的框图。实施方式1涉及的影像处理系统5包括主拍摄部10、第一副拍摄部11、第二副拍摄部12、第三副拍摄部13、第四副拍摄部14以及影像处理装置20。主拍摄部10、第一副拍摄部11、第二副拍摄部12、第三副拍摄部13及第四副拍摄部14与影像处理装置20分别通过电缆连接。此外，只要满足实时性及抗
噪性的要求，则也可以将主拍摄部10、第一副拍摄部11、第二副拍摄部12、第三副拍摄部13及第四副拍摄部14中的至少一个与影像处理装置20无线连接。
27.主拍摄部10包含超广角镜头、固体拍摄元件及信号处理电路。固体拍摄元件将经由超广角镜头而入射的光转换为电影像信号，并输出至信号处理电路。固体拍摄元件例如能够使用cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)图像传感器或ccd(charge coupled devices：电荷耦合器件)图像传感器。信号处理电路对从固体拍摄元件输入的影像信号实施a/d转换、噪声去除等信号处理，并输出到影像处理装置20。第一副拍摄部11～第四副拍摄部14的结构除了镜头的形状、各电路部件的规格之外，也与主拍摄部10的结构相同。
28.影像处理装置20包括主影像获取部21、第一副影像获取部22a、第二副影像获取部22b、第三副影像获取部22c、第四副影像获取部22d、主影像加工部23、第一副影像加工部24a、第二副影像加工部24b、第三副影像加工部24c、第四副影像加工部24d、合成部25、压缩编码部26、文件生成部27以及记录部28。
29.影像处理装置20的到文件生成部27为止的结构能够通过硬件资源与软件资源的协作、或者仅通过硬件资源来实现。作为硬件资源，能够利用cpu(central processing unit：中央处理器)、rom(read-only memory：只读存储器)、ram(random access memory：随机存取存储器)、gpu(graphics processing unit：图形处理单元)、dsp(digital signal processor：数字信号处理器)、asic(application specific integrated circuit：专用集成电路)、fpga(field-programmable gate array：现场可编程门阵列)、其他lsi(large scale integration：大规模集成电路)。作为软件资源，能够利用固件等程序。
30.主影像获取部21从主拍摄部10获取包含圆形状影像区域的主影像数据。主影像获取部21将所获取的主影像数据输出到主影像加工部23。在本技术中，圆形状影像区域的概念不限于正圆的影像区域，还包括椭圆的影像区域、变形圆的影像区域。
31.通常，固体拍摄元件的像素以矩形状配置，因此即使镜头是超广角的圆周鱼眼镜头，从主拍摄部10输出的主影像数据也会成为在内部包含圆形状影像区域的矩形状数据。在主影像数据的各帧中，圆形状影像区域以外的区域成为不包含影像信息的空闲区域。在不进行视场角变换而再现主影像数据的情况下，空闲区域被显示为黑色背景。
32.第一副影像获取部22a～第四副影像获取部22d从第一副拍摄部11～第四副拍摄部14分别获取第一副影像数据～第四副影像数据。第一副影像获取部22a～第四副影像获取部22d将所获取的第一副影像数据～第四副影像数据分别输出到第一副影像加工部24a～第四副影像加工部24d。
33.第一副影像加工部24a～第四副影像加工部24d对第一副影像数据～第四副影像数据进行加工，生成具有主影像数据的各帧的空闲区域的形状的影像数据。以下，参照图3～图5进行具体说明。
34.图3是用于说明实施方式1涉及的由主拍摄部10、第一副拍摄部11～第四副拍摄部14分别拍摄到的主影像10i、第一副影像11i～第四副影像14i的图。主影像数据中不包含影像信息的区域用阴影的空闲区域10e表示。在图3中，用箭头分别表示车辆1前进的状态下的、主影像10i、第一副影像11i、第二副影像12i、第三副影像13i以及第四副影像14i中映现的景象的运动。各影像中映现的景象成为向与车辆1移动的方向相反的方向流动的景象。
35.由于车辆1正在前进(在图3中，车辆1从下向上移动)，所以在主影像10i中映现的景象成为向后方流动的景象。具体而言，成为从上向下流动的景象。经由超广角镜头拍摄到的影像成为圆形畸变的影像，因此在接近圆周的区域中，成为沿着圆周从上向下流动的景象。第一副影像11i中映现的景象成为从中央向周边部扩展的景象。第二副影像12i中映现的景象成为从周边部向中央吸引的景象。第三副影像13i中映现的景象成为从右向左流动的景象。第四副影像14i中映现的景象成为从左向右流动的景象。
36.此外，在车辆1后退(在图3中，车辆1从上向下移动)的情况下，在主影像10i、第一副影像11i、第二副影像12i、第三副影像13i以及第四副影像14i中映现的景象的运动成为与图3所示的箭头的方向相反的方向的运动。
37.图4是用于说明实施方式1涉及的由主拍摄部10、第一副拍摄部11～第四副拍摄部14分别拍摄到的主影像10i、第一副影像11i～第四副影像14i的变形处理的图。在图3～图5所示的例子中，在主影像10i上方的空闲区域10e配置第一副影像11i，在主影像10i下方的空闲区域10e配置第二副影像12i，在主影像10i左侧的空闲区域10e配置第三副影像13i，在主影像10i右侧的空闲区域10e配置第四副影像14i。
38.主影像加工部23以及第一副影像加工部24a～第四副影像加工部24d在合成影像之前，作为前处理，对主影像数据以及第一副影像数据～第四副影像数据分别执行各种加工处理。例如，在主拍摄部10的固体拍摄元件的分辨率与第一副拍摄部11～第四副拍摄部14的固体拍摄元件的分辨率不同的情况下，通过主影像加工部23以及第一副影像加工部24a～第四副影像加工部24d中的至少一者执行以下的加工处理。为了使主影像数据的分辨率与第一副影像数据～第四副影像数据的分辨率一致，执行由主影像加工部23进行的主影像数据的细化或插补处理、以及由第一副影像加工部24a～第四副影像加工部24d进行的第一副影像数据～第四副影像数据的细化或插补处理中的至少一个。
39.主影像加工部23也可以执行圆形状主影像10i的影像区域的放大或缩小处理。例如，在与主影像数据分开地分别保存第一副影像数据～第四副影像数据的情况下，主影像加工部23也可以最大限度地扩大圆形状影像区域。相反，在第一副影像数据～第四副影像数据不被保存而被废弃的情况下，主影像加工部23也可以缩小圆形状影像区域。在该情况下，能够更多地获取空闲区域10e的区域，能够更多地保留第一副影像11i～第四副影像14i的信息。
40.主影像加工部23为了降低主影像10i的失真，也可以基于根据主拍摄部10的超广角镜头的视角而设定的失真参数，通过规定的射影变换方式对主影像数据进行坐标变换。
41.第一副影像加工部24a～第四副影像加工部24d使第一副影像数据～第四副影像数据变形，以使第一副影像11i～第四副影像14i的运动矢量接近与车辆1的运动相应的、主影像10i内与空闲区域10e相邻的区域的运动矢量。在图4所示的例子中，第三副影像加工部24c使第三副影像数据逆时针旋转90
°
。第四副影像加工部24d使第四副影像数据顺时针旋转90
°
。在图4所示的例子中，不需要使第一副影像数据以及第二副影像数据旋转。
42.此外，副影像数据的旋转角度根据主拍摄部10与第一副拍摄部11～第四副拍摄部14的位置关系以及各自的视场角而预先设定。例如，在第三副拍摄部13的视场角向滚动(roll)方向倾斜的情况下，第三副影像加工部24c使第三副影像数据不是以90
°
而是以与该倾斜对应的角度旋转。例如，在第一副拍摄部11或第二副拍摄部12向滚动方向倾斜的情况
下，第一副影像加工部24a或第二副影像加工部24b使第一副影像数据或第二副影像数据以与该倾斜对应的角度旋转。
43.第一副影像加工部24a从第一副影像11i切出与主影像10i上方的空闲区域10e对应的形状的部分影像数据11c。另外，从第一副影像11i切出部分影像数据11c的位置并不限定于图4所示的位置，能够从任意的位置切出。另外，第一副影像加工部24a也可以以更大的尺寸切出部分影像数据11c，将切出的部分影像数据11c缩小至第一副影像11i上的空闲区域10e的尺寸。另外，第一副影像加工部24a也可以不是从第一副影像11i切出部分影像数据11c，而是将第一副影像11i整体变形为与主影像10i上方的空闲区域10e对应的形状。
44.同样地，第二副影像加工部24b从第二副影像12i切出与主影像10i下方的空闲区域10e对应的形状的部分影像数据12c。另外，第二副影像加工部24b也可以将第二副影像12i整体变形为与主影像10i下方的空闲区域10e对应的形状。第三副影像加工部24c从第三副影像13i切出与主影像10i左侧的空闲区域10e对应的形状的部分影像数据13c。此外，第三副影像加工部24c也可以将第三副影像13i整体变形为与主影像10i左侧的空闲区域10e对应的形状。第四副影像加工部24d从第四副影像14i切出与主影像10i右侧的空闲区域10e对应的形状的部分影像数据14c。另外，第四副影像加工部24d也可以将第四副影像14i整体变形为与主影像10i右侧的空闲区域10e对应的形状。
45.第一副影像加工部24a～第四副影像加工部24d随着第一副影像数据～第四副影像数据的变形、旋转或剪切而执行坐标变换。此外，主影像加工部23以及第一副影像加工部24a～第四副影像加工部24d除了上述的加工处理之外，还能够执行灰度修正、颜色修正、轮廓修正等加工处理。
46.合成部25具有帧缓冲器。合成部25在主影像数据的各帧的圆形状影像区域以外的空闲区域10e中，分别配置由第一副影像加工部24a～第四副影像加工部24d生成的部分影像数据11c～14c。
47.图5是示出在主影像10i中配置了四个部分影像数据11c～14c之后的合成影像15的图。如图5所示，在圆形状影像区域的边界的内侧和外侧，景象流动的方向近似。
48.压缩编码部26对合成后的影像数据进行压缩编码。压缩编码部26例如使用mpeg(moving picture expert group：运动图像专家组)类压缩方式，对影像数据进行压缩编码。作为mpeg类压缩方式，例如能够使用mpeg-2、mpeg-4、h.264/avc、h.265/hevc等。
49.文件生成部27根据压缩编码后的影像数据的流，生成一个动态图像文件。另外，在通过未图示的麦克风获取声音数据的情况下，文件生成部27也可以将影像数据和声音数据复用，生成一个带声音的动态图像文件。例如，使用mp4的格式，将影像数据和声音数据保存在一个文件中。文件生成部27将所生成的运动图像文件存储在记录部28中。这里，保存在记录部28中的动态图像文件是根据合成后的影像数据进行压缩编码而生成的，但如果没有记录容量、处理速度等规格上的限制，则也可以将不进行用于合成的加工等的第一副影像数据～第四副影像数据分别进行压缩编码而另行保存在记录部28中。
50.记录部28包括非易失性的记录介质。非易失性的记录介质可以是可移动记录介质，也可以是内置于影像处理装置20的固定的记录介质。作为可移动记录介质，可以使用半导体存储卡(例如sd卡)、光盘(例如dvd)等。作为固定的记录介质，能够使用nand(not and：是与非)型闪存芯片、ssd(solid state disk：固态硬盘)、hdd(hard disk drive：硬盘驱动
器)等。
51.另外，虽然在图2中未示出，但也可以在影像处理装置20中设置用于显示拍摄到的影像的显示部(例如，液晶显示器、有机el显示器)。此外，也可以代替设置显示部，而与汽车导航系统或智能手机协作，在汽车导航系统或智能手机的画面上显示拍摄到的影像。另外，也可以从影像处理装置20取出可移动记录介质，将取出的可移动记录介质安装到pc(personal computer：个人计算机)等影像再现装置，再现可移动记录介质中保存的动态图像文件。
52.另外，虽然在图2中未示出，但也可以在影像处理装置20中设置无线通信部。无线通信部能够将所生成的动态图像文件经由无线网络发送到云端的服务器并进行保存。另外，无线通信部也能够将合成后的影像经由无线网络向监视中心的pc或者服务器进行流发送。
53.如以上说明的那样，根据实施方式1，能够高效地生成由具有圆周鱼眼镜头等超广角镜头的主拍摄部10和第一副拍摄部11～第四副拍摄部14拍摄到的影像数据的文件。即，通过在从主拍摄部10获取的圆形状影像区域的周围的区域配置从第一副拍摄部11～第四副拍摄部14获取的影像，能够高效地记录影像。经由圆周鱼眼镜头拍摄到的影像在圆形状影像区域外侧的区域中没有影像信息，在矩形的可记录区域中产生了闲置。与此相对，根据本实施方式，能够有效利用该外侧的空闲区域。
54.在想要通过使用多个拍摄部同时进行拍摄来记录宽视野的影像的情况下，通过按每个拍摄部分别记录影像数据，在再现时，存在多个影像数据的合成、同步管理变得复杂的趋势。与此相对，根据本实施方式，能够将由多个拍摄部拍摄到的影像集中记录到一个影像区域，因此在再现时不需要留意多个影像数据的同步，能够简化再现时的处理。
55.在将由多个拍摄部拍摄到的影像合成到一个影像区域中进行记录的情况下，由于与各个影像的运动没有关联性，所以存在影像的压缩效率未提高、在合成后的影像间的边界区域中数据容量变大的趋势。
56.例如，在mpeg类压缩编码方式中，使用利用了运动补偿的帧间预测编码。压缩编码部26在与当前帧在时间方向上相邻的参照帧内，搜索与当前帧的宏块误差最小的预测区域。压缩编码部26求出表示当前帧的宏块与在参照帧内搜索到的预测区域的偏差的运动矢量。压缩编码部26使用求出的运动矢量对宏块的运动进行补偿，生成运动补偿后的宏块的图像与在参照帧内搜索到的预测区域的图像的差分图像。压缩编码部26对将该差分图像的正交变换系数量化后的数据和该运动矢量进行编码。
57.在利用了运动补偿的帧间预测编码中，映现在宏块内的景象的运动越均匀，越能够减少差分图像的数据量，能够提高压缩效率。在本实施方式中，使副影像数据旋转，以使得映现在主影像外周部的景象的运动矢量与映现在配置于其周围的副影像的景象的运动矢量接近。由此，能够降低映现在主影像与副影像间的边界区域的宏块内的景象的运动矢量的偏差，能够削减差分图像的数据量。因此，与不使副影像数据旋转地进行合成的情况相比，能够提高该边界区域的影像数据的压缩效率。
58.另外，在同一帧内搜索与对象区域类似的参照区域，生成对象区域的图像与参照区域的图像的差分图像并进行编码，在该情况下，也能够提高主影像与副影像间的边界区域附近的影像数据的压缩效率。使副影像数据旋转，以使得映现在主影像外周部中映现的
景象的运动矢量与映现在配置于其周围的副影像的景象的运动矢量接近，由此在该边界附近，容易搜索与对象区域相似度高的参照区域，有助于削减差分图像的数据量。另外，通过使副影像数据旋转，也有助于提高该边界附近的影像的外观上的连续性。
59.(实施方式2)
60.图6的(a)～(b)是示出构成实施方式2涉及的影像处理系统的、搭载于车辆1的主拍摄部10和副拍摄部11的配置例的图。图6的(a)是从上方观察车辆1的图，图6的(b)是从左侧面观察车辆1的图。实施方式2是副拍摄部11为一个时的例子。副拍摄部11安装于前格栅，其拍摄车辆1的前方的景象。
61.图7是示出实施方式2涉及的影像处理系统5的结构的框图。实施方式2涉及的影像处理系统5的结构是从图2所示的实施方式1的影像处理系统5的结构中去除第二副拍摄部12、第三副拍摄部13、第四副拍摄部14、第二副影像获取部22b、第三副影像获取部22c、第四副影像获取部22d、第二副影像加工部24b、第三副影像加工部24c以及第四副影像加工部24d后的结构。以下，参照图8～图10进行具体说明。
62.图8是用于说明实施方式2涉及的由主拍摄部10、副拍摄部11分别拍摄到的主影像10i、副影像11i的图。在图8中，用箭头分别表示车辆1前进的状态下的、在主影像10i和副影像11i中映现的景象的运动。各影像中映现的景象成为向与车辆1移动的方向相反的方向流动的景象。
63.在图8所示的例子中，副影像加工部24将副影像11i以十字状分割为4部分，生成左上区域a的第一部分影像11a、右上区域b的第二部分影像11b、左下区域c的第三部分影像11c以及右下区域d的第四部分影像11d。
64.图9是用于说明实施方式2涉及的由主拍摄部10、副拍摄部11分别拍摄到的主影像10i、副影像11i的变形处理的图。在图8～图10所示的例子中，在主影像10i的左上角的空闲区域10e配置副影像11i的第一部分影像11a，在主影像10i的右上角的空闲区域10e配置副影像11i的第二部分影像11b，在主影像10i的左下角的空闲区域10e配置副影像11i的第三部分影像11c，在主影像10i的右下角的空闲区域10e配置副影像11i的第四部分影像11d。
65.副影像加工部24使第一部分影像11a～第四部分影像11d变形，以使第一部分影像11a～第四部分影像11d的运动矢量接近与车辆1的运动相应的、主影像10i内与空闲区域10e相邻的区域的运动矢量的方式。在图9所示的例子中，副影像加工部24使第一部分影像11a逆时针旋转90
°
，使第二部分影像11b顺时针旋转90
°
，使第三部分影像11c逆时针旋转90
°
，使第四部分影像11d顺时针旋转90
°
。
66.副影像加工部24从第一部分影像11a切出与主影像10i的左上角的空闲区域10e对应的形状的部分影像数据11ac。同样地，副影像加工部24从第二部分影像11b切出与主影像10i的右上角的空闲区域10e对应的形状的部分影像数据11bc。同样地，副影像加工部24从第三部分影像11c切出与主影像10i的左下角的空闲区域10e对应的形状的部分影像数据11cc。同样地，副影像加工部24从第四部分影像11d切出与主影像10i的右下角的空闲区域10e对应的形状的部分影像数据11dc。副影像加工部24随着副影像数据的变形、旋转或剪切而执行坐标变换。
67.合成部25在主影像数据的各帧的圆形状影像区域以外的空闲区域10e中分别配置由副影像加工部24生成的部分影像数据11ac～11dc。
68.图10是示出在主影像10i中配置了四个部分影像数据11ac～11dc之后的合成影像15的图。如图10所示，在圆形状影像区域的边界的内侧和外侧，景象流动的方向近似。
69.如以上说明的那样，根据实施方式2，起到与实施方式1同样的效果。进而，在实施方式2中，与实施方式1相比，副拍摄部的数量少，因此，与实施方式1相比，能够削减影像处理系统5的成本。
70.以上，基于实施方式对本发明进行了说明。本领域技术人员应当理解该实施方式为例示，其各构成要素、各处理过程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内。另外，将本发明的表现在方法、装置、系统、记录介质、计算机程序等之间替换后的方案作为本发明的方式也是有效的。
71.在实施方式2中，对副影像部11拍摄车辆1前方的景象的情况进行了说明，但也可以应用到安装于车辆后部的用于拍摄后方景象的相机。在该情况下，在图8中车辆1前进时的副影像11i的各箭头的方向相反，但通过变更副影像数据的旋转方向，能够在圆形状影像区域的边界的内侧和外侧，以景象流动的方向近似的方式对齐。另外，也可以适当更换第一部分影像11a～第四部分影像11d的配置。
72.在上述图3～图5所示的例子中，第三副影像加工部24c使第三副影像数据逆时针旋转90
°
，第四副影像加工部24d使第四副影像数据顺时针旋转90
°
。关于这一点，也可以预先使第三副拍摄部13和第四副拍摄部14的视场角沿滚动方向旋转而设置。具体而言，在车辆1前进的状态下，以在拍摄到的影像的上侧映现车辆1的前方侧、在下侧映现车辆1的后方侧的朝向，分别设置第三副拍摄部13以及第四副拍摄部14。在该情况下，第三副影像加工部24c以及第四副影像加工部24d不需要分别使第三副影像数据以及第四副影像数据旋转。这样，预先调整主拍摄部10和第一副拍摄部11～第四副拍摄部14的配置和朝向，以使得映现在主影像外周部的景象的运动矢量与映现在配置于其周围的副影像的景象的运动矢量一致，由此不需要高度的影像加工处理，就能够提高边界区域附近的影像数据的压缩效率。
73.在上述的实施方式1、2中，作为搭载影像处理系统5的对象，假定了车辆1。关于这一点，也可以在车辆以外的移动体上搭载影像处理系统5。例如，也可以在摩托车、自行车、铁路车辆、船舶、飞机、多旋翼飞行器(无人机)等中搭载影像处理系统5。
74.另外，在实施方式1中，第一副影像加工部24a～第四副影像加工部24d也可以根据与移动体的运动相应的、主影像10i内与空闲区域10e相邻的区域的运动矢量，动态地导出第一副影像11i～第四副影像14i的运动矢量，自适应地调整第一副影像数据～第四副影像数据的旋转角度。例如，主影像加工部23导出主影像10i的各区域的运动矢量，以使得主影像10i的在时间方向上相邻的帧的各区域间的差分最小。第一副影像加工部24a导出第一副影像11i的运动矢量，以使得第一副影像11i的在时间方向上相邻的帧间的差分最小。第一副影像加工部24a使第一副影像11i旋转，以使得第一副影像11i的运动矢量近似于与应配置第一副影像11i的区域相邻的主影像10i的区域的运动矢量。
75.在实施方式2中也同样地，副影像加工部24也可以根据与移动体的运动相应的、主影像10i内与空闲区域10e相邻的区域的运动矢量，动态地导出副影像11i的各部分区域a～d的运动矢量，自适应地调整第一部分影像11a～第四部分影像11d的旋转角度。
76.在上述的实施方式1、2中，使用圆形状有效影像区域作为主影像、使用矩形影像区域作为副影像进行了说明，但并不限定于此，例如也可以是依赖于作为主影像而通过镜头
部投影到固定拍摄元件的有效像素区域的形状、或者预先设定的有效像素区域等，而具有桶形、半圆形等不限定于圆形的曲线部的形状的影像区域。具有曲线部的形状也可以具有曲线部和直线部。另外，曲线部也可以是将直线部接合而形成为大致圆弧状的多边形状。同样地，在使用异形形状的影像作为副影像的情况下，也能够实施本发明。
77.工业应用性
78.本发明能够用于行车记录仪。
79.符号说明
80.1：车辆；5：影像处理系统；10：主拍摄部；11：第一副拍摄部；12：第二副拍摄部；13：第三副拍摄部；14：第四副拍摄部；20：影像处理装置；21：主影像获取部；22：副影像获取部；23：主影像加工部；24：副影像加工部；25：合成部；26：压缩编码部；27：文件生成部；28：记录部。