专利名称：全向相机的制作方法
技术领域：
本发明涉及一种全向相机，其配备有多个相机并且被用来拍摄全向图像。
背景技术：
作为将被用于导航设备的地图信息等，获得沿着路线的图像数据，并且进一步地，基于所获得的图像执行测量。全向相机被用于获得这样的图像。全向相机被安装在诸如汽车等的移动对象的顶板上，并且当该移动对象正在移动时，全向相机沿着路线拍摄建筑物、构筑物以及风景等的图像。为了这样的目的，用以顺序地接收通过全向相机所获得的图像的速度必须对应于移动对象的移动速度，并且移动对象的速度局限于用以接收图像的速度。
从全向相机的图像拾取元件输出的信号本身不是图像数据，并且该信号具有巨大的数据量。因此，为了将该数据存储为图像数据的目的，必须将该数据转换成图像数据并且还必须对该数据进行压缩。参考图4，将在下文给出关于将从相机(图像拾取元件)输出的数据压缩为图像数据的常规类型图像数据处理设备的描述。为了简化解释，示出了从单个相机输出的数据的处理。在图4中，附图标记I表不图像数据处理设备，标记2表不从相机输出的光电检测信号，标记3表示外部存储器，以及标记4表示CPU。更具体地描述，该光电检测信号2是从相机的图像拾取元件的像素输出的光电检测信号。作为外部存储器3，例如，使用诸如DDR2 (双数据速率2)等的DRAM (动态随机存取存储器)。图像数据处理设备I主要地包括信号处理单元5、第一内部存储器6、输入/输出控制单元7、存储器控制器8、第二内部存储器9、数据转换单元10、第三内部存储器11、第四内部存储器12、图像数据输入/输出单元13以及内部寄存器14。光电检测信号2被输入到信号处理单兀5。信号处理单兀5将如此输入的光电检测信号2从串行信号转换为并行信号。在根据需要执行诸如位数的转换等的信号处理之后，该信号被输出到第一内部存储器6。第一内部存储器6临时地存储该信号直到所输入的信号达到预定的量为止。在这种情况下，例如，预定的量是“2048像素X16”。当所存储的数据量达到“2048像素X 16，，时，该数据被经由输入/输出控制单元7和存储器控制器8写入外部存储器3中。在这种情况下，存储器控制器8控制数据到外部存储器3中的写入的定时和其中写入了数据的外部存储器3的区。外部存储器3具有其中存储了光电检测信号2的光电检测信号存储区和其中存储了图像数据的图像数据存储区。从第一内部存储器6输出的信号被经由输入/输出控制单元7和存储器控制器8存储在光电检测信号存储区中(图4中的箭头标记“a”)。光电检测信号2被连续地输入到第一内部存储器6。每当数据达到所预定的量，在第一内部存储器6中存储的信号被经由存储器控制器8写入外部存储器3中，并且该数据被存储在外部存储器3中。当所存储的数据的量达到与一个图像帧相对应的量时，输入/输出控制单元7经由存储器控制器8从一个帧的量中剪切预定量的数据(例如，“2048像素X 16”)(图4中的箭头标记“b”)，并且该数据被输出到第二内部存储器9。例如，JPEG编码器被用作为数据转换单元10，并且JPEG编码器对在第二内部存储器9中累积的信号进行压缩并且将在第二内部存储器9中累积的信号转换为JPEG的图像数据。如此转换的图像数据被临时地存储在第三内部存储器11中，并且以由存储器控制器8控制的所要求的定时将该数据从输入/输出控制单元7写入到外部存储器3中。在数据转换单元10处，所述预定的量中的每个数据都被压缩并且转换成图像数据，并且该数据被顺序地写入外部存储器3中。当如此转换的图像数据达到一个帧的量时，该数据被作为一个帧的图像数据存储在图像数据存储区中(图4中的箭头标记“c”)。接下来，在CPU 4根据图像数据执行测量等的情况下，读取命令被经由图像数据输入/输出单元13发出到输入/输出控制单元7，并且经由存储器控制器8读取图像数据(图4中的箭头标记“d”)。然后，图像数据被经由第四内部存储器12和图像数据输入/输 出单元13输出到CPU 4。在图像数据处理设备I中，它被如此布置使得在图像数据处理设备I与外部存储器3之间输入并输出一个帧的大容量的数据四次之多。同样地,针对每个帧执行图像数据的转换和压缩。因此，以一个帧的延迟自然地执行图像处理。出于这个原因，在如在过去执行的图像数据处理中，到外部存储器3的数据的供给以及从外部存储器3的数据的获取过去常常是处理中的瓶颈。进一步地，因为在图像数据的转换或压缩等中已经存在一个帧的时滞，所以已经限制了用以接收通过相机获得的图像的速度。同样地，在如在全向相机的情况下存在两个或更多个相机并且该两个或更多个相机同时获得图像的情况下，对于用以接收图像的速度的限制已经是重要的问题了。
发明内容
本发明的目的是加速由相机获得的数据的图像转换。为了达到以上目的，根据本发明的全向相机包括相机，其用于获得数字图像；图像数据处理设备，其用于对从相机输出的信号进行压缩并且用于将该信号转换为图像信号；以及外部存储器，并且在该全向相机中，图像数据处理设备具有用于接收该信号的信号处理单元、写入切换单元、一组内的两个第一内部存储器、数据转换单元、用于临时地存储从数据转换单元输出的转换之后的数据的第三内部存储器、以及用于控制在第三内部存储器与外部存储器之间的数据的输入与输出的输入/输出控制单元，并且写入切换单元将从信号处理单元输出的信号累积在第一内部存储器之一中直到数据被累积到预定的量为止，并且当数据被累积到所述预定的量时，写入切换单元改变累积的目的地并且重复地将该数据累积在第一内部存储器中的另一个中，并且将信号从其中信号的累积达到所述预定的量的第一内部存储器输出到数据转换单元，并且数据转换单元对输入的信号进行压缩并且将该输入的信号转换成图像信号，并且通过输入/输出控制单元接连地将图像信号输入到外部存储器。进一步地，根据本发明的全向相机包括两个或更多个相机，并且在该全向相机中，与每个相机相应地分别将信号处理单元、写入切换单元、一组内的两个第一内部存储器、数据转换单元以及第三内部存储器提供为与相机的数目一样多。进一步地，在根据本发明的全向相机中，输入/输出控制单元包括请求调解单元，其用于将优先级排序给予从第三内部存储器输入的两个或更多个写入请求中的每一个；以及数据储存单元，其用于临时地存储从数据转换单元输出的并且对应于写入请求的转换之后的数据，并且根据如所给予的优先级排序将转换之后的数据写入外部存储器中。进一步地，在根据本发明的全向相机中，所累积的信号的所述预定的量是数据转换单元能够将数据压缩并且转换到的最小单位的量。根据本发明，全向相机包括相机，其用于获得数字图像；图像数据处理设备，其用于对从相机输出的信号进行压缩并且用于将所述信号转换为图像信号；以及外部存储器，并且在该全向相机中，图像数据处理设备具有用于接收信号的信号处理单元、写入切换单元、一组内的两个第一内部存储器、数据转换单元、用于临时地存储从数据转换单元输出的转换之后的数据的第三内部存储器、以及用于控制在第三内部存储器与外部存储器之间的数据的输入与输出的输入/输出控制单元，并且写入切换单元将从信号处理单元输出的 信号累积在第一内部存储器之一中直到数据被累积到预定的量为止，并且当数据被累积到预定的量时，写入切换单元改变累积的目的地并且重复地将所述数据累积在第一内部存储器中的另一个中，并且将信号从其中信号的累积达到所述预定的量的第一内部存储器输出到数据转换单元，并且数据转换单元对输入的信号进行压缩并且将输入的信号转换成图像信号，并且通过输入/输出控制单元接连地将图像信号输入到外部存储器。因此，同时执行了从相机的数据的接收和数据的压缩与转换。减少了到外部存储器的数据的供给与从外部存储器的数据的接收的处理的数量，并且可以大量地减少对于数据的压缩和转换所需要的时间。进一步地，根据本发明，全向相机包括两个或更多个相机，并且在该全向相机中，与每个相机相应地分别将信号处理单元、写入切换单元、一组内的两个第一内部存储器、数据转换单元以及第三内部存储器提供为与相机的数目一样多。因此，能够单独地进行来自每个相机的信号的压缩和转换，并且缩短了转换所需要的时间。因此，通过全向相机增加图像拾取的速度是可能的。进一步地，根据本发明，在全向相机中，输入/输出控制单元包括请求调解单元，其用于将优先级排序给予从第三内部存储器输入的两个或更多个写入请求中的每一个；以及数据储存单元，其用于临时地存储从数据转换单元输出的并且对应于写入请求的转换之后的数据，并且根据如所给予的优先级排序将转换之后的数据写入外部存储器中。因此，减少了将被进一步写入的数据量，并且未延迟并且顺利地执行了数据到外部存储器的写入。另外，根据本发明，在全向相机中，所累积的信号的所述预定的量是数据转换单元能够将数据压缩并且转换到的最小单位的量。因此，内部存储器的容量可以是小的。进一步地，因为能够在短时间内完成数据的最小单位压缩和转换的量内的数据的压缩和转换，并且能够实时地同时执行数据的接收以及数据的压缩和转换。
图I是根据本发明的实施例的全向相机的示意 图2是将用于全向相机中的图像数据处理设备的示意方框图；图3是图像数据处理设备的输入/输出控制单元的方框图；以及 图4是常规图像数据处理设备的示意方框图。
具体实施例方式将在下文通过参考附图给出关于本发明的实施例的描述。首先，参考图1，将给出关于其中应用了本发明的全向相机21的示例的描述。在相机外壳22的彼此垂直交叉的四个侧表面上，布置每个用于拍摄数字图像的相机23a、23b、23c以及23d(在图中未示出相机23c和23d)，并且用于拍摄数字图像的相机23e被布置在顶板表面上。能够通过相机23a、23b、23c 以及23d中的每一个获得全周围的图像。能够通过相机23e获得向上方向上的图像。能够通过相机23a、23b、23c和23d、以及通过相机23e获得除了向下方向之外的所有方向上的图像。进一步地，通过合成分别由相机23a、23b、23c以及23d拍摄的图像，能够制备全周围的全景图像。在相机外壳22的内部，容纳了图像数据处理设备20 (见图2)。通过相机23a、23b、23c和23d以及通过相机23e所获得的信号分别被发送到图像数据处理设备20。在图像数据处理设备20处，数据被压缩并且被转换为图像。例如，相机外壳22被以防水结构来设计，被以这样的方式来设计，该方式为相机外壳22能够被安装在汽车的顶板上。接下来，通过参考图2，将给出关于本实施例的图像数据处理设备20的描述。在图2中，与图4中所示相同的部件通过相同的符号来指示，并且在这里将不给出详细描述。图像数据处理设备20主要地包括信号处理单元5、写入切换单元25、分别安装在每个相机上的两个第一内部存储器6a和6b、输入/输出控制单兀7、存储器控制器8、第三内部存储器11、第四内部存储器12、图像数据输入/输出单元13以及内部寄存器14。因为如从相机23a、23b、23c和23d以及从相机23e输出的每个单独的信号的每个处理是相同的，所以将给出关于有关从单个相机23a输入的光电检测信号2的处理的描述。从相机23a、23b、23c和23d以及从相机23e输出的信号是图像拾取元件的信号。来自相机23a的光电检测信号2被输入到信号处理单兀5。信号处理单兀5接收该光电检测信号2并且将如此接收的光电检测信号2从串行信号转换为并行信号，并且将该光电检测信号2转换为8比特信号。来自信号处理单元5的信号被以预定的量经由写入切换单元25轮流并且交替地输入到第一内部存储器6a或6b中的任一个，并且被累积在第一内部存储器6a和6b中。在这种情况下，将被累积在第一内部存储器6a和6b中的每一个中的数据的预定的量非常低于图像的一个帧的数据的容量，或非常低于第一内部存储器6a和6b的容量。所述预定的量优选地是数据转换单元10能够压缩并且转换为图像数据的最小单位的数据量，例如，其是“8像素X 8”的数据量。每当如累积在第一内部存储器6a和6b中的数据量达到数据量“8像素X8”时，数据就被输出到数据转换单元10。因此，“8像素X8”的数据被交替地从第一内部存储器6a和6b输入到数据转换单元10。写入切换单元25控制第一内部存储器6a和6b的数据的累积和释放。例如，在数据被写入第一内部存储器6a中的情况下，数据被从第一内部存储器6b输出到数据转换单元10。当待发送到第一内部存储器6a的数据达到预定的量(8像素X8)时，数据被写入第一内部存储器6b中，并且在第一内部存储器6a中累积的数据被输出到数据转换单元10。数据转换单元10转换并且压缩如从第一内部存储器6之一输入的“8像素X8”的信号。例如，数据转换单元10将数据转换为JPEG的图像数据并且将数据输出到第三内部存储器11。第三内部存储器11临时地存储所述图像数据直到从输入/输出控制单元7接收到用以输出该数据的指令为止。在这种情况下，通过数据转换单元10的数据转换是采用图像数据转换的最小单位，并且能够以高速度来转换数据。进一步地，如果它被如此布置以使得转换速度(即转换所需要的时间段)被设置成比在其期间光电检测信号2的数据被累积在第一内部存储器6a和6b之一中的时间段更短的时间段，则不存在用于将数据从第一内部存储器6a和6b输出到数据转换单元10、和从信号处理单元5接收数据的等待时间段，实时地同时执行数据到图像数据的转换以及数据的压缩。输入/输出控制单元7经由存储器控制器8以预定的定时连续地将被数据转换单元10连续地转换的最小单位的图像数据写入到外部存储器3的预定区并且在预定的地址 处(图2中的箭头标记“a”)。当待写入的数据被累积到一个帧的量时，存储器控制器8就改变数据将被写入的区和地址并且进行控制，从而使得能够在外部存储器3内对于每个帧完成图像数据。在测量或其它操作将被基于图像数据执行的情况下，从CPU 4发出数据读取请求。响应于该数据读取请求，输入/输出控制单元7和存储器控制器8中的每一个都以预定的单位输出在外部存储器3中存储的图像数据(图2中的箭头标记“d”)。在这种情况下的数据量是采用在第四内部存储器12中能够存储数据的这样的量，例如，“2048像素X 16”等。如此读取的图像数据被以预定的定时输出到图像数据输入/输出单元13。如上文所描述的，根据本实施例，通过将第一内部存储器6a和6b中的两个设置为一组来交替地累积数据，并且在存储器之一中累积的数据被转换，与此同时存储器中的另一个正在累积数据。因此，不需要在外部存储器3中累积一个帧的数据，并且不必要在外部存储器3与图像数据处理设备20之间执行数据的供给和接收(其已经是瓶颈)。进一步地，不需要在数据的压缩中和在到图像数据的转换处理中具有用于数据的一个帧的数据累积的等待时间。因此，能够以非常高的速度来执行数据的压缩和图像数据的转换。在上文中，已经给出了关于使用一个相机的情况的描述。在存在两个或更多个相机的情况下，能够与每个相机相应地将信号处理单元5、第一内部存储器6a和6b、数据转换单元10、以及第三内部存储器11提供为与相机的数目一样多。能够那样执行数据的接收和数据的压缩和转换。图3示出了在存在两个或更多个相机23的情况下的输入/输出控制单元7的配置。特别地，示出了输入/输出控制单元7的写入部分的配置。输入/输出控制单元控制从两个或更多个第三内部存储器11输出的图像数据到外部存储器3的写入。输入/输出控制单元7包括请求调解单元26、请求储存单元27、数据储存单元28、请求生成单元29、以及地址生成单元30。当在压缩和转换之后的图像数据被累积在第三存储器11中时，写入请求I至5分别被从第三内部存储器11中的每一个发出，并且写入请求I至5被输入到请求调解单元26。请求调解单元26将优先级排序添加到写入请求I至5并且将写入请求I至5存储在请求储存单元27中。从在时间方面较早地输入的那个起顺序地确定优先级排序，从而使得将不存在等待时间或者将缩短等待时间。与写入请求I至5相对应的数据被从第三内部存储器11输出到数据储存单元28并且被临时地存储在数据储存单元28中。请求生成单元29根据优先级排序产生写入请求，例如，写入请求2，并且地址生成单元30确定与该写入请求2相对应的写入数据2的地址并且连同写入请求2 —起将该地址输入到存储器控制器8。存储器控制器8基于写入请求2从数据储存单元28读取与写入请求2相对应的写入数据2 (图像数据)并且在外部存储器3的地址上写入该写入数据2。从两个或更多个第三内部存储器11所输出的图像数据被制备为用于每个相机并且用于外部存储器3内的每个帧的图像数据。 即使在通过两个或更多个相机获得图像的情况下，数据的压缩和转换也被与数据的接收同时执行，并且仅有被转换为图像数据的数据被发送到处部存储器3。在图像数据处理设备20与外部存储器3之间在转换之前既不执行数据的供给也不执行数据的接收，并且这使得可以加速数据的转换和压缩。在以上的实施例中，描述了具有5个相机的全向相机，尽管可以根据相机的视场角来确定相机的数目，并且相机的数目不局限于5个相机。同样地，相机可能未必是完整的单个单元，并且可以是图像拾取元件和结合在相机外壳中的光学系统。进一步地，输入/输出控制单元7可以与存储器控制器8集成作为输入/输出控制单元，并且该输入/输出控制单元可以控制图像数据处理设备20与外部存储器3之间的信号的供给与接收、到外部存储器3的写入以及数据读取。同样地，第三内部存储器11通常可以被用作数据储存单元28。
权利要求
1.一种全向相机，包括相机，其用于获得数字图像；图像数据处理设备，其用于对从所述相机输出的信号进行压缩并且用于将所述信号转换为图像信号；以及外部存储器，其中所述图像数据处理设备具有用于接收所述信号的信号处理单元、写入切换单元、一组内的两个第一内部存储器、数据转换单元、用于临时地存储从所述数据转换单元输出的转换之后的数据的第三内部存储器、以及用于控制在所述第三内部存储器与所述外部存储器之间的数据的输入与输出的输入/输出控制单元，并且其中所述写入切换单元将从所述信号处理单元输出的信号累积在所述第一内部存储器之一中直到数据被累积到预定的量为止，并且当数据被累积到该预定的量时，写入切换单元改变累积的目的地并且重复地将该数据累积在所述第一内部存储器中的另一个中，并且将所述信号从其中所述信号的累积达到该预定的量的所述第一内部存储器输出到数据转换单元，并且所述数据转换单元对输入的信号进行压缩并且将该输入的信号转换成图像信号，并且通过所述输入/输出控制单元接连地将所述图像信号输入到所述外部存储器。
2.根据权利要求I所述的全向相机，包括两个或更多个所述相机，其中与每个所述相机相应地分别将所述信号处理单元、所述写入切换单元、一组内的所述两个第一内部存储器、所述数据转换单元以及所述第三内部存储器提供为与所述相机的数目一样多。
3.根据权利要求2所述的全向相机，其中，所述输入/输出控制单元包括请求调解单元，其用于将优先级排序给予从所述第三内部存储器输入的两个或更多个写入请求中的每一个；以及数据储存单元，其用于临时地存储从数据转换单元输出的并且对应于写入请求的转换之后的数据，并且根据如所给予的所述优先级排序将转换之后的数据写入所述外部存储器中。
4.根据权利要求I所述的全向相机，其中，所述累积的信号的该预定的量是所述数据转换单元能够将数据压缩并且转换到的最小单位的量。
全文摘要
一种全向相机包括相机、图像数据处理设备和外部存储器，图像数据处理设备具有信号处理单元、写入切换单元、一组内的两个第一内部存储器、数据转换单元、第三内部存储器、和输入/输出控制单元，写入切换单元将从信号处理单元输出的信号累积在第一内部存储器之一中直到数据被累积到预定量为止，且当数据被累积到预定量时，写入切换单元改变累积的目的地并重复地将该数据累积在第一内部存储器中的另一个中，且将信号从信号的累积达到预定量的第一内部存储器输出到数据转换单元，数据转换单元对输入的信号进行压缩并将其转换成图像信号，并且通过输入/输出控制单元接连地将图像信号输入到外部存储器。
文档编号H04N5/232GK102790853SQ20121015515
公开日2012年11月21日 申请日期2012年5月18日 优先权日2011年5月19日
发明者石田健, 齐藤政宏 申请人:株式会社拓普康