图像数据发送、接收装置及方法、传输系统、发送图像数据及程序的制作方法
【专利摘要】本发明提供一种图像数据发送、接收装置及方法、传输系统、发送图像数据及程序，能够使传输率不降低且高效地对包括多种信息量容易变多的图像信息在内的图像数据进行收发。本发明涉及的图像数据传输系统(100)具备图像数据发送装置(120)和图像数据接收装置(130)。尤其是，图像数据发送装置(120)具备：对鱼眼图像的变形进行校正并形成变形校正图像的变形校正处理部(122)；和沿着扫描线分割由变形校正处理部(122)所形成的变形校正图像并执行重新排列处理来形成变换图像，将该变换图像插入到鱼眼图像数据的有效的影像信号不存在的区域中来生成发送图像数据的发送图像数据生成部(123)。
【专利说明】图像数据发送、接收装置及方法、传输系统、发送图像数据
及程序
【技术领域】
[0001]本发明涉及使由鱼眼镜头捕捉到的鱼眼图像及其校正图像进行数据化来传输的图像数据发送装置、图像数据接收装置、图像数据传输系统、图像数据发送方法、图像数据接收方法、发送图像数据以及程序。
【背景技术】
[0002]图16为表示由鱼眼镜头所捕捉的鱼眼图像的一例的图。鱼眼镜头具有能够一次捕捉宽的范围这一特征，另一方面，该图像会变形为圆形。因此，提出了一种对鱼眼图像的变形进行校正以形成与由通常的镜头所捕捉的图像等同的容易看到的图像的技术(参照例如专利文献I。) O
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:美国专利第5359363号说明书
【发明内容】
[0006]发明所要解决的课题
[0007]但是，以往在对鱼眼图像的变形进行校正的情况下，不是图像整体而是切出其中一部分来进行校正。图17为表示鱼眼图像的变形校正图像的一例的图。如果对比图17和图16，则明显地，虽然被鱼眼镜头捕捉，但在变形校正图像中却产生缺欠的部分。S卩，被实施变形校正的位置以外成为死角，从而不产生死角这一鱼眼镜头的最大优点被显著地损害了。
[0008]该缺点通过同时观察鱼眼图像及其校正图像而被消除。虽然要进行明了的图像观察，但是如果更重视不产生死角的话，则需要能够对比鱼眼图像及其校正图像。由于通常观察是在远离搭载有鱼眼镜头的摄像装置的场进行的，因此需要使鱼眼图像及其校正图像分别数据化来发送。其结果，与处理一种图像数据相比，导致处理量增加所引起的图像数据传输率的降低，从而产生图像数据的有效发送变得困难的问题。
[0009]本发明的目的在于提供一种为了消除上述的现有技术的问题点，能够不使传输率降低地高效地收发包括多种信息量容易变多的图像信息在内的图像数据的图像数据发送装置、图像数据接收装置、图像数据传输系统、图像数据发送方法、图像数据接收方法、发送图像数据以及程序。
[0010]用于解决课题的技术方案
[0011]为了解决上述的课题并实现目的，本发明的技术方案I涉及的图像数据发送装置，输入包括由采用广角使图像产生变形的镜头所捕捉的图像(以下称作鱼眼图像。)在内的鱼眼图像数据并向外部装置发送，该图像数据发送装置的特征在于具备:变形校正处理单元，其对上述鱼眼图像的变形进行校正，形成变形校正图像；和发送图像数据生成单元，其沿着扫描线将由上述变形校正处理单元所形成的变形校正图像分割为多个行，将被分割的各行以规定的基准进行重新排列来形成变换图像，将上述变换图像插入到上述鱼眼图像数据的有效的影像信号不存在的区域中，由此生成发送图像数据。
[0012]此外，本发明的技术方案2涉及的图像数据发送装置，在技术方案I所记载的发明中，其特征在于，上述发送图像数据生成单元沿着扫描线按每行分割上述变形校正图像，按照行方向收敛于使上述鱼眼图像的有效像素数和水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
[0013]此外，本发明的技术方案3涉及的图像数据发送装置，在技术方案I或者2所记载的发明中，其特征在于，上述发送图像数据生成单元沿着扫描线按每行分割上述变形校正图像，按照行方向等于上述鱼眼图像的有效像素数的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
[0014]此外，本发明的技术方案4涉及的图像数据发送装置，在技术方案I所记载的发明中，其特征在于，上述发送图像数据生成单元沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照收敛于使上述鱼眼图像的有效行数和垂直消隐期间的行数相加后的大小的方式连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
[0015]此外，本发明的技术方案5涉及的图像数据发送装置，在技术方案I或者4所记载的发明中，其特征在于，上述发送图像数据生成单元沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，将实施了该第2分割的各行从第I行开始依次朝向下方向按照与上述鱼眼图像的有效行数相等的方式连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
[0016]此外，本发明的技术方案6涉及的图像数据发送装置，在技术方案I所记载的发明中，其特征在于，上述发送图像数据生成单元沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的行的一部分即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第I变换图像，按照行方向收敛于使上述鱼眼图像的有效像素数和上述水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使实施了上述第I分割的行的剩余部分以行顺序朝向行的一个方向连续地排列为一维，由此形成第2变换图像，将上述第I变换图像插入到上述鱼眼图像数据的水平消隐期间中，并且将上述第2变换图像插入到上述垂直消隐期间和上述垂直消隐期间内的水平消隐期间中，来生成发送图像数据。
[0017]此外，本发明的技术方案7涉及的图像数据发送装置，在技术方案I所记载的发明中，其特征在于，上述发送图像数据生成单元沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照行方向收敛于使上述鱼眼图像的有效像素数和上述鱼眼图像数据的水平消隐期间的像素数相加后的大小的方式，并且按照列方向在不超过上述鱼眼图像数据的垂直消隐期间的行数的范围中成为最长的方式，使实施了该第I分割的行的一部分从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成第I变换图像，按照成为收敛于上述水平消隐期间的像素数内的长度的方式进一步分割实施了上述第I分割的行的剩余部分即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第2变换图像，将上述第I变换图像插入到上述鱼眼图像数据的垂直消隐期间和上述垂直消隐期间内的上述水平消隐期间中，并且将上述第2变换图像插入到上述水平消隐期间中，来生成发送图像数据。
[0018]此外，本发明的技术方案8涉及的图像数据接收装置，接收从权利要求1?7的任一项所述的图像数据发送装置输出的发送图像数据，该图像数据接收装置的特征在于具备:图像复原处理单元，其从上述发送图像数据中提取变换图像，按以规定的基准排列的每行分割该变换图像，将分割后的各行以行顺序进行重新排列，由此复原为变形校正图像；和图像显示单元，其显示上述变形校正图像、或者上述鱼眼图像、或者上述变形校正图像和上述鱼眼图像的双方。
[0019]此外，本发明的技术方案9涉及的图像数据传输系统的特征在于，具备:照相机，其具备采用广角使图像产生变形的镜头，并具有生成包括由该镜头所捕捉的图像即鱼眼图像在内的鱼眼图像数据的功能；权利要求1?7的任一项所述的图像数据发送装置；和权利要求8所述的图像数据接收装置。
[0020]此外，本发明的技术方案10涉及的发送图像数据的特征在于，是在包括鱼眼图像在内的图像数据的有效的影像信号不存在的区域即水平消隐期间、或者垂直消隐期间、或者上述水平消隐期间和上述垂直消隐期间这两者中，插入以规定的基准对上述鱼眼图像的变形校正图像进行变换后的变换图像而生成的发送图像数据。
[0021]此外，本发明的技术方案11涉及的图像数据发送方法是在图像数据发送装置中所执行的图像数据发送方法，上述图像数据发送装置输入包括由采用广角使图像产生变形的镜头所捕捉的图像即鱼眼图像在内的鱼眼图像数据并向外部装置发送，该图像数据发送方法的特征在于包括:变形校正处理步骤，对上述鱼眼图像的变形进行校正，形成变形校正图像；和发送图像数据生成步骤，沿着扫描线将由上述变形校正处理步骤所形成的变形校正图像分割为多个行，将被分割的各行以规定的基准进行重新排列来形成变换图像，将上述变换图像插入到上述鱼眼图像数据的有效的影像信号不存在的区域中，由此生成发送图像数据。
[0022]此外，本发明的技术方案12涉及的图像数据发送方法，在技术方案11所记载的发明中，其特征在于，在上述发送图像数据生成步骤中，沿着扫描线按每行分割上述变形校正图像，按照行方向收敛于使上述鱼眼图像的有效像素数和水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
[0023]此外，本发明的技术方案13涉及的图像数据发送方法，在技术方案11或者12所记载的发明中，其特征在于，在上述发送图像数据生成步骤中，沿着扫描线按每行分割上述变形校正图像，按照行方向等于上述鱼眼图像的有效像素数的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
[0024]此外，本发明的技术方案14涉及的图像数据发送方法，在技术方案11所记载的发明中，其特征在于，在上述发送图像数据生成步骤中，沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照收敛于使上述鱼眼图像的有效行数和垂直消隐期间的行数相加后的大小的方式连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
[0025]此外，本发明的技术方案15涉及的图像数据发送方法，在技术方案11或者14所记载的发明中，其特征在于，在上述发送图像数据生成步骤中，沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照与上述鱼眼图像的有效行数相等的方式连续地排列为一维，由此形成变换图像，将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
[0026]此外，本发明的技术方案16涉及的图像数据发送方法，在技术方案11所记载的发明中，其特征在于，在上述发送图像数据生成步骤中，沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的行的一部分即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第I变换图像，按照行方向收敛于使上述鱼眼图像的有效像素数和上述水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使实施了上述第I分割的行的剩余部分以行顺序朝向行的一个方向连续地排列为一维，由此形成第2变换图像，将上述第I变换图像插入到上述鱼眼图像数据的水平消隐期间中，并且将上述第2变换图像插入到上述垂直消隐期间和上述垂直消隐期间内的水平消隐期间中，来生成发送图像数据。
[0027]此外，本发明的技术方案17涉及的图像数据发送方法，在技术方案11所记载的发明中，其特征在于，在上述发送图像数据生成步骤中，沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照行方向收敛于使上述鱼眼图像的有效像素数和上述鱼眼图像数据的水平消隐期间的像素数相加后的大小的方式，并且按照列方向在不超过上述鱼眼图像数据的垂直消隐期间的行数的范围中成为最长的方式，使实施了该第I分割的行的一部分从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成第I变换图像，按照成为收敛于上述水平消隐期间的像素数内的长度的方式进一步分割实施了上述第I分割的行的剩余部分即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第2变换图像，将上述第I变换图像插入到上述鱼眼图像数据的垂直消隐期间和上述垂直消隐期间内的上述水平消隐期间中，并且将上述第2变换图像插入到上述水平消隐期间中，来生成发送图像数据。
[0028]此外，本发明的技术方案18涉及的图像数据接收方法，接收通过权利要求11?17的任一项所述的图像数据发送方法而生成的发送图像数据，该图像数据接收方法的特征在于包括:图像复原处理步骤，从上述发送图像数据中提取变换图像，按以规定的基准排列的每行分割该变换图像，将分割后的各行以行顺序进行重新排列，由此复原为变形校正图像；和图像显示步骤，显示上述变形校正图像、或者上述鱼眼图像、或者上述变形校正图像和上述鱼眼图像的双方。
[0029]此外，本发明的技术方案19涉及的程序的特征在于，使计算机执行技术方案11?18的任一项所述的方法。
[0030]发明效果
[0031]根据本发明，实现能够不降低传输率且高效地对包括多种信息量容易变多的图像信息在内的图像数据进行收发这一效果。
【专利附图】
【附图说明】
[0032]图1为表示实施方式I涉及的图像数据传输系统的构成的图。
[0033]图2为表示由照相机110生成的鱼眼图像数据200的一例的概念图。
[0034]图3为表示由变形校正处理部122所校正的变形校正图像300的一例的图。
[0035]图4为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。
[0036]图5为表示由发送图像数据生成部123所生成的发送图像数据500的一例的图。
[0037]图6为表示图像数据发送装置120、图像数据接收装置130的硬件构成的一例的框图。
[0038]图7为表示发送图像数据500的生成处理过程的流程图。
[0039]图8为表示变换图像400的复原处理过程的流程图。
[0040]图9为表示图像显示控制处理过程的流程图。
[0041]图10为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。
[0042]图11为表示由发送图像数据生成部123所生成的发送图像数据1100的一例的图。
[0043]图12为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。
[0044]图13为表示由发送图像数据生成部123所生成的发送图像数据1300的一例的图。
[0045]图14为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。
[0046]图15为表示由发送图像数据生成部123所生成的发送图像数据1500的一例的图。
[0047]图16为表示由鱼眼镜头所捕捉的鱼眼图像的一例的图。
[0048]图17为表示鱼眼图像的变形校正图像的一例的图。
【具体实施方式】
[0049]以下，参照附图对本发明涉及的图像数据发送装置、图像数据接收装置、图像数据传输系统、发送图像数据、图像数据发送方法、图像数据接收方法、发送图像数据以及程序的优选实施方式详细地进行说明。
[0050](实施方式I)
[0051](系统构成)
[0052]图1为表示实施方式I涉及的图像数据传输系统的构成的图。图像数据传输系统100构成为具备照相机110、图像数据发送装置120和图像数据接收装置130。照相机110与图像数据发送装置120也可被直接连接，也可经由通信线路被连接。此外，也可被一体化。图像数据发送装置120与图像数据接收装置130也可被直接连接，也可经由通信线路被连接。
[0053]照相机110构成为包括鱼眼镜头111和图像传感器112。照相机110具有下述功能，即:将由鱼眼镜头111聚集的来自被摄体的光通过图像传感器112变换为电信号，进而变换为数字信号之后，实施各种信号处理并生成鱼眼图像数据。该鱼眼图像数据被发送到图像数据发送装置120。
[0054]图2为表示由照相机110所生成的鱼眼图像数据200的一例的概念图。图中示出I帧量的数据。鱼眼图像数据200对鱼眼图像201赋予垂直消隐期间202和水平消隐期间203。在垂直同步信号204的I周期的期间内包括I帧量的像素数据，在水平同步信号205的I周期的期间内包括I行量的像素数据。一般地，为了将图像显示于显示单元，而从画面的左上角到该画面的右下角为止一行一行地描绘图像。水平消隐期间203为从I行量的图像显示结束到开始下一行的图像显示为止的期间。另一方面，垂直消隐期间202为从画面的最下行的描绘结束到开始画面的最上行的描绘为止的期间。
[0055]而且，通过显示所有行的图像来形成与I帧相对应的图像。另外，由于在水平消隐期间203以及垂直消隐期间202不存在有效的影像信号，因此不显示图像。垂直消隐期间202相当于从图像I帧量的总行数中减去了有效行数后的值。此外，水平消隐期间203相当于从图像I行量的总像素数中减去了有效像素数后的值。
[0056]接下来，返回到图1，对图像数据发送装置120的功能性构成进行说明。图像数据发送装置120具备输入端口 121、变形校正处理部122、发送图像数据生成部123、输出端口124和存储器125。
[0057]输入端口 121输入从照相机110输出的鱼眼图像数据200。变形校正处理部122对从输入端口 121所输入的鱼眼图像数据200中提取出的鱼眼图像201的变形进行校正，以形成与由通常的镜头所捕捉的图像等同的容易看到的图像。例如，为了将鱼眼图像201变换为二维的平面图像来进行显示，而在对鱼眼图像201实施RGB彩色变换之后实施一般的变形校正处理，从而变换为平面图像。图3为表示由变形校正处理部122所校正的变形校正图像300的一例的图。
[0058]发送图像数据生成部123沿着扫描线而将由变形校正处理部122所形成的变形校正图像300分割为多行，按规定的基准重新排列各行并形成变换图像。而且，将该变换图像插入到输入端口 121所输入的鱼眼图像数据200的有效的影像信号不存在的区域并生成发送图像数据。
[0059]图4为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。如图4所示，发送图像数据生成部123首先沿着扫描线按每行分割变形校正图像300。接下来，按照行方向收敛于使鱼眼图像201的有效像素数和水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于鱼眼图像数据200的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维。或者，按照行方向等于鱼眼图像201的有效像素数的方式、并且按照列方向收敛于鱼眼图像数据200的垂直消隐期间202的行数内的方式，使被分割的各行从第I行开始依次朝向从左到右的行的方向连续地排列为一维。由此一来，形成收敛于垂直消隐期间202的容量的变换图像400。
[0060]图4所示的变换图像400示出在第I行排列从第I行到第N(N:自然数)行、在第2行以下排列从第N+1行到最终行的例子。
[0061]即，在本实施方式中，在设变换图像400的行方向的结合行数为N时，在鱼眼图像数据200、鱼眼图像201、变形校正图像300和变换图像400之间保持以下的关系形成变换图像400。
[0062]变换图像400行数/N <鱼眼图像数据200的垂直消隐期间202的行数
[0063]N =鱼眼图像201的有效像素数/变形校正图像300的水平像素数
[0064]接下来，图5为表示由发送图像数据生成部123所生成的发送图像数据500的一例的图。发送图像数据生成部123通过将变换图像400插入到鱼眼图像数据200的有效的影像信号不存在的区域即垂直消隐期间202而与鱼眼图像201结合，从而生成发送图像数据500。该发送图像数据500被从输出端口 124向装置外发送。由于变换图像400为可收容于垂直消隐期间202的容量，因此即使发送图像数据500与鱼眼图像201 —起收容变换图像400，数据容量也不会巨大化。
[0065]存储器125保存所输入的鱼眼图像数据200、变形校正图像300、变换图像400、发送图像数据500等。此外，还具有作为变形校正处理部122、发送图像数据生成部123的工作区域的功能。
[0066]如以上，在图像数据发送装置120中，为使能在鱼眼图像数据200的有效的影像信号不存在的区域中即垂直消隐期间202中容易地插入，分割鱼眼图像201的变形校正图像300并形成重新排列了的变换图像400。而且，将变换图像400插入到鱼眼图像数据200的垂直消隐期间202中来生成发送图像数据500，并发送该数据，由此能够采用一个图像数据的发送来传输两种图像。由此一来，能够不使数据的传输率降低地发送多个图像，能够实现图像发送的效率化。而且，由于变换图像400能够由简易的处理形成，因此不需要复杂的图像处理，能够采用简易的装置构成来实现。
[0067]再次返回到图1，说明图像数据接收装置130的功能性构成。图像数据接收装置130具备输入端口 131、图像复原处理部132、图像显示部133、显示控制部134、DMA控制器135和存储器136。
[0068]输入端口 131输入从图像数据发送装置120输出的发送图像数据500。图像复原处理部132从输入端口 131所输入的发送图像数据500中提取变换图像400，并对其进行复原。在此，沿着变换图像400的作成过程的相反过程来形成变形校正图像300。按规定的基准排列的每行分割变换图像400，并以行顺序进行重新排列。具体而言，变形校正图像300的被分割的各行从左向右方向连续地排列为一维的变换图像400按照每行进行分割，从第I行开始依次朝向相对于在进行分割时成为基准的扫描线垂直的方向排列，从而各行被配置在分割前的原始的位置，变形校正图像300能够复原。
[0069]图像显示部133显示收容于发送图像数据500中的鱼眼图像201、或者由图像复原处理部132所复原的变形校正图像300、或者这两者。显示控制部134执行这些图像显示的切换。
[0070]DMA控制器135将输出到外部总线的数据等逐次保存在存储器136中。此外，将保存于存储器136中的数据等传送到其他的硬件模块。存储器136保存所输入的发送图像数据500、变形校正图像300、变换图像400等。此外，还具有作为图像复原处理部132的工作区域的功能。
[0071]如以上所说明过的那样，根据该图像数据接收装置130，能够从包括鱼眼图像201及其变形校正图像300的变换图像400在内的发送图像数据500中只提取变换图像400，从而容易地复原为变形校正图像300。由于变换图像400由简易的处理形成，因此其复原处理是容易的。此外，不仅仅被复原的变形校正图像300，而且与鱼眼图像201对比来进行观察也变得容易，从而能够避免损坏不产生死角这一鱼眼镜头的优点的问题。另外，虽然变形校正图像300被暂时地变换为变换图像400，但通过被复原而成为与变换前的变形校正图像300完全相同的图像。因此，即使在中途经过变换图像400这一形式也不会导致帧率的降低。
[0072](硬件构成)
[0073]接下来，对构成实施方式I涉及的图像数据传输系统100的、图像数据发送装置120以及图像数据接收装置130的硬件构成进行说明。图6为表示图像数据发送装置120、图像数据接收装置130的硬件构成的一例的框图。在图6中，图像数据发送装置120(图像数据接收装置130)具备CPU601、R0M602、RAM603、磁盘驱动器604、磁盘605、光盘驱动器606、光盘607、通信I/F(接口)608、输入设备609、影像I/F(接口)610和显示器611。构成部601?611通过总线620而与其他的构成部分别连接。
[0074]CPU601掌管图像数据发送装置120或者图像数据接收装置130的整体的控制。R0M602例如记录了引导程序、通信程序、图像显示程序，在图像数据发送装置120中记录了变形校正程序以及图像数据生成程序，在图像数据接收装置130中记录了图像复原处理程序等各种程序。
[0075]RAM603例如被作为CPU601的工作区域使用。磁盘驱动器604按照CPU601的控制来控制对磁盘605的数据的读/写。磁盘605记录通过磁盘驱动器604的控制所写入的数据。作为磁盘605，例如能够采用HD (硬盘)或FD (软盘)。
[0076]光盘驱动器606按照CPU601的控制来控制对光盘607的数据的读/写。光盘607为按照光盘驱动器606的控制而从光盘607读出数据的安装拆卸自如的记录介质。作为该光盘607,也可利用能写入的记录介质。此外,作为能安装拆卸的记录介质，除了光盘607之外还能采用MO、存储卡等。
[0077]通信I/F608作为图像数据发送装置120或者图像数据接收装置130与CPU601之间的接口发挥功能。进而，通信I/F608经由网络或者直接地与外部的装置连接，也作为外部的装置与CPU601之间的接口发挥功能。在网络中存在LAN、WAN、公众线路网或移动手机网等。
[0078]输入设备609举出具备字符、数值、各种指示等的用于输入的多个按键的遥控器、键盘、鼠标、触摸面板等。
[0079]影像I/F610与显示器611连接。该影像I/F610具体而言例如由执行显示器611整体的控制的图形控制器、暂时记录能进行即时显示的图像信息的VRAM(Vide0 RAM)等的缓冲存储器、和基于从图形控制器输出的图像数据来对显示器611进行显示控制的控制IC等构成。
[0080]在显示器611中显示有图标、光标、菜单、窗口或者字符或图像等各种数据。作为该显示器611，例如能够采用CRT、TFT液晶显示器、等离子显示器等。
[0081]在图像数据发送装置120中，输入端口 121以及输出端口 124通过CPU601执行通信程序来控制通信I/F608，从而能够实现其功能。变形校正处理部122通过CPU601执行变形校正程序，从而能够实现其功能。发送图像数据生成部123通过CPU601执行图像数据生成程序，从而能够实现其功能。存储器125通过RAM603能够实现其功能。
[0082]在图像数据接收装置130中，输入端口 131通过CPU601执行通信程序来控制通信I/F608,从而能够实现其功能。图像复原处理部132通过CPU601执行图像复原处理程序，从而能够实现其功能。图像显示部133通过显示器611能够实现其功能。显示控制部134通过CPU601执行图像显示程序来控制影像I/F610，从而能够实现其功能。DMA控制器135被内置于CPU601中。存储器136通过RAM603能够实现其功能。
[0083](图像数据传输系统的处理过程)
[0084]接下来，对实施方式I涉及的图像数据传输系统的处理过程进行说明。以下，分为发送图像数据的生成处理、变换图像的复原处理和图像显示控制处理进行说明。
[0085](发送图像数据的生成处理过程)
[0086]首先，说明发送图像数据500的生成处理过程。图像数据发送装置120执行该处理。图7为表示发送图像数据500的生成处理过程的流程图。
[0087]在图7的流程图中，首先输入鱼眼图像数据(步骤S701)。具体而言，输入端口 121输入从照相机Iio输出的I帧量的鱼眼图像数据200(参照图2)。
[0088]接下来，将鱼眼图像数据保存到存储器中(步骤S702)。在此，变形校正处理部122将鱼眼图像数据200保存到存储器125中。
[0089]接下来，校正鱼眼图像的变形(步骤S703)。例如变形校正处理部122为了将鱼眼图像201变换为二维的平面图像来进行显示，而在对鱼眼图像201实施RGB彩色变换之后实施变形校正处理，从而变换为平面图像。由此一来，对鱼眼图像201的变形进行校正而成为与由通常的镜头所捕捉的图像等同的容易看到的图像(参照图3)。
[0090]接下来，将变形校正图像保存到存储器中(步骤S704)。变形校正处理部122将由步骤S703所形成的鱼眼图像201的变形校正图像300保存到存储器125中。
[0091]接下来，从存储器中读出鱼眼图像数据(步骤S705)。发送图像数据生成部123在步骤S702中读出保存于存储器125中的鱼眼图像数据200。
[0092]接下来，对变形校正图像进行变换(步骤S706)。在此，首先发送图像数据生成部123读出在步骤S704中保存于存储器125中的变形校正图像300。然后，发送图像数据生成部123沿着扫描线按每行分割变形校正图像300。接下来，按照行方向收敛于使鱼眼图像201的有效像素数和水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于鱼眼图像数据200的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维。或者，按照行方向等于鱼眼图像201的有效像素数的方式，并且按照列方向收敛于鱼眼图像数据200的垂直消隐期间202的行数内的方式，使所分割的各行从第I行开始依次朝向从左到右的方向连续地排列为一维。由此一来，形成收纳于垂直消隐期间202的容量的变换图像400 (参照图4)。
[0093]接下来，生成发送图像数据(步骤S707)。发送图像数据生成部123在步骤S705中从存储器125读出的鱼眼图像数据200的垂直消隐期间202内插入由步骤S706形成的变换图像400，来生成发送图像数据500 (参照图5)。
[0094]最后，输出发送图像数据(步骤S708)。在此，输出端口 124将由步骤S707生成的发送图像数据500发送到装置外。此后，返回到步骤S701，进行下一个帧的鱼眼图像数据200的处理。
[0095]通过经过以上那样的步骤，能够在鱼眼图像数据200的有效的影像信号不存在的垂直消隐期间202中，插入对鱼眼图像201的变形校正图像300进行分割并重新排列后得到的变换图像400，从而生成发送图像数据500。由此一来，能够采用一个图像数据的发送传输两种图像，能够不降低数据的传输率而发送多个图像，因此能够实现图像发送的效率化。而且，变换图像400能够由简易的处理形成，因此不需要复杂的图像处理，能采用简易的装置构成来实现。
[0096](变换图像的复原处理过程)
[0097]接下来，说明变换图像400的复原处理过程。图像数据接收装置130执行该处理。图8为表示变换图像400的复原处理过程的流程图。
[0098]在图8的流程图中，首先输入发送图像数据(步骤S801)。具体而言，输入端口 131输入从图像数据发送装置120输出的I帧量的发送图像数据500 (参照图5)。
[0099]接下来，将发送图像数据保存到存储器中(步骤S802)。在此，图像复原处理部132将发送图像数据500保存到存储器136中。
[0100]接下来，从发送图像数据中提取鱼眼图像并保存到存储器中(步骤S803)。例如，图像复原处理部132读出在步骤S802中保存的发送图像数据500，提取收容于其中的鱼眼图像201并将其保存到存储器136中。
[0101]接下来，对变换图像进行复原(步骤S804)。具体而言，图像复原处理部132读出在步骤S802中保存的发送图像数据500，并对收容于其中的变换图像400进行提取、复原。在此，沿着形成变换图像400的过程的相反过程来形成变形校正图像300。即，变形校正图像300的被分割的各行从左向右方向连续地排列为一维的变换图像400按照每行进行分害IJ，从第I行开始依次朝向相对于在进行当初分割时成为基准的扫描线垂直的方向排列，从而各行被配置在分割前的原始的位置，变形校正图像300能够复原。
[0102]接下来，进行图像显示控制处理(步骤S805)。显示控制部134执行该处理。此后，返回到步骤S801，执行下一个帧的发送图像数据500的处理。
[0103]通过经由以上那样的步骤，由此能够从包括鱼眼图像201及其变形校正图像300的变换图像400在内的发送图像数据500中提取变换图像400，容易地对变形校正图像300进行复原，并将其显示。由于变换图像400由简易的处理形成，因此其复原处理容易。
[0104](图像显示控制处理过程)
[0105]接下来，说明步骤S805的图像显示控制处理过程。由于图像数据接收装置130能够获取鱼眼图像201及其变形校正图像300，因此用户通过任意地操作图像数据接收装置130，从而能够只观察鱼眼图像201、或者只观察变形校正图像300、或者观察这两方。但是，在预先掌握成为必要的图像的种类的情况下，也可通过用户的操作从图像数据接收装置130对图像数据发送装置120请求预先想要确认的图像的种类。通过这样，能够减轻用户的负担。
[0106]例如，从图像数据接收装置130对图像数据发送装置120进行想要只确认鱼眼图像201、或者只确认变形校正图像300、或者想要确认这两方的图像之意的请求。在图像数据接收装置130中，按照其请求，例如通过执行规定的参数设定来进行应对。参数设定例如在图7的流程图的步骤S707的阶段执行。以下，以完成该参数设定为前提来说明处理的过程。图像数据接收装置130的显示控制部134执行该处理。图9为表示图像显示控制处理过程的流程图。
[0107]在图9的流程图中，首先判断是否设定了鱼眼图像显示参数(步骤S901)。具体而言，显示控制部134读出在步骤S803中保存于存储器136中的鱼眼图像201，并判定是否设定了显示参数。在此，在设定了显示参数的情况下(步骤S901:“是”)，显示控制部134在图像显示部133中显示鱼眼图像201 (步骤S902)。此后，进入到步骤S903。另一方面，在没有设定显示参数的情况下(步骤S901 否”)，显示控制部134在图像显示部133中不显示鱼眼图像201，而进入到步骤S903。
[0108]接下来，判断是否设定了变形校正图像显示参数(步骤S903)。具体而言，显示控制部134判定在由步骤S804复原的变形校正图像300中是否设定了显示参数。在此，在设定了变形校正图像显示参数的情况下(步骤S903 是”)，显示控制部134在图像显示部133中显示变形校正图像300 (步骤S904)。此后，结束处理。另一方面，在没有设定变形校正图像显示参数的情况下(步骤S903 否”)，显示控制部134在图像显示部133中不显示变形校正图像300，而结束处理。
[0109]通过经由以上那样的步骤，用户所期望的种类的图像被显示。不仅仅被复原的变形校正图像300，而且与鱼眼图像201对比来进行观察也变得容易，从而能够避免损坏不产生死角这一鱼眼镜头的优点的问题。另外，虽然变形校正图像300被暂时地变换为变换图像400，但通过被复原而成为与变换前的变形校正图像300完全相同的图像。因此，即使在中途经过变换图像400这一形式也不会导致帧率的降低。此外，用户通过再次操作图像数据接收装置130，从而也可执行与参数设定的状态不同种类的图像显示。
[0110]如以上所说明过的那样，根据实施方式I的图像数据传输系统，能够在鱼眼图像数据200的有效的影像信号不存在的垂直消隐期间202中，插入对鱼眼图像201的变形校正图像300进行分割并重新排列后得到的变换图像400，从而生成发送图像数据500。通过采用一个图像数据的发送来传输两种图像，能够使数据的传输率不降低地发送多个图像，能够实现图像发送的效率化。而且，变换图像400能够由简易的处理形成，因此不需要复杂的图像处理，能够由简易的装置构成来实现。
[0111]此外，由于变换图像400为通过对鱼眼图像201的变形校正图像300进行分割并重新排列得到的图像，因此能容易地复原。此外，不仅仅被复原的变形校正图像300，而且与鱼眼图像201对比来进行观察的情况也变得容易，能够避免损坏不产生死角这一鱼眼镜头的优点。另外，虽然变形校正图像300被暂时地变换为变换图像400，但通过被复原而成为与变换前的变形校正图像300完全相同的图像。因此，即使在中途经过变换图像400这一形式也不会导致帧率的降低。另外，关于本实施方式的图像数据传输系统的构成部间的数据的收发，也可采用实施了压缩处理的数据。
[0112](实施方式2)
[0113]接下来，表示本发明的实施方式2。在本实施方式中，表示了在鱼眼图像数据200的水平消隐期间203中插入变形校正图像300的变换图像的例子。系统的整体构成与实施方式I相同。以下，只表示与实施方式I不同的处理。
[0114](图像数据发送装置120的处理)·[0115]首先，说明图像数据发送装置120的处理。图10为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。
[0116]如图10所示，发送图像数据生成部123首先沿着扫描线按每行分割I帧的变形校正图像300(第I分割)。接下来，按照成为收纳于鱼眼图像数据200的水平消隐期间203的像素数内的长度的方式进一步分割实施了第I分割的各行(第2分割)。而且，将实施了第2分割的各行从第I行依次朝向下方向按照收纳于使鱼眼图像201的有效行数和垂直消隐期间的行数相加后的大小的方式连续地排列为一维。或者，将实施了第2分割的各行从第I行依次朝向下方向按照成为与鱼眼图像201的有效行数相等的长度的方式连续地排列为一维。如上那样，形成收纳于水平消隐期间203的容量的变换图像1000。
[0117]图10所示的变换图像1000在最上面配置被分割为M个(M:自然数)的第I行，接着依次连结被分割为M个的第2行、被分割为M个的第3行、……、被分割为M个的最终行。该变换图像1000的行数(列方向的长度)等于鱼眼图像201的有效行数。另外，以上的处理相当于图7所示的流程图的步骤S706。
[0118]在本实施方式中，在设变换图像1000中的各行的分割数为M时，在鱼眼图像数据200、鱼眼图像201、变形校正图像300、变换图像1000之间保持以下的关系而形成变换图像1000。
[0119]变形校正图像300的水平像素数/M <鱼眼图像数据200的水平消隐期间203的
像素数
[0120]M =鱼眼图像201的有效行数/变形校正图像300的行数
[0121]接下来，图11为表示由发送图像数据生成部123所生成的发送图像数据1100的一例的图。发送图像数据生成部123将变换图像1000插入到鱼眼图像数据200的有效的影像信号不存在的区域即水平消隐期间203中，生成发送图像数据1100。由于变换图像1000为能收容于水平消隐期间203的容量，因此即便发送图像数据1100与鱼眼图像201 —起收容变换图像1000，数据容量也不会巨大化。另外，以上的处理相当于图7所示的流程图的步骤 S707。
[0122](图像数据接收装置130的处理)
[0123]接下来，说明图像数据接收装置130的处理。图像复原处理部132从输入端口 131所输入的发送图像数据1100中提取变换图像1000，并对该图像进行复原。
[0124]在此，沿着变换图像1000的形成过程的相反过程来形成变形校正图像300。首先，在变换图像1000中分割被连结的各行。此时，各行返回到实施第2分割的状态、即各行被分割为M个的状态。接下来，返回到对被分割为M个的各行实施第I分割的状态、即各行成为I列。最后，各行按顺序朝向相对于在进行分割时成为基准的扫描线垂直的方向排列，从而各行被配置在分割前的原始的位置，变形校正图像300能够复原。另外，以上的处理相当于图8所示的流程图的步骤S804。
[0125]如以上所说明过的那样，即使在实施方式2的图像数据传输系统中，通过在鱼眼图像数据200的有效的影像信号不存在的水平消隐期间203中插入并发送对鱼眼图像201的变形校正图像300进行分割而重新排列得到的变换图像1000，从而也能够得到与实施方式I相同的效果。
[0126](实施方式·3)
[0127]接下来，表示本发明的实施方式3。在本实施方式中表示了对变形校正图像300进行变换并插入到鱼眼图像数据200的垂直消隐期间202以及水平消隐期间203的例子。本实施方式的手法在变换图像的容量仅于垂直消隐期间202中收容不完的情况下是有效的。系统的整体构成与实施方式I相同。以下，只表不与上述各实施方式不同的处理。
[0128](图像数据发送装置120的处理)
[0129]首先，说明图像数据发送装置120的处理。图12为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。
[0130]如图12所示，发送图像数据生成部123首先沿着扫描线按每行分割I帧的变形校正图像300(第I分割)。接下来，按照成为收敛于鱼眼图像数据200的水平消隐期间203的像素数内的长度的方式进一步分割实施了第I分割的行的一部分300a (第2分割)。然后，将实施了第2分割的各行从第I行依次朝向下方向按照成为与鱼眼图像201的有效行数相等的长度的方式进行连结。由此一来，形成收敛于水平消隐期间203中的容量的第I变换图像1200a。
[0131]图12所示的第I变换图像1200a与实施方式2相同，在最上面配置被分割为M个(M:自然数)的第I行，接着依次连结被分割为M个的第2行、被分割为M个的第3行、……、被分割为M个的第K行(K:自然数)。另外，第I变换图像1200a的水平像素数(行方向的长度)等于变形校正图像300的水平像素数/M的值。第I变换图像1200a的行数(列方向的长度)等于鱼眼图像201的有效行数。
[0132]接下来，发送图像数据生成部123将实施了第I分割的行的剩余部分300b按照行方向收敛于使鱼眼图像201的有效像素数和水平消隐期间203的像素数相加后的大小的方式，并且按照列方向收敛于鱼眼图像数据200的垂直消隐期间202的行数内的方式，以行顺序从左向右方向连续地排列为一维。由此一来，形成收敛于使垂直消隐期间202和垂直消隐期间202内的水平消隐期间203相加后的区域中的容量的第2变换图像1200b。[0133]图12所示的第2变换图像1200b是按照第I行等于鱼眼图像201的有效像素数+变形校正图像300的水平像素数/M的值的方式，从第K+1行排列到第N行(N:自然数)而构成的。在第2行以下按照成为与第I行相同的长度的方式，从第N+1行依次排列到最终行。第2变换图像1200b的行数/N的值小于鱼眼图像数据200的垂直消隐期间202的行数。另外，以上的处理相当于图7所示的流程图的步骤S706。
[0134]接下来，图13为表示由发送图像数据生成部123所生成的发送图像数据1300的一例的图。发送图像数据生成部123将第I变换图像1200a插入到鱼眼图像数据200的水平消隐期间203，并且将第2变换图像1200b插入到垂直消隐期间202与垂直消隐期间202内的水平消隐期间203中，生成发送图像数据1300。由于第I变换图像1200a、第2变换图像1200b为能收容在垂直消隐期间202以及水平消隐期间203中的容量，因此即使发送图像数据1300与鱼眼图像201 —起收容第I变换图像1200a、第2变换图像1200b，数据容量也不会巨大化。另外，以上的处理相当于图7所示的流程图的步骤S707。
[0135](图像数据接收装置130的处理)
[0136]接下来，说明图像数据接收装置130的处理。图像复原处理部132从输入端口 131所输入的发送图像数据1300中提取第I变换图像1200a、第2变换图像1200b，并将其复原。
[0137]首先，沿着第I变换图像1200a的形成过程的相反过程来形成变形校正图像300的一部分300a。S卩，在第I变换图像1200a中对被连结的各行进行分割。此时，I?K的各行返回到实施了第2分割的状态、即各行被分割为M个的状态。接下来，将被分割为M个的各行返回到实施了第I分割的状态、即各行成为I列。最后，各行按行顺序朝向相对于在进行第I分割时成为基准的扫描线垂直的方向排列，从而各行被配置在分割前的原始的位置，变形校正图像300的一部分300a能够复原。
[0138]接下来，图像复原处理部132沿着第2变换图像1200b的形成过程的相反过程来形成变形校正图像300的剩余部分300b。第2变换图像1200b使变形校正图像300的被分割后的行的剩余部分300b (K+1?最终行)按行顺序从左向右方向连续地排列为一维。因此，在对各行进行了分割之后，这些行按行顺序朝向相对于在进行第I分割时成为基准的扫描线垂直的方向排列，从而各行被配置在分割前的原始的位置，变形校正图像300的剩余部分300b能够复原。
[0139]接下来，图像复原处理部132将先前复原出的变形校正图像300的一部分300a和变形校正图像300的剩余部分300b连结合并，来复原变形校正图像300。另外，以上的处理相当于图8所示的流程图的步骤S804。
[0140]如以上所说明过的那样，即便在实施方式3的图像数据传输系统中，通过在鱼眼图像数据200的有效的影像信号不存在的垂直消隐期间202以及水平消隐期间203中，插入并发送对鱼眼图像201的变形校正图像300进行分割并重新排列得到的第I变换图像1200a、第2变换图像1200b，从而也能够得到与上述各实施方式相同的效果。尤其是，本实施方式在变形校正图像300的信息量多的情况下非常有效。
[0141](实施方式4)
[0142]接下来，表示本发明的实施方式4。本实施方式为实施方式3的变形例。与实施方式3同样，表示对变形校正图像300进行变换并插入到鱼眼图像数据200的水平消隐期间203以及垂直消隐期间202中，但垂直消隐期间202设置于鱼眼图像201的上侧的情况的例子。本实施方式的手法在变换图像的容量只在水平消隐期间203中收容不完的情况下是有效的。系统的整体构成与实施方式I相同。以下，只表不与实施方式3不同的处理。
[0143](图像数据发送装置120的处理)
[0144]首先，说明图像数据发送装置120的处理。图14为用于说明发送图像数据生成部123所执行的变形校正图像300的变换处理的图。
[0145]如图14所示，发送图像数据生成部123首先沿着扫描线按每行分割I帧的变形校正图像300 (第I分割)。接下来，按照行方向收敛于使鱼眼图像201的有效像素数和水平消隐期间203的像素数相加后的大小的方式，并且按照列方向在不超过鱼眼图像数据200的垂直消隐期间202的行数的范围中成为最长的方式，将实施了第I分割的行的一部分300a按行顺序从左向右方向连续地排列为一维。由此一来，形成收敛于使垂直消隐期间202与垂直消隐期间202内的水平消隐期间203相加后的区域中的容量的第I变换图像1400a。
[0146]图14所示的第I变换图像1400a是按照第I行等于鱼眼图像201的有效像素数+变形校正图像300的水平像素数/M的值的方式，从第I行排列到第K行(K:自然数)而构成的。在第2行以下按照成为与第I行相同的长度的方式，从第K+1行依次排列到第N行(N:自然数)。第I变换图像1400a的行数/N的值小于鱼眼图像数据200的垂直消隐期间202的行数。
[0147]接下来，发送图像数据生成部123按照各行成为收敛于鱼眼图像数据200的水平消隐期间203的像素数内的长度的方式，进一步分割实施了第I分割的行的剩余部分300b (第2分割)。然后·，将实施了第2分割的各行以行顺序朝向下方向按照成为与鱼眼图像201的有效行数相等的长度的方式进行连结。由此一来，形成收敛于水平消隐期间203中的容量的第2变换图像1400b。
[0148]图14所示的第2变换图像1400b与实施方式2同样，在最上面配置被分割为M个(M:自然数)的第N+1行，接着依次连结被分割为M个的第N+2行、……、被分割为M个的最终行。第2变换图像1400b的水平像素数(行方向的长度)等于变形校正图像300的水平像素数/M的值，第2变换图像1400b的行数(列方向的长度)等于鱼眼图像201的有效行数。另外，以上的处理相当于图7所示的流程图的步骤S706。
[0149]接下来，图15为表示由发送图像数据生成部123所生成的发送图像数据1500的一例的图。发送图像数据生成部123将第I变换图像1400a插入到鱼眼图像数据200的垂直消隐期间202和垂直消隐期间202内的水平消隐期间203中，并且将第2变换图像1400b插入到鱼眼图像数据200的水平消隐期间203中，从而生成发送图像数据1500。由于第I变换图像1400a、第2变换图像1400b为能收容在水平消隐期间203以及垂直消隐期间202中的容量，因此即使发送图像数据1500与鱼眼图像201 —起收容第I变换图像1400a、第2变换图像1400b，数据容量也不会巨大化。另外，以上的处理相当于图7所示的流程图的步骤 S707。
[0150](图像数据接收装置130的处理)
[0151]接下来，对图像数据接收装置130的处理进行说明。图像复原处理部132从输入端口 131所输入的发送图像数据1500中提取第I变换图像1400a、第2变换图像1400b，并对其进行复原。
[0152]在此，首先图像复原处理部132沿着第I变换图像1400a的形成过程的相反过程来形成变形校正图像300的一部分300a。第I变换图像1400a使变形校正图像300的被分割的各行的一部分300a(l?N行)按行顺序从左向右方向连续地排列为一维。因此，对各行进行分割，将这些行以行顺序朝向相对于在进行第I分割时成为基准的扫描线垂直的方向排列，从而各行被配置在分割前的原始的位置，变形校正图像300的一部分300a能够复原。
[0153]接下来，图像复原处理部132沿着第2变换图像1400b的形成过程的相反过程来形成变形校正图像300的剩余部分300b。首先，在第2变换图像1400b中对被连结的各行进行分割。此时，各行返回到实施了第2分割的状态、即N+1?最终为止的各行返回到被分割为M个的状态。接下来，将被分割为M个的各行返回到实施了第I分割的状态、即各行成为I列。最后，将各行按行顺序朝向相对于在进行第I分割时成为基准的扫描线垂直的方向排列，从而各行被配置在分割前的原始的位置，变形校正图像300的剩余部分300b能够复原。
[0154]接下来，图像复原处理部132将先前复原出的变形校正图像300的一部分300a和变形校正图像300的剩余部分300b连结合并，从而复原变形校正图像300。另外，以上的处理相当于图8所示的流程图的步骤S804。
[0155]如以上所说明过的那样，即便在实施方式4的图像数据传输系统中，通过在鱼眼图像数据200的有效的影像信号不存在的水平消隐期间203以及垂直消隐期间202中，插入并发送对鱼眼图像201的变形校正图像300进行分割并重新排列得到的第I变换图像1400a、第2变换图像1400b，从而也能够得到与上述各实施方式相同的效果。本实施方式在变形校正图像300的信息量多的情况下也是有效的。
[0156]另外，上述各实施方式中所说明过的图像数据发送方法、图像数据接收方法能够通过由个人计算机或工作站等的计算机执行预先准备的程序来实现。该程序被记录在硬盘、软盘、⑶-ROM、MO、DVD等由计算机可读取的记录介质中,通过由计算机从记录介质中读出而被执行。此外，该程序也可为经由互联网等的网络能分配的传输介质。
[0157]产业上的可利用性
[0158]如以上，本发明为了高效传送种类不同的信息而有用，尤其是在想要同时获取种类不同的多个图像信息的情况下发挥效果。
[0159]符号说明
[0160]100图像数据传输系统
[0161]110照相机
[0162]111鱼眼镜头(采用广角使图像产生变形的镜头)
[0163]112图像传感器
[0164]120图像数据发送装置
[0165]121、131 输入端口
[0166]122变形校正处理部
[0167]123发送图像数据生成部
[0168]124 输出端口
[0169]125、136 存储器
[0170]130图像数据接收装置[0171]132图像复原处理部
[0172]133图像显示部
[0173]134显示控制部
[0174]135 DMA 控制器
[0175]200鱼眼图像数据
[0176]201鱼眼图像
[0177]202垂直消隐期间
[0178]203水平消隐期间
[0179]204垂直同步信号
[0180]205水平同步信号
[0181]300变形校正图像
[0182]400、1000 变换图像
[0183]500、1100、1300、1500 发送图像数据
[0184]1200a、1400a 第 I 变换图像
[0185]1200b、1400b 第 2 变换图像
【权利要求】
1.一种图像数据发送装置，输入包括由采用广角使图像产生变形的镜头所捕捉的图像即鱼眼图像在内的鱼眼图像数据并向外部装置发送，该图像数据发送装置的特征在于具备: 变形校正处理单元，其对上述鱼眼图像的变形进行校正，形成变形校正图像；和发送图像数据生成单元，其沿着扫描线将由上述变形校正处理单元所形成的变形校正图像分割为多个行，将被分割的各行以规定的基准进行重新排列来形成变换图像，将上述变换图像插入到上述鱼眼图像数据的有效的影像信号不存在的区域中，由此生成发送图像数据。
2.根据权利要求1所述的图像数据发送装置，其特征在于， 上述发送图像数据生成单元 沿着扫描线按每行分割上述变形校正图像，按照行方向收敛于使上述鱼眼图像的有效像素数和水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
3.根据权利要求1或2所述的图像数据发送装置，其特征在于， 上述发送图像数据生成单元 沿着扫描线按每行分割上述变形校正图像，按照行方向等于上述鱼眼图像的有效像素数的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行 开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
4.根据权利要求1所述的图像数据发送装置，其特征在于， 上述发送图像数据生成单元 沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照收敛于使上述鱼眼图像的有效行数和垂直消隐期间的行数相加后的大小的方式连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
5.根据权利要求1或4所述的图像数据发送装置，其特征在于， 上述发送图像数据生成单元 沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，将实施了该第2分割的各行从第I行开始依次朝向下方向按照与上述鱼眼图像的有效行数相等的方式连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
6.根据权利要求1所述的图像数据发送装置，其特征在于， 上述发送图像数据生成单元沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的行的一部分即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第I变换图像， 按照行方向收敛于使上述鱼眼图像的有效像素数和上述水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使实施了上述第I分割的行的剩余部分以行顺序朝向行的一个方向连续地排列为一维，由此形成第2变换图像， 将上述第I变换图像插入到上述鱼眼图像数据的水平消隐期间中，并且将上述第2变换图像插入到上述垂直消隐期间和上述垂直消隐期间内的水平消隐期间中，来生成发送图像数据。
7.根据权利要求1所述的图像数据发送装置，其特征在于， 上述发送图像数据生成单元 沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照行方向收敛于使上述鱼眼图像的有效像素数和上述鱼眼图像数据的水平消隐期间的像素数相加后的大小的方式，并且按照列方向在不超过上述鱼眼图像数据的垂直消隐期间的行数的范围中成为最长的方式，使实施了该第I分割的行的一部分从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成第I变换图像， 按照成为收敛于上述水平消隐期间的像素数内的长度的方式进一步分割实施了上述第I分割的行的剩余部分即实施第2 分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第2变换图像， 将上述第I变换图像插入到上述鱼眼图像数据的垂直消隐期间和上述垂直消隐期间内的上述水平消隐期间中，并且将上述第2变换图像插入到上述水平消隐期间中，来生成发送图像数据。
8.一种图像数据接收装置，接收从权利要求1、2、4、6或者7的任一项所述的图像数据发送装置输出的发送图像数据，该图像数据接收装置的特征在于具备: 图像复原处理单元，其从上述发送图像数据中提取变换图像，按以规定的基准排列的每行分割该变换图像，将分割后的各行以行顺序进行重新排列，由此复原为变形校正图像；和 图像显示单元，其显示上述变形校正图像、或者上述鱼眼图像、或者上述变形校正图像和上述鱼眼图像的双方。
9.一种图像数据传输系统，其特征在于，具备: 照相机，其具备采用广角使图像产生变形的镜头，并具有生成包括由该镜头所捕捉的图像即鱼眼图像在内的鱼眼图像数据的功能； 权利要求1、2、4、6、或者7的任一项所述的图像数据发送装置；和 权利要求8所述的图像数据接收装置。
10.一种发送图像数据，其特征在于， 是在包括鱼眼图像在内的图像数据的有效的影像信号不存在的区域即水平消隐期间、或者垂直消隐期间、或者上述水平消隐期间和上述垂直消隐期间这两者中，插入以规定的基准对上述鱼眼图像的变形校正图像进行变换后的变换图像而生成的发送图像数据。
11.一种图像数据发送方法，是在图像数据发送装置中所执行的图像数据发送方法，上述图像数据发送装置输入包括由采用广角使图像产生变形的镜头所捕捉的图像即鱼眼图像在内的鱼眼图像数据并向外部装置发送，该图像数据发送方法的特征在于包括: 变形校正处理步骤，对上述鱼眼图像的变形进行校正，形成变形校正图像；和发送图像数据生成步骤，沿着扫描线将由上述变形校正处理步骤所形成的变形校正图像分割为多个行，将被分割的各行以规定的基准进行重新排列来形成变换图像，将上述变换图像插入到上述鱼眼图像数据的有效的影像信号不存在的区域中，由此生成发送图像数据。
12.根据权利要求11所述的图像数据发送方法，其特征在于， 在上述发送图像数据生成步骤中， 沿着扫描线按每行分割上述变形校正图像，按照行方向收敛于使上述鱼眼图像的有效像素数和水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
13.根据权利要求11或12所述的图像数据发送方法，其特征在于， 在上述发送图像数据生成步骤中， 沿着扫描线按每行分割上述变形校正图像，按照行方向等于上述鱼眼图像的有效像素数的方式，并且按照列方向 收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使被分割的各行从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的垂直消隐期间中来生成发送图像数据。
14.根据权利要求11所述的图像数据发送方法，其特征在于， 在上述发送图像数据生成步骤中， 沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照收敛于使上述鱼眼图像的有效行数和垂直消隐期间的行数相加后的大小的方式连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
15.根据权利要求11或者14所述的图像数据发送方法，其特征在于， 在上述发送图像数据生成步骤中， 沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的各行即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照与上述鱼眼图像的有效行数相等的方式连续地排列为一维，由此形成变换图像， 将该变换图像插入到上述鱼眼图像数据的水平消隐期间中来生成发送图像数据。
16.根据权利要求11所述的图像数据发送方法，其特征在于， 在上述发送图像数据生成步骤中， 沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照成为收敛于上述鱼眼图像数据的水平消隐期间的像素数内的长度的方式进一步分割实施了该第I分割的行的一部分即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第I变换图像， 按照行方向收敛于使上述鱼眼图像的有效像素数和上述水平消隐期间的像素数相加后的大小的方式，并且按照列方向收敛于上述鱼眼图像数据的垂直消隐期间的行数内的方式，使实施了上述第I分割的行的剩余部分以行顺序朝向行的一个方向连续地排列为一维，由此形成第2变换图像， 将上述第I变换图像插入到上述鱼眼图像数据的水平消隐期间中，并且将上述第2变换图像插入到上述垂直消隐期间和上述垂直消隐期间内的水平消隐期间中，来生成发送图像数据。
17.根据权利要求11所述的图像数据发送方法，其特征在于， 在上述发送图像数据生成步骤中， 沿着扫描线按每行分割上述变形校正图像即实施第I分割，按照行方向收敛于使上述鱼眼图像的有效像素数和上述鱼眼图像数据的水平消隐期间的像素数相加后的大小的方式，并且按照列方向在不超过上述鱼眼图像数据的垂直消隐期间的行数的范围中成为最长的方式，使实施了该第I分割的行的一部分从第I行开始依次朝向行的一个方向连续地排列为一维，由此形成第I变换·图像， 按照成为收敛于上述水平消隐期间的像素数内的长度的方式进一步分割实施了上述第I分割的行的剩余部分即实施第2分割，使实施了该第2分割的各行从第I行开始依次朝向下方向按照成为与上述鱼眼图像的有效行数相等的长度的方式进行连结，由此形成第2变换图像， 将上述第I变换图像插入到上述鱼眼图像数据的垂直消隐期间和上述垂直消隐期间内的上述水平消隐期间中，并且将上述第2变换图像插入到上述水平消隐期间中，来生成发送图像数据。
18.一种图像数据接收方法，接收通过权利要求11、12、14、16或者17的任一项所述的图像数据发送方法而生成的发送图像数据，该图像数据接收方法的特征在于包括: 图像复原处理步骤，从上述发送图像数据中提取变换图像，按以规定的基准排列的每行分割该变换图像，将分割后的各行以行顺序进行重新排列，由此复原为变形校正图像；和图像显示步骤，显示上述变形校正图像、或者上述鱼眼图像、或者上述变形校正图像和上述鱼眼图像的双方。
【文档编号】H04N1/21GK103428419SQ201310106439
【公开日】2013年12月4日 申请日期:2013年3月29日 优先权日:2012年5月22日
【发明者】岩本畅, 本城雄士, 田口圭祐 申请人:株式会社腾龙