图像传感器及其数据传输方法、信息处理装置及方法、电子设备和程序的制作方法
【技术领域】
[0001]本技术涉及图像传感器、该图像传感器的数据传输方法、信息处理装置、信息处理方法、电子设备和程序。具体地，本发明涉及如下的图像传感器、该图像传感器的数据传输方法、信息处理装置、信息处理方法、电子设备和程序:它们使得能够传输规定格式的图像数据而无需改变现有的数据传输用接口，并且能够提高在压缩方式或与图像处理大规模集成电路(LSI:large scale integrat1n)的连接性方面的自由度。
【背景技术】
[0002]在以数码相机等为代表的设备中，由图像传感器摄像而获得的图像被转换成压缩数据，然后通过接口而被提供给数字信号处理器(DSP:digital signal processor)等中所包含的图像处理LSI，并且在经过各种各样的处理后被输出。
[0003]顺带提及地，作为在图像传感器的接口与图像处理LSI的接口之间被传输的压缩数据方式，例如采用了差分脉冲编码调制(DPCM 〖differential pulse code modulat1n)和脉冲编码调制(PCM-pulse code modulat1n)相组合的方法。例如，关于移动电话用的芯片间的接口，曾提供了标准移动图像处理体系结构(SMIA:standard mobile imagingarchitecture)规格以作为压缩数据用的规格(参看非专利文献I)。
[0004]而且，曾提出了一种用于将N位(bit)信号压缩成η位信号、接着进行该信号的分解和连结、且执行作为N位的输出的方法(参看专利文献I)。该方法的目的是通过把被减小到η比特的数据率(data rate)调整成N比特的数据率来缩短像素数据输出周期。即，例如，将12位像素数据压缩成8位，且将接下来的像素分解成4位。然后，执行作为12位数据的传输。
[0005]引用文献列表
[0006]非专利文献
[0007]非专利文献1:SMIA 1.0Part I 〖Funct1nal specificat1n (SMIA 1.0 第一部分:功能规范)
[0008]专利文献
[0009]专利文献1:日本专利申请公开案第2011-049901号
【发明内容】
[0010]本发明所要解决的问题
[0011 ] 然而，在SMIA规格中，必须将压缩后的数据看作I个像素的RAW数据(原始数据)。因而，为了应对各种各样的压缩数据，需要重新制定RAW规格。
[0012]因此，为了改变压缩率，就有必要改变链路层(LINK layer)中的格式转换器电路且对打包电路(packing circuit)进行校正。
[0013]而且，在专利文献I的技术中，假设在压缩之前的像素数据的位数和在数据传输期间的像素数据的位数相同。因此，例如，以将12位像素数据转换成5位的方式来设定压缩率是很困难的，且不可能自由地设定压缩率。此外，没有说明与高速传输对应的、应用于符合时钟数据恢复方式的8B10B传输的方法。
[0014]鉴于上述问题，提供了本技术。具体地，本技术使得能够通过将多条像素数据转换成各种不同的像素数的压缩格式、执行向规定传输格式的转换且执行传输，由此在利用现有的接口的情形下设定各种各样的压缩率。
[0015]解决问题所采取的技术方案
[0016]本技术第一方面的图像传感器包括:摄像部，所述摄像部被构造成进行摄像以获得原始图像；压缩部，所述压缩部被构造成将所述原始图像的多条像素数据压缩成压缩格式；以及转换部，所述转换部被构造成将所述原始图像的所述多条像素数据的所述压缩格式转换成所述多条像素数据的传输格式。
[0017]所述传输格式的位长度可以不同于所述压缩格式的位长度。
[0018]所述传输格式的位长度可以与所述压缩格式的位长度相同。
[0019]所述压缩部可以执行以所述原始图像的所述多条像素数据为单位的向所述压缩格式的压缩，并且所述转换部可以把以所述原始图像的所述多条像素数据为单位而被压缩的所述压缩格式转换成多个所述传输格式。
[0020]在把以所述原始图像的所述多条像素数据为单位而被压缩的所述压缩格式转换成多个所述传输格式时，所述转换部可以将虚拟数据布置成与块大小(block size)相匹配的、且以所述多条像素数据为单位而被处理的像素数据。
[0021]所述图像传感器还可以包括设定部，所述设定部被构造成根据所述原始图像的图像质量来设定压缩率，其中所述压缩部可以按照由所述设定部设定的压缩率将所述原始图像的所述多条像素数据压缩成所述压缩格式。
[0022]本技术第一方面的图像传感器的数据传输方法包括以下步骤:进行摄像以获得原始图像；将所述原始图像的多条像素数据压缩成压缩格式；以及将所述原始图像的所述多条像素数据的所述压缩格式转换成所述多条像素数据的传输格式。
[0023]本技术第一方面的程序用来致使计算机执行如下的处理，该处理包括:摄像步骤，用于进行摄像以获得原始图像；压缩步骤，用于将所述原始图像的多条像素数据压缩成压缩格式；以及转换步骤，用于将所述原始图像的所述多条像素数据的所述压缩格式转换成所述多条像素数据的传输格式。
[0024]本技术第二方面的信息处理装置包括:复原部，所述复原部被构造成将原始图像的多条像素数据的传输格式复原成所述多条像素数据的压缩格式，所述压缩格式是将所述原始图像的所述多条像素数据压缩而得到的，所述传输格式是从所述原始图像的所述多条像素数据的所述压缩格式转换而来的；以及解压缩部，所述解压缩部被构造成把被所述复原部复原后的所述压缩格式解压成所述原始图像的所述多条像素数据。
[0025]所传输格式的位长度可以不同于所述压缩格式的位长度。
[0026]所述传输格式的位长度可以与所述压缩格式的位长度相同。
[0027]所述复原部可以将多个所述传输格式复原成以所述原始图像的所述多条像素数据为单位的所述压缩格式，并且所述解压缩部可以把以所述原始图像的所述多条像素数据为单位而被压缩的所述压缩格式解压成所述多条像素数据。
[0028]所述信息处理装置还可以包括设定部，所述设定部被构造成根据所述原始图像的图像质量来设定压缩率，其中所述解压缩部基于由所述设定部设定的所述压缩率而将所述压缩格式解压成所述原始图像的所述多条像素数据。
[0029]本技术第二方面的信息处理方法，其包括以下步骤:将原始图像的多条像素数据的传输格式复原成所述多条像素数据的压缩格式，所述压缩格式是将所述原始图像的所述多条像素数据压缩而得到的，所述传输格式是从所述原始图像的所述多条像素数据的所述压缩格式转换而来的；以及把被复原后的所述压缩格式解压成所述原始图像的所述多条像素数据。
[0030]本技术第二方面的程序用来致使计算机执行如下的处理，该处理包括:复原步骤，用于将原始图像的多条像素数据的传输格式复原成所述多条像素数据的压缩格式，所述压缩格式是将所述原始图像的所述多条像素数据压缩而得到的，所述传输格式是从所述原始图像的所述多条像素数据的所述压缩格式转换而来的；以及解压缩步骤，用于把被所述复原步骤中的处理复原后的所述压缩格式解压成所述原始图像的所述多条像素数据。
[0031]本技术第三方面的电子设备包括:摄像部，所述摄像部被构造成进行摄像以获得原始图像；压缩部，所述压缩部被构造成将所述原始图像的多条像素数据压缩成压缩格式；以及转换部，所述转换部被构造成将所述原始图像的所述多条像素数据的所述压缩格式转换成所述多条像素数据的传输格式。
[0032]本技术第四方面的电子设备包括:复原部，所述复原部被构造成将原始图像的多条像素数据的传输格式复原成所述多条像素数据的压缩格式，所述压缩格式是将所述原始图像的所述多条像素数据压缩而得到的，所述传输格式是从所述原始图像的所述多条像素数据的所述压缩格式转换而来的；以及解压缩部，所述解压缩部被构造成把被所述复原部复原后的所述压缩格式解压成所述原始图像的所述多条像素数据。
[0033]在本技术的第一方面和第三方面中，通过摄像而获得原始图像，将所述原始图像的多条像素数据压缩成压缩格式，然后将所述原始图像的所述多条像素数据的所述压缩格式转换成所述多条像素数据的传输格式。
[0034]在本技术的第二方面和第四方面中，将所述多条像素数据的所述传输格式复原成所述多条像素数据的压缩格式(其中所述压缩格式是将所述原始图像的所述多条像素数据压缩而得到的，所述传输格式是从所述原始图像的所述多条像素数据的所述压缩格式转换而来的)，然后把被复原后的所述压缩格式解压成所述原始图像的所述多条像素数据。
[0035]本技术第一方面至第四方面的图像传感器和电子设备每一者可以是独立的装置或电子设备，或可以是用来执行各处理的块。
[0036]本发明的效果
[0037]根据本技术的第一方面至第四方面，可以无需改变现有的数据传输用接口就能传输规定格式的图像数据，且可以提高在压缩率或与各种类型的图像处理LSI的连接性方面的自由度。
【附图说明】
[0038]图1是图示了传输系统的第一构造示例的图。
[0039]图2是图示了传输系统的第二构造示例的图。
[0040]图3是图示了传输系统的第三构造示例的图。
[0041]图4是图示了帧格式的示例的图。
[0042]图5是图示了发送部和接收部各者的构造示例的图。
[0043]图6是图示了报头结构的图。
[0044]图7是图示了报头信息的内容和信息量的图。
[0045]图8是图示了位阵列的示例的图。
[0046]图9是用来说明摄像装置中的处理的流程图。
[0047]图10是用来说明在图9的步骤S2中所进行的数据发送处理的流程图。
[0048]图11是用来说明通过将12位原始图像数据格式转换成6位压缩数据格式来执行数据发送处理和数据接收处理的示例的图。
[0049]图12是用来说明在图9的步骤S3中所进行的数据接收处理的流程图。
[0050]图13是用来说明通过将12位原始图像数据格式转换成5位压缩数据格式来执行数据发送处理和数据接收处理的示例的图。
[0051]图14是用来说明通过将12位原始图像数据格式转换成4位压缩数据格式来执行数据发送处理和数据接收处理的第一示例的图。
[0052]图15是用来说明通过将12位原始图像数据格式转换成4位压缩数据格式来执行数据发送处理和数据接收处理的第二示例的图。
[0053]图16是用来说明通过将10位原始图像数据格式转换成6位压缩数据格式来执行数据发送处理和数据接收处理的示例的图。
[0054]图17是用来说明通过将10位原始图像数据格式转换成5位压缩数据格式来执行数据发送处理和数据接收处理的示例的图。
[0055]图18是用来说明通过将32个像素的12位原始图像数据格式转换成16个像素的压缩数据格式(该格式具有与12位原始图像数据格式的结构相同的结构)来执行数据发送处理和数据接收处理的示例的图。
[0056]图19是用来说明通过将32个像素的12位原始图像数据格式转换成16个像素的压缩数据格式(该格式具有与12位原始图像数据格式的结构相同的结构)来执行数据发送处理和数据接收处理的示例的图。
[0057]图20是用来说明通过将32个像素的12位原始图像数据格式转换成16个像素的压缩数据格式(该格式具有与12位原始图像数据格式的结构相同的结构)来执行数据发送处理和数据接收处理的示例的图。
[0058]图21是用来说明用于设定原始图像数据格式的位数及其压缩率的设定处理的图。
[0059]图22是用来说明一般的个人计算机的构造示例的图。
【具体实施方式】
[0060]传输系统的第一构造示例
[0061]首先，参照图1，将说明根据本发明实施例的传输系统的第一构造示例。
[0062]图1中的传输系统I包括图像传感器11和DSP 12。图像传感器11和DSP 12分别包括互不相同的大规模集成电路(LSI)。图像传感器11和DSP 12被设置于诸如数码相机或移动电话等包括摄像功能的摄像装置中。摄像部21和发送部22被设置于图像传感器11中。接收部31和图像处理部32被设置于DSP 12中。
[0063]图像传感器11中的摄像部21包括诸如互补金属氧化物半导体(CMOS:complementary metal oxide semiconductor)等摄像元件，并且执行对于通过透镜而接收到的光的光电转换。而且，摄像部21执行对于利用光电转换而获得的信号的A/D (模拟-数字)转换等，并且把一帧图像中所含的像素数据以一个像素的数据为单位依次地输出至发送部22。
[0064]发送部22把由摄像部21提供过来的各个像素的数据例如按照由摄像部21提供过来的顺序分配给多个传输路径，并且将所述数据通过所述多个传输路径并行地发送至DSP 12。在图1的示例中，通过使用8个传输路径来执行像素数据的传输。图像传感器11与DSP 12之间的传输路径可以是有线传输路径或者无线传输路径。在下文中，图像传感器11与DSP 12之间的传输路径在适当的时候被称作通道(Lane)。
[0065]DSP 12中的接收部31接收通过8个通道从发送部22传输过来的像素数据，并且将各个像素的数据依次地输出至图像处理部32。
[0066]基于由接收部31提供过来的像素数据，图像处理部32生成一帧图像，且通过使用所生成的图像来执行各种各样的图像处理。从图像传感器11传输至DSP 12的图像数据是RAW数据。在图像处理部32中，执行诸如下列之类的各种各样的处理:图像数据的压缩、图像的显示、或将图像数据记录到记录媒介中，等等。
[0067]传输系统的第二构造示例
[0068]接着，参照图2，将说明传输系统I的第二构造示例。图2中所示的与图1所示的构造相同的构造被赋予相同的附图标记。将会适当地省略重复说明。
[0069]摄像部21以及两个发送部22-1和22_2被设置于图2的传输系统I的图像传感器11中。两个接收部31-1和31-2以及图像处理部32被设置于DSP 12中。
[0070]摄像部21将通过摄像而获得的一帧图像中所含的像素数据以一个像素的数据为单位并行地输出至发送部22-1和发送部22-2。例如，摄像部21将奇数行中的像素的数据输出至发送部22-1且将偶数行中的像素的数据输出至发送部22-2。
[0071]发送部22-1把由摄像部21提供过来的各个像素的数据例如按照由摄像部21提供过来的顺序分配给多个通道，并且将该数据通过这多个通道并行地发送至DSP 12。同样地，发送部22-2把由摄像部21提供过来的各个像素的数据例如按照由摄像部21提供过来的顺序分配给多个通道，并且将该数据通过这多个通道并行地发送至DSP 12。
[0072]在图2的示例中，图像传感器11和DSP 12也是通过8个通道而彼此连接的。发送部22-1和发送部22-2各者通过使用4个通道来传输像素数据。
[0073]DSP 12中的接收部31-1接收通过4个通道从发送部22_1传输过来的像素数据，且将各个像素的数据依次地输出至图像处理部32。同样地，接收部31-2接收通过4个通道从发送部22-2传输过来的像素数据，且将各个像素的数据依次地输出至图像处理部32。
[0074]基于由接收部31-1提供过来的像素数据和由接收部31-2提供过来的像素数据，图像处理部32生成一帧图像，且通过使用所生成的图像来执行各种各样的图像处理。
[0075]如图2所示，两个发送部被设置于图像传感器11中且相应地两个接收部被设置于DSP 12中。因此，即使当从摄像部21输出的像素数据的传输速率较高时，也能够将该像素数据传输至DSP 12。
[0076]传输系统的第三构造示例
[0077]接着，参照图3，将说明传输系统I的第三构造示例。图3中所示的与图1所示的构造相同的构造被赋予相同的附图标记。将会适当地省略重复说明。
[0078]图像传感器11-1和图像传感器11-2这两个图像传感器被设置于图3的传输系统I中。摄像部21-1和发送部22-1被设置于图像传感器11-1中。摄像部21-2和发送部22-2被设置于图像传感器11-2中。类似于图2中的情况，两个接收部31-1和31_2以及图像处理部32被设置于DSP 12中。
[0079]图像传感器11-1中的摄像部21-1将通过摄像而获得的一帧图像中所含的像素数据以一个像素的数据为单位依次地输出至发送部22-1。
[0080]发送部22-1把由摄像部21-1提供过来的各个像素的数据例如按照由摄像部21_1提供过来的顺序分配给多个通道，并且将该数据通过该多个通道并行地发送至DSP 12。
[0081]图像传感器11-2中的摄像部21-2将通过摄像而获得的一帧图像中所含的像素数据以一个像素的数据为单位依次地输出至发送部22-2。
[0082]发送部22-2把由摄像部21-2提供过来的各个像素的数据例如按照由摄像部21_2提供过来的顺序分配给多个通道，并且将该数据通过该多个通道并行地发送至DSP 12。
[0083]在图3的示例中，图像传感器这一侧与DSP 12也是通过8个通道而彼此连接的。图像传感器11-1和图像传感器11-2各者分别被分配有4个通道。发送部22-1和发送部22-2各者通过使用4个通道来传输像素数据。
[0084]DSP 12中的接收部31-1接收通过4个通道从图像传感器11_1中的发送部22_1传输过来的像素数据，且将各个像素的数据依次地输出至图像处理部32。同样地，接收部31-2接收通过4个通道从图像传感器11-2中的发送部22-2传输过来的像素数据，且将各个像素的数据依次地输出至图像处理部32。
[0085]图像处理部32基于由接收部31-1提供过来的像素数据而生成一帧图像，并且基于由接收部31-2提供过来的像素数据而生成一帧图像。图像处理部32通过使用所生成的图像来执行各种各样的图像处理。
[0086]如图3中所示，通过设置有两个图像传感器，例如，就能够利用一个DSP 12来处理包括由图像传感器11-1摄像而得到的左眼图像和由图像传感器11-2摄像而得到的右眼图像的3D图像。左眼图像与右眼图像之间存在视差(parallax)。
[0087]如上所述，在传输系统I的图像传感器中设置有一个以上的发送部以用来传输通过摄像而得到的一帧图像数据。另一方面，在DSP中与图像传感器中的发送部对应地设置有一个以上的接收部以用来接收从图像传感器传输过来的数据。
[0088]在下面，将说明图1所示的其中在图像传感器11中设置有一个发送部且在DSP 12中设置有一个接收部的传输系统I中的数据传输。在图2和图3中的发送部22-1与接收部31-1之间和发送部22-2与接收部31-2之间是以类似的方式进行数据传输的。
[0089]帧格式
[0090]接着，参照图4，将说明被用来在图像传感器11与DSP 12之间传输一帧图像数据的格式的示例。
[0091]有效像素区域Al是通过摄像部21摄像而获得的一帧图像中的有效像素的区域。在有效像素区域Al的左侧，设置有边缘区域A2，边缘区域A2的沿垂直方向的像素数与有效像素区域Al的沿垂直方向的像素数相同。
[0092]在有效像素区域Al的上侧，设置有前虚设区域(front dummy reg1n) A3，前虚设区域A3的沿水平方向的像素数与有效像素区域Al及边缘区域A2的沿水平方向的像素总数相同。在图4的示例中，嵌入式数据(“Embedded Data”)被插入到前虚设区域A3中。该嵌入式数据包括诸如快门速度、光圈值或增益等与由摄像部21进行的摄像有关的设定值信息。也存在着嵌入式数据被插入到后虚设区域A4中的情况。
[0093]后虚设区域A4被设置于有效像素区域Al的下侧，后虚设区域A4的沿水平方向的像素数与有效像素区域Al及边缘区域A2的沿水平方向的像素总数相同。
[0094]图像数据区域All包括有效像素区域Al、边缘区域A2、前虚设区域A3和后虚设区域A4。
[0095]报头(“header”)被添加到图像数据区域All中所包括的各行的前面，且起始码(“Start Code”)被添加到报头的前面。而且，脚注(“Footer”)可任选地被添加到图像数据区域All中所包括的各行的后面，且稍后将要说明的诸如结束码(“End Code”)等控制码被添加到脚注的后面。如果没有添加脚注，那么诸如End Code等控制码就被添加到图像数据区域All中所包括的各行的后面。
[0096]每次当通过摄像部21摄像而获得的一帧图像从图像传感器11向DSP 12传输时，呈图4所示格式的全部数据就作为传输数据而被传输。
[0097]图4上侧的带状图说明了被用于图4下侧所示的传输数据的传输的包结构。当假设沿水平方向的一连串像素是一行时，图像数据区域All的一行中的像素的数据被存储于包的有效负载中。通过使用比图像数据区域All的沿垂直方向的像素数多的包来执行一帧中的全部图像数据的传输。
[0098]当报头和脚注被添加给存储