控制装置、立体影像摄像装置以及控制方法

专利名称：控制装置、立体影像摄像装置以及控制方法
技术领域：
本发明涉及一种对用以感知立体影像的影像进行比较的控制装置以及控制方法以及生成用以感知立体影像的影像的立体影像摄像装置。
背景技术：
近年来，数码摄像机、数码相机等摄像装置，正在向小型化发展。但是，随着摄像装置小型化的进程，摄像者在把持摄像装置时，镜头的一部分会被手指所摄入，容易产生所谓的遮指。由此，如专利文献1，一种依据按时间顺序连续拍摄的多幅图像数据，来判断摄像者的手指是否包含在摄影对象范围之内，并对遮指情况发出警告的技术已有公开。然而，一种通过使用两个影像使观者产生双眼视差而使人感知立体影像的技术正在得到普及。在这种技术中，通过将左眼影像呈现给观者的左眼，右眼影像呈现给观者的右眼，使观者感知立体(3D)影像。生成这种用以感知该立体影像的左眼用影像数据和右眼用影像数据的立体影像摄像装置多数采用两个镜头即在摄像部，以便分别生成左眼用影像数据和右眼用影像数据。先行技术文献专利文献[专利文献1]日本专利特开2004-40712号公报

发明内容
发明要解决的课题上述专利文献1的技术在于，在检测有无遮指时，为了使拍摄对象的被摄物和手指等摄入部分之间的相对位置的变化变得明确，在按时间顺序拍摄的多幅影像数据中，就有必要对规定时间内所积累的、或拉开间隔的影像数据进行比较。因此，使用专利文献1的技术摄像时，从遮指产生之后到检测出该遮指需要一定的时间，从遮指产生，到根据检测结果发出警告，摄像者移走遮指为止，拍摄装置将继续存储带有摄入手指的本不希望有的影像数据。并且，专利文献1的技术中，在检测遮指时，由于使用过去的大量影像数据，因此为了暂时存储过去的影像数据，需要准备一定程度的存储容量较大的影像缓存。假设将专利文献1的技术，适用于感知立体影像的左眼用影像以及右眼用影像的摄像时，则分别对左眼用影像以及右眼用影像，按时间顺序拍摄的影像数据进行比较。这种情况下，上述长时间持续的手指摄入的本不希望有的影像数据的存储，与影像缓存的存储容量将单纯地翻倍，检测遮指所花费的数据处理负荷也将会成倍地加大。鉴于此，本发明的目的在于提供一种能迅速且低负荷地检测出遮指的控制装置、 立体影像摄像装置以及控制方法。解决课题的手段为解决上述问题，本发明的控制装置具备一个差异判断部和一个实施控制部，该差异判断部是通过将用以感知立体影像的左眼用影像数据和右眼用影像数据依据规定的判断标准进行比较，判断是否存在基于规定的判断标准下的差异；该实施控制部是当判断为有差异时，使受控部实施与判断为无差异时不同的处理。上述规定的判断标准，也可以是光量。上述规定的判断标准，也可以是鲜明度。上述规定的判断标准，也可以是被摄物的形状。上述差异判断部，也可以将基于左眼用影像数据的图像中至少除去中央部分的区域所对应的数据以及基于右眼用影像数据的图像中至少除去中央部分的区域所对应的数据作为对象，比较左眼用影像数据和右眼用影像数据。上述受控部是报告信息的报告部；当差异判断部判断为有差异时，实施控制部也可以使报告部报告检测出了有差异的判断内容。上述受控部是，存储已生成的左眼用影像数据和右眼用影像数据的影像存储部； 实施控制部只有在当差异判断部判断为无差异时，也可以使影像存储部存储左眼用影像数据和右眼用影像数据。上述受控部是，将影像数据中的部分影像数据置换为其他影像数据的部分影像数据之影像置换部；当差异判断部判断为有差异时，实施控制部也可以使影像置换部通过将左眼用影像数据和右眼用影像数据两者之一的影像数据中的部分影像数据，置换成另一方影像数据中的部分影像数据，使得有差异部分的差异得以减小。上述受控部是，从所生成的左眼用影像数据和右眼用影像数据中各自切取出其中一部分的影像切取部；当差异判断部判断为有差异时，实施控制部也可以使影像切取部从左眼用影像数据和右眼用影像数据中各自切取出其中一部分，以排除有差异的部分。为了解决上述课题，本发明的立体影像摄像装置，其特征在于，具有上述控制装置和，生成左眼用影像数据以及右眼用影像数据的摄像部。为了解决上述课题，本发明的控制方法，其特征在于，通过对用以感知立体影像的左眼用影像数据和右眼用影像数据依据规定的判断标准进行比较，判断是否存在基于规定的判断标准下的差异，当判断为有差异时，实施与判断为无差异时不同的处理。基于上述立体影像摄像装置之技术思想的组成要素及其说明，也可以适用于该控制方法上。发明效果根据本发明的控制装置、立体影像摄像装置以及控制方法，可以迅速且低负荷地检测出遮指。


[图1]显示立体影像摄像装置一例的说明图。[图2]显示立体影像摄像装置简要构成的功能的块图。[图3]为说明成为差异判断部比较对象的规定范围之说明图。[图4]为说明差异判断部详细的比较处理内容的说明图。[图5]为说明由差异判断部对被摄物形状进行的比较的说明图。[图6]以显示部作为报告部为例说明其处理内容的说明图。[图7]为说明影像处理部的置换处理的说明图。
[图8]为说明影像处理部的切取处理的说明图。[图9]表示控制方法处理流程的流程图。
具体实施例方式下面参照附图，就本发明的较佳实施方式进行详细说明。所展示的该实施方式中的尺寸、材料以及其他具体的数值等，仅作为使发明更容易理解的一种示例，除非有特别说明，本发明不受其限制。此外，对于本说明书及图纸中实质上为同一功能、同一结构的各要素，通过附加相同的符号省略重复性说明，并且对于与本发明没有直接关系的要素将省略图示。控制装置是，例如，生成或编辑用以感知立体影像的影像的立体影像摄像装置、个人电脑、播放用以感知立体影像的影像的立体影像播放装置以及能够对上述装置追加功能的装置等的中央控制部。在本实施方式中，将例举控制装置是立体影像摄像装置的中央控制部时的情况，先说明立体影像摄像装置的构成，其后，对中央控制部进行详细叙述。另外，在下面的说明中，在由立体影像摄像装置的两个摄像部所拍摄的两个图像中，不管是拍摄对象的位置差还是拍摄对象的方向差，都将称之为视差。还有，所谓遮指还将包括手指以外的物体摄入了摄像镜头时的状态。只是在下面的说明中，将对检测出手指摄入镜头的状态的例子进行说明。(立体影像摄像装置100)图1是显示一个具有控制装置即中央控制部138的立体影像摄像装置100的示例说明图。特别要说明的是，图1 (a)表示立体影像摄像装置100的外观，图1 (b)表示立体影像摄像装置100的相角112a、112b与被摄物114的关系。在本实施方式中，作为立体影像摄像装置100所示的是所谓的数码相机。立体影像摄像装置100的构成包括了主体102、两个摄像镜头l(Ma、104b，以及操作部106。本实施方式中的立体影像摄像装置100，虽然例举了具备影像摄像功能的数码相机，但不局限于此种情况，数码摄像机、手机、PHS (Personal Handyphone System)、掌上游戏机等，凡具备影像摄像功能的电子设备均可。此外，立体影像摄像装置100，可以是村存储动画的摄像装置，也可以是存储静画的摄像装置。并且，影像数据可以是静画数据，也可以是动画数据。而且，在以下说明中， 就立体影像摄像装置100具备控制装置的例子进行说明，但控制装置，也可以是独立于立体影像摄像装置100之外的个体。在这种情况下，控制装置获取到通过立体影像摄像装置 100生成的左眼用影像数据和右眼用影像数据，通过将左眼用影像数据和右眼用影像数据依据规定的判断标准进行比较，判断是否存在基于该规定的判断标准下的差异。立体影像摄像装置100的摄像部，如图1(a)所示，摄像者水平把持立体影像摄像装置100的主体102时，各自的摄像轴IlOaUlOb在同一个水平面上呈略平行或者与摄像方向上相交汇。在此，摄像轴110a、110b，如图1(a)、(b)所示，表示摄像方向，是从摄像部上生成的影像的中心点即影像中心点向摄像方向延长线。本实施方式中，摄像轴IlOaUlOb 略成平行状。立体影像摄像装置100，拍摄分别位于两个摄像部相角112a、112b范围之内的被摄物114，并利用其视差，生成可使人感知立体影像的两个影像数据即左眼用影像数据以及右眼用影像数据。
立体影像摄像装置100，将通过两个摄像镜头104a、104b生成的、用以感知立体影像的、使观者产生双眼视差的两个影像数据，用并列式、上下式、线序式、帧连续式等使人感知立体影像的规定方式进行存储，同时，按照摄像者通过操作部106的输入操作，进行摄像时机和角度的调整。但是，立体影像摄像装置100为了提高其便携性，正在向小型化发展，摄像者把持立体影像摄像装置100时，摄像镜头104的一部分有可能会被手指遮盖，发生所谓遮指的问题。尤其是，作为以拍摄立体影像为目的的立体影像摄像装置100，如图1(a)所示，将摄像轴IlOa和摄像轴lib分开，隔出人的双眼之间的距离即两眼间距比较有效，镜头会被配置在较靠端部的位置，所以更容易产生遮指。在此，在本实施方式的立体影像摄像装置100 中，通过比较左眼用影像数据和右眼用影像数据，能够迅速且低负荷地检测出遮指。下面， 对这种立体影像摄像装置100进行说明。图2是显示立体影像摄像装置100简要构成的功能板块图。如图2所示，立体影像摄像装置100的组成包括，操作部106、具有两个摄像部(120a、120b)的摄像部120、影像缓存器122、数据处理部124、影像处理部126、影像合成部128、显示部130、影像存储部 132、扩音器134、LED (Light Emitting Diode) 136以及中央控制部(控制装置)138。显示部130、影像存储部132以及扩音器134是受控部140的一个例子。图2中，实线表示数据流，虚线表示控制信号流。操作部106，由包括释放开关的操作键、十字键、控制杆(joy stick)、层叠在显示部130的显示面上的触摸屏等开关键组成，接收摄像者的输入操作。摄像部120，如上所述，设置成摄像轴IlOaUlOb分别形成略平行状或者在拍摄方向上任意一个基线交汇点形成交叉。而后，根据摄像者通过操作部106的输入操作，若选择了影像数据的生成录像时，则分别由摄像部120a生成左眼用影像数据，摄像部120b生成右眼用影像数据，并将该影像数据即左眼用影像数据以及右眼用影像数据输出到影像缓存器 122 中。具体来说，摄像部120由包括摄像镜头104，在图2中，用104a、104b表示，用于变换相角的变焦镜头140、用于调整焦距的聚焦镜头142、用于调整曝光的光阑即可变光阑 144、对透过摄像镜头104入射的光束进行光电转换，使其成为影像数据的摄像元件146以及后述的根据摄像控制部150的控制信号分别驱动变焦镜头140、聚焦镜头142、光阑144 以及摄像元件146的驱动部148所组成，生成两个摄像轴IlOaUlOb上各自的两个影像数据即左眼用影像数据和右眼用影像数据。此外，在本实施方式中，两个摄像部120是连动的，根据摄像控制部150的控制信号，使两个摄像部120彼此动作同步，同时驱动变焦镜头 140、聚焦镜头142、光阑144以及摄像元件146。影像缓存器122，由RAM (Random Access Memory)等构成，它将一侧的摄像部120a 生成的左眼用影像数据和，另一侧的摄像部120b生成的右眼用影像数据，分别以帧为单位进行暂时保存。在此，帧是指形成影像时按时间顺序排列的静画。数据处理部124，针对从影像缓存器122输出的左眼用影像数据以及右眼用影像数据，实施R (Red) G (Green) B (Blue)处理即r校正和颜色校正)、增强处理、降噪处理等的影像信号处理。影像处理部126，按照编辑控制部158的控制指令，针对左眼用影像数据以及右眼用影像数据的一部分的局部影像数据，实施置换处理和切取处理。关于编辑控制部158的处理在后面详细叙述。影像合成部128，合成即合并从影像处理部1 输出的左眼用影像数据和右眼用影像数据，输出到显示部130和影像存储部132里。具体来说，影像合成部1 通过用以感知立体影像的规定方式，例如将左眼用影像数据以及右眼用影像数据进行隔行即每隔1行配置、透过偏光目镜进行视认的线序式，交替显示每帧的左眼用影像和右眼用影像、透过电子快门式目镜进行视认的连帧式，利用双凸镜(lenticular)控制左眼用影像和右眼用影像各自光束的前进方向的双凸镜式等，生成合成数据，输出到显示部130或影像存储部132 里。而且，例如，当使用基于偏光显示方式等每行的偏光不同的显示部130时，影像合成部128，通过扫描线连帧式、交替连帧式、或者双凸镜式等输出合成数据，而摄像者则透过佩戴偏光眼镜等，分别只让左眼看左眼用影像，右眼看右眼用影像，并将基于合成数据的影像作为立体影像进行感知。显示部130，由液晶显示屏、有机EL (Electro Luminescence)显示屏等组成，显示基于由影像合成部1 输出的合成数据的影像。在此，立体影像装置100中具有显示部 130，但不限于此种情况，也可以是外置的显示装置。此外，显示部130也可以不合成左眼用影像数据或者右眼用影像数据而进行直接显示。摄像者通过一面视认显示部130所显示的影像，一面操作操作部106，从而能够在希望的位置和范围内捕捉到被摄物。影像存储部132，根据后述的存储控制部156的控制信号，存储由影像合成部1 输出的合成数据。并且，影像存储部132里，也可以使用HDD(Hard Disk Drive)、闪存器、不挥发性RAM等。而且，影像存储部132，也可以由CD (Compact Disc)、DVD (Digital Versatile Disk)或BD(Blu_ray Disc)这类光碟媒体，或者可移动式存储卡等可安装拆卸的存储媒体作为存储合成数据的装置来构成。此时，影像存储部132，也可以将影像数据以 M-JPEG (Motion JPEG)、MPEG (Moving Picture Experts Group)-2、H.沈4 等的规定的符号化方式进行符号化。扩音器134遵循报告控制部154的控制指令，例如，发生遮指时输出警告音。 LED136遵循报告控制部154的控制指令，例如，发生遮指时灯亮。中央控制部138通过半导体集成电路，对立体影像装置100整体进行管理和控制， 其中半导体集成电路包括收纳中央处理装置(CPU)、程序等的ROM、作为工作区的RAM等。而且，在本实施方式中，中央控制部138也作为摄像控制部150、差异判断部152、报告控制部 154、存储控制部156、编辑控制部158来发挥其功能。报告控制部154、存储控制部156、编辑控制部158是实施控制部160的一个例子。摄像控制部150，根据拍摄者所输入的操作，即操作部160所提供的信息，对摄像部120实施操控。例如，摄像控制部150，通过驱动部148驱动变焦镜头140、聚焦镜头142、 光阑144以及摄像元件146，来得到合适的影像数据。差异判断部152，将左眼用影像数据和右眼用影像数据，依据规定的判断标准进行比较，判断出是否存在基于规定的判断标准的差异。在本实施方式中，由差异判断部152进行有无判断的、左眼用影像数据和右眼用影像数据之间的差异中，不包括由于摄像部120a和120b的光轴偏离所导致的偏差，即视差偏差。此时，差异判断部152，也可以将基于左眼用影像数据的图像中至少除去中央部分的区域所对应的数据以及基于右眼用影像数据的图像中至少除去中央部分的区域所对应的数据作为对象，比较左眼用影像数据和右眼用影像数据。图3是为了说明成为差异判断部152的比较对象的规定范围170的说明图，显示了基于左眼用影像数据的图像和、基于右眼用影像数据的图像。特别是，图3(a)显示了以除了中央部分172，即在图3(a)中用中空的方形表示的部分以外的规定范围170，即在图 3(a)中，用交叉影线表示的部分，作为比较对象的例子，图3(b)显示了将图像整体作为比较对象的例子。由于手指是从把持立体影像摄像装置100的手伸出去的，所以如果发生遮指，手指必然会覆盖住摄像镜头104外围部分的某处。为此，在检测遮指时，差异判断部152 只要至少对外围部所对应的局部影像数据进行比较即可。在此，差异判断部152，如图3(a)所示，将比较对象缩小至除中央部分172以外的规定范围170所对应的数据，因此与图3(b)所示的、对基于左眼用影像数据的图像和基于右眼用影像数据的图像的各自比较对象不进行缩小的情况相比，能够降低其处理负荷。而且，通过将作为比较对象的范围，缩小至除中央部分172以外的规定范围170所对应的数据，可以防止因遮指以外因素所造成的检测错误的发生。再者，差异判断部152，例如可将光量作为判断标准即规定的判断标准，将左眼用影像数据和右眼用影像数据相比较。发生遮指后，手指174等摄入的部分的影像，因为手指174等对射入摄像镜头104 的光线的摄入而变暗。为此，在左眼用影像数据和右眼用影像数据的任何一个中发生手指 174摄入时，左眼用影像数据和右眼用影像数据的光量会不同。此外，也可能发生左眼用影像数据和右眼用影像数据两者均发生手指174等摄入的现象。但是，左右摄像镜头104，因其设有两眼间距的距离量，所以要在左右摄像镜头104 的同一部分同时发生手指174等的摄入，除非有意为之否则一般不会发生。因此，左眼用影像数据中手指174等摄入的部分和，右眼用影像数据中手指174等摄入的部分，其光量会不同。而且，即便两个摄像镜头104中分别发生了遮指，但在左眼用影像数据和右眼用影像数据中由于手指覆盖摄像镜头104的范围不同的可能性大，所以两影像数据之间的光量仍会不同。因此，差异判断部152，可以以光量作为判断标准，检测出有无遮指的情况。差异判断部152，当左眼用影像的数据的1帧量的整体光量即辉度值的和或平均值和，右眼用影像数据的1帧量的整体光量之间的差，比第2规定值大时，即可判断发生了遮指。差异判断部152，特别是针对左眼用影像数据和右眼用影像数据中光量低的一方，做出发生了手指174等摄入的判断。根据这种结构，差异判断部152，便能通过简易的处理检测出遮指。而且，差异判断部152，也可以通过将画面切分为多个块，并分别对其进行光量判断的方法，来进行更加细致的比较处理。图4是，为说明差异判断部152的详细的比较处理内容的说明图。在此，假设右眼用影像数据里发生了手指174摄入，在图4中，用阴影线表示。如图4所示，差异判断部152，分别将左眼用影像数据和右眼用影像数据切分为规定大小的块176、178，针对176、178各块，以像素点为单位检测出光量，在本实施方式中是为辉度值之和或者平均值，导出左眼用影像数据中176块分别对应的右眼用影像数据中178块的辉度值之差。而后，辉度值之差超过第1规定值的块，即，手指174摄入的块大于第1规定值时，则判断为正在发生遮指。差异判断部152，特别针对辉度值之差超过第1规定值的块176、178两者中光量低的一方的块，判断为正在发生手指174等的摄入。第1规定值和第1规定值，可根据块尺寸等摄像环境任意设定。依据该以该光量作为判断标准、并以块176、178为单位进行比较之结构，假如即使在左眼用影像数据和右眼用影像数据中发生的手指摄入部分的面积碰巧大致相等，差异判断部152，也能从该发生位置的不同，确切且容易地检测出遮指。还有，差异判断部152，例如也可以以鲜明度为判断标准即规定的判断标准，比较左眼用影像数据和右眼用影像数据。即，规定的判断标准，也可以是鲜明度。本实施方式中， 鲜明度是表示影像中被摄物轮廓等颜色和辉度发生变化的分界部分的清晰度的指标。鲜明度，例如可以以清晰度等的数值来表达。发生遮指时，手指174等摄入部分的影像焦距不合，清晰度等鲜明度降低。如上所述，左右摄像镜头104由于是隔开两眼之间间距而设的，因此左右摄像镜头104中同一部分同时被手指174等覆盖的情况，除非有意为之否则一般不会发生。因此，左眼用影像数据的手指174等摄入的部分和，右眼用影像数据的手指174等摄入的部分，其鲜明度会不同。因此，差异判断部152，通过将鲜明度作为判断标准，比较左眼用影像数据和右眼用影像数据，来判断有无差异。若左眼用影像数据1帧量的整体鲜明度和，右眼用影像数据1帧量的整体鲜明度之差超过第2规定值，差异判断部152则判断为正在发生遮指。差异判断部152，特别针对左眼用影像数据和右眼用影像数据中鲜明度低的一方，判断为其正在发生手指174等的摄入。根据该结构差异判断部152，将可以不拘泥于光量而用简易的处理方法检测出遮指。而且，在以鲜明度为判断标准的情况下，也与上述以光量为判断标准时同样，如图 4所示，将左眼用影像数据和右眼用影像数据分别切分为规定大小的块176、178，导出各块 176,178的鲜明度，鲜明度之差超过第2规定值的块即，图4中手指174正发生摄入的区域若大于第2规定值，也可以判断为正在发生遮指。差异判断部152，特别针对鲜明度之差超过第2规定值的块176、178中鲜明度低的一方，判断为正在发生手指174等的摄入。在此， 第2规定值设为与第1规定值相等，但也可以取不同的值。根据该以鲜明度为判断标准、以块176、178为单位进行比较之结构，即使假如左眼用影像数据和右眼用影像数据中手指的摄入部分，偶然发生面积略同或整体鲜明度一致的情况，差异判断部152，也会根据其发生位置的不同，确切且容易地检测出遮指。而且，差异判断部152，例如也可以将被摄物的形状作为判断标准即规定的判断标准，比较左眼用影像数据和右眼用影像数据。图5是为了说明由差异判断部152对被摄物180a、180b的形状进行比较的说明图。特别是，图5(a)是表示发生遮指时的例子，图5(b)是没有发生遮指时的例子。如图5(b)所示，在没有发生遮指时，分别在左眼用影像数据和右眼用影像数据当中，被摄物180a、180b虽然互相偏离视差的量，但被摄物180a、180b的形状本身不会发生大的改变。如图5(a)所示，在发生遮指时，在右眼用影像数据里，摄入了左眼用影像数据中不包含的手指174。被摄入的手指174，与其他被摄物一起，暂且被识别为被摄物，差异判断部152，会依据左眼用影像数据和右眼用影像数据，对所有被摄物的形状进行比较。具体来说，差异判断部152，针对各自的左眼用影像数据和右眼用影像数据，对相互间只偏离了视差的量的被摄物，例如，通过对左眼用影像数据和右眼用影像数据进行块匹配等处理方法来进行确定。然后，比较被摄物的形状，例如，比较其所占面积或者长宽比。 比较处理的结果为，若在左眼用影像数据和右眼用影像数据中，只存在其中一方有被摄入的被摄物时，差异判断部152，则判断该被摄物就是被摄入的手指174等。依据该以被摄物的形状为判断标准的结构，即便在左眼用影像数据和右眼用影像数据之光量和鲜明度均巧合一致的情况下，也能够确切地检测出遮指。这样，由于差异判断部152，用光量、鲜明度、被摄物的形状等不易受到基于在左眼用影像数据的影像和基于右眼用影像数据影像间的视差的影响的判断标准，来比较左眼用影像数据和右眼用影像数据，因此可以正确检测出遮指。不仅如此，差异判断部152，也可以依据上述光量、鲜明度、被摄物的形状各自的判断标准，比较左眼用影像数据和右眼用影像数据，然后综合判断比较结果，判断是否发生了遮指。此时，差异判断部152，例如，在所有光量、鲜明度、被摄物的形状各自的判断标准中，如果判断左眼用影像数据和右眼用影像数据之间有差异，则可判断为正在发生遮指，或者在光量、鲜明度、被摄物的形状各自的判断标准中的任何一个标准下，或者任何两个标准下，如果判断左眼用影像数据和右眼用影像数据之间有差异，则可判断为正在发生遮指。通过使用该多个判断标准进行综合判断的结构，差异判断部152，可以更加高精度地检测出遮指。再者，上述遮指检测只是一个例子，差异判断部152，例如，在当垃圾、污渍吸附在摄像镜头104上，或者摄像镜头104被镜头盖遮盖等情况下，针对是否存在手指以外的遮蔽物的判断时，与遮指一样，可以通过比较左眼用影像数据和右眼用影像数据，判断差异的有无，从而完成检测。如上所述的实施方式，差异判断部152，针对左眼用影像数据和右眼用影像数据， 以最新的1帧量作为比较的对象。但是，不限于该种情况，作为比较对象也可以使用过去的帧。此时，差异判断部152，将保存在影像缓存器122里的，左眼用影像数据中当前的帧以及过去的多个帧中的任意一个帧，与右眼用影像数据中当前的帧以及过去的多个帧中的任意一个帧进行比较，当该帧之间存在差异时，判断为正在发生遮指。即使依据将过去的多个帧作为比较对象的这种结构，差异判断部152，也能够精度更高地检测出遮指。但是，差异判断部152所比较的左眼用影像数据和右眼用影像数据，较为理想的是在大致同一时间点拍摄的影像。本实施方式的立体影像摄像装置100中，为检测出遮指，将左眼用影像数据和右眼用影像数据进行比较，例如，对于即便在1帧量的帧周期这样短的时间内生成的一对影像数据之间也能够检测出来；相比起与规定时间的、或相隔一段时间的过去的影像数据作比较的情况，能够在短时间内检测出遮指。为此，即便在刚刚完成镜头的上下左右移动之后或刚刚电源开启之后摄像，也可以立即检测出遮指。并且，即使被摄物迅速移动也不会发生遮指误判，可以准确地检测出遮指。再者，本实施方式的立体影像摄像装置100中，为检测遮指临时保存影像数据的影像缓存器122具有，例如可以逐一保存1帧量的左眼用影像数据以及右眼用影像数据的存储量即可，能够降低制造成本。此外，立体影像摄像装置100，因为可在各自的左眼用影像数据和右眼用影像数据中同时检测出遮指，因此与分开检测处理左眼用影像数据和右眼用影像数据这两个系统的情况相比，能够降低处理负荷。接着对实施控制部160，即本实施方式中报告控制部154、存储控制部156以及编辑控制部158的动作进行说明。实施控制部160，在由差异判断部152判断为有差异时，使受控部140，即在本实施方式中为显示部130、影像处理部126、影像存储部132、扩音器134、 LED136，实施与判断为无差异时不同的处理。报告控制部154，由差异判断部152判断为有差异时，使作为报告部的显示部130、 LED132或者扩音器134报告正在发生遮指的信息。图6是，以显示部130作为报告部为例，说明其处理内容的说明图。特别是，图6(a) 显示了警告标志18 的显示例子，图6(b)显示了警告信息184b的显示例子。若差异判断部152判断为有差异，则报告控制部154，例如，使扩音器134输出警告音，或者如图6 (a)所示，使显示部130显示警告标志184a，或者如图6 (b)所示，显示警告信息184b，或者使LED136等亮灯，向摄像者报告正在发生遮指。因此，摄像者可以容易地得知正在发生遮指现象，移动手指174等，从而避免继续发生遮指。此外，报告控制部154，例如也可以使显示部130显示文字、或者使扩音器134输出声音，告知在左右摄像镜头104a、 104b当中哪边正在发生遮指。上述影像存储部132，存储由影像合成部1 合成的左眼用影像数据和右眼用影像数据的合成数据。此时，存储控制部156，只在由差异判断部152判断为无差异时，将合成数据存储在影像存储部132里。反过来，当判断为有差异时，存储控制部156，将不把合成数据存储在影像存储部132里，并将该内容，例如，通过显示部130通知摄像者。存在遮指时，所生成的影像数据即合成数据，很可能得到的是摄像者所不期望的影像。根据对该存储控制部156存储合成数据进行限制的结构，存储控制部156将不再特意把不需要的有手指174等摄入的合成数据存储到影像存储部132里，这样既可以有效利用影像存储部132的存储容量，又可以省去将不需要的合成数据通过后编辑进行删除的麻烦。再者，存储控制部156，当有遮指时，虽然在影像存储部132里存储合成数据，但在合成数据里添加表示正在发生遮指的标识。在这种情况下，摄像者可以过后根据标识，很容易地找出合成数据中发生遮指的开头部分，并可以一边视认，一边只删除判断为不需要的部分。编辑控制部158，在由差异判断部152判断为有差异时，也可以使影像处理部126， 就存在差异的部分，为减少该差异部分的差异，而将左眼用影像数据以及右眼用影像数据中一方的影像数据的局部影像数据，置换为另一方的影像数据的局部影像数据。此时，影像处理部126，作为影像置换部发挥作用，将左眼用影像数据以及右眼用影像数据中一方的影像数据中的局部影像数据，置换为另一方的影像数据中的局部影像数据。图7是为说明影像处理部126的置换处理的说明图。特别是，图7(a)显示了影像处理部1 进行置换处理之前的左眼用影像数据和右眼用影像数据的例子，图7(b)显示了影像处理部1 进行置换处理之后的左眼用影像数据和右眼用影像数据的例子，图7(c)显示了影像处理部126的其他置换处理的例子。
编辑控制部158，在左眼用影像数据以及右眼用影像数据中，由差异判断部152 判断为有手指174等摄入的一方，在此，特定图7(a)中右眼用影像数据中手指174摄入的部分即差异判断部152中以块为单位进行比较处理时，被判断为手指174等摄入的块的局部影像数据192。而后，编辑控制部158使影像处理部1 获得图7(b)中左眼用影像数据中的与局部影像数据192相同位置的局部影像数据194。此后，如图7(b)所示，编辑控制部 158控制影像处理部126，以局部影像数据194将发生遮指的部分的局部影像数据192置换为局部影像数据194。根据该结构，影像合成部1 使用左眼用影像数据和置换后的右眼用影像数据生成合成数据，虽然在该合成数据中被摄物190的局部稍有偏离，但就背景等而言几乎不会产生不协调感、如同根本没有发生过遮指一般。但是，左眼用影像数据和右眼用影像数据间存在视差，即使只是简单地置换同一位置的块，也会由于成像位置的不同而使被摄物向水平方向偏移。因此，为了进行更加正确的置换处理，编辑控制部158，也可以考虑到视差因素来置换局部影像数据。此时，编辑控制部158，如图7(a)所示，在右眼用影像数据中，提取出预测已被手指174覆盖的被摄物。具体来说，编辑控制部158，例如，包括与手指174所摄入的区域相邻的区域的所有被摄物，例如，在此特定被摄物190，提取出包括该被摄物190的局部影像数据196。然后，编辑控制部158，将被提取出来的局部影像数据196作为比较的依据，将左眼用影像数据作为比较的对象，运用块匹配等技术，在左眼用影像数据中，使影像处理部 1 提取出对应局部影像数据196的局部影像数据198。而后，编辑控制部158，如图7(c) 所示，特定被包含于该局部影像数据196的所有块内的被摄物190，使影像处理部1 提取出局部影像数据200a，其中局部影像数据200a对应与包含被摄物190的、被提取出的局部影像数据198相连的块，并且对应在右眼用影像数据中手指174覆盖的部分，即在这里是被摄物190的尾部区域。编辑控制部158，使用被提取出的局部影像数据200a和，图7 (b)里说明的左眼用影像数据的局部影像数据194之中，与局部影像数据200a不重复的部分，即局部影像数据 200b，如图7(c)所示，置换右眼用影像数据的局部影像数据192的部分。由此结构，影像合成部128，也可以通过用相似的被摄物的局部影像数据进行置换，以生成更加自然的如同没发生遮指一样的合成数据。编辑控制部158，也可以使影像处理部126，就左眼用影像数据以及右眼用影像数据中被差异判断部152判断存在差异的、手指174等摄入的部分的局部影像数据192，例如， 置换为手指174等摄入的部分的周边背景等各部分间颜色变化较小的影像的局部影像数据。遮指容易发生在影像数据的外围部分，由于主要的被摄物极少位于外围部分，因此外围部分多成为背景。由于背景的各部分间的颜色变化小，因此将一部分与另外一部分相替换也不会产生多少不协调感。因此，影像合成部128，虽然被摄物190的一部分在左眼用影像数据或右眼用影像数据中的任何一方上存在欠缺，但仍可以生成背景等几乎没有不协调感的，如同未发生过遮指一样的合成数据。编辑控制部158，当差异判断部152判断为有差异时，也可以使影像处理部126为排除有差异的、即手指174等摄入的部分，而将已生成的左眼用影像数据和右眼用影像数据各自的一部分切取出来。此时，影像处理部1 作为影像切取部发挥作用，将已生成的左眼用影像数据和右眼用影像数据各自的一部切取出来。图8是为了说明影像处理部126的切取处理的说明图。特别是，图8(a)显示了影像处理部1 实施切取处理之前的左眼用影像数据和右眼用影像数据的例子；图8(b)显示了影像处理部1 实施切取处理之后的左眼用影像数据和右眼用影像数据的例子；图8(c) 显示了切取之后的放大的局部影像数据2(Ma、204b的例子。如图8(a)所示，右眼用影像数据里如果发生了手指174摄入的情况，编辑控制部 158，如图8(b)所示，使影像处理部1 将除去了手指174摄入部分的局部影像数据202b， 按原始图像及其长宽比相等地切取出去。再者，编辑控制部158，使影像处理部126，将与右眼用影像数据的局部影像数据202b同样大小的、位于同样位置的局部影像数据202a从左眼用影像数据中切取出去。而后，编辑控制部158，使影像处理部126，例如，像电子变焦那样，将切取出的局部影像数据20h、202b放大到和左眼用影像数据及右眼用影像数据相同的大小，使其置换为局部影像数据2(Ma、204b，分别替代左眼用影像数据和右眼用影像数据。如上所述，遮指发生时，手指174等会遮住摄像镜头104外围部的某处。因此，编辑控制部158，使影像处理部1 避开手指174等摄入的部分，切取出局部影像数据202b， 这样虽然所希望的相角会发生改变，但可以完全清除遮指部分，因此观者观看该影像时，能够切实地感受到立体影像。而且，编辑控制部158，当发生遮指的区域大于规定的面积时，将控制影像处理部126，使其实施上述置换处理，而当比规定的面积小的时候，也可以控制影像处理部126，使其实施上述切取处理。这意味着，当遮指发生的区域比较小的时候，即使进行切取处理，也可以制作出不协调感较小的立体影像，同时也可以避免被摄物因置换处理而发生水平方向偏离的现象。如上面说明，本实施方式的该控制装置即中央控制部138以及立体影像摄像装置 100，能够迅速且低负荷地检测出遮指。(控制方法)此外，本发明也提供使用上述控制装置即央控制部138的控制方法。图9是，表示控制方法处理流程的流程图。摄像部120生成影像数据时，即S300的YES，影像缓存器122，将临时保存影像数据(S30》。差异判断部152，将保存在影像缓存器122的左眼用影像数据和右眼用影像数据，依据规定的判断标准、在这里是依据光量进行比较。具体来说，差异判断部152，将左眼用影像数据和右眼用影像数据分别切分为规定的块176、178(S304)，导出各块176、178的光量，其在本实施方式中为辉度值(S306)。此时，差异判断部152，只对除了中央部分的规定区域进行切分，导出其辉度值。进而，差异判断部152导出与块176分别相对应的区域178的辉度值之差(S308)。差异判断部152，对辉度值之差大于第1规定值的区域是否超过第1规定值做出判断(S310)。辉度值之差大于第1规定值的块超过第1规定值时，即S310的YES，差异判断部 152，判断正在发生遮指；报告控制部154，使显示部130、扩音器134以及LED136将发生了遮指的信息进行报告(S312)。辉度值之差大于第1规定值的块没有超过第1规定值时，即S310的NO、差异判断部152则判断没有发生遮指，并且不进行发生了遮指的报告。
进而，影像合成部128，将从影像处理部1 输出的左眼用影像数据和右眼用影像数据进行合成，生成用以感知立体影像的规定方式的合成数据(S314)。显示部130，显示影像合成部128已输出的合成数据，影像存储部132，存储影像合成部1 输出的合成数据 (S316)。在此，差异判断部152，以光量作为判断标准，对左眼用影像数据和右眼用影像数据进行了比较，但如上所述，也可以将鲜明度、被摄物形状的类似度作为判断标准，比较左眼用影像数据和右眼用影像数据。此外，差异判断部152判断出正在发生遮指时，虽然例举了报告控制部巧4使显示部130和扩音器134报告该信息的处理，但如上所述，存储控制部156也可以不向影像存储部132进行存储，编辑控制部158也可以使影像处理部1 进行置换处理或切取处理。如上所说明，根据本实施方式所涉及的控制方法，能够迅速且低负荷地检测出遮指。以上，虽然边参照附图边对本发明的较佳实施方式进行了说明，但是理所当然的， 本发明不限于上述的实施方式。只要是本行业技术者，在权利要求书范围内所记载的范畴中，显然能够想到各种变更或者修正的例子，对这些当然也应理解为属于本发明的技术范围中。再者，本说明书的控制方法的各工序，并不表示必须要按照所记述的流程图顺序按时间顺序进行处理，也可以包括并列处理或者子循环系统(Sub-Routines)处理。而且， 本发明包括用于使电脑实现中央控制部138功能的电脑程序。这些程序，可以从记录媒体读取输入电脑，也可以借助通讯网络传送输入到电脑里。工业上利用的可能性本发明可以利用对用以感知立体影像的影像进行比较的控制装置、控制方法，以及生成用以感知立体影像的影像的立体影像摄像装置上。符号说明100…立体影像摄像装置120…摄像部1 …影像处理部(影像置换部、影像切取部)130…显示部(报告部)132…影像存储部134…声频输出部(报告部)136 …LED (报告部)140…受控部138…中央控制部(控制装置)152…差异判断部巧4…报告控制部156…存储控制部158…编辑控制部160…执行控制部。
1权利要求
1.一种控制装置，其特征在于，具有差异判断部，基于规定的判断标准对用以感知立体影像的左眼用影像数据和右眼用影像数据进行比较，由此判断有无基于所述规定的判断标准的差异；以及实施控制部，在由所述差异判断部判断为有差异时，使受控部实施与判断为无差异时不同的处理。
2.如权利要求1所述的控制装置，其特征在于，所述规定的判断标准是光量。
3.如权利要求1或2所述的控制装置，其特征在于，所述规定的判断标准是鲜明度。
4.如权利要求1至3中任意一项所述的控制装置，其特征在于，所述规定的判断标准是被摄物的形状。
5.如权利要求1至4中任意一项所述的控制装置，其特征在于，所述差异判断部将基于所述左眼用影像数据的图像中至少除去中央部分的区域所对应的数据以及基于所述右眼用影像数据的图像中至少除去中央部分的区域所对应的数据作为对象，比较所述左眼用影像数据和右眼用影像数据。
6.如权利要求1至5中任意一项所述的控制装置，其特征在于，所述受控部是报告信息的报告部；在由所述差异判断部判断为有差异的情况下，所述实施控制，使所述报告部报告判断为有差异的情况。
7.如权利要求1至6中任意一项所述的控制装置，其特征在于，所述控制部是存储已生成的所述左眼用影像数据和右眼用影像数据的影像存储部，仅在由所述差异判断部判断为无差异的情况下，所述实施控制部使所述影像存储部存储所述左眼用影像数据和右眼用影像数据。
8.如权利要求1至6中任意一项所述的控制装置，其特征在于，所述受控部是将影像数据中的局部影像数据置换为其他影像数据中的局部影像数据的影像置换部，在由所述差异判断部判断为有差异的情况下，所述实施控制部使所述影像置换部将所述左眼用影像数据以及所述右眼用影像数据中的一方的影像数据的局部影像数据，置换为另一方的影像数据中的局部影像数据，以减少有差异的部分的差异。
9.如权利要求1至6中任意一项所述的控制装置，其特征在于，所述受控部是从已生成的所述左眼用影像数据和右眼用影像数据中分别切取出一部分的影像切取部；在由所述差异判断部判断为有差异的情况下，所述实施控制部使所述影像切取部从所述左眼用影像数据和右眼用影像数据中分别切取出一部分，以排除有差异的部分。
10.一种立体影像摄像装置，其特征在于，具备权利要求1至9中任意一项所述的控制装置；以及生成所述左眼用影像数据以及所述右眼用影像数据的摄像部。
11.一种控制方法，其特征在于，基于规定的判断标准对用以感知立体影像的左眼用影像数据和右眼用影像数据进行比较，从而判断有无基于所述规定的判断标准的差异，在判断为有差异时，实施与判断为无差异时不同的处理。
全文摘要
针对用以感知立体影像的影像，迅速且低负荷地检测出遮指。中央控制部138具有，通过对用以感知立体影像的左眼用影像数据和右眼用影像数据依据规定的判断标准进行比较，判断是否存在基于该规定的判断标准下的差异的差异判断部152和；当通过差异判断部判断为有差异时，使受控部140，实施与判断为无差异时不同的处理的实施控制部160。
文档编号G03B35/00GK102340631SQ20111020119
公开日2012年2月1日 申请日期2011年7月12日 优先权日2010年7月14日
发明者大久保亮一 申请人:日本胜利株式会社