专利名称：三维图像处理设备和三维图像处理方法
技术领域：
实施方式主要涉及三维图像处理设备和三维图像处理方法。
背景技术：
近年来，已经开发和发布了可以用于观看三维图像的图像处理器(在下文中也被描述为三维图像处理器)。一些三维图像处理器采用集成成像方式(也被称为集成成像方 式)，在该系统中具有视差的多个图像(多视点图像)的像素分散地排列在一个图像(在下文中被描述为合成图像)中，且使用双凸透镜等控制来自构成上述合成图像的像素的光束轨迹，以使观看者感知三维图像。集成成像方式具有观看三维图像无需专门眼镜的优势，但是存在可以将图像识别为三维体(在下文中被描述为视域(visual field))的区域(field)是有限的问题。当用户位于视域之外时，由于出现所谓的背面图、色度亮度干扰等，用户无法将图像识别为三维体。由于这个原因，提出了一种三维图像处理器，其中安装了相机，使得从相机所成像的图像中检测到用户，判断检测到的用户的位置是否位于视域内，并基于判断结果控制三维图像。
发明内容
本发明的一个方面提供了一种三维图像处理设备，该设备包括成像模块，被配置为对包括显示器前方的区域进行成像，显示器显示三维图像；面部检测模块，被配置为从成像模块成像的图像中检测用户的面部；以及控制器，被配置为当面部检测模块无法检测到用户的面部时，通知无法检测到该面部，以及控制显示器显示表明在其中三维图像被识别为三维体的区域的第一图像。本发明另一方面还提供了一种三维图像处理设备，包括成像模块，被配置为对包括显示器前方的区域进行成像，显示器显示三维图像；检测模块，被配置为从成像模块成像的图像中检测用户；以及控制器，被配置为当检测模块无法检测到用户时，通知无法检测到用户，以及控制显示器显示表明在其中三维图像被识别为三维体的区域的第一图像。本发明的另一方面还提供了一种三维图像处理方法，包括从成像模块所成像的图像中检测用户的面部，其中，成像模块对包括显示器前方的区域进行成像；以及当用户的面部无法检测时，通知无法检测到该面部，并控制显示器显示表明在其中三维图像被识别为三维体的区域的第一图像。
图I是根据实施方式的三维图像处理器的结构图。图2是示出了在显示屏上显示的图像实例的视图。图3是示出了在显示屏上显示的图像实例的视图。图4是示出了根据实施方式的三维图像处理器的操作的流程图。
具体实施例方式在下文中，将参考附图描述实施方式。(实施方式)根据实施方式的三维图像处理器(三维图像处理设备)包括成像模块、显示器、面部检测模块和控制器，其中，成像模块被配置为对包括显示器前方的区域成像，显示器被·配置为显示三维图像，面部检测模块被配置为从成像模块成像的图像中检测用户的面部，以及控制器被配置为当面部检测模块无法检测到用户的面部时，通知无法检测到用户的面部，以及控制显示器显示表明在其中三维图像被识别为三维体的区域的第一图像。图I是根据实施方式的三维图像处理设备100 (在下文中被描述为三维图像处理器100)的结构图。三维图像处理器100例如是数字电视。三维图像处理器100通过集成成像方式将三维图像呈现给用户，其中，集成成像方式将具有视差的多个图像(多视点图像)的像素分散地排列在一个图像(在下文中被描述为合成图像)中，并使用双凸透镜控制来自构成上述合成图像的像素的光束轨迹，以使观看者感知三维图像。(三维图像处理器100的结构)根据该实施方式的三维图像处理器100包括调谐器101、调谐器102、调谐器103、PSK (相移键控法)解调器104、0FDM(正交频分多路)解调器105、模拟解调器106、信号处理模块107、图形处理模块108、OSD (屏幕显不)信号生成模块109、声音处理模块110、扬声器111、图像处理模块112、显示器113、控制器114、操作模块115 (操作接收模块)、光接收模块116(操作接收模块)、终端117、通信Ι/F(接口)118以及相机模块119。调谐器101，基于来自控制器114的控制信号，从用于接收BS/CS数据广播的天线I接收的卫星数字电视广播中选择期望信道的广播信号。调谐器101将所选的广播信号输出至PSK解调器104。PSK解调器104，基于来自控制器114的控制信号，解调从调谐器101输入的广播信号，并将经解调的广播信号输出至信号处理模块107。调谐器102，基于来自控制器114的控制信号，从用于接收地球广播的天线2接收的地球数字电视广播信号中选择期望信道的数字广播信号。调谐器102将所选的数字广播信号输出至OFDM解调器105。OFDM解调器105，基于来自控制器114的控制信号，解调从调谐器102输入的数字广播信号，并将经解调的数字广播信号输出至信号处理模块107。调谐器103，基于来自控制器114的控制信号，从用于接收地球广播的天线2接收的地球模拟电视广播信号中选择期望信道的模拟广播信号。调谐器103将所选的模拟广播信号输出至模拟解调器106。模拟解调器106，基于来自控制器114的控制信号，解调从调谐器103输入的模拟广播信号，并将经解调的数字广播信号输出至信号处理模块107。信号处理模块107由从PSK解调器104、OFDM解调器105以及模拟解调器106输入的经解调的广播信号生成图像信号和声音信号。信号处理模块107将图像信号输出至图形处理模块108。信号处理模块107还将声音信号输出至声音处理模块110。
OSD信号生成模块109，基于来自控制器114的控制信号，生成OSD信号，并将OSD信号输出至图形处理模块108。图形处理模块108生成与信号处理模块107基于来自控制器114的指令输出的图像信号的两个视差或九个视差相对应的多条图像数据(多视点图像数据)。图形处理模块108将生成的多视点图像离散地排列在一个图像中，从而将其转换为具有两个视差或九个视差的合成图像。图形处理模块108进一步将由OSD信号生成模块109生成的OSD信号输出至图像处理模块112。图像处理模块112将由图形处理模块108转换的合成图像转换为可以显示在显示器113的形式，然后将经转换的合成图像输出至显示器113，使其显示三维图像。图像处理模块112将输入的OSD信号转换为可以在显示器113上显示的形式，然后将经转换的OSD 信号输出至显示器113，使其显示与OSD信号对应的图像。显示器113是用于显示集成成像方式的三维图像的显示器，包括用于控制来自像素的光束轨迹的双凸型透镜。声音处理模块110将输入的声音信号转换为可以由扬声器111再现的形式,然后将经转换的声音信号输出至扬声器111，使其再现声音。在操作模块115中，排列了用于操作三维图像处理器100的多个操作键(例如，光标键、确定(OK)键、回退(返回)键、颜色键(红色、绿色、黄色、蓝色)等等)。用户按下上述操作键，从而与所按操作键对应的操作信号输出至控制器114。光接收模块116接收从远程控制器3传送的红外信号。在远程控制器3，排列了用于操作三维图像处理器100的多个操作键(例如，光标键、确定(OK)键、回退(返回)键、颜色键(红色、绿色、黄色、蓝色)等等)。用户按下上述的操作键，从而发出与所按下操作键对应的红外信号。光接收模块116接收从远程控制器3发出的红外信号。光接收模块116将与所接收的红外信号对应的操作信号输出至控制器114。用户可以操作操作模块115或远程控制器3，使三维图像处理器100执行不同的操作和改变三维图像处理器100的设置。例如，用户可以改变三维图像处理器100的视差、自动跟踪、警报屏幕显示等的设置。对于视差的设置，用户可以设置是以两个视差还是以九个视差观看三维图像。由用户选择的视差的设置存储在控制器114的非易失性存储器114c。应当注意，上面所述的视差数(两个视差或九个视差)是实例，可以使用其他视差数(例如，四个视差或六个视差)。对于自动跟踪的设置，用户可以设置是打开还是关闭自动跟踪。当自动跟踪打开时，视域自动地形成在基于相机模块119成像的图像计算出的用户的位置。当自动跟踪打开时，每预定时间(例如，每数十秒到数分钟)计算用户的位置，视域形成在所计算出的用户位置。另一方面，当自动跟踪关闭时，当用户对准时视域形成在在用户位置。应当注意，如下所述形成视域。例如，当希望视域在显示器113的前-后方向移动时，通过增加或减少显示屏与双凸型透镜的开口模块的孔之间的距离可以使视域在显示器113的前-后方向移动。当距离增加时，视域朝着显示器113的后面移动。另一方面，当距离减少时，视域朝着显示器113的前面移动。当希望视域在显示器113的右-左方向移动时，通过使显示图像左右移动使视域在显示器113的右-左方向移动。通过向左移动显示图像，视域移动到显示器113的左侧。另一方面，通过向右移动显示图像，视域移动到显示器113的右边。对于警报屏幕显示的设置，可以设置是否要显示稍后描述的警报屏幕(参见图2)。当警报屏幕打开时，在显示 器113上显示稍后描述的警报屏幕(参见图2)。另一方面，当警报屏幕显示关闭时，不在显示器113上显示稍后描述的警报屏幕(参见图2)。终端117是用于连接外部终端(例如，USB存储器、DVD存储器和再现装置、互联网服务器、个人计算机等)的USB终端、LAN终端、HDMI终端、或iLINK终端。通信I/F 118是与连接到终端117的上述的外部终端的通信接口。通信I/F 118转换控制器114和上述的外部终端之间的控制信号和数据格式等。相机模块119设置在三维图像处理器100的下前侧或上前侧。相机模块119包括成像元件119a、面部检测模块11%、非易失性存储器119c以及位置计算模块119d。成像元件119a是例如CMOS图像传感器或CXD图像传感器。成像元件119a对包括三维图像处理器100前方的区域(field)成像。面部检测模块119b从由成像元件119a成像的图像中检测用户的面部。面部检测模块11%为所检测的用户的面部提供唯一编号(ID)。对于面部检测，可以使用已知方法。例如，面部识别方法被粗略地分类为比较视觉特征的直接几何方法和数字化图像并将数值与模型进行比较的统计方法。在该实施方式中可以使用任何一种方法检测面部。在面部检测模块11%不能检测到面部的情况下，非易失性存储器119c存储在不能检测到面部时的图像。不能检测到面部的可能情况包括例如为了操作远程控制器3用户往下看的情况和用户与坐在其旁边的另一个用户说话的情况。存储在非易失性存储器119c的图像在显示器113上显示，因此，用户能够容易地理解和推测为何面部检测失败。应当注意，对于面部检测的失败，需要从由成像元件119a成像的图像中检测用户的面部(例如，每数秒钟执行一次)，如果面部检测连续多次(例如，3次)失败，则判断面部检测已经失败。位置计算模块119d计算已经由面部检测模块119b检测出面部的用户的位置坐标。对于用户的位置坐标的计算，可以使用已知方法。例如，可以基于由面部检测模块11%检测出的面部的右眼到左眼的距离和从所成像图像的中心到面部中心(右眼和左眼之间的中间)的坐标计算已经检测出面部的用户的位置坐标。由所成像图像的中心到面部中心的坐标，可以计算在上下方向和左右方向(x_y平面)上用户的位置。进一步，由面部的右眼到左眼的距离，可以计算从成像元件119a到用户的距离。通常，人类的右眼和左眼之间的距离是大约65mm，因此如果发现右眼和左眼之间的距离，那么可以计算从成像元件119a到用户的距离。进一步，位置计算模块119d为关于计算出的位置坐标的数据提供与面部检测模块11%提供的ID相同的ID。应当注意，只需要将位置坐标识别为三维坐标数据，并且位置坐标可以通过任何一种一般已知的坐标系统(例如，正交坐标系统、极坐标系统、球坐标系统)表述。当在由成像元件119a成像的图像中不能检测出用户的面部时，相机模块119将警报信号和存储在非易失性存储器119c中的在不能检测到面部时的图像输出至控制器114。另一方面，当能够检测到用户的面部时，相机模块119输出由位置计算模块119d计算出的坐标和由面部检测模块11%提供的ID。应当注意，可以由稍后描述的控制器114执行用户的面部检测和所检测的面部(用户)的位置坐标计算。控制器114包括ROM (只读存储器)114a、RAM (随机存取存储器)114b、非易失性存储器114c以及CPU 114d。在ROM 114a中，存储由CPU114d执行的控制程序。RAM 114b用作CPU 114d的工作区。在非易失性存储器114c中，存储各种设置信息(例如，关于上述视差、跟踪、警报屏幕显示的设置信息)、视域信息等。视域信息是转变为三维坐标数据的实际空间中的视域分布。关于两个视差和九个视差的视域信息存储在非易失性存储器114c中。控制器114控制三维图像处理器100。具体地，控制器114基于从操作模块115和光接收模块116输入的操作信号和存储在非易失性存储器114c中的设置信息控制三维图像处理器100的操作。在下文中，将描述控制器114的典型控制操作。(视差数的控制)
当存储在非易失性存储器114c中的视差是两个视差时，控制器114指示图形处理模块108由从信号处理模块107输出的图像信号生成两个视差的图像数据。当存储在非易失性存储器114c中的视差是九个视差时，控制器114指示图形处理模块108由从信号处理模块107输出的图像信号生成九个视差的图像数据。(跟踪控制)当存储在非易失型存储器114c中的自动跟踪打开时，控制器114在每预定时间(例如，数十秒到数分钟)根据相机模块119成像的图像计算用户的位置。控制器114控制显示器113的像素的光束轨迹，使得视域形成在计算出的位置。当存储在非易失型存储器114c中的自动跟踪关闭时，当用户操作操作模块115或远程控制器3时，控制器114根据相机模块119成像的图像计算用户的位置，从而直接形成视域。控制器114控制显示器113的像素的光束的轨迹，从而在计算出的位置形成视域。(警报屏幕的显示)当从相机模块119传送警报信号时，控制器114指示OSD信号生成模块109生成通知不能检测到面部的图像信号，并且显示器113显示该图像信号。图2是在显示器113实际显示的图像。如图2中所示，不能检测到面部的“跟踪(面部检测)失败”的消息和提示随后操作“按下[蓝色]以检查三维观看位置”的消息呈现在位于显示器113下面的显示框201中。进一步，在显示框202中，显示了“按下[确定]”。当用户按下操作模块115或远程控制器3上的蓝色键时，在显示器113上显示图3中的稍后描述的观看位置检查屏幕。当用户按下操作模块115或远程控制器3上的确定键时，隐藏图2中的框201、202和框201、202中的消息。当用户已经将警报屏幕显示设置为关闭时，不显示图2中所示的图像。(观看位置检查屏幕的显示)当在显示器113上显示图2中示出的警报屏幕，然后用户按下操作模块115或远程控制器3上的蓝色键时，控制器114指示OSD信号生成模块109生成用于检查三维图像的观看位置的图像信号，并且指示显示器113显示该图像信号。尽管在该实施方式中为移动至观看位置检查屏幕的操作分配了蓝色键，但是可以分配其他操作键。图3是在显示器113上实际显示的图像视图。如图3中所示，在显示器113上显示显示框301到显示框305。在显示框301到显示框305中，呈现了用户观看视域内的三维图像所需的各种信息。
在显示框301中，显示了用户为了在用户可将图像识别为三维体的区域(也就是视域)内观看到图像所需的项。在显示框302中，显示出由相机模块119的成像元件119a成像的图像。用户可以根据显示框302中显示的图像检查面部的方向和位置以及实际上是否识别到面部。当识别到用户的面部时，由框环绕所识别的用户的面部。在框上方，显示出相机模块119的面部检测模块11%已经提供的ID (在这个实施方式中是字母)。在该实施方式中，框的显示形式依用户位于视域内部还是位于视域外部而不同。在图3中所示的实例中，当用户位于视域内部时，由实线绘出环绕用户的面部的框。当用户位于视域外部时，由虚线绘出环绕用户的面部的框。在图3中所示的实例中，我们发现用户A、B在视域内部，用户C在视域外部。当用户位于视域外部时，由于出现所谓的背面图、色度亮度干扰等，用户无法识将图像识别为三维体。在该实施方式中，框的显示形式依用户是否位于视域内部而不同，因此能够容易地检查用户的位置是在视域内部还是在视域外部。应当注意，尽管在图3中所示的实例中，环绕用户的面部的框线类型(实线、虚线)依用户的位置是否在视域内部而不·同，但是，例如框的形状(矩形、三角形、圆形等)、颜色等的其他显示形式可依用户的位置是否在视域内部而不同。即使用这种方式，也能够容易地识别用户的位置是在视域内部还是在视域外部。控制器114基于位置计算模块119d计算出的用户的位置坐标和存储在非易失性存储器114c中的视域信息判断用户的位置是否在视域内部。在这种情况下，控制器114改变关于取决于视差数的设置是两个还是九个的视域信息。换句话说，当视差数的设置是两个视差时，控制器114参考两个视差的视域信息。当视差数的设置是九个视差时，控制器114参考九个视差的视域信息。在显示框303中，显示存储在非易失性存储器119c中的在不能检测到面部时的图像。通过检查显示在显示框303中的图像，用户可以容易地理解为何面部检测会失败。例如，在图3中所示的实例中，可以理解，由于用户向下看，所以无法检测到面部。在显示框304中，显示当前的设置信息。具体地，显示三维图像的视差数是两个还是九个以及自动跟踪是打开还是关闭。在显示框305中，可以将三维观看三维图像区域的视域305a (斜纹线部分)、由相机模块119的位置计算模块119d计算出的用户的位置信息(表明用户的图标、环绕图标的框)以及ID(字母)显示为鸟瞰视图。基于存储在非易失性存储器114c中的视域信息和由位置计算模块119d计算出的位置坐标显示在显示框305中显示的鸟瞰视图。通过参考在显示框305中显示的鸟瞰视图，用户可以容易地理解他或她的面部是否被识别出，当识别出时，面部位于视域305a内部，而且，当面部位于视域305a的外部时，沿哪个方向移动可使面部进入视域305a内。在该实施方式中，鸟瞰视图中表明的用户的位置信息的显示形式还依用户是在视域内部还是在视域外部而不同。在图3中所示的实例中，当用户在视域内部时，环绕表明用户的图标的框由实线绘出。当用户在视域外部时，环绕表明用户的图标的框由虚线绘出。在图3中所示的实例中，发现用户A、用户B在视域内部，用户C在视域外部。应当注意，尽管在图3中所示的实例中环绕表明用户的图标的框线类型(实线、虚线)依用户的位置是否实施的视域内部而不同，但是，例如框的形状(矩形、三角形、圆形等)、颜色等的其他显示形式也可依用户的位置是否在视域内部而不同。在显示框302中显示的图像和显示框305中显示的鸟瞰视图中，对于同一个用户，在上部模块中显示相同的字母。因此，即使在存在多个用户(即观看者)时，单独的用户可以容易地理解用户所处的位置。应当注意，尽管在图3中对于同一个用户显示相同的字母，但是可以通过其他方法表明同一个用户，例如框的颜色或形状。显示框305中的虚线305b表示成像元件119a的成像范围的边界。更具体地，由成像元件119a实际成像的在显示框302中显示的范围是虚线305b的下面的范围。因此，在显示框305中可以省略显示框305的左上范围和右上范围的显示。(测试图案的显示)当在显示器113上显示图3中所示的观看位置检查屏幕，然后用户按下操作模块 115或远程控制器3上的蓝色键时，控制器114指示OSD信号生成模块109生成用于显示三维图像的测试图案的图像信号，并指示显示器113显示该信号。尽管在该实施方式中为移动至测试图案的操作分配了蓝色键，但是可以分配其他操作键。OSD信号生成模块109生成测试图案的图像信号，并将图像信号输出至显示器113。三维图像的测试图案显示在显示器113上。通过测试图案，用户可以检查在当前位置是否能够将显示在显示器113上的图像作为三维体进行观看，也就是，是否位于视域内部。(视域信息的更新)每次由自动跟踪或用户的操作改变视域时，控制器114就再计算新视域的分布，并更新存储在非易失性存储器114c中的视域信息。(三维图像处理器100的操作)图4是示出了三维图像处理器100的操作的流程图。在下文中，将参考图4描述三维图像处理器100的操作。相机模块119通过成像元件119a对三维图像处理器100的前部成像(步骤S101)。面部检测模块11%从成像元件119a成像的图像中检测面部(步骤S102)。当可以检测到面部时(在步骤S102是“是”)，相机模块119返回至步骤SlOl的操作。当面部检测模块119b不能检测到面部时(在步骤S102是“否”)，相机模块119向控制器114传送警报信号。一旦接收到警报信号，控制器114参照非易失性存储器114c中存储的警报屏幕显示的设置，并检查警报屏幕显示的设置是否是打开的(步骤S103)。当警报显示屏幕显示器的设置是打开的(在步骤S103是“是”)，那么控制器114指示OSD信号生成模块109生成通知不能检测到面部的图像信号，并指示显示器113显示出该图像信号。OSD信号生成模块109基于来自控制器114的指令生成图像信号，并将图像信号输出至显示器113。在显示器113上，显示出图2中所示的警报屏幕(步骤S104)。当警报屏幕显示的设置是关闭的(在步骤S103是“否”)，那么控制器114执行稍后描述的步骤S106的操作。在显示警报屏幕之后，控制器114判断用户是否按下了操作模块115或远程控制器3上的蓝色键(步骤S105)。控制器114依赖于控制器114是否已经接收到与按下蓝色键相对应的操作信号做出判断。当已经按下颜色键时(在步骤S105是“是”)，控制器114生成用于检查三维图像的观看位置的图像信号，并指示显示器113显示出该图像信号。OSD信号生成模块109基于来自控制器114的指令生成图像信号，并将图像信号输出至显示器113。在显示器113上，显示了图3中示出的观看位置检查屏幕(步骤S106)。当还未按下颜色键时(在步骤S105是“否”)，控制器114等待，直到按下颜色键。用户检查在显示器113上显示的观看位置检查屏幕，检查用户是否位于能够三维识别三维图像的区域(视域)内，如果用户不位于视域内部，那么用户移动以便于其位置位于视域内部。在显示了观看位置屏幕之后，控制器114判断是否已经按下了操作模块115远程控制器3上的蓝色键(步骤S107)。控制器114依赖于其是否已经接收到与按下蓝色键相对应的操作信号做出判断。当已经按下颜色键时(在步骤S107是“是”)，控制器114指示OSD信号生成模块109生成用于显示三维图像的测试图案的图像信号，并指示显示器113显示出该图像信号。OSD信号生成模块109生成测试图案的图像信号，并将其输出至显示器113。在显示器113上，显示出三维图像的测试图案(步骤S108)。当还未按下颜色键时(在步骤S107是“否”)，控制器114等待，直到按下颜色键。用户检查用户实际上是否能够三维观看显示器113上显示的图像(步骤109)。当用户可以三维观看测试图案时(在步骤S109是“是”)，用户操作操作模块115或远程控制器3上的确定键结束该操作。另一方面，当用户不能三维观看测试图案时(在步骤S109是“否”)，用户操作操作模块115或远程控制器3上的回退(返回)键，返回步骤S106的操作，并再次检查观看位置。如上所述，当用户的面部检测已经失败时，在根据实施方式的三维图像处理器100中的显示器113上显示图2中所示的警报屏幕。因此，用户能够立刻意识到还未检测到他或她的面部。进一步，警报屏幕的显示可以由设置打开或关闭，使得用户更方便。在根据实施方式的三维图像处理器100中，在显示器113上显示图3中所示的观看位置检查屏幕。在观看位置检查屏幕的显示框302中，显示了由相机模块119成像的图像，以及当已经识别到用户的面部时，由框环绕已识别的用户的面部。因此，用户可以容易 地检查他或她的面部的方向和位置以及实际上是否识别到面部。进一步，框的显示形式(例如，形状(矩形、三角形、圆形等)、颜色、框的线条种类(实线、虚线等))依用户位于视域内部还是位于视域外部而不同，用户能够容易地检查用户的位置是在视域外部还是在视域内部。在观看位置检查屏幕的显示框303中，显示出不能检测到面部时的图像。因此，用户能够容易地理解为何面部检测失败。进一步，在观看位置检查屏幕的显示框304中，显示出当前的设置信息。因此，用户能够容易地得知当前的设置状态。而且，在观看位置检查屏幕的显示框305中，将作为可以三维观看三维图像的区域的视域305a(斜纹线模块)，和由位置计算模块119d计算出的用户的位置信息(表明用户的图标、环绕图标的框)显示为鸟瞰视图。对于每个用户的位置信息，提供的ID显示在上部模块中。由于环绕表明用户的图标的框的显示形式(例如，形状(矩形、三角形、圆形等)、颜色、框的线条的种类(实线、虚线等))依用户位于视域内部还是视域外部而不同，所以用户能够容易地检查用户的位置是位于视域外部还是位于视域内部。因此，通过参考在显示框305中显示的鸟瞰视图，用户能够容易地理解他或她的面部是否被识别出，当识别出时，面部位于视域305a内部，并且，当面部位于视域305a外部时，在哪个方向上移动可使面部进入视域305a内。在显示框302中显示的图像和显示框305中显示的鸟瞰视图中，为同一个用户显示相同的ID。因此，即使当存在多个用户(即观看者)时，单独的用户也能够容易地理解用户所处的位置。进一步，通过执行显示图3之后的预定操作，测试图案显示在显示器113上。用户通过测试图案可以检查用户实际上是否可以三维观看在显示器113上显示的图像，使得用户更方便。(其他的实施方式)
尽管已经描述了某些实施方式，但是仅仅是通过实例的方式呈现这些实施方式，这些实施例并非旨在限定本发明的保护范围。实际上，本文中所描述的新颖的实施方式可以是以多种其他形式的实施方式；而且，在不偏离本发明的精神的情况下，可以对本文中描述的实施方式进行替代和改变。所附的权利要求及其等价物旨在涵盖落在本发明的保护范围和精神内的这些形式或修改。尽管已经描述了三维图像处理器100，例如，在上述实施方式中以数字电视为例，本发明适用于向用户呈现三维图像的装置(例如，PC(个人计算机)、便携式电话、平板个人电脑、游戏机等)和输出图像信号给呈现三维图像的显示器的信号处理器(例如，STB (机顶盒))。进一步，尽管用户的视域和用户位置之间的关系已经作为上述实施方式中的鸟瞰视图(参考图3)呈现给用户，但是只要能够理解用户视域和用户位置之间的位置关系，也可以使用除了鸟瞰视图以外的其他视图。进一步，尽管在上述的实施方式中检测用户的面部、计算用户的位置信息，但是可以使用其他的方法检测用户。在这种情况下，例如，可以检测除了用户的面部之外的模块部分(例如，用户的肩膀、上身等)。
权利要求
1.一种三维图像处理设备，包括 成像模块，被配置为对包括显示器前方的区域进行成像，所述显示器显示三维图像； 面部检测模块，被配置为从所述成像模块成像的图像中检测用户的面部；以及 控制器，被配置为当所述面部检测模块无法检测到所述用户的面部时，通知无法检测到所述面部，以及控制所述显示器显示表明在其中所述三维图像被识别为三维体的区域的第一图像。
2.根据权利要求I所述的设备，还包括 操作接收模块，被配置为接收第一指令操作，以显示所述第一图像， 其中，当所述操作接收模块接收所述第一指令操作时，所述控制器控制所述显示器显示所述第一图像。
3.根据权利要求I所述的设备，还包括 位置计算模块，被配置为计算已由所述面部检测模块检测出其面部的所述用户的位置， 其中，当由所述位置计算模块计算出的所述用户的位置位于在其中所述三维图像被识别为三维体的所述区域外部时，所述控制器控制所述显示器显示所述面部被检测出，以及所述用户的位置在所述三维图像在其中被识别为三维体的所述区域的外部。
4.根据权利要求3所述的设备， 其中，所述控制器控制所述显示器在所述第一图像上显示由所述位置计算模块计算出的所述用户的位置。
5.根据权利要求I所述的设备， 其中，所述控制器控制所述显示器显示由所述成像模块成像的图像。
6.根据权利要求3所述的设备， 其中，所述控制器依据由所述位置计算模块计算出的所述用户的位置是否位于在其中所述三维图像被识别为三维体的所述区域内部，控制所述显示器以不同的显示形式显示由所述成像模块成像的图像中的所述用户。
7.根据权利要求4所述的设备， 其中，所述控制器依据由所述位置计算模块计算出的所述用户的位置是否位于在其中所述三维图像被识别为三维体的所述区域内部，控制所述显示器在所述第一图像上以不同的显示形式显示所述用户的位置信息。
8.根据权利要求5所述的设备， 其中，所述控制器控制所述显示器以相关联的方式显示在要显示的由所述成像模块成像的图像中的所述用户和要在所述第一图像上显示的所述用户的位置。
9.根据权利要求2所述的设备， 其中，所述操作接收模块接收第二指令操作，以显示测试图案，用于检查所述三维图像是否可识别为三维体；以及 其中，当所述操作接收模块接收所述第二指令操作时，所述控制器控制所述显示器显示所述测试图案。
10.根据权利要求I所述的设备， 其中，当所述用户的面部无法检测时，所述控制器控制所述显示器显示在所述面部无法检测时的第二图像。
11.一种三维图像处理设备，包括 成像模块，被配置为对包括显示器前方的区域进行成像，所述显示器显示三维图像；检测模块，被配置为从所述成像模块成像的图像中检测用户；以及控制器，被配置为当所述检测模块无法检测到所述用户时，通知无法检测到所述用户，以及控制所述显示器显示表明在其中所述三维图像被识别为三维体的区域的第一图像。
12.根据权利要求11所述的设备， 其中，所述控制器依据所述用户的位置是否处于在其中所述三维图像被识别为三维体的所述区域内部，控制所述显示器以不同的显示形式显示由所述成像模块成像的图像以及显示由所述成像模块成像的图像中的所述用户。
13.根据权利要求11所述的设备， 其中，所述控制器依据所述用户的位置是否处于在其中所述三维图像被识别为三维体的所述区域内部，控制所述显示器在所述第一图像上以不同的显示形式显示所述用户的位置信息。
14.一种三维图像处理方法，包括 从成像模块所成像的图像中检测用户的面部，其中，所述成像模块对包括显示器前方的区域进行成像；以及 当所述用户的面部无法检测时，通知无法检测到所述面部，并控制所述显示器显示表明在其中所述三维图像被识别为三维体的区域的第一图像。
全文摘要
本发明公开了一种三维图像处理设备和三维图像处理方法。在一个实施方式中，三维图像处理设备包括成像模块，被配置为对包括显示器前方的区域进行成像；面部检测模块，被配置为从由所述成像模块成像的图像中检测用户的面部；以及控制器，被配置为当面部检测模块无法检测到用户的面部时，通知无法检测到该面部，并控制所述显示器显示表明在其中三维图像被识别为三维体的区域的第一图像。
文档编号H04N13/00GK102970553SQ20121011963
公开日2013年3月13日 申请日期2012年4月20日 优先权日2011年8月31日
发明者桑原一贵 申请人:株式会社东芝