专利名称：图像显示设备、图像显示方法和图像显示系统的制作方法
技术领域：
本发明涉及这样的组件，其用于在用来将由多个照相机拍摄的图像分发给显示终端的系统中，允许显示终端的用户选择照相机角度，所述装置可用于诸如监视系统和广播系统的行业领域。
背景技术：
在传统的电视广播中，由广播站确定图像内容的照相机角度。例如，在棒球比赛的广播中，存在从击球手后面的照相机角度、以及从投手后面的照相机角度。由于根据广播站的判断来选择照相机角度，因此观众在选择照相机角度的同时不能观看图像。
作为用于允许用户在选择照相机角度的同时观看图像的组件，存在用于监控系统或安全装置的闭路电视(CCTV)系统。在CCTV系统中，使用视频切换器将多个照相机连接到显示设备，并且，因此，用户可在从照相机中选择任一个时监控对象。
图14是示出CCTV系统的示意配置的图。输入单元1401是用于允许用户选择照相机角度的用户接口块。作为典型的输入组件，使用键盘1402、操纵杆1403以及鼠标1404。
控制单元1405是用于控制视频切换器1406的块，并且控制视频切换器1406，以便得到用户期望的照相机角度。视频切换器1406从多个照相机1407中选择由控制单元1405指定的照相机，并将来自所选照相机1407的图像信号传送到显示器1408。显示器1408显示图像。
作为用于改善CCTV系统的可操作性的组件，提供了使用视点转换处理和图像合成处理的方法(例如，参见日本未审查申请公开第2000-152216号)。
然而，传统技术具有以下问题。首先，当CCTV系统应用于电视广播时，必须一直传送所有照相机的输入信号。因而，由于信息量与照相机的数目成比例地增大，因此对于实际应用来说，需要减小信息量。
其次，在CCTV系统中，需要诸如鼠标或操纵杆的指示(pointing)设备和键盘，作为用于选择照相机的输入组件。因而，显示设备的小型化和优秀的可操作性不能共存。
当使用诸如移动电话的小型设备作为显示设备时，必须将多个功能分配给几个按钮，因此其操作变得复杂。当在移动电话中选择功能时，通常使用方向键，因此方向键的布置限制了显示设备的设计。
发明内容
本发明的目的在于提供一种图像显示设备、图像显示方法和图像显示系统，其可通过简单的操作而从多个照相机中选择任一个，并且同时实现显示设备的小型化和优秀的可操作性。
根据本发明，一种图像显示设备包括显示器、图像传感器、图像处理单元、控制单元、信号传送单元、以及信号接收单元。
图像显示设备可通过有线/无线网络而向/从图像内容分发服务器传送/接收信号。图像传感器被提供在设备上以面对用户，并且拍摄观看显示器的用户的脸部周围的场景。
通过使显示设备沿所有方向倾斜来执行由用户进行的输入。当用户使该设备倾斜时，由图像传感器捕捉的可见区域沿所有方向移动，因此该传感器的图像移动。将由图像传感器拍摄的场景输入图像处理单元，以得到图像的运动信息。
控制单元根据图像的运动信息而生成角度控制信号。使用信号传送单元通过网络来将控制单元的角度控制信号传送到图像内容分发服务器。
图像内容分发服务器将来自角度控制信号所指定的照相机的图像信号通过网络分发给用户。图像显示设备使用信号接收单元接收该图像信号，并将该图像信号显示在显示器上。
根据本发明的一个方面，提供了一种图像显示设备，包括图像传感器，其拍摄对象(subject)；图像处理单元，其根据由图像传感器拍摄的图像来检测对象的运动信息；控制单元，其根据运动信息来生成图像控制信号；以及显示器，其显示基于图像控制信号选择的图像。
通过此配置，由于图像传感器根据所拍摄的图像来检测对象的运动信息、以根据对象的运动信息来选择图像，因此可以通过简单的操作来选择图像，并且同时实现图像显示设备的小型化和优秀的可操作性。
在本发明中，图像显示设备还可包括信号传送单元，其将图像控制信号通过网络传送到图像内容分发服务器；以及信号接收单元，其通过网络接收由图像内容分发服务器基于图像控制信号选择的图像。
在本发明中，可在图像显示设备的外壳中提供图像传感器，使得拍摄可以沿着显示器的显示表面的近似垂直方向来执行，并且拍摄观看显示器的用户的脸部。
在本发明中，当观看显示器的用户使外壳倾斜时，图像处理单元可以与由图像传感器拍摄的用户的脸部的图像改变相对应地检测运动信息。
在本发明中，当用户沿上方向、下方向、左方向和右方向使外壳倾斜时，控制单元可生成包括上方向、下方向、左方向和右方向的图像控制信号。
在本发明中，图像内容分发服务器可基于图像控制信号而选择多角度图像的角度。
在本发明中，多角度图像是由连接到图像内容分发服务器的多个照相机拍摄的图像。
根据本发明的另一方面，提供了一种图像显示方法，包括以下步骤拍摄对象；根据所拍摄的图像来检测对象的运动信息；根据运动信息生成图像控制信号；以及显示基于图像控制信号选择的图像。
通过此配置，由于图像传感器根据所拍摄的图像检测对象的运动信息，以根据对象的运动信息来选择图像，因此可以通过简单的操作来选择图像，并且同时实现图像显示设备的小型化和优秀的可操作性。
在本发明中，对象可以是观看图像的用户的脸部。
在本发明中，可与用户的脸部的图像改变相对应地检测运动信息。
在本发明中，图像显示方法还可包括以下步骤基于图像控制信号，而选择由多个照相机拍摄的多角度图像的角度。
根据本发明的另一方面，提供了一种图像显示系统，包括图像显示设备，其包括拍摄对象的图像传感器、根据由图像传感器拍摄的图像来检测对象的运动信息的图像处理单元、根据运动信息生成图像控制信号的控制单元、以及显示基于图像控制信号选择的图像的显示器；以及图像内容分发服务器，其通过网络而从图像显示设备接收图像控制信号，基于该图像控制信号选择图像，并且将所选图像通过网络传送到图像显示设备。
通过此配置，由于图像传感器根据所拍摄的图像来检测对象的运动信息、以根据对象的运动信息选择图像，因此可以通过简单的操作来选择图像，并且同时实现图像显示设备的小型化和优秀的可操作性。
在本发明中，图像内容分发服务器可连接到用于拍摄多角度图像的多个照相机，并且根据从图像显示设备接收的图像控制信号来选择多角度图像的角度。
在本发明中，图像内容分发服务器可连接到用于存储在多角度上拍摄的图像内容的文件服务器，并且基于从图像显示设备接收的图像控制信号来从所述图像内容中选择任一个。
根据本发明的另一方面，提供了一种图像显示系统，包括图像显示设备，其包括拍摄对象的图像传感器、根据由图像传感器拍摄的图像来检测对象的运动信息的图像处理单元、根据运动信息生成图像控制信号的控制单元、和显示多角度图像的显示器；以及图像记录设备，其存储多角度图像，通过网络而从图像显示设备接收角度控制信号、以基于该角度控制信号选择多角度图像的角度，并且将所选图像通过网络传送到图像显示设备。
根据本发明的另一方面，提供了一种图像显示系统，包括外部记录介质，用于存储多角度图像；以及图像显示设备，用于显示多角度图像，该图像显示设备包括图像传感器，其拍摄对象；图像处理单元，其根据由图像传感器拍摄的图像来检测对象的运动信息；控制单元，其根据运动信息生成角度控制信号；以及文件系统，其基于角度控制信号选择多角度图像的角度。
在本发明中，图像显示设备可包括记录设备，其从外部记录介质复制多角度图像，并存储该多角度图像。
本发明可通过从图像内容分发服务器接收关于用户所期望的照相机角度的信息，来解决与信息量的减小有关的第一问题。
接下来，由于用户使所述设备倾斜以控制输入，因此本发明可实现所述设备的小型化和优秀的可操作性。因而，可以实现角度改变组件，而在没有鼠标或键盘的小型设备中不需要按钮或方向键。
作为附加效果，可以减小按钮或方向键的数目，并且减小部件的数目。另外，可以简化组装过程，并且减小在使用所述设备时的故障率。
图1是示出根据本发明第一实施例的图像显示系统的配置的图。
图2示出图像显示设备的外观的例子。
图3(A)、3(B)示出当从顶部观看时图像显示设备和用户之间的关系。
图4(A)、4(B)示出当图像显示设备水平倾斜时图像显示设备和用户之间的关系。
图5(A)、5(B)示出当从侧面观看时图像显示设备和用户之间的关系。
图6(A)、6(B)示出当图像显示设备垂直倾斜时图像显示设备和用户之间的关系。
图7(A)、7(B)、7(C)是说明由图像处理单元检测运动信息的原理的图。
图8示出在服务器一侧水平布置照相机的例子。
图9示出在服务器一侧垂直布置照相机的例子。
图10是用于从文件服务器得到图像内容的配置的例子。
图11是示出根据本发明第二实施例的图像显示系统的配置的图。
图12是示出根据本发明第三实施例的图像显示系统的配置的图。
图13是示出根据本发明第四实施例的图像显示系统的配置的图。
图14是示出CCTV系统的示意配置的图。
图15是图像显示方法的流程图。
具体实施例方式
第一实施例图1是示出根据本发明第一实施例的图像显示系统的配置的图。在图1中，图像显示设备100包括显示器101、图像传感器102、图像处理单元103、控制单元104、信号传送单元105、以及信号接收单元106。
图像内容分发服务器110可通过网络120从信号传送单元105接收角度控制信号。图像内容分发服务器110连接到多个照相机111，并且可以将一个照相机的图像信号通过网络120传送到信号接收单元106。
显示器101是便携式小型显示部件，并可使用液晶显示设备或有机电致发光设备。图像传感器102将用户脸部周围的场景拍摄为图像，并且可以是互补金属氧化物半导体(CMOS)照相机或电荷耦合器件(CCD)照相机。
图像处理单元103检测由图像传感器102输入的图像的运动信息，并将运动信息发送到控制单元104。控制单元104根据图像的运动信息生成角度控制信号，并将该角度控制信号发送到信号传送单元105。
信号传送单元105将角度控制信号通过网络120传送到图像内容分发服务器110。信号接收单元106通过网络120从图像内容分发服务器110接收图像信号。显示器101显示由信号接收单元106接收的图像信息。
图2示出了图像显示设备100的外观的例子。显示器101和图像传感器102被布置在图像显示设备100的外壳的相同表面上。
图3A示出了当从顶部观看时图像显示设备100和用户之间的关系。图像传感器102拍摄图3B所示的图像301A，作为用户脸部周围的场景。
图4A示出了当图像显示设备100水平倾斜时图像显示设备和用户之间的关系。在此情况下，图像传感器102拍摄用户的右侧，因此如图4B的图像301B所示，用户的脸部移动到左侧。当图像显示设备100沿与其相反的方向倾斜时，用户的脸部移动到图像中的右侧。
图5A示出了当从侧面观看时图像显示设备100和用户之间的关系。类似于图3B，图5B中示出的图像301A是用户脸部周围的场景。图6A示出了当图像显示设备向上倾斜时图像显示设备100和用户之间的关系。在此情况下，当图像显示设备100向上倾斜时，如图6B的图像301C所示，图像传感器102拍摄用户脸部的上部。反之，当图像显示设备向下倾斜时，用户的脸部向上移动。
图7是说明由图像处理单元103检测运动信息的原理的图。将在时间上彼此不同的两个图像划分为格状块，并且从所述图像中检测具有相似图案的块，由此检测块的运动。
在图7中，将所述图像划分为6×6个块。可以看到，存在于图7A所示的图像301D的块701中的图案存在于图7B所示的图像301E的块702中。因而，根据块701和块702之间的位置关系得到图7C所示的运动向量703。
此方法与在当前的动态图像压缩技术中使用的检测运动向量的方法基本相同。然而，在MPEG-4动态图像压缩技术中，块的大小为8×8个像素，在H.264动态图像压缩技术中，块的大小为4×4个像素。
图1中示出的图像处理单元103从图像传感器102接收在时间上连续的图像。图像处理单元103将在不同时刻拍摄的图像进行比较，并检测用户的脸部在图像中移动到何处。
图像处理单元103将运动信息发送到控制单元104。控制单元104根据所接收的运动信息而生成角度控制信号。角度控制信号包括四个方向，即右方向、左方向、上方向和下方向。
在控制单元104中生成的角度控制信号被编码和调制、以适合于网络120，并被信号传送单元105传送。图像内容分发服务器110通过网络120接收该角度控制信号。
图8示出了在图像内容分发服务器110中水平布置多个照相机111的例子。在此例子中，8个照相机111被布置为围绕体育场801，并且通过传送路径802而被连接到图像内容分发服务器110。图像内容分发服务器110收集所有照相机的图像，从这些图像中选择任一个，并通过网络120传送所选图像。
图像内容分发服务器110根据图像显示设备100的角度控制信号，将照相机111替换为另一照相机111。在图8的例子中，当角度控制信号是左方向时，将照相机111替换为沿顺时针方向与其分开的另一照相机。当角度控制信号为右方向时，将照相机111替换为沿逆时针方向与其分开的另一照相机。也就是说，用户使图像显示设备100水平倾斜，因此，可以选择体育场801周围的照相机来控制照相机角度。
在此情况下，当拥有图像显示设备100A的用户A选择顺时针旋转、并且拥有图像显示设备100B的用户B选择逆时针旋转时，以时分的方式传送照相机111的图像，使得用户A可观看沿顺时针方向旋转的图像，而用户B可观看沿逆时针方向旋转的图像。
图9示出了垂直布置连接到图像内容分发服务器110的照相机111的例子。在此例子中，在不同的高度上布置三个照相机111。类似于图8中示出的情况，图像内容分发服务器110可根据角度控制信号来将照相机111替换为另一照相机111。
当角度控制信号为上方向时，图像内容分发服务器110将照相机111替换为位于正(right)上方的另一照相机111，而当角度控制信号为下方向时，将照相机111替换为位于正下方的另一照相机111。也就是说，当用户使图像显示设备100垂直倾斜时，可控制照相机角度，使得用户可以以接近比赛者的视点或全景视点来观看图像。
由图像内容分发服务器110选择的图像信号被编码和调制、以适合于网络120，并被信号接收单元106通过网络120接收。信号接收单元106将该图像解调和解码，并将该图像信号传送到显示器101。显示器101显示通过上述方法得到的图像。
尽管在第一实施例中，通过照相机111得到图像信号，但是如图10所示，可以将该照相机替换为文件服务器1001。在此情况下，将在多角度上拍摄的图像内容存储在文件服务器1001中，并且用户可在选择照相机角度的同时观看图像。
图15是根据第一实施例的图像显示方法的流程图。在图15中，在第一步骤S01中，将由图像传感器102拍摄的对象的图像信息输入图像处理单元103。在第二步骤S02中，将1小时之前拍摄并存储在图像处理单元中的对象的图像信息(例如，图7A的图像信息)与在第一步骤S01中输入的图像信息(例如，图7B的图像信息)相比较，以检测运动向量703。在第三步骤S03中，将在第二步骤中检测的运动向量703发送到控制单元104，所述控制单元104生成角度控制信号。在第四步骤S04中，将在第三步骤S03中生成的角度控制信号通过网络120从信号传送单元105传送到图像内容分发服务器110，并且，从连接到图像内容分发服务器110的照相机111中选择照相机111。在第五步骤S05中，将在第四步骤S04中选择的照相机的图像信息通过网络120传送到信号接收单元106，并将其显示在显示器101上。
第二实施例图11是示出根据本发明第二实施例的图像显示系统的配置的图。在图11中，图像显示设备100通过网络120向/从诸如数字视频记录器1101和PC 1102的图像记录设备传送/接收信息。
网络120可以是家庭网络或商用网络。网络120可以是有线网络或无线网络。图像显示设备100通过网络120将角度控制信号传送到数字视频记录器1101和PC 1102，并且通过网络120从数字视频记录器1101和PC 1102接收图像信息。
第三实施例图12是示出根据本发明第三实施例的图像显示系统的配置的图。在图12中，将在多角度上拍摄的图像内容存储在外部记录介质1202中。信号传送单元105将角度控制信号传送到文件系统1201。
文件系统1201根据角度控制信号而从外部记录介质1202得到图像信息。文件系统1201将所得到的图像信息输出到信号接收单元106。可将由信号接收单元106接收的图像信息显示在显示器101上。
这里描述的外部记录介质1202可以是诸如CD或DVD的光盘、例如快闪存储器的半导体记录设备、或磁盘。可将所接收的图像信息显示在显示器101上。
第四实施例图13是示出根据本发明第四实施例的图像显示系统的配置的图。在图13中，将在多角度上拍摄的图像内容存储在外部记录设备1302中，并且图像显示设备100可通过传送路径1303而将该图像内容复制到内部记录设备1301。这种传送路径1303不受具体限制，并且可以是因特网或广播网络。
在本实施例中，在观看图像内容之前，预先将所述内容从外部记录设备1302复制到记录设备1301。信号传送单元105将角度控制信号传送到文件系统1201。文件系统1201根据该角度控制信号而从记录设备1301得到图像信息。文件系统1201将所得到的图像信息输出到信号接收单元106。可将由信号接收单元106接收的图像信息显示在显示器101上。
记录设备1301可以是诸如硬盘的磁盘、或者诸如DRAM或快闪存储器的半导体记录设备。
尽管在本实施例中，由图像传感器102拍摄用户的脸部以检测运动信息，但图像传感器102的对象不限于用户的脸部。例如，可检测用户的手指的运动、除了用户之外的特定人的运动、或物体的运动，以改变所显示的图像。尽管在以上描述中，与运动信息相对应地选择多角度图像的角度，但是可以与对象的运动相对应地改变图像的分辨率和亮度。
根据本发明的图像显示设备、图像显示方法和图像显示系统，当观看图像时，可以使用在图像显示设备中提供的图像传感器来容易地改变照相机角度，并且所述照相机角度可用于诸如现场电视广播或视频传递的信息通信的领域。
本发明可应用于教育、或者诸如设施参观或访问古迹或风景区的旅游的领域。由于本发明可用于监控农场、商场或工厂的生产线，因此本发明可应用于商业领域，以便提高生产信息的跟踪能力。
由于CCTV在本质上是远程监控设备，因此本发明可用于安全领域。由于用户可通过在远程地点控制照相机角度来观察对象，因此本发明可应用于看护、育儿和医疗护理的领域。
权利要求
1.一种图像显示设备，包括图像传感器，其拍摄对象；图像处理器，其根据由图像传感器拍摄的图像来检测对象的运动信息；控制器，其根据运动信息生成图像控制信号；以及显示器，其显示基于图像控制信号选择的图像。
2.如权利要求1所述的图像显示设备，还包括信号传送器，其将图像控制信号通过网络传送到图像内容分发服务器；以及信号接收器，其通过网络接收由图像内容分发服务器基于图像控制信号而选择的图像。
3.如权利要求1所述的图像显示设备，其中，在图像显示设备的外壳中提供图像传感器，使得拍摄能够沿着显示器的显示表面的近似垂直方向来进行，并且拍摄观看显示器的用户的脸部。
4.如权利要求3所述的图像显示设备，其中，当观看显示器的用户使外壳倾斜时，图像处理器与由图像传感器拍摄的用户的脸部的图像改变相对应地检测运动信息。
5.如权利要求4所述的图像显示设备，其中，当用户沿上方向、下方向、左方向和右方向使外壳倾斜时，控制器生成包括上方向、下方向、左方向和右方向的图像控制信号。
6.一种图像显示方法，包括以下步骤拍摄对象；根据所拍摄的图像检测对象的运动信息；根据该运动信息生成图像控制信号；以及显示基于该图像控制信号选择的图像。
7.如权利要求6所述的图像显示方法，其中，所述对象是观看图像的用户的脸部。
8.如权利要求7所述的图像显示方法，其中，与用户的脸部的图像改变相对应地检测运动信息。
9.如权利要求6所述的图像显示方法，还包括以下步骤基于图像控制信号，选择由多个照相机拍摄的多角度图像的角度。
10.一种图像显示系统，包括图像显示器，其包含图像传感器，拍摄对象；图像处理器，根据由图像传感器拍摄的图像来检测对象的运动信息；控制器，根据运动信息生成图像控制信号；和显示器，显示基于图像控制信号选择的图像；以及图像内容分发服务器，其通过网络而从图像显示器接收图像控制信号，基于该图像控制信号选择图像，并且将所选图像通过网络传送到所述图像显示器。
11.如权利要求10所述的图像显示系统，其中，图像内容分发服务器连接到用于拍摄多角度图像的多个照相机，并且根据从图像显示器接收的图像控制信号来选择多角度图像的角度。
12.如权利要求10所述的图像显示系统，其中，图像内容分发服务器连接到用于存储在多角度上拍摄的图像内容的文件服务器，并且基于从图像显示器接收的图像控制信号来从所述图像内容中选择任一个。
13.一种图像显示系统，包括图像显示器，其包含图像传感器，拍摄对象；图像处理器，根据由图像传感器拍摄的图像来检测对象的运动信息；控制器，根据运动信息生成图像控制信号；和显示器，显示多角度图像；以及图像记录器，其存储多角度图像，通过网络而从图像显示器接收角度控制信号、以基于该角度控制信号选择多角度图像的角度，并且将所选图像通过网络传送到图像显示器。
14.一种图像显示系统，包括用于存储多角度图像的外部记录介质、以及用于显示多角度图像的图像显示器，该图像显示器包括图像传感器，其拍摄对象；图像处理器，其根据由图像传感器拍摄的图像来检测对象的运动信息；控制器，其根据该运动信息生成角度控制信号；以及文件系统，其基于该角度控制信号选择多角度图像的角度。
15.如权利要求14所述的图像显示系统，其中，所述图像显示器包括记录设备，其从外部记录介质复制多角度图像并存储该多角度图像。
全文摘要
图像处理单元103检测由图像传感器102拍摄的图像的运动信息，并将该运动信息发送到控制单元104。控制单元104根据图像的运动信息生成角度控制信号，并将该角度控制信号发送到信号传送单元105。信号传送单元105通过网络120将角度控制信号传送到图像内容分发服务器110。信号接收单元106通过网络120而从图像内容分发服务器110接收图像信号。显示器101显示由信号接收单元106接收的图像信息。
文档编号H04N7/18GK1897693SQ200610103058
公开日2007年1月17日 申请日期2006年7月11日 优先权日2005年7月11日
发明者远藤岳志, 出村和也 申请人:松下电器产业株式会社