专利名称：注目物体出现位置显示装置的制作方法
技术领域：
本发明涉及注目物体出现位置显示装置，具体涉及采用适合于对动态图像的特征进行分类或分析的形式来显示动态图像中的注目物体的出现位置的注目物体出现位置显示装置。
近年来，对以电视台为代表的企业等自身拥有的各种动态图像文件、个人使用摄像机所拍摄的动态图像文件等进行分类或分析的要求不断增长。
本发明的注目物体的出现位置显示装置将各动态图像的特征易懂地进行显示，并适合于在对与特定的动态图像文件类似的动态图像文件进行检索时使用、或者在对动态图像文件的种类进行分类时使用、或者在对CM和电视节目的视听率等的关系进行分析或对电影导演所拍摄的影像组共同的作品风格进行分析时使用。
背景技术：
作为特定物体的检测方法，提出了检测人脸、马和车的各种方法。这种特定物体的检测方法例如在Henry Schneiderman，“A statisticalapproach to 3D object detection applied to faces and cars，”CMU-RI-TR-00-06，2000中提出。在以下说明中，为了便于说明，作为特定物体的检测方法的一例，以广泛利用的人脸检测方法为例进行说明。
作为从静态图像和动态图像检测人脸出现的位置的检测方法，提出了各种方法。这种检测方法例如在Ming-Hsuan Yang and Narendra Ahuja，“Face detection and gesture recognition for human-computerinteraction，”Kluwer Academic Publishers，ISBN0-7923-7409-6，2001中提出。这种检测方法大多如图1所示，通过在所检测的脸1的位置上标注矩形或圆形等标记2来显示检测结果。
图1是对以往的检测方法的一例进行说明的图。因此，在针对静态图像检测脸的情况下，用户通过观察检测结果的标记，可简单地把握所检测的脸在图像中的哪个位置的信息。
另一方面，在对动态图像检测脸的情况下，大多以作为构成动态图像的基本要素的帧这样的静态图像为单位来检测脸。这种检测方法例如在櫻井和之、井上晃、佐藤敦顏検出のための濃淡特徵を用ぃた高速な両目ペァの検出，第8回画像センシンゲシンポジゥム講演論文集，pp.557-562，2002中提出。因此，在对动态图像检测脸的情况下，与静态图像的情况一样，通过在检测出与静态图像相当的各帧的脸的位置上标注矩形或圆形等标记来显示检测结果。
作为对动态图像检测脸的结果的显示方法，在以帧为单位所检测的脸的位置上标注标记的方法的情况下，由于帧一般每秒存在30帧，1分钟左右的动态图像存在约1800帧，因而检测结果也变为相当多的帧数。因此，存在的问题是，对于检测结果的各帧，用户通过目视来确认在哪个位置检测到脸的作业是非常繁杂的，并且费时间。而且，还存在的问题是，也难以通过动态图像整体，综合把握例如在哪个位置较多地检测到脸的信息。
发明内容
因此，本发明的概括目的是提供解决了上述问题的新的且有用的注目物体出现位置显示装置。
本发明的更具体目的是提供可简单地把握动态图像中的注目物体出现位置的注目物体出现位置显示装置。
本发明的其他目的是提供一种注目物体出现位置显示装置，具有物体检测部，对动态图像的各帧检测所指定的1个或多个注目物体；位置数据保持部，保持所检测的各注目物体的位置数据；出现频度计算部，针对各位置计算各注目物体的出现频度；以及浓淡显示部，使用对应的像素的浓淡值显示各注目物体的出现频度。根据本发明的注目物体出现位置显示装置，可简单地把握动态图像中的注目物体的出现位置。
通过以下的结合附图所描述的说明，本发明的进一步其他目的和特长将会明白。
图1是对以往的检测方法的一例进行说明的图。
图2是表示本发明的注目物体出现位置显示装置的一个实施例的方框图。
图3是对物体检测部的动作的一个实施例进行说明的流程图。
图4是对位置数据保持部的动作的一个实施例进行说明的流程图。
图5是对位置数据保持部的动作的另一个实施例进行说明的流程图。
图6是对位置数据保持部的动作的又一个实施例进行说明的流程图。
图7是对于由4个像素构成的2个帧来说明出现频度计算部的计算处理的图。
图8是对出现频度计算部的动作的一个实施例的主要部分进行说明的流程图。
图9是对浓淡显示部的动作的一个实施例进行说明的流程图。
图10是对图像配置部的动作的一个实施例进行说明的流程图。
图11是对图像配置部的动作进行说明的图。
图12是对教育节目的动态图像的分类和配置进行说明的图。
图13是对新闻节目的动态图像的分类和配置进行说明的图。
图14是对戏剧的动态图像的分类和配置进行说明的图。
具体实施例方式
图2是表示本发明的注目物体出现位置显示装置的一个实施例的方框图。注目物体出现位置显示装置具有物体检测部11，从动态图像的各帧检测注目物体；位置数据保持部12，保持所检测的注目物体的位置(坐标)；出现频度计算部13，针对各位置计算注目物体的出现频度；浓淡显示部14，使用对应的像素的浓淡值显示注目物体的出现频度；以及图像配置部15，根据图像特征量对所显示的浓淡图像自动进行分类和配置。根据该构成，可利用浓淡信息来显示注目物体的出现频度，不需要象以往那样，使用户通过目视来确认在哪个位置检测到注目物体的繁杂和费时间的作业，就可简单地把握动态图像中的注目物体的出现位置。
物体检测部11、位置数据保持部12、出现频度计算部13、浓淡显示部14以及图像配置部15的各功能可以使用硬件来实现，也可以使用软件来实现。在以下说明中，为了便于说明，假设物体检测部11、位置数据保持部12、出现频度计算部13、浓淡显示部14以及图像配置部15的各功能使用软件来实现，并使用通用计算机等公知的信息处理装置的CPU等处理器来执行。而且，公知的信息处理装置至少由CPU和存储器构成即可。
作为注目物体，可以考虑人脸、马、车等各种物体，然而这里为了便于说明，以注目物体是人脸的情况为例进行说明。
在物体检测部11中，把动态图像的各帧作为输入来接收，在帧中出现作为注目物体的人脸的情况下，检测并输出该注目物体的位置。被输入到物体检测部11中的动态图像可以是由摄像机等公知的摄像单元所拍摄的实时输入的动态图像，也可以是将预先存储在磁盘和存储器等公知的存储单元内的动态图像读出并输入的动态图像。而且，注目物体可由用户使用例如公知的信息处理装置的键盘和鼠标等输入装置并采用公知的方法来指定。作为注目物体的脸的检测方法，以往提出了各种检测方法，作为一例具有以下检测方法。
首先，为了决定图像中的脸的候选，利用色彩信息，抽出满足某个阈值的颜色作为肤色。然后，计算把所抽出的肤色的各像素的亮度值作了盖博(Gabor)变换后的特征量、与把预先登录的字典的脸图像的眼部分的亮度值作了盖博变换后的特征量的误差，如果误差小于等于预先设定的阈值，则该像素作为眼被抽出。这样，把所抽出的包含眼的脸候选作为脸来检测。这种方法例如在L.Wiskott et al.，“Face recognition byelastic bunch graph matching，”PAMI vol.19，no.7，pp.775-779，1997中提出。在该例中使用作了盖博变换后的特征量，然而也有单纯使用亮度值作为特征量进行图形匹配的方法。
脸的检测方法自身和注目物体的检测方法自身当然不特别限定于上述检测方法。
物体检测部11也可以构成为，不对动态图像的所有帧进行注目物体的检测，而是仅把满足预先指定的条件的帧作为对象进行注目物体的检测。作为这种情况的条件，例如可以把每隔一定间隔抽出的帧作为对象，或者把图像特征量变化大的帧作为对象。这样，通过仅把满足预先指定的条件的帧作为对象进行注目物体的检测，可缩短注目物体的检测所需要的时间。
并且，物体检测部11可以检测单个注目物体，也可以检测例如人脸和车等多个注目物体。在检测多个注目物体的情况下，可采用通过一次处理来检测多个注目物体的方法，以及通过多次进行检测单个注目物体的处理来检测多个注目物体的方法。
图3是对物体检测部11的动作的一个实施例进行说明的流程图。该图中，在步骤S1中，输入动态图像，在步骤S2中，跳过一定数的帧图像。在步骤S3中，判定是否重复了所有的帧(处理了所有的帧)，当判定结果是“否”时，在步骤S4中，判定当前帧和前一帧的差是否大于等于阈值。当步骤S4的判定结果是“否”时，处理返回到步骤S3。另一方面，当步骤S4的判定结果是“是”时，在步骤S5中，输入帧图像。
在步骤S6中，判定是否重复了所有像素，当判定结果是“是”时，处理返回到步骤S3。当步骤S6的判定结果是“否”时，在步骤S7中，判定作为由用户指定的注目物体的脸的个数是否小于等于阈值，当判定结果是“否”时，处理返回到步骤S6。另一方面，当步骤S7的判定结果是“是”时，在步骤S8中，从帧图像中抽出肤色，在步骤S9中，对所抽出的肤色的各像素的亮度值进行盖博变换。在步骤S10中，计算通过盖博变换所获得的特征量与把预先登录的字典的脸图像的眼部分的亮度值作了盖博变换后的特征量的误差。在步骤S11中，判定所计算的误差是否小于等于阈值。当步骤S11的判定结果是“否”时，在步骤S12中，判断为检测出“脸以外”，处理返回到步骤S6。另一方面，当步骤S11的判定结果是“是”时，在步骤S13中，判断为检测出脸，处理返回到步骤S6。当步骤S3的判定结果是“是”时，图3的处理结束。
位置数据保持部12保持由物体检测部11所检测的注目物体(脸)的位置的坐标。在此情况下，由于与所检测出的1个注目物体相当的像素大多存在多个，因而可以保持与例如所检测的注目物体的区域相当的像素的所有坐标，或者保持所检测的注目物体的区域的预先指定的场所(例如重心)的坐标，或者保持所检测的注目物体的区域的预先指定的部位(例如在脸是注目物体的情况下，眼、鼻、口等)的坐标。因此，例如在想去除非常小的物体的影响的情况下，通过预先指定不对小于某个大小的物体保持坐标的条件，可防止小物体包含在出现频度内。而且，通过指定物体中的特定部位，可更准确地把握一般跨越多个像素而存在的注目物体的位置。
而且，为了将所检测的注目物体中的按预先指定的各条件所检测的注目物体分开对各自的出现频度分别进行计数，可以按各条件保持位置数据。例如，指定按注目物体的方向作为条件，可按各个方向保持位置数据。作为其他条件，也可按指定注目物体的种类、按注目物体的大小等各种条件。
图4是对位置数据保持部12的动作的一个实施例进行说明的流程图。该图中，在步骤S21中，判定是否重复了所有给定的条件(根据给定的所有条件进行了处理)。当步骤S21的判定结果是“否”时，在步骤S22中，判定是否重复了所检测的注目物体的所有像素，当判定结果是“是”时，处理返回到步骤S21。另一方面，当步骤S22的判定结果是“否”时，在步骤S23中，把像素的坐标值保存在存储器内，处理返回到步骤S22。当步骤S21的判定结果是“是”时，图4所示的处理结束。
图5是对位置数据保持部12的动作的另一个实施例进行说明的流程图。该图中，与图4相同的步骤被附上相同符号，并省略其说明。在图5中，在步骤S24中，判定是否对所有注目物体重复了处理，当判定结果是“是”时，处理返回到步骤S21。当步骤S24的判定结果是“否”时，在步骤S25中，计算所检测的注目物体的重心的坐标值。在步骤S26中，把重心的坐标值保存在存储器内，处理返回到步骤S24。当步骤S21的判定结果是“是”时，图5所示的处理结束。
图6是对位置数据保持部12的动作的又一个实施例进行说明的流程图。该图中，与图4相同的步骤被附上相同的符号，并省略其说明。在图6中，在步骤S27中，判定是否重复了所抽出的所有像素，当判定结果是“是”时，处理返回到步骤S21。当步骤S27的判定结果是“否”时，在步骤S28中，判定是否是所检测的注目物体的指定部位，当判定结果是“否”时，处理返回到步骤S27。当步骤S28的判定结果是“是”时，在步骤S29中，把指定部位的坐标值保存在存储器内，处理返回到步骤S27。当步骤S21的判定结果是“是”时，图6所示的处理结束。
出现频度计算部13根据位置数据保持部12内所保持的位置数据，计算各坐标的注目物体的出现频度。注目物体的出现频度可通过由以下步骤ST1～ST5组成的计算处理来计算。
ST1将各坐标的注目物体的出现数C初始化为0。
ST2对各坐标的注目物体的出现数C进行计数(递增)。
ST3计算注目物体的出现数C的总和S。
ST4把各坐标的注目物体的出现数C除以S，计算出现率R＝C/S。
ST5通过把最大亮度值(在8位的情况下为255)乘以坐标的出现率R，计算浓淡值I＝R×255。
图7是对于由4个像素构成的2个帧来说明出现频度计算部13的上述计算处理的图。该图中，○符号表示所检测的注目物体的像素。而且，该图中(a)表示出2个帧，图(b)表示针对2个帧的注目物体的出现数C，图(c)表示出现率R，图(d)表示浓淡值I，图(e)表示在使用后述的浓淡显示部14显示了浓淡值I的情况下的浓淡显示D。
也可把所检测的注目物体中的按预先指定的各条件所检测的注目物体分开对出现频度分别进行计数。例如，如果指定按注目物体的方向作为条件，则可按各个方向对出现频度进行计数。作为其他条件，可指定按注目物体的种类、按注目物体的大小、按注目物体的出现数等各种条件。
图8是对出现频度计算部13的动作的一个实施例的主要部分进行说明的流程图。该图中，在步骤S31中，判定是否对所保持的注目物体的位置数据重复了给定的所有条件(根据给定的所有条件进行了处理)。当步骤S31的判定结果是“否”时，在步骤S32中，判定是否重复了注目物体的所有像素，当判定结果是“是”时，处理进到后述步骤S35。另一方面，当步骤S32的判定结果是“否”时，在步骤S33中，对存储器内所保存的注目物体的出现数C进行计数。而且，在步骤S34中，根据S＝S+C求出注目物体的出现数的总和S，处理返回到步骤S32。
在步骤S35中，判定是否重复了注目物体的所有像素，当判定结果是“是”时，处理返回到步骤S31。当步骤S35的判定结果是“否”时，在步骤S36中，对存储器内所保存的注目物体的出现数C进行计数。而且，在步骤S37中，根据S＝S+C求出注目物体的出现数的总和S，处理返回到步骤S35。当步骤S31的判定结果是“是”时，图8所示的处理结束。出现率R和浓淡值I可与上述步骤ST4和ST5一样求出。
浓淡显示部14把由出现频度计算部13所计算的各坐标的浓淡值作为要输出的浓淡图像的相关像素的亮度信息(浓度值)显示在上述通用计算机的显示部上。在出现频度计算部13执行上述步骤ST1～ST5的情况下，浓淡显示部14进行由以下步骤ST6组成的浓淡显示处理。
ST6把各坐标的注目物体的浓淡值I作为浓淡图像的相关像素的亮度信息
。
也可把所检测的注目物体中的按预先指定的各条件所检测的注目物体的出现频度分成各个浓淡显示来进行显示。具体地说，当考虑例如按注目物体的方向的情况时，通过准备以下3种浓淡显示，可按各条件对注目物体进行分别的浓淡显示，该3种浓淡显示是表示右方向的出现频度的浓淡显示，表示正面方向的出现频度的浓淡显示，以及表示左方向的出现频度的浓淡显示。
而且，通过把所检测的注目物体中的按预先指定的各条件所检测的注目物体的出现频度分配成分别的颜色，也可使用作了颜色区分的浓淡进行显示。具体地说，当考虑例如按注目物体的方向的情况时，通过使用红的浓淡来显示右方向的出现频度，使用蓝的浓淡来显示正面方向的出现频度，使用绿的浓淡来显示左方向的出现频度，可使用作了颜色区分的浓淡来显示注目物体。
图9是对浓淡显示部14的动作的一个实施例进行说明的流程图。该图中，在步骤S41中，判定是否重复了计算出出现频度的注目物体的所有像素(处理了注目物体的所有像素)。当步骤S41的判定结果是“否”时，在步骤S42中，使用给定的函数将多个浓淡值I变换成RGB数据，处理返回到步骤S41。另一方面，当步骤S41的判定结果是“是”时，在步骤S43中，根据RGB数据把浓淡图像显示在显示部上，处理结束。
图像配置部15根据任意的图像特征量对所显示的浓淡图像自动进行分类和配置。不限于浓淡图像，以往已提出了对一般图像这样自动进行分类和配置的方法，其一例在Susumu Endo et al.，“MIRACLESMultimediaInformation Retrieval，Classification，and Exploration System”，In Proc.of IEEE International Conference on Multimedia andExpo(ICME2002)，2002中提出。在该提出的分类和配置方法中，可从各图像中自动抽出所指定的图像特征量(颜色、纹理、形状等)，计算所选择的任意图像和各图像的所抽出的图像特征量的误差，并把与选择图像类似的(误差少的)图像按照类似度顺序进行显示。而且，图像配置部15可以采用上述分类和配置方法以外的方法对浓淡图像进行分类和配置。而且，由于由浓淡显示部14显示的浓淡图像是一般图像的部分集合，因而可输入给采用公知的分类和配置方法的图像配置部15。
上述位置数据保持部12和出现频度计算部13把按预先指定的各条件所检测的注目物体分开对出现频度分别进行计数，上述浓淡显示部14可按各条件进行颜色区分，把出现频度显示为浓淡信息。因此，例如可按注目物体的朝向进行划分来把握出现频度，通过根据条件指定注目物体的朝向，在朝向右的注目物体的出现频度比朝向正面的注目物体高的情况下，可更详细地把握出现频度。
图10是对图像配置部15的动作的一个实施例进行说明的流程图。该图中，在步骤S51中，从由浓淡显示部14所显示的浓淡图像中选择成为基础的图像。在步骤S52中，采用公知的方法从所选择的图像中抽出规定的特征量。在步骤S53中，判定是否重复了所有图像(处理了所有图像)。当步骤S53的判定结果是“否”时，在步骤S54中，采用公知的方法从未处理的图像中抽出规定的图像特征量。而且，在步骤S55中，计算在步骤S52中所抽出的选择图像的图像特征量和在步骤S54中所抽出的图像的图像特征量的误差，处理返回到步骤S53。
另一方面，当步骤S53的判定结果是“是”时，在步骤S56中，把所有图像按照误差的升序进行排序。而且，在步骤S57，把所有图像按照所排序的顺序显示在显示部上，处理结束。而且，在本实施例中，图像配置部15根据由浓淡显示部14显示在显示部上的浓淡图像进行分类和配置，然而当然也可以对浓淡显示部14输出的浓淡图像直接进行分类和配置，并把排序结果显示在显示部上。
图像配置部15根据图像特征量对从浓淡显示部14所获得的浓淡信息自动进行分类和配置来显示。因此，通过例如把与某个浓淡图像A类似的浓淡图像按顺序进行分类和配置，可有效搜索与浓淡图像A对应的动态图像和与注目物体的出现情况类似的动态图像。而且，也可把握有某种程度类似的浓淡图像的数量，或者可把握局部配置的浓淡图像组的类似程度。
图11是表示使用图像配置部15把与某个浓淡图像A类似的浓淡图像B～G按顺序进行了分类和配置后的排序结果的图。该图中，箭头表示类似度S，越是朝右侧走，类似度S就越小。
浓淡显示部14根据由出现频度计算部13计算的信息，使用各位置的像素的浓淡值来显示特定的注目物体的出现频度。即，由于根据针对动态图像的各帧的注目物体的检测结果，来自动计算表示注目物体的出现频度的浓淡值，因而可通过浓度分布来表现动态图像中出现的注目物体的出现位置。因此，用户通过观察与各动态图像对应的浓度分布，可通过目视简单地把握动态图像中的注目物体的出现位置。因此，在用户通过目视进行浓淡信息的分类和配置的情况下，可省略图像配置部15。
另外，作为注目物体，在必须把握人脸在例如动态图像中的出现位置的情况下，可列举出以下情况。图12是对教育节目的动态图像的分类和配置进行说明的图。图13是对新闻节目的动态图像的分类和配置进行说明的图。图14是对戏剧的动态图像的分类和配置进行说明的图。图12～图14中，1表示作为注目物体的脸，在各图中，左侧表示动态图像，右侧表示对应的浓淡图像。
C1)动态图像的种类分类对于多个动态图像，根据本发明可将浓淡信息相类似的动态图像进行集中，分类成相同种类。例如，如图12所示，一位讲师在中心讲课的场景多的教育节目的动态图像组全都是画面的中心附近的浓度高的浓淡显示。而且，如图13所示，新闻报导员二人出场的每日放映的新闻节目，无论哪天的动态图像都是画面的左右二点附近的浓度高的浓淡显示。并且，如图14所示，对于象戏剧那样在各个位置出现人脸的节目的动态图像，浓淡信息接近于相同。这样，通过把本发明的浓淡信息相类似的动态图像分类成相同种类，可使用人脸的出现倾向相似的指标对动态图像进行种类划分。
C2)商业广告(CM)和节目的分析作为CM和节目的分析方法，对于视听率高的CM和节目，可利用本发明发现动态图像共同的特征和知识。作为知识例，可考虑“视听率高的CM在画面中心部出现脸的频度高”等。
C3)作品风格分析作为为了抽出由某个电影导演所拍摄的电影(动态图像)组共同的知识而利用的1个特征量，可利用本发明的浓淡显示。作为知识例，可考虑“导演Y的作品在画面整体内出现人脸的倾向一样强”等。
如以上说明那样，在本发明中，由于可通过浓度分布(浓淡图像)来表现动态图像中出现的特定的注目物体的出现位置，因而可简单地把握动态图像中出现的注目物体的出现位置。并且，由于可使用本发明获得反映了注目物体的出现倾向的浓淡图像，因而可把所获得的浓淡图像输入到图像配置部，并对浓淡图像自动进行分类和配置，从而可把握例如与注目物体的出现倾向有关的多个动态图像间的类似度等。
因此，根据本发明，可使用动态图像中的注目物体(例如，人脸)的出现位置的新观点，实施动态图像的种类分类、CM和节目的分析、作品风格分析等。
而且，本发明不限于上述实施例，当然可在本发明的范围内进行各种改良和变更。
权利要求
1.一种注目物体出现位置显示装置，其特征在于，具有物体检测部，对动态图像的各帧检测所指定的1个或多个注目物体；位置数据保持部，保持所检测的各注目物体的位置数据；出现频度计算部，针对各位置计算各注目物体的出现频度；以及浓淡显示部，使用对应像素的浓淡值显示各注目物体的出现频度。
2.根据权利要求1所述的注目物体出现位置显示装置，其特征在于，前述物体检测部仅以满足预先指定的条件的帧为对象来检测各注目物体。
3.根据权利要求1或权利要求2所述的注目物体出现位置显示装置，其特征在于，前述位置数据保持部仅保持满足预先指定的条件的各注目物体的位置数据。
4.根据权利要求1至权利要求3中的任何一项所述的注目物体出现位置显示装置，其特征在于，前述位置数据保持部只保持所检测的各注目物体中的预先指定的部位的位置数据。
5.根据权利要求4所述的注目物体出现位置显示装置，其特征在于，在各注目物体的重心或者注目物体是脸的情况下，前述部位是眼。
6.根据权利要求1至权利要求5中的任何一项所述的注目物体出现位置显示装置，其特征在于，前述位置数据保持部和前述出现频度计算部，将所检测的各注目物体中的按预先指定的各条件所检测的注目物体分开对出现频度分别进行计数。
7.根据权利要求1至权利要求6中的任何一项所述的注目物体的出现位置显示装置，其特征在于，前述浓淡显示部在表示各注目物体的出现频度时，按预先指定的各条件对浓淡显示进行区分显示。
8.根据权利要求1至权利要求6中的任何一项所述的注目物体出现位置显示装置，其特征在于，前述浓淡显示部在表示各注目物体的出现频度时，按预先指定的各条件区分颜色来显示浓淡。
9.根据权利要求1至权利要求8中的任何一项所述的注目物体出现位置显示装置，其特征在于，还具有图像配置部，对由前述浓淡显示部所输出的浓淡值的图像自动进行分类和配置来显示。
全文摘要
本发明提供一种注目物体出现位置显示装置，具有物体检测部，对动态图像的各帧检测所指定的1个或多个注目物体；位置数据保持部，保持所检测的各注目物体的位置数据；出现频度计算部，针对各位置计算各注目物体的出现频度；以及浓淡显示部，使用对应的像素的浓淡值显示各注目物体的出现频度。
文档编号G09G5/02GK1689043SQ03823910
公开日2005年10月26日 申请日期2003年1月27日 优先权日2003年1月27日
发明者马场孝之, 增本大器, 上原祐介, 椎谷秀一, 远藤进 申请人:富士通株式会社