Intelligent User Interface Group

インテリジェント・ユーザインタフェース（IUI）グループでは，主に人間とデータ（コンピュータ）が直接触れ合う領域について研究しています．カメラから得られる画像データやマイクから得られる音声データ，そしてキーボード・ペン・タッチ入力などの人間からの入力データを機械学習などを用いて解析し，コンピュータに新たな解釈を与えることで人間の能力を向上させるコンピュータのインタフェースを探求しています．

例えば私たちが日常的に利用しているスマートフォンのタッチ・インタフェースでは人間がタッチした箇所をそのまま反映させるのではなく，人間の意図した箇所と実際にタッチされた箇所のズレを算出して自動的に補正しています．人間のタッチデータをもとにした補正技術により，人間の意図を汲み取った快適な操作性が実現しているのです．このような知的ユーザインタフェースやHCI (Human-Computer Interaction) と呼ばれる研究分野において，人間が生み出すデータを取得・解析しユーザの手助けをする技術に関する研究を主に行っています．

研究紹介

スマートフォンでのアクティブ認証

アクティブ認証とはユーザの行動学的特徴を抽出し，連続的に認証をする研究です．従来のパスワード認証では不正にパスワードが入手され，アカウントが乗っ取られてしまう被害が増加しています．アクティブ認証を利用することで，スマートフォンを操作する動作から正しいユーザであるかを判定し，アカウント乗っ取りの被害を早期発見することができます．データマイニングや自然言語処理のテクニックを組み合わせ，対象ユーザ自身しか持っていないユニークな特徴をいかに抽出するかがポイントとなります．
山名研究室では，スマートフォンに搭載されたタッチパネルや圧力センサを利用して，スワイプやタッチ操作を用いたアクティブ認証の研究を行なっています．

LeapMotionとテンキーロックを組み合わせた認証

※左下の図はhttps://developer.leapmotion.com/documentation/cpp/devguide/Leap_Overview.htmlを元にトレース

本研究は，認証における安全性を高めることを目的に，パスワード方式に生体認証を組み合わせた2要素認証の研究です．
生体認証は，指紋認証や顔認証などの生体情報(個人の特徴)を利用する認証方法であり，パスワード認証と比べて手間が少ないです．しかし，近年の技術の進歩により，指紋などの生体情報を盗むことが可能となっています．また，生体情報は変更することが困難であるため，盗まれてしまうと，安全性の観点から再利用できません．
そこで，変更が可能なパスワード認証と，入力時の手の動作や形状を用いた生体認証を組み合わせることで，安全性を向上させます．使用可能な場面としては，マンションのエントランスや建物内の部屋などのキーロックが挙げられます．

筋電位センサによるジェスチャ入力

本研究は，物を持っている時のデバイスへの入力方法として，前腕筋電位でフィンガージェスチャを用いた研究です．
スマートフォンなどのタッチパネルやボタンを用いたデバイスへの入力方法は，物を持っている時には使用することができません．このような状況下でも音楽プレイヤやスマートグラスといったハンズフリーデバイスを操作するための入力手法とすることが目的です．

ペイントソフトの機能推薦

本研究は，ペイントソフトを用いて絵を描く過程で得たログデータから，ユーザが知らない便利な機能を推薦する研究です．
ユーザがペイントソフトで絵を描く際に，便利な機能の存在を知らずに，別の機能を使って苦労して描くことがあります．ユーザは対象の機能の名称も効果も知らないため，その便利な機能を長い間知らずにペイントソフトを使うことになります．ユーザの使用している機能や描画座標などのログデータを用いて，ユーザが知るべき機能をユーザに推薦することで，ユーザがより早く上達することが目的です．

VR空間でのプレゼンテーション練習

本研究は，VRを用いて実際のプレゼンテーションに近い状況で練習できるようにする研究です．
プレゼンテーションの練習を行なう際には，PCの前でスライドを表示させながら，発声練習する方法があります．しかし，ユーザの周囲に十分なスペースが無い場合や，アイコンタクトなどの練習ができない場合があります．
そこで，VRを用いることで，実際のプレゼンテーションに近い状況を作り出すことができます．
練習時のユーザの視線情報などを解析してユーザにフィードバックを返すことで，ユーザのプレゼンテーション技術を向上させることが目的です．

Pattern recognition method of handwriting geometry solutions with digital pen.

幾何学図形問題を対象に，手書き解答データから論理的思考力を測る研究です．
近年，初等教育から論理的思考力の育成が重要視されてきており，それを磨く上では数学が大きな役割を果たしています．しかし，義務教育中に論理的思考力を測る機会は少なく，生徒がどれほどの論理的思考力を持っているのか分からない状況です．また，数学で論理的思考力を測るには，生徒の思考過程(解法)を判断する必要があります．特に，幾何学図形問題においては式を書かずに図を描くだけで答えを導く場合もあるため，教育者の目視のみで思考過程を判断するのは困難です．
そこで，本研究では，幾何学図形問題を対象に，手書き解答データから生徒の解法を推定し論理的思考力を測ることを目指しています．

スマートウォッチを対象とした歩行中の片手ジェスチャ入力手法

スマートウォッチにおいて，歩行中に使用できるジェスチャの認識を目指します．
歩行中にも画面を注視せず安全に片手で操作できることで，スマートウォッチの利便性を向上させます．

Eyes free Japanese IME

スマートウォッチにおいて，アイズフリーな日本語入力を可能にするシステムです．
スマートウォッチはディスプレイサイズが小さく，従来スマートフォンで用いられていた日本語入力手法を適用することは困難です．したがって，ディスプレイサイズに合った日本語入力手法が必要です．
また，画面を見ずに入力できることが，近年問題化している「歩きスマホ」事故防止の一助になると考えられます．

オンライン手書き情報を用いた未定着記憶推定

記憶を定着させるためには，暗記する対象を再学習する反復学習を繰り返す必要があると言われており，効率的に暗記を行うためには定着していない記憶を選び出して優先的に反復学習を行うことが必要です．
タブレット端末等から取得可能な時系列情報や筆圧が含まれるオンライン手書き情報を用いて，学習者の記憶定着度を推定する研究です．
応用として「記憶度」が低い事象を優先的に学習することで，効率的に暗記可能な学習支援システムなどがあります．

デジタル手書きドキュメントの検索スニペット生成

デジタル手書きデータを解析し，重要な箇所を認識します．認識した重要箇所を元に手書きドキュメントを要約し，手書きドキュメント検索の効率化を実現します．

時系列筆記情報を利用した学習者のつまずき検出・可視化

学習者の時系列筆記情報を取得し，答案には現れないつまずきを検出します．検出したつまずき状態を答案に可視化します．

Webカメラを用いた視線推定

本研究は，安価なWebカメラ3台を用いて，得られた画像を解析し，ユーザが見ているディスプレイの領域を推定する研究である．

動画像からの衣服領域抽出

動画像から人間が正面を向いている画像を決定し，衣服領域を抽出する．

人物画像における髪型の定量化

Cannyエッジ情報を用いて人間の「髪型」を定量化する．抽出した髪型特徴を利用することで顔認証の認証精度向上が期待される．

複数特徴量の統合による画像劣化の検知

主にエッジ情報を用いることで，携帯機器上の小さなディスプレイで確認することが困難な画像のブレやぼけの劣化を検知する．検知した後に，撮り直しを促すことで画像劣化を改善する．

オンライン手書きデータによる記憶度の推定

iPadなどのタブレット端末に記入されたデータをオンライン手書きデータと呼ぶ．オンライン手書きデータは，紙に書かれている文字を読み取ったデータとは異なり，時間あたりのペンの座標など，時系列にデータを取得することができるため，より詳細な解析が可能である．本研究では，オンライン手書きデータから記憶度の推定を行うことを目的としている．
まず，被験者に漢字の問題を出題し，”完全に記憶している”漢字を書いた場合のオンライン手書きデータと”記憶が曖昧な”漢字を書いた場合のオンライン手書きデータの差異を検定により明らかにした．
検定の結果，「ペンのストロークの時間間隔」や「消去したストロークの本数」等のデータに差異が見られた．
以上より，「ペンのストロークの間隔」や「消去したストロークの本数」等を比較することで，未知のオンライン手書きデータに対して”完全に記憶している”のか，”記憶が曖昧な”のかを判別することが可能である．このとき，2値分類学習器であるSVMによって分類を行った．