インテリジェント・ユーザインタフェース（IUI）グループでは，主に人間とデータ（コンピュータ）が直接触れ合う領域について研究しています．カメラから得られる画像データやマイクから得られる音声データ，そしてキーボード・ペン・タッチ入力などの人間からの入力データを機械学習などを用いて解析し，コンピュータに新たな解釈を与えることで人間の能力を向上させるコンピュータのインタフェースを探求しています．
例えば私たちが日常的に利用しているスマートフォンのタッチ・インタフェースでは人間がタッチした箇所をそのまま反映させるのではなく，人間の意図した箇所と実際にタッチされた箇所のズレを算出して自動的に補正しています．人間のタッチデータをもとにした補正技術により，人間の意図を汲み取った快適な操作性が実現しているのです．このような知的ユーザインタフェースやHCI (Human-Computer Interaction) と呼ばれる研究分野において，人間が生み出すデータを取得・解析しユーザの手助けをする技術に関する研究を主に行っています．
研究紹介
スマートフォンにおけるストローク認証
スマートフォンにおいて使用されている従来の認証機能（パターンや指紋認証、顔認証）は、第三者によって破られるリスクが存在します。そのため、認証後もタッチストロークを継続的に監視することで、不正な使用を迅速に検出することが可能になります。
本研究では、タッチストロークを利用した継続的な認証において、認証精度や頑健性の向上に取り組んでいます。また、実運用に向けて模倣に耐性のある認証の構築や、訓練データの自動生成にも挑戦しています。
オンライン手書きデータを用いた学習度定着推定
近年，タブレット端末を用いた学習用アプリケーションの利用が急速に広がりをみせています．学習においては，学習者一人一人の定着情報に合わせた問題の出題が重要となりますが，正誤情報のみから正確な定着・未定着を判断することは困難です．
本研究では，オンライン手書きデータ(筆記座標，筆圧等の時系列データ)から抽出した特徴量を用いて，機械学習によって解答者が問題を理解しているか否かを推定します．
オンライン解答データを用いた解答戦略の自動推定
本研究は，図形に書き込まれた内容を自動で認識し，学習者の解答戦略を推定する研究です．
タブレット端末やスタイラスペンを用いて取得した幾何問題を題材としたオンライン手書き解答データに対し，画像処理を用いることで幾何問題の図形に書き込まれた記号を自動で認識し，時系列データを解析することで，学習者個々の解答戦略を明らかにすることを目的としています。
眼球運動を用いた数学問題解答中の解答戦略有無の判定
近年、オンライン学習が急速に普及し、学習者に合わせた最適な学習環境を提供することが求められています。これらの適応的な学習環境の提供には、学習者の状態把握が不可欠であり、その手法の一つとして眼球運動の利用があります。本研究では、アイトラッカーによる眼球運動データおよびペンタブレットによる手書き入力データを用いて、数学問題解答中における解答者の状態変化を捉えるとともに、解答戦略を持って解いているかを判定します。
オンライン手書きデータを活用した解答自信度統合による数学スキルの認知診断
近年，教育現場におけるICT端末の普及に伴い，各学習者に個別最適化された教育の提供が注目されています．この個別最適化された教育を実現するための研究の一つに，学習者の強みや弱みを把握する「認知診断」と呼ばれるものがあります．本研究では，ICT端末から得られるオンライン手書きデータ（筆記座標，筆圧等の時系列データ）を活用して，認知診断モデルの精度向上を目指しています．
日本語の長文読解問題における眼球運動データを用いた読解力推定
現状の記述式問題や選択式問題といった長文読解問題の出題方法では，採点に時間がかかる点や，勘でも正解できるため思考過程が採点の考慮に入れられていないという点が課題です．
本研究では，文章読解中の眼球運動から読解力を推定することを目標としています．本研究により，読解力の足りていない生徒へすぐに適切な指導ができ，長時間労働が問題となっている教師の負担を軽減することが可能となります．
コントローラのジョイスティック操作とボタン操作を組み合わせたVR環境下での文字入力手法
近年、VR技術は様々な分野での応用が期待されています。VR技術を様々な分野で利用することを考えると、効率のいい文字入力手法が必要不可欠となります。
本研究では、学習コストが小さく、誤入力率が小さい文字入力手法の実現を目指し、従来のフリック入力と同様に子音が配置されたキーボードを使い、ジョイスティック操作とボタン操作を組み合わせて入力文字を指定する手法を提案しています。
Social VR におけるお互いの気配を認知できるUI
Social VRでは初対面のプレイヤー同士がVR空間内の部屋で交流することができます．しかし，プレイヤーと他のプレイヤーはお互いを認知しにくく交流しにくいという問題があります．
本研究ではプレイヤーの存在を認知させる方法としてボディタッチに焦点を当て，プレイヤーが遠くから他のプレイヤーにボディタッチが可能な「交流しやすいUI」を提案します．これによりお互いの気配を感じ相手に交流の意志を伝えることができることを目指しています．
Raspberry Piを利用した環境に依存しないWi-Fi CSIに基づくジェスチャ認識
今日のIoTの成長に伴い、タッチや音声のような従来のインタラクション方法ではすべてのニーズをカバーできないことがあります。新しいインタラクション手段として、Wi-Fi信号に基づくジェスチャ認識が効果的であると考えられています。本研究は、低コストのRaspberry Piを使用したChannel State Information（CSI）と、深層学習を用いたジェスチャ認識手法の適用に焦点を当てています。また、CSIに前処理を行うことにより、Wi-Fi信号に基づく従来のジェスチャ認識が抱える環境依存性の問題を克服することも目的としています。
日本語長文読解問題における手書きストローク情報の分析
近年，学習者の学習ログデータとして，タッチ情報や手書き情報を用いることが容易になってきています．筆圧や時間間隔などの情報は，解答中の学生の心的状況を知る手がかりとなります．
そこで，本研究では長文読解問題における解答中の文章内への線引きをデジタル化して分析することで，解答者の解答中の状況を判定することを目指しています．
手書き解答データを用いた解法分類
学習中の手書きデータを解析することにより，学習者の行動を監視することが困難なオンライン教育の場において，学習者一人一人に対して最適な学習支援を行うことが可能となります．
LeapMotionとテンキーロックを組み合わせた認証
※左下の図はhttps://developer.leapmotion.com/documentation/cpp/devguide/Leap_Overview.htmlを元にトレース生体認証は，指紋認証や顔認証などの生体情報(個人の特徴)を利用する認証方法であり，パスワード認証と比べて手間が少ないです．しかし，近年の技術の進歩により，指紋などの生体情報を盗むことが可能となっています．また，生体情報は変更することが困難であるため，盗まれてしまうと，安全性の観点から再利用できません．
そこで，変更が可能なパスワード認証と，入力時の手の動作や形状を用いた生体認証を組み合わせることで，安全性を向上させます．使用可能な場面としては，マンションのエントランスや建物内の部屋などのキーロックが挙げられます．
筋電位センサによるジェスチャ入力
スマートフォンなどのタッチパネルやボタンを用いたデバイスへの入力方法は，物を持っている時には使用することができません．このような状況下でも音楽プレイヤやスマートグラスといったハンズフリーデバイスを操作するための入力手法とすることが目的です．
ペイントソフトの機能推薦
ユーザがペイントソフトで絵を描く際に，便利な機能の存在を知らずに，別の機能を使って苦労して描くことがあります．ユーザは対象の機能の名称も効果も知らないため，その便利な機能を長い間知らずにペイントソフトを使うことになります．ユーザの使用している機能や描画座標などのログデータを用いて，ユーザが知るべき機能をユーザに推薦することで，ユーザがより早く上達することが目的です．
VR空間でのプレゼンテーション練習
プレゼンテーションの練習を行なう際には，PCの前でスライドを表示させながら，発声練習する方法があります．しかし，ユーザの周囲に十分なスペースが無い場合や，アイコンタクトなどの練習ができない場合があります．
そこで，VRを用いることで，実際のプレゼンテーションに近い状況を作り出すことができます．
練習時のユーザの視線情報などを解析してユーザにフィードバックを返すことで，ユーザのプレゼンテーション技術を向上させることが目的です．
Pattern recognition method of handwriting geometry solutions with digital pen.
幾何学図形問題を対象に，手書き解答データから論理的思考力を測る研究です．
近年，初等教育から論理的思考力の育成が重要視されてきており，それを磨く上では数学が大きな役割を果たしています．しかし，義務教育中に論理的思考力を測る機会は少なく，生徒がどれほどの論理的思考力を持っているのか分からない状況です．また，数学で論理的思考力を測るには，生徒の思考過程(解法)を判断する必要があります．特に，幾何学図形問題においては式を書かずに図を描くだけで答えを導く場合もあるため，教育者の目視のみで思考過程を判断するのは困難です．
そこで，本研究では，幾何学図形問題を対象に，手書き解答データから生徒の解法を推定し論理的思考力を測ることを目指しています．
スマートウォッチを対象とした歩行中の片手ジェスチャ入力手法
歩行中にも画面を注視せず安全に片手で操作できることで，スマートウォッチの利便性を向上させます．
Eyes free Japanese IME
スマートウォッチはディスプレイサイズが小さく，従来スマートフォンで用いられていた日本語入力手法を適用することは困難です．したがって，ディスプレイサイズに合った日本語入力手法が必要です．
また，画面を見ずに入力できることが，近年問題化している「歩きスマホ」事故防止の一助になると考えられます．
オンライン手書き情報を用いた未定着記憶推定
タブレット端末等から取得可能な時系列情報や筆圧が含まれるオンライン手書き情報を用いて，学習者の記憶定着度を推定する研究です．
応用として「記憶度」が低い事象を優先的に学習することで，効率的に暗記可能な学習支援システムなどがあります．
デジタル手書きドキュメントの検索スニペット生成
時系列筆記情報を利用した学習者のつまずき検出・可視化
Webカメラを用いた視線推定
