インテリジェント・ユーザインタフェース(IUI)グループでは,主に人間とデータ(コンピュータ)が直接触れ合う領域について研究しています.カメラから得られる画像データやマイクから得られる音声データ,そしてキーボード・ペン・タッチ入力などの人間からの入力データを機械学習などを用いて解析し,コンピュータに新たな解釈を与えることで人間の能力を向上させるコンピュータのインタフェースを探求しています.
例えば私たちが日常的に利用しているスマートフォンのタッチ・インタフェースでは人間がタッチした箇所をそのまま反映させるのではなく,人間の意図した箇所と実際にタッチされた箇所のズレを算出して自動的に補正しています.人間のタッチデータをもとにした補正技術により,人間の意図を汲み取った快適な操作性が実現しているのです.このような知的ユーザインタフェースやHCI (Human-Computer Interaction) と呼ばれる研究分野において,人間が生み出すデータを取得・解析しユーザの手助けをする技術に関する研究を主に行っています.
研究紹介
日本語長文読解問題における手書きストローク情報の分析
近年,学習者の学習ログデータとして,タッチ情報や手書き情報を用いることが容易になってきています.筆圧や時間間隔などの情報は,解答中の学生の心的状況を知る手がかりとなります.
そこで,本研究では長文読解問題における解答中の文章内への線引きをデジタル化して分析することで,解答者の解答中の状況を判定することを目指しています.
.
手書き解答データを用いた解法分類
学習中の手書きデータを解析することにより,学習者の行動を監視することが困難なオンライン教育の場において,学習者一人一人に対して最適な学習支援を行うことが可能となります.
スマートフォンにおけるストローク認証
本研究では、タッチストロークを利用した継続的な認証において、認証精度や頑健性の向上に取り組んでいます。また、実運用に向けて模倣に耐性のある認証の構築や、クラウド上での演算処理にも挑戦しています。
スマートフォンでのアクティブ認証
山名研究室では,スマートフォンに搭載されたタッチパネルや圧力センサを利用して,スワイプやタッチ操作を用いたアクティブ認証の研究を行なっています.
LeapMotionとテンキーロックを組み合わせた認証
生体認証は,指紋認証や顔認証などの生体情報(個人の特徴)を利用する認証方法であり,パスワード認証と比べて手間が少ないです.しかし,近年の技術の進歩により,指紋などの生体情報を盗むことが可能となっています.また,生体情報は変更することが困難であるため,盗まれてしまうと,安全性の観点から再利用できません.
そこで,変更が可能なパスワード認証と,入力時の手の動作や形状を用いた生体認証を組み合わせることで,安全性を向上させます.使用可能な場面としては,マンションのエントランスや建物内の部屋などのキーロックが挙げられます.
筋電位センサによるジェスチャ入力
スマートフォンなどのタッチパネルやボタンを用いたデバイスへの入力方法は,物を持っている時には使用することができません.このような状況下でも音楽プレイヤやスマートグラスといったハンズフリーデバイスを操作するための入力手法とすることが目的です.
ペイントソフトの機能推薦
ユーザがペイントソフトで絵を描く際に,便利な機能の存在を知らずに,別の機能を使って苦労して描くことがあります.ユーザは対象の機能の名称も効果も知らないため,その便利な機能を長い間知らずにペイントソフトを使うことになります.ユーザの使用している機能や描画座標などのログデータを用いて,ユーザが知るべき機能をユーザに推薦することで,ユーザがより早く上達することが目的です.
VR空間でのプレゼンテーション練習
プレゼンテーションの練習を行なう際には,PCの前でスライドを表示させながら,発声練習する方法があります.しかし,ユーザの周囲に十分なスペースが無い場合や,アイコンタクトなどの練習ができない場合があります.
そこで,VRを用いることで,実際のプレゼンテーションに近い状況を作り出すことができます.
練習時のユーザの視線情報などを解析してユーザにフィードバックを返すことで,ユーザのプレゼンテーション技術を向上させることが目的です.
Pattern recognition method of handwriting geometry solutions with digital pen.
幾何学図形問題を対象に,手書き解答データから論理的思考力を測る研究です.
近年,初等教育から論理的思考力の育成が重要視されてきており,それを磨く上では数学が大きな役割を果たしています.しかし,義務教育中に論理的思考力を測る機会は少なく,生徒がどれほどの論理的思考力を持っているのか分からない状況です.また,数学で論理的思考力を測るには,生徒の思考過程(解法)を判断する必要があります.特に,幾何学図形問題においては式を書かずに図を描くだけで答えを導く場合もあるため,教育者の目視のみで思考過程を判断するのは困難です.
そこで,本研究では,幾何学図形問題を対象に,手書き解答データから生徒の解法を推定し論理的思考力を測ることを目指しています.
スマートウォッチを対象とした歩行中の片手ジェスチャ入力手法
歩行中にも画面を注視せず安全に片手で操作できることで,スマートウォッチの利便性を向上させます.
Eyes free Japanese IME
スマートウォッチはディスプレイサイズが小さく,従来スマートフォンで用いられていた日本語入力手法を適用することは困難です.したがって,ディスプレイサイズに合った日本語入力手法が必要です.
また,画面を見ずに入力できることが,近年問題化している「歩きスマホ」事故防止の一助になると考えられます.
オンライン手書き情報を用いた未定着記憶推定
タブレット端末等から取得可能な時系列情報や筆圧が含まれるオンライン手書き情報を用いて,学習者の記憶定着度を推定する研究です.
応用として「記憶度」が低い事象を優先的に学習することで,効率的に暗記可能な学習支援システムなどがあります.