IUI Group

インテリジェント・ユーザインタフェース(IUI)グループでは、主に人間とデータ(コンピュータ)が直接触れ合う領域について研究しています。カメラから得られる画像データやマイクから得られる音声データ、そしてキーボード・ペン・タッチ入力やSNSデータ等の人間からの入力データを機械学習といった技術で解析し、コンピュータに新たな解釈を与えることで人間の能力を向上させるコンピュータのインタフェースを探求しています。

例えば私たちが日常的に利用しているスマートフォンのタッチ・インタフェースでは人間がタッチした箇所をそのまま反映させるのではなく、人間の意図した箇所と実際にタッチされた箇所のズレを算出して自動的に補正しています。人間のタッチデータをもとにした補正技術により、人間の意図を汲み取った快適な操作性が実現しているのです。このような知的ユーザインタフェースやHCI (Human-Computer Interaction) と呼ばれる研究分野において、データを取得・解析しユーザの手助けをする技術に関する研究を主に行っています。

現在の研究

Pattern recognition method of handwriting geometry solutions with digital pen.



幾何学図形問題を対象に,手書き解答データから論理的思考力を測る研究.
近年,初等教育から論理的思考力の育成が重要視されてきており,それを磨く上では数学が大きな役割を果たしている.しかし,義務教育中に論理的思考力を測る機会は少なく,生徒がどれほどの論理的思考力を持っているのか分からない状況である.また,数学で論理的思考力を測るには,生徒の思考過程(解法)を判断する必要がある.特に,幾何学図形問題においては式を書かずに図を描くだけで答えを導く場合もあるため,教育者の目視のみで思考過程を判断するのは困難である.
そこで,本研究では,幾何学図形問題を対象に,手書き解答データから生徒の解法を推定し論理的思考力を測ることを目指す.

スマートウォッチを対象とした歩行中の片手ジェスチャ入力手法



スマートウォッチにおいて,歩行中に使用できるジェスチャの認識を目指す.
歩行中にも画面を注視せず安全に片手で操作できることで,スマートウォッチの利便性を向上させる.

過去の研究例

Eyes free Japanese IME



スマートウォッチにおいて,アイズフリーな日本語入力を可能にするシステム.
スマートウォッチはディスプレイサイズが小さく,従来スマートフォンで用いられていた日本語入力手法を適用することは困難である.したがって,ディスプレイサイズに合った日本語入力手法が必要である.
また,画面を見ずに入力できることが,近年問題化している「歩きスマホ」事故防止の一助になると考える.


オンライン手書き情報を用いた未定着記憶推定

記憶を定着させるためには,暗記する対象を再学習する反復学習を繰り返す必要があると言われており,効率的に暗記を行うためには定着していない記憶を選び出して優先的に反復学習を行うことが必要である.
タブレット端末等から取得可能な時系列情報や筆圧が含まれるオンライン手書き情報を用いて,学習者の記憶定着度を推定する研究.
応用として「記憶度」が低い事象を優先的に学習することで,効率的に暗記可能な学習支援システムなどがある.

デモ
スクリーンショット 2014-12-08 16.00.00

デジタル手書きドキュメントの検索スニペット生成

デジタル手書きデータを解析し、重要な箇所を認識する。認識した重要箇所を元に手書きドキュメントを要約し、手書きドキュメント検索の効率化をを実現する。浅井洋樹

時系列筆記情報を利用した学習者のつまずき検出・可視化


学習者の時系列筆記情報を取得し、答案には現れないつまずきを検出する。検出したつまずき状態を答案に可視化する。浅井洋樹

Webカメラを用いた視線推定

webcam 安価なWebカメラ3台を用いて,見ているディスプレイの領域を推定する.

動画像からの衣服領域抽出

cloth 動画像から人間が正面を向いている画像を決定し,衣服領域を抽出する.

人物画像における髪型の定量化

kamigata Cannyエッジ情報を用いて人間の「髪型」を定量化する.抽出した髪型特徴を利用することで顔認証の認証精度向上が期待される.

複数特徴量の統合による画像劣化の検知

主にエッジ情報を用いることで,携帯機器上の小さなディスプレイで確認することが困難な画像のブレやぼけの劣化を検知する.検知した後に,撮り直しを促すことで画像劣化を改善する.

オンライン手書きデータによる記憶度の推定

オンライン手書きデータによる記憶度の推定
iPadなどのタブレット端末に記入されたデータをオンライン手書きデータと呼ぶ.オンライン手書きデータは,紙に書かれている文字を読み取ったデータとは異なり,時間あたりのペンの座標など,時系列にデータを取得することができるため,より詳細な解析が可能である.本研究では,オンライン手書きデータから記憶度の推定を行うことを目的としている.
まず,被験者に漢字の問題を出題し,“完全に記憶している”漢字を書いた場合のオンライン手書きデータと“記憶が曖昧な”漢字を書いた場合のオンライン手書きデータの差異を検定により明らかにした.
検定の結果,「ペンのストロークの時間間隔」や「消去したストロークの本数」等のデータに差異が見られた.
以上より,「ペンのストロークの間隔」や「消去したストロークの本数」等を比較することで,未知のオンライン手書きデータに対して“完全に記憶している”のか,“記憶が曖昧な”のかを判別することが可能である.このとき,2値分類学習器であるSVMによって分類を行った.