報告者: 植田智恵美(松田ゼミ)

卒業研究として行った「ARを用いた「見て操作する」システムの試作と評価」を、3月15日、早稲田大学で開催された第80回情報処理学会全国大会で発表し、学生奨励賞を頂きましたので報告します。受賞理由は以下です。

  • 家電機器を操作する研究は今後重要である。
  • 実装から評価までをしっかり行っている。
    15210993921760gazeAward

論文はこちらをクリックしてください。

1.情報処理学会に関して

情報処理全般にわたる分野の調査・研究を目的とした学会で、全国大会は情報処理学会が年1回(春季)開催する学会最大のイベントです。大会では最新の学術・技術動向や情報に関する新しい研究成果やアイディア発表を通し意見交換・交流が行われます。

gazePresen

2.発表内容

今日、電化製品を含む様々な機器がIoT化されつつありますが、機器の操作方法は機能・設置場所に応じ様々です。例えば、天井の蛍光灯の照明はスイッチが操作対象(照明)と離れた場所にあり、どのスイッチがどの照明を制御するか分かりにくい、また、操作対象にスイッチがついている電気スタンドなどでは、手の届く範囲にない場合、スイッチを消しに行く必要があります。

このような不便さを解決する方法として、リモコンがありますが、リモコンは置いた場所を忘れたり、複数個使用していた場合は、電化製品ごとにリモコンを判断して使い分けるという使用上の負荷が生じます。今後、ARの発達に伴いHoloLensのようなカメラ付きのシースルー型の眼鏡の普及が予想される中、本研究では、これまで提案してきた「見て操作する」方式を、ARを用いて開発したシステムを使用して実験を行い、評価しました。

gazeAndControl

本システムは、Processingで開発し、AR用ライブラリとしてNyAR4psgを使用、電化製品の操作にはArduinoに赤外線LEDを搭載して用いました。本システムを起動し、電化製品に付けたマーカを認識するとタブレットの画面にカメラに映った電化製品とその操作ボタンが表示され、それをタッチすることで機器のON・OFF操作ができます。様々な機能の付いた機器では、各機能に対応するコントロールを表示し、制御する機能を持ちます。

gazeSystem

本システムの評価は、20名の本学の学生を対象に、本システムと複数のリモコン、学習リモコンを用い3つの照明器具を制御する実験を行いました。実験では、それぞれの試行における操作時間を計測し、最後に使い易さや操作に関するアンケートを行いました。

実験の結果、3つの器具の操作にかかった平均時間は、本システム(15.2秒)が最も短く、次いでリモコン(16.5秒)、学習リモコン(71.65秒)となりました。

gazeResult1

この結果から、本システムとリモコン、本システムと学習リモコンの操作時間に関してt検定を行ったところ、本システムとリモコンとでは有意差は認められませんでしたが、学習リモコンとでは有意差が認められました。一方、本システムとリモコンとでは有意差が認められなかった原因は、今回の実験ではリモコンを手元に並べた状態でON・OFF操作だけを行ったためと考えられ、様々な種類のリモコンが散在していたり、他の機能を操作する実環境では差が出るものと考えられます。

また、アンケートの結果から、3つの操作方法(本システム、複数のリモコン、学習リモコン)の中で本システムが最も使い易かったと80%が感じており、ユーザー体験としては良好なものであることが分かりました。

gazeResult2

以上より、「見て操作する」方式を使用した本システムは、他の方法と比べ最も早く操作出来た人が多く、アンケートからも被験者に受け入れられる可能性が高いということが分かりました。今後の予定としては、本実験では簡易評価のため視覚的なマーカと赤外線による機器操作を用いましたが、マーカは、赤外線マーカなど目に見えないものに変更、機器の操作もIoT化を前提にネットワーク経由で行えるようにすることなどがあげられます。また、ネットワーク上に機器の状態管理サーバを置くことで、複数の人が同一機器を操作したしたときに機器の状態をUIに反映することが可能となります。

gazeStateServer
3.
発表に関して

全国大会当日は、午前の部で発表を行いました。初めての学会発表で、私が参加したセッションの中でもトップバッターだったということもあり、とても緊張しましたが、無事に発表を終えることができました。発表後3人の方から質問、コメントをいただきました。

  • 複数の電化製品のマーカが画面の中にあった場合はどうなるのか?
  • 最終的にはHoloLensのようなHMDで研究をするのか?HoloLensにはこのような研究を行うのに適したライブラリがある。
  • 被験者は学習リモコンを使ったことがあるのか?無い場合は、練習はしたのか?
  • Sonyが出しているタッチパネル型の学習リモコンで評価するとよい

等の質問以外にも、新たなアイディアや知識も得ることができ、とても充実した15分間となりました。

4.終わりに

3年次の後期から本研究を始め、システムの制作で思い通りにいかないこともありましたが、ご指導をいただきました松田晃一教授、非常勤講師の永田雅人先生、実験やアンケートに協力して下さった松田ゼミのメンバーをはじめ多くの方々の協力によって、今回の発表を成功させることができました。発表後、他の大学の方々から面白い研究だったというお言葉をいただき、評価していただけたことを非常に嬉しく思います。また、他の大学の方の研究も聞くことができ、視野を広げることができました。このような素晴らしい経験をさせていただきありがとうございました。この経験は今後の生活の中でも活かしていきたいと思います。

報告者: 平野愛里(松田ゼミ)

卒業研究として行った「 ヒューマノイド型ロボット“Pepper”を用いた学習支援システムの 試作と評価 」を、3月13日に早稲田大学で開催され第80回情報処理学会全国大会で発表してきましたので報告します。論文はここをクリックしてください。

1.情報処理学会に関して

情報処理全般にわたる分野の調査・研究を目的とした学会で、全国大会は情報処理学会が年1回(春季)開催する学会最大のイベントです。大会では最新の学術・技術動向や情報に関する新しい研究成果やアイディア発表を通し意見交換・交流が行われます。

pepperPresen

2.発表内容

近年のヒューマノイド型ロボットの性能は人工知能の発達に伴い著しく向上し、近い将来、このようなロボットが家庭内に家事以外にも勉強を支援するようになると考えられます。従来の勉強法には暗記やリビング学習、スマホ勉強法などがありますが、これらは基本的に、進捗を管理したり、解答の正否が分かるだけのものが多く、単調な学習の繰り返しになりやすかったり、飽きやすく継続しにくいという問題があります。本研究では、学習を褒めるという行為に注目し、家庭内にヒューマノイド型ロボットが居る環境での学習支援に関し、Pepperを用いて開発した学習支援システムを用いた実験・評価をしました。

pepperSystem

本システム開発は、ChoregrapheでPepperのアプリケーションとして開発し、テストと採点システムの開発はHTML5とJavaScriptで行いました。

システムを起動すると、Pepperが挨拶と説明を発話し、テストを胸タブレットに表示します。ユーザは胸部タブレットに表示された問題を解き、解答作業が終了すると結果を表示、Pepperが得点に応じて三次元的な「褒める」動作を行い、応援メッセージを発話します。動作と応援メッセージは得点ごとに異なります。

pepperTabletpepperMotion

本システムの評価は、24名の大学生を対象に12名ずつ2グループに分けてテスト問題を解く実験を行いました。グループAは紙の問題用紙と本システムでPepper、グループBはタブレット端末上のテストシステムとPepperで解いてもらいました。タブレット端末にはPepperで動いているテストシステムと同じものが動いており、音声で褒めるだけな点が異なります。テストは2017年のITパスポートから10問を選び被験者ごとに異なるものを使用しました。どちらのグループもテストの解答から答え合わせまでの時間の計測を行い、テスト終了後、被験者にアンケート(4項目)を実施しました。

テストの解答時間の平均は、タブレットと本システムとでは差があまりなく、紙テストは1分ほど長く、これは答え合わせの時間と考えられます。

pepperResult1

学習の継続性本システムと紙のテストでは75%が本システムの方が継続できそう、本システムとタブレット端末では、88%が本システムの方が継続できそうと回答しました。これは、Pepperが発話を交えて褒める動作が学習者に影響したためと考えられます。

pepperResult2

学習の達成感本システムと紙テストでは、58%が本システム、本システムとタブレット端末では、83%が本システムの方が達成感を感じていたことが分かりました。本システムと紙との差が大きくないのは、従来の解答を紙に書き込むという作業に伴う達成感に起因するものと考えられます。

pepperResult3

問題の解きやすさ本システムと紙テストでは67%が本システムの方が解きやすいと感じ、本システムとタブレット端末では問題の解きやすさは同じでした。これは、紙との比較では、本システムの解答作業がPepperのタブレットをタップするだけで済む簡易さに起因するものと考えられます。

pepperResult4

褒められた感テスト後の声掛けで褒められたと感じたのは70%の人がタブレット端末よりも本システムと回答しました。音声だけのタブレット端末に比べ、人型をしたPepperの褒める動作が、学習者により褒められているという印象を与えたものと考えられます。

pepperResult5

また、自由記述欄からは、「Pepperが出来によって声をかけてくれるので継続しても飽きないと感じた」、「Pepperの動作が人間のように感じ、人に見られている気がして集中できるような気がした」などの意見が得られ、Pepperの身体性が影響していることが分かりました。

3. 発表に関して

全国大会当日は、大会初日の午前の部で発表を行いました。当日までの練習の甲斐あって、とても緊張したものの練習通りに発表することができました。発表後には3人の方から質問、コメントをいただきました。

  • Pepperの行動を分岐させるのは点数で行っているのか?
  • タブレットで動いているシステムはPepperのとどこが異なるのか?
  • 実験には、男子も入れた実験をやってみるとよい。高齢者でやっても面白いかもしれない

4.終わりに

発表では想定していなかった質問もあり、緊張しましたが、何とか回答して無事に発表を終えることが出来ました。今回の学会発表では、他の学生の発表を聞けたり、研究を褒めていただいたり、自分にとってとても良い経験になりました。今回の経験を、これからに生かしていきたいと思います。

報告者: 狩野麗羅(松田ゼミ)

卒業研究として行った「心拍の可視化システムの試作とコミュニケーションに与える影響の評価—図形、光、振動を用いて」を3月13日に早稲田大学で開催され第80回情報処理学会全国大会で発表してきましたので報告します。論文はここをクリックしてください。

1.情報処理学会に関して

情報処理全般にわたる分野の調査・研究を目的とした学会で、全国大会は情報処理学会が年1回(春季)開催する学会最大のイベントです。大会では最新の学術・技術動向や情報に関する新しい研究成果やアイディア発表を通し意見交換・交流が行われます。

heartPresen

2.発表内容

今日行われている遠隔コミュニケーションは、電話以外にも、SNS、チャット、LINE等を用いたものなど多彩になってきています。また、インターネットの発達により様々な情報を伝えられるようになってきていますが、これらのツールが伝える情報は音声や文字、画像などが主であり、それ以外の対話者の情報はプロフィールや写真等の静的な情報が多いままです。一方で、対話者そのものの動的な情報を伝える遠隔コミュニケーション方法にTV電話がありますが、これは必要以上に情報を伝え過ぎる点で上記のツールに比べて普及していません。

本研究では簡易に対話者の動的な情報を伝える手段として対話者の心拍に注目しました。心拍は人の精神や体の状態がよく現われ、心拍数は気分と関係することが分かっています。本稿では、遠隔コミュニケーションに心拍を、図形のアニメーション、光、振動の3方法で可視化するシステムを導入・評価しました。

heartSys

本システムの評価方法は20名の女子大学生を対象に行いました。2 名 1 組で、部屋A、部屋Bに分かれ行い、電話を用い会話内容は指定せずに5分間会話、実験中に会話が心拍と連動していると感じた際にマウスのクリックをお願いしました。最後にアンケートを行いました。

実験の結果、心拍の可視化方法として、分かりやすかった可視化方法は、振動65%、アニメーション30%、光5%となりました。この結果から視覚情報だけでなく振動を聴覚でも感じる事が出来たため振動が一番となったことが分かりました。

result1

アニメ・光・振動の3つの可視化方法として、どれがコミュニケーションに影響したかの問いに関しては、アニメ、振動が80%と同数となり光が55%となりました。この結果から、アニメ、振動が同じなのは、可視化表示が話題の盛り上がりと連動していると感じられたためという事が分かりました。

result2

心拍と連動したと感じたクリック回数の総数では、振動>光>アニメの順となりました。振動や光の方がアニメーションよりも会話と連動している印象を与え易いことが分かり。

result3

理由として、振動や光の方がアニメーションよりも会話を妨げずに情報を取得し易いと考えられます。

本システムを体験し、コミュニケーションに違いが出たかの問いに対して、違いが出たと感じた、少し感じたのは100%となりました。結果から、可視化表示を利用し、積極的にコミュニケーションをとることが分かりました。

result4

また、自由記述欄からは、「日常生活で会話しているときには相手の心拍は分からないので、それらが可視化されて見ることができ、とても面白かった」、「話の流れによって心拍の変動を見ることが出来て楽しかった」、「話し相手の心拍が可視化されることによって相手の状況が読めるのは単純に面白いと感じた」などの意見が得られ、本体験が「楽しい・面白い」ものと感じていたことが分かりました。

3.発表に関して

全国大会当日は、午後の部で発表を行いました。とても緊張しましたが、当日までに何度も練習を行ってきたので何とか練習通りに発表することができました。発表後3人の方から質問、コメントをいただきました。

  • 人によっては心拍を相手に伝えることを不快に感じるのではないか?
  • 円による可視化は直感的なのか?グラフの方が直感的では?
  • 振動モーターを使ってどのよう遠隔コミュニケーションを考えているのか?

想定していた質問もありましたが、緊張してしまいうまく答えることができず、もっと自分の研究に対して何でも答えられるようにしないといけないということを実感しました。

4.終わりに

3年の秋ごろから研究を本格化し、システムの制作や実験で大変な時期もありましたが無事に発表を終えることができました。発表後、他大の教授から面白い研究だったと仰っていただき、自分の研究を他の学生などに知ってもらうとても良い経験をさせていただきました。この経験を社会でも活かしていきたいと思います。

 

 

 

 

上映直前s
上映に先立ち制作意図などを説明する学生たち

 

2017年12月16日(土)に東京ビッグサイトで行われた「有明・冬フェス2017 東京国際プロジェクションマッピングアワードvol.2」。昨年に引き続き堤ゼミではゼミ活動の一環として3年生11人のチーム「アントルメ」が作品を応募。第1次選考(予選)を通過して、同アワードに唯一の女子大学チームとして出場しました。このアワードには全11チームが参加し、6,300人を超す来場者を得て大いに盛り上がりました!

「Come on ―四季の世界―」と題した作品は、季節感に富む家紋のデザインを日本の四季の情景に溶け込ませるというコンセプトで、休日返上でおよそ4カ月間かけて制作しました。日本の家紋には草花や器物などのモノ、そして生活や自然に関係があるコトなどが図案化されていて、形状や配置に関していくつかの共通特徴があります。また、ときに立体的であったりだまし絵のようであったりもします。この古のデザイナーたちが家紋にあらわした意図をくみつつ、変化に富んだ日本の四季の情景を表現できたらと考えました。色や動きでエンターテイメント性を持たせ、見ている人に分かりやすい作品を目指しました。

授業で学んできた3DCGや映像編集などのスキルを駆使しましたが、最終映像の計算に、時には実習室のPC72台を一気に使って何時間も計算することもありました。

シーンをチームで議論する
シーンをチームで議論する

レンダリング風景1s
実習室のPCすべてを使って最終映像の計算

 

start_s
①家紋の砂時計が動き始める

アイソメs
②アイソメ的だまし絵と家紋

家紋とびちり_s
③はじける和柄の家紋

唐草2s
④伸び始める蔦(春への序章)

春s
⑤春の息吹

梅鶴s
⑥梅とウグイス

夏1s
⑦初夏の光のフレア

夏2s
⑧夕暮れのまわり燈篭と花火

秋1_2s
⑨散りゆく紅葉

秋2s
⑩月とウサギとススキ

冬s
⑪降りしきる雪

last_s
⑫フィナーレ

 

上映後の懇親会で、作品の講評を審査員の方がたに伺いました。皆さんに家紋と四季という企画テーマは良かったと言っていただけました。ただ、作品に軸あるいはストーリーがなかった、盛り上げに欠けたという意見もいただきました。学生作品では、もともと技術は期待されていなく、企画力やアイデアや表現力が大切であるとも伺いました。今回も制作前にアイデアを練る時間が少なかったことは確かで、また、デザイン力なども含め学ばなければならないことは多々あると実感しました。

なお、TBSの情報番組からは事前および当日取材を受け、12月17日に放送されたTBSテレビの情報番組「『日曜Nスタ』Sunトピ」の中で、“季節感と家紋をテーマに、これをあわせる仕掛けが随所に見られた作品”として取り上げていただきました。

インタビューs
当日取材を受けるゼミ生たち

 

ともあれ、経験したからこそ得られた様々な気づきや教えを今後に生かすべく卒業研究に向かってほしいものです。長期間にわたってご苦労様でした。

最後に参加した学生の感想を記します。

パソコンの画面で動画を観るのと東京ビッグサイトの大きな壁に投影された動画を観るのとでは見え方が大きく異なる、ということを自分達で制作した動画を通じて知ることができてよかったです。(N.N.)

知識も技術もほぼゼロからのスタートで不安もありましたがメンバー達と制作している時間はそれ以上に楽しいものでした。当日、投影された自分達の作品を見て心から参加してよかったと思える良い経験になりました。(M.I.)

日々、より良い作品になっていくのを肌で感じ、お互い意見を言いながらも満足のいくものができました。なによりもチームのみんなと協力し、本気で取り組めたことは、大学生活の中で良い経験となりました。(A.M.)

今回、参加して感じたことは、チームの大切さでした。このプロジェクトには多くの技術が必要とされているのにもかかわらず最後まで乗り切ることができたのは、一重に役割を分担して協力したチームのおかげでした。(M.I.)

私にとって今回の出場は大きな挑戦でした。最初は何も分からず苦労も多々ありましたが、チームで一つの作品を作り上げる楽しさを知りました。この経験を今後就職活動や社会人生活に活かしていけたらと思います。(A.K.)

夏頃から一生懸命作ってきた作品が東京ビッグサイトという大きな建物に投影されたのが単純にとても嬉しかった。何度も何度も繰り返し見てきたはずの映像がその日はとても綺麗でかっこよく見えた。(N.T.)

去年の夏ごろからゼミのみんなで力を合わせて作ったプロジェクションマッピングが、東京ビックサイトに映し出された時は、本当に感動しました。大変なこともあるけれどやってよかったと思いました。(S.T.)

何もわからない状態で始まった制作でしたが、お互いに支え合いながら全員で一つのものを作るという大変ながらやりがいのある作業でした。ビッグサイトに映し出される自分たちの作品を見たときはとても感動しました。(H.M.)

プロジェクションマッピングの作成にあたって、知識もあまりないまま始めましたが周りの助けを借りながら作り上げることができました。作り上げた瞬間の達成感はもちろん、上映会で投影された時の感動は、言葉に表せないほどのもので、みんなで一つのものを作り上げるということは、私の中で大きな経験となりました。(M.N.)

TPMAは堤ゼミに入る前から参加したくて、参加すると決まったときはとても嬉しったです。実際に取り掛かってみるととても大変でしたが、東京ビックサイトの壁面に投影されたときに得た達成感は計り知れなかったです。(M.S.)

様々な苦労もありましたが、終わった後は今までにないほどの達成感を感じました。めったにできない体験ができたので参加できてよかったと思います。(Y.S.)

集合写真s
チーム「アントルメ」

 

詳細は大学のお知らせサイトをご覧ください。
〇大妻女子大学・お知らせ―2017年12月21日「家紋で日本の四季を表現したプロジェクションマッピングが投映 社情・堤ゼミ」
http://www.otsuma.ac.jp/news/2017/20171221161937
〇TBS web『日曜Nスタ』Sunトピ・バックナンバー
http://www.tbs.co.jp/tenki/suntopi20171217.html
〇電通報
https://dentsu-ho.com/articles/5719