区分
高度専門科目
ディプロマ・ポリシーとの関係
SDGs力
科学コミュニケーション力
研究力
カリキュラム・ポリシーとの関係
教養
応用力
実践力
科目間連携
総合心理力
カリキュラム全体の中でのこの科目の位置づけ
この科目は「高度専門科目」に位置づけられる選択科目である。
科目の目的
この『バーチャルリアリティの心理学』は、人間の知覚・認知をはじめとする「こころのはたらき」とバーチャルリアリティ(以下、VRと省略する)との関係について理解を深めることを目的としている。
2年次科目『知覚・認知心理学』で、人間(と動物など)の感覚・知覚と認知について、実験心理学、脳科学といった科学的観点から理解を深めた。学んだ人間の感覚・知覚、認知の特性とメカニズムの理解をベースとして、同学期である2年後期に開講される『視覚の心理学』での基礎的な学びと並行しながら、この『バーチャルリアリティの心理学』にて、人工的に作成して提示した情報から、リアルに非常に近いバーチャルな世界を人間にどのように認識させるかという応用技術と心理学との関係について説明して理解を育む。
到達目標
・バーチャルリアリティの研究分野の始まりから現在の最新技術について理解する
・バーチャルリアリティ、メタバースの実現に知覚心理学・認知心理学で明らかとなった人間の知覚認知特性がどのように関わっているかを理解する
・人間を対象とした心理学研究から得られた知見が他分野における応用場面で役に立てるかという視点を養う
科目の概要
この科目は、基盤専門科目「知覚・認知心理学」の学習を前提とした高度専門科目として、人間の知覚・認知とバーチャルリアリティ(VR)との関係について学ぶことを目的とする。我々人間は、感覚受容器を介して入力された外界の情報が脳で分析解釈されたその結果を「外界」として知覚している。その観点から考えると、人間が認識している世界そのものが人間によって構成されたバーチャルなものであると言ってもよいだろう。この授業では、「知覚・認知心理学」で学んだ人間の知覚・認知に関する知見をふまえ、人間のなかにリアリティを生み出す感覚情報提示の手法や装置、及び人間の心理的要因に特に焦点を当て、VRと人間との関わりについて説明する。併せて、VR技術を用いて人間の心や自己、身体について調べた心理学研究、脳科学研究も紹介していくことで、卒業研究に向けて、VRと心理学との関係について研究を進めるための視点を養う。
科目のキーワード
バーチャルリアリティ、VR、視覚、聴覚、皮膚感覚、体性感覚、感覚間相互作用、前庭感覚、VR酔い、自己移動感覚、ベクション、拡張現実、AR、複合現実感、MR、テレイグジスタンス、アバター、身体所有感、行為主体感(動作主体感)、プロテウス効果、VRパースペクティブテイキング、人間拡張、ボディシェアリング、コンテンツ、メタバース
授業の展開方法
PowerPointのスライドをメインで使用し、必要に応じて視聴覚教材を使って説明する。
オフィス・アワー
前期:水曜昼、木曜昼
後期:水曜昼、木曜昼
科目コード
RE4090
学年・期
2年・後期
科目名
バーチャルリアリティの心理学
単位数
2
授業形態
講義
必修・選択
選択
学習時間
【授業】90分×15 【予習】90分以上×15 【復習】90分以上×15
前提とする科目
展開科目
関連資格
担当教員名
金谷英俊
回
主題
コマシラバス項目
内容
教材・教具
1
VRとは何か
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
この第1回は、本科目全体の導入として、VRとはどのようなものかについて説明する。加えて、VR技術およびその展開に、人間の心理、特に知覚・認知機能の理解がどのように関係してくるのかについて改めて説明し、次回以降の講義へとつなげる。
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社
東京大学バーチャルリアリティ教育研究センター (2022). トコトンやさしいVRの本[第2版] 日刊工業新聞社
雨宮 智浩 (2023). メタバースの教科書 -原理・基礎技術から産業応用まで- オーム社
コマ主題細目
① バーチャルリアリティ (VR) とは ② VRと人間の知覚・認知 ③ VRと心理学との密接な関係
細目レベル
① バーチャルリアリティ(VR)とは、現実とよく似た性質、すなわち現実の「エッセンス」を持つ人工的な環境を、VRゴーグルなどの提示装置を通して、あたかも現実であるかのように体験するための技術である。単に人工的な映像を見るだけでなく、利用者自身がバーチャル空間内で歩いたり、物を持ったりするなどの行動を行い、それに対応して環境がリアルタイムで変化する相互作用が重要となる。また、VRを成立させる要素として、人間にとって自然な奥行きを持つ三次元空間、その空間内で自由に行動して環境と相互作用できること、さらに自分自身がその空間内に存在していると感じられることが挙げられる。したがって、VRでは人工環境を作る技術だけでなく、それを人間にいかに現実らしく体験させるかが重要な問題となる。
② 現実世界のすべての物理情報を完全に再現しなくても、人間の知覚・認知の特性を利用すれば、現実に近いVR体験を作ることができる。人間は外界そのものを直接認識しているのではなく、目や耳などの感覚受容器で限られた情報を受容し、それを脳が分析、解釈、再構成することで世界を知覚している。感覚情報の一部は受容過程で失われ、別の情報はカンカク受容器から脳へと伝わるまでの情報処理経路を経るなかで強調・抑制されるほか、図地分化や知覚的体制化、注意による情報の選択も行われる。以上のことからも、入力される情報が現実の光であってもCGであっても、その入力情報を知覚・認知システムによって再構成しているという点で、私たちの知覚はバーチャルなものであると言えよう。VRではこの性質を利用し、映像、音、皮膚刺激などの適切な情報を感覚受容器へ与えることで、人工的な環境を現実の世界として知覚させることを目指している。
③ バーチャルリアリティと、感覚・知覚・認知を扱う心理学には、双方向の密接な関係がある。心理学によって、人間がどのような情報を現実らしいと感じるのか、どのような条件でバーチャル空間内に自分が存在していると感じるのかを明らかにすれば、その知見をVRの設計に利用できる。たとえば、奥行き知覚の仕組みは自然な三次元映像の実現に、身体所有感や行為主体感の研究はアバターを自分の身体として感じさせる技術に役立つ。一方、VRは心理学研究の手段にもなり、現実では構築が難しい特殊な環境を人工的に作り、そこで人間の知覚、認知、身体感覚、行動がどのように変化するかを実験的に検討できる。したがって、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらす。
キーワード
① バーチャルリアリティ (VR) ② リアルとバーチャル ③ VRの三要素 ④ 三次元空間 ⑤ 相互作用
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
2
VRの歴史
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第2回では、第1回で説明したVRに関する導入をふまえ、VRの概念や技術がどのようにして生まれ、どのようにして発展してきたのかというVRの歴史を概観する。古くは、18世紀から19世紀にかけての芸術や建築にすでに、現在のVRでもみられる手法が用いられていると思われるが、現在のVRと直接つながる技術が出現したのは1960年代前後からである。それ以降、技術の発展に伴い、VRのブームが幾度か起こっている。VRの黎明期およびブームの時期ごとにVR分野の状況をみていくこととする。
服部 桂 (2019). VR原論 -人とテクノロジーの新しいリアル- 翔泳社
コマ主題細目
① 近代から20世紀前半までのVRの歴史 ② 1960年代のVR黎明期 ③ 1980-90年代以降のVR
細目レベル
① 近代以降、現在のVRにつながる表現は、写実性、没入性、動き、多感覚性を高める方向へ発展した。ルネサンス以降には線遠近法や大気遠近法によって、二次元の絵画に、現実に近い三次元空間を表現できるようになった。さらに18世紀末には、円形建物の壁面を360度の絵画で覆うパノラマが制作され、鑑賞者を人工的な視覚世界で取り囲むことで没入感を高めた。1900年のパリ万国博覧会のムービングパノラマでは、ロール状の絵を動かして景色の移動を表現するとともに、風や照明など他の感覚情報も加え、移動しているような臨場感を生み出した。一方、19世紀の写真技術の発達を経て、19世紀末にはキネトスコープやシネマトグラフが登場し、静止した人工世界を時間的に変化する映像として提示できるようになった。こうして、平面上への三次元空間の表現→視野を取り囲む提示→映像の運動→多感覚提示という、後のVRにつながる要素が段階的に形成された。さらに20世紀には、軍事・航空分野で大量計算や安全な操縦訓練が必要となり、コンピュータとフライトシミュレータが発展した。これによって、人工環境を単に見るだけでなく、利用者の操作を入力し、それに応じて環境を変化させるという、現在のインタラクティブなVRにつながる考え方が形成された。
② 1960年代頃には、現在のVRを構成する基本的な技術が具体的な装置として現れ始めた。ハイリグによって制作された「センソラマ」は、バイクで街中を走る立体映像に加えて、音、椅子の振動、ファンによる風、においなどを提示し、視覚だけでなく複数の感覚を組み合わせて現実に近い体験を作ろうとした。一方、サザランドはコンピュータ上で図形を描画・操作するコンピュータグラフィックス(CG)の基礎となる「Sketchpad」を開発し、さらに初期のヘッドマウントディスプレイ(HMD)を開発した。この装置では、利用者の頭部の位置や向きを計測し、その動きに応じて提示映像をリアルタイムで変化させた。また、機械式アームを介して人工的な対象から力をフィードバックする研究も行われた。このように、CG、HMD、頭部運動の計測、多感覚提示、力覚フィードバックなど、現在のVRにつながる基本技術がこの時期に現れた。
③ 1980年代以降、コンピュータやCGなどの技術が発展し、1990年代にはVRへの社会的・研究的関心が高まった。第一次VRブームでは、イリノイ大学の「CAVE」のように、正面、左右、床面などを大型スクリーンで囲み、立体映像によって人工的な三次元空間への没入を実現するシステムが開発された。日本でも東京大学の「CABIN」が開発され、利用者のコントローラー操作に応じて周囲の映像をリアルタイムに変化させることで、バーチャル空間内を移動する体験が実現された。ただし、これらは大型かつ高価であり、一般に普及するには至らなかった。その後、2000年代には現実世界に人工情報を付加する拡張現実(AR)が発展し、2010年代にはスマートフォンや『Pokémon GO』などを通して一般化した。同時にCG、コンピュータ、ディスプレイ、センサーの高性能化・小型化・低価格化が進み、Meta Questなどの一般向けHMDが登場したことで、VRは研究施設中心の技術から、一般利用者が日常的に体験できる技術へと発展した。
キーワード
① インタラクティブ ② コンピュータグラフィックス(CG) ③ ヘッドマウントディスプレイ(HMD) ④ CAVE・CABIN ⑤ スマートフォン
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
3
奥行き知覚の特性と3Dディスプレイ
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第3回では、上記の3要素のうち(1)三次元空間の知覚を実現するための、人間の奥行き知覚特性をふまえて視覚情報を提示する3Dディスプレイについて説明する。人間の視覚の感覚受容器である左右の眼に対し、どのようにして適切な形で感覚情報を提示するかが重要なポイントとなる。人間の視覚特性は、次回第4回の聴覚特性と併せ、第5回から第7回にて説明する他の感覚との相互作用について理解するうえでも必要となる知見である。
日本バーチャルリアリティ学会VR心理学研究委員会(編) (2006). だまされる脳 -バーチャルリアリティと知覚心理学入門- 講談社
藤田 一郎 (2015). 脳がつくる3D世界 -立体視のなぞとしくみ- 化学同人
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社
町田 聡 (2013). しくみ図解 3D技術が一番わかる 技術評論社
コマ主題細目
① 奥行きを知覚するための手がかり ② 奥行き情報の統合 ③ 両眼視差と3Dディスプレイ
細目レベル
① 私たちの眼では、三次元空間に存在する対象が二次元の網膜上に投影されるため、対象が本来もっていた奥行き情報の一部が失われる。それでも三次元空間を知覚できるのは、さまざまな「奥行き手がかり」を利用しているためである。近距離では、水晶体の厚さを変える「調節」や、両眼の向きを変える「輻輳」といった眼筋に関係する情報が利用される。また、二次元画像からも、既知の大きさや相対的大きさ、視野内の相対的位置、キャストシャドウ、シェーディング、遮蔽、明るさや色、線遠近法、大気遠近法、テクスチャ勾配などの絵画的手がかりによって奥行きを判断できる。さらに、自分の移動に伴う対象の見えの変化である運動視差や、左右の眼に生じる像のずれである両眼視差も、対象までの距離や前後関係を判断する重要な手がかりとなる。
② 奥行き知覚では、ひとつの奥行き手がかりだけから三次元構造が一意に決まるとは限らない。私たちは、複数の手がかりを統合することによって、最終的に三次元空間を知覚している。手がかり間では、加算、平均、優位、協調、分離などの相互作用が生じ、複数の手がかりが矛盾する場合には、逆遠近錯視やアナモルフォーシスのような特殊な知覚が生じることもある。弱い統合モデルでは、最終的な奥行き知覚は、各手がかりから得られる奥行き情報を、その信頼性に応じて重み付けした平均として説明される。たとえば、視距離が遠くなるほど視差手がかりの重みは小さくなる。また、各手がかりに与えられる重みには個人差があり、短期的な経験によっても変化する。課題に有効で信頼性の高い手がかりほど寄与度が増加し、手がかりを組み合わせて経験することで、各情報の校正が生じる可能性も指摘されている。
③ 左右の眼は6 cm程度離れているため、同じ対象を見ても左右の網膜にはわずかに異なる像が映る。この両眼視差を画像に付加し、右眼用画像を右眼だけに、左眼用画像を左眼だけに呈示すれば、二次元画像から奥行きを知覚させることができる。ランダムドットステレオグラムは、物体の形が事前に判別できなくても、両眼視差だけから形状や奥行きを知覚できることを示している。この原理を利用した3Dディスプレイには、左右の像を色で分離するアナグリフ方式、偏光方向で分離する偏光方式、左右の映像を時間的に交互呈示するステレオシャッター方式がある。また、裸眼式では、パララックスバリア方式やレンチキュラーレンズ方式が用いられる。ヘッドマウントディスプレイでも、左右の眼に別々の画像を呈示することで、観察者を取り囲むような三次元空間が存在するという体験を実現している。
キーワード
① 奥行き手がかり ② 両眼視差 ③ 立体視(三次元視) ④ 3Dディスプレイ ⑤ ヘッドマウントディスプレイ
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
4
聴覚の知覚特性と立体音響ディスプレイ
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第4回では、上記の3要素のうち(1)三次元空間の知覚を実現している、人間の聴覚特性、およびその特性および身体的制約をふまえて感覚情報を提示する聴覚ディスプレイについて説明する。聴覚では左右の耳に届く音の情報から、自身の周囲にある音源の位置を立体的に認識している。この聴覚のしくみをふまえ、立体音響を聴覚ディスプレイの技術が開発されている。こうした人間の聴覚特性は前回第3回の視覚特性とともに、第5回から第7回にて説明する他の感覚との相互作用について理解するうえでも必要となる知見である。また、聴覚ディスプレイについての知見は、後半の回での応用を考えるうえでも有用な内容となる。
大串 健吾 (2019). 音響聴覚心理学 誠信書房
内川 惠二(編)(2008). 聴覚・触覚・前庭感覚 (講座“感覚・知覚の科学” 第3巻) 朝倉書店
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社
コマ主題細目
① 聴覚における音源定位の問題 ② 音源定位に用いられる手がかり ③ 頭部伝達関数を利用した三次元音空間の実現
細目レベル
① VRで三次元空間を構成するには、視覚だけでなく聴覚にも適切な情報を与える必要がある。たとえばFPSゲームでは、ヘッドホンを装着しているだけでも、敵の足音や銃声が前後左右のさまざまな方向から聞こえ、その方向をもとに周囲の状況を判断できる。ここで問題となるのが、「音そのものには音源の方向を直接示す情報が含まれていないのに、なぜ音の方向がわかるのか」という点である。音は、空気などの媒質を介して伝わる圧力変化であり、基本的な特徴として振幅や周波数をもつ。振幅は主に音の大きさ、周波数は主に音の高さに関係する。また、実際の環境音、音声、楽器音などは、多数の周波数成分が組み合わされた複雑な音である。こうした波形には、音がどの方向から来たかという情報が含まれていないのである。
② 音を発した音源がどの方向に存在するのかを判断することを「音源定位」と呼ぶ。音波そのものには音源方向の情報が含まれていないため、人間は主に左右の耳に生じる音の違いと,耳介の複雑な形状による音の変化を手がかりとして方向を推定している。たとえば右側に音源がある場合、音は右耳へわずかに早く到達し、左耳へは頭部を回り込んで届く。この左右の到達時間の差を「両耳間時間差」、頭部による遮蔽などによって生じる音の強さの差を「両耳間レベル差」と呼ぶ。これらの情報は聴覚経路の比較的早い段階で統合され、音源方向の推定に利用される。また、耳介の凹凸も、特に高周波成分を方向に応じて変化させることで、音源定位の重要な手がかりとして機能している。
③ 音が音源から左右の耳へ到達するまでには、頭部、耳介、肩などの身体形状によって遮蔽や反射などが生じ、音源の方向や周波数に応じて音の強さやスペクトルが変化する。この身体による音の変化を関数として表したものが「頭部伝達関数」である。頭部伝達関数を利用して左右の耳に適切に加工した音を提示すれば、ヘッドホンやイヤホンからの音であっても、前後左右や上下を含む三次元空間内の特定方向から音が聞こえるように感じさせることができる。ただし、特に前後方向の定位を取り違える場合があるほか、頭部や耳介の形状には個人差があるため、ある人の頭部伝達関数が別の人にも適切とは限らない。そのため、高精度な三次元音空間を実現するには、個人ごとの頭部伝達関数への適合が重要な課題となる。
キーワード
① 音源定位 ② 両耳間時間差 ③ 両耳間レベル差 ④ 耳介 ⑤ 頭部伝達関数
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
5
皮膚感覚・感覚間相互作用
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第5回では、上記の3要素のうち(1)三次元空間の知覚を実現するための、人間の皮膚感覚の特性、そして視覚、聴覚、味覚、嗅覚、体性感覚の感覚間の相互作用について説明する。視聴覚の感覚間相互作用としては、腹話術効果、マガーク効果といった現象が知られている。また、視覚と体性感覚の間ではシュードハプティクスという錯覚現象が報告されている。こうした感覚間相互作用の現象についてみていくことで、感覚情報を統合した結果として三次元のバーチャルな空間を認識させている技術を理解することにつながる。
岩宮 眞一郎 (2014). 視聴覚融合の科学 (音響サイエンスシリーズ 11) コロナ社
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社
雨宮 智浩 (2023). メタバースの教科書 -原理・基礎技術から産業応用まで- オーム社
コマ主題細目
① 皮膚感覚ディスプレイ ② 視聴覚間の相互作用 ③ 他の感覚間の錯覚現象
細目レベル
① 皮膚感覚ディスプレイとは、振動や電気刺激などを用いて、触圧覚や振動覚といった人間の皮膚感覚を人工的に再現するディスプレイである。しかし皮膚感覚の機械受容器は身体全体に分布しており、さらにその分布は一様ではなく身体部位によって違い、身体部位ごとに閾値や空間分解能が異なる。特に手の指や足の裏で機械受容器が多く、感度が良い。そのため身体全体を刺激できるような皮膚感覚ディスプレイを作るのは非常に難しい。対象に触れる部位である指先などに局所的に刺激を与える構造や、グローブ型など手のみを覆う形状のディスプレイが考案されており、振動や空気圧によって物に触れた手の位置にフィードバックを与えることで、ユーザーに「触った」という感覚をもたらしている。
② 視覚と聴覚は独立して処理されるだけでなく、相互に影響して知覚を変化させる。代表例が腹話術効果であり、実際の音源とは異なる位置で人形の口が動いていると、その口から声が聞こえるように感じる。マガーク効果では、同一の音声でも話者の口の動きを変えると異なる音声として知覚され、聴覚による音声認知が視覚情報の影響を受ける。逆に、聴覚が視覚を変化させる例が交差-反発知覚である。二つの物体が重なる映像は、映像だけでは互いに交差して見えやすいが、重なる瞬間に衝突音を提示すると、二つの物体が衝突して反発したように見えやすくなる。これらは、空間的・時間的に対応する視覚・聴覚情報が同じ事象に由来すると解釈され、両者が統合されることで知覚そのものが変化することを示している。
③ 視覚と聴覚以外の感覚間でも相互作用は生じる。たとえばパーチメントスキン錯覚では、皮膚をこする音の高周波成分を強調すると、実際の皮膚刺激が同じでも、皮膚がより乾燥しているように感じられ、聴覚情報が触覚を変化させる。また、視覚情報によって触覚や重さの感覚が生じる現象を、擬似触覚(シュードハプティクス)という。マウスを動かした量に対して画面上のカーソルを通常より遅く動かすと、利用者はマウスが重くなったように感じる。これは、自分の運動と予想される視覚的結果との対応が崩れたとき、その原因を外力や対象の重さとして解釈するためと考えられる。この特性を利用すれば、物理的な触覚刺激だけに頼らず、対象の動きなどの視覚情報を操作することで、VR内の物体の重さや触覚を人工的に表現できる可能性がある。
キーワード
① 皮膚感覚ディスプレイ ② 腹話術効果 ③ マガーク効果 ④ 交差-反発知覚 ⑤ シュードハプティクス
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
6
前庭感覚とVR酔い
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第5回までの知見により、現実であるかのような三次元空間を知覚したうえで、上記の3要素のうち(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できると感じることが必要である。第6回では、環境中の自己移動に関して、自身の身体の移動や傾斜に関する感覚である前庭感覚について説明したうえで、前庭感覚と視覚や体性感覚からの感覚情報の不一致から生じる動揺病、VR酔いといった症状について説明する。特にVR環境であれば、ユーザーの身体が移動しないために前庭感覚がはたらいていない状況で、視覚的に提示された像が動くことで、感覚情報の不一致が生じる。その結果として、VR酔いという症状が発症する可能性があるのである。このVR酔いを定量化し測定して、VR酔いを低減するような感覚情報提示を実現することが、より良いVR体験をもたらすことにつながる。 この前庭感覚の内容を受けて、次回第7回の視覚誘導性の自己移動感覚の説明へとつなげる。
細目①
内川 惠二(編)(2008). 聴覚・触覚・前庭感覚 (講座“感覚・知覚の科学” 第3巻) 朝倉書店
細目③
大山 正・今井 省吾・和気 典二 (1994). 新編 感覚・知覚心理学ハンドブック,第V部 5. 動揺病,p. 1350-1363.
コマ主題細目
① 前庭感覚系の構造と特性 ② オプティカルフローからの自己移動感覚 ③ 動揺病とVR酔い
細目レベル
① 人間の自己移動を検知する前庭感覚系のしくみについて説明する。私たちが動いたとき、つまり身体の位置を移動させたとき、自分自身の運動(自己移動)の速さと方向を知覚する。この自己移動感覚を感じる内耳の基本構造が前庭感覚系である。水平半規管、前半規管、後半規管が三半規管と呼ばれ、自己の回転運動が検知される。それに対し自己の直進運動は、卵形嚢と球形嚢と呼ばれる受容器で検知される。これらの前庭器官は、一定速度の運動は検知せず、加速度を検知する。これら2つの器官が機能することにより、前庭神経を経て脳へ情報が伝わり、自己の直線運動と回転運動の速度と方向が知覚される。この前庭感覚系のはたらきにより、人間は自身の姿勢を安定させることができているのである。
② 人間の自己移動を検知するために用いている視覚情報について説明する。前庭感覚系では検知できない等速の自己移動を知覚するには、前庭感覚系以外からの感覚系からの情報が必要である。人間は視覚情報からも自己移動の速さと方向を知覚している。我々が前進しているとき、我々の網膜上における自分の周囲の景色は、視野の中心部ではそれほど動かないのに対し、視野の周辺部になるにしたがってより速く移動する。このように、動いている観察者の網膜に映る運動成分のことをオプティカルフローと呼ぶ。「速度場」と呼ばれる、視野内全体に生じるオプティカルフローの速度の違いをもとにして、私たちは自分が進んでいる方向について、1°以下の高精度で方向の違いを知覚しているのである。
③ これら複数の感覚からの情報がうまく使えないとき、船酔い、車酔い等の乗り物酔いに代表される「酔い」の症状が生じることがあり、顔面蒼白、冷汗、眩暈、頭痛、嘔吐等の、酔いの症状がひどい状態を動揺病と呼ぶ。これらの症状を定量的に評価するために、シミュレーター酔いの主観評価尺度SSQ(Simulator Sickness Questionnaire)と呼ばれる尺度が用いられている。自己の身体の状態については、視覚からの情報、前庭感覚からの情報、そして筋肉や関節等の身体からの体性感覚情報によってもたらされる。これらの情報にずれや矛盾が生じたりすると自律神経系が混乱し、動揺病が発生すると考えられている。特にVRでは、感覚情報提示時に感覚情報間の不一致が生じやすく、それによってVR酔い/サイバー酔いなどと呼ばれる症状が生じる。VR酔いを防ぐには、VR体験中に視覚情報と他の感覚情報を一致させることができれば、酔いの発生を軽減できると考えられており、モーションチェアと呼ばれる装置や前庭電気刺激の技術が用いられている。
キーワード
① 前庭感覚 ② 加速度 ③ オプティカルフロー ④ 動揺病 ⑤ VR酔い
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
7
自己移動感覚 ベクション
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第5回までの知見により、現実であるかのような三次元空間を知覚したうえで、上記の3要素のうち(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できると感じることが必要である。第7回では、視覚をはじめとする感覚情報を提示することで生じる、観察者自身の身体が移動しているかのように感じる錯覚、ベクションと呼ばれている自己移動感覚について説明する。実際に自身が移動していないVR環境において、この自己移動感覚を感じることにより、動きを含む映像コンテンツ体験時にコンテンツへの没入感や臨場感が増す可能性がある。この自己移動感覚ベクションの生起メカニズムについての知見を得ることは、より効果的なVRコンテンツの開発へとつながる。
妹尾 武治 (2017). ベクションとは何だ!? 共立出版
中村 信次 (2006). 視覚誘導性自己運動知覚の実験心理学 北大路書房
【発展論文】
北崎 充晃・佐藤 隆夫 (2008). 視覚からの自己運動知覚と姿勢制御 心理学評論, 51, 287–300.
コマ主題細目
① 自己移動感覚ベクションとは ② ベクションの知覚特性 ③ ベクションの生起仮説
細目レベル
① 観察者が移動することでその網膜上にオプティカルフローが生じ、人間はそのオプティカルフローから自身の移動を知覚する。ここから、観察者の網膜に対して自分が動いているかのような運動刺激を与えると、あたかも自分が移動しているかのように感じさせることができるのである。我々の日常生活において、停車している電車に乗っているときに他の電車が動いているのを見たら、動いていないはずの自分の電車が動いたと感じる錯覚現象のことは,トレイン・イリュージョン(train illusion)と呼ばれている。また、アミューズメントパークのとある建物に入ったとき、自分の周囲の部屋全体が回転しているのを見たら、自分が回転していると錯覚することもあり、このビックリハウスと呼ばれるアトラクションでも移動感覚の錯覚を体験することができる。こうした視覚情報からもたらされる自己移動感覚はベクションと呼ばれる。
② ベクションとは、視野の広い範囲を覆う程度の領域に、動いている映像を呈示した場合に、身体は静止しているのに自分が移動しているかのように感じる感覚のことを指す。このベクションについての実験論文が公刊されたのは1973年であり、それ以降、自己移動感覚をより強く(弱く)する刺激条件についての実験研究が行われてきた。実験では観察者に対して運動刺激を呈示し、感じたベクションの強さを、マグニチュード推定法などの心理測定法で測定した。研究結果として、(1) 刺激面積が大きいほうが強いベクションが生起する、(2) 視野周辺部に刺激を呈示したほうが強いベクションが生起する、(3) 手前側よりも奥側の領域に刺激を呈示したほうが強いベクションが生起する、(4) 注意を向けていない運動に対応するベクションが生起する、といった知見が得られている。
③ ベクションの生起仮説について説明する。視野を覆う広い領域が動くのを見た場合、目に映った動きの情報から、自分の周囲の環境が動いているのか、それとも自分が動いているのかという問題に答えを出すことを求められる。しかし我々は、これまでの経験から「世界(環境)は動かない」という制約条件をもっているので、網膜に映っている像が動いているけれども自分の周囲の世界が動いているのではないと判断する。一方の可能性があり得ないのだから、自分が動いているから自分の動きに伴ってこの網膜上の動きが生じているのだと判断するのである。以上の判断の結果として、自分が移動しているかのような感覚が私たちの中に生じる。刺激は形や「もの」として浮かび上がってくる「図(figure)」と、対象と対象の間の空間または背景として知覚される「地(ground)」に分けて知覚され、このうち「世界」「環境」「背景」と解釈される、本来動かないはずの「地」の領域が動いたのを見たとき、自分が移動しているという感覚が生じると考えることができるだろう。
キーワード
① 自己移動感覚 ② ベクション ③ オプティカルフロー ④ マグニチュード推定法 ⑤ 図と地
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
8
複合現実感
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第8回では、VRと関係する技術として、現実の物理世界にバーチャル世界を重ね合わせて提示するAR(拡張現実)、および、現実の環境とバーチャル環境を融合する概念であるMR(複合現実(感))について説明する。この新技術に関する知見は、後半での他のVR関連技術と大きく関わるだけでなく、現実場面におけるVR技術の応用についての理解を深めるものである,
蔵田 武志 (監修), 清川 清 (監修), 大隈 隆史 (編)(2015). AR(拡張現実)技術の基礎・発展・実践 科学情報出版
Dieter Schmalstieg, Tobias Hollerer (2018). ARの教科書 マイナビ
佐野 彰 (2017). MR入門 工学社
コマ主題細目
① 複合現実感とは ② 拡張現実(AR)の本格実用の流れ ③ 拡張現実(AR)と拡張VR
細目レベル
① ミルグラムは、「リアル」と「バーチャル」は全く別のものではなく、リアルとバーチャルの間には中間の状態があり、リアルからバーチャルまでの間に存在している連続的なスペクトラムの中で両者をとらえていくというモデルを提唱した。当時から現代に至るまでに、コンピューターグラフィックス(CG)の発展によってほぼリアルと変わらない映像表現が実現したことで,我々の感覚の中で「リアル」と「バーチャル」の境界がしだいに曖昧になってきた。リアルとバーチャルがどのように融合しているかの度合いによって、リアルの世界にバーチャルな情報を重ねる「拡張現実(Augmented Reality: AR)」、バーチャルな空間に現実の情報を付け加える「拡張VR(Augmented Virtuality)」等の技術が実現している。そしてリアルとバーチャルが相互に作用している状態全体を「複合現実感(Mixed Reality: MR)」と呼ぶ。このように、リアルとバーチャルを対立する概念としてではなく連続的なものとしてとらえ、その中間に多様な体験形態が存在するという考え方が、現代のVR研究の基本となっている。
② 拡張現実(Augmented Reality: AR)実装は2000年代から本格化した。そのきっかけはコンピュータの小型化・携帯化(モバイル化)である。2007年のiPhoneの発売から始まるスマートフォンの一般普及によって、ウェアラブル・コンピュータやモバイルコンピュータが実現したことから、ユーザーがコンピュータを所持することで、内蔵のカメラなど入力装置を使用して外界の環境から必要な情報を得て、個人の画像や動画,体験を共有できるようになった。そしてさらに、実世界の情報にコンピュータグラフィックスによる情報を付加して、リアルとバーチャルが重なった世界を見ることができるようになったのである。初期のARの例がセカイカメラと呼ばれるアプリケーションであり、ポケモンGOなどのARゲームや、ARバーチャル試着室等のビジネス応用、そしてバーチャル飛鳥京プロジェクトやプロジェクションマッピング等の観光コンテンツにもつながる。
③ 拡張VR(Augmented Virutality: AV)と呼ばれる技術は、現実の環境や物体をデジタル化して、3Dモデルとしてバーチャル環境に取り込むものである。たとえば観光業界では、現実空間の観光地の建物や道路の環境を3Dモデル化し、バーチャル空間でのバーチャル観光体験を実現している。また、医療業界では、CTやMRIによって得られた身体内部情報をもとに身体の3DCGモデルとして再現し、バーチャル空間を用いた医療に用いられている。このように拡張VRは、現実の情報を取り込みバーチャルで再現する技術であるのに対し、拡張現実は、現実世界にバーチャルの情報を重ね合わせる技術である。拡張現実の実現にはHololens等の透過型ARディスプレイが用いられており、建設現場や点検作業現場では現場の場面にバーチャルの重機や履歴情報を重ね合わせることで作業を効率化している。こうした拡張現実と拡張VRの違いを理解することが重要である。
キーワード
① 実環境 ② バーチャル環境 ③ 複合現実(MR) ④ 拡張現実(AR) ⑤ 拡張VR(AV)
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
9
VRとロボット
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第9回では、ユーザーがロボットを遠隔操作することによって、あたかもロボットの中に入り込んで自身がその場にいるかのように行動するロボットを制御するといった、VRとロボット制御との関係について説明する。こうした装置を活用することによって、現実には人間が行けないような災害地や宇宙空間で活動することが可能となったり、身体の移動に制約のあるユーザーが活躍する機会を得たりといった効果が期待される。加えて、ロボットやアバター等を使った非対面のコミュニケーションを豊かにすることを目指す試みも紹介する。第9回と次回第10回で学ぶロボットに関する知見は、第11回以降のサイバネティック・アバターの説明へとつながるものである。
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社 6.1 テレイグジスタンス(p. 178-214)
東京大学バーチャルリアリティ教育研究センター(編) (2022). トコトンやさしいVRの本[第2版] 日刊工業新聞社(p. 78-79, 82-83)
コマ主題細目
① テレオペレーション:ロボットを遠隔操作する ② ロボット開発の歴史 ③ テレイグジスタンスの概念の提唱とVR
細目レベル
① 人間が機械やロボットを操作する場合、作業者が作業現場から遠く離れた場所にいながらにして作業現場の機械 (の腕) を操作する概念はテレオペレーションと呼ばれる。人間が活動の場を広げるにつれて、テレオペレーションが必要となる状況が増えていった。その状況として、高所、崖など作業員にとって危険な場所、火山や原子力発電所などの災害や事故の現場、戦場など人的被害が生じる可能性がある場所、そして海底、宇宙など人間が行きにくい場所を挙げることができる。具体的には、スリーマイル島原子力発電所、チェルノブイリ原子力発電所、福島第一原子力発電所といった原発事故をはじめとする事例における遠隔操作ロボットの活動の様子を参照しながら、ロボットのテレオペレーションの必要性について理解を深める。
② 人間が直接触って扱えない放射性物質を、離れたところから安全に取り扱うため、アームとハンドからなる2本のマニピュレーターを操作して作業する、マスター・スレーブ・マニピュレーターが開発された。初期のマニピュレーターはマスターとスレーブが物理的に接続される機械式なので、操作者への力のフィードバックがあるが、遠距離の物体を操作できないのが問題であった。一方、遠隔のロボット(スレーブ)を制御して動かすリモートマニピューレーター/テレマニピュレーターは、遠隔ロボット側での力のフィードバックが得られないのが問題であった。1960年代には、危険な環境下で作業する人間を機械で覆うことで装着者の安全を確保し、装着者の力を増強することが可能な外骨格型/エグゾスケルトン型人力増幅機の開発が進められたが、この外骨格型ロボットは人力で制御するものでありロボットの自律性がなかった。その後、管理制御/スーパーバイザリーコントロールと呼ばれる、ロボットの自律機能でできることはロボットに任せ,人間がロボットのスーパーバイザー(管理者)としてロボットを監視してサポートの任務を遂行するしくみが提案されるに至った。
③ ロボットのテレオペレーションの問題点として、遠隔地にいる操作者が臨場感を持ちながら作業できていなかったことが挙げられた。そこで1980年代の日本で、離れた場所にいる操作者が、ロボットが作業する場所で直接作業しているかのような高い臨場感をもってロボットを遠隔操作する、テレイグジスタンスの概念が提唱された。このテレイグジスタンスは、外骨格型ロボットと管理制御のそれぞれの利点を活かした概念であり、同時期に海外で提唱されたテレプレゼンスの概念とともに広く展開をみせた。テレイグジスタンスとVRとの違いは、操作者/ユーザーの分身が存在するのが実世界(ロボット)かバーチャル(アバター)かの違いである。現実という三次元空間の中で臨場感をもちながら分身ロボットを操作し、三次元空間内でリアルタイムに環境と相互作用するテレイグジスタンスは、VRの三要素を広義に満たしており、VRと本質的に同一の概念だと考えてよいだろう。
キーワード
① ロボット ② 遠隔操作 ③ テレオペレーション ④ テレイグジスタンス
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
10
臨場感コミュニケーション
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第10回では、第9回で説明した遠隔操作によるロボットとのコミュニケーションと関連して、自分と遠く離れた相手とが、現実のような臨場感や存在感をもちながらコミュニケーションを行っていく、臨場感コミュニケーション研究の流れについて説明する。これらの研究は、次の第11回にて説明する、バーチャル環境で表現されるユーザーの身体である「アバター」を使用した遠隔コミュニケーションにつながる。
東京大学バーチャルリアリティ教育研究センター(編) (2022). トコトンやさしいVRの本[第2版] 日刊工業新聞社
雨宮 智浩 (2023). メタバースの教科書 -原理・基礎技術から産業応用まで- オーム社
コマ主題細目
① テレイグジスタンスによる能力の拡張 ② テレプレゼンスを実現するための要素 ③ 臨場感コミュニケーション
細目レベル
① テレイグジスタンスはただロボットを遠隔操作するだけでなく、ロボットを操作することで人間の能力を拡張することが可能である。1つめは感覚・知覚の拡張である。人間の操作者はロボットのセンサーを通して作業現場の環境を認識するが、知覚するのは完全に実空間と同じでなくてもよい。実情報と、センサーから得た情報から再構成されたバーチャル情報とを組み合わせたMR環境を得ることで、人間の知覚限界を超えた状況認識が可能であり、より適切な判断や動作が可能となる。2つめは大きさの拡張である。通常では人間が入れない場所にマイクロロボットを配置して、操作者が小さくなった感覚をもってロボットを操作し、微細な作業をすることが可能である。3つめは数の拡張である。通常は1名の操作者に対し1ロボットが対応して制御されるが、一対多、多対一での制御も可能となる。これらテレイグジスタンス状況下における人間の能力拡張の可能性を理解することが、第12回で説明する「人間拡張」の概念を理解することにもつながる。
② テレイグジスタンスは一方向だけでなく相互に行われるものでもあり、離れた場所にいる人同士がテレイグジスタンス技術によって臨場感を感じながらコミュニケーションをとることが想定されている。テレイグジスタンスと同時期にミンスキー(Marvin Minsky)によって提唱された類似概念「テレプレゼンス」があり、実際の場所以外の場所に存在しているように感じたり,存在しているように見せたり,効果を発揮したりできる技術である。テレプレゼンス技術によって、実際の場所以外の場所に存在しているように感じたり、存在しているように見せたりできるようになるキモは、「臨場感」と「存在感」という感覚であろう。臨場感は、操作者が感じる、その場にいるような感覚であり、一方で存在感とは、周囲の人が感じる、相手や物体が確かに存在していると感じる感覚である。互いがこうした感覚を感じることができるようになることによって、テレプレゼンスが実現することになるだろう。
③ あたかも自分がその場にいるかのような感覚である臨場感は、単一の感覚というより、複数の感覚要素から成り立っている。臨場感が生じる要因として、感覚器官で感知される外界の物理情報から生じる外的要因と、過去の経験や学習によって蓄積された記憶にもとづいて脳内で生成される内的要因がある。これらの要因を用いることによって人間の知覚・認知システムを刺激してリアルな外界を再構成させるとともに、脳内に蓄積された情報を引き出させることによって、臨場感を高めるのである。臨場感を高めるための外的要因については、超高精細映像技術として、4K、8Kと呼ばれるスーパーハイビジョン/超高精細テレビが一般に普及しつつあるとともに、5.1chサラウンドや22.2chサラウンド等の立体音響技術も普及が近い。
キーワード
① テレイグジスタンス ② テレプレゼンス ③ 臨場感 ④ 存在感 ⑤ 臨場感コミュニケーション
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
11
アバターと身体化
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第11回では、バーチャル環境で表現されるユーザーの身体である「アバター」と実環境の人間の身体との関係について、アバターの身体化とそれに伴う心理的変化に着目して説明する。アバターを操作しそれを自分の身体と感じて制御するには、操作するユーザーがアバターを自分の身体だと思う感覚である「身体所有感」、そしてある動作や行動が自分の意思によって主体的に行ったものであるという感覚である「行為(動作)主体感」を感じることが重要とされる。これらの理解は次回第12回のアバター利用によるユーザーの心理的変容につながるものである。
東京大学バーチャルリアリティ教育研究センター (2022). トコトンやさしいVRの本[第2版] 日刊工業新聞社
雨宮 智浩 (2023). メタバースの教科書 -原理・基礎技術から産業応用まで- オーム社
コマ主題細目
① サイバネティック・アバターとは ② アバターと自己 ③ 自己身体に関する代表的な錯覚現象
細目レベル
① バーチャル環境で表現されるユーザーの身体を「アバター」と呼ぶ。基本はコンピュータ・グラフィックスによって作成された、バーチャル環境での自分や他者の分身としての身体のことを指すが、より広く考えてみると、バーチャル環境上でのCGアバターだけでなく、現実空間上でのもうひとつの身体であるロボットもアバターだとみなすことができるだろう。サイバネティック・アバターとは、現実世界に存在する自分の肉体とは別の「もう一つの身体」であり、現実空間で活動する分身ロボットや、バーチャル空間でCGによって作られるアバターなどが含まれる。たとえば、自宅から移動できない人の代わりに分身ロボットが接客したり、遠隔地へ移動して旅行を体験させたりすることで、身体や空間の制約を超えた活動が可能になる。また、バーチャル空間では、アバターを介してライブなどに参加し、現実とは異なる体験を得ることもできる。さらに、ロボットなどを利用して身体能力、認知能力、知覚能力を拡張する人間拡張への応用も考えられている。サイバネティック・アバターには、時間・空間や身体的制約を超え、能力を拡張するとともに、「自分以外の自分」として活動できる可能性がある。
② アバターを自分の分身として利用する場合、「自分はどこにいるのか」「何をもって自分と感じるのか」という自己の問題が重要になる。自己は、現在の瞬間に「自分はここにいて、この身体で体験している」と感じる「ミニマルセルフ」と、過去から未来までの自己の連続性やアイデンティティに関わる「ナラティブセルフ」に大別される。アバターとの関係で特に重要なのはミニマルセルフであり、その中心となるのが身体所有感と行為主体感である。身体所有感とは「この身体は自分の身体である」と感じる感覚、行為主体感とは「自分がこの行為を起こし、その結果を生じさせた」と感じる感覚である。したがって、身体的特徴が実際の自分とは異なるアバターであっても、それを自分の身体として感じ、自分自身が操作していると感じられることが、アバターへの身体化を成立させる重要な条件となる。
③ 身体所有感が変化する代表例がラバーハンド錯覚である。実際の手を視界から隠し、見えているゴム製の手と実際の手を同期して触ると、次第にゴムの手を自分の手のように感じ、その位置に自分の手があると判断するようになる。また、体外離脱体験の実験では、参加者の後ろ姿をカメラで撮影してHMDに提示し、身体への触覚刺激と映像上の刺激を同期させることで、自己の位置が肉体からカメラ側へ移動したような感覚が生じる。さらに、この方法を発展させると、小さなマネキンに自己が移ったように感じ、その身体サイズに応じて周囲の世界を大きく知覚したり、自分の身体サイズの判断が変化したりする場合もある。これらの現象は、自己身体の感覚が固定的ではなく、視覚と触覚などの感覚情報の統合によって変容し得ることを示しており、アバターへの身体所有感を考える基礎となる。
キーワード
① サイバネティック・アバター ② 身体所有感 ③ 行為(動作)主体感 ④ ラバーハンド錯覚 ⑤ 体外離脱体験
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
12
アバターの使用による心理の変容
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第12回では、前回第11回での説明と併せ、バーチャル環境で表現されるユーザーの身体である「アバター」と実環境の人間の身体との関係について、アバターの身体化とそれに伴う心理的変化に着目して説明する。特に、アバターの使用によって、アバターの見た目に影響を受けてユーザーの心的状態や行動が変容するプロテウス効果や、特定の性質や状態である他者の身体に対応したアバターを一人称視点で体験することで、他者の状況を身体感覚を伴って追体験できるVRパースペクティブ・テイキングといった現象を説明する。これらの現象を通じて、アバターは単なる外見ではなく、身体化を通じて自己イメージを変化させ、認知、感情、社会的行動に影響を及ぼす媒体となり得るものであることについて考えていく。
東京大学バーチャルリアリティ教育研究センター (2022). トコトンやさしいVRの本[第2版] 日刊工業新聞社
雨宮 智浩 (2023). メタバースの教科書 -原理・基礎技術から産業応用まで- オーム社
コマ主題細目
① アバターの身体化と順モデル ② プロテウス効果 ③ VRパースペクティブ・テイキング
細目レベル
① アバターを自分の身体として感じる「身体化」には、「この身体は自分のものである」という身体所有感と、「自分の行為によって結果が生じた」という行為主体感が重要である。行為主体感は順モデルによって説明できる。身体を動かす際、脳から運動指令が出されると同時に、その遠心性コピーから運動結果が予測され、実際に得られた感覚と比較される。予測と実際の結果が一致すれば、自分がその行為を生じさせたという主体感が得られる。たとえば、自分で身体をくすぐっても、予測された感覚と実際の感覚が一致するため、くすぐったさは抑制される。一方、操作と結果の間に時間的な遅延が生じると、予測と感覚が一致しなくなり、くすぐったさが増すとともに主体感も低下する。このため、アバターの身体化には、自分の運動とアバターの反応が時間的に対応することが重要となる。
② プロテウス効果とは、自分が操作するアバターの外見的特徴や社会的属性によって、使用者自身の行動、態度、自己評価、対人行動などが変化する現象である。たとえば、魅力的なアバターを使用すると自己開示が増えて対人距離が近くなり、背の高いアバターでは交渉場面でより積極的に振る舞うことが報告されている。また、アインシュタイン風の科学者を模したアバターでは、知性や天才性と結びついた社会的イメージが自己認識に取り込まれ、認知課題への取り組み方や成績が変化する場合がある。さらに、筋肉質な身体、高齢者、ドラゴンなど、現実の自分とは大きく異なるアバターでも心理や行動への影響が生じ得る。したがって、アバターは単なる外見ではなく、身体化を通じて自己イメージを変化させ、認知、感情、社会的行動に影響を及ぼす媒体となり得る。
③ パースペクティブ・テイキングとは、相手の立場に立ち、相手の視点から物事を捉えることである。現実では他者の経験を想像だけで十分に理解することには限界があるが、VRでは他者の身体に対応したアバターを一人称視点で体験することで、他者の状況を身体感覚を伴って追体験できる。たとえば、ホームレス状態の生活をVRで体験すれば、安全な場所を確保できない不安や社会的孤立などを、自分自身の問題に近い形で経験できる。また、単身親や社会的マイノリティなどの立場を体験する研究も行われ、他者理解や共感、社会的態度の変化につながる可能性が検討されている。VRパースペクティブ・テイキングの特徴は、単に他者について説明を読んだり映像を観察したりするのではなく、「身体を介した没入」と「視点の転換」によって、体感を伴う他者理解を可能にする点にある。
キーワード
① アバター ② 身体化 ③ 順モデル ④ プロテウス効果 ⑤ VRパースペクティブ・テイキング
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
13
ブレイン・マシン・インタフェースと人間拡張
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第13回では、人間と機械、コンピュータとの関わりについて、そしてユーザーへと提供される体験の拡張や変容について説明する。特に近年注目されてきている、人間の身体的・心理的機能を拡張する技術である人間拡張や、自身の身体およびその情報を他個体の身体と共有することによって、体験をも共有する技術であるボディシェアリングといったテーマを取り扱う。
稲見 昌彦,北崎 充晃,宮脇 陽一,ゴウリシャンカー・ガネッシュ,岩田 浩康,杉本 麻樹,笠原 俊一,瓜生 大輔 (2021). 自在化身体論 ―超感覚・超身体・変身・分身・合体が織りなす人類の未来― エヌ・ティー・エス
玉城 絵美 (2022). BODY SHARING 身体の制約なき未来 大和書房
コマ主題細目
① ブレイン・マシン・インタフェース (BMI) ② 脳活動計測の手法 ③ 人間拡張
細目レベル
① ブレイン・マシン・インタフェース(BMI)とは、人間の脳と機械を結び、脳活動を読み取ってコンピュータやロボットなどを操作する技術である。たとえば、頭皮上の電極から脳波を計測し、その活動パターンをリアルタイムで解析することで、手足を実際に動かさなくてもロボットアームや画面上のカーソルを操作できる。これにより、ALSなどで身体を動かすことが困難な人のコミュニケーションや社会参加を支援できる可能性がある。また、BMIには脳活動を機械への「入力」として読み取るだけでなく、脳を刺激して視覚や聴覚などの感覚情報を書き込む方向の研究もある。脳と機械を双方向に接続することで、人間の身体的制約を補うだけでなく、コミュニケーション、感覚、学習などの能力を拡張する技術として期待されている。
② BMIを実現するには脳活動を適切に計測する必要があり、侵襲的手法と非侵襲的手法が用いられる。侵襲的手法は脳表面や内部に電極を配置して神経活動を直接記録するため高精度だが、外科手術を必要とする。一方、非侵襲的手法にはEEG、MEG、fNIRS、fMRIなどがある。EEGは頭皮上の電位変化を測定し、時間分解能が高いが空間分解能は低い。MEGは神経活動に伴う磁場を計測し、高い時間分解能と比較的良好な空間分解能を持つ。fNIRSは近赤外光を利用して脳表面の血流変化を推定し、比較的良好な空間分解能と時間分解能を持ち、小型で日常に近い環境でも使用しやすい。fMRIはBOLD信号から脳活動を高い空間分解能で可視化できるが、時間分解能や計測環境に制約がある。以上の各手法の特徴から、研究目的に応じて各手法を選択・併用することが重要となる。
③ 人間拡張とは、VRやロボット、BMIなどのテクノロジーによって、人間の身体的、感覚的、認知的能力や活動可能な範囲を増強・拡張する考え方であり、身体、存在、感覚、認知の拡張に整理できる。身体の拡張では、パワードスーツや外骨格によって筋力や持久力を補助する。存在の拡張では、テレイグジスタンス、分身ロボット、アバターなどを利用し、実際の身体が存在しない場所でも活動する。感覚の拡張では、ARや感覚置換によって本来の感覚を補助したり、新たな情報を別の感覚として取得したりする。さらに認知の拡張では、熟練者の身体動作を計測し、電気刺激などによって初心者へ伝えることで、技能を身体的な体験として学習することが試みられている。このように人間拡張は、生物学的な身体や認知の制約を超え、人間の可能性や社会参加の範囲を広げることを目指している。
キーワード
① ブレイン・マシン・インタフェース(BMI) ② 脳活動計測 ③ 侵襲的手法と非侵襲的手法 ④ 人間拡張
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
14
VR技術のコンテンツへの応用
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第14回では、ユーザーにVR体験を提供するVRコンテンツについて、具体的な応用事例をとおして説明する。特に、(1) 教育・訓練、(2) VRと観光、(3) VRの医療・リハビリテーション応用、に焦点を当てて紹介する。こうしたVR技術の現場応用に関する知見は、次回第15回にてVRやメタバースの現状を理解することにもつながる。
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社
大口 孝之,谷島 正之,灰原 光晴 (2012). 3D世紀 驚異!立体映画の100年と映像新世紀 ボーンデジタル
コマ主題細目
① VRを用いた教育・訓練 ② VRと観光 ③ VRの医療・リハビリテーション応用
細目レベル
① 教育・訓練では、VR・AR・拡張VRを利用することで、現実には訪問や再現が難しい場所や状況を、臨場感を伴って体験的に学習できる。教育では、宇宙や深海、過去の歴史的状況などを体験できるほか、機械を分解したり人体の骨や筋肉を操作したりするなど、学習者自身が能動的に操作しながら理解を深められる。また、危険な対象でも安全に学習でき、時間や場所を問わず繰り返し体験できる。訓練では、フライトシミュレーターやドライビングシミュレーターが代表例であり、実機では事故につながる状況でも安全に練習できる。さらに、悪天候や突発的な危険など、現実では意図的に再現しにくい条件も自由に設定できるため、安全性、費用、反復性、多様な状況を設定できる点が大きな利点となる。
② 観光分野では、VRを利用して現地へ行かなくても観光地を体験するオンライン観光や、現地での観光体験をARによって支援する技術が利用されている。たとえば、寺院などをステレオ撮影した映像をVRゴーグルで立体的に提示したり、実在する温泉街の情報からCGモデルを作成し、HMDでバーチャルな温泉街を体験したりできる。また、現地ではGPSとARを組み合わせ、スマートフォンをかざすことで観光施設や飲食店の情報を表示したり、実際の風景に矢印を重ねて目的地まで案内したりすることも可能である。さらに、すでに失われた歴史的建造物や遺跡をCGで復元すれば、実物を再建するよりも低コストで修正も容易であり、現存する遺構を傷つけずに保存しながら、過去の姿を観光客に体験させることができる。
③ 医療・リハビリテーションでは、ARやVRによる手術支援、訓練、治療への応用が進められている。手術では、CT、MRI、エコーなどから得られた体内情報を患者の身体上に重ねて提示し、患部を確認しながら処置することができるほか、VR内で手術手技を安全に反復練習することもできる。リハビリテーションでは、幻肢痛に対し、失われた手足をアバターとして提示して動かすことで、痛みの緩和を目指すVR鏡療法が試みられている。また、恐怖や不安を治療する曝露療法では、現実には再現や調整が困難な状況をVR内に作り、患者を安全な状態で段階的にその状況へさらすことができる。VRは治療環境の条件を柔軟に制御でき、高い没入感を伴う体験を提供できる点で、医療や心理療法への応用可能性を持つ。
キーワード
① VR・AR・拡張VR ② VRツアー ③ 幻肢痛 ④ 鏡療法 ⑤ 暴露療法
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
【次回までの予習】
次回のコマシラバスを読み、概要を頭に入れておく。また、コマシラバスに記載のキーワードについて書籍やインターネット等を用いて調べた上で、わからない箇所をメモしておく。
15
VRとメタバース
科目の中での位置付け
バーチャルリアリティとは、現実とよく似た性質を持つ人工的な環境を、VRゴーグル(ヘッドマウントディスプレイ)などの提示装置を通して、あたかも現実であるかのように体験するための技術であると考えることができる。バーチャルリアリティを考えるうえでは、「人工的な環境をどのように作るか」という技術的な問題だけではなく、「その人工的な環境を、どのようにすれば現実であるかのように体験できるのか」という問題が重要となる。バーチャルリアリティ体験を成立させるための3つの要素として、(1)人間にとって自然に感じられる奥行きを持った三次元空間が存在すること、(2)ユーザーが三次元空間の中で自由に行動し、リアルタイムで環境と相互作用できること、そして(3)自分自身がそのバーチャル空間の中に存在しているという感覚が生じることを挙げることができる。本講義では、これら3つ要素の実現に向けて、どのような技術が必要であり、どのような情報を人間に与えればよいのかについて考えていく。講義をとおして、バーチャルリアリティと心理学、特に感覚・知覚・認知に関する心理学とは双方向の密接な関係にあり、心理学の知見がより優れたVRを生み出すと同時に、VRの発展が人間の心の新たな仕組みを解明する機会をもたらすことを理解することが目標である。
第15回では、VRやARを基幹技術とした、オンラインで多人数が同時に参加し、ソーシャルな活動を行っているバーチャル空間であるメタバースについて、その展開と現状、そして今後の課題について説明する。ここまで説明してきた、人間の知覚・認知とVRの関係、そしてバーチャル空間でのアバター使用によるコミュニケーション等の知見をふまえ、VRとメタバースの現状および今後の課題について考えていく。
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社
東京大学バーチャルリアリティ教育研究センター (2022). トコトンやさしいVRの本[第2版] 日刊工業新聞社
雨宮 智浩 (2023). メタバースの教科書 -原理・基礎技術から産業応用まで- オーム社
コマ主題細目
① メタバースのこれまでの展開 ② メタバースの現状 ③ 現在のメタバースの課題と今後の展望
細目レベル
① メタバースの原型はSF作品の中で形成され、『ニューロマンサー』では人間が意識をサイバー空間に投射して活動する世界が、『スノウ・クラッシュ』では「メタバース」と呼ばれる三次元空間をアバターで移動し、交流や経済活動を行う社会が描かれた。現実では、1990年代後半以降のインターネットの普及、通信の高速化、コンピュータの性能向上を背景に、多人数が同じ空間で活動するMMORPGが発展した。さらに2000年代に開始した「Second Life」では、ゲーム上の目的に縛られず、アバターによる交流、創作、イベント、仮想通貨を用いた経済活動が実現した。その後、Web2.0によるユーザー主体の情報発信や、Web3.0におけるブロックチェーン、仮想通貨、NFTなどの考え方も加わり、メタバースは社会活動や経済活動を含む生活空間へと発展してきた。
② 現在のメタバースは、Web上の三次元バーチャル空間に多数の利用者が同時にアクセスし、アバターを介して交流、創作、商取引、学習、文化活動などを行う場として利用されている。特に2020年以降のコロナ禍では、現実空間に人々が集まることが困難になったため、単なるビデオ会議とは異なり、「同じ空間に集まっている」という感覚を提供できる場として注目された。現在では、VRライブやコンサート、展示会、企業イベント、バーチャル教室、美術展などに活用され、アバター同士が同じ空間を共有して交流できる。また、観光地や歴史的建造物を三次元空間に再現することで、移動が困難な人でも文化・観光体験に参加できる。このようにメタバースは、現実の代替だけでなく、現実世界と相互に補完し合う社会的・文化的活動の場として利用されつつある。
③ 現在のメタバースには、技術的、身体的、社会的・心理的な課題が残されている。視覚や聴覚の提示は発達している一方、触覚、重量感、温度、嗅覚などの身体的フィードバックは十分ではなく、完全な身体性や臨場感を得にくい。また、操作方法の複雑さ、HMDによる首や肩への負担、視覚疲労、VR酔い、機器や高性能PCの有無によるデジタルデバイドも問題となる。社会面では、匿名性に伴うハラスメント、差別、なりすまし、ストーキングなどへの対策が必要である。一方、アバターによって身体的特徴に縛られず自己表現できることは、新しい社会参加の可能性も生み出す。今後は、触覚・力覚・空間音響・嗅覚提示やAIなどの技術を心理学的知見と統合するとともに、安全な利用のための規範やルールを整備することが重要となる。
キーワード
① メタバース ② ネットワーク ③ アバター ④ 経済活動
コマの展開方法
社会人講師
AL
ICT
PowerPoint・Keynote
教科書
コマ用オリジナル配布資料
コマ用プリント配布資料
その他
該当なし
小テスト
「小テスト」については、毎回の授業時間内に、LMS上において当該コマの小テスト(難易度表示付き)を実施する。
復習・予習課題
【復習】
テキスト教材と配布資料を再度読み返すとともに、材・教具の欄で示した資料を熟読することにより、内容の理解を深めておく。講義内の説明で十分に理解できなかった点や用語は、図書館での書籍やインターネットで改めて調べ、知識を確実なものにしておく。特に、講義内で説明した心理学の知見やVRの技術等の内容が、コンテンツにどのように活かされているかの具体的な事例を確認してみるとよいだろう。
履修判定指標
履修指標
履修指標の水準
キーワード
配点
関連回
1. VRの歴史および関連コンテンツの歴史の理解
VR研究およびVR技術の発展についての流れを理解している。研究や技術の進展とあわせたVRコンテンツの具体例やその特徴について理解している。
バーチャルリアリティ,メタバース,センソラマ,ヘッドマウントディスプレイ,HMD,CAVE,CABIN,ウェアラブルコンピュータ,AR,VR教育,VR観光,VR医療,VR曝露療法
20
1, 2, 8, 9, 14, 15
2. VRに関係する人間の感覚処理のしくみの理解
VRの三要素である「三次元空間」「リアルタイム相互作用」「自己投射性」を実現するのに関係する,人間の感覚・知覚処理のしくみを理解している。特に,人間が奥行きをもつ三次元空間を知覚するために用いられる複数の奥行き手がかりとそれらの違い,人間が正しく音源/音像の方向を認識するための聴覚的手がかりとその特性について理解している。
奥行き知覚,奥行き手がかり,両眼視差,音源定位,両耳間時間差,両耳間レベル差,耳介,頭部伝達関数
16
3, 4, 5
3. 多感覚統合の特性および具体的な研究例の理解
人間の感覚,特に視覚,聴覚,皮膚感覚(触覚)の間の相互作用を示す錯覚現象を説明できる。また,感覚間相互作用を用いた応用研究の事例についても理解している。
腹話術効果,マガーク効果,交差-反発知覚,パーチメントスキン錯覚,シュードハプテイクス(擬似触覚),メタクッキー
6
3, 4, 5
4. 自己移動感覚に関する人間の特性とメカニズムの仮説の理解
「自分が移動している」という感覚について,特に視覚刺激から生起する自己移動感覚(ベクション)について,日常の例,人間の特性,そして生起メカニズムの仮説を理解している。加えて,視覚や前庭感覚をはじめとする感覚間の不一致から生じるVR酔い,映像酔いについての生起仮説を理解している。
前庭感覚系,加速度,オプティカルフロー,動揺病,映像酔い,VR酔い,視覚誘導性自己移動感覚,ベクション,train illusion,びっくりハウス,図-地仮説
14
6, 7
5. 複合現実感の理解
複合現実感として,現実とVRは完全に別なものではなく,現実-拡張現実(AR)-拡張VR-VRと,連続的なスペクトラムとしてとらえられる。これらの違いを理解している。特に,拡張現実(AR)の特徴と発展までの流れを説明できる。
複合現実感,MR,拡張現実(感),AR,拡張VR,3Dモデル,コンピュータのモバイル化,ウェアラブルコンピュータ,セカイカメラ,ポケモンGO,プロジェクションマッピング,透過型ディスプレイ,ARスマートグラス,VR観光,VR医療
10
8, 14
6. テレイグジスタンス,臨場感コミュニケーション,人間拡張に関する研究と技術発展への理解
VRと関連しているテレイグジスタンス,テレプレゼンス,臨場感コミュニケーション,人間拡張において,それらの研究プロジェクトについての基本事項および研究の流れについて理解している。特に,サイバネティックアバターと関連技術を使用した場合の人間の能力の拡張について,拡張される能力のアイデア,および具体事例について理解している。
テレオペレーション,拡張型テレイグジスタンス,サイバネティックアバター,アバター,分身ロボット,人間拡張,融合身体,分身ロボットカフェ
14
9, 10, 11, 12, 13
7. アバターと身体に関する人間の心理特性についての理解
分身ロボットやVRアバターなどサイバネティックアバターを使用してテレイグジスタンスや臨場感コミュニケーション,そしてソーシャルVRを体験するのに関係する人間の感覚について理解している。それらに関する身体や自己に関する錯覚現象,具体例について理解している。
分身ロボット,アバター,サイバネティックアバター,臨場感,存在感,身体所有感,操作主体感,ラバーハンド錯覚,体外離脱体験,プロテウス効果,VRパースペクティブテイキング
20
10, 11, 12, 13
評価方法
期末試験(100%)で評価する。
評価基準
評語
学習目標をほぼ完全に達成している・・・・・・・・・・・・・
S (100~90点)
学習目標を相応に達成している・・・・・・・・・・・・・・・
A (89~80点)
学習目標を相応に達成しているが不十分な点がある・・・・・・
B (79~70点)
学習目標の最低限は満たしている・・・・・・・・・・・・・・
C (69~60点)
学習目標の最低限を満たしていない・・・・・・・・・・・・・
D (60点未満)
教科書
指定しない。
参考文献
日本バーチャルリアリティ学会 (編) (2010). バーチャルリアリティ学 コロナ社, 東京大学バーチャルリアリティ教育研究センター(編) (2022). トコトンやさしいVRの本[第2版] 日刊工業新聞社, 雨宮 智浩 (2023). メタバースの教科書 -原理・基礎技術から産業応用まで- オーム社
実験・実習・教材費
徴収しない。