Research

私たちが外界からの感覚情報を処理する際、まず感覚器官で刺激を受け取り（感覚）、それを総合的に意味づけし（知覚）、経験や記憶をもとに解釈します（認知）。工学の視点から見ると、物理的に忠実な感覚刺激を感覚器官に与えることで、あらゆる世界を再現できるはずです。しかし、大量の情報を処理する際の取捨選択や感覚から知覚への変換の特性などによって、物理的な世界と私たちが認識する主観的な世界（意識）の間に隔たりが生じます。このような、本来の客観的特性とは異なる知覚現象を「錯覚」と呼びます。錯覚は問題があるように見えますが、実際には日常生活を安定させ、環境にすぐ適応できるように脳内で構築される世界を助けています。

バーチャルリアリティ（VR）は、人間が感じる「リアリティ」とはなにかを探求する学問で、感覚・知覚や運動が関係する分野です。錯覚現象は、心理物理学では脳の情報処理の手掛かり、工学では効果的な情報提示の原理、芸術では世界の捉え方の表現手法として活用されています。そのため、錯覚をうまく利用することで、新しい情報提示方法やVR世界の構築方法ができると考えられます。メタバースのような複数のユーザーが交流する3Dバーチャル空間では、VR技術や錯覚技術を通じて人々が円滑にコミュニケーションすることで、新しい世界を切り開く助けとなると期待されています。

Lectures in the Metaverse

新型コロナウィルス感染症（COVID-19）の世界的な拡大に伴い，国内の大学はほぼ全面的に遠隔講義の形式に移行しました．コロナ禍でも教育というサービスの質を落とさぬよう，遠隔ビデオ会議ツールの利用，対面やオンラインの併用，ハイブリッドやハイフレックスなど様々な形が検討されています．一方，VR空間に教室のような 3DCG でできたワールドを構築し，そこで授業資料を表示させて教員がアバタとなって授業を行う事例も報告されてきています．

わたしたちは，単に座学の授業をVR空間で実施するのではなく，インタラクティブな教育訓練に利用できないかを検討しています．その中で，VRChatやMozilla Hubsといったソーシャル VR プラットフォーム上で実施した大学講義と，この講義を通じて得られた知見をまとめ，ポストコロナ時代における遠隔講義のあり方を模索しています．

Deepfake-based animated avatar for active participation in online live classes

Deep Learning技術を利用して作成された合成メディアであるディープフェイク技術を用いてzoom等の遠隔講義において講師画面の顔画像を変え，受講生が受けたいと思える先生の見かけで授業を実施し，授業参加に対する行動が積極的になるかを検証しています．ディープフェイク技術の悪用は社会問題となっていますが，逆になりすまし技術をオンライン教育に活用できないかに取り組んでいます．

Virtual omnibus lecture

講師のアバタを切り替えることで一人の講師であってもオムニバス講義のように複数の講師による遠隔講義 (Virtual Omnibus Lecture) のような形式が実現できます．同じアバタを使ったときよりも講師アバタを切り替えて授業したときのほうが，授業内容に関する記憶テストで高得点を取る結果となりました．記憶に関する先行研究では異なる環境下での学習が記憶力の向上につながることが示されていますが，異なる講師アバタによる授業でも同様の効果が確認されました．

Vertical Vection modulated by Bone-Conducted Vibration Stimulation

⼀定⽅向に運動する視覚パターンを提⽰する観察者が知覚する移動感覚（ベクション）の体験中に乳様突起へ⾻伝導振動(BCV)を行い，自己運動感覚を強める研究を行っています．BCVの周波数による効果の違いや，⾻伝導と空気伝導との効果の比較を通じて，BCVが⼩型かつ侵襲性のない移動感覚増強⼿法として有⽤であるのかを検証しました．

Directional force perception by hand-arm self avatar and asymmetric oscillation

視覚情報は身体の位置や動きを外側から，体性感覚情報は内側から監視しています．しかし，これらの感覚情報がどのように統合されているかはまだ明らかになっていません．本研究ではVR空間内の自己アバタと非対称振動刺激による牽引力錯覚を用いて，視覚的外観（人間の手と人間以外の物体）や視触覚的な方向手がかりの一致度を変更しながら，手の動きによる視覚情報と体性感覚情報の時間差がトルクの方向知覚に与える影響について評価しました．

Pseudo-Attraction Force with Kinesthetic Illusory Hand Movement

非対称振動によって生成される牽引力錯覚を利用した力覚提示は比較的提示力覚の強度が弱く，応用分野拡大のためには強度の増強が求められています．そこで，牽引力錯覚と運動錯覚を同時提示することによって知覚力覚が増強される手法を提案し，増強効果を確認しました．

Walking with moving dots

歩行者の周囲を移動するアバタが歩行者の歩行速度に影響を与えるかを調べています．VR空間内の壁に投影されたアバタがヒト型であるかに着目し，形態的な側面（ヒトの形態が知覚可能か）に干渉せずに運動情報（局所的な個体の動きの速度）を取り出す事のできるモデルとして生態学的運動（バイオロジカルモーション）に着目し，各光点の位置を無作為に変えたスクランブルモーショ

ンと比較しました．

Walking with geriatric walking motion avatars

歩行者の周囲を歩くアバタが，その歩行者との関係性に応じて歩行速度と感覚にどう影響するかを調べています．高齢者に関する定型的な言葉(ステレオタイプ)とアバタの歩行動作の見た目を変更しながら，歩行速度の変化を調べ，ステレオタイプとアバタの歩行動作との相互作用を明らかにしました．

GVS modifying pseudo-walking sensation

前庭電気刺激(galvanic vestibular stimulation: GVS)は両耳の後ろに電極を貼り，微弱電流(2mA程度)の方向に応じてバーチャルな加速度を生成させることが可能な電流刺激方法です．GVSを用いて座姿勢のまま擬似的な歩行感覚を提示する手法な手法と組み合わせて，効果を検証しています．また，カーレーシング・シミュレータにおいて，コーナーを曲がる際の加速度感をGVSで生成したり，GVSの交流刺激を与えて体が揺らされているように感じさせたり，といった実装も行いました．

Sense of floating up in a standing position by foot-sole vibrations in VR space

ジェット等の推進力による立位姿勢での飛行や浮遊を疑似体験するコンテンツを対象とし，足裏への振動触覚刺激の提示により飛行感覚を向上させる新たな手法を提案しています．本手法は落下や衝突の危険がなく，システムの導入コストやスペースの問題を解決し，さらにVRの飛行体験コンテンツの幅を広げると期待されています．

VR surgical training for veterinary students

小動物を対象にした手術の実習において，全天周映像やVRシステムの活用可能性について検討しています．東大農学部獣医学専攻との共同研究です．

Trainign comic dialogue (Manzai) in VR

一般的に漫才は見て楽しむものですが，掛け合い漫才をおこなう漫才師の片方を演じるVRシステムを開発しています．このVR漫才を通じて「掛け合いプレゼン力」の向上が可能かを検証しています．吉本興業との共同研究です．

VisionPainter: authoring experience of visual impairment in VR

様々な種類の視覚障害をシミュレートするオーサリングシステムとVRビューアを開発しました．視覚障がいを有する人々がどのように見ているかを理解するためのVisionPainterという2Dオーサリングアプリケーションを提案し，狭窄や暗点，羞明など症状を模擬した絵（フィルタ）をブラシツールで描くことで，様々な視覚障がい体験を共有できます．

Haptic experience with a VR guide dog

盲導犬歩行時の主観視点と力覚的体験を表現できるVR(バーチャルリアリティ)技術に着目し，VR空間における盲導犬との力覚的インタラクションを通じて盲導犬の理解促進に資するかを検証するためのプロトタイプを作成しています．盲導犬訓練士からのインタビューや評価を基に，バーハンドル型ハーネスを装着したバーチャル盲導犬との歩行体験を実装しています．

Heaviness illusion by asymmetric oscillation

重力方向に「一方向に強くすばやく，その反対方向に弱くゆっくり」といった非対称に振動する物体を持ち上げると，パルス状の加速度の大きさや向きに応じて物体が 重くなったり，軽くなったりする錯覚が生じることを発見し，そのメカニズムを調べました．

この手法を使うと物理的に重量を変化させることなくモノの重さを変化させて知覚させることが可能となります．

TeleParallax: Low-motion-blur stereo vision telepresence system with Correct IPD for 3D Head Rotations

左右の目に平行な2 台のカメラを使い，それぞれの目に映像を提示することで人間の視覚に近い両眼視差が得られます．一方で視聴者の頭部の回転に伴ってカメラレンズの光軸を回転させる場合，回転角や回転速度が大きい場合にモーションブラー（映像のブレ）が発生します．我々は頭部運動に伴う映像のブレを低減するため，多軸ロボットアームを使って．レンズの光軸の方向を固定したまま全天球カメラが回転し，様々な頭部回転に対して正確な両眼視差を与える3D ライブ映像の手法の開発に取り組んでいます．

Remapping our peripersonal space by pseudo-walking sensation

座ったままの状態でも生じる疑似的な歩行感によってわれわれの脳内表現である自己の身体を取り囲む「身体近傍空間」を前方に拡張することを併せて明らかにしました．

身体に接近してくるような音を聞いているとき、その音源が身体近傍にあるときには聴触覚間の感覚相互作用によって身体上の触覚検出課題に対する反応時間が短くなることが知られています．さらに、歩行中には少し音源が遠くても反応時間が短いままであることが報告されています (Noel et al., 2015)．われわれは，実際に歩行することなく，足裏への振動刺激のみによって歩行時のように反応時間が減少することを世界で初めて明らかにしました．

VR Training for service industry

サービス業の窓口対応用のVRトレーニングシステムを開発しています．遠隔でも利用できるようにソーシャルVRプラットフォーム上に実装しました．

Buru-Navi: pseudo-attraction force using asymmertic acceleration

これまで携帯電話やポータブルミュージックプレーヤや携帯型ゲーム機などの携帯端末ではバイブレーション・振動感覚を表現することは出来ましたが， 「牽引力」（引っ張ったり押したり）を表現することはできませんでした．この背景には，力を生成するためには作用・反作用の法則のため，利用者と装置の両方を外部に接地させなければならないという物理的な制約がありました．

そこで，われわれは錯覚を利用することで物理法則の制約から解放された情報提示ができるのではないかというアプローチを提唱し，人間の感覚・知覚の非線形特性をうまく利用して，あたかも手を引かれるような感覚を作り出すことに成功しました．さらに親指サイズのバイブレータでも「一方向に強くすばやく，その反対方向に弱くゆっくり」と非対称に振動させることで，強くすばやい方に連続的に引っ張られているように感じさせることに成功しました．

Haptic navigation for the Blind

視覚障がい者が携帯できるサイズの機器で， 災害時に避難方向を「手を引いて」教えてくれる方位提示装置を開発し，その効果を検証しました． 具体的には，「ぶるなび」を応用し，小型軽量化・多自由度化，予備実験で要望の多かった静音化などの課題を解決し， ナビゲーションシステム等の経路情報を提示し道案内する機能を実装しました． ここでは４つの振動モジュールがそれぞれ東西南北を向くように配置し，それぞれを切り替えることで方向を提示するような方法を採用しました． 力ベクトルを同期させて合成することでたとえば北西のように斜めにも提示することでき，8方位に力を提示することを可能にしました．

京都市消防局，京都府盲学校の皆様の協力のもと，視覚障がい者を対象とした歩行誘導実験を実施しました．実験は体育館に模擬街路を敷設し，所定の経路どおりに歩行できるか検証しました． 歩行誘導実験結果から，23名のうち21名が事前のトレーニングなしで歩行誘導ができることが判明しました．

Pseudo-walking sensation by passive whole-body motions

座ったままの状態であたかも歩いたような感覚を作り出す技術の開発を行っています．椅子を上下に揺らしつつ，足裏に振動刺激を与えることによって，実際に歩くことなく歩行したような感覚を生み出す手法を開発しました．

Tactile motion perception processing in visual motion area V5/hMT+: a TMS study

皮膚上の刺激の動きを精緻に計算するには，2次元の感覚受容器のアレイ内の時空間パターンを処理する必要がありますが，脳内でどのように処理されているかは十分に明らかになっていませんでした．本研究では，指先に与えられた触覚刺激で方向を弁別する際に脳のどこが関与しているのかというクエスチョンに答える研究成果です．経頭蓋磁気刺激法(TMS)による脳の特定部位の神経活動の抑制手法を用いて, 触覚の運動刺激の処理に第5次視覚野(v5/hMT+)が関わっている因果関係を示しました．

Topographic surface perception

視覚と前庭感覚/体性感覚の感覚間相互作用を利用して，地形などの起伏形状を擬似的に表現するための手法の研究です．物理的に身体を上下さずに傾けるだけで起伏形状がどこまで表現できるかを調べました．

Manipulating control-display ratio with haptic feedback

マウスカーソルなどの動きと実際の手の動きとの関係性を変化させることで擬似的な触覚を提示する方法としてPseudo-hapticsという方法が提案されています．このPseudo-haptic feedbackで表現することの難しかった衝突事象の表現を過渡振動を用いて表現する手法の研究です．

Tactile apparent motion on seat pan

座面部分から提示される触仮現運動によって前進時の自己の移動速度感が促進されて知覚されることが明らかにしました．

Body tilt sensation by electrical stimulation of ankle tendons

足関節の角度感覚を変調させるために，前脛骨筋腱，アキレス腱，長腓骨筋腱，長趾屈筋腱の4つの足関節腱を標的とした新しい経皮電気刺激法を提案しています．これらの足首の腱を刺激する電極配置を有限要素解析により設計し，足首の腱を電気的に刺激すると身体の傾きの主観的感覚と実際の身体の揺れが生じることを心理物理実験から検証しています．

Leg-Jack: walking sensation

歩くことなく受動的な刺激によって歩行感覚を作る研究の一環で，前脛骨筋腱とアキレス腱への電気刺激によって筋の緊張を表現した歩行感覚の提示方法に関する研究です．

TwinCam: live stereo camera for telepresence

両目の位置に置かれた2台の360度カメラを用いて，頭部運動に伴うモーションブラーが生じにくい，立体視テレプレゼンスシステムを開発しました．視点に対して正確なIPD(瞳孔間距離)が保たれます．

FiveStar VR

人間の五感へ最適な組み合わせで刺激を与えて，他者の旅行やスポーツの体験を追体験することを目指している多感覚提示装置です．

CPR training with smart phone

スマートフォンの加速度センサを利用して，心肺蘇生法（CPR）における胸骨圧迫動作(いわゆる心臓マッサージ）のリズムと押し込み量を推定し，適切な情報を教示することで練習を行うためのシステムです．Android携帯端末に内蔵されたセンサ群によって胸骨圧迫動作のリズムや押し込み量を推定し，視聴覚・触覚的フィードバックを提示しました．また，適切な胸骨圧迫動作を教示する方法としてスマートフォンによる聴覚および触覚提示でリズムをフィードバックする手法の有効性について検証しました．

Directional torque perception with asymmetric rotational acceleration

リアクションホイールの問題点である，姿勢変化で生じるジャイロ効果を軽減させるために静止状態からホイールを短期間だけ駆動してトルク感覚を生成する手法を提案し，評価しました．急加速あるいは急減速するような非対称な回転によるトルク感覚の提示方法です．

OBOE: mobile text input interface

コードキーボードと呼ばれる，ピアノの鍵盤で和音（コード）を弾くときのように同時に複数のキーを押すことで一つの文字を入力する方法に関して，点字入力そのものがコードキーボードであることに着目し，縦笛のように両手で，立ったまま，歩きながらの姿勢で入力できる装置として筒型の点字入力インタフェースOBOE（Oboe-like Braille interface for Outdoor Environment）を開発しました．

Finger-Braille interface for tactile verbal communication

視聴覚障がい者が日常生活で常時装着することができる形態をめざし，常時装着できる指点字インタフェースを開発しました．腕時計型コンピュータWatchPadを使ってウェアラブルPCから手首までのワイヤレス化を実現しました． また，点字の情報（バーバル情報）だけでなく，歩行支援のために方位情報のようなシンボル情報も伝えられないかを調べました．