IOTA
研究一覧へ戻る

2020 / RESEARCH DETAIL

脳波と心拍から、怖さをリアルタイムに捉える。

EEGとECGから恐怖状態の候補をリアルタイムに判定し、将来の適応型VR体験へつなぐためのセンシングシステムを、装置連携から予備実験まで実装しました。

技術・手法

  • EEG
  • ECG / HRV
  • MindWave Mobile 2
  • Arduino
  • Python 2 / 3
  • Russell Circumplex
論文
A Fear State Judgement System for Alleviating Fear of Heights Gradually in VR
発表
2020 the 10th International Workshop on Computer Science and Engineering（WCSE 2020 Spring）
書誌
ISBN 978-981-14-4787-7, pp. 68–72 / DOI 10.18178/wcse.2020.02.012
著者
Iku Kitanosono・Toshiyuki Haramaki・Hiroaki Nishino

01

研究の問い

適応型VRを実現するには、体験中の恐怖を質問票だけでなく、その場で連続的に捉える必要があります。そこで、脳波と心拍という異なる生体信号を組み合わせ、恐怖状態をリアルタイムに判定できるかを検討しました。

02

方法と工夫

  • MindWave Mobile 2のmeditation値と、Arduino心拍センサーから得たRRIのHRV指標を統合
  • Python 2の装置受信部とPython 3の集約・可視化部をlocalhostソケットで分離
  • EEGのリラックス度と心拍変動をRussellの感情円環モデルへ対応づけ、恐怖状態候補を判定
  • リアルタイム表示と記録を通じて、将来VR側が提示段階を変えられる構成にした

03

予備実験と結果

  • 学生3名が約9分のホラー映像を視聴し、提案システムの判定を顔表情認識結果と比較
  • 参加者A・Bでは恐怖状態の検出傾向が比較結果と概ね一致
  • 参加者Cでは誤検出が見られ、装置や身体の動きによる生体データ変動が要因として考察された
  • 少人数の予備実験として、検出できた例と失敗例の両方を報告した

04

限界と次の研究

  • 3名の予備実験であり、一般化や医学的な有効性を示す規模ではない
  • 体動ノイズと実際の恐怖反応を分離し、より安定したセンシングを行う必要がある
  • 瞬間的な閾値判定だけでなく、RNNなどを使って時系列から恐怖状態を予測することを今後の課題とした
研究一覧へ戻る