Augmented Usamimi

it { is_expected.to be_blog.written_by(izumin5210) }

Holoportation: Virtual 3D Teleportation in Real-time を読んだ #uist2016j

Human-Computer Interaction Computer Vision UIST Research

Holoportation: Virtual 3D Teleportation in Real-time (UIST2016)

ヒューマンコンピュータインタラクション論文紹介 Advent Calendar 2016 1日目です． UIST2016で発表された"Holoportation: Virtual 3D Teleportation in Real-time"を読んだときのメモです．

https://www.youtube.com/watch?v=o00mn1XbClg

テレプレゼンスシステムについての論文ですが，Microsoft Researchの圧倒的Computer Vision力で殴りつけましたみたいな感じでシステム構成〜実装が果てしなく読み応えあります（正直，理解できてない箇所も多い）．

これはなに？

空間をキャプチャ・3次元再構成し，リアルタイムに遠隔地へ送る．

先行研究と比べて

  • 高品質・リアルタイム
  • 利用者の位置・動きの制約なし
  • 人体以外の物体も再構成する

技術・手法

システム構成

Depth estimation

  • Structured light approachは早いし正確
    • e.g. Kienct v1, HyperDepth
    • でも今回はカメラが複数台あるから干渉して厳しい
  • "active stereo for depth estimation"する
    • よくわからないけどKinect v1みたいに赤外線パターン知らんでも大丈夫らしい
  • PatchMatch stereoという手法をCUDAで実装して，ハイエンドGPU積んだマシンで50fpsほど出る

Foreground segmentation

時間的にズレのない3D reconstruction

Fusion4D？

Color texturing

空間の音

  • 音はモノラルマイクで収集
  • ユーザのローカル座標・姿勢と一緒に送信
  • 再生時は適切に座標変換とかして空間に配置
  • 頭部伝達関数（HRTF: Head Related Transfer Function）つかう
  • Windows10のXAUDIO2でいい感じに処理

データ圧縮・送信

再構成したデータ・画像・音声ともに，各ステップごとに削れるだけ削ってる（ボクセルにして重複排除したり，ビット数減らしたり，前景以外を一色にしたり，）． LZ4圧縮とかしてる

rendering

  • HoloLensみたいにPCとつながってないやつでレンダリングすると重すぎて体験損なう
  • 受信側にレンダリング用PCおいて，そいつにコスト負担させる
  • PC-HMDのレイテンシを補うために，ユーザのポーズ予測して投機的にレンダリングしたりする

実装

  • PC * 4（depth推定〜前景抽出）
  • fusion用PC

Application

User Study

  • 被験者10人（うち女性3人，22〜56歳）
  • 違う部屋に分かれて2つのタスク（会話・オブジェクト操作）
  • ARとVRためす
  • タスク
    • 自分自身の3つの情報を与える（うち1つは嘘） 他方がそれを見抜く
    • オブジェクト配置（片方だけが目標の写真持ってる）
  • 被験者は5つのカテゴリの分析をうけた
    • Mixed-Reality環境への適応
      • 同じ場所にいる感
      • 自分側のオブジェクトと相手側のオブジェクトを混同しないように配慮する etc.
    • 物理的な作業での自然なインタラクション
    • Viewer（AR or VR）の影響
      • ARは相手がこっちに来てくれた感・VRは別の世界に飛ばされた感
      • VRだと見えてるオブジェクトが実在のものか判別できない
    • 自由な視点移動
      • 視点の制約がないのは複雑なタスクで有効だった
      • オブジェクト指すのとか楽
    • 映像のクオリティ
      • 70%は相手がほんとにいるようにみえる
      • ただし画面端にいてチラつくときあって厳しい

Limitation

  • まだシステムがでかい
  • まだreconstruction時に欠損したりする
  • ヘッドセットないっぽくレンダリングしたい
  • 不気味の谷超えたい

雑

このチームのここ2〜3年位の研究の集大成みたいな勢いで，関連論文に手を出し始めるとキリがなく（しかもその関連論文は総じてカロリーが高い），非常に学びの多い論文だった． システムの構成とか重視の論文なので，そういうの書くときに参考にしたい．

このカメラ市販したり，Fusion4DやPatchMatch Stereoの実装を公開したりしてくれるとうれしいな…．

明日12/2は id:yumu19 さんです．よろしくお願いいたします．

カレンダーはまだまだすっかすかですので，心優しいUIST勉強会参加者の方など埋めていただけるとうれしいです．

References