BEYOND THE WALL
壁の向こうで、
会おう。
いつもの空間に、まだ見たことのないステージを。
幕が上がれば、バーチャルとリアルが出会う。
ステージを準備しています…
ドラッグで視点移動 · スクロールでズーム
あなたの場所が、ライブ会場。
壁を自動検出
ARを開始し、壁の中心を見ます。候補枠が現れたら、スマホは「ここに配置」、HMDは「ここに配置」をピンチまたはトリガーで選びます。配置後にライブを再生できます。
コントローラーで3点を指定
舞台を置く範囲の左下・右下・左上で、コントローラーの緑の点を壁の数cm手前に合わせ、順にトリガーを押します。幅は実測し、高さは比率を保って決まります。
スマホは「置き直す」で再配置できます。HMDも空間内の「置き直す」で再配置できます。コントローラーのサイドグリップも使えます。
壁の自動検出はマーカー不要です。ブラウザが提供する平面・交点・奥行き情報を使います。端末の対応状況を確認しています…
Quest・PICOは対応ブラウザでパススルーAR、Vision ProのSafariはVRライブを利用できます。手だけでも空間内のボタンで配置・再生・収録・終了できます。Vision ProのVRでは実際の壁を検出しません。
iPhoneはSafariでマーカーAR・カメラ収録・3Dプレビューを利用できます。Androidの壁検出ARにはARCore対応機種・Chrome・Google Play開発者サービス（AR）が必要です。カメラとARはHTTPSで開いてください。
スマホでは画面中央を壁へ向け、「ここに配置」をタップします。壁が見つからないときは「距離指定へ」で配置できます。3点指定はHMD用です。
壁の検出状況はAR開始後に表示します。
「距離を指定して配置」は、壁を検出せず指定距離に置く手動補助です。壁を検出できない場合は、舞台の幅と距離を合わせてください。
iPhone・カメラでマーカーAR
印刷マーカーを壁に貼り、背面カメラで枠全体を映してください。マーカーの中心がステージの中央になります。動くと見る角度が変わります。
マーカーを開く・印刷する ↗マーカーが見えている間だけ追跡します。壁の自動検出・マーカーが画面外に出た後の位置維持は行いません。端末のカメラ特性によって大きさや位置にずれが出ます。
選択したVRMは端末内で読み込みます。
同じ会場で、一緒に観る。
同じWi-Fiの会場サーバーへ接続します。出演者の動きをステージへ配信し、AR・VRでは観客同士の顔アバターも表示します。iPhone・Androidの観客は顔だけ、HMDは取得できる頭と手を共有します。
会場PCから開いているか確認しています…
未接続。会場サーバーを起動し、全員で同じURL・ルーム名・合言葉を入力してください。
出演する
「出演者として配信」で参加した後、下の「カメラを準備」または「HMDでモーションを収録」を開きます。待機中から配信し、必要なら同時に収録できます。出演者は1ルーム1人です。
一緒に観る
「観客として参加」後にARを開始し、全員で同じ壁の同じ下端中心・幅へステージを配置してください。配置後に自分の位置が共有されます。スマホの顔アバターは端末位置の目安で、実際の顔の映像や表情ではありません。
最大16端末。カメラ映像・音声・モデルファイルは送信しません。出演者の動きは各端末のVRMに反映します。音楽は会場のスピーカー等で再生してください。全員で同じ舞台幅に合わせてください。マーカーAR同士は同じ印刷物を使用し、WebXRではその中心が開口の中央になるよう配置します。端末間の誤差やずれが生じます。
会場でのオフライン起動
オフラインキットを会場PCへコピーして起動します。会場ではNode.jsの追加インストールやビルド、外部サイトへの接続は不要です。初回にキットの認証局証明書を各端末へ登録し、全員で表示されたローカルIPのURLを開きます。Wi-Fiの外部回線は不要です。
オフラインの準備・起動手順その動きを、ステージへ。
取得できる頭・手・身体の情報を、収録画面で確認できます。
スマホカメラで、全身の動きを収録。
スマホを固定し、1人の全身が映る明るい場所で撮影します。腕・脚・胴体を推定してアバターへ反映します。奥行き・隠れた部位の精度や、部屋の中の移動の再現には制限があります。
カメラを準備すると映像とアバターを確認できます。音楽の設定は上のチェックボックスで変更できます。
カメラ映像（左右反転なし）
映像は端末内で処理し、保存・送信しません。マイクは使用しません。初回はこのアプリの配信元から姿勢推定モデル等の約17MBを読み込みます（環境により変動）。会場版は会場PCから読み込み、外部接続は不要です。収録は通常15Hzを上限とし、端末の性能で変わります。
HMDで収録
収録画面では、待機中からアバターが動きを反映します。「収録を開始」をピンチまたはトリガーで選ぶと、3秒後に曲と収録を同時スタート。「保存してプレビュー」を選ぶか曲が終わると保存し、ページに戻ってプレビューします。
記録待機中
画面下の「ページへ戻る」を光線で選んで終了できます。収録中は「保存して戻る」に変わります。待機中の「正面を合わせる」またはグリップで向きを合わせ直せます。
頭・コントローラーまたは手首を取得。対応環境では身体関節も使用し、取得できない足・胴体は推定します。指・表情・マイク音声・映像は収録しません。
PICOの全身トラッキングについて
Web経由の全身追跡は、PICO Motion Trackersに加え、ブラウザの対応とEnterprise機能が必要と案内されています。一般向けPICO 4 Ultraでは、トラッカーを接続するだけでは身体データを取得できない場合があります。
PICOでの事前確認モーションを読み込む
標準形式のVRM Animation（.vrma）を読み込み、アバターで確認できます。生の収録JSONも読み込めます。
モーションが選択されていません
再生すると上の画面へ移動します。全身表示で確認でき、再生位置のバーで動きを見直せます。曲付きで収録したモーションは、音楽も同期して再生します。「このモーションをARで確認」では、壁に配置するか印刷マーカーを捉えた後、再生ボタンまたはHMDのトリガーで同じモーションを再生できます。
保存して、次のライブへ。
カメラ・HMDで収録した直近のモーションはこのブラウザにも保存します。別の端末で使うときは、VRMAをダウンロードしてください。
VRMA書き出しは付属モデルなどのVRM 1.0に対応。取得した情報と推定から作るアバター動作を保存します。計測記録と収録時の曲設定はJSONで保存できます。VRMAに音源は含まれません。
アップロードは端末内への読み込みです。サーバーへ送信・共有されません。