Varjo Teleportは、iPhoneを使用して任意のシーンを簡単にキャプチャし、PC VRでフォトリアリスティックなグラフィックスでその場を移動できる技術である。この技術は、3Dガウス関数の集合としてシーンを表現することにより、3Dボリュームをレンダリングするための比較的新しいニューラル技術であるガウススプラッティングによって可能になっている。現在、Varjo TeleportでスキャンしたシーンはPCを使用してのみ閲覧可能だが、将来的にはスタンドアロンVRヘッドセットでも閲覧できるようになると同社は主張している。
シーンのスキャンには、iPhoneを持ってシーンの周りを約10分間歩き回る必要があり、キャプチャはAWSクラウドサーバー上で数時間かけてバックグラウンドで処理される。Varjoは現在、早期アクセスに登録したユーザーに対してこのサービスを無料で提供しており、将来的にはさらなる収益化を計画している。キャプチャは、正確な照明、シェーディング、テクスチャ、詳細、反射を特徴とするフルスケールのデジタルツインに変換される。
Varjo Teleportアプリは現在、iPhone ProまたはiPad Proモデルが必要だが、近いうちに通常のiPhoneやiPad、そして最終的にはAndroidデバイスにも対応する予定である。スキャンはVarjo Teleport PC VRアプリで閲覧するか、UnityやUnrealで使用するためにエクスポートすることができる。また、スキャンはギガバイトではなくメガバイトで測定される。
主な使用例としては、地球上のどこか別の場所にいる人とアバターとしてキャプチャされたシーンをリモートで歩き回ることが挙げられる。ただし、現在は非常に高性能なPCが必要であり、リアルタイムでネイティブフレームレートでの閲覧が求められるため、スタンドアロンヘッドセットでの実行が可能であるというVarjoの主張に疑問が投げかけられている。しかし、同社は自信を持っており、ガウス分割の取り組みが進化するにつれて注目していく。
【ニュース解説】
Varjo Teleportは、iPhoneを使って任意の場所を簡単に3Dスキャンし、その場をPCのVR環境でフォトリアリスティックに再現できる技術です。この技術はガウススプラッティングという新しいニューラルネットワーク技術を用いており、3Dガウス関数の集合としてシーンを表現することで、3Dボリュームのレンダリングを可能にしています。現段階ではPCを介してのみ閲覧可能ですが、将来的にはスタンドアロンVRヘッドセットでの閲覧も目指しています。
この技術の特徴は、シーンのスキャンにiPhoneを使用し、約10分間の歩行でキャプチャを完了させる点にあります。その後、キャプチャはAWSクラウドサーバーで数時間かけて処理され、正確な照明、シェーディング、テクスチャ、詳細、反射を備えたフルスケールのデジタルツインに変換されます。現在は早期アクセスとして無料で提供されており、今後の収益化に向けた計画があるようです。
Varjo Teleportアプリは、現在はiPhone ProやiPad Proモデルでのみ利用可能ですが、将来的には一般的なiPhoneやiPad、そしてAndroidデバイスにも対応予定です。スキャンされたデータはPC VRアプリで閲覧したり、UnityやUnrealでの使用にエクスポートすることができます。また、データのサイズはメガバイト単位であり、大容量のストレージを必要としません。
この技術の応用例としては、地球上のどこか離れた場所にいる人と共に、キャプチャされたシーンをアバターを通してリモートで歩き回ることが挙げられます。しかし、現在は高性能なPCが必要であり、スタンドアロンVRヘッドセットでの実行にはまだ課題が残っています。それでもVarjoはこの技術の将来性に自信を持っており、その進化に注目が集まっています。
この技術の導入により、不動産の内覧、遠隔地の教育やトレーニング、文化遺産のデジタル保存など、さまざまな分野での応用が期待されます。一方で、プライバシーやデータのセキュリティ、高性能なハードウェアへの依存など、解決すべき課題も存在します。規制や標準化の動きも、この技術の普及と共に進展することが予想されます。長期的には、よりリアルなバーチャル体験の提供や、遠隔地との交流の促進に貢献する可能性を秘めています。
from Varjo Teleport Lets You Capture Any Scene With An iPhone And View It Photorealistically In PC VR.
