技術ブログ

本ブログは、米国時間 3 月 4 日に公開された “Driving Innovation with Azure Mixed Reality Services” の抄訳を基に掲載しています。

Mixed Reality (MR: 複合現実) はデジタルと物理世界の融合を可能とします。Azure Mixed Reality Services を利用することで開発者は、その環境における人々や、場所、モノを認識したエクスペリエンスを創り出すことが可能です。これらのサービスは、Azure Spatial Anchors、 Azure Remote Rendering、 Azure Object Anchorsから構成されます。Azure Spatial Anchors は、マルチユーザー、マルチデバイスで空間情報を活用し Mixed Reality 体験を可能とするもので、既に一般提供をおこなってきました。 そして、Microsoft Ignite 2021 において、Azure Remote Rendering の一般提供開始、および、Azure Object Anchors のプレビュー提供開始が発表となりました。

Azure Remote Rendering を一般提供開始

Mixed Reality のユースケースでは、ユーザーは 3D モデルを表示し操作する必要があります。Mixed Reality ヘッドセットやモバイルデバイスなどで表示するためには、3D モデルをデシメーションし簡素化する必要がありますが、その結果、デザインレビューやビジネスでの意思決定に必要となる重要な詳細部分が失われることがあります。Azure Remote Rendering を使用することで、開発者は高品質でインタラクティブな 3D コンテンツをクラウド上でレンダリングし、HoloLens 2 デバイスにリアルタイムにストリーミングし表示することが可能となります。Azure Remote Rendering では、Azure クラウドの機能を活用して、最も複雑な 3D モデルに対して、デシメーションを行うことなく視覚化を可能となります。Standard Remote Rendering を使うことで最大で2,000万ポリゴンのモデルをレンダリング可能です。Premium Remote Rendering では10億以上のポリゴンをレンダリング可能です。

Azure Remote Rendering の仕組み

Azure Remote Rendering はクラウド上のハイエンド GPU でワークロードを処理します。クラウド上でホストされるフラフィックス エンジンによってイメージをレンダリングし、ビデオストリームとしてエンコードし、ターゲットなる Mixed Reality デバイスにストリーミングします。それに加えて、Azure Remote Rendering では、没入型のエクスペリエンスのためのハイブリッド レンダリングがサポートされ、メニューなどのローカルコンテンツが自動的にリモートのオブジェクトと結合されます。

こちらの Learning モジュールをご活用ください。詳細については、こちらのドキュメントを参照ください。

お客様での活用事例

顧客とパートナーが Remote Rendering を活用して忠実に再現された 3D ビジュアライゼーションを実現しています。Bentley Systems はHoloLens 2 とAzure Remote Rendering を活用して、橋梁の検査プロセスを刷新しました。構造検査を行う際には、すべての細部の情報が重要となります。Dan Vogen は以下のように述べています。

「リアルなメッシュで何億ものポリゴンを表示し、相互作用させる必要があります。Azure Remote Rendering によってそれ以上のことが可能となり、まるで SF のインタラクションのようです。解像度、詳細、精度の高さによって、ユーザーはアセットの中に “テレポート” することができます。我々の HoloLens ベースの没入型の検査プロセスによって、時間を短縮し、コストを削減し、安全性を向上し、そして通行止めを削減することが可能となります。」

Dan Vogen、運輸資産管理担当副社長、Bentley Systems

HoloLab は、Azure Remote Rendering を活用し、アーキテクチャのレイアウトを実寸大でかつ、高精度で可視化しています。

「Azure Remote Rendering の革新性と効率性に非常に興奮しています。我々は、製造業、建設業、エンジニアリングの様々なエンタープライズのお客様で Azure Remote Rendering の活用を進めています。これらのお客様では、膨大なポリゴン数の 3D CAD データの可視化、共有のためにAzure Remote Rendering を活用しています。建築物の BIM データは非常に大きく、一度に１つのフロアしか表示できませんでした。これからは、Ａｚｕｒｅ Remote Rendering のおかげで 建築物全体を HoloLens で一度に表示して見ることができます。」

中村 薫、株式会社ホロラボ　ＣＥＯ 兼共同創業者

Azure Remote Rendering をより多くのお客様、パートナー様にご利用いただくために、提供地域をつぎの10の地域に拡大しました: Australia East, East US 2, Japan East, North Europe, South Central US, and UK South, East US, West US 2, West Europe, and Southeast Asia

Azure Object Anchors のプレビュー提供を開始

Azure Object Anchors は顧客とパートナーのフィードバックに基づくイノベーションです。Mixed Reality テクノロジーの採用が加速し、顧客は物理オブジェクトに対してホログラムを簡単に配置したいと考えています。Azure Object Anchors によって、開発者は 3D コンテンツを物理的なオブジェクトに対して自動的に配置することができます。これより、マーカーや手動でのホログラムの配置が不要となります。

プライベートプレビューの間、我々はトヨタ自動車と密に連携しました。トヨタでは Object Anchors を活用することで、整備士が配線についてのホログラムのコンテンツを簡単に車体に合わせて表示することができます。整備士は、ホログラムを配置すると、すぐに作業を開始できます。

「Azure Object Anchorsのマーカーレスで動的な 3D コンテンツの配置によって、整備士はより迅速かつ正確に自動車整備のサービスを提供できます。ＱＲ　コードによる配置が不要となり、手動での配置によるエラーのリスクがなくなり、メンテナンス作業の効率化が実現しました。」

栢野 浩一、サービス技術部門、トヨタ自動車

我々は、ほかのパートナーや Dynamics 365 Guides を含むインターナルのチームとも協力しています。プライベートプレビューで、Azure Object Anchors を Dynamics 365 Guides に統合し、お客様から様々なポジティブなフィードバックをいただいています。カスタムの Mixed Reality アプリケーションを開発する場合でも、インダストリー向けの特定のソリューションを利用する場合でも、開発者は Azure Object Anchors を作業ガイダンス、ステップバイステップトレーニング、バーチャル検査などのシナリオでご活用いただけます。

Azure Object Anchors の仕組み

Azure Object Anchors のワークフローは、Training と Runtime の二つのステップで構成されます。

Training

Object Anchors のサービスは、3D アセットを AI モデルに変換して、オブジェクト認識による Mixed Reality エクスペリエンスを実現します。コンテンツを配置したい物理オブジェクトをサポートされている形式（gltf、glb、obj、fbx、ply）のいずれかで３Ｄ モデル化します。Object Anchors サービスは、3D モデルを取り込み、Training パイプラインを通じて実行します。完了すると、検出と配置をランタイムで活用するために必要な情報が出力されます。

Runtime

ランタイム検出エクスペリエンスを作成するには、次の手順に従います。

1. セッションを開始する
2. オブジェクトモデルの読み込み（Training からの出力）
3. 探索領域の設定
4. 物理的なオブジェクトを検出し、コンテンツを配置
5. 配置をロック
6. ３D コンテンツをレンダリング

Unity と MRTK を活用した Azure Object Anchors のサンプルアプリケーションを使って簡単に使用を開始できます。また、ランタイム SDK を使ってカスタムコードを生成することもできます。

Azure Object Anchors の詳細はこちらをご確認ください。既存の 3D モデルを活用する場合はこちらをご確認ください。

Azure Mixed Realty Services は大変盛り上がりを見せており、わずか２年間で、お客様とパートナー様は、技術者、教育者、学生、専門家などが、より多くのことを達成するための Mixed Reality ソリューションを開発しています。みなさんが次に何を開発されるのか見るのがとても楽しみです。Azure Mixed Reality Services をぜひご利用ください。