空間参照

モデルを読み込んだ後、ワークフローに情報を追加できます。後で Spatial Workplace アプリでモデルを表示する場所を定義するには、空間参照をワークフローに追加する必要があります。

参照には 3 つのタイプがあります。

マーカー
オブジェクトトラッカー
モデルの配置

メモ: ワークフローで異なる空間参照タイプを混在させることは、現在サポートされていません。

マーカー

マーカーは、ワークフロー内で表示される情報を、実際のコンポーネント上の目的の場所に配置するために使用されます。このためには、少なくとも 1 つの仮想マーカーをエディターに追加し、実際のマーカーが実際のコンポーネントに関連している必要があります。デバイスが異なれば、使用するマーカーの種類も異なります。次に、仮想モデルは、マーカーのスキャンされた位置に従って Spatial Workplace に読み込まれます。

マーカーには、次のタイプがあります。

Arucoマーカー:このタイプのマーカーは、モバイルデバイス(iOSおよびAndroid)で使用することを目的としています。マーカーのサイズはユーザーが調整でき、1〜99cmです。経験則として、10 cm(枠ありで12 cm)または15 cm(枠ありで18 cm)のサイズのマーカーを使用する必要がありますが、ユーザーはそれぞれのコンポーネントに最適なサイズを選択できます。
QRコードマーカー: この種類のマーカーは、HoloLens 2 で使用するためのものです。繰り返しになりますが、サイズはユーザーが調整できます。提案されたデフォルトは 15 cm (境界線ありで 17 cm) です。

注: 正しくトラッキングするには、空間エディターで追加したのと同じサイズでマーカーを印刷する必要があります。

モデルにマーカーを追加するには:

上部の[ 追加 ]をクリックします。
要件に応じて、 Aruco または QRコードマーカー のいずれかを選択してください。
配置するモデルのサーフェスをクリックします。エディタの他のオプション/ボタンは、マーカーを配置するまで無効になります。
モデルの表面上のマーカーの位置を変更するには、マーカーを選択し、トップメニューのObject > Snap をクリックするか、キーボードのを押します S 。
マーカーの位置と回転をモデルのサーフェスから独立して変更するには、 変換ギズモ または右側の[変換](Transform)メニューを使用します。

6.右側で、マーカーの参照 (IDとサイズ)を編集できます。

手記： エディタで使用される仮想マーカーは、Spatial Workplaceの使用時に実際のコンポーネントに配置される実際のマーカーと同じである必要があるため、マーカーIDが一致していることを確認してください。正しいマーカーを印刷し、エディタと実際のコンポーネントの両方で同じ位置に配置することが重要です。

すべてのマーカーは、トップメニューの [マーカーPDF ]をクリックしてダウンロードできます。大規模なモデルの場合は、HoloLens 2 での追跡を容易にするために、複数のマーカーを追加することをお勧めします。大きなモデルとは、すべてのピンを表示するために、ユーザーが元のマーカーの位置に対して視点を 90 度以上移動する必要があるモデルです。その場合は、実際のコンポーネントの各セクション(つまり、側面)にマーカーを追加します。各マーカーは、デバイスがピンの位置を再調整し、ピンの正しい配置を保証するのに役立ちます。

オブジェクトトラッカー

オブジェクトトラッカーを使用する場合、実際のオブジェクトを使用して、ワークフロー内の目的の場所に表示される情報の位置を計算します。オブジェクトトラッカーは、HoloLens 2、iOS、Android デバイスで表示されるワークフローで使用できます。

オブジェクトトラッカーをモデルに追加するには:

3Dシーンの上部にあるメニューで >オブジェクトトラッカーを追加 ]をクリックします。
スマートグラスの赤いホログラムが表示されます(マウスのスクロールホイールを使用してズームアウトする必要があります)。このホログラムは、スマートグラスを通して物体がどのように認識されるかを示しています。

3. シーン内のモデルに対するオブジェクトトラッカーの位置は、Spatial Workplaceでワークフローを再生しながら、実際のオブジェクトをスキャンするためにユーザーがデバイスを配置する必要がある位置と距離を表します。

4. オブジェクトトラッカーを追加します。これで、3Dシーンカメラがある場所(つまり、ユーザーが現在3Dシーンでモデルを見ている視点)に自動的に配置されます。

手記： マウスを使用して、ユーザーはシーンを回転させ、さまざまな視点から見やすくすることができます。

5. オブジェクトトラッカーの上のギズモを使用して、位置を調整したり、カメラを動かしたりします。

6. オプション: 右側のメニューの「 ビューから変換を設定 」をクリックして、ビューパースペクティブに再度移動します。

手記： オブジェクトトラッカーがモデルから適度な距離にあり、そこから出ている線がモデルを指していることが重要です。

⇒ ワークフローをアップロードしたら、表示デバイスでスキャンの遠近法と距離をテストし、エディターで微調整します。これにより、最終ユーザーがより良いスキャン体験をすることが保証されます。

手記： スマートグラスのホログラムの赤い色は、.objファイルが添付されていないことを意味します。.obj ファイルは、VisionLib からのオブジェクト追跡を支援し、実際のコンポーネントを追跡します。

7. シーンから.objファイルを作成するには、赤いホログラムを選択します

8.右側の設定に移動します。

9. [Tracked Object] の [Assign] > [Generate new from scene] をクリックします。

10. オプション: ユーザーは、[ エクスポート ] をクリックしてファイルを保存することで、.obj ファイルをコンピューターに保存することもできます。

手記： 空間エディターにインポートされたモデル形式とは無関係に、.obj ファイルはシーンから生成するか、ディスクから提供する必要があります。

11. これで、3D シーンのオブジェクトトラッカーのホログラムの色が緑色に変わります。

12. オプション: パーツが Spatial のモデルから非表示または移動された場合は、.objファイルを再生成して、これらの変更をワークフローに含める必要があります。Workplaceアプリの使用時に初期トラッキングの位置と回転を調整できるようにするには、[ 動的初期ポーズ ]オプションを有効にします。

手記： HoloLens 2 のオブジェクト追跡の場合、.objのスケールはメートル単位である必要があります。シーンから.objを生成すると、Spatialはこれを自動的に保証します。ただし、ユーザーが VisionLib ライセンスを持つ既存の.objをディスクからインポートする場合は、スケールがメートル単位であることを確認するのはユーザーの責任です。他のデバイスにはこの制限はありません。

13.右側のメニューを使用して、オブジェクトトラッカーの位置と回転を変更します。

14. [ Set Transform From View] をクリックします。オブジェクトトラッカーは、3D シーンの位置と視点に自動的に移動します。

15. 最後に、トラッキングパラメータの値(以下で説明)を変更して、特定のオブジェクトのトラッキングを改善できます。

手記： これらのパラメータの 1 つが Static Scene で、作業中のシーンが動的である場合、ユーザーはこれを無効にできます。この機能は現在、モバイル端末でのみご利用いただけます。

手記： デフォルト値は、ほとんどのオブジェクトで適切に機能するように選択された一般的なパラメータです。

使用可能なすべてのトラッキングパラメータのリストは次のとおりです。

Dynamic Initial Pose (動的初期ポーズ): 有効にすると、ユーザーは実行時に初期追跡ビューポイントを動的に設定できます。
継続的な追跡(モバイルのみ): 有効(デフォルト)の場合、オブジェクトトラッカーはモバイルデバイスの継続的なオブジェクト追跡を行います。これは、タスク中に移動または回転できるが、その形状を維持するオブジェクトに適しています。 非連続追跡は 、タスクの開始時にオブジェクトのみを追跡し、その後 SLAM を使用して追跡を続行します。非連続トラッキングは、タスク中に移動または回転せず、形状が変化するオブジェクト(パーツの追加や削除など)に適しています。
拡張可能な追跡: 有効 (デフォルト) にすると、モデルベースのトラッキングが SLAM ベースのトラッキングで拡張されます。これにより、モデルがカメラ画像に表示されなくなった場合でも、追跡を続行できます。ユーザーは、SLAMダンス、つまりカメラを平行移動して回転させ、特徴の再構築に十分なベースラインを確保する必要があります。
最小インライア比初期化: 初期化中に追跡を検証するためのしきい値。値の範囲は 0.5 から 0.9 で、0.6 がデフォルト値です。ラインモデルがオクルージョンなしで実際のオブジェクトと完全に一致する場合は、より高い値を推奨します。ただし、通常は完全に一致しないため、値を小さくする方がうまくいきます。
ラプラス閾値: ラインモデルを作成するためのしきい値(mm)。値の範囲は 0.0001 から 100000 で、デフォルト値は 5 です。これは、エッジとして認識される 2 つの隣接するピクセル間の最小深度を指定します。
通常のしきい値: ラインモデルを生成するためのしきい値。値の範囲は 0.0001 から 1000 で、デフォルト値は 1000 です。これは、エッジとして認識されるために必要な 2 つの隣接するピクセル間の最小法線差を指定します。通常、法線ベースの線はあまり確実に認識できないため、高い値に設定されます。ただし、特定のモデルでは、より低い値を使用するのが理にかなっている場合があります。
線勾配閾値: 画像内のエッジ候補のしきい値。値の範囲は 0 から 256 までで、デフォルト値は 40 です。高い値では、コントラストの高いピクセルのみが候補として考慮され、低い値では他のピクセルも考慮されます。これはトレードオフです。候補が多すぎると、アルゴリズムが間違ったピクセルを選択する可能性があります。候補が足りないと、線モデルが画像内のオブジェクトにくっつかないことがあります。
キーフレーム距離: キーフレーム間の最小距離(mm)。値の範囲は 0.001 から 100000 までで、デフォルト値は 100 です。ラインモデルは、特定のキーフレームに対してのみ生成されます。値を大きくするとパフォーマンスは向上しますが、精度は低くなります (その逆も同様です)。
行検索の長さ Init Relative: 初期化および追跡中の最小解像度に対する直交検索線の長さ (パーセント)。値の範囲は 0.00625 から 1 で、0.03125 がデフォルト値です。モデルベースのトラッカーは、3D ラインモデルをカメラ画像に投影し、投影されたラインに直交するエッジピクセルを検索します。
使用色: これはデフォルトで無効になっています。有効にすると、トラッキング中に色付きのエッジがより適切に区別されます。これは、色付きのエッジを持つオブジェクトにのみ役立ちます。追跡品質は向上しますが、より多くの処理能力が必要です。
視野角 (HoloLens 2 のみ): 視野が広いほど、画像キャプチャ中にオブジェクトが小さく表示されます。大きなオブジェクトには「wide」を、小さなオブジェクトには「narrow」を使用することをお勧めします。

注: オブジェクトトラッキングは、TeamViewer/VISCOPICで有効にする必要があります。モデルごとまたはデバイスごとに追加のライセンスが必要です (外部ソフトウェアサプライヤー - VisionLib)

モデルの配置

モデル配置では、空間ワークプレースの開始時のユーザー位置を使用して、空間参照に接続されているすべてのモデルとピンを配置します。

これは、HoloLens 2、iOS、Android デバイスで表示されるワークフローで使用できます。

モデル配置の空間参照を追加するには:

3Dシーンの上部にある[ Add > Model Placement ]をクリックします。ギズモでは、緑と赤の軸に沿った移動と、青の軸を中心とした回転のみが可能です。この制限は、モデル配置参照を同じ平面上に保持するためのものです。

2.緑色の矢印は、ユーザーのビュー方向を象徴しています。ユーザーは、右側のメニューで、この参照に従って配置されるモデルを選択できます。Spatial Workplaceでワークフローを開始すると、選択したモデルと接続されたピンは、ユーザーがSpatial Workplaceアプリを起動したときの視線方向を基準にして配置されます。

モデルの可視性: 空間参照に接続されているピンとは異なり、既定ではモデルは表示されません。ワークフローの再生中にこれらを表示するには、次のいずれかを行う必要があります。

レコメンデーションの追跡

マーカーのサイズ

マーカーのサイズは、Spatial Workplace で表示される情報の精度と、マーカーをスキャンできる距離に影響を与える可能性があります。エディターでは、ユーザーは 1 から 99 cm までのマーカーサイズを選択できます。

HoloLens デバイスでは、マーカーのサイズの 50 倍の距離から Frontline マーカーを快適にスキャンできます。たとえば、10 cmのマーカーは、照明条件が良ければ約5メートル離れた場所までスキャンできます。暗い場所での設定の場合は、マーカーのサイズを大きくすることを検討してください。iOS および Android デバイスでは、Frontline はマーカーのサイズの 5 倍の大きさの距離からマーカーを快適にスキャンできます (たとえば、50 cm の距離から 10 cm のサイズのマーカー)。

注:一般的に、マーカーの最小推奨サイズは10cmです。ただし、これは照明条件、カメラの焦点、スキャナーカメラからの距離によって異なる場合があります。

Spatial Workplace は、スキャンされたマーカーを基準にしてワークフローのコンテンツを配置します。

この 2D 表現では、X 軸と Y 軸のみ が表示されます 。ただし、Spatial Workplace では、3 番目の軸を使用して正確な 3D 位置をマッピングします。ソフトウェアは、マーカーの高さと幅を基準にしてマーカーの中心を使用して、3D 変換を決定します。

エディターでワークフローに追加されたデジタルのコンポーネントとは異なるサイズの実際のコンポーネントにマーカーを配置すると、ユーザーはこの空間座標系の始点を間違った場所に設定する可能性があります。これにより、ワークフロー内のすべての情報の位置が損なわれる可能性があります。

おおまかなやり方： Arucoマーカーの場合は10cm、QRコードマーカーの場合は15cmのサイズで、それぞれのデバイスでほとんどの場合に十分です。ただし、照明条件、カメラの焦点、スキャナーカメラからの距離が大きな影響を与える可能性があります。問題が発生した場合に備えて、マーカーのサイズを大きくすることを検討してください。

注: マーカーの四隅すべてがスキャナーカメラにはっきりと見え、エディターで定義された正確な位置に平坦化されている必要があります。マーカーのカールやしわがあると、ピンの正しい位置が損なわれる可能性があります。

実際の設定の推奨事項

ピンを正確な位置に配置し、オフセットを最小限に抑えるには、すべてのトラッキング変数に注意を払うことが重要です。これには、マーカーの物理的特性、環境、およびSpatial Workplaceアプリケーションの実行に使用されるデバイスが含まれます。可能な限り最良の結果を得るには、以下の推奨事項に従って追跡効率を高めてください。

マーカー条件:

エディタで定義されている正しいサイズと ID 番号のマーカーを使用します。
スキャナーカメラの周りの余白を含め、四隅すべてがはっきりと見える必要があります。
マーカーは常に平らにして、カール、裂け目、しわのない実際のオブジェクトの正確な位置に配置する必要があります。
マーカーを覆う反射面は、トラッキングを損なう可能性があります(ガラスやラミネーションなど)。
マーカーは、常にマーカーが置かれている表面に対して90度の角度からスキャンする必要があります(つまり、カメラはオブジェクト/マーカーを直接見ている必要があります)。さまざまな視点からスキャンすると、ピンの位置に影響を与える可能性があります。

環境条件:

環境内のフィーチャの数とコンポーネントがトラッキングに影響します。マーカーがスキャンされ、元の位置が設定されると、デバイス追跡システムがコンテンツをその場所に保持するように制御します。設定内のフィーチャの数によって、デバイス追跡の効率が向上します。優れた機能には、コンポーネント自体、およびコンポーネントとその環境の間に表示されるコーナーとコントラストが含まれます。
部屋は良い照明を持っている必要があります。デバイスのカメラは通常、私たちの目に対して光を受け取るための容量が低くなっています。可能な限り最良の追跡結果が得られるように、部屋に十分な光があることを確認してください。ただし、明るすぎる環境も避けてください。
反射面は、特にマーカー、ピン、その他のコンテンツを配置する場合は避ける必要があります。
タスク実行中の無愛想な動きは、コンテンツの位置にドリフトを引き起こす可能性があります。タスクの実行中は、デバイスの安定した位置を保ちます。
大きな設定では、ピンがスキャンされたマーカーの位置から離れるほど、コンテンツの配置に望ましくないドリフトが発生する可能性が高くなります。これは、マーカーの追跡における小さな不正確さの増加と、マーカーとコンテンツの場所の間で必要な移動の量が原因です。この問題を最小限に抑えるには、以下の「トラッキングを改善するためにマーカーを追加する」セクションを確認してください。

注: コンポーネントのサイズによっては、追加のマーカーが必要な場合があります。一部のデバイスではトラッキング機能が限られているため、モデルの異なるセクションに複数のマーカーを追加する必要が生じる場合があります。これにより、Spatial Workplaceソフトウェアはピンの位置を再追跡し、ピンを正しく配置することができます。再配置タスク機能は、再追跡するタスクを実行するときにいつでも使用できます。

デバイスの状態:

HoloLens デバイス
- HoloLens デバイスには、障害物のないクリーンなバイザーとセンサーが必要です。
- 部屋を見回したり、エリアを歩き回ったりすると、部屋の設定を追跡するデバイスの機能が向上します。部屋に常に動いている人がたくさんいると、追跡が損なわれる可能性があります。
- 瞳孔間距離(IPD)は異なります。デバイスの IPD 値が調整されていないと、AR エクスペリエンスが損なわれる可能性があります。この Microsoftの記事では、キャリブレーションアプリを使用してデバイスのIPDをカスタマイズする方法について説明します。
iOSおよびAndroidデバイス
- 正しい追跡には、クリアなカメラレンズが必要です。
- オートフォーカスは、ピンの位置を損なう可能性があります。

タスク中の追跡の再開

タスク実行の途中でコンテンツの位置にずれがある場合は、マーカーを再スキャンするだけです。デバイスのタスクメニューで [ 再配置タスク ]を選択し、プロンプトに従ってマーカーをスキャンします。マーカーを再スキャンすると、タスクは中断したところから再開されます。

タスクメニュー

モバイルデバイス(iOSおよびAndroid)では、タスクメニューは常に画面の左上隅に表示され、3本の線が入ったアイコンが表示されます。HoloLens 2 では、デバイスの前に左手を上げるとタスクメニューが表示されます。また、「Reposition Task」音声コマンドを使用して追跡を再開することもできます。

マーカーを追加してトラッキングを改善する

ARデバイスは、すべてのピンが空間参照(マーカー)の近くに配置されている場合、追跡機能が向上し、ユーザーが元の位置に対して遠くに移動したり、大きなターンをしたりする必要はありません。コンテンツが最初の空間参照から離れている場合、マーカースキャンによる小さなトラッキングの不正確さは、距離によってポテンシャルが増すため、大きく表示されます。これに加えて、ユーザーが過度に移動すると、コンテンツの位置に余分なずれが生じる可能性があります。

これが、次の例に示すように、実際のコンポーネントの異なる「セクション」に異なるマーカーを作成することを推奨する理由です。

タスクの実行中に、ユーザーはコンポーネントの各セクションにある新しいマーカーをスキャンでき、デバイスはコンテンツの位置を再読み込みしてピンを正しい位置に配置できます。詳細については、上記の「タスク中のトラッキングの再開」セクションを確認してください。

エディタでプロジェクトに複数のマーカーを追加する場合は、余分なマーカーがワークフローのピンに接続されていることを確認してください。エディタでは、ユーザーは2Dコネクタでそれらを接続できます。これにより、ユーザーは、異なるマーカーを異なるピンからタスクを開始できるかどうか、またはマーカーをピン間に追加して、タスクのこの部分に到達したときにそのマーカーをスキャンする必要があるかどうかを決定できます。これらの追加マーカーには、異なるマーカー ID または同じマーカー ID を自由に使用してください。

その他の推奨事項

シームレスなARトラッキング体験を確保し、トラッキング品質を向上させ、ARスイミングや誤ったポジショニングなどの問題を防ぐために、次の要素を考慮してください。

現実世界の環境には光学的特徴がほとんどない: 現実世界の環境に多くの光学的特徴(テクスチャのある真っ白な壁など)が含まれていない場合、カメラがヘッドセットやモバイルデバイスの動きを計算するのが難しい場合があります。
非常に複雑な3Dモデル/ホログラム: 複雑なモデルやホログラムを視覚化する場合、すべてのオブジェクト/パーツを表示するために高い計算能力が必要であり、AR追跡システムに残される計算能力が少なくなります。
視線調整なし (HoloLens ユーザー向け): 各ユーザーがデバイス上で視線調整を実行すると、最適な HoloLens エクスペリエンスを実現できます。HoloLens 2 で "スイミング" の問題が解決しない場合は、デバイスで視線調整を実行してみてください。HoloLens の調整の詳細については、 Microsoft のドキュメントページを参照してください。
計算能力が限られているモバイルデバイス: Spatial Workplaceの実行に使用しているデバイスに強力な計算能力がない場合、ARトラッキングのエクスペリエンスがスムーズでない可能性があります。
モバイルデバイスの低品質カメラ: デバイスのカメラの品質が低い場合、トラッキング品質が低下する可能性もあります。
マーカーのサイズが間違っている: マーカーは、マーカー PDF に記載されているサイズで正確に印刷する必要があります。マーカーのサイズが間違っていると、マーカーが小さく印刷されている場合など、マーカーが遠くにあるとカメラが認識するため、位置トラッキングが間違っています。
部屋のスキャンが役立つ場合があります: ワークフローが同じ部屋でのみ使用される場合は、部屋をスキャンして HoloLens に教えると役立つ場合があります。これは、HoloLens をアイドルモード (オンになっているが、アプリが実行されていない状態) で使用しているときに、部屋のあらゆる方向で空中をタップすることで実行できます。
長い距離を歩く/大きく回転する: Frontline Spatial アプリの実行中にユーザーがデバイスを使用して長い距離を歩いている場合、またはワークフローでユーザーの 90 度の回転が何度も必要な場合は、ホログラムとピンが誤って配置される可能性があります。これを解決するには、ワークフローの途中にマーカーを追加して、AR トラッキング/ピンの位置をリセットします。
現実世界でのマーカーの配置が間違っている: マーカーは、空間エディター内の仮想シーンで定義されたのとおり、現実世界で正確に配置/接着されていることが重要です。これは、オブジェクトの正しい配置とトラッキングに役立つため、マーカーの実際の位置が空間エディター内の位置と一致することを確認してください。
低電力のモバイルデバイス: Spatial Workplaceの実行に使用しているデバイスに強力な計算能力がない場合は、ARトラッキングのエクスペリエンスがスムーズでない可能性があります。