Depois de carregar um modelo, você pode adicionar informações ao fluxo de trabalho. Para definir onde o modelo será exibido posteriormente no aplicativo Spatial Workplace, uma referência espacial deve ser adicionada ao fluxo de trabalho.
Existem três tipos de referências:
- Marcadores
- Rastreadores de objetos
- Posicionamento do modelo
Nota: No momento, não há suporte para a mistura de diferentes tipos de referência espacial em um fluxo de trabalho.
Marcadores
Um marcador é usado para posicionar informações que devem ser exibidas dentro de um fluxo de trabalho no local desejado sobre o componente da vida real. Para isso, pelo menos um marcador virtual precisa ser adicionado no editor onde o marcador da vida real estará em relação ao componente da vida real. Diferentes dispositivos usam diferentes tipos de marcadores. O modelo virtual é então carregado no Spatial Workplace de acordo com a posição digitalizada do marcador.
Existem os seguintes tipos de marcadores:
- Marcador ArUco: Este tipo de marcador destina-se a ser usado com dispositivos móveis (iOS e Android). O tamanho do marcador pode ser ajustado pelo usuário e pode estar entre 1 e 99 cm. Como regra geral, marcadores com tamanho de 10 cm (12 cm com bordas) ou 15 cm (18 cm com bordas) devem ser usados, mas o usuário tem a opção de selecionar o tamanho que funciona melhor com o respectivo componente.
- Marcador de código QR: Este tipo de marcador destina-se a ser usado com um HoloLens 2. Novamente, o tamanho pode ser ajustado pelo usuário. O padrão proposto é de 15 cm (17 cm com bordas).
Nota: Para o rastreamento correto, é necessário imprimir o marcador no mesmo tamanho que foi adicionado no Editor espacial.
Para adicionar um marcador ao seu modelo:
- Clique em Adicionar na parte superior.
- Escolha ArUco ou marcador de código QR dependendo de suas necessidades.
- Clique na superfície do modelo onde você deseja colocá-lo. As outras opções/botões do editor são desativados até que você coloque o marcador.
- Para alterar a posição do marcador na superfície do modelo, selecione-o e clique em Objeto > Encaixe no menu superior ou pressione
So teclado. - Altere a posição e a rotação dos marcadores independentemente da superfície do modelo usando os dispositivos de transformação ou o menu Transformar à direita.
6. No lado direito, você pode editar a referência do marcador (ID e tamanho).
Nota: O marcador virtual usado no editor deve ser o mesmo que o marcador da vida real que é colocado no componente da vida real ao usar o Spatial Workplace, portanto, certifique-se de que o ID do marcador corresponda. É importante imprimir o marcador correto e colocá-lo na mesma posição tanto virtualmente no editor quanto no componente da vida real.
Todos os marcadores podem ser baixados clicando em Marker PDF no menu superior. Para modelos grandes, recomenda-se adicionar mais de um marcador para facilitar o rastreamento com o HoloLens 2. Um modelo grande é aquele que, para ver todos os pinos, o usuário precisa mover seu ponto de visão mais de 90 graus em relação à posição do marcador original. Se esse for o caso, adicione um marcador adicional a cada seção (ou seja, lateral) do seu componente da vida real. Cada marcador ajuda o dispositivo a recalibrar a posição dos pinos, garantindo seu correto posicionamento.
Rastreadores de objetos
Ao usar rastreadores de objetos, o objeto da vida real é usado para calcular a posição das informações que devem ser exibidas em um fluxo de trabalho no local desejado. Os rastreadores de objetos podem ser usados em fluxos de trabalho que serão visualizados em dispositivos HoloLens 2, iOS e Android.
Para adicionar um rastreador de objetos ao seu modelo:
- Clique em Adicionar > Rastreador de Objetos no menu na parte superior da cena 3D.
- Você verá um holograma vermelho de óculos inteligentes (você precisa reduzir o zoom usando a roda de rolagem do mouse). Este holograma mostra como o objeto será percebido através de óculos inteligentes.
3. A posição do rastreador de objetos em relação ao modelo na cena representa a posição e a distância em que o usuário terá que posicionar seu dispositivo para escanear o objeto real enquanto reproduz o fluxo de trabalho no Spatial Workplace.
4. Adicione o rastreador de objetos. Ele agora é posicionado automaticamente onde a câmera de cena 3D está (ou seja, a perspectiva em que o usuário está atualmente olhando para o modelo na cena 3D).
Nota: Usando o mouse, o usuário pode girar a cena para vê-la melhor de diferentes perspectivas.
5. Use o gizmo sobre o rastreador de objetos para refinar suas posições ou mover a câmera.
6. Opcional: Clique em Definir Transformar de Vista no menu à direita para movê-lo novamente para sua perspectiva de visualização.
Nota: É importante que o rastreador de objetos esteja a uma distância razoável do modelo e que a linha que sai dele esteja apontando para o modelo.
⇒ Depois de carregar seu fluxo de trabalho, teste a perspectiva e a distância de digitalização em um dispositivo de visualização e ajuste no editor. Com isso, será garantido para o usuário final ter uma melhor experiência de digitalização.
Nota: A cor vermelha do holograma de óculos inteligentes significa que não há .obj arquivo anexado. O arquivo .obj ajuda o rastreamento de objetos do VisionLib a rastrear o componente da vida real.
7. Para criar um arquivo .obj a partir da cena, selecione o holograma vermelho
8. Vá para as configurações à direita.
9. Clique em Atribuir > Gerar novo a partir da cena em Objeto rastreado
10. Opcional: O usuário também pode salvar o arquivo .obj em seu computador clicando em Exportar e salvando o arquivo.
Nota: Independente do formato de modelo importado para o Spatial Editor, um arquivo .obj precisa ser gerado a partir da cena ou fornecido a partir do disco.
11. Agora, o holograma do Object Tracker na cena 3D deve mudar sua cor para verde.
12. Opcional: Se as partes estiverem ocultas ou forem movidas do modelo no Spatial, o arquivo .obj precisará ser regenerado para incluir essas alterações em seu fluxo de trabalho. Para poder ajustar a posição e a rotação do rastreamento inicial ao usar o aplicativo Workplace, habilite a opção Pose Inicial Dinâmica .
Nota: Para o rastreamento de objetos no HoloLens 2, a escala do .obj deve ser em metros. Ao gerar o .obj da cena, o Spatial garantirá isso automaticamente. No entanto, se o usuário importar um .obj existente com uma licença VisionLib de um disco, é responsabilidade do usuário garantir que a escala esteja em metros. Outros dispositivos não têm essa limitação.
13. Altere a posição e rotação do rastreador de objetos usando o menu à direita.
14. Clique em Definir transformação a partir da exibição. O rastreador de objetos é movido automaticamente para a posição e o ponto de vista da cena 3D.
15. Finalmente, você pode alterar os valores dos parâmetros de rastreamento (explicados abaixo) para melhorar o rastreamento de um objeto específico.
Nota: Um desses parâmetros é a Cena Estática, que o usuário pode desativar se a cena com a qual está trabalhando for dinâmica. No momento, esse recurso está disponível apenas em dispositivos móveis.
Nota: Os valores padrão são parâmetros gerais escolhidos para funcionar bem com a maioria dos objetos.
Aqui está uma lista de todos os parâmetros de rastreamento disponíveis:
- Pose Inicial Dinâmica: Quando habilitado, o usuário pode definir dinamicamente o ponto de vista de controle inicial durante o tempo de execução.
- Rastreamento contínuo (somente dispositivos móveis): Se habilitado (padrão), o rastreador de objetos teria rastreamento contínuo de objetos para dispositivos móveis. É mais adequado para objetos que podem ser movidos ou girados durante a tarefa, mas mantêm sua forma. O rastreamento não contínuo rastreia apenas o objeto no início da tarefa e, em seguida, continua o rastreamento usando SLAM. O rastreamento não contínuo é mais adequado para objetos que não são movidos ou girados durante a tarefa e que mudam sua forma (por exemplo, peças são adicionadas ou removidas).
- Rastreamento extensível: Se habilitado (padrão), o rastreamento baseado em modelo será estendido com o rastreamento baseado em SLAM. Isso permite que o rastreamento seja continuado mesmo que o modelo não esteja mais visível na imagem da câmera. O usuário precisa executar uma dança SLAM, o que significa traduzir e girar a câmera para que haja linha de base suficiente para a reconstrução do recurso.
- Íntegra Inlier Init: Limite para validar o controle durante a inicialização. O intervalo de valores atinge de 0,5 a 0,9, sendo 0,6 o valor padrão. Valores mais altos são recomendados se o modelo de linha corresponder perfeitamente ao objeto da vida real sem oclusão. No entanto, geralmente eles não combinam perfeitamente, e é por isso que um valor mais baixo funciona melhor.
- Limiar de Laplace: Limite para criar o modelo de linha (mm). O intervalo de valores atinge de 0,0001 a 100000, sendo 5 o valor padrão. Isso especifica a profundidade mínima entre dois pixels vizinhos a serem reconhecidos como uma borda.
- Limiar normal: Limite para gerar o modelo de linha. O intervalo de valores atinge de 0,0001 a 1000, com 1000 sendo o valor padrão. Isso especifica a diferença normal mínima entre dois pixels vizinhos necessários para serem reconhecidos como uma borda. Normalmente, ele é definido como um valor alto porque as linhas baseadas em normais não podem ser reconhecidas de forma muito confiável. No entanto, para certos modelos, pode fazer sentido usar um valor mais baixo.
- Limite de gradiente de linha: Limite para candidatos de borda na imagem. O intervalo de valores atinge de 0 a 256, sendo 40 o valor padrão. Valores altos considerarão apenas pixels com alto contraste como candidatos, enquanto valores baixos também considerarão outros pixels. Isso é uma compensação. Se houver muitos candidatos, o algoritmo pode escolher os pixels errados. Se não houver candidatos suficientes, o modelo de linha pode não se ater ao objeto na imagem.
- Distância Keyframe: Distância mínima entre quadros-chave (mm). O intervalo de valores atinge de 0,001 a 100000, com 100 sendo o valor padrão. O modelo de linha só é gerado para determinados quadros-chave. Valores mais altos melhoram o desempenho, mas vêm com menor precisão (e vice-versa).
- Relativo à inicialização do comprimento da pesquisa de linha: Comprimento das linhas de pesquisa ortogonais (em porcentagem) em relação à resolução mínima durante a inicialização e o rastreamento. O intervalo de valores atinge de 0,00625 a 1, com 0,03125 sendo o valor padrão. O rastreador baseado em modelo projeta o modelo de linha 3D na imagem da câmera e procura pixels de borda ortogonais às linhas projetadas.
- Use a cor: Isso está desabilitado por padrão. Se habilitado, as bordas coloridas são distinguidas melhor durante o rastreamento. É útil apenas para objetos com bordas coloridas. Ele pode aumentar a qualidade do rastreamento, mas requer mais poder de processamento.
- Campo de visão (somente HoloLens 2): Um campo de visão maior faz com que o objeto pareça menor durante a captura da imagem. Recomenda-se o uso de 'largo' para objetos grandes e 'estreito' para objetos pequenos.
Nota: O rastreamento de objetos deve ser habilitado pelo TeamViewer/VISCOPIC. É necessário licenciamento extra por modelo ou por dispositivo (fornecedor de software externo - VisionLib)
Posicionamento do modelo
O posicionamento do modelo usa a posição do usuário quando o Spatial Workplace foi iniciado para posicionar todos os modelos e pinos conectados à referência espacial.
Ele pode ser usado em fluxos de trabalho que serão visualizados em dispositivos HoloLens 2, iOS e Android.
Para adicionar uma referência espacial de posicionamento de modelo:
- Clique em Adicionar > posicionamento do modelo na parte superior da cena 3D. Os gizmos permitem movimentos apenas ao longo dos eixos verde e vermelho e rotação em torno do eixo azul. Esta restrição destina-se a manter a referência de posicionamento do modelo no mesmo plano.
2. A seta verde simboliza a direção de visão do usuário. O usuário pode escolher quais modelos estão posicionados de acordo com essa referência no menu à direita. Ao iniciar o fluxo de trabalho no Spatial Workplace, os modelos selecionados e os pinos conectados serão posicionados em relação à direção de visualização do usuário quando ele iniciar o aplicativo Spatial Workplace.
Visibilidade do modelo: Diferente dos pinos conectados a uma referência espacial, os modelos não serão visíveis por padrão. Para torná-los visíveis durante a reprodução do fluxo de trabalho, você precisa:
Recomendações de Rastreamento
Tamanhos de marcadores
O tamanho do marcador pode influenciar a precisão com que as informações são exibidas no Spatial Workplace e também a distância a partir da qual o marcador pode ser escaneado. O editor permite que o usuário escolha um tamanho de marcador entre 1 e 99 cm.
Em um dispositivo HoloLens, um marcador Frontline pode ser confortavelmente escaneado a uma distância 50 vezes maior do que o tamanho do marcador. Por exemplo, um marcador de 10 cm pode ser escaneado até aproximadamente 5 metros de distância em boas condições de iluminação. Considere aumentar o tamanho do marcador em caso de configurações de pouca luz. Em dispositivos iOS e Android, Frontline um marcador pode ser confortavelmente escaneado a uma distância 5 vezes maior do que o tamanho do marcador (por exemplo, um marcador com um tamanho de 10 cm a uma distância de 50 cm).
Nota: Em geral, o tamanho mínimo recomendado para um marcador é de 10 cm. No entanto, isso pode variar de acordo com as condições de iluminação, o foco da câmera e a distância da câmera do scanner.
O Spatial Workplace posiciona o conteúdo de um fluxo de trabalho em relação ao marcador digitalizado.
Apenas os eixos x e y são mostrados nesta representação 2D. O Spatial Workplace, no entanto, também usa o terceiro eixo para mapear a posição exata em 3D. O software utiliza o centro do marcador em relação à sua altura e largura para determinar uma transformação 3D.
Ao colocar um marcador no componente da vida real que tem um tamanho diferente do digital adicionado ao fluxo de trabalho no editor, o usuário se depara com a possibilidade de definir o ponto de partida desse sistema de coordenadas espaciais no local errado. Isso pode comprometer o posicionamento de todas as informações no fluxo de trabalho.
Regra geral: Um tamanho de 10 cm para marcadores ArUco e 15 cm para marcadores de código QR é suficiente para a maioria dos casos nos respectivos dispositivos. No entanto, as condições de iluminação, o foco da câmera e a distância da câmera do scanner podem ter um impacto significativo. Considere aumentar o tamanho de seus marcadores em caso de problemas.
Nota: Todos os quatro cantos do marcador devem ser claramente visíveis para a câmera do scanner e ser achatados para a posição exata, conforme definido no editor. Cachos e rugas no marcador podem comprometer o posicionamento correto dos pinos.
Recomendações de configuração da vida real
Cuidar de todas as variáveis de rastreamento é importante para posicionar os pinos em seu ponto exato e minimizar o deslocamento. Isso inclui as características físicas do marcador, o ambiente e o dispositivo usado para executar o aplicativo Spatial Workplace. Para obter os melhores resultados possíveis, siga as recomendações listadas abaixo para aumentar a eficiência do rastreamento.
Condições do marcador:
- Use um marcador com o tamanho e o número de ID corretos, conforme definido no editor.
- Todos os quatro cantos devem ser claramente visíveis para a câmera do scanner, incluindo o espaço em branco ao seu redor.
- O marcador deve ser sempre achatado e colocado na posição exata no objeto da vida real, sem cachos, rasgos ou rugas.
- Superfícies refletivas que cobrem o marcador podem comprometer o rastreamento (por exemplo, vidro ou laminação).
- Os marcadores devem sempre ser escaneados a partir de um ângulo de 90 graus em relação à superfície em que são colocados (ou seja, a câmera deve estar olhando diretamente para o objeto/marcador). A digitalização de diferentes perspectivas pode influenciar o posicionamento dos pinos.
Condições ambientais:
- O número de recursos no ambiente e o controle de influência do componente. Depois que o marcador é escaneado e a posição original é definida, o sistema de rastreamento do dispositivo assume o controle de manter o conteúdo em seu lugar. O número de recursos em sua configuração aumenta a eficiência do rastreamento de dispositivos. Boas características incluem cantos e contraste visíveis no próprio componente e entre o componente e seu ambiente.
- A sala deve ter boa iluminação. As câmeras dos aparelhos costumam ter menor capacidade de receber luz em relação aos nossos olhos. Certifique-se de que há luz suficiente na sala para garantir os melhores resultados de rastreamento possíveis. No entanto, evite também ambientes muito iluminados.
- Superfícies refletivas devem ser evitadas, especialmente para a colocação de marcadores, pinos e outros conteúdos.
- Movimentos bruscos durante uma execução de tarefa podem causar desvios na posição do conteúdo. Mantenha uma posição estável do dispositivo durante o desempenho da tarefa.
- Em configurações grandes, quanto mais distante um pino estiver da posição do marcador digitalizado, maior a chance de desvios indesejados no posicionamento do conteúdo. Isso é causado pela intensificação de pequenas imprecisões no rastreamento do marcador e pela quantidade de movimento necessário entre o marcador e o local do conteúdo. Para minimizar esse problema, verifique a seção "Adicionando marcadores extras para melhorar o rastreamento" abaixo.
Nota: Dependendo do tamanho do seu componente, marcadores extras podem ser necessários. Devido aos recursos limitados de rastreamento de alguns dispositivos, a adição de vários marcadores para diferentes seções do modelo pode se tornar necessária. Dessa forma, o software Spatial Workplace pode rastrear novamente a posição dos pinos para posicioná-los corretamente. A função de tarefa de reposicionamento pode ser usada a qualquer momento ao executar uma tarefa para rastrear novamente.
Condições do dispositivo:
- Dispositivos HoloLens
- Os dispositivos HoloLens exigem uma viseira limpa e sensores livres de objetos obstrutivos.
- Olhar ao redor da sala ou caminhar pela área aumenta a capacidade do dispositivo de rastrear a configuração da sala. Ter muitas pessoas em constante movimento na sala pode comprometer o rastreamento.
- Os usuários têm diferentes distâncias interpupilares (DPI). Valores de IPD não calibrados no dispositivo podem comprometer a experiência de RA. Este artigo da Microsoft explica como usar um aplicativo de calibração para personalizar o IPD do seu dispositivo.
- Dispositivos iOS e Android
- Lentes de câmera claras são necessárias para o rastreamento correto.
- O foco automático pode comprometer o posicionamento dos pinos.
Reiniciando o rastreamento durante uma tarefa
Se houver um desvio na posição do seu conteúdo no meio de uma execução de tarefa, basta verificar novamente um marcador. Selecione Reposicionar tarefa no menu de tarefas do dispositivo e verifique o marcador conforme solicitado. Depois de verificar novamente o marcador, a tarefa será retomada começando exatamente de onde você parou.
Menu de tarefas
Em dispositivos móveis (iOS e Android), o menu de tarefas sempre fica no canto superior esquerdo da tela com um ícone que tem três linhas. No HoloLens 2, o menu de tarefas é mostrado ao levantar a mão esquerda na frente do dispositivo. Também é possível reiniciar o rastreamento usando o comando de voz "Reposition Task".
Adicionando marcadores extras para melhorar o rastreamento
Os dispositivos de RA têm melhor capacidade de rastreamento quando todos os pinos estão localizados mais próximos da referência espacial (marcador) e não exigem que o usuário se afaste ou faça grandes voltas em relação à posição original. Quando o conteúdo está distante da referência espacial inicial, pequenas imprecisões de rastreamento da varredura do marcador aparecerão maiores, porque são potencializadas pela distância. Além disso, o movimento excessivo do usuário pode causar desvios extras na posição do conteúdo.
Esta é a razão pela qual recomendamos a criação de marcadores diferentes para diferentes "seções" do componente real, como mostrado neste exemplo:
Durante a execução de uma tarefa, o usuário é capaz de digitalizar novos marcadores em cada seção do componente e o dispositivo pode recarregar as posições do conteúdo e colocar os pinos em suas posições corretas. Para obter mais detalhes, verifique a seção "Reiniciando o rastreamento durante uma tarefa" acima.
Ao adicionar mais de um marcador a um projeto no editor, verifique se os marcadores extras estão conectados aos pinos no fluxo de trabalho. No editor, o usuário pode conectá-los no conector 2D. Isso permite que o usuário decida se diferentes marcadores podem iniciar a tarefa a partir de pinos diferentes ou se os marcadores serão adicionados entre os pinos, o que obrigará o usuário a escanear esse marcador quando chegar a essa parte da tarefa. Sinta-se à vontade para usar IDs de marcador diferentes ou o mesmo ID de marcador para esses marcadores adicionais.
Recomendações adicionais
Leve em consideração os seguintes elementos para garantir uma experiência perfeita de rastreamento de RA, melhorar a qualidade do rastreamento e evitar problemas como natação de RA e posicionamento incorreto:
- Muito poucos recursos ópticos no ambiente do mundo real: Se o ambiente do mundo real não contiver muitos recursos ópticos (por exemplo, uma parede branca lisa com textura), pode ser difícil para as câmeras computar os movimentos do fone de ouvido ou do dispositivo móvel.
- Modelos/hologramas 3D muito complexos: É necessário um alto poder computacional ao visualizar modelos complexos ou hologramas para que todos os objetos/peças fiquem visíveis, o que significa que menos poder de computação é deixado para o sistema de rastreamento de RA.
- Sem calibração ocular (para usuários do HoloLens): A melhor experiência do HoloLens pode ser alcançada quando cada usuário realiza a calibração ocular no dispositivo. Se o problema de "natação" persistir no HoloLens 2, tente executar a calibração dos olhos no seu dispositivo. Saiba mais sobre a calibração do HoloLens na página de documentação da Microsoft.
- Dispositivo móvel com poder de computação limitado: se o dispositivo que você está usando para executar o Spatial Workplace não tiver um forte poder computacional, pode ser que a experiência de rastreamento de RA não seja suave.
- Câmera de baixa qualidade do dispositivo móvel: A má qualidade do rastreamento também pode ocorrer se a qualidade da câmera do seu dispositivo for baixa.
- Tamanhos de marcadores errados: Os marcadores devem ser impressos exatamente no tamanho indicado no PDF do marcador. Tamanhos de marcador errados resultam em rastreamento de posição errado, pois a câmera percebe que o marcador está, por exemplo, mais distante se o marcador for impresso menor.
- A varredura de sala pode ser útil: se o fluxo de trabalho for usado apenas na mesma sala, pode ajudar a digitalizar e ensinar a sala ao HoloLens. Isso pode ser feito tocando no ar em todas as direções da sala ao usar o HoloLens no modo ocioso (ligado, mas sem aplicativo em execução).
- Andar grandes distâncias/Girar muito: É possível que os hologramas e pinos sejam extraviados quando o usuário está andando grandes distâncias com o dispositivo enquanto o aplicativo Frontline Spatial está em execução ou se o fluxo de trabalho requer muitas voltas de 90 graus do usuário. Uma maneira de remediar isso pode ser adicionar marcadores no meio do fluxo de trabalho para redefinir o rastreamento de RA/as posições dos pinos.
- Posicionamento errado do marcador no mundo real: É importante que o marcador seja exatamente colocado/colado na mesma posição no mundo real que foi definido na cena virtual dentro do Editor Espacial. Isso ajuda com o posicionamento correto de objetos e rastreamento, portanto, certifique-se de que a posição do marcador no mundo real corresponda àquela dentro do Editor Espacial.
- Dispositivo móvel de baixa potência: se o dispositivo que você está usando para executar o Spatial Workplace não tiver um forte poder computacional, pode ser que a experiência de rastreamento de RA não seja suave.