El iPad Pro puede escanear tu casa

Y los futuros iPhones podrían también.

Canvas es la última aplicación que utiliza el sensor lidar del iPad Pro. La detección de profundidad y los escaneos en 3D podrían ser las verdaderas herramientas claves del nuevo hardware de Apple

Han pasado unos meses desde que el iPad Pro mejorado con AR de Apple estuvo disponible, pero relativamente pocas aplicaciones de AR han aprovechado el nuevo sensor de profundidad del dispositivo hasta ahora. Ese sensor trasero podría ser un anticipo de la tecnología que se abre paso en los próximos iPhones, lo que significa que las primeras aplicaciones del iPad Pro podrían ofrecer una ventana a qué territorio se aventura Apple a continuación. Con la conferencia de desarrolladores WWDC a distancia de Apple acercándose la próxima semana, Apple probablemente pondrá gran énfasis en las nuevas herramientas de AR. La nueva aplicación de escaneo de la casa Canvas, de Occipital, puede ser el indicador más claro de lo que está por venir para una próxima ola de aplicaciones de profundidad mejoradas.

Occipital es una compañía con sede en Boulder, Colorado, que ha fabricado hardware y software de cámaras de detección de profundidad durante años, similar al tipo de tecnología que solía estar en las primeras tabletas y teléfonos Tango de Google. La cámara de la Estructura Occipital podía medir la profundidad en una habitación, combinada con la captura de imágenes, y construir una malla de mapa 3D de un espacio. En los años posteriores, compañías como 6D.ai (recientemente adquirida por el fabricante de Pokemon Go, Niantic) han descubierto formas de medir y cartografiar el espacio sin ningún tipo de hardware de detección de profundidad. Desde entonces, el occipital ha pasado a un enfoque basado en software para sus herramientas de exploración.

La última aplicación de Canvas de Occipital usa las cámaras normales de iPhone y iPad para engranar y mapear habitaciones rápidamente. Pero la compañía también apoya el sensor lidar del iPad Pro de Apple por su rango de profundidad extra. La compañía ve que los datos de profundidad extra se suman a las herramientas que ya tiene.

https://youtu.be/tgHdewzbSck

Es probable que pocos desarrolladores hayan seleccionado los sensores de profundidad lidar del iPad Pro porque los modelos iPad Pro del 2020 son un subconjunto relativamente pequeño de todos los dispositivos AR-ready de Apple. A medida que esa tecnología de detección de profundidad se expande a los teléfonos y otros iPads, es probable que lo que Occipital está persiguiendo ocurra también con otras compañías.

"Es una suposición razonablemente buena que vas a empezar a ver esto en los iPhones de gama alta también", dice el gerente de productos de Occipital, Alex Schiff, refiriéndose a las probables actualizaciones de Apple para el iPhone a finales de este año, que se informa que tienen capacidades de cámara trasera de detección de profundidad muy parecida a la del iPad Pro.

Los escaneos de habitaciones a veces pueden parecer rudos, pero los datos pueden actualizarse con el tiempo, y los escaneos pueden convertirse en modelos CAD para que los utilicen los diseñadores profesionales.

El lidar del iPad Pro no es una cámara: es un sensor independiente sin cámara, y los mapas de profundidad que recoge son más como conjuntos de puntos en el espacio, formando una malla o un mapa en 3D. La aplicación de Occipital también puede usar los datos de la cámara para estirar las fotos en una malla 3D simulada, también, pero los procesos están separados. Las futuras cámaras AR, sin embargo, podrían mezclar más ambas funciones. Y Occipital considera que los datos de profundidad son útiles para entrenar a las cámaras para calcular dónde puede estar la profundidad.

"En lugar de reconocer sólo las características básicas como el suelo o la pared, puedes ver toda la geometría de la escena", dice el vicepresidente de productos de Occipital, Anton Yakubenko. "También explica el reconocimiento semántico. Uniendo la geometría y la información de la imagen. No es perfecto, pero podría permitir una nueva generación de aplicaciones que no sólo tratan de información geométrica, sino también de información semántica. Y ahí es donde nos movemos." Occipital convierte los escaneos caseros en archivos CAD, pero, "el siguiente paso es saber que esta pieza de un modelo CAD es una ventana o una puerta o un zócalo".

Schiff ve que los escaneos se vuelven más valiosos a medida que los algoritmos siguen mejorando: "Puedes capturar una casa y tener esos datos para siempre para volver a visitarla, y esos datos van a ser mejores o más interesantes a medida que los reproceses con diferentes tipos de algoritmos que se vuelven disponibles con el tiempo. Es la revisitabilidad de los datos lo que hace que la cartografía 3D del espacio sea diferente a la AR."

Como alguien que aún se queda en casa y evita las visitas de reparación, puedo ver el atractivo de escanear las habitaciones de mi casa para obtener análisis y opiniones de expertos a distancia. Es probable que Apple anuncie más cambios importantes en sus herramientas de RA la próxima semana en su conferencia de desarrolladores WWDC a distancia, pero hacer más de las funciones del sensor lidar y cómo se relaciona con los datos de la cámara podría ser el siguiente paso para los iPhones.