Meta anuncia un nuevo proceso de segmentación visual e identificación de objetos para ayudar en el desarrollo de AR/VR

Un elemento clave en el desarrollo de una experiencia AR es la identificación de entidades, con un sistema AR efectivo capaz de identificar diferentes objetos en el mundo que lo rodea para brindar información funcional adicional superpuesta en la pantalla.

Hemos visto esto en el desarrollo de herramientas y filtros faciales AR en aplicaciones sociales: cuanto mejor es el sistema para comprender la posición de los ojos, el movimiento, etc., mejor se ven los efectos en la pantalla. Con el tiempo, estos sistemas han mejorado cada vez más a la hora de responder a diferentes elementos, y ahora Meta ha lanzado un nuevo modelo y conjunto de datos que podría ayudar a llevar las cosas a la siguiente etapa.

Como puede ver en el clip de arriba, el nuevo ‘Proyecto “Segmentar Cualquier Cosa”. tiene como objetivo brindar a los investigadores y desarrolladores más herramientas para ayudar a identificar objetos en el marco.

Según Matt:

“Estamos liberando a nuestros dos generales”. Segmentar cualquier modelo (SAM) y el nuestro Segmente cualquier cosa desde un conjunto de datos de mil millones de máscaras (SA-1B)el conjunto de datos de segmentación más grande, para permitir un amplio conjunto de aplicaciones y fomentar una mayor investigación sobre modelos básicos para la visión por computadora”.

Idealmente, el proceso proporcionará más capacidad para potenciar las experiencias AR, como se señaló, aunque Meta también dice que también tendrá aplicaciones en los procesos de creación de AI y VR.

“Esperamos que el diseño de sistemas modulares, habilitado por técnicas como la ingeniería rápida, permita una gama más amplia de aplicaciones que los sistemas entrenados específicamente para un conjunto fijo de tareas, y que SAM pueda convertirse en un componente poderoso en dominios como AR/VR, creación de contenido, dominios científicos y sistemas de inteligencia artificial más generales”.

Hay varias formas en que se podría usar el conjunto de datos, y podría ser un gran paso para ayudar a un desarrollo más amplio de modelos AR, mientras que para Meta en particular podría ayudar a construir el proyecto de gafas inteligentes Project Aria, que puede o no. han sido archivados debido a reducciones de personal de aplicación.

En junio pasado, The Information informó que Meta había retrasado el lanzamiento planificado de sus anteojos AR como parte de medidas más amplias de reducción de costos en la empresa. Según el informe, Meta ha decidido desechar la primera iteración de sus dispositivos portátiles AR, que debían salir al mercado el próximo año, a favor de centrarse en la segunda generación de su dispositivo AR, que ahora no tiene fecha de lanzamiento en el marco. .

Meta, por supuesto, lanzó sus gafas inteligentes ‘Rai Ban Stories’ en 2021, que parecían ser un precursor de su próxima incursión en los dispositivos portátiles AR, que en ese momento también parecía inminente. Pero las condiciones económicas más duras y sus inversiones masivas en el metaverso parecen haber descarrilado el plan, que ahora al menos lo ha dejado con ambiciones manejables.

No sabemos cuánto tiempo se ha retrasado ese proyecto, pero este nuevo conjunto de datos parece indicar su desarrollo continuo en este frente, que podría ver el lanzamiento de otra versión de sus gafas inteligentes en el futuro.

Simplemente no sabemos cuándo, y dado que la realidad virtual sigue siendo su gran enfoque de inversión y la IA generativa ahora ingresa al redil, AR parecía ser el gran perdedor en la asignación de recursos, en varias plataformas tecnológicas importantes.

Pero tal vez, está llegando. Quizás desarrollos como este apunten a la siguiente fase, donde las experiencias AR completas, interactivas y atractivas pronto se convertirán en una realidad, o quizás todo esté listo para conectarse con VR, fusionando sus experiencias del mundo real y en línea en una experiencia más inmersiva.

De cualquier manera, es un desarrollo interesante, y el lanzamiento del conjunto de datos podría ayudar a la comunidad de desarrolladores en general a crear experiencias de próxima generación.

Puede leer más sobre el proyecto Meta Segment Anything aquí.