Financiación del creador de Pokémon Go para las gafas AR con IA multimodal.
En la semana en que los amantes de los gadgets de todo el mundo están encantados con Vision Pro, una startup joven y valiente está tratando de hacerse un espacio para su dispositivo de realidad aumentada que presenta un factor de forma marcado Hoy, Brilliant Labs, con sede en Singapur, anunció su nuevo producto, Frame, un par de gafas AR livianas impulsadas por un asistente de inteligencia artificial multimodal llamado Noa. Las gafas han captado la atención y la inversión de John Hanke, director ejecutivo de Niantic, la plataforma de realidad aumentada detrás de juegos como Pokémon Go. Brilliant Labs se negó a revelar la cantidad de financiación que recibió de Hanke. En una demostración en video vista por TechCrunch, uno de los fundadores de Brilliant Labs le pidió a Noa por voz que se presentara. Después de unos tres segundos, el agente generó y proyectó una respuesta en texto en las lentes. Además de los comandos de voz, Noa es capaz de realizar procesamiento visual, generación de imágenes y traducción, gracias al puñado de modelos de IA que ha integrado: el motor de búsqueda conversacional Perplexity AI; Modelo de texto a imagen de Stability AI Difusión estable; El último modelo de generación de texto de OpenAI, GPT4; y el sistema de reconocimiento de voz Whisper. Las lentes de Frame tienen una resolución de 640 x 400 para mostrar vídeos y fotografías. Con estas características, un usuario que compra en un centro comercial puede pedirle a Noa que consulte los precios en línea de un par de zapatos que está mirando a través de Frame, por ejemplo. «El futuro de la interacción entre humanos y IA cobrará vida en dispositivos portátiles y nuevos innovadores, y estoy muy emocionado de llevar el motor de respuesta en tiempo real de Perplexity al marco de Brilliant Labs», Aravind Srinivas, director ejecutivo y fundador de Perplexity, dijo en un comunicado. La pregunta es si Frame será lo suficientemente receptivo como para que cualquiera de sus respuestas generadas por IA sea útil. Los dispositivos con Bluetooth de Brilliant Labs dependen de un teléfono inteligente para acceder a los distintos modelos de IA actuales. Sin embargo, con el tiempo los fundadores quieren eliminar el host del teléfono e integrar modelos livianos de aprendizaje automático directamente en las gafas. Cofundadores de Brilliant Labs / Imágenes: Laboratorios brillantes Frame surgió después del producto debut de Brilliant Labs, Monocole, un dispositivo AR de lente única que atrajo seguidores leales en la comunidad de hardware de código abierto gracias a su programabilidad y asequibilidad. Una vez, un grupo de estudiantes de Stanford convirtió el dispositivo en un asistente de citas que hacía sugerencias en tiempo real sobre qué decirle a la cita. Frame seguirá siendo de código abierto como su predecesor, lo que significa que los desarrolladores obtendrán acceso a recursos que incluyen documentación viva, código base de código abierto y esquemas de hardware. También podrán ajustar los parámetros de los modelos de IA compatibles con Noa. A diferencia del voluminoso Vision Pro, Frame está diseñado para usarse todos los días y viene con lentes recetados. Con un peso de 39 gramos y una gruesa montura redonda hecha de plástico de nailon, las gafas son, como dice la compañía, un “homenaje a las innovaciones e ideas innovadoras introducidas por figuras de la historia como John Lennon, Steve Jobs y Gandhi”. Frame estará disponible para pedidos anticipados a partir de hoy y se venderá a $349, el mismo precio que Monocle. Los dispositivos comenzará a enviarse en abril. Desde su creación en 2019, Brilliant Labs ha logrado atraer una serie de destacados inversores ángeles. En junio, informamos sobre la inversión de 3 millones de dólares de Brendan Iribe, cofundador de Oculus; Adam Cheyer, cofundador de Siri; Eric Migicovsky, fundador de Pebble y ex socio de Y Combinator; y otros. La nueva inyección de capital de Hanke eleva la financiación total de la empresa a 6 millones de dólares.
