Investigadores de la Universidad de Michigan desarrollan HandProxy, un sistema por voz para manipular objetos en realidad virtual y aumentada
Un innovador software diseñado con inteligencia artificial permite controlar manos digitales en VR y AR mediante comandos de voz, mejorando accesibilidad y funcionalidades.
Un equipo de investigadores de la Universidad de Michigan ha desarrollado un innovador software llamado HandProxy que busca hacer más intuitivo el uso de la realidad virtual (VR) y la realidad aumentada (AR). En lugar de depender de controladores o del seguimiento manual de las manos, ahora será suficiente con comandos de voz: al dar una orden, una mano digital se moverá, podrá agarrar objetos, mover ventanas o limpiar superficies virtuales. Este avance tiene como objetivo mejorar la accesibilidad y abrir nuevas posibilidades en entornos AR y VR, incluyendo aplicaciones en juegos, construcción y tareas cotidianas.
HandProxy se destaca por su capacidad de reacción al contexto, permitiendo responder de manera flexible a comandos cortos y ajustando automáticamente las acciones. Por ejemplo, si alguien dice «Greif den Pfirsich» (agarra el durazno) mientras la mano virtual ya sostiene otro objeto, el sistema soltará automáticamente lo que tiene en mano y realizará la acción solicitada. Además, puede interpretar instrucciones abreviadas como «Hazlo otra vez» o «Hazlo tres veces», sin necesidad de comandos largos o específicos.
Desarrollada con base en el modelo de lenguaje GPT-4o de OpenAI, la aplicación funciona como un «representante virtual» que traduce los comandos orales en movimientos de manos digitales, sin requerir adaptación previa a diferentes aplicaciones. La tecnología utiliza las mismas interfaces que los sistemas de seguimiento manual o controladores de VR, garantizando compatibilidad con aplicaciones existentes en plataformas como juegos o entornos de diseño. Según los autores del proyecto, esto permite una transición fluida entre órdenes por voz, gestos y controladores tradicionales.
El objetivo principal es mejorar la accesibilidad para personas con limitaciones motoras, permitiéndoles realizar tareas cotidianas con mayor facilidad, como cocinar o realizar labores de bricolaje. La compatibilidad con gafas AR, como las Snap Specs anunciadas para el próximo año, facilitará aplicaciones de asistencia en entornos domésticos o de reparación, aportando valor en situaciones que requieren precisión y manejo sencillo.
Los primeros tests realizados con 20 participantes mostraron resultados prometedores, logrando completar la mayoría de las 781 tareas propuestas tras pocos intentos. Algunas dificultades surgieron con comandos como «Like the photo» (dar like en la foto), cuando el sistema no pudo identificar claramente el botón adecuado. En total, HandProxy falló en 64 tareas, pero la inteligencia artificial será mejorada en el futuro para realizar preguntas esclarecedoras y reducir errores.
Por ahora, HandProxy funciona como una demo, pero se planea su integración en robots asistentes y en productos comerciales. La tecnología ya cuenta con patente y el equipo busca socios para su posible lanzamiento en el mercado. La iniciativa, financiada por la Universidad de Michigan, representa un importante paso hacia una interacción más natural y accesible en los entornos de realidad virtual y aumentada.