Google DeepMind presentó Gemini Robotics ER 2, la nueva versión de su modelo de "razonamiento encarnado" para robótica, con mejoras significativas en comprensión de video, orquestación de tareas y colaboración entre múltiples robots. El modelo está disponible desde el 30 de julio para desarrolladores a través de la Gemini API, Google AI Studio y en vista previa privada en la Gemini Enterprise Agent Platform.

La idea central detrás de Gemini Robotics ER 2 es funcionar como el "cerebro de alto nivel" de un robot: planifica qué hacer y en qué orden, coordina con otros sistemas de control motriz y puede llamar a herramientas externas como Google Search o funciones definidas por el usuario. Al mismo tiempo, el modelo puede "pensar" en los próximos pasos mientras el robot ejecuta la acción actual, eliminando las pausas de "parar y pensar" que limitan la utilidad práctica de los robots.

Ver el video para entender cuándo termina una tarea

Uno de los avances más concretos de ER 2 es su capacidad de seguimiento de progreso mediante video continuo. El modelo puede clasificar en cinco niveles de avance (0-20%, 20-40%, etc.) cuánto falta para completar una tarea y detectar el momento exacto en que ocurre un evento crítico — por ejemplo, cuándo dejar de verter café en un vaso.

En la tarea de clasificación de progreso, ER 2 alcanza un 57,4% de precisión, superando a modelos anteriores y a competidores de frontera. En la tarea de detección de momento exacto logra un 91,3% de precisión con una latencia de menos de un segundo — velocidad suficiente para operar robots físicos en tiempo real, a cuatro veces la velocidad de modelos más grandes con resultados comparables.

Colaboración entre robots distintos

ER 2 introduce por primera vez la colaboración multi-robot: robots de diferentes tipos — un rover con ruedas, un brazo industrial, un robot humanoide — pueden comunicarse mediante una comprensión semántica compartida y pasarse tareas entre sí para completar flujos de trabajo que ninguno podría resolver solo. Google DeepMind demostró esto con Apollo 2 de Apptronik y el Franka F3 Duo trabajando en conjunto.

También se presentó una demo con Spot de Boston Dynamics, donde ER 2 orquesta las APIs del robot para que busque y traiga objetos respondiendo a comandos en lenguaje natural.

Seguridad como prioridad

ER 2 es el modelo más seguro de la línea Gemini Robotics. Supera a su predecesor ER 1.6 en dos benchmarks clave: seguimiento de instrucciones de seguridad y proximidad humana. En pruebas, el modelo logró detener un robot humanoide al detectar la presencia de una persona cercana y retomar el trabajo de forma autónoma solo cuando el área quedó despejada.

El modelo amplía además sus capacidades de razonamiento espacial general: opera sobre video en lugar de imágenes estáticas para detectar fallos durante la ejecución, extiende la lectura de instrumentos a pantallas digitales, escalas lineales y termómetros, y mejora el Visual Question Answering en entornos físicos.