En el vertiginoso mundo de la inteligencia artificial, donde cada semana parece traer un nuevo modelo más poderoso, una pregunta persiste: ¿realmente pueden estos sistemas razonar? No en el sentido filosófico, sino en el práctico: ¿pueden un agente de IA analizar un problema, descomponerlo en pasos, seleccionar la herramienta adecuada y ejecutar una secuencia lógica para resolverlo? La respuesta, según un análisis profundo del benchmark VAKRA desarrollado por IBM Research, es más compleja y menos optimista de lo que el marketing corporativo sugiere.
Más allá del texto: El desafío de la ejecución en el mundo real
VAKRA (un acrónimo que encapsula sus dimensiones clave: Verificación, Acción, Knowledge, Razonamiento, Alineamiento) no es otro conjunto de datos más. Es un entorno de evaluación diseñado específicamente para estresar las capacidades de los llamados «agentes»—sistemas de IA que no solo generan texto, sino que toman decisiones para interactuar con herramientas (como calculadoras, APIs web o bases de datos) y completar tareas. Su objetivo es ir más allá de los benchmarks estáticos de preguntas y respuestas, simulando escenarios dinámicos donde el éxito depende de una cadena de razonamiento y acciones correctas.
La mayoría de los benchmarks populares, como MMLU o GSM8K, miden el conocimiento o la habilidad para resolver problemas matemáticos presentados en un solo prompt. Son pruebas de conocimiento o de razonamiento en un vacío controlado. VAKRA introduce una capa de complejidad fundamental: la ejecución. Aquí, el agente debe navegar por un entorno simulado.
Por ejemplo, la tarea podría ser: «Obtén el precio de las acciones de IBM de la última semana, calcula el cambio porcentual promedio diario y luego genera un gráfico de líneas simple». Para un humano, esto implica:
- Usar una herramienta de búsqueda financiera o una API para obtener los datos históricos.
- Usar una calculadora o código para calcular los porcentajes.
- Usar una librería de graficación para producir la imagen.
Cada paso depende del anterior, y un error en cualquier eslabón—como malinterpretar el formato de la fecha, usar la fórmula incorrecta para el porcentaje, o generar un gráfico con los ejes invertidos—resulta en un fallo total. VAKRA está diseñado para detectar precisamente estos puntos de ruptura en el razonamiento de los agentes.
Los investigadores de IBM construyeron VAKRA con más de 1,000 tareas de este tipo, categorizadas por su tipo de razonamiento requerido (aritmético, lógico, de sentido común) y por las herramientas necesarias (búsqueda web, calculadora, manipulador de código Python, generador de gráficos, etc.). El entorno simula estas herramientas, permitiendo evaluar de manera controlada y reproducible cómo los agentes planean y ejecutan.
Los puntos ciegos: Donde los agentes más inteligentes tropiezan
Los hallazgos del análisis son reveladores y, en algunos aspectos, aleccionadores. Incluso los modelos de lenguaje grandes (LLMs) de última generación, cuando se configuran como agentes, muestran patrones de falla sistemáticos. No se trata de que no sepan hechos; se trata de que no pueden orquestar el conocimiento en una secuencia de acciones robusta.
Incapacidad para seguir instrucciones compuestas de múltiples pasos
Un agente puede entender individualmente cada parte de una instrucción compleja, pero falla al integrarlas. Por ejemplo, ante la tarea «Busca la población de la ciudad más grande de Canadá y luego calcula cuántas veces es más grande que la población de Ottawa», un agente podría correctamente encontrar que Toronto es la ciudad más grande y su población.
Pero luego, en lugar de buscar la población de Ottawa y hacer la división, podría simplemente repetir el dato de Toronto o intentar una operación aritmética sin sentido con el primer número. Pierde el hilo de la tarea global.
Uso ineficiente o erróneo de las herramientas
Los agentes a menudo sufren de lo que los investigadores llaman «rigidez instrumental». Seleccionan una herramienta (digamos, la calculadora) y la usan para todo, incluso cuando no es la adecuada, o piden la misma información múltiples veces a una API de búsqueda, malgastando «turnos» en el entorno simulado.
En otros casos, el orden de las herramientas es incorrecto: intentan graficar datos antes de haberlos calculado, lo que inevitablemente falla.
Fragilidad del razonamiento bajo presión de variables
Cuando una tarea introduce elementos que requieren un ajuste sobre la marcha—como un formato de fecha inesperado en los datos recuperados o un resultado intermedio que invalida un supuesto inicial—los agentes tienden a colapsar. En lugar de reevaluar su plan, persisten en un camino erróneo o generan respuestas incoherentes.
Carecen de un mecanismo robusto de «monitoreo y recuperación» que es intuitivo para un humano.
Implicaciones para el futuro del desarrollo de IA
Los resultados de VAKRA no son una sentencia de muerte para los agentes de IA, sino un mapa de navegación esencial para los investigadores y desarrolladores. Señalan que mejorar el rendimiento en tareas de mundo cerrado (como responder preguntas de un examen) no se traduce automáticamente en competencia para tareas de mundo abierto que requieren planificación y ejecución.
Esto tiene implicaciones directas para áreas prometedoras como los asistentes de IA autónomos, la automatización de flujos de trabajo empresariales o los sistemas de soporte a la decisión. Un agente que no puede manejar de manera confiable una secuencia de tres pasos con dos herramientas es, hoy por hoy, un riesgo operativo, no una solución.
El benchmark sugiere que los avances necesarios están en la arquitectura de los sistemas, no solo en el tamaño del modelo.
Se necesitan mejores mecanismos de planificación (quizás inspirados en técnicas de búsqueda en árbol o algoritmos de retroplanificación), componentes de memoria de trabajo más sólidos para mantener el contexto de la tarea, y módulos de verificación que permitan al agente detectar sus propios errores y retroceder. La simple escala de parámetros no resolverá estos problemas.
VAKRA también establece un nuevo listón para la evaluación honesta. En un campo a veces obsesionado con los puntos porcentuales en leaderboards, ofrece un recordatorio crucial: lo que importa es la funcionalidad en escenarios que imitan la complejidad desordenada del mundo real.
Los próximos agentes no serán juzgados por cuántas preguntas de trivia contesten, sino por si pueden, de manera confiable, ayudarte a planificar un viaje complejo cruzando datos de vuelos, hoteles, clima y regulaciones locales, adaptándose a los imprevistos.
El camino desde el modelo de lenguaje conversacional al agente competente es más largo y escarpado de lo esperado. Benchmarks como VAKRA son la brújula que evita que la industria se pierda en el optimismo desmedido. Exponen la brecha entre la inteligencia simulada en el texto y la inteligencia aplicada en la acción, y nos obligan a construir puentes más sólidos entre ambos mundos.
Fuente original: Inside VAKRA: Reasoning, Tool Use, and Failure Modes of Agents
