Qué ocurrió
Destilar las capacidades de uso de herramientas normalmente comienza con un ajuste fino supervisado sobre trayectorias generadas por un modelo maestro. Los pipelines de producción repiten este paso a diario o semanalmente, pagando cada vez el costo de un modelo maestro de vanguardia.
El mecanismo estándar es simple: conservar las trayectorias exitosas del maestro y descartar el resto. Como los fallos no aportan ninguna señal, los mismos escenarios difíciles tienden a reaparecer ciclo tras ciclo.
En la evaluación τ2-bench, el 57% de los intentos del maestro fallan, y dos tercios de esos fallos son casi-aciertos en los que la mayoría de las llamadas a herramientas fueron correctas pero la trayectoria se estancó sin completarse.
Por qué importa
Repetir el mismo ciclo de generar y filtrar significa que los equipos pagan una y otra vez las tarifas del modelo maestro de vanguardia sin aprender nunca de lo que salió mal. Los escenarios difíciles que bloquean el progreso siguen sin resolverse.
Los casi-aciertos contienen una señal valiosa: muestran que un modelo estuvo cerca del comportamiento correcto. Ignorarlos puede estar dejando pasar mejoras de bajo costo, que es precisamente la brecha que PROOF-Gen parece abordar al conectar datos optimizados con una mejor destilación.
Datos clave
El ajuste fino supervisado sobre trayectorias generadas por un modelo maestro es la etapa inicial estándar para destilar capacidades de uso de herramientas.
Los pipelines de post-entrenamiento repiten la destilación con una cadencia diaria o semanal, pagando el costo del modelo maestro de vanguardia en cada ciclo.
El mecanismo actual es generar y filtrar: conservar las trayectorias que pasan, descartar los fallos.
En τ2-bench, el 57% de los intentos del maestro fallan, y dos tercios de ellos son casi-aciertos con la mayoría de las llamadas a herramientas correctas.
Qué observar a continuación
Si el uso que hace PROOF-Gen de datos optimizados —posiblemente incluyendo trayectorias fallidas o casi-acertadas— puede romper el ciclo de generar y filtrar y mejorar la eficiencia de la destilación.
Si tiene éxito, este enfoque podría reducir el costo recurrente de las llamadas al modelo maestro de vanguardia y ayudar a que los modelos finalmente superen los escenarios difíciles persistentes.