무슨 일이 있었나
도구 호출 능력을 증류하는 작업은 일반적으로 교사 모델이 생성한 궤적에 대한 지도 미세 조정으로 시작된다. 프로덕션 파이프라인은 이 단계를 매일 또는 매주 반복하면서 매번 프런티어 교사 모델 비용을 지불한다.
표준 메커니즘은 간단하다. 교사 모델의 성공적인 궤적만 유지하고 나머지는 버리는 것이다. 실패는 신호를 제공하지 않기 때문에 동일한 어려운 시나리오가 주기마다 반복해서 나타나기 쉽다.
τ2-bench 평가에서 교사 시도의 57%가 실패하며, 이러한 실패 중 3분의 2는 대부분의 도구 호출이 정확했지만 궤적이 완료되지 못한 채 중단된 근접 실패(near-miss) 사례다.
왜 중요한가
동일한 생성-후-필터링 루프를 반복 실행한다는 것은 팀이 무엇이 잘못되었는지 전혀 배우지 못한 채 프런티어 교사 모델 비용을 반복적으로 지불한다는 뜻이다. 진행을 막는 어려운 시나리오는 해결되지 않은 채 남는다.
근접 실패에는 귀중한 신호가 담겨 있다. 즉, 모델이 올바른 동작에 가까웠다는 것을 보여준다. 이를 무시하면 값싼 개선 기회를 남겨두는 셈이며, 이는 PROOF-Gen이 최적화된 데이터를 더 나은 증류에 연결함으로써 겨냥하는 바로 그 격차다.
주요 사실
교사 생성 궤적에 대한 지도 미세 조정은 도구 호출 능력 증류의 표준 첫 단계다.
후처리 파이프라인은 매일 또는 매주 주기로 증류를 다시 실행하며, 각 주기마다 프런티어 교사 모델 비용을 지불한다.
현재 메커니즘은 생성-후-필터링 방식, 즉 통과한 궤적은 유지하고 실패는 버리는 것이다.
τ2-bench에서 교사 시도의 57%가 실패하며, 그중 3분의 2는 대부분의 도구 호출이 정확했던 근접 실패다.
다음에 주목할 점
PROOF-Gen이 최적화된 데이터(잠재적으로 실패 또는 근접 실패 궤적 포함)를 활용하여 생성-후-필터링 루프를 깨고 증류 효율성을 향상시킬 수 있는지 여부.
성공한다면 이 접근법은 프런티어 교사 모델 호출의 반복 비용을 줄이고 모델이 지속적인 어려운 시나리오를 마침내 해결하는 데 도움이 될 수 있다.