LangSmith Fine-Tuning: контролируемое дообучение аентов с smithtune

LangChain запустила smithtune — CLI для контролируемого дообучения (SFT) агентов, которая превращает траектории из LangSmith в специализированные модели без ручного построения дата-пайплайнов. Тесты на Engine и OpenSWE Review показали прирост точности до 96 баллов в IssueBench и рост F1 с 48,9 % до 53,7 % при сокращении вызовов моделей на 29,8 %.

Что такое smithtune и зачем он нужен

LangChain представила инструмент командной строки smithtune, решающий задачу пост-тренировочного дообучения (SFT) моделей для агентов. Идея проста: взять «золотые» траектории работы агента из LangSmith, автоматически подготовить датасет, обучить модель через партнеров — Fireworks или Baseten, оценить результат и развернуть готовый чекпоинт. Весь процесс управляется из одной CLI, без необходимости вручную строить конвейеры данных или настраивать GPU-инфраструктуру.

Инструмент ориентирован на команды, которые уже исчерпали возможности инженерии харнеса и ищут повышения качества за счёт специализации моделей. В тестах LangChain дообученная Kimi K3 на задачах Engine показала 96 баллов в IssueBench против 90 у базовой и 87 у GPT-5.6 Sol, а Qwen-3.8-27B + SFT увеличила F1 с 48,9 % до 53,7 %, одновременно сократив число вызовов моделей на 29,8 % и количество обращений к инструментам на 29,4 %.

Как работают траектории в LangSmith

Smithtune опирается на траектории агентов — упорядоченные последовательности сообщений, вызовов и результатов инструментов, отражающие пошаговую работу агента. LangSmith не просто сохраняет историю диалога, а приводит её к единому формату, учитывает контекст доступности инструментов в каждый момент и удаляет дубликаты. Это важно для SFT: модель-студент должна видеть ровно тот же контекст, что и модель-учитель, когда она принимала успешное решение.

Именно этот формат позволяет smithtune коректно сопоставить каждое действие с истинным контекстом и использовать траектории на всем этапе — от фильтрации до оценки.

Пошаговая работа со smithtune

Формирование датасета

1. Выгрузка траекторий. Команда dataset pull забирает трейсы из проекта LangSmith в локальную директорию с возможностью применить фильтры.
2. Разметка трейсов. Smithtune приглашает человека (или его агента) определить характеристики «хороших» трейсов, создать рубрику и запускает группу агентов-рецензентов, которые отфильтруют кандидаты для SFT.
3. Сохранение постоянного артефакта. Отобранные трейсы загружаются в датасет LangSmith, чтобы результаты обучения могли быть позже проверены.

На этом этапе также учитываются совместимость с выбранной моделью (отсекаются слишком длинные последовательности) и разбиение на трейн/вал/тест.

Обучение

Прежде чем запустить дообучение, smithtune plan показывает конфигурацию: выбранная модель, количество примеров, гиперпараметры (learning rate, batch size, epochs). Затем smithtune train отправляет задачу на управляемую платформу — Fireworks managed SFT или Baseten Loops, — поддерживающих LoRA-тренировку без необходимости управлять GPU-инфраструктурой. В ходе обучения smithtune отслеживает качество на валидационной выборке и выбирает чекпоинт с минимальной потерей.

Оценка и сравнение

smithtune evaluate сравнивает дообученную модель с базовой при помощи replay-оценки. Используется «золотая» траектория: модель должна воспроизвести действия из эталона, а судя-агент оценивает, насколько её предсказания совпадают с записанными. Результаты в виде ссылки на сравнение в LangSmith поступают по мере выполнения оценки — можно детально посмотреть, где дообучение дало прирост, а где, наоборот, возник регресс.

Развёртывание

Если оценка устраивает, smithtune deploy поднимает сервис с дообученной моделью и свяжет её с вашим приложением. В случае неудачи можно вернуться к датасету и настройкам обучения, и повторить цикл.

Результаты на практике

Engine: больше баллов за счёт специализации

LangChain применил smithtune к Engine — агенту для поиска ошибок в трейсах и группировки инцидентов. Набор «хороших» траекторий позволил дообучить Kimi K3. Базовая версия уже была сильна, но возможности инженерии далее не давали прироста. Итог: дообученная Kimi K3 набрала 96 баллов в IssueBench, тогда как базовая — 90, а GPT-5.6 Sol — 87.

Модель	Задача ↑
Kimi K3	90,0
Kimi K3 + SFT	96,0

OpenSWE Review: то же качество — меньше вызовов

На агенте для ревью кода Qwen-3.8-27B + SFT показала рост F1 с 48,9 % до 53,7 %, одновременно сократив число вызовов моделей на 29,8 % и обращений к инструментам на 29,4 %. Важный нюанс: первая, менее тщательно отобранная выборка данных привела к падению F1. Только после добавления этапа ревью каждого трейса с перекосом в сторону примеров с реальными проблемами удалось получить положительный результат.

Модель	F1 ↑	Preсision ↑	Recall ↑	Вызовов моделей на ревью ↓	Обращений к инструментам на ревью ↓
Qwen-3.8-27B	48,9 %	62,9 %	40,0 %	55,9	65,8
Qwen-3.8-27B + SFT	53,7 %	81,5 %	40,0 %	39,2	46,5

Когда SFT даёт эффект

Контролируемое дообучение наиболее оправдано в сценариях, где приложение выполняет повторяющиеся задачи и у вас есть примеры правильного поведения. Ищите устойчивые паттерны: следование рабочим процессам, использование результатов инструментов для выбора следующего шага, проверка собственных действий.

LangChain рекомендует сначала исчерпать возможности инженерии харнеса — если агенты всё равно продолжают систематически ошибаться на одних и тех же задачах, и при этом у вас есть эталонные траектории, показывающие, как делать правильно, — SFT становится очевидным следующим шагом.

Важность отбора данных

Опыт LangChain показывает, что ключевой фактор успешного пост-тренировочного рана — инвестиции времени в отбор данных. Smithtune специально позволяет пользователям смотреть на свои данные с помощью агентов, и привлечение доменных экспертов к ревью трейсов значительно повышает шансы на приемлемый результат.

Заключение

Smithtune делает дообучение агентов доступным для команд, которые не хотят вручную выстраивать пайплайн данных и управлять тренировочной инфраструктурой. Инструмент охватывает полный цикл: от отбора «золотых» траекторий до развёртывания дообученной модели — и уже доступен в публичной бете. Попробовать можно, запустив CLI напрямую или доверив процесс своему кодовому агенту.