Fine-tuning YandexGPT 5 Lite: когда нужен, как запустить и как оценить результат

Fine-tuning — процесс дообучения базовой языковой модели на собственных данных для улучшения качества в конкретной задаче. YandexGPT 5 Lite открыл эту возможность для российских компаний без необходимости арендовать GPU-кластер и строить MLOps-инфраструктуру с нуля. Разберём, когда fine-tuning оправдан, как его запустить и каких ошибок избежать.

Fine-tuning vs промпт-инжиниринг: когда что выбирать

Fine-tuning — не первый шаг. Перед тем как тратить время и деньги на дообучение, стоит убедиться, что промпт-инжиниринг (включая few-shot примеры) уже исчерпан.

Ключевое правило: сначала RAG (Retrieval-Augmented Generation) для фактических знаний, промпт-инжиниринг для форматирования, fine-tuning — для поведенческих паттернов, которые нельзя описать промптом.

Подготовка данных: самая важная часть

Качество дообучения на 80% определяется качеством данных. Типичные ошибки:

Маленькая выборка. Меньше 200–300 примеров — модель переобучается на шум. Минимум для заметного улучшения: 500+ примеров для узкой задачи, 2000+ для задачи со сложными паттернами.

Несбалансированные классы. Если 90% примеров одного класса — модель научится предсказывать только его. Балансировать: не более 3:1 между классами.

Загрязнённые данные. Противоречивые примеры (один и тот же вход → разные выходы) сильно ухудшают качество. Перед обучением: дедупликация, проверка согласованности.

Формат данных для YandexGPT fine-tuning (JSONL):

{"messages": [
  {"role": "system", "text": "Ты помощник по классификации обращений"},
  {"role": "user", "text": "Не работает оплата картой"},
  {"role": "assistant", "text": "Категория: технический сбой / подкатегория: платёжная система"}
]}

Процесс дообучения в Yandex Cloud

Yandex Cloud предоставляет managed fine-tuning через API (консоль + REST). Основные шаги:

1. Загрузить данные в Yandex Object Storage — файл в формате JSONL, максимальный размер 500 МБ
2. Создать задачу дообучения через консоль Yandex Cloud (раздел «Yandex Foundation Models») или API
3. Выбрать базовую модель — YandexGPT 5 Lite для большинства задач, YandexGPT 5 Pro для сложных задач с большим контекстом
4. Настроить гиперпараметры — в managed-режиме Yandex Cloud автоматически выбирает learning rate и количество эпох на основе размера выборки. Для первого запуска — оставить автоматику.
5. Дождаться завершения — среднее время обучения на 1000 примерах: 20–60 минут
6. Тестировать в playground перед интеграцией в продакшен

Оценка качества: что и как мерить

Без метрики нельзя понять, помогло ли дообучение. Зависит от задачи:

• Классификация — accuracy, F1 по классам. Нужен hold-out тест (10–20% данных не использовать при обучении)
• Генерация текста — ROUGE/BLEU (автоматически) + человеческая оценка (выборка 50–100 примеров, оценщик сравнивает базовую и дообученную модель вслепую)
• Диалоговые задачи — процент «сходов с рельс» (ответы не по теме), следование инструкциям

Красный флаг: если дообученная модель хуже базовой на hold-out — данные некачественные или выборка слишком маленькая. Не деплоить, разбираться с данными.

Стоимость и ROI

Стоимость fine-tuning в Yandex Cloud складывается из трёх частей: обучение (оплата compute-времени), хранение модели (помесячно), инференс (дороже базовой в 2–3 раза из-за отдельного деплоя).

Fine-tuning оправдан экономически, если: дообученная модель заменяет более дорогую базовую (YandexGPT Pro → Lite с сопоставимым качеством), или сокращает длину промпта (меньше few-shot примеров = меньше токенов = дешевле инференс).