Дообучение модели: зачем это надо для ИИ агентов?

Стандартные языковые модели — как универсальные инструменты: подходят для многих задач, но не учитывают особенности вашей компании. А что, если адаптировать модель под ваш стиль, процессы и терминологию? Это и есть дообучение. В этом уроке вы узнаете, зачем оно нужно, как работает и какие риски стоит учитывать.

Когда универсальный ИИ не справляется

Представьте: вы внедрили чат-бота на базе YandexGPT для поддержки клиентов. Он даёт чёткий ответ на вопросы вроде «Сколько стоит доставка?».Но когда клиент пишет: «Я юрлицо, хочу оптовую скидку на 100 единиц товара», бот отвечает общо, как для физлица, не использует корпоративную терминологию (оферта, счёт-договор, условия поставки).Это происходит потому, что модель не знает ваш бизнес. Она обучена на общих данных, а не на ваших внутренних процессах. Что делать? Можно пытаться втиснуть всё в промпты… А можно дообучить модель, чтобы она говорила на языке вашего бизнеса.

Что такое дообучение

💡 Дообучение — это процесс адаптации готовой языковой модели под конкретные задачи компании, без полного переобучения с нуля.Представьте, что вы нанимаете нового сотрудника. Он уже умеет общаться, писать и анализировать. Но ему нужно объяснить, как оформлять заявки, какие термины использовать, в каком стиле писать письма. Дообучение — это инструктаж для ИИ.

ЛогикаДообучение не учит модель новым фактам (например, вашей базе знаний), это задача RAG. Оно учит модель новому поведению: стилю, формату, логике ответов.

Что можно дообучать в Yandex Cloud

LoRA — умная экономия ресурсов

Дообучение в Yandex Cloud реализовано по методу LoRA (Low-Rank Adaptation). Это эффективный и безопасный способ адаптации модели, не затрагивающий её основные параметры.

Казалось бы, чтобы изменить поведение модели, нужно переобучить все её параметры. Но на самом деле нет. Исследования показывают: когда модель адаптируется к новой задаче, изменения в её весах имеют низкий внутренний ранг — важны только небольшие корректировки в ключевых местах, а не полное переписывание.Модель не переучивается целиком — обновляются только небольшие вставки (матрицы низкого ранга). Основная модель остаётся замороженной. Это позволяет:

• Сократить число обучаемых параметров в 10 000 раз.
• Уменьшить потребление памяти почти в 3 раза.
• Не увеличивать задержку при работе (после обучения корректировки «сливаются» с основной моделью).

ЛогикаМетод LoRA — это как точечный апгрейд, а не полная пересборка. Он даёт почти тот же эффект, что и полное дообучение, но с минимальными затратами.

Три шага дообучения

1. Подготовка датасета

Самый трудоёмкий и важный шаг в дообучении — это подготовка соответствующего датасета. От него зависит качество работы дообученной модели. Он должен содержать эталонные примеры, на основе которых модель сможет понять, какую задачу и каким образом необходимо решать.💡 Датасет — это набор примеров, на которых модель учится.Датасет создаётся в формате JSON Lines (один пример — одна строка). Ниже представлены примеры таких пар.Для языковой модели — пары:

{"prompt": "Клиент просит скидку", "completion": "Уважаемый клиент, для юрлиц предусмотрена оптовая скидка при заказе от 50 единиц. Направлю коммерческое предложение."}
 

Для классификатора — текст и метка:

{"text": "Товар пришёл повреждённым", "label": "жалоба"}
 

Для эмбеддингов — пары похожих текстов:

{"text1": "Как оформить возврат?", "text2": "Хочу вернуть товар"}
 

ЛогикаЧем лучше примеры, тем точнее поведение модели!💡 Максимальный объём датасета — 5 ГБ. Этого достаточно для большинства задач.

2. Загрузка и запуск в UI

Чтобы загрузить датасет и запустить дообучение, ваш аккаунт должен иметь рольai.editor в каталоге Yandex Cloud. Эта роль даёт права на управление датасетами и запуск обучения. Обычно её выдаёт администратор облака — например, DevOps-инженер или SRE. Без этой роли вы не сможете начать дообучение, даже если у вас есть доступ к модели.Алгоритм:

1. Загружаете датасет в интерфейс пользователя Yandex AI Studio.
2. Выбираете тип задачи: генерация, классификация или эмбеддинги.
3. Запускаете дообучение: указываете модель и датасет.
4. Ждёте завершения обучения. Скорость зависит от размера выборки и других параметров дообучения.

Результат — уникальный URI модели, например: gpt://<каталог>/yandexgpt-lite@my-corporate-style

Что такое ранг и зачем его настраивать💡 Вы можете настроить параметры, но на старте лучше оставить всё по умолчанию. Yandex Cloud предлагает разумные значения, и в большинстве случаев их не нужно менять. Настраивайте их, только если нужно улучшить качество и вы готовы потратить больше времени и ресурсов.

3. Использование модели

Теперь вы можете использовать дообученную модель через доступные API.

• Текстовые модели: Responses API и Completions API.
• Классификаторы: Text Classification API.
• Эмбеддинги: Embeddings API и OpenAI Embeddings API.

Просто подставьте новый URI — и модель узнает ваш стиль.

Чему можно научить модель

Дообучение не добавляет новых знаний, но меняет поведение. Вот примеры задач и варианты дообучения к ним:

💡 Если нужна мгновенная настройка, то стоит попробовать методы промпт-инжиниринга или Few-shot. Если задача — переформулировать текст, то функций базовой модели будет достаточно.Пример: дообучение для HR-ботаНужно, чтобы бот:

• отвечал на вопросы о ДМС, отпусках, онбординге (данные для ответов будут поступать из базы знаний с помощью RAG-подхода);
• говорил в корпоративном стиле, без разговорных фраз;
• всегда предлагал ссылку на внутренний документ.

Решение — дообучить модель на примерах:

{
  "prompt": "Как оформить отпуск?",
  "completion": "Для оформления отпуска подайте заявление в системе HR Portal. Подробнее в политике HR-004. Ссылка: https://wiki.company/hr-004"
}
 

После дообучения бот сам будет добавлять ссылки и использовать правильные термины.

Откуда брать датасеты

Главный вопрос: где взять данные для обучения? Ответ зависит от бизнес-задачи и доступных источников. В таблице ниже — примеры источников, из которых поступают такие данные. Но важно помнить, что для дообучения эти данные должны быть переведены в формат вопрос — ответ.Источники датасетов:

Как подготовить датасет

1. Соберите реальные примеры из бизнес-процессов.
2. Очистите от персональных данных (ПДн).
3. Структурируйте в JSON Lines.
4. Аннотируйте: добавьте правильные ответы или метки.
5. Проверьте на качество: нет ли ошибок, шума, противоречий.

ЛогикаНе нужны миллионы строк. Достаточно нескольких сотен качественных примеров, чтобы модель поняла стиль.

Важные особенности дообучения

• Дообучение — это не панацея Процесс дообучения не заменяет RAG, Function Calling и промпт-инжиниринг.
• Модель не учится новым фактам Если важно дать дополнительные знания, используйте RAG. Дообучение нужно для изменения поведения.
• Всегда указывайте системный промпт Даже после дообучения модель работает лучше с инструкцией.
• Используйте качественные данные для датасета Если на вход поступают некачественные данные, результат дообучения будет таким же.

https://practicum.yandex.ru/learn/yc-ml-services/courses/9ad788d2-6151-4f6f-82ff-5eb63d7925d7/sprints/932317/topics/36b1bc86-4cd6-442e-b1cf-a474ea0c905d/lessons/1cbb5af6-5d4f-4e7c-8349-adce1dafb0c7/