Фундаментальные модели в Yandex AI Studio
ЛогикаНастало время познакомиться с генеративными моделями, которые являются частью Yandex AI Studio — платформы, которая объединяет модели и инструменты Yandex Cloud для создания собственных ИИ-решений. Среди них языковые модели семейства YandexGPT и Qwen, а также модели для генерации изображений YandexART. Именно о них мы поговорим в этом уроке!
Работа с большими языковыми моделями
Большие языковые модели умеют работать с текстом: писать статьи, описания товаров, новости, рассылки, посты для блога и многое другое. Качество результата зависит от того, насколько точно вы сформулируете запрос. Чем подробнее и конкретнее задача, тем лучше ответ.В Yandex AI Studio можно использовать разные языковые модели в зависимости от задачи и сценария. Например, YandexGPT подойдёт для чат-ботов и генерации текста на русском языке, а Qwen — для работы с текстами на китайском.Основная функция модели — дополнять текст. Пользователь или разработчик пишет промпт — текстовый запрос на естественном языке. Модель строит продолжение этого текста, отвечая на запрос пользователя. Формулировки могут быть разными: от объясни простыми словами, что такое эмбеддинг до выдели в тексте все глаголы и приведи их список.💡 В основе генерации текста лежит модель, которая предсказывает вероятность следующего слова для входного текста. Она анализирует взаимные сочетания слов с помощью механизма внутреннего внимания (self-attention), выявляет смысловые и грамматические связи и преобразует текст в векторное представление. После нескольких этапов такой обработки формируется итоговое представление текста, на основе которого модель выбирает наиболее вероятное следующее слово.
Получив распределение вероятностей для следующего слова, модель выбирает наиболее подходящее и добавляет его к уже сгенерированному тексту. Затем процесс повторяется: новое слово включается в контекст, и модель снова предсказывает следующее.
Как составить эффективный промпт
Эффективный промпт должен содержать контекст запроса к модели и задание, которое она должна выполнить. Чем конкретнее промпт, тем точнее будут результаты.Промпт состоит из двух частей:1️⃣ Инструкция, в которой описывают контекст, общую постановку задачи и требования к формату ответа.2️⃣ Текст запроса, с которым системе предстоит работать.
Пример генерации ответа на отзыв
Модель может автоматически генерировать отзывы клиентов на товары. Для решения такой задачи можно использовать следующий промпт:Инструкция: «Ты комьюнити-менеджер, работаешь с обратной связью клиентов на продукты и сервисы компании „Ваши жакеты“. Напиши вежливый ответ на отзыв покупателя в интернете».Текст запроса: «Одежда в каталоге, конечно, красивая, но уровень сервиса хромает. Последний заказ опоздал на три дня, ещё и жакет пришёл с браком. Не рекомендую».
ЛогикаТеперь вы знаете чуточку больше о работе языковых моделей, поэтому давайте перейдём к изучению AI Studio!
Начало работы с языковыми моделями в AI Studio
ЛогикаСначала выполним настройки для работы через API.1️⃣ Получите IAM-токен: воспользуйтесь инструкцией для аккаунта на Яндексе или для сервисного аккаунта.2️⃣ Получите идентификатор каталога, на который у вашего аккаунта есть роль ai.languageModels.user или выше — для работы с большими языковыми моделями, а также ai.imageGeneration.user или выше — для генерации изображений.3️⃣ При обращении через API в каждом запросе передавайте полученные параметры.
ЛогикаВторой шаг — настройка для работы в Playground моделей.Убедитесь, что для каталога, через который вы заходите в Playground модели, есть роль ai.languageModels.user или выше — для работы с большими языковыми моделями, а также ai.imageGeneration.user или выше — для генерации изображений.
ЛогикаТеперь можно приступать к работе с языковыми моделями в AI Studio!В зависимости от того, использует ли модель контекст переписки, есть такие режимы работы:1️⃣ Одиночная генерация. Вы отправляете модели подготовленный запрос и получаете ответ. Модель воспринимает каждый новый вопрос как отдельное задание и не помнит, что вы спрашивали раньше. При отправке запроса вы можете выбрать уровень креативности модели через параметр температура.2️⃣ Ответ с учётом контекста переписки. В этом режиме контекст переписки сохраняется автоматически и передаётся модели при каждом новом запросе. Сохранение истории можно реализовать самостоятельно либо использовать готовый функционал Responses API, где предусмотрены механизмы работы с историей.При создании обращения вы можете выбрать генеративную модель: для работы доступны модели YandexGPT (YandexGPT Pro, YandexGPT Lite, Alice AI), Qwen и другие опенсорс-модели.📚 Полный список моделей для работы можно посмотреть в документации.💡 Протестировать разные режимы работы можно в веб-интерфейсе AI Studio Playground через консоль Yandex Cloud в разделе AI Studio. Переключать режимы нужно через опцию Использовать контекст.
Обращение к языковым моделям в AI Studio
Интерфейс Playground предназначен для отладки запросов к генеративным моделям. Основной способ работы с ними — обращение через API напрямую или через SDK.📚 Для текстовой генерации рекомендуем использовать Responses API и OpenAI Python SDK. Для генерации изображений — Image Generation API и Yandex AI Studio SDK.
Что важно учесть перед запросом
Токены
Прежде чем попасть в языковую модель, символы естественного языка переводятся в токены.💡 Токен — это последовательность символов, что-то среднее между слогом и словом. Токены выступают посредником между обычным языком и входными данными в нейронную сеть. Например, у моделей семейства YandexGPT, оптимизированных для работы с русским языком, в один токен в среднем кодируется четыре символа русского языка. У других моделей соотношением будем другим.У каждой модели есть своё контекстное окно — максимальный объём текста, который она может получить на вход и сгенерировать в ответ. Например, на момент написания урока у YandexGPT Pro 5.1 контекстное окно составляет 32 768 токенов, у Qwen3-235B — 262 144 токена. Тарификация зависит от общего количества токенов, отправленных в модель и возвращённых обратно.📚 Для точного пересчёта текста в токены для моделей семейства YandexGPT можно использовать YandexGPT Tokenizer, он доступен через API.
Ограничения модели
В работе с языковыми моделями в AI Studio есть ограничения. Организационные ограничения называются квотами, а технические — лимитами. Например, квоты могут ограничивать число одновременных генераций или суммарное число запусков в час или в сутки. Примеры лимитов — размерность выходного вектора эмбеддингов, срок хранения результатов асинхронных запросов на сервере.
- Лимиты — это ограничения сервиса, которые изменить нельзя.
- Квоты — это ограничения на уровне облака пользователя, которые можно изменить. Для этого необходимо обратиться в техническую поддержку Yandex Cloud.
📚 Подробнее об ограничениях читайте в разделе документацииКвоты и лимиты.
Пример обращения к YandexGPT через API
ЛогикаА теперь перейдём к процессу обращения к языковой модели на примере YandexGPT.Самый простой и быстрый способ начать использовать текстовую модель — воспользоваться OpenAI Python API library (также называют Open AI Python SDK) на языке Python.Рассмотрите пример:
import openai
YANDEX_CLOUD_FOLDER = "..."
YANDEX_CLOUD_API_KEY = "..."
YANDEX_CLOUD_MODEL = "yandexgpt"
client = openai.OpenAI(
api_key=YANDEX_CLOUD_API_KEY,
project=YANDEX_CLOUD_FOLDER,
base_url="https://ai.api.cloud.yandex.net/v1",
)
response = client.responses.create(
model=f"gpt://{YANDEX_CLOUD_FOLDER}/{YANDEX_CLOUD_MODEL}",
instructions="Ты креативный ассистент. Помогаешь с генерацией идей.",
input="Придумай 3 необычные идеи для стартапа в сфере путешествий.",
temperature=0.4,
)
print(response.output_text) 1️⃣ Сначала нужно создать объект клиента SDK.При этом необходимо задать:
project— ID каталога, в котором вы работаете;api_key— API-ключ или IAM-токен;base_url— эндпоинт для обращения.
2️⃣ Затем происходит вызов модели с промптом, выбранной моделью и параметрами генерации. В примере выбрана модель YandexGPT Pro. Промпт разбит на две части: instructions — системные инструкции модели, input — ввод пользователя. Для модели можно установить параметр Температура, который влияет на креативность ответов модели.❗ В данном примере контекст не сохраняется. Следующее обращение к модели не будет учитывать предыдущие обращения.
Пример с сохранением контекста
Если модели нужен контекст переписки, вы можете сохранять историю запросов и ответов вручную. Либо использовать встроенный механизм работы с контекстом в Responses API.1️⃣ Аналогично примеру выше нужно создать объект клиента SDK:
import openai
YANDEX_CLOUD_FOLDER_ID = "..."
YANDEX_CLOUD_API_KEY = "..."
YANDEX_CLOUD_MODEL = "..."
client = openai.OpenAI(
api_key=YANDEX_CLOUD_API_KEY,
project=YANDEX_CLOUD_FOLDER_ID,
base_url="https://ai.api.cloud.yandex.net/v1",
) 2️⃣ При каждой генерации передавайте response.id того response-объекта (то есть пары запрос пользователя — ответ модели), на который хотите опереться. Это может быть предыдущая реплика или любой response из истории. Такой механизм управления историей позволяет формировать линейные цепочки или развивать диалог в виде дерева.В пример добавлена возможность вводить текст прямо в консольном интерфейсе — общайтесь с моделью, пока не напишете exit, quit или выход.
previous_id = None # хранение ID последнего ответа ассистента
print("Чат с агентом (введите 'выход' для выхода)\n")
while True:
user_input = input("Вы: ")
if user_input.lower() in ("exit", "quit", "выход"):
print("Чат завершён.")
break
response = client.responses.create(
model=f"gpt://{YANDEX_CLOUD_FOLDER_ID}/{YANDEX_CLOUD_MODEL}",
input=user_input,
instructions="Ты текстовый агент, который ведёт диалог и даёт информативные ответы на вопросы пользователя.",
previous_response_id=previous_id, # передача контекста, если он есть
)
# сохранение ID для следующего шага
previous_id = response.id
# вывод ответа агента
print("Агент:", response.output_text)
) Дообучение языковых моделей
Часто встречаются сценарии, когда языковая модель должна возвращать ответы в определённом формате, например xml. Структура ответа бывает сложной, и прописать её в инструкции к модели непросто. Иногда модель игнорирует части инструкций. В таких случаях рекомендуется использовать дообучение (fine-tuning) модели, чтобы она сформировала оптимальную инструкцию самостоятельно.В рамках процесса обучения, который доступен в консоли облака, модель нельзя научить новым фактам. Но можно её настроить так, чтобы она:
- пересказывала и переформулировала тексты;
- придумывала вопросы к тексту и ответы на них;
- оформляла ответы в определённом стиле или формате;
- распределяла тексты, обращения и диалоги по группам;
- находила основные мысли в тексте.
Для дообучения нужно подготовить файл в формате jsonl с набором пар: текст обращения к модели — ответ в необходимом формате. Каждой паре можно добавить инструкцию.📚 Процесс дообучения в AI Studio распространяется только на текстовые модели YandexGPT Lite: модель генерации текста YandexGPT Lite, классификаторы на базе YandexGPT Lite и модель эмбеддингов.
Текстовые эмбеддинги
Чтобы модель YandexGPT поддерживала предметный разговор, её объединяют с текстовыми базами знаний с помощью подхода Retrieval Augmented Generation (RAG). При каждом запросе из базы выбираются релевантные фрагменты текста, которые добавляются в промпт. Это помогает модели давать более точные и содержательные ответы.📚 Готовый RAG-пайплайн доступен в Yandex Cloud AI Studio. Подробнее познакомиться с ним можно в разделе документации по AI Search.Для поиска релевантных фрагментов необходимо использовать модели векторизации текста. Они позволяют сформировать числовой вектор смысла — эмбеддинг (embedding). Эти векторы фиксированного размера сохраняют характеристики слов и связи между ними. С их помощью можно по-разному работать с текстом:
- классифицировать информацию;
- сравнивать тексты;
- организовывать поиск по текстовой базе знаний;
- кластеризовать тексты по смыслу.
💡 Эмбеддинг-модели преобразовывают слова, фразы и предложения в числовые векторы. Процесс преобразования текста (набора символов) в набор чисел называется векторизацией.Например, с помощью эмбеддинг-модели можно оцифровать текстовую базу знаний, то есть перевести её в векторную форму, а затем находить ответы на релевантные запросы с помощью семантического поиска по векторной базе данных.В AI Studio есть две модели для векторного представления текста:
- Модель для векторизации больших текстов, например статей документации:
emb://<идентификатор_каталога>/text-search-doc/latest. - Модель для векторизации коротких текстов (поисковых запросов, обращений и т. п.):
emb://<идентификатор_каталога>/text-search-query/latest.
Чтобы обратиться к модели по API, укажите её URI в запросе. 📚 Актуальные URI и типовой пример использования эмбеддингов представлены в документации.
ЛогикаПомните, в начале урока я говорила, что на платформе AI Studio доступны не только языковые модели, но и модель для генерации изображений YandexART? Пора узнать, как она работает.
YandexART
💡 YandexART — это генеративная нейросеть, которая создаёт изображения по текстовому запросу.Как это работает? Представьте лист бумаги, закрашенный случайными штрихами (как телевизионный шум). YandexART воспринимает этот шум как заготовку, находит в нём образы и добавляет детали. Модель формирует изображение постепенно, шаг за шагом уточняя форму и содержание на основе текстового запроса.
Процесс диффузной генерации изображенияЧтобы создать картинку, нужно не только описать её словами, но и задать специальный параметр — зерно генерации (число от 0 до 2^63-1). Это исходная точка, от которой зависит результат. При одинаковом зерне и описании модель создаст одно и то же изображение в рамках одной версии. Чтобы изменить результат, достаточно поменять описание или зерно.
Как начать работу с YandexART
В консоли облака есть YandexART Playground — площадка, где вы можете протестировать модель YandexART.
Как составить эффективный промпт
Если вы хотите получить нужное изображение с помощью YandexART, то вот несколько советов, которые сделают ваш промпт более понятным для нейросети.
- Используйте яркие образы. Представьте зимний лес, закат на море, средневековый замок, футуристичный автомобиль или осеннее дерево.
- Опишите объекты подробнее. Добавьте информацию о цвете, форме, расположении и так далее.
- Укажите стиль. Если вы хотите получить определённое изображение, сообщите нейросети, какое именно. Например, реалистичное, в стиле Дали или аниме.
- Упростите сложные концепты. Если у вас есть необычная идея, которую сложно описать, расскажите о ней простыми словами. Например, вместо названия праздника можно написать, что люди едят конфеты и гуляют на площади.
📚 Рекомендуем пройти курс «Техники работы с промптами», в котором вы познакомитесь с основными принципами промпт-инжиниринга для генерации изображений.
Пример обращения к YandexART через SDK
Самый простой и быстрый способ начать использовать текстовую модель — воспользоваться Yandex AI Studio SDK на языке Python.💻 Для начала работы с SDK необходимо его скачать и установить с помощью менеджера пакетов pip. Для этого в терминале выполните команду pip install yandex-cloud-ml-sdk.Работа с моделью генерации изображений устроена так же, как и с текстовыми моделями. Вы создаёте объект SDK, выбираете модель и отправляете запрос с текстовым промптом. Ключевое отличие: генерация изображений поддерживает только асинхронный режим. Текстовые модели, как правило, работают и в синхронном, и в асинхронном режимах.Параметров для конфигурации у модели YandexArt пока немного:
width_ratio— определяет ширину в соотношении сторон, по умолчанию: 1;height_ratio— определяет высоту в соотношении сторон, по умолчанию: 1;seed— зерно генерации. Если не задано, значение генерируется случайным образом.
Пример использования YandexART для генерации изображения рыжего кота:
from yandex_ai_studio_sdk import AIStudio
import pathlib
def main() -> None:
sdk = AIStudio(
folder_id="<идентификатор_каталога>",
auth="<APIKey/IAMToken/SomethingElse>",
)
# Задание модели
model = sdk.models.image_generation('yandex-art')
# Конфигурация модели: соотношение ширины и высоты, зерно генерации
model = model.configure(width_ratio=1, height_ratio=2, seed=50)
# Путь для сохранения картинки
path = pathlib.Path('cat.jpeg')
# Промпт для модели
operation = model.run_deferred("Рыжий кот, в стиле Миядзаки")
# Получение результата
result = operation.wait()
# Сохранение изображения
path.write_bytes(result.image_bytes)
if __name__ == '__main__':
main() Результат генерации:
Обратите внимание на обращение к модели:
# Запрос на генерацию изображения возвращает объект операции
operation = model.run_deferred("Рыжий кот, в стиле Миядзаки")
# Под капотом SDK проверяет статус операции и скачивает изображение, когда всё готово
result = operation.wait() Сначала сервис ставит запрос на генерацию в очередь и возвращает объект operation. SDK отслеживает статус операции и после завершения загружает изображение.
💻 Практика. Создание рассказа
❗️Практическая часть курса предполагает использование облачных ресурсов, которые вы оплачиваете самостоятельно. Курс разработан так, чтобы расходы были минимальными, — часть из них покроет стартовый грант.Чтобы избежать лишних трат:— останавливайте ВМ в перерывах между практиками (это не снизит потребление до нуля, но заметно сократит расходы);— настройте бюджет и уведомления в разделе Биллинг;— удаляйте ресурсы после завершения курса;— необязательно выполнять все практики — сосредоточьтесь на релевантных.В качестве практического упражнения предлагаем использовать Alice AI и YandexART в Playground AI Studio для создания небольшого рассказа в стиле научной фантастики (sci-fi) про восстание ИИ.1️⃣ В облачной консоли (в разделе Все сервисы) выберите AI Studio и перейдите к пункту Yandex AI Studio.2️⃣ В боковом меню выберите пункт AI Playground и попросите модель Alice AI написать рассказ. Если вы не удовлетворены результатом, то в дальнейшем диалоге уточните, что бы вам хотелось изменить. Помните, что вы можете начать беседу заново столько раз, сколько потребуется для достижения желаемого результата.3️⃣ После написания рассказа перейдите в раздел YandexART и сгенерируйте пару иллюстраций в едином стиле. Для этого можно включить описание стиля в запрос, например: акварельная иллюстрация в пастельных тонах на белом фоне, робот, играющий в шахматы с уставшим пожилым человеком.
💡 В консоли YandexART приведён REST-запрос, который можно использовать для генерации изображения. Вы можете скопировать запрос отсюда и использовать его в любом приложении для генерации изображений.4️⃣ Попробуйте отправить запрос в Alice AI, чтобы модель сгенерировала подходящие промпты для иллюстрации рассказа или предложила несколько идей, из которых вы выберете лучшие.5️⃣ Посмотрите критически на написанный рассказ. Вы довольны результатом? Что получилось хорошо? В чём основные недостатки использования генеративного ИИ?📚 В теме «Большие языковые модели» разобраны основные приёмы промпт-инжиниринга. Они помогают получать более качественные результаты от генеративного ИИ за счёт продуманных запросов и с учётом особенностей обучения нейросетей. После изучения модуля вы сможете улучшить рассказ, который написали в этой практике.
0 комментариев