Алгоритм функционала “МЛ” в облаке

В последние годы активно развиваются интеллектуальные информационные системы: прогнозирования спроса, распознавания лиц, рекомендательные алгоритмы, диалоговые чат-боты. Такие системы работают в интернете и размещаются на серверном оборудовании.

Почему облако

Облачные технологии зарекомендовали себя как отличный инструмент для создания информационных систем, способных выдерживать высокую нагрузку. Но использование облака также эффективно из-за особенностей систем искусственного интеллекта.

Для обучения больших нейросетевых моделей нужны мощные вычислительные ресурсы

Речь идёт про дорогостоящие графические процессоры (GPU), которые существенно ускоряют вычисления нейросетевых моделей. Используя облако, бизнес может не закупать такое оборудование, а воспользоваться эластичными вычислительными ресурсами.Пример: студенты решили организовать стартап по автоматическому определению калорийности блюд по фото под названием Калория.ру. Они посчитали, что для первичного обучения модели уйдёт приблизительно 100 GPU-часов. После этого нужно обновлять модель раз в месяц — это ещё около 10 GPU-часов. Если применять облачные технологии, придётся потратить на обучение модели примерно 17 000 рублей. Это гораздо дешевле, чем покупать свой сервер за 300 000 рублей, который будет простаивать большую часть времени.

Для машинного обучения необходимы большие объёмы данных

Облако хранит данные проекта и даёт доступ всем участникам. Данные и вычислительные ресурсы находятся в одном дата-центре, поэтому их не нужно передавать на рабочие станции.В стартапе Калория.ру разработали чат-бота для сбора фотографий пользователей. Изображения сохраняются в облачном хранилище и используются для проверки модели и её обучения.⭐ В облаке есть платформенные сервисы для типовых задач

Например:

• совместная работа над обучением моделей;
• распознавание текста;
• использование больших языковых моделей.

Во многих случаях не нужно разрабатывать сервис с нуля. Достаточно подключить готовый сервис и использовать его в приложении.

Команда Калория.ру добавила распознавание текста на упаковках, чтобы извлекать данные о калорийности. Для этого не нужно искать или обучать модель. Достаточно подключить сервис Yandex Vision OCR.⭐

Облачная архитектураподдерживает масштабируемые сервисы

Объектное хранилище мне ограничено в объёме. Многие сервисы масштабируются автоматически или поддерживают настройку масштабирования. Чтобы это работало, систему строят как набор сервисов, а не как монолит.Когда база пользователей «Калория.ру» выросла, увеличилась нагрузка на модель распознавания калорийности по фото. Время ответа выросло, начали появляться ошибки. Модель была развёрнута в виде веб-сервиса в Yandex DataSphere. Для обработки нагрузки настроили автоматическое масштабирование: сервис запускает несколько экземпляров модели вместо одного.

ЛогикаТеперь вы знаете, какие плюсы есть у облака. Самое время разобраться, какими бывают сервисы и в чём их особенности и различия.

Инфраструктурные и платформенные сервисы

Облако — это большой набор вычислительных ресурсов, которые расположены в дата-центрах облачного провайдера. Но доступ к этим ресурсам может предоставляться по-разному:

• Инфраструктурные сервисы (Infrastructure as a Service, IaaS) позволяют выделять в облаке отдельные виртуальные машины, диски и объекты сетевой инфраструктуры. Можно самостоятельно выстроить внутри облака вычислительную инфраструктуру, но при этом потребуется её поддержка: установка и обновление прикладного ПО.
• Платформенные сервисы (Platform as a Service, PaaS) предоставляют готовые строительные блоки для решения типовых задач: хранения реляционных данных, машинного обучения или преобразования речи в текст. При этом облачный провайдер сам заботится об обновлениях сервиса, его масштабировании и отказоустойчивости.
• Сервисы для пользователей (Software as a Service, SaaS) являются законченными продуктами. Например, Yandex Disk или SpeechSense для речевой аналитики.

Сравнение сервисов по главным критериям:

Разработчики и инженеры работают с инфраструктурными и платформенными сервисами через API. В облаке чаще всего используют REST и gRPC.💡 REST и gRPC — это способы взаимодействия с сервисами по сети. Они позволяют вызывать методы удалённо по модели «запрос — ответ» (request — response).

• REST (Representational State Transfer) использует HTTP/1.1 и его методы: GET, POST, PUT, DELETE. Каждый запрос независим (stateless). Данные обычно передаются в формате JSON — текстовом формате для структурированных данных.
• gRPC (Google Remote Procedure Call) — работает поверх HTTP/2. Поддерживает постоянное двунаправленное соединение между клиентом и сервером. Обеспечивает более высокую производительность, но сложнее в реализации.

Инфраструктурные сервисы

ЛогикаТеперь пора разобраться в тонкостях каждого типа сервисов. Первым делом познакомьтесь с вариантами представления инфраструктурных сервисов.

Виртуальные машины

💡 Виртуальная машина (VM) — базовый способ запускать сервисы и вычисления в облаке.При создании виртуальной машины вы задаёте ресурсы:

• процессор;
• оперативную память;
• диск;
• GPU.

От конфигурации зависит стоимость. Тарификация — посекундная. Виртуальную машину можно запускать и останавливать, чтобы снизить расходы. Конфигурацию можно менять без потери данных на диске, например увеличивать объём памяти или диска.Виртуальные машины — основа платформенных сервисов. При прямом использовании их нужно настраивать и масштабировать вручную.Когда использовать виртуальные машины

• Редко используемый сервис Например, интерфейс для модели. Можно создать маломощную виртуальную машину и ограничить CPU. На этапе разработки — около 20%, в продакшене — увеличить до 50–100%.
• Ресурсоёмкое обучение моделей Используют прерываемые виртуальную машину. Они дешевле, но могут остановиться в любой момент. Состояние обучения нужно регулярно сохранять на диск.

Использование виртуальных машин для моделей

• Обучение моделей Обычно используют виртуальные машины с GPU. Необходимое ПО устанавливают вручную или используют готовый образ Data Science Virtual Machine. Обновление ПО выполняется вручную. Часто проще пересоздать виртуальную машину с новым образом. Доступ к виртуальной машине — по ssh. Для работы можно использовать Jupyter Notebook или JupyterLab.
• Деплой моделей Модель можно развернуть как веб-сервис на виртуальной машине. В этом случае оплачивается всё время работы машины. Если модель используется редко, например один раз в день, виртуальная машина неэффективна. В таких случаях применяют бессерверные вычисления.

Объектное хранилище

Объектное хранилище S3 хранит данные в виде объектов. Объём масштабируется автоматически: данные распределяются по нескольким физическим узлам.Протокол S3 (Simple Storage Service) впервые предложила компания Amazon. Он стал стандартом для облачных хранилищ.Доступ к данным:

• через библиотеки (например, boto);
• через монтирование в файловую систему (s3fs, FUSE);
• через CLI-утилиты (s3cmd, rclone).

Объектное хранилище подходит для неструктурированных данных:

• изображения;
• видео;
• текстовые файлы;
• другие BLOB-объекты.

Для структурированных данных с поиском и индексацией используют SQL- и NoSQL-базы данных.

Контейнерные решения

💡 Контейнер — изолированная среда для запуска приложения без полной виртуализации. Он легче виртуальной машины и быстрее запускается.Приложение часто разбивают на набор сервисов. Такой подход называется микросервисной архитектурой.Если приложение уже работает в контейнерах, его можно развернуть в облаке, например в Kubernetes®.

Подробнее о реализации микросервисной архитектурыКонтейнерные решения стоят дороже виртуальных машин в расчёте на единицу времени. При этом они не требуют оплаты за простой и масштабируются автоматически. Облако поддерживает операционную систему в актуальном состоянии и обеспечивает бесперебойную работу. Если один из контейнеров откажет, облако перезапустит его.

В некотором смысле, Yandex Managed Service for Kubernetes, Serverless Containers и Cloud Functions относятся к платформенным сервисам. Они позволяют запускать произвольный код, поэтому по модели использования близки к виртуальным машинам.Сравнительные особенности контейнерных решений и виртуальных машин:

Платформенные сервисы

Второй тип облачных инструментов — платформенные сервисы. Они служат для решения определённых задач, например хранения данных или распознавания текста на изображении. Платформа предоставляет ресурсы и готовый интерфейс — API или UI.

Yandex AI Studio

💡 Yandex AI Studio — платформа для разработки решений с генеративным ИИ и создания ИИ-агентов.Она включает готовые компоненты для работы с моделями. Далее вы рассмотрите их возможности.

Model Gallery

Model Gallery даёт доступ к:

• генеративным моделям Яндекса;
• моделям синтеза и распознавания речи;
• open-source моделям (LLM, VLM), например Qwen и DeepSeek.

Эти модели не требуют специализированных знаний для настройки и доступны через API и SDK. Для тестирования и прототипирования можно использовать UI, который не требует навыков программирования.

Основные компоненты в составе Yandex AI Studio

• YandexGPT и Алиса AI Большие языковые модели для работы с текстом. Поддерживают диалог, перевод, извлечение данных и другие задачи. Вместе с YandexGPT часто используют модели Yandex Embeddings. Они преобразуют текст в векторы с учётом семантики.
• YandexART Генерация изображений по текстовому запросу.
• Yandex SpeechKit Распознавание и синтез речи. Поддерживает:
  • синхронный режим для коротких фрагментов;
  • асинхронный режим для длинных аудио.
  Доступны готовые голоса и кастомизация (Brand Voice).
• Yandex Vision OCR Распознавание печатных и рукописных текстов, таблиц и документов.
• Yandex Translate Перевод текста. Поддерживает дообучение на предметных данных.

Agent Atelier

💡 Agent Atelier — модуль для создания ИИ-агентов.Он расширяет возможности языковых моделей:

• подключает поиск по внутренним базам знаний (RAG);
• выполняет запросы в интернет;
• интегрируется с внешними API через Model Context Protocol (MCP).

Агенты используют данные из бизнес-систем и выполняют действия:

• создают тикеты;
• отправляют сообщения и письма;
• вызывают внешние сервисы.

Low-code инструменты

Low-code инструменты, например Workflows, автоматизируют бизнес-процессы.Они позволяют:

• строить цепочки вызовов языковых моделей;
• объединять нескольких агентов в мультиагентные системы;
• задавать логику выполнения процессов.

Платформенные сервисы для ML-разработчика

Обучение моделей — одна из основных задач в работе с LLM. Часто для этого используют виртуальные машины с GPU.Но у такого подхода есть издержки:

• нужно подключать хранилище (например, S3) для датасетов;
• вручную запускать и останавливать виртуальную машину;
• устанавливать и обновлять библиотеки и окружение.

Для этих задач в Yandex DataSphere есть готовая среда разработки на базе JupyterLab.Она закрывает инфраструктурные задачи:

• подключает объектное хранилище и диски с датасетами;
• управляет вычислительными узлами: запуск, остановка, смена конфигурации;
• интегрируется с Git;
• даёт доступ к датасетам всей команде.

ЛогикаDataSphere разделяет вычислительные узлы и рабочее пространство проекта и датасетов. То есть сначала вы работаете с данными на недорогом узле. Потом переключаетесь на GPU для обучения. Данные остаются на месте — копировать ничего не нужно.Другой класс задач в области анализа данных — обработка больших данных на кластерах.Стандарт для таких задач — Apache Spark™. В Yandex Cloud его платформенная версия — Yandex Data Processing, который управляет кластером:

• разворачивает инфраструктуру;
• масштабирует ресурсы;
• поддерживает работу кластера.

Yandex Data Processing интегрируется с Yandex DataSphere. Это позволяет работать с большими данными прямо из JupyterLab.

Как решать типовые задачи ML в облаке

Вы познакомились со всем многообразием облачных сервисов. Теперь посмотрите, как в облаке решают типовые задачи ML.

• Сбор и хранение данных Выбор зависит от типа данных:
  • изображения, видео, текст → объектное хранилище S3;
  • структурированные данные → SQL- и NoSQL-базы.
• Исследование данных и обучение Для работы с данными и обучения используют Yandex DataSphere с интерфейсом JupyterLab. Для обучения больших моделей на кластере GPU лучше использовать прерываемые виртуальные машины.
• Запуск ML-моделей Часто используют Yandex DataSphere. Он балансирует нагрузку и позволяет использовать GPU. В некоторых случаях подходят и другие контейнерные решения или виртуальная машина.
• Решение типовых задач ИИ Для распознавания или синтеза речи лучше использовать готовые сервисы Yandex Vision OCR, Yandex SpeechKit и YandexGPT. Так вам не придётся тратить много ресурсов и создавать решение с нуля.

Ссылка : https://practicum.yandex.ru/learn/yc-ml-services/courses/7617ab7d-f316-4d9a-9939-c7158759a3e9/sprints/932316/topics/df8ac0ff-0fdf-4dee-8391-e20c78d01ed3/lessons/8d9a8853-f812-4b09-8e41-630efcf8df3a/