Рунологи (англ. run logs) – это журналы выполнения задач, процессов и сервисов. Они позволяют отслеживать, отлаживать и оптимизировать работу приложений в облачной инфраструктуре. В экосистеме Яндекса существует несколько сервисов, предоставляющих возможности записи, хранения и анализа рунологов. В этой статье мы подробно сравним их по функциональности, удобству использования и стоимости.
Почему рунологи важны?
- Отладка. Позволяют быстро находить причины сбоев и ошибок.
- Мониторинг. Данные из логов могут использоваться для построения метрик и алертов.
- Аудит и безопасность. Хранят информацию о доступах, изменениях конфигураций и действиях пользователей.
- Оптимизация расходов. Анализируя длительность и частоту запусков, можно уменьшить избыточные ресурсы.
Обзор основных Яндекс‑сервисов, работающих с рунологами
| Сервис | Тип логов | Хранилище | Аналитика | Интеграция с другими сервисами | Стоимость |
|---|---|---|---|---|---|
| Yandex Cloud Logging | Системные, пользовательские, метрики | Объектное хранилище Yandex Object Storage | Встроенный поиск, фильтрация, визуализация; экспорт в Yandex DataLens | Yandex Monitoring, Yandex Functions, Yandex Managed Service for Kubernetes | Почасовая тарификация за GB ingested + GB stored |
| Yandex Monitoring | Метрики, алерты, трассировки (OpenTelemetry) | Внутреннее время‑серверное хранилище | Графики, дашборды, динамические алерты | Yandex Cloud Logging (через Export), Yandex Application Load Balancer | Бесплатный уровень: 100 000 метрик; далее – $0.05 за 1000 метрик |
| Yandex Serverless (Functions) | Логи выполнения функций (stdout, stderr) | Yandex Cloud Logging (автоэкспорт) | Поиск по запросам, группировка по тегам | Yandex Cloud Events, Yandex DataStream | Входит в общий тариф Cloud Logging |
| Yandex Managed Service for Kubernetes (K8s) | Контейнерные логи, системные события, audit‑логи | Yandex Cloud Logging + возможность отправки в внешние SIEM | Фильтрация по namespace, pod, label; интеграция с Grafana | Yandex Cloud Monitoring, Yandex DataLens | Платно только за хранение в Logging |
| Yandex DataSphere | Логи выполнения ноутбуков, пайплайнов, ML‑моделей | Встроенное хранилище + Cloud Logging (по запросу) | Трассировка шагов, визуализация ошибок | Yandex DataProc, Yandex Model Registry | Тариф “Free” – 5 GB хранилища, дальше – $0.02/GB |
| Yandex DataProc (Apache Hadoop, Spark) | Логи заданий, драйверов, executor‑ов | HDFS внутри кластера + экспорт в Cloud Logging | Web‑UI, интеграция с Yandex DataLens | Yandex DataSphere, Yandex Managed Service for ClickHouse | Оплата за используемые узлы; хранение логов в Cloud Logging оплачивается отдельно |
Подробный разбор сервисов
Yandex Cloud Logging
Это центральный сервис для сбора и хранения всех типов журналов в облаке Яндекса. Он поддерживает:
- Автоматический сбор stdout/stderr из контейнеров, функций и виртуальных машин.
- Пользовательские метаданные (теги, уровни, источники).
- Экспорт в Object Storage для длительного архива (правила TTL).
- Интеграцию с Yandex DataLens для построения кастомных визуализаций.
Для небольших проектов бесплатный лимит составляет 5 GB входящих данных в месяц. После превышения применяется модель pay‑as‑you‑go.
Yandex Monitoring
Сервис ориентирован на метрики и алерты, но также умеет принимать трассировки OpenTelemetry, которые часто включают рунологи в виде span‑ов. Основные возможности:
- Создание дашбордов в реальном времени.
- Динамические правила оповещения (email, SMS, webhook).
- Экспорт метрик в сторонние системы через Prometheus‑compatible endpoint.
Если вам нужны только метрики, то Monitoring может покрыть большую часть задач без привлечения Logging.
Yandex Serverless (Functions)
Функции в Яндекс Облаке автоматически отправляют свои логи в Cloud Logging. Это упрощает:
- Отладку короткоживущих функций.
- Настройку фильтров по
function_idиexecution_id. - Сбор статистики по времени выполнения (встроенные метрики).
Для больших нагрузок рекомендуется включать batch‑логирование – агрегировать записи перед отправкой, чтобы снизить стоимость.
Yandex Managed Service for Kubernetes (K8s)
Кластеры Kubernetes генерируют огромное количество логов: от pod‑ов до audit‑логов API‑сервера. Яндекс предоставляет готовый лог‑агент Fluent Bit, который:
- Собирает логи из
/var/log/containers; - Форматирует их в JSON;
- Отправляет в Cloud Logging или внешние SIEM‑системы.
Плюсы:
- Масштабируемость – лог‑агент работает на каждом узле.
- Гибкая маршрутизация (по namespace, label).
- Поддержка аудита (audit‑log) для соответствия требованиям GDPR.
Yandex DataSphere
Платформа для Data Science и машинного обучения. Логи здесь включают:
- Статус пайплайнов (started, succeeded, failed).
- Трассировку обучения моделей (epoch, loss, метрики).
Для команд, работающих над экспериментами, важно иметь возможность быстро искать ошибку в конкретном этапе пайплайна – DataSphere предоставляет встроенный поиск по ключевым словам и фильтрацию по тегам проекта.
Yandex DataProc
Кластерный сервис для обработки больших данных (Hadoop, Spark). Логи Spark‑заданий часто бывают огромными, поэтому:
- Рекомендуется включать log rotation внутри кластера.
- Экспортировать только критические уровни (ERROR, WARN) в Cloud Logging.
- Для детального аудита включать YARN Application Timeline Server.
Сравнительная таблица по ключевым параметрам
| Критерий | Yandex Cloud Logging | Yandex Monitoring | Yandex Functions | K8s (Managed Service) | DataSphere | DataProc |
|---|---|---|---|---|---|---|
| Тип данных | Текстовые и структурированные журналы | Метрики + трассировки | stdout/stderr функций | Контейнерные, audit‑логи, systemd | Notebook output, pipeline status | Задания Hadoop/Spark |
| Хранение | Object Storage, TTL‑политики | Встроенное (30 дней бесплатно) | Через Logging | Logging + локальный HDFS | Встроенное + optional Logging | HDFS + Logging |
| Поиск/Фильтрация | Полнотекстовый, по полям JSON | По меткам и времени | По function_id, execution_id | По namespace, pod, label | По проекту, ноутбуку, шагу | По приложению, stage |
| Экспорт | Object Storage, DataLens, внешние SIEM | Prometheus, webhook | Cloud Logging, EventBridge | Fluent Bit → Logging/SIEM | DataLens, CSV | Object Storage, Logging |
| Стоимость | Pay‑as‑you‑go (ingest + storage) | Бесплатный базовый + $0.05/1000 метрик | Входит в тариф Logging | Оплата за узлы + Logging | Free tier 5 GB, далее $0.02/GB | Оплата за узлы; Logging отдельно |
Практические рекомендации по работе с рунологами
- Определите уровень детализации. Для продакшн‑сервисов обычно достаточно уровня
INFO+ERROR. Для отладки –DEBUG. - Настройте TTL. Храните детальные логи 7–14 дней, а агрегированные метрики – до 30 дней.
- Используйте метки. Добавляйте в каждый лог обязательные поля:
service_name,environment,request_id. Это упростит поиск и корреляцию. - Экспортируйте в SIEM. Если у организации есть требования по аудиту, настройте Fluent Bit или Cloud Logging Export в Splunk, ELK или любой другой SIEM‑системе.
- Автоматизируйте алерты. На основе шаблонов «много ошибок за 5 минут» или «внезапный рост latency» создавайте правила в Yandex Monitoring.
- Оптимизируйте стоимость. Для больших объёмов логов включайте сжатие (gzip) перед отправкой в Object Storage.
Краткое резюме
Яндекс предоставляет целый набор инструментов для работы с рунологами, каждый из которых ориентирован на свой тип нагрузки:
- Yandex Cloud Logging – универсальное хранилище и поисковый движок для всех журналов.
- Yandex Monitoring – лучшая платформа для метрик и алертов, может дополнять логи.
- Yandex Functions и Serverless – простая интеграция с Logging без дополнительных настроек.
- Kubernetes Managed Service – гибкая маршрутизация логов через Fluent Bit.
- DataSphere и DataProc – специализированные решения для аналитики и ML‑проектов.
Выбор конкретного инструмента зависит от ваших бизнес‑целей, объёмов данных и требований к безопасности. Для большинства проектов комбинация Cloud Logging + Monitoring покрывает 90 % потребностей, а дополнительные сервисы (K8s, DataSphere) подключаются только при необходимости.
Дата публикации: 06 май 2026 г.