Logo Craft Homelab Docs Нейросети Хостинг Обучение Контакты
SLO Kubernetes-кластера: активные пробы от Deployment до Ingress Трендовые github проекты в нашем телеграм канале. Подпишись →
18 ноября 2026 г.

Что проверять в кластере после успешного ответа API

Kubernetes API принял Deployment, сохранил объект в etcd и вернул успешный ответ. Приложение при этом может так и не запуститься: дальше нужны controller-manager, scheduler, kubelet, сеть и, для stateful-нагрузки, хранилище. Доступность API покрывает лишь начало этой цепочки.

Для эксплуатации полезнее измерять, способен ли кластер выполнить конкретную операцию за допустимое время. Создать под, подключить том, доставить запрос через новый Ingress. Такие проверки дают основу для SLI — измеряемого показателя работоспособности. SLO задаёт целевой уровень этого показателя, а SLA закрепляет обязательства перед потребителем и последствия их нарушения.

Проверка должна запускать работу компонентов

В Kubernetes многие операции асинхронны. Успешное создание объекта через API ещё ничего не говорит о том, как быстро контроллер обработает изменение. Отсутствие ошибок в логах простаивающего компонента тоже слабо помогает: проблема может проявиться при следующем запросе.

Практический вариант — небольшой контроллер, который периодически создаёт тестовые ресурсы, ждёт результат, измеряет длительность и удаляет созданное. Каждая проба получает двоичный результат:

  • 1 — операция завершилась в пределах установленного времени;
  • 0 — операция завершилась слишком поздно или провалилась.

Порог времени входит в определение работоспособности. Под, который появился через 30 минут, формально создан, но для оперативного запуска нагрузки такой результат бесполезен. Три секунды и полчаса должны давать разные результаты проверки. Конкретный допустимый срок задаётся под требования нагрузки.

Запуск приложений: две разные пробы

Первую проверку можно сделать дешёвой. Контроллер создаёт namespace и Deployment с nodeSelector, которому не соответствует ни один узел. Затем ждёт появления ReplicaSet и пода.

Под останется в Pending, поэтому контейнер не займёт вычислительные ресурсы узла. Проба проверит обработку Deployment и создание зависимых объектов. Время от создания Deployment до появления пода сохраняется вместе с результатом. После проверки Deployment удаляется.

Для проверки фактического запуска нужна отдельная операция. Контроллер создаёт StatefulSet с запросом постоянного тома, ждёт запуска пода и подключения хранилища. Здесь в цепочку уже попадают планировщик, узел и подсистема хранения. После завершения удаляются тестовые ресурсы и namespace.

Эти проверки отвечают на разные вопросы. Первая показывает, работают ли контроллеры, создающие объекты приложения. Вторая проверяет способность кластера довести stateful-нагрузку до запуска. Успешная первая проба при провале второй помогает сузить поиск проблемы.

Сеть: поды, Service и DNS

Пинг между узлами оставляет без проверки сеть подов, маршрутизацию через Service и разрешение внутренних имён. Для приложения важны все эти участки.

Сетевая проба размещает поды на разных узлах через nodeSelector или pod anti-affinity. Поды обращаются друг к другу, а контроллер собирает время прохождения запросов и потери. Отдельно выполняются обращения через Service с использованием DNS-имени.

Результаты лучше сохранять раздельно: связность подов, доступность сервиса и разрешение имени показывают разные стороны сетевого пути. Тогда при сбое видно, на каком участке перестала работать проверка. Один успешный ping хоста такой детализации не даст.

Ingress: от нового правила до первого ответа

Работающий Ingress-контроллер может продолжать обслуживать старые маршруты и при этом медленно применять новые. Проверка давно существующего адреса пропустит такую деградацию.

После создания Ingress контроллеру нужно получить правила, найти Service и его endpoints, сформировать конфигурацию, проверить её и применить. Задержка на этой цепочке способна растянуть публикацию изменения на десятки минут.

Активная проба воспроизводит весь сценарий:

  1. Создаёт namespace и тестовый под.
  2. Добавляет Service и новый Ingress.
  3. Отправляет запросы по созданному маршруту.
  4. Фиксирует время до первого ответа тестового приложения.
  5. Сохраняет результат и удаляет ресурсы.

Так измеряется способность применить новое правило маршрутизации. Слишком долгий первый ответ считается провалом, даже если запрос в конце концов дошёл. По аналогичной схеме можно проверять выдачу сертификатов и другие операции, которые требуют согласованной работы нескольких компонентов.

Мониторинг тоже нуждается в сквозной проверке

Открывающийся интерфейс мониторинга ещё не подтверждает, что система собирает свежие данные и вычисляет правила. У неё есть несколько отдельных обязанностей: сбор и хранение метрик, выполнение recording rules, вычисление алертов и чтение результатов.

Тестовый контроллер публикует заранее известную метрику. Система мониторинга должна её собрать. Recording rule создаёт на её основе новую метрику, а правило алертинга — соответствующий алерт. Проверка затем читает результаты и убеждается, что вся последовательность выполнилась.

Если метрика собирается, но правила перестали вычисляться, общая проба мониторинга должна это отразить. Подобные сценарии подходят для логирования и автоматического масштабирования: проверка запускает действие и ждёт наблюдаемого результата.

Как собрать показатели в общую оценку

У каждой пробы есть группа и компонент. Например, запуск приложения относится к control-plane, а выделение тома — к подсистеме хранения. Поверх этой структуры полезен лейбл tier с двумя значениями: critical и optional.

Для критичных компонентов берётся минимум результатов в каждый момент измерения:

critical(t) = min(результаты критичных проб в момент t)
доступность critical за 30 дней =
  100 × число успешных измерений / общее число измерений

Если хотя бы одна критичная проба провалилась, результат равен нулю. Это подходит для зависимостей, без которых кластер теряет необходимые функции: например, для CNI, когда приложениям требуется сетевое взаимодействие.

Вспомогательные компоненты требуют другой агрегации. Отказ интерфейса управления не обязан обнулять оценку работающих мониторинга и логирования. Сначала для каждой группы вычисляется минимум её проб, затем берётся среднее по группам:

group(t) = min(результаты проб внутри группы)
optional(t) = сумма результатов групп / число групп

Дальше эти значения усредняются за выбранный период. Каждая вспомогательная группа получает одинаковый вклад независимо от количества тестов внутри неё. Заодно сохраняется детализация до отдельной пробы: по ней можно перейти от общей деградации к конкретной операции.

Границы проверок определяет нагрузка

Состав critical зависит от требований приложений. Автомасштабирование может быть обязательным условием работы сервиса; в другом кластере оно лишь упрощает эксплуатацию. Аналогично определяется роль менеджера сертификатов и остальных компонентов. Группы стоит согласовать до расчёта итогового процента.

Активные проверки следует сопоставлять с обычными метриками: ошибками API, длительностью создания подов, состоянием планировщика. Тестовый под может запускаться быстро, пока реальные приложения ждут ресурсы. Поэтому рядом с итоговой доступностью нужны результаты отдельных проб и показатели реальной нагрузки.

Для начала достаточно выбрать операции, отказ которых уже приводил к инцидентам: запуск пода, выделение тома или применение Ingress. У каждой операции должны быть допустимое время, периодическая проверка и наблюдаемый результат. Тогда процент доступности получает проверяемый смысл: становится понятно, какие действия кластер действительно выполнял в течение отчётного периода.