Logo Craft Homelab Docs Нейросети Хостинг Обучение Контакты
Почему GPU-поды остаются Pending после расширения Kubernetes Трендовые github проекты в нашем телеграм канале. Подпишись →
19 ноября 2026 г.

Когда новый узел не помогает запустить GPU-задачу

GPU-под висит в Pending, автоскейлер добавляет узел, а задача продолжает ждать. Свободные ускорители в кластере при этом могут оставаться. Причина бывает в конфигурации оборудования: добавленная мощность формально доступна, но требованиям задачи не соответствует.

В Kubernetes за размещение и расширение отвечают два отдельных цикла. Планировщик выбирает узел среди существующих. Автоскейлер оценивает ожидающие поды и решает, какие узлы добавить. Для обычных контейнеров с запросами CPU и памяти такое разделение часто работает хорошо. У GPU-нагрузок появляется больше условий: связи между устройствами, способ разделения ускорителя и необходимость запустить целую группу подов одновременно.

Количество GPU скрывает устройство сервера

Представление «на узле четыре ускорителя, поду нужны два» теряет часть требований к оборудованию. Ускоритель связан с CPU и памятью своего NUMA-домена, сетевым интерфейсом на общем пути PCIe и другими GPU через высокоскоростные соединения. Доступ к данным через более медленный участок этой цепочки влияет на работу задачи.

Топология продолжается за пределами сервера. Сначала устройства соединены внутри узла, затем серверы — в стойке, дальше стойки — сетью дата-центра. Для крупных моделей, работающих на множестве серверов, расположение ресурсов становится частью требований к размещению.

Если планировщик учитывает эти связи, а автоскейлер видит лишь число устройств, их оценки расходятся. Новый узел увеличивает суммарную ёмкость кластера, но подходящего места для пода по-прежнему нет.

Dynamic Resource Allocation (DRA) даёт структурированное описание требований к устройствам. Рабочая нагрузка создаёт заявку, в которой можно выразить необходимые связи — например, между ускорителем и обслуживающим его сетевым интерфейсом. Планировщик читает заявку напрямую. Автоскейлер с поддержкой DRA может использовать её при моделировании будущих мощностей.

Поддержка зависит от реализации. При выборе связки компонентов нужно проверять, какие требования DRA понимает каждый из них. Само наличие этого механизма в кластере ещё не означает, что автоскейлер использует ту же модель оборудования.

Доли устройства тоже требуют учёта

Небольшая задача может оставить значительную часть выданного ей ускорителя без работы. Для совместного использования существуют разные механизмы, и при расчёте ёмкости их нужно различать:

  • Partitionable devices позволяют предоставлять части устройства в виде изолированных экземпляров.
  • Consumable capacity описывает измеримые доли ресурса, которые несколько заявок могут получать одновременно.
  • Разделение времени даёт задачам доступ к устройству по очереди. Это отдельный механизм среды выполнения; модель consumable capacity его не описывает.

Планировщик отслеживает выделенные ресурсы. Автоскейлеру для оценки нового узла нужна совместимая модель: сколько заявок он действительно сможет удовлетворить и какие части устройства останутся свободными.

Дробное выделение создаёт фрагментацию. Свободная ёмкость есть, но её остатки могут не подходить под очередной запрос. Минимальный размер и шаг выделения влияют на эти потери. Более мелкое деление позволяет сократить простой по сравнению с выдачей GPU целиком, однако полезность конкретной схемы зависит от размеров заявок.

Распределённая задача ждёт всю группу

Для крупного задания нескольких отдельно запущенных подов бывает недостаточно. Ему требуется одновременное размещение всей группы. Gang scheduling применяет принцип «всё или ничего»: планировщик откладывает запуск, пока не появится возможность разместить достаточное количество участников вместе.

В основном проекте Kubernetes API Workload и PodGroup находятся в статусе бета и по умолчанию отключены. Поддержка групп в планировщике сама по себе не меняет поведение автоскейлера. Тот может продолжать рассматривать ожидающие поды по одному и добавить один-два узла. Если для всей группы этого мало, выделенные мощности будут простаивать.

Связать допуск задания с подготовкой ресурсов помогает provisioning request. При соответствующей настройке проверки допуска Kueue выполняет такую последовательность:

  1. Резервирует квоту для рабочей нагрузки.
  2. Создаёт запрос на мощности для группы подов.
  3. Ждёт подтверждения готовности ресурсов.
  4. Допускает нагрузку к запуску.

Атомарное расширение здесь выполняется в режиме best effort и зависит от поддержки провайдера. Запрос на группу не даёт безусловной гарантии, что вся необходимая мощность появится. Это ограничение нужно учитывать при оценке времени ожидания распределённых заданий.

Зарезервированные мощности должны участвовать в выборе

Для дефицитных ускорителей команды могут резервировать мощности заранее. Автоскейлеру нужно понимать, какие новые узлы смогут использовать уже зарезервированные и оплачиваемые ресурсы.

Иначе решение о расширении опирается на неполную картину доступности. Возможность запустить узел за счёт резерва имеет значение ещё до его создания. Резервирование дополняет требования к топологии и размеру ресурса: подходящую конфигурацию нужно связать с конкретным способом получения мощности.

Что проверять при Pending

Расследование стоит вести по границе между планированием и выделением ресурсов:

  • Совпадают ли требования задачи к GPU, сети и топологии с конфигурацией узла, который собирается добавить автоскейлер?
  • Учитывают ли оба компонента используемые заявки DRA и доли устройств?
  • Нужен ли заданию совместный запуск группы, и запрашиваются ли мощности сразу для неё?
  • Учитывается ли доступный резерв при выборе новых узлов?

Эти проверки помогают отличить нехватку оборудования от ситуации, когда два цикла по-разному определяют подходящую мощность.

Сейчас развитый автоскейлер уже моделирует часть работы планировщика: пытается предсказать размещение подов до запуска узла. После появления узла планировщик принимает решение заново. В SIG-Autoscaling обсуждаются API прямого взаимодействия: показ планировщику потенциально доступных мощностей, передача предпочтений размещения и явный запрос ресурсов. Это предложения по дальнейшему развитию, и рассчитывать на них как на готовую возможность текущей установки нельзя.

Для работающего GPU-кластера практический критерий уже понятен: добавленный узел должен удовлетворять тем же условиям, по которым планировщик допустит задачу к запуску. Счётчик свободных ускорителей такой проверки не заменяет.