Logo Craft Homelab Docs Нейросети Хостинг Обучение Контакты
Трендовые github проекты в нашем телеграм канале. Подпишись →
15 ноября 2026 г.

Кто остановит старый primary при разделении сети

У кластера PostgreSQL две отдельные задачи: выбрать новый primary и прекратить запись на старом. Между ними находится самый опасный участок failover. Если изолированный сервер продолжает принимать транзакции, решение большинства само по себе его не остановит.

В tembo обе задачи выполняет HA-агент на Go. На каждом узле он управляет локальным PostgreSQL, участвует во встроенном Raft и обслуживает клиентские прокси. Внешний etcd или Consul для хранения состояния не требуется. Такая схема сокращает число компонентов, но переносит ответственность за консенсус и остановку базы внутрь молодого проекта.

Что работает на каждом узле

Кластер строится из нечётного числа узлов. Каждый хранит Raft-лог и реплицированное состояние в локальном файле bbolt. Там находятся конфигурация, сведения о текущем primary и история событий. Изменения фиксируются на диске до реакции на них; индекс применения и изменение локального состояния записываются одной транзакцией bbolt.

Внутри агента несколько независимых циклов с периодом около секунды:

  • Watch на лидере опрашивает узлы и проводит переключения;
  • reconcile приводит PostgreSQL к состоянию кластера: останавливает, повышает до primary, восстанавливает;
  • supervise перезапускает упавший PostgreSQL;
  • route обновляет направления клиентских прокси.

Узел предоставляет API и метрики на порту 8001, прокси записи на 5432, прокси чтения со standby на 5434. Сам PostgreSQL слушает 5433. Прокси передают сырой TCP, поэтому аутентификация PostgreSQL и TLS-сессия остаются между клиентом и базой.

Один бинарник служит демоном и CLI. Команды изменения состояния, отправленные любому узлу, перенаправляются на Raft-лидера через HTTP 307. Состав кластера можно менять на ходу через joint consensus.

Пять секунд на потерю кворума, пятнадцать — на замену

Узел считает кворум свежим, если за последние пять секунд он знал лидера Raft и получал ответы от большинства. После потери кворума ближайший тик reconcile останавливает PostgreSQL в режиме immediate. Прокси тоже отказывают клиентам, пока кворум недоступен.

При разделении трёхузлового кластера, где primary A теряет связь с B и C, ожидается такая последовательность:

  1. На A протухает кворум. Примерно через 5–6 секунд работающий агент останавливает локальную базу.
  2. Прокси на B и C убирают A из маршрута после обнаружения его недоступности. Соединения к убранной цели закрываются.
  3. После 15 секунд молчания A лидер выбирает подходящий standby и фиксирует нового primary через Raft.
  4. Выбранный узел проверяет собственный кворум и выполняет pg_ctl promote.

Ожидаемая недоступность записи составляет около 15–20 секунд от последнего живого отчёта primary. Это оценка для случая, когда лидер Raft продолжает работать, большинство доступно и есть подходящая реплика. Если вместе с primary потерян лидер, добавляются выборы и полный период наблюдения нового лидера: суммарно до примерно 30 секунд. При отсутствии кворума или кандидата автоматическое переключение не состоится.

Где заканчивается программный fencing

Остановка primary зависит от исполнения агента. Если заморожен только агент, а PostgreSQL продолжает работать, цикл reconcile выполнить остановку не сможет. Аппаратного STONITH и отдельного watchdog в этой схеме нет.

Дополнительная защита на Linux — Pdeathsig SIGQUIT: при смерти потока-создателя ядро посылает сигнал postmaster. У механизма есть гонки при установке; зависание процесса также отличается от его завершения. Считать этот сигнал полноценной внешней изоляцией узла нельзя.

Для проверки отказов существенна разница между двумя экспериментами. docker compose pause замораживает весь контейнер вместе с PostgreSQL. Такой опыт демонстрирует отказ целого узла. Отдельный SIGSTOP агенту при живой базе проверяет опасный разрыв между управляющим процессом и PostgreSQL. Этот сценарий пока указан среди будущих тестов проекта. Формальной верификации и Jepsen-прогона тоже не было.

Для лаборатории такая граница полезна как конкретный план проверки: отдельно испытать сетевую партицию, потерю процесса и зависание только управляющего агента. Успех одного сценария ничего не говорит о результате остальных.

Порог WAL и сохранность транзакций

При failover агент отбирает работающие standby без флага nofailover. Допустимое отставание от последней известной позиции primary задаёт max-lag-on-failover, по умолчанию это 1 МБ WAL. Затем учитываются приоритет, участие в синхронной репликации и положение WAL.

Один мегабайт здесь — критерий выбора кандидата. Верхнюю границу потерь он не задаёт: primary мог принять новые записи после последнего отчёта и потерять связь до передачи WAL реплике.

Синхронный режим также требует проверки настроек приложения. Сессия с synchronous_commit = local или off обходит ожидание реплики. Уровень remote_write подтверждает запись в ОС standby; при последующем сбое питания это слабее сброса WAL на диск, который требуется при synchronous_commit = on. Для сохранности подтверждённых транзакций повышаемая реплика должна действительно получить соответствующий WAL, а синхронный набор должен обеспечивать нужные подтверждения.

Плановый tembo switchover b устроен иначе. Прокси прекращают принимать клиентов, текущий primary завершается в режиме fast: активные транзакции откатываются, соединения закрываются, выполняется штатное завершение с чекпоинтом. Агент фиксирует shutdown-LSN. Цель повышается после достижения этой позиции. Для такого переключения заявлена сохранность закоммиченных транзакций; операция, не уложившаяся в 60 секунд, отменяется с записью в историю.

Возвращение узла и границы доступа

Старый primary возвращается через pg_rewind и становится standby. Агент по умолчанию включает wal_log_hints; удержанию нужного WAL помогают слот узла и wal_keep_size. После долгого простоя rewind может оказаться невозможен. После десяти неудачных попыток при достижимом primary каталог очищается и реплика клонируется заново. Ручной путь — tembo reinit.

Перед любыми испытаниями нужно ограничить сеть управления. В текущей версии allowlist общий для API, прокси и Raft RPC. Разрешение адресов приложения через pg_hba.conf одновременно расширяет доступ к API. При выключенной API-аутентификации это даёт полный доступ к управлению.

Даже включённая API-аутентификация не защищает /raft/* и /status. TLS с CA проверяет сертификат, но сам по себе не связывает его с конкретным членом кластера. Поэтому API-порт должен оставаться в доверенном сегменте, для межузлового TLS нужна выделенная CA, широкие пользовательские CIDR недопустимы. Пароль суперпользователя между ротациями хранится открытым текстом в bbolt на узлах; интеграция с OpenBao позволяет избежать его записи в эти файлы.

Для homelab tembo интересен возможностью изучить HA целиком: локальный PostgreSQL, консенсус, прокси и восстановление находятся под одним агентом. Переход к рабочим данным потребует собственных испытаний отказов и проверки сетевой изоляции. Самостоятельная реализация Raft, программный fencing и ещё не проверенный сценарий зависшего агента остаются конкретными причинами начать с тестового кластера.