Трендовые github проекты в нашем телеграм канале. Подпишись → Большой образ на маленьком VPS: блочное хранилище поверх S3
На VPS осталось 50 ГБ свободного места, а размер нужного Docker-образа — 76 ГБ. Сам сервер стоит €7 в месяц: 4 vCPU, 8 ГБ RAM и 120 ГБ NVMe. Переход на тариф с диском 240 ГБ поднимает цену до €30. При этом тот же провайдер предлагает 250 ГБ S3 за €4 в месяц с доступом по внутренней сети.
Для такого сценария есть схема с s3backer: объектное хранилище используется как основа виртуального блочного устройства, поверх которого создаётся ext4. Docker получает привычную файловую систему Linux. Сетевую работу с S3 берёт на себя отдельный слой под ней.
Почему rclone mount создаёт проблемы для overlay2
У rclone есть FUSE-монтирование и локальный VFS-кеш. Это удобный способ представить содержимое бакета как каталог, но Docker с драйвером overlay2 предъявляет к файловой системе дополнительные требования. Ему нужны атомарный rename, корректные chmod и chown, жёсткие ссылки и расширенные атрибуты.
Наличие точки монтирования само по себе этих свойств не гарантирует. Через rclone mount нельзя рассчитывать на весь набор операций, который нужен overlay2. Локальный кеш, ограниченный параметром --vfs-cache-max-size, помогает с повторными обращениями к данным; совместимость файловых операций от его размера не меняется.
Поэтому перенос каталога данных Docker на произвольный FUSE-маунт S3 может закончиться проблемами уже на уровне семантики файловой системы. До оценки скорости здесь нужно проверить, какие операции поддерживает выбранный слой хранения.
Как устроена связка s3backer и ext4
s3backer предоставляет виртуальное блочное хранилище. Поверх него можно создать ext4, которая и обслуживает файловые операции Docker. Дальше обращения к блокам преобразуются в запросы к объектному хранилищу.
Путь данных выглядит так:
Docker / overlay2
↓
ext4
↓
s3backer + локальный кеш
↓
S3 провайдера
В рассматриваемой конфигурации хранилище подключено к /mnt/s3, а Docker перенастроен на размещение там образов, контейнеров и томов. Под локальный кеш на SSD выделено 20 ГБ. Часто используемые данные остаются рядом с Docker, поэтому повторное чтение может обходиться без обращения к S3.
Размер кеша здесь существенно меньше объёма бакета: 20 ГБ против 250 ГБ. Такая схема рассчитана на то, что активно читается лишь часть размещённых данных. Когда нужных блоков в кеше нет, скорость доступа снова зависит от сети и хранилища.
Отдельная база метаданных для этой связки не требуется. За файловую структуру отвечает ext4, а s3backer занимается блочным доступом к S3. Это сокращает число компонентов, которые приходится обслуживать на одиночном VPS.
Что даёт локальный кеш и где остаются задержки
Большие Docker-образы подходят для эксперимента с такой схемой, если после скачивания они преимущественно читаются. Повторные обращения к закешированным данным обслуживаются локальным SSD. Доступ к S3 по внутренней сети провайдера также делает этот сценарий привлекательнее, чем подключение удалённого хранилища через внешний канал.
Однако кеш не устраняет зависимость от S3. Случайные чтения и записи могут сильно зависеть от задержек объектного хранилища. Потеря соединения способна остановить работу контейнеров, а серьёзный сбой несёт риск повреждения файловой системы.
Для описанной конфигурации нет замеров IOPS, пропускной способности или задержек под нагрузкой. Сумма €4 за дополнительные 250 ГБ характеризует стоимость ёмкости у конкретного провайдера. По ней нельзя судить о скорости запуска контейнера или поведении приложения при интенсивной записи.
Перенос томов требует особенно внимательного выбора нагрузки. В одной директории данных Docker могут оказаться и скачиваемые заново образы, и состояние приложения. Для критичных баз данных эта схема слишком рискованна: потеря доступа к хранилищу и восстановление ext4 становятся частью эксплуатационных рисков базы.
Какие ещё варианты есть для S3
Выбор зависит от того, сколько серверов используют данные и какие дополнительные компоненты допустимы на VPS.
| Решение | Устройство хранения | Что придётся учитывать |
|---|---|---|
| s3backer + ext4 | Блочный слой поверх S3, обычная ext4 сверху | Сетевые задержки, настройка, риск повреждения ФС |
| rclone mount | Файловый доступ к S3 через FUSE | Ограничения POSIX-операций для overlay2 |
| s3fs | FUSE-файловая система поверх S3 | Ограничения POSIX и медленные операции с метаданными |
| JuiceFS | Распределённая файловая система поверх S3 | Отдельное хранилище метаданных |
| S3QL | Файловая система со сжатием и дедупликацией | Расход CPU и процедуры восстановления метаданных |
JuiceFS поддерживает POSIX, кеширование и работу нескольких серверов. Для метаданных можно использовать Redis, PostgreSQL, MySQL или локальный SQLite. Даже вариант с SQLite оставляет задачу сохранности и резервного копирования базы метаданных. Для кластера эти возможности полезны; на одном VPS появляется дополнительный объект обслуживания.
S3QL поддерживает локальный кеш, сжатие, дедупликацию и шифрование. Метаданные хранятся в SQLite и синхронизируются с объектным хранилищем, отдельный сервер базы для них не нужен. Дедупликация требует вычисления хешей, сжатие расходует процессорное время. После сбоев могут понадобиться специальные утилиты проверки и восстановления метаданных.
У s3backer в этом сценарии более узкая задача: дать ext4 блочное хранилище поверх S3. Возможности распределённой файловой системы здесь остаются за рамками выбранной конструкции.
Для какой нагрузки имеет смысл пробовать
Связка s3backer и ext4 заслуживает проверки на одиночном VPS, где основное место занимают большие Docker-образы с преимущественным чтением. Условия такого эксперимента — дешёвый S3 рядом с сервером, место на SSD под кеш и допустимый простой при проблемах с сетью.
Если в томах лежат критичные базы данных, выбирать эту схему ради экономии на диске опасно. Если нужны общий доступ с нескольких серверов и отдельное управление метаданными, стоит оценивать возможности JuiceFS. Для одиночного сервера с упором на сжатие, дедупликацию и шифрование имеет смысл отдельно изучить S3QL и его процедуры восстановления.
Цена в этом примере складывается из €7 за VPS и €4 за S3 — €11 в месяц вместо тарифа за €30. За эту разницу приходится самостоятельно обслуживать сетевой слой хранения, кеш и файловую систему. Принимать такое решение можно после проверки своей нагрузки и с пониманием, какие данные допустимо потерять или восстановить при сбое.