ModelOps: жизненный цикл ML-модели после первого успешного deploy

ML-модель не заканчивается на deploy. После релиза начинаются monitoring, drift, обновления, rollback, отчётность и контроль качества. ModelOps описывает практики, которые превращают модель из research-артефакта в управляемый production-компонент.

Registry и версии

Каждая модель должна иметь версию, артефакты, метрики обучения, параметры, датасет и статус. Без registry невозможно понять, какая модель сейчас работает и почему её заменили.

Batch и online scoring

Batch scoring подходит для периодических расчётов: nightly jobs, отчёты, сегментация. Online scoring нужен для запросов в реальном времени. У этих режимов разные требования к latency, SLA и observability.

Monitoring

Нужно следить за latency и errors, но этого мало. Важны drift входных данных, распределение предсказаний, бизнес-метрики и качество на размеченной выборке.

Retraining

Переобучение должно быть контролируемым: pipeline, evaluation, approval и rollback. Автоматическое переобучение без проверки может ухудшить production быстрее, чем ручной процесс.

Итог

ModelOps — это эксплуатация моделей как software-систем. Версии, метрики, approvals, мониторинг и rollback делают ML предсказуемым. Без них модель остаётся хрупкой demo, даже если работает в production.