Computer Vision в продакшене: как не развалить сервис на миллионах проверок

Computer Vision в demo и CV-сервис в production — разные системы. В demo достаточно модели, которая хорошо классифицирует изображения. В production нужны очередь, мониторинг, контроль качества, ручная проверка спорных случаев и устойчивость к сезонности.

Pipeline важнее одной модели

Рабочая схема обычно выглядит так:

image upload → validation → queue → inference → postprocessing → decision → audit

Каждый этап должен быть измеримым. Если модель ошиблась, нужно понять: проблема в данных, preprocessing, самой модели или правилах postprocessing.

Human-in-the-loop

Не все случаи нужно решать автоматически. Если confidence низкий или изображение подозрительное, лучше отправить его человеку. Это снижает риск критичных ошибок и одновременно собирает данные для дообучения.

Monitoring качества

Нужно мониторить не только latency и errors, но и качество: распределение классов, confidence, долю ручной проверки, drift входных изображений, сезонность и расхождение между моделью и человеком.

Масштабирование

Для больших объёмов важны batching, GPU utilization, очереди и backpressure. Kafka или аналогичная шина помогает сгладить пики. Triton удобен для serving моделей, но требует дисциплины в версиях и метриках.

Итог

Production CV — это инженерная платформа, а не одна нейросеть. Устойчивый сервис сочетает модель, очереди, observability, human-in-the-loop и процесс обновления. Только так можно пройти путь от MVP до миллионов проверок без постоянных пожаров.