Agent harness: почему обвязка вокруг LLM влияет на качество не меньше модели

Когда говорят об AI-агентах, часто сравнивают только модели. Но в реальном приложении модель работает внутри harness: получает задачу, вызывает tools, читает файлы, планирует шаги, обрабатывает ошибки и завершает выполнение. Разная обвязка может радикально изменить результат на одной и той же модели.

Что входит в harness

Harness включает prompt templates, tool calling, память, контекст, обработку ошибок, планирование, ограничения действий и логирование шагов. Если один элемент сделан плохо, сильная модель будет выглядеть слабой.

Почему нужен benchmark

Сравнивать harness вручную сложно. Нужны одинаковые задачи, одинаковые условия и измеримые критерии: success rate, число шагов, стоимость, время, ошибки tools, качество результата.

Типичные поломки

Агент может не завершать задачу, повторять один tool call, терять файл, игнорировать ошибку, выдавать результат без проверки или превышать лимит токенов.

Итог

Выбор AI-стека — это выбор связки модель + harness + tools + evals. Без benchmark легко принять красивую demo за production-ready систему. Обвязку нужно тестировать так же внимательно, как модель.