Exam AI-платформа: архитектура корпоративного сервиса для аттестации

Корпоративная экзаменационная платформа кажется простой: вопросы, ответы, баллы, отчёт. Но как только система становится внутренним сервисом для разных команд, появляются multi-tenant, роли, дубли вопросов, аудит, генерация заданий, античит, интеграции и требования к качеству данных. AI добавляет полезные возможности, но также создаёт новые риски.

Exam AI-подход интересен тем, что соединяет классическую платформу аттестации с LLM-инструментами. Модель может помогать генерировать вопросы, объяснять ответы, собирать варианты тестов и адаптировать сложность. Но production-система должна держаться не на модели, а на архитектуре.

Основные сущности

Минимальная модель данных включает:

• организации или tenants;
• команды и группы пользователей;
• роли;
• экзамены;
• вопросы;
• варианты ответов;
• попытки прохождения;
• результаты;
• аудит действий;
• настройки генерации.

Если сразу не разделить tenants, позже будет сложно безопасно изолировать данные. Особенно если платформой пользуются разные подразделения или внешние клиенты.

Проблема дублей

В экзаменационных системах быстро появляются похожие вопросы. Разные авторы формулируют одно и то же, AI генерирует вариации, старые тесты копируются в новые. В итоге база раздувается, качество падает, а пользователи видят повторяющиеся задания.

Дубли можно ловить несколькими способами:

• нормализация текста;
• embedding similarity;
• ручная модерация;
• проверка по теме и сложности;
• связь вопроса с competency map;
• статус deprecated для старых версий.

Важно не удалять всё автоматически. Иногда похожие вопросы проверяют разные нюансы. Нужен workflow подтверждения.

Где помогает AI

LLM полезна для черновиков и вспомогательных операций:

• генерация вопросов по теме;
• создание distractors для multiple choice;
• объяснение правильного ответа;
• классификация по уровню сложности;
• поиск похожих вопросов;
• подготовка персонального плана обучения;
• анализ ошибок группы.

Но модель не должна без проверки становиться источником истины. Финальные вопросы, особенно для обязательной аттестации, должны проходить review экспертом.

Multi-tenant и права

Корпоративная платформа должна чётко отвечать: кто видит какие экзамены и результаты. Типовые роли:

• администратор платформы;
• владелец tenant;
• автор вопросов;
• ревьюер;
• экзаменатор;
• участник;
• наблюдатель для отчётов.

Ошибки в правах здесь чувствительны. Результаты аттестации могут влиять на карьеру, доступы и compliance. Поэтому нужен audit trail: кто создал вопрос, кто изменил, кто назначил экзамен, кто смотрел результаты.

Античит и честность

AI делает cheating проще: пользователь может отправить вопрос в модель и получить ответ. Полностью запретить это трудно, особенно при удалённом прохождении. Поэтому стоит проектировать экзамены так, чтобы они проверяли понимание, а не только поиск определения.

Практики:

• randomization вопросов;
• ограничение времени;
• вариативные задания;
• практические кейсы;
• pool вопросов по компетенциям;
• разные версии одного экзамена;
• логирование подозрительного поведения;
• устные или практические follow-up для важных проверок.

Observability и эксплуатация

Exam AI — это не только frontend и модель. Нужны метрики:

• время генерации вопросов;
• ошибки LLM API;
• стоимость токенов;
• latency прохождения;
• частота дублей;
• качество вопросов по отзывам;
• процент успешных попыток;
• проблемы авторизации.

Без наблюдаемости платформа превращается в чёрный ящик: непонятно, где модель помогает, а где ухудшает процесс.

Итог

AI-платформа для экзаменов — это прежде всего информационная система с правами, аудитом, качеством данных и workflow. LLM может ускорить генерацию и анализ, но не заменяет методологию аттестации и экспертную проверку.

Хорошая архитектура должна изолировать tenants, контролировать дубли, хранить историю изменений и давать понятные инструменты ревью. Тогда AI становится помощником, а не источником неконтролируемых вопросов.