15. Метрики и аналитика

Навигация: Назад: Эпики и дорожная карта | Далее: Маркетинг и GTM

Оглавление

• Оценка эффективности и аналитика
• Метрики продукта (Product-level KPIs)
• Метрики ИИ
• Метрики операторов
• Метрики обращений
• Автоматизированные отчёты
• Итог

Оценка эффективности и аналитика

Аналитика — центральная часть SmartSupport. Она позволяет: - понять, как работает система, - где проваливается ИИ, - где нужно усилить базу знаний, - какие проблемы волнуют граждан, - насколько эффективно работают операторы и каналы, - снижать социальную напряжённость за счёт раннего выявления проблем.

SmartSupport собирает и агрегирует данные из всех каналов: Telegram, Max, Web-чат, Web-форма, Email, соцсети и Social Monitoring.

Метрики продукта (Product-level KPIs)

Ключевые показатели, отражающие состояние SmartSupport.

1. Auto-Resolution Rate (главная метрика продукта)
   Процент обращений, которые ИИ обработал полностью без участия оператора.
2. высокий → продукт работает эффективно;
3. низкий → проблемы с БЗ, RAG, агентами.
4. Цель MVP: 20–35%
5. Цель v1.0: 40–55%
6. Цель v2.0: 60–75%

7. SmartSupport 2.0: 80–90%

8. RAG Hit-Rate
   Доля обращений, где RAG-поиск нашёл релевантную информацию.

9. отражает качество БЗ и embeddings;
10. критически важная метрика.

11. Цель: ≥ 85%.

12. Среднее время ответа (Avg Response Time)

13. важно для опыта пользователя; особенно критично в web-чате.

14. Цель: < 3 сек для автоответов; < 60 сек общая задержка с оператором.

15. Ошибки по каналам
    Ошибки интеграции Max/Telegram/Web-форм/Email — индикатор стабильности.

16. Уровень использования каналов
    Процент обращений: Max, Telegram, Web-форма, Web-чат, Email, соцсети, Social Monitoring (пассивные сигналы), API.

17. SLA выполнения
    Для бизнес-клиентов и муниципалитетов: время реакции, время закрытия, время выполнения задач исполнителей.

18. Качество базы знаний
    Метрика KB Curator Agent: сколько обращений “упирается” в отсутствие статьи; какие категории недополнены; сколько статей устарели.

Метрики ИИ

ИИ в SmartSupport измеряется по множеству критериев.

1. AI Confidence Score
   При низком значении: ИИ уточняет данные, переводит обращение оператору или предлагает создать статью БЗ.

2. Judge Score (оценка качества)
   Judge Agent оценивает корректность, соответствие БЗ, отсутствие галлюцинаций, корректность безопасности, тональность.

3. Intent Classification Accuracy
   Точность определения тематики обращения; отражает качество Classification Agent и необходимость дообучения или улучшения БЗ.

4. NER Accuracy (адреса, объекты, категории)
   Правильно ли ИИ вытягивает адрес, объект инфраструктуры, категорию проблемы, ФИО (маскирует), организацию.

5. RAG Quality Metrics

6. top-k accuracy
7. recall@k
8. precision@k
9. rerank score

10. coverage БЗ

11. AI Suggestion Acceptance Rate
    Как часто оператор принимает подсказку ИИ. Цель: ≥ 70% в v1.0.

12. Social Monitoring Accuracy
    Сравнение данных из пабликов с реальными обращениями.

Метрики операторов

Система оценивает процесс и нагрузку: 1. Среднее время первой реакции — скорость включения оператора.
2. Время обработки обращения — длительность до закрытия.
3. Процент обращений, где оператор меняет ответ ИИ (высокий → проблема в ИИ или БЗ).
4. Нагрузка оператора — количество обращений в смену, пиковые часы, сложность (по Judge Score).
5. Соблюдение SLA — критично для муниципальных структур.

Метрики обращений

Аналитика проблем граждан: 1. Количество обращений по категориям (ЖКХ, дороги, освещение, соцуслуги, образование, медицина, благоустройство, транспорт и др.).
2. Геоаналитика: карта обращений, горячие точки, повторяющиеся проблемы.
3. Оценка тональности: Judge Agent и Social Monitoring.
4. Повторяемость обращений: если 10 обращений → триггер для муниципалитета.
5. Связанные обращения: кластеризация по темам.
6. Динамика обращаемости: по дням, неделям, месяцам.

Автоматизированные отчёты

SmartSupport формирует готовые отчёты: 1. Отчёт для руководителей (раз в месяц): сколько обработано; доля автоответов; эффективность ИИ; проблемные темы; сравнение по районам; Social Monitoring Highlights; рекомендации; достижение SLA.
2. Отчёт для Knowledge Manager: статьи для обновления; пробелы в БЗ; темы с низкой уверенностью ИИ; предложения по автообогащению БЗ; отчёт по качеству RAG.
3. Отчёт по каналам: нагрузка Max/Telegram/Web; отказоустойчивость; ошибки интеграции; скорость ответа.
4. Отчёт по Social Monitoring: суммаризация локальных обсуждений; карты проблем; тревожные сигналы; темы, вызывающие социальное напряжение.
5. Отчёт по эффективности операторов: аналитика процесса без персональной критики.
6. Отчёт по ИИ: auto-resolution; confidence score; judge score; эффективность цепочек агентов; рекомендации по улучшению.

Итог

Блок аналитики SmartSupport обеспечивает: - прозрачность работы всей системы, - улучшение ИИ и БЗ, - контроль работы операторов, - аналитику проблем граждан, - отчётность для муниципалитетов, - раннее выявление социальных проблем, - управление качеством и масштабированием.

Аналитика — это не дополнительная опция, а ядро платформы, через которое SmartSupport развивается и становится автономнее.