Критерии оценки

Обзор

Критерии оценки (также называемые профилями промптов) определяют, что ИИ ищет при анализе разговора. Они управляют тем, какие аспекты оцениваются и что включается в выходные данные. Разные проекты могут использовать разные профили оценки.

Профили оценки

Client Admin

Aelo предоставляет базовые категории в качестве отправных точек:

Категория	Лучше всего подходит для
Звонок по продажам	Исходящие/входящие телефонные разговоры по продажам
Звонок поддержки	Звонки клиентского сервиса и технической поддержки
Чат по продажам	Текстовые разговоры по продажам (веб-чат, мессенджеры)
Рекламация	Обработка жалоб и звонки с эскалацией

Каждая категория поставляется с предварительно настроенными модулями, оптимизированными для данного типа разговора.

Профили, привязанные к категориям (автоматический выбор)

Client Admin

Aelo автоматически определяет категорию каждого звонка (Покупка, Поддержка, Жалоба и т.д.). Каждая организация получает набор профилей, привязанных к категориям — по одному на каждую категорию, — поэтому каждый разговор анализируется по критериям, настроенным под его тип:

• 10 категорий звонков: Вопрос о продукте, Покупка, Запись/планирование, Поддержка, Биллинг, Онбординг, Жалоба, Отмена, Повторный контакт, Прочее.
• Чаты: определяются по тем же категориям, что и звонки, и анализируются профилем своей категории. Канал влияет только на форму оценки: критерии, применимые лишь к речи (слова-паразиты, перебивания, дикция, ключевые моменты с таймкодами, уведомление о записи), к чатам не применяются.
• Пропущенные и короткие звонки не анализируются, поэтому профилей для них нет. То же самое — для чата без ответа оператора или с меньшим числом реальных сообщений, чем в настройке проекта «Мин. сообщений в чате» (по умолчанию 4).

При анализе записи профиль выбирается в следующем порядке:

1. Профиль категории — профиль организации, привязанный к определённой категории звонка.
2. Профиль проекта — профиль, привязанный к проекту (запасной вариант, когда привязанного профиля нет).
3. Профиль по умолчанию — используется, когда не настроено ни то, ни другое.

Управление привязками

Назначение, изменение и снятие привязки категории происходит только в матрице: Настройка анализа → Категории и критерии → вкладка «Категории». Каждая строка матрицы — категория с текущим привязанным профилем (или «Базовый профиль», если привязки нет):

• Назначить — выбрать профиль для категории.
• Восстановить стандартный — заново создать преднастроенный профиль категории после удаления привязки.
• Привязка, уже занятая другим профилем, отклоняется («Эта привязка уже занята другим профилем»).

В самом редакторе профиля (вкладка «Профили», бывший конструктор промптов) привязка показывается только для просмотра — рядом с ней ссылка «Привязка меняется в «Категориях и критериях»», ведущая обратно в матрицу.

У каждой категории может быть не более одного привязанного профиля на организацию.

Фиксированная конфигурация анализа

Client Admin

Привязанные к категориям профили удобны, но некоторым проектам нужен один и тот же профиль независимо от того, какую категорию определит ИИ, — например, проект, полностью посвящённый одному сценарию продаж. Для этого служит закрепление: оно выводит проект из-под автовыбора организации по категориям.

Откройте Проекты → выберите проект → Настройки → вкладка «Качество» → Фиксированная конфигурация анализа:

• Закрепить профиль промпта — всегда использовать выбранный профиль промпта проекта для каждого анализа в этом проекте, независимо от определённой категории звонка. Переключателя для скриптов нет, и он не нужен: назначенный проекту скрипт и так побеждает привязку по категории (см. порядок выбора ниже).

Переключатель требует, чтобы у проекта уже был выбран профиль промпта — он остаётся неактивным с подсказкой, пока профиль не выбран выше. Закрепление без выбора отклоняется.

Полный порядок разрешения

С учётом закрепления профиль промпта для записи выбирается в следующем порядке:

1. Явное переопределение — ручной выбор при переанализе конкретной записи; всегда побеждает.
2. Закреплённый профиль проекта — используется, если включён переключатель Закрепить профиль промпта.
3. Сопоставление по стадии сделки — для организаций с включённым выбором скоркарда по стадии сделки и подключённым Bitrix24: точное сопоставление для текущей стадии связанной сделки, а при его отсутствии — сопоставление по семантической фазе стадии. Полностью пропускается, если звонок не связан со сделкой Bitrix24.
4. Профиль, привязанный к категории — профиль организации, привязанный к определённой категории звонка.
5. Профиль проекта — профиль, привязанный к проекту (запасной вариант, когда ничего из вышеперечисленного не применяется).
6. Профиль по умолчанию — используется, когда ничего из вышеперечисленного не настроено.

Выбор скрипта для оценки соответствия следует похожей логике, но без шагов стадии сделки и переопределения (при переанализе нельзя выбрать скрипт вручную, а оценка соответствия скрипту не учитывает стадию сделки) — и, в отличие от профилей, проект стоит выше привязки: скрипт проекта → скрипт, привязанный к категории → без скрипта (оценка соответствия для этого разговора пропускается). Скрипт, назначенный проекту, — осознанный выбор, поэтому он побеждает; привязки по категориям работают там, где у проекта своего скрипта нет.

Что важно знать

• Деактивация закреплённого профиля не гарантирует его открепление. Если вы деактивируете профиль, который сейчас закреплён, шаг закрепления при следующем анализе пропускается — но если ни одна привязка к категории не подошла для этого звонка, шаг «профиль проекта» может подхватить тот же (неактивный) профиль. Если вы хотите, чтобы проект перестал использовать профиль, открепите его явно, а не деактивируйте.
• Оценку соответствия у проекта выключает ровно один переключатель — «Включить оценку соответствия правилам» во вкладке «Качество». Выключен — шаг пропускается независимо от любых привязок.
• Снять скрипт с проекта или деактивировать его — значит поменять, КАКОЙ скрипт применяется, а не отключить оценку. И то и другое переводит выбор на скрипт, привязанный к категории: если у категории разговора привязка есть, он всё равно будет оценён — просто уже по ней. Деактивация вдобавок выходит за пределы проекта: скрипт принадлежит организации, поэтому перестаёт применяться всюду, где назначен, и в своей привязке тоже.
• Удаление закреплённого профиля тоже разрешается корректно: привязка по категории → профиль проекта → по умолчанию.
• Скрипт, не назначенный никуда, не применяется никогда — и список это показывает. Скрипт без привязки к категории, не являющийся скриптом по умолчанию ни в одном активном проекте, не совпадает ни с одним шагом каскада, поэтому оценка соответствия пропускается для всех разговоров. В разделе Правила скриптов такой скрипт несёт маркер «Не назначен»; у остальных видно привязанную категорию и проекты, которые их используют. Прикрепление, которое не может сработать — проект использует по умолчанию другой скрипт или проект неактивен, — показано приглушённо и объясняет себя подсказкой.

Выбор скоркарда по стадии сделки

Client Admin

Для организаций, подключённых к Bitrix24, Aelo может выбирать скоркард оценки по текущей стадии CRM-воронки связанной сделки — в дополнение к определённой категории звонка. Это полезно, когда, например, звонок на этапе знакомства и звонок на этапе закрытия сделки в одной категории требуют разных критериев оценки. Функция применяется к звонкам, связанным со сделкой Bitrix24; лиды в этой версии не поддерживаются.

Сопоставление по стадии сделки в порядке разрешения выше стоит между закреплённым профилем проекта и профилем, привязанным к категории: сначала побеждает точное сопоставление стадии, а если для стадии нет точного сопоставления — сопоставление по её семантической фазе (на практике автоматически определяемая фаза отражает статус сделки — выиграна/проиграна; см. «Фазы сделки» ниже). Шаг полностью пропускается — сразу переходя к профилю, привязанному к категории, — для чатов, звонков, не связанных со сделкой Bitrix24, и организаций, которые не подключили Bitrix24 или не включили эту функцию.

Вкладка «Стадии сделок»

Client Admin

Откройте Настройка анализа → Категории и критерии → вкладка «Стадии сделок», чтобы настроить сопоставление:

• Фазы сделки — задайте профиль оценки по умолчанию для каждой из 7 укрупнённых семантических фаз (Знакомство, Квалификация, Предложение, Переговоры, Закрытие сделки, Постпродажное обслуживание, Другое). Эти значения по умолчанию питают кнопку «Принять предложенные», которая превращает их в точные привязки к стадиям, — именно так вступают в силу фазы «Знакомство», «Квалификация», «Предложение», «Переговоры» и «Закрытие сделки». А «Постпродажное обслуживание» и «Другое» дополнительно применяются автоматически в момент анализа — как запасной вариант, определяемый напрямую по статусу сделки (выиграна/проиграна), когда у стадии нет точного сопоставления.
• Воронки и стадии — привяжите конкретную стадию CRM-воронки к профилю; каждая стадия показывает предложенную фазу (подсказку по ключевым словам, а не автоматическую привязку), чтобы ускорить сопоставление. Точное сопоставление всегда имеет приоритет над фазой по умолчанию.
• Принять предложенные — для каждой несопоставленной стадии с пригодной предложенной фазой одним действием создаёт точную привязку к профилю по умолчанию этой фазы. Предложения никогда не применяются автоматически — вы всегда сами решаете их принять.

Список «Воронки и стадии» требует активного подключения Bitrix24; без него вкладка предложит сначала подключить источник CRM.

На панели анализа

Когда звонок оценён по сопоставлению стадии сделки, на панели анализа отображается стадия CRM и подпись «Оценено по скоркарду [профиль]», чтобы было видно, какое сопоставление применилось. Это видно в отдельном приложении Aelo; во встроенной панели Bitrix24 пока не отображается.

Модули анализа

Каждый профиль состоит из переключаемых модулей анализа. Включайте или отключайте модули для управления тем, что ИИ оценивает:

Модуль «Резюме»

Формирует высокоуровневые метрики:

• Оценка качества (0–100)
• Вероятность сделки (0–100%)
• Флаг внимания — отмечает разговоры, требующие ручного просмотра

Модуль «Содержание»

Извлекает содержимое разговора:

• Темы — основные предметы обсуждения
• Ключевые слова — важные термины и фразы
• Ключевые моменты — критические события (возражение, обсуждение цены, достигнутое соглашение)
• Резюме — обзор разговора на естественном языке

Модуль «Речь»

Оценивает паттерны речи:

• Слова-паразиты — частота «эм», «ну», «типа»
• Неуверенность агента — сомнение агента в собственной цене, сроке или обещании (не пересказ слов клиента, не поручения, не оценки). Список признаков встроен в анализ и не настраивается
• Запрещённые слова — слова из списка проекта, которых в разговоре быть не должно. Список задаётся в настройках проекта → «Качество»; учитываются словоформы, у каждого срабатывания видно говорящего и цитату. Пустой список — метрика не считается
• Обязательные фразы — требуемые фразы (например, заявления о комплаенсе)
• Нецензурная лексика — обнаружение неприемлемых выражений
• Чёткость речи — общая оценка разборчивости речи

Модуль «Диалог»

Оценивает структуру разговора:

• Приветствие — правильное начало и представление
• Квалификация BANT — оценка бюджета, полномочий, потребности, сроков
• Работа с возражениями — как агент реагирует на возражения клиента
• Завершение — эффективное окончание разговора и следующие шаги

Модуль «Эмоции»

Анализирует эмоциональные аспекты:

• Тональность — позитивная, нейтральная, негативная классификация
• Вежливость — обходительность и профессионализм агента
• Перебивания — частота и обработка перебиваний спикеров

Модуль «Комплаенс»

Проверяет соблюдение нормативных требований и внутренних политик:

• Чёткость речи — соответствие минимальным стандартам чёткости
• Предупреждение о записи — обязательное уведомление в начале разговора
• Полнота CRM — оценивается, только если CRM подключена и сбор идентифицирующих данных клиента действительно был задачей этого звонка (новый клиент, ещё не привязанный ни к одной записи); звонки по существующей сделке или известному контакту пропускаются, а не оцениваются низко — как и звонки организаций без интеграции с CRM, где полноту попросту не с чем сверять. Если применимо, проверяется, что зафиксированы имя клиента/контактного лица и контактные данные (телефон или email), а название компании — только для корпоративных клиентов, поскольку у частного лица его нет. Это анализируется и отображается как отдельный индикатор комплаенса и не влияет на оценку качества.

Модуль «Рекомендации»

Формирует коучинговые выходные данные:

• Сильные стороны — что агент сделал хорошо
• Улучшения — конкретные области для роста с практическими предложениями

Настройка профиля

1. Откройте Настройка анализа → Категории и критерии → вкладка «Профили» в главном меню (бывший «Конструктор промптов»).
2. Выберите базовую категорию или создайте пользовательский профиль.
3. Включайте или отключайте модули по необходимости.
4. Изучите панель Живого предпросмотра справа:
   • Оценочное количество токенов (влияет на стоимость обработки)
   • Пример вывода — что ИИ вернёт для типичного разговора
5. Сохраните профиль.

Живой предпросмотр

Панель предпросмотра справа обновляется в реальном времени при изменении настроек:

• Количество токенов — оценочные токены, потребляемые при каждом анализе (напрямую влияет на стоимость)
• Оценка стоимости — приблизительная стоимость одного анализа для вашего LLM-провайдера
• Пример вывода — образец результата анализа

Используйте предпросмотр для поиска правильного баланса между глубиной анализа и стоимостью.

Область предпросмотра

По умолчанию предпросмотр считается на уровне организации: правила проекта в него не входят. В панели инструментов можно выбрать проект — тогда предпросмотр применяет настройки этого проекта: список запрещённых слов, язык отчёта, название и описание проекта. Это те входы промпта, которые задаются в проекте; данные, которые рабочий анализ подтягивает по ходу (поля CRM для автозаполнения, индивидуальная конфигурация анализа), в предпросмотр не входят.

Привязка профилей к проектам

Чтобы назначить профиль оценки проекту:

1. Перейдите в Проекты > выберите проект > Настройки.
2. Найдите раздел Профиль промптов.
3. Выберите нужный профиль оценки из выпадающего списка.
4. Сохраните.

Все новые записи в этом проекте будут использовать выбранный профиль. Существующие записи не затрагиваются, если не выполнить их переанализ вручную.

Профиль проекта работает как запасной вариант: он применяется, когда для определённой категории разговора нет привязанного профиля (см. Профили, привязанные к категориям) — если только проект не закрепил свой собственный профиль, что всегда имеет приоритет над привязками по категориям.

Доступ по ролям

Функция	Клиент	Администратор	Супервайзер	Агент
Просмотр профилей	✅	✅	❌	❌
Создание/редактирование	✅	✅	❌	❌
Удаление профилей	✅	✅	❌	❌
Привязка к проектам	✅	✅	❌	❌
Просмотр живого предпросмотра	✅	✅	❌	❌

Советы и рекомендации

• Начинайте с базовой категории и настраивайте — не создавайте с нуля.
• Включайте только нужные модули. Больше модулей = выше стоимость анализа и дольше обработка.
• Используйте Живой предпросмотр для оценки стоимости перед развёртыванием нового профиля.
• Создавайте разные профили для разных типов разговоров (например, отдельно для продаж, отдельно для поддержки).
• После изменения профиля переанализируйте несколько последних записей, чтобы убедиться, что результаты соответствуют ожиданиям.
• Модуль «Комплаенс» рекомендуется для регулируемых отраслей — он обеспечивает последовательную проверку предупреждений о записи и обязательных фраз.