Перейти к содержимому

Профили оценки

Обзор

Профили оценки (раньше — профили промптов) определяют, что ИИ ищет при анализе разговора. Они управляют тем, какие аспекты оцениваются и что включается в выходные данные. Разные проекты могут использовать разные профили оценки.

Это не критерии. Профиль — это набор метрик, по которому Aelo оценивает целую категорию разговоров. Вопросы к каждому разговору (да/нет, оценка или вариант ответа) — отдельная функция, см. Критерии.

Профили оценки

Owner Admin

Aelo предоставляет базовые категории в качестве отправных точек:

КатегорияЛучше всего подходит для
Продажный звонокИсходящие/входящие телефонные разговоры по продажам
Звонок в поддержкуЗвонки клиентского сервиса и технической поддержки
Продажный чатТекстовые разговоры по продажам (веб-чат, мессенджеры)
ЖалобаОбработка жалоб и звонки с эскалацией

Базовая категория выбирает встроенные разобранные примеры, которые видит модель, и модули, с которыми начинается новый профиль. Для чатов всегда используется набор примеров «Продажный чат» — какой бы ни была базовая категория профиля.

Профили, привязанные к категориям (автоматический выбор)

Owner Admin

Aelo автоматически определяет категорию каждого звонка (Покупка, Поддержка, Жалоба и т.д.). Каждая организация получает набор профилей, привязанных к категориям — по одному на каждую категорию, — поэтому каждый разговор анализируется по метрикам, настроенным под его тип:

  • 10 категорий звонков: Вопрос о продукте, Покупка, Запись/планирование, Поддержка, Биллинг, Онбординг, Жалоба, Отмена, Повторный контакт, Прочее.
  • Чаты: определяются по тем же категориям, что и звонки, и анализируются профилем своей категории. Канал меняет и то, что оценивается (а при выборе профиля чат пропускает шаг стадии сделки): метрики, применимые лишь к речи (слова-паразиты, перебивания, дикция, ключевые моменты с таймкодами), к чатам не применяются, а калибруется чат на встроенных примерах «Продажного чата» — какой бы ни была базовая категория его профиля.
  • Пропущенные и короткие звонки не анализируются, поэтому профилей для них нет. То же самое — для чата без ответа оператора или с меньшим числом реальных сообщений, чем в настройке проекта «Мин. сообщений в чате» (по умолчанию 4).

При анализе записи профиль выбирается в заданном порядке, который по шагам описан в разделе Полный порядок разрешения ниже.

Управление привязками

Назначение, изменение и снятие привязки категории происходит только в матрице: Настройка анализа → Категории и профили → вкладка «Категории». Каждая строка матрицы — категория с текущим привязанным профилем (или «Базовый профиль», если привязки нет):

  • Назначить — выбрать профиль для категории.
  • Восстановить стандартный — заново создать преднастроенный профиль категории после удаления привязки.
  • Привязка, уже занятая другим профилем, отклоняется («Эта привязка уже занята другим профилем»).

В самом редакторе профиля (вкладка «Профили», бывший конструктор промптов) привязка показывается только для просмотра — рядом с ней ссылка «Привязка меняется на вкладке «Категории»», ведущая обратно в матрицу.

У каждой категории может быть не более одного привязанного профиля на организацию.

Фиксированная конфигурация анализа

Owner Admin

Привязанные к категориям профили удобны, но некоторым проектам нужен один и тот же профиль независимо от того, какую категорию определит ИИ, — например, проект, полностью посвящённый одному сценарию продаж. Для этого служит закрепление: оно выводит проект из-под автовыбора организации по категориям.

Откройте Проекты → выберите проект → Настройки → вкладка «Качество» → Фиксированная конфигурация анализа:

  • Закрепить профиль промпта — всегда использовать выбранный профиль промпта проекта для каждого анализа в этом проекте, независимо от определённой категории звонка. Переключателя для скриптов нет, и он не нужен: назначенный проекту скрипт и так побеждает привязку по категории (см. порядок выбора ниже).

Переключатель требует, чтобы у проекта уже был выбран профиль промпта — он остаётся неактивным с подсказкой, пока профиль не выбран выше. Закрепление без выбора отклоняется.

Полный порядок разрешения

С учётом закрепления профиль промпта для записи выбирается в следующем порядке:

  1. Явное переопределение — ручной выбор при переанализе конкретной записи; всегда побеждает.
  2. Закреплённый профиль проекта — используется, если включён переключатель Закрепить профиль промпта.
  3. Сопоставление по стадии сделки — для организаций с включённым выбором скоркарда по стадии сделки и подключённым Bitrix24 или Uspacy: точное сопоставление для текущей стадии связанной сделки, а при его отсутствии — сопоставление по семантической фазе стадии. Полностью пропускается, если звонок не связан со сделкой Bitrix24 или Uspacy.
  4. Профиль, привязанный к категории — профиль организации, привязанный к определённой категории звонка.
  5. Профиль проекта — профиль, привязанный к проекту (запасной вариант, когда ничего из вышеперечисленного не применяется).
  6. Профиль по умолчанию — используется, когда ничего из вышеперечисленного не настроено.

Выбор скрипта для оценки соответствия следует похожей логике, но без шагов стадии сделки и переопределения (при переанализе нельзя выбрать скрипт вручную, а оценка соответствия скрипту не учитывает стадию сделки) — и, в отличие от профилей, проект стоит выше привязки: скрипт проекта → скрипт, привязанный к категории → без скрипта (оценка соответствия для этого разговора пропускается). Скрипт, назначенный проекту, — осознанный выбор, поэтому он побеждает; привязки по категориям работают там, где у проекта своего скрипта нет.

Что важно знать

  • Деактивация закреплённого профиля не гарантирует его открепление. Если вы деактивируете профиль, который сейчас закреплён, шаг закрепления при следующем анализе пропускается — но если ни одна привязка к категории не подошла для этого звонка, шаг «профиль проекта» может подхватить тот же (неактивный) профиль. Если вы хотите, чтобы проект перестал использовать профиль, открепите его явно, а не деактивируйте.
  • Оценку соответствия у проекта выключает ровно один переключатель — «Включить оценку соответствия правилам» во вкладке «Качество». Выключен — шаг пропускается независимо от любых привязок.
  • Снять скрипт с проекта или деактивировать его — значит поменять, КАКОЙ скрипт применяется, а не отключить оценку. И то и другое переводит выбор на скрипт, привязанный к категории: если у категории разговора привязка есть, он всё равно будет оценён — просто уже по ней. Деактивация вдобавок выходит за пределы проекта: скрипт принадлежит организации, поэтому перестаёт применяться всюду, где назначен, и в своей привязке тоже.
  • Удаление закреплённого профиля тоже разрешается корректно: привязка по категории → профиль проекта → по умолчанию.
  • Скрипт, не назначенный никуда, не применяется никогда — и список это показывает. Скрипт без привязки к категории, не являющийся скриптом по умолчанию ни в одном активном проекте, не совпадает ни с одним шагом каскада, поэтому оценка соответствия пропускается для всех разговоров. В разделе Правила скриптов такой скрипт несёт маркер «Не назначен»; у остальных видно привязанную категорию и проекты, которые их используют. Прикрепление, которое не может сработать — проект использует по умолчанию другой скрипт или проект неактивен, — показано приглушённо и объясняет себя подсказкой.

Выбор скоркарда по стадии сделки

Owner Admin

Для организаций, подключённых к Bitrix24 или Uspacy, Aelo может выбирать скоркард оценки по текущей стадии CRM-воронки связанной сделки — в дополнение к определённой категории звонка. Это полезно, когда, например, звонок на этапе знакомства и звонок на этапе закрытия сделки в одной категории требуют разных профилей оценки. Функция применяется к звонкам, связанным со сделкой Bitrix24 или Uspacy; лиды в этой версии не поддерживаются.

Сопоставление по стадии сделки в порядке разрешения выше стоит между закреплённым профилем проекта и профилем, привязанным к категории: сначала побеждает точное сопоставление стадии, а если для стадии нет точного сопоставления — сопоставление по её семантической фазе (фаза берётся из собственной пометки CRM — пометки Bitrix24 о выигранной или проигранной сделке либо закрывающей стадии воронки Uspacy (успех или провал), иначе — та, что вы выбрали для стадии, иначе её угадывает ИИ по названиям ваших воронок и стадий — см. «Фазы сделки» ниже). Шаг полностью пропускается — сразу переходя к профилю, привязанному к категории, — для чатов, звонков, не связанных со сделкой Bitrix24 или Uspacy, и организаций, которые не подключили Bitrix24 или Uspacy либо не включили эту функцию.

Вкладка «Стадии сделок»

Owner Admin

Откройте Настройка анализа → Категории и профили → вкладка «Стадии сделок», чтобы настроить сопоставление:

  • Фазы сделки — задайте профиль оценки по умолчанию для каждой из 7 укрупнённых семантических фаз (Знакомство, Квалификация, Предложение, Переговоры, Закрытие сделки, Постпродажное обслуживание, Другое). Они применяются автоматически при анализе к стадии без точной привязки: Постпродажное обслуживание и Другое — по собственной пометке CRM о выигрыше или проигрыше (выигранная или проигранная сделка в Bitrix24, закрывающая стадия «успех» или «провал» воронки Uspacy), остальные — по фазе, которую вы выбрали для стадии в разделе «Воронки и стадии», а пока не выбрали — по фазе, которую ИИ угадывает по названиям ваших воронок и стадий, на любом языке и для переименованных стадий тоже (например, стадия «Обсуждаем условия» считается фазой «Переговоры»). Для этого модели ИИ передаются только названия воронок и стадий — без данных клиентов и разговоров; вызов оплачивает Aelo, минуты не списываются, а повторно названия передаются, только когда стадию добавили или переименовали либо прошлая попытка не дала ответа. Фаза сохраняется в разговоре; угаданная помечается «Угадано ИИ» на этой вкладке и как предположение на экране «Возражения».
  • Воронки и стадии — у каждой стадии две настройки. Фаза: выберите фазу стадии или оставьте угаданную ИИ (у выигранной или проигранной стадии фазу задаёт CRM, выбора нет). Смена фазы переносит в неё и уже записанные разговоры этой стадии — на экране «Возражения»; их оценки не пересчитываются. Профиль: привяжите стадию к профилю напрямую; точная привязка всегда важнее профиля фазы по умолчанию.
  • Закрепить угаданные фазы — одним действием сохраняет все фазы, ещё угаданные ИИ, как ваш выбор, чтобы переименование стадии в CRM больше не меняло её фазу.
  • Принять предложенные — для каждой несопоставленной стадии с пригодной угаданной фазой одним действием создаёт точную привязку к профилю по умолчанию этой фазы, чтобы стадия сохранила профиль, даже если её название потом поменяется.
  • Методика продаж — на тарифах Pro и выше методика каждой воронки (стандартная методика и необязательные правила компании, по которым строятся советы в состоянии сделки) настраивается на отдельном шаге Настройка анализа → Методика продаж; вкладка ссылается на него.

Список «Воронки и стадии» требует активного подключения Bitrix24 или Uspacy (Uspacy — только пока его обработка активна). Без подключения вкладка предложит сначала подключить источник CRM; если обработка портала Uspacy приостановлена или отозвана, вкладка так и скажет и ничего с портала не читает.

На панели анализа

Когда звонок оценён по сопоставлению стадии сделки, на панели анализа отображается стадия CRM и подпись «Оценено по скоркарду [профиль]», чтобы было видно, какое сопоставление применилось. Это видно в отдельном приложении Aelo; во встроенной панели Bitrix24 пока не отображается.

Модули анализа

Каждый профиль состоит из модулей анализа. Включайте или отключайте модули для управления тем, что ИИ оценивает. Проверки «прозвучало / нет» — обязательные фразы, ненормативная лексика и дисклеймер о записи — не модули профиля и больше не входят в основной анализ: их выполняют встроенные критерии, см. Проверки, которые выполняют критерии ниже:

Модуль «Резюме»

Формирует высокоуровневые метрики:

  • Оценка качества (0–100)
  • Вероятность сделки (0–100%)
  • Флаг внимания — отмечает разговоры, требующие ручного просмотра

Модуль «Содержание»

Извлекает содержимое разговора:

  • Темы — основные предметы обсуждения
  • Ключевые слова — важные термины и фразы
  • Ключевые моменты — критические события (возражение, обсуждение цены, достигнутое соглашение)
  • Резюме — обзор разговора на естественном языке

Модуль «Речь»

Оценивает паттерны речи:

  • Слова-паразиты — сколько звуков колебания издал агент («э-э-э», «ммм», «эээ»); считается только в речи самого агента. Слова не учитываются, даже привычные паразиты «ну» или «короче»: они часто несут смысл, и подсчёт без контекста приписал бы их агенту. Оценка зависит от частоты в минуту: каждый звук в минуту снимает 10 баллов из 100, так что десять и больше в минуту дают 0. Транскрипт звонка скрывает эти звуки, чтобы его было легче читать; подсчёт идёт по дословному тексту. Если агента в разговоре определить не удалось, метрика не показывается
  • Неуверенность агента — сомнение агента в собственной цене, сроке или обещании (не пересказ слов клиента, не поручения, не оценки). Список признаков встроен в анализ и не настраивается
  • Чёткость речи — общая оценка разборчивости речи

Модуль «Диалог»

Оценивает структуру разговора:

  • Приветствие — правильное начало и представление
  • Квалификация BANT — оценка бюджета, полномочий, потребности, сроков
  • Работа с возражениями — как агент реагирует на возражения клиента
  • Завершение — эффективное окончание разговора и следующие шаги

Модуль «Эмоции»

Анализирует эмоциональные аспекты:

  • Тональность — позитивная, нейтральная, негативная классификация
  • Вежливость — обходительность и профессионализм агента
  • Перебивания — частота и обработка перебиваний спикеров

Модуль «Комплаенс»

Проверяет соблюдение нормативных требований и внутренних политик:

  • Чёткость речи — соответствие минимальным стандартам чёткости
  • Полнота CRM — оценивается, только если CRM подключена и сбор идентифицирующих данных клиента действительно был задачей этого звонка (новый клиент, ещё не привязанный ни к одной записи); звонки по существующей сделке или известному контакту пропускаются, а не оцениваются низко — как и звонки организаций без интеграции с CRM, где полноту попросту не с чем сверять. Если применимо, проверяется, что зафиксированы имя клиента/контактного лица и контактные данные (телефон или email), а название компании — только для корпоративных клиентов, поскольку у частного лица его нет. Это анализируется и отображается как отдельный индикатор комплаенса и не влияет на оценку качества.

Модуль «Рекомендации»

Формирует коучинговые выходные данные:

  • Сильные стороны — что агент сделал хорошо
  • Улучшения — конкретные области для роста с практическими предложениями

Проверки, которые выполняют критерии

Проверки «прозвучало / нет» — обязательные фразы, ненормативная лексика, дисклеймер о записи и проверки соответствия (обработка персональных данных, TCPA в США) — не входят ни в профиль анализа, ни в основной анализ: переключателей для них в профиле нет. Их выполняют только встроенные критерии, сформулированные Aelo. До восьми из них видны каждой организации в Настройка анализа → Критерии, в разделе Встроенные; какие из них задаются, зависит от организации и разговора, а приостановленные Aelo не задаются (см. Паузы).

ПроверкаВстроенный критерий
Обязательные фразыНазвал компанию; Договорились о следующем контакте; Объяснил гарантию удовлетворённости
Дисклеймер о записиПредупредил о записи
Ненормативная лексикаНецензурная брань менеджера
Требования соответствияНарушил правила персональных данных; Соблюдены требования TCPA

Новая организация получает эти критерии по умолчаниям Aelo: Назвал компанию, Договорились о следующем контакте и Объяснил гарантию удовлетворённости действуют в разговорах категорий «Вопрос о продукте», «Покупка», «Запись/планирование» и «Повторный контакт»; Нецензурная брань менеджера — во всех разговорах; Предупредил о записи начинает работу на паузе — включите его в Настройка анализа → Критерии, когда он нужен. Организации, у которых эти критерии уже есть, сохраняют их область и паузы. Там проверку ставят на паузу и возобновляют, а область её действия сужают до проектов, категорий и каналов. Часть встроенных критериев Aelo ставит на паузу сама (сейчас — гарантию удовлетворённости и правила персональных данных) — владелец снять такую паузу не может.

Персональные данные. Критерий «Нарушил правила персональных данных» поставлен на паузу самой Aelo, а прежняя проверка персональных данных из анализа убрана. Пока новая формулировка не проверена на реальных звонках, проверки персональных данных нет ни у одной организации.

Свой ключ ИИ-провайдера. Организации, которые работают со своим ключом ИИ-провайдера (его настраивает Aelo), встроенных критериев не видят, и критерии у них не отвечаются. Основной анализ этих проверок тоже больше не делает, поэтому сейчас у такой организации нет проверок обязательных фраз, дисклеймера о записи, ненормативной лексики и запрещённых слов.

Прежние анализы. Разговоры, проанализированные до этого изменения, сохраняют записанные тогда проверки: панель звонка, PDF-отчёт и отчёты показывают их как раньше. Новые анализы их не записывают. В самых частых проблемах на вкладке «Главное» дашборда новые анализы больше не дают строк «Обязательные фразы», «Ненормативная лексика», «Дисклеймер о записи» и «Комплаенс».

Запрещённые слова. Список запрещённых слов — не переключатель профиля и не задаётся в настройках проекта: он принадлежит встроенному критерию «Менеджер использовал запрещённое слово» (см. Список запрещённых слов). Организации, которые работают со своим ключом ИИ-провайдера, встроенных критериев не видят, поэтому проверки запрещённых слов у них нет нигде.

Настройка профиля

  1. Откройте Настройка анализа → Категории и профили → вкладка «Профили» в главном меню (бывший «Конструктор промптов»).
  2. Выберите базовую категорию или создайте пользовательский профиль.
  3. Включайте или отключайте модули по необходимости. Проверок «прозвучало / нет» в профиле нет — настраивайте их в Настройка анализа → Критерии.
  4. Изучите панель Живого предпросмотра справа:
    • Оценочное количество токенов (влияет на стоимость обработки)
    • Пример вывода — что ИИ вернёт для типичного разговора
  5. Сохраните профиль.

Живой предпросмотр

Панель предпросмотра справа обновляется в реальном времени при изменении настроек:

  • Количество токенов — оценочные токены, потребляемые при каждом анализе (напрямую влияет на стоимость)
  • Оценка стоимости — приблизительная стоимость одного анализа для вашего LLM-провайдера
  • Пример вывода — образец результата анализа

Используйте предпросмотр для поиска правильного баланса между глубиной анализа и стоимостью.

Область предпросмотра

По умолчанию предпросмотр считается на уровне организации: правила проекта в него не входят. В панели инструментов можно выбрать проект — тогда предпросмотр применяет настройки этого проекта: язык отчёта, название и описание проекта. Это те входы промпта, которые задаются в проекте; данные, которые рабочий анализ подтягивает по ходу (поля CRM для автозаполнения, индивидуальная конфигурация анализа), в предпросмотр не входят.

Привязка профилей к проектам

Чтобы назначить профиль оценки проекту:

  1. Перейдите в Проекты > выберите проект > Настройки.
  2. Найдите раздел Профиль промптов.
  3. Выберите нужный профиль оценки из выпадающего списка.
  4. Сохраните.

Все новые записи в этом проекте будут использовать выбранный профиль. Существующие записи не затрагиваются, если не выполнить их переанализ вручную.

Профиль проекта работает как запасной вариант: он применяется, когда для определённой категории разговора нет привязанного профиля (см. Профили, привязанные к категориям) — если только проект не закрепил свой собственный профиль, что всегда имеет приоритет над привязками по категориям.

Доступ по ролям

ФункцияВладелецАдминистраторСупервайзерАгент
Просмотр профилей✅✅❌❌
Создание/редактирование✅✅❌❌
Удаление профилей✅✅❌❌
Привязка к проектам✅✅❌❌
Просмотр живого предпросмотра✅✅❌❌

Советы и рекомендации

  • Начинайте с базовой категории и настраивайте — не создавайте с нуля.
  • Включайте только нужные модули. Больше модулей = выше стоимость анализа и дольше обработка. Проверки «прозвучало / нет» (обязательные фразы, дисклеймер о записи, ненормативная лексика) не входят в профиль: их выполняют встроенные критерии.
  • Используйте Живой предпросмотр для оценки стоимости перед развёртыванием нового профиля.
  • Создавайте разные профили для разных типов разговоров (например, отдельно для продаж, отдельно для поддержки).
  • После изменения профиля переанализируйте несколько последних записей, чтобы убедиться, что результаты соответствуют ожиданиям.
  • В регулируемых отраслях настройте встроенные критерии, а не профиль. Предупреждение о записи и обязательные фразы проверяют только встроенные критерии: откройте их в Настройка анализа → Критерии, убедитесь, что они не на паузе (критерий «Предупредил о записи» у новой организации начинает работу на паузе), и сузьте область действия до проектов и каналов, где эти проверки обязательны. Часть встроенных критериев поставлена на паузу самой Aelo, а организации со своим ключом ИИ-провайдера этих проверок не получают.