Перейти к содержимому

Критерии

Обзор

Критерий — это вопрос, на который вы хотите получить ответ по каждому разговору: например, «Предложил ли менеджер следующую встречу?» или «Какого конкурента назвал клиент?». Aelo задаёт его каждому разговору в области действия критерия — когда разговор расшифрован и отнесён к категории, — отдельным шагом, независимым от анализа, так что ответ не зависит от того, удался ли анализ, — и сохраняет ответ вместе с разговором.

Это не профили оценки. Профиль — набор метрик, по которому Aelo оценивает целую категорию разговоров. Критерий — один вопрос к каждому разговору, на который отвечают отдельно от профиля.

Ваши собственные критерии есть в каждом тарифе в пределах его лимита критериев. Сверх них есть до восьми встроенных критериев, сформулированных Aelo; в лимит они не входят. Ответы на критерии, в том числе встроенные, — часть анализа и входят в цену минуты: отдельной платы нет.

Демо-данные включают два демо-критерия с примерами ответов на демо-разговорах; в демо-данных, загруженных до их появления, их нет. Они видны только там, где показывают результаты, — в карточке «Критерии компании» дашборда и в отчёте по критериям, в панели звонка и её PDF-отчёте, в фильтре списка звонков, — но не в настройках критериев и не в правилах сигналов; на ваших настоящих разговорах их не задают, в лимит они не входят, а удаление демо-данных удаляет и их.

Демо-разговоры несут и ответы включённых встроенных критериев вашей организации: панель звонка и отчёт по критериям показывают их так же, как для настоящего звонка. Сами встроенные критерии принадлежат организации, а не демо: удаление демо-данных удаляет эти ответы, но не критерии. В демо-данных, загруженных до этого изменения, таких ответов нет.

Типы ответа

ТипЧто получаете
Да / нетБыло ли что-то в разговоре. Вы выбираете, что ищем: чтобы это было или чтобы этого не было (удобно для «менеджер так и не назвал цену»).
Оценка 0–100Оценка того, насколько хорошо что-то сделано.
Выбор из спискаОдно из ваших значений — до 10 активных. Значение «в разговоре не найдено» добавляется само и означает, что тема не поднималась; если она поднималась, но ни одно значение не подходит, модель отвечает, что не уверена: в отчёте по критериям это «Без ответа», и в фильтр «в разговоре не найдено» такой звонок не попадает. Звонки, обработанные до этого правила, сохраняют прежний ответ, пока их не обработают заново. Отметьте у значения «Нужна цитата», если оно должно подтверждаться разговором.

Ответ, который указывает на что-то в разговоре, приходит с дословной цитатой. Тип ответа после создания критерия не меняется — для другого типа создайте новый критерий.

Создание критерия

Откройте в главном меню Настройка анализа → Критерии. Создаёт и меняет критерии только Владелец организации; Администратор видит список только для чтения.

Настройка анализа → Критерии: ваши критерии относительно лимита тарифа и кнопка добавления

ПолеЛимитПодсказка
Название60 символовКоротко — оно показывается в фильтрах и отчётах.
Вопрос к разговору300 символовОдин вопрос — одна проверка.
Что считать — и что не считать800 символовНеобязательно. Исключения — главный рычаг точности: напишите, что не должно считаться.

Форма нового критерия: название, вопрос, что считается и тип ответа

Начать с шаблона

Вместо пустой формы нажмите Начать с шаблона вверху формы нового критерия и выберите одну из готовых формулировок. Они разбиты на группы «Продажи», «Обращения и обслуживание» и «Качество работы менеджера»; у каждой видны название и вопрос:

  • Да / нет: предложил дополнительный товар, уточнил бюджет, выявил потребность вопросами, назвал срок доставки или выполнения, предложил оформить заказ, назвал следующий шаг по делу, клиент упомянул конкурента.
  • Одно из значений: причина обращения — новая покупка или заказ, консультация о товаре или услуге, статус действующего заказа, жалоба или претензия, техническая помощь, возврат или обмен, другая причина.

Шаблон заполняет название, вопрос, текст «Что считать — и что не считать», тип ответа и значения списка; тексты — на языке вашей организации (Настройки → Организация → Язык). Если вы уже что-то ввели, форма спросит, прежде чем заменить; выбранная область действия остаётся. Шаблон — только отправная точка и после выбора с критерием не связан: сохранённый критерий — обычный ваш собственный, любую его часть можно переписать, и он входит в лимит критериев вашего тарифа. Нажмите Проверить на 20 звонках, чтобы увидеть, как формулировка работает, до сохранения.

Готовые шаблоны критериев, сгруппированные по назначению

Описать своими словами

Если подходящего шаблона нет, нажмите Опишите своими словами вверху формы нового критерия и в поле «Что вы хотите узнавать?» скажите это одним-двумя предложениями, до 500 символов, например: «хочу видеть звонки, где клиент жаловался на доставку». Нажмите Составить черновик: ИИ-модель предложит название, вопрос, текст «Что считать — и что не считать», тип ответа и, для списка, его значения — на языке вашего описания. Черновик заполняет форму так же, как шаблон: если вы уже что-то ввели, форма спросит, прежде чем заменить, а выбранная область действия остаётся. Сразу после этого форма сама запускает проверку на 20 звонках. Если из описания не получается одна проверка разговора, форма попросит описать иначе. Черновик — отправная точка: перечитайте его и поправьте перед сохранением.

«Описать своими словами»: поле описания и кнопка составления критерия

Где действует

Критерий можно ограничить категориями разговоров, проектами и каналами (звонки, чаты). Ничего не выбрано — значит везде. Разговору вне области критерий не задаётся. Сохранённый раньше ответ остаётся виден, даже когда разговор уже вне области — например, область сузили или разговор отнесли к другой категории.

Область встроенного критерия можно только сузить — в пределах, которые для него задала Aelo, например «только звонки». В форме такое измерение предлагает только допустимые значения, а пустой выбор означает весь допустимый диапазон (см. «Встроенные критерии»).

Где действует: категории разговоров, проекты и каналы; ничего не выбрано — значит везде

Проверка формулировки на недавних звонках

До сохранения нажмите «Проверить на 20 звонках»: текущая формулировка — не сохранённая — задаётся последним 20 проанализированным разговорам в области критерия, и вы видите каждый ответ — с цитатой, если ответ указывает на момент разговора. Ничего не сохраняется, и проверка не списывается с вашего баланса. Число проверок на организацию ограничено — до 20 в день на платных тарифах и до 3 в день на бесплатном (Pay as you go); если лимит достигнут, попробуйте позже. Демо-разговоры в проверку не входят: на демо-данных формулировку не проверить, нужны ваши собственные проанализированные разговоры. Проверка берёт разговоры не из архива, до 30 минут и с текстом длиннее 800 символов; пока таких в области критерия нет, она отвечает: «В этой области пока нет разговоров с анализом — проверять не на чем.»

Проверка на недавних звонках: текущая формулировка на последних 20 разговорах, ничего не сохраняется

Правка по отмеченным ответам

В результатах проверки у ответа, с которым вы не согласны, нажмите Ответ неверный и, если хотите, коротко напишите почему (до 200 символов). Отметьте до 10 ответов и нажмите Предложить правку: ИИ-модель прочитает проверенную формулировку, отмеченные ответы, ваши пояснения и фрагменты этих разговоров вокруг цитат и предложит новую формулировку — с одной фразой о том, что изменено, и с полями до и после. Меняются только вопрос, текст «Что считать — и что не считать» и подписи значений списка; название, тип ответа и сами значения остаются прежними. Принять подставляет правку в форму и снова запускает проверку; Отклонить оставляет формулировку как была. Разговор, который проверка пропустила, отметить нельзя. Если текст отмеченного разговора не удаётся надёжно очистить от персональных данных, правка не предлагается: такие разговоры подсвечены в результатах, повтор не поможет — снимите с них отметку или отметьте другие разговоры.

Черновики и правки не списываются с баланса, и ничего не сохраняется, пока вы не сохраните критерий. Их число на организацию ограничено, для каждого отдельно: до 30 в день на платных тарифах и до 5 в день на бесплатном.

Где видны ответы

  • Панель звонка — группа «Критерии» в панели анализа. У каждого критерия — ответ или одно из трёх состояний: «В разговоре не найдено», «Неприменимо» (модель сочла, что вопрос к этому разговору неприменим), «Не оценено» (критерий действует и охватывает разговор, но ответа нет — например, оценка не удалась или критерий тогда был на паузе). Приостановленный или архивный критерий без ответа не показывается; как правило, не показывается и критерий, созданный после обработки разговора. Цитата проигрывает этот момент записи. Встроенный критерий показывается здесь, только если по этой обработке разговора у него есть ответ; соответствующая старая строка карточки «Комплаенс» или «Речь» (дисклеймер о записи, TCPA, персональные данные, нецензурная брань, обязательные фразы) тогда не показывается — обе сразу не бывает. Без такого ответа старая строка остаётся, как была, а приостановленный вами встроенный критерий без ответа не имеет строки нигде. Когда все строки карточки «Комплаенс» перешли к встроенным критериям, карточка пропадает. У проверки, которую приостановила Aelo, старая строка остаётся с пометкой «На паузе Aelo до повторного замера». Новые анализы старых строк не записывают совсем: они есть только у разговоров, проанализированных до того, как эти проверки перешли к встроенным критериям.
  • PDF-отчёт — те же ответы в выгруженном отчёте, по тому же правилу.
  • Фильтр списка звонков — раздел «Критерии» в фильтрах: до трёх условий, которые должны выполняться все сразу — сработал или не сработал, диапазон оценки или значения списка (включая архивные и «в разговоре не найдено»). Фильтр работает в пределах звонков, которые вы и так видите. Встроенный критерий тоже может быть условием, но подходят ему только звонки, ответ по которым получен при текущем анализе звонка; более старые звонки без такого ответа не подходят.
  • Дашборд → вкладка «Качество» → карточка «Критерии компании» — каждый критерий за выбранный период со счётчиками «Оценено», «Неприменимо», «Без ответа» (модель не смогла ответить уверенно) и «Не оценено» (проанализированные звонки, созданные после появления критерия, в его текущей области и без результата по нему, включая время паузы; пока критерий на паузе или в архиве, не считается); критерий на паузе или в архиве и смена формулировки за период отмечены. Этот счётчик берёт только звонки, созданные после появления критерия, поэтому звонков с «Не оценено» в панели может быть больше. На карточке «Не оценено» — оценка сверху («не оценено — не больше N звонков»): часть звонков может быть ещё в обработке, критерий мог стоять на паузе, или его шаг не выполнился; определение в скобках — то, которое даёт отчёт по критериям. «Открыть в отчёте» открывает отчёт по критериям (Аналитика → Отчёт по критериям) на этом критерии — с периодом и проектами карточки (для периода длиннее 93 дней такой ссылки на карточке нет). В отчёте есть также дата вступления критерия в силу и даты изменения формулировки; откройте критерий, чтобы увидеть его по дням или неделям, распределение ответов и таблицу по менеджерам. Ответ в распределении, число в таблице по менеджерам и — у критериев «да / нет» и с оценкой — столбик тренда открывают звонки, которые за ними стоят. Строка — один человек: CRM-id и аккаунт Aelo одного менеджера — одна строка, а один и тот же id в двух порталах CRM — две (при совпадении имён у них подписан портал). Число в строке, сложенной из нескольких id или с id, который есть и у другой строки, — обычный текст, а не ссылка. Руководитель видит свои проекты.
  • Дашборд → вкладка «Качество» → карточка «Проверки стандартов» — считается по встроенным критериям: «Предупредил о записи», TCPA и персональные данные (для персональных данных «пройдено» означает отсутствие нарушения); по звонкам без ответа встроенного критерия берётся старое поле анализа. Проверка, которую приостановила Aelo, отмечена под карточкой.
  • Сигналы — критерий может быть полем правила сигнала: сработал, его оценка или значение из списка (см. «Сигналы»). Шаблоны галереи «Отсутствует дисклеймер записи» (на критерии «Предупредил о записи»), «Менеджер выражался нецензурно» и «Менеджер использовал запрещённое слово» существуют только на критерии; прежний шаблон «Обнаружена нецензурная лексика» (любой говорящий) удалён. Правило на приостановленном критерии — встроенном или вашем собственном — не срабатывает, и на его карточке об этом сказано.

Карточка «Результаты критериев» в панели звонка: у каждого критерия свой ответ

Раздел «Критерии» в фильтрах списка звонков: критерий и значения списка, которые должны совпасть

Критерий, открытый в отчёте по критериям: динамика, распределение ответов и менеджеры

Критерии отвечаются при обработке разговора. Переанализ в панели звонка их заново не задаёт, поэтому не добавляет ответов по критериям, созданным или переформулированным позже; так же работает «Переобработка» разговора, обработка которого завершилась. «Переобработка» разговора, у которого обработка или доставка завершилась ошибкой, проходит обработку заново — вместе с критериями, как только для него запускается анализ (автоматический режим или ручной запуск).

Правка, пауза и архив

  • Название и подписи значений списка можно менять в любой момент (у встроенного критерия название и формулировка зафиксированы).
  • Правка вопроса, «что считать», «что ищем» или состава значений списка — это смена формулировки: ответы до и после неё строго не сравнимы. Карточка «Критерии компании» отмечает смену формулировки и показывает дату последней; отчёт по критериям показывает более ранние смены и дату вступления критерия в силу. Звонки до и после смены считаются вместе.
  • Пауза останавливает вопрос для новых разговоров; возобновление возвращает его. Если вы выключаете собственный критерий, на который опираются включённые правила сигналов, строка называет эти правила — пока критерий на паузе, они молчат — и предлагает «Всё равно поставить на паузу» или «Оставить включённым»; пока вы не подтвердили, ничего не приостанавливается. Возобновление ничего не спрашивает, пауза встроенного критерия — тоже. Приостановленный собственный критерий по-прежнему занимает место в лимите тарифа; встроенные в лимит не входят никогда.
  • Архив выводит критерий из работы насовсем. Его прошлые ответы остаются в панели звонка и доступны в фильтре, а в лимите тарифа он больше не учитывается. Встроенные критерии в архив отправить нельзя — их можно приостановить.
  • Значение списка не удаляется, а только архивируется — чтобы прошлые ответы сохранили смысл.

Встроенные критерии

Помимо ваших собственных критериев, Aelo задаёт до восьми встроенных — вопросов, которые Aelo сформулировала сама, — тем разговорам, к которым они применимы; какие из них применимы, зависит от организации и разговора, а приостановленные Aelo не задаются (см. Паузы). По умолчанию они видны каждой организации: откройте Настройка анализа → Критерии — они в отдельном разделе «Встроенные» под вашими собственными критериями.

КритерийЧто проверяетГде действует
Назвал компаниюНазвал ли менеджер компанию, от имени которой говорит?Любой канал
Договорились о следующем контактеДоговорились ли менеджер и клиент о конкретном следующем контакте — неважно, кто из них его предложил?Любой канал
Предупредил о записиСказал ли менеджер или система, что разговор записывается или может прослушиваться?Только звонки; у новой организации начинает работу на паузе
Объяснил гарантию удовлетворённостиОбъяснил ли менеджер, что товар можно вернуть или обменять, если он не подойдёт?Любой канал; только если клиент спрашивает о возврате, боится, что товар не подойдёт, или менеджер сам предлагает возврат на этот случай
Нецензурная брань менеджераИспользовал ли менеджер ненормативную лексику или оскорбления? Учитываются только реплики менеджера.Любой канал
Менеджер использовал запрещённое словоИспользовал ли менеджер слово или выражение из вашего списка запрещённых? Учитывается любая форма слова и только реплики менеджера.Любой канал; на паузе, пока в списке нет слов
Соблюдены требования TCPAВ исходящем звонке: назвал ли менеджер своё имя, компанию и цель звонка и учёл ли просьбу больше не звонить?Исходящие звонки о покупке, запросе о продукте или записи; только для организаций с юрисдикцией США
Нарушил правила персональных данныхНарушил ли менеджер правила обращения с персональными данными клиента?Только звонки; нужна конкретная юрисдикция

Какие из них получает организация, зависит от её юрисдикции: «Соблюдены требования TCPA» есть только у организаций с юрисдикцией США, «Нарушил правила персональных данных» требует конкретной юрисдикции, а в формулировке обоих она названа. Все они — вопросы «да / нет», и ответ «Да» означает, что событие из названия произошло: «Да» — хорошо для «Назвал компанию» и плохо для «Нарушил правила персональных данных».

«Нарушил правила персональных данных» засчитывается, если менеджер просит полный номер карты, CVV, PIN, пароль или код из SMS; если после признака, что ответил не клиент (говорит, что ничего не заказывал, что номер или заказ не его, что не знает этого человека), он всё равно называет данные клиента — полное имя, адрес или отделение, телефон, — не выяснив, с кем говорит; или если диктует данные клиента постороннему. Обычный звонок по заказу тому, кто признаёт заказ своим (обращение по имени, зачитывание заказа, суммы, города или отделения), нарушением не считается.

«Объяснил гарантию удовлетворённости» применим, только если клиент сам прямо спрашивает о возврате или обмене, говорит «если что, верну», прямо называет страх или сомнение, что товар не устроит («а если не подойдёт по размеру?»), или менеджер сам предлагает возврат или обмен, если товар не подойдёт. Подбор размера или посадки, замеры, вопрос «подойдёт ли?», смена размера до отправки, вопросы о характеристиках, совместимости, цене или наличии, отказ или отсрочка покупки из-за цены или «подумаю», сервис, доставка, статус заказа или оплата — «Неприменимо», а не «не объяснил». Поэтому у большинства разговоров этот критерий показывает «Неприменимо». Короткое подтверждение менеджера на вопрос клиента о возврате или обмене («да, конечно») считается объяснением, срок и условия называть не обязательно.

Формулировка и что можно менять

  • Формулировка принадлежит Aelo и зафиксирована: название, вопрос и текст «что считать» изменить нельзя. Она показана на языке вашей организации (украинский, русский, английский, испанский или португальский; для любого другого языка — английский).
  • Владелец может приостановить и возобновить встроенный критерий и сузить, где он действует — проекты, категории, каналы, — в пределах, которые для него задала Aelo. В форме ограниченное измерение предлагает только допустимые значения, а пустой выбор означает весь допустимый диапазон.
  • Расширить область за эти пределы, изменить направление разговоров или отправить встроенный критерий в архив Владелец не может. «Проверить на 20 звонках» для него тоже недоступна.

Список запрещённых слов

Критерий «Менеджер использовал запрещённое слово» берёт слова из списка, который Владелец ведёт в панели самого критерия (Настройка анализа → Критерии → Встроенные). В списке до 100 слов и выражений, каждое до 64 символов; повторы без учёта регистра отбрасываются. Засчитывается любая форма слова из списка — словоформы учитывает модель («дорого» — это и «дороже», «дороговато»), — и только реплики менеджера, а не клиента. Где критерий действует — проекты, каналы, категории — задаёт его область, как у любого другого критерия: «только проект P» — это область критерия, отдельного списка в настройках проекта нет. Такой критерий один на организацию, поэтому и список один. Правка списка создаёт новую версию формулировки: ответы до и после правки не сравниваются как одно.

Паузы

У приостановленного встроенного критерия причина показана словами:

  • «На паузе Aelo: до повторного замера качества этой проверки». Так Aelo приостанавливает встроенный критерий до повторного замера его проверки; сейчас так не приостановлен ни один. Новые разговоры по нему не оцениваются. Возобновить его нельзя — переключателя нет.
  • «На паузе Aelo: формулировка не подходит юрисдикции организации». Появляется, если юрисдикция изменилась после добавления критерия. Возобновить его тоже нельзя.
  • «На паузе: эта проверка была выключена в профиле анализа». Возобновить её можно здесь. В профиле анализа таких переключателей больше нет; пометка остаётся у критериев, поставленных на паузу так раньше.
  • «На паузе: список слов пуст. Добавьте слова — критерий включится». Относится к «Менеджер использовал запрещённое слово»: пока в списке нет слов, проверять нечего, и включить критерий нельзя. Первое сохранение непустого списка снимает эту паузу, очистка списка ставит её снова. Паузу, которую вы поставили сами, список не трогает.

Если вы сами поставили встроенный критерий на паузу, новые разговоры просто не получают эту проверку — анализ не делает её вместо критерия, потому что больше вообще не делает этих проверок. Флаг внимания никогда не называет приостановленную проверку причиной.

Профиль анализа

Переключателей «Обязательные фразы», «Дисклеймер о записи» и «Ненормативная лексика» в профиле анализа больше нет, и основной анализ не делает ни этих проверок, ни проверок соответствия (персональные данные, TCPA): их выполняют только встроенные критерии. Новая организация получает их по умолчаниям Aelo: «Назвал компанию», «Договорились о следующем контакте» и «Объяснил гарантию удовлетворённости» действуют в разговорах категорий «Вопрос о продукте», «Покупка», «Запись/планирование» и «Повторный контакт»; «Нецензурная брань менеджера» — во всех разговорах; «Предупредил о записи» начинает работу на паузе — вы включаете его сами. Организации, у которых эти критерии уже есть, сохраняют их область и паузы. Разговоры, проанализированные до этого изменения, сохраняют записанные тогда проверки.

Стоимость и исключения

Встроенные критерии не входят в лимит тарифа и входят в цену минуты — отдельной платы нет.

Лимиты по тарифам

ТарифКритериев
Pay as you go5
Стартовый5
Pro10
Бизнес15
Scale20
Корпоративный30

В лимит входят ваши собственные критерии, которые не в архиве; встроенные в него не входят никогда. Переход на меньший тариф не выключает уже созданные критерии — он лишь не даёт создавать новые, пока их число не станет меньше нового лимита. Пробный Pro лимита не меняет. Бесплатная организация (Pay as you go) и во время пробы может иметь не больше 5 собственных критериев; проба открывает функции Pro, а не его лимиты.

Bitrix24

Во встроенном приложении Bitrix24 у организаций, где критерии включены, ответы видны в панели звонка и в PDF-отчёте звонка, открытого на вкладке «Записи», — так же, как в веб-приложении. Карточка «Критерии компании» на вкладке «Качество» дашборда там тоже есть, но только как отчёт: критерии создают и правят в веб-приложении Aelo. Ссылка карточки «Открыть в отчёте», как и сам отчёт по критериям, открывает веб-приложение Aelo в новом окне; в первый раз Aelo попросит войти (см. Переход в полную веб-версию). Встроенные критерии подчиняются там тем же правилам, что и в веб-приложении: их ответы видны в панели звонка, в PDF-отчёте и на дашбордах. В CRM-отчёте появляется блок «Критерии» — по строке на каждый встроенный критерий, по которому есть ответ; он заменяет старые строки о дисклеймере записи, обязательных фразах и нецензурной лексике для этих проверок, а нецензурная лексика клиента в CRM больше не попадает. Ответы «Предупредил о записи», «Соблюдены требования TCPA» и «Нарушил правила персональных данных» также заполняют поля карточки «Предупреждение о записи», «Соответствие TCPA» и «Конфиденциальность данных», если вы их сопоставили (см. Bitrix24).

Данные

Вопрос критерия и подсказка к нему отправляются ИИ-модели вместе с расшифровкой, из которой удалены персональные данные, — так же, как при самом анализе. Цитаты берутся из этой же очищенной расшифровки. Ответы удаляются вместе с разговором — в том числе при удалении по сроку хранения. Подробнее — в разделе Персональные данные в расшифровках.

Описание критерия для черновика и пояснения к отмеченным ответам отправляются ИИ-модели так же, как формулировка критерия: номера телефонов, адреса почты, номера карт и IBAN в них маскируются. Для правки отправляются и фрагменты отмеченных разговоров — из той же очищенной расшифровки. Ни черновик, ни правка не хранятся, пока вы не сохраните критерий.

Встроенные критерии отвечаются за счёт Aelo, в формулировке Aelo: эта формулировка уходит ИИ-модели вместе с расшифровкой, из которой удалены персональные данные, так же, как формулировка ваших собственных критериев, а ответы удаляются вместе с разговором.