К содержимому журнала

Маркетинг и аналитика

После включения антиспама стало меньше заявок: защита работает или теряет клиентов?

Как проверить ложные блокировки и эффект антиспама: контрольные заявки, ручная разметка, матрица ошибок с Python и стоимость квалифицированного обращения.

Керамические весы сопоставляют принятые карточки и ошибочно отведённую карточку с терракотовой отметкой
Содержание

До установки защиты сайт получал много обращений, после — заметно меньше. Это может означать, что нежелательные отправки остановлены. Но тот же график получится, если капча перестала работать на телефоне, изменился подсчёт цели или обычные посетители попали под слишком жёсткое правило. Снижение числа заявок само по себе не является результатом приёмки.

Проверять нужно две стороны: какие нежелательные действия ограничены и какие нормальные обращения сохранены. Ниже — порядок разбора, учебная матрица ошибок и локальный Python-код. Количества и суммы вымышлены; они объясняют расчёт и не описывают точность сервиса или результаты NetLabCS. Источники проверены 19 ноября 2026 года.

Сначала проверьте, что изменилось в отчёте #

Зафиксируйте момент подключения и перечень изменений: тег на сайте, правила сервиса, серверный обработчик, цели, сегменты и реклама. Если одновременно заменили форму и включили антифрод, снижение нельзя автоматически приписать одному компоненту.

В справке Метрики описаны режимы отображения роботного трафика. Сравнивайте отчёты в одинаковом режиме и с одинаковой атрибуцией. Изменение представления данных не доказывает, что сервер перестал принимать конкретные запросы.

Разведите попытку отправки, успешную проверку, принятую уникальную заявку, доставку в CRM и квалификацию. Если прежняя цель срабатывала по нажатию, а новая — после ответа сервера, графики показывают разные события. Их нельзя читать как прямое измерение сокращения спама.

Пройдите обычные пользовательские маршруты #

Проверьте сайт с компьютера и телефона, повторную отправку после ошибки, навигацию с клавиатуры и привычные для аудитории браузеры. Для проекта с мобильным трафиком проверка только рабочего ноутбука недостаточна.

Найдите контрольную заявку на каждом этапе: сервер принял, результат сохранён, CRM получила запись, сотрудник видит контакт. Если посетитель получает сообщение об успехе, а устойчивой записи нет, проблема относится к обработке обращения независимо от качества классификатора.

Разбирайте состояние, а не только внешний вид проверки. Посетитель мог пройти капчу, но отправить истёкший токен при повторном нажатии. Сервер мог получить тайм-аут и показать бесконечный индикатор. При нормальном повторе человек должен понимать, как завершить действие.

Посмотрите на ограниченные запросы #

CRM показывает только дошедшие обращения. Если судить по ней одной, потерянные из-за защиты посетители останутся невидимыми. Нужен ограниченный по объёму и доступу журнал решений: время, маршрут, идентификатор попытки, применённое правило и исход. Секреты и полные технические токены в него не записывают.

Выберите правила ручной проверки случаев. Само заключение антифрода не должно одновременно быть и предсказанием, и независимой меткой истины. Состояния «не установлено» и «недостаточно сведений» сохраняйте отдельно: их нельзя автоматически присоединять к спаму.

Если просматриваете только часть ограниченных событий, опишите отбор. Удобные примеры из отчёта поставщика не представляют всю аудиторию. Для небольшого пилота полезнее подробный разбор подтверждённых ошибок, чем эффектный процент из неизвестной выборки.

Учебная матрица из ста событий #

Допустим, независимая ручная разметка учебной выборки установила 80 нормальных обращений и 20 спам-событий. Защита пропустила 78 нормальных, ошибочно ограничила два, остановила 12 спам-событий и пропустила восемь.

Установленный типПропущеноОграничено
Нормальные обращения782
Спам812
Всего8614

Доля ошибочно ограниченных нормальных обращений — 2 / 80 × 100 = 2,5%. Доля остановленного спама — 12 / 20 × 100 = 60%. Среди 14 ограниченных случаев 12 оказались спамом: примерно 85,7%. Последний показатель выглядит высоким, но не отменяет потерю двух нормальных обращений и пропуск восьми нежелательных.

Один процент точности не описывает все последствия защиты. Какие ошибки существеннее, зависит от процесса. Для сложной B2B-услуги потерянный подходящий клиент может быть важнее нескольких дополнительных проверок менеджера. Это нужно учитывать при выборе действия: ограничение, дополнительная проверка или очередь разбора.

Рассчитайте показатели, сохраняя неизвестные случаи #

Функция ниже работает с локальной разметкой одной итоговой записи на событие. Значение blocked означает фактическое ограничение действия, а не сам показ капчи. unknown — случай, для которого тип не установлен. Это учебный формат, не API поставщика.

pythonPython
def evaluate(rows):
    counts = {"normal_allowed": 0, "normal_blocked": 0,
              "spam_allowed": 0, "spam_blocked": 0,
              "unreviewed": 0}
    for label, blocked in rows:
        if label not in {"normal", "spam", "unknown"} or type(blocked) is not bool:
            raise ValueError("Invalid review record")
        if label == "unknown":
            counts["unreviewed"] += 1
            continue
        counts[label + ("_blocked" if blocked else "_allowed")] += 1
    normal = counts["normal_allowed"] + counts["normal_blocked"]
    spam = counts["spam_allowed"] + counts["spam_blocked"]
    return {
        **counts,
        "normal_loss_pct": 100 * counts["normal_blocked"] / normal if normal else None,
        "spam_catch_pct": 100 * counts["spam_blocked"] / spam if spam else None,
    }

sample = ([('normal', False)] * 78 + [('normal', True)] * 2
          + [('spam', False)] * 8 + [('spam', True)] * 12)
print(evaluate(sample))

В результате normal_loss_pct равен 2,5, spam_catch_pct — 60, unreviewed — 0. При отсутствии проверенных нормальных обращений первый показатель будет None, а не нулём: данных для вывода нет. Неизвестные случаи учитываются отдельным числом; показатели характеризуют размеченную часть и не устраняют возможное смещение отбора.

Для поиска причины ошибки добавьте к исходному набору версию правила и маршрут. Тогда можно выяснить, что ложные отказы сосредоточены в одной форме, а не ослаблять все настройки на сайте. Не помещайте реальные контакты в пример или открытый отчёт.

Свяжите проверку с экономикой #

Учебный первый период: реклама обошлась в 120 000 рублей, получено 30 квалифицированных обращений — 4 000 рублей на каждое. Второй период: реклама 90 000, сервис 3 000, сопровождение 6 000, квалифицированных обращений тоже 30. Полный расчёт равен (90 000 + 3 000 + 6 000) / 30 = 3 300 рублей.

Это сравнение затрат двух условных периодов, а не доказательство причинного эффекта защиты. Одновременно могли измениться спрос, состав трафика, объявления и работа менеджера. Определение квалифицированного обращения, окно проверки и состав расходов должны оставаться сопоставимыми.

Если число квалифицированных обращений пока неизвестно, не заменяйте его количеством отправок формы. Дождитесь согласованного этапа обработки и отдельно покажите незавершённые случаи. Для передачи подтверждённых бизнес-событий используйте существующий разбор офлайн-конверсий из CRM в Метрику .

Яндекс также напоминает об ограничениях выводов на малых объёмах в материале о статистической достоверности . Не выдавайте короткий удачный отрезок после подключения за стабильное улучшение.

Примите решение по конкретному дефекту #

Если обычные заявки теряются на одном браузере, исправляйте совместимость. Если одинаковый запрос создаёт несколько лидов, проверяйте обработку повторов. Если серверная проверка отсутствует, настройка рекламного исключения не закроет прямую отправку. Общий вывод «антифрод не работает» слишком широк для исправления.

Зафиксируйте, какое правило меняется, какие случаи должны пройти после правки и как проверить побочные эффекты. Расширяйте пилот после подтверждённой приёмки, сохраняя предыдущую конфигурацию и понятный откат.

NetLabCS может провести аудит аналитики и пути заявки , найти ошибочные блокировки и настроить готовый сервис. Когда причина в нестандартной форме или передаче данных, поможем разработать собственную серверную защиту . На обсуждение полезно принести момент подключения, список изменений и обезличенные примеры нормальных и подозрительных обращений.

Был ли материал полезен?

0 полезных · 0 неполезных · 0 оценок

Голосование временно недоступно: подключаем безопасную идентификацию читателя.