Ручной A/B-тест оффера: как сравнить две формулировки услуги на малых цифрах

Что именно вы сравниваете и зачем это разграничить

A/B-тест в классическом смысле требует случайного распределения трафика между двумя вариантами одновременно. В описанном здесь последовательном сравнении случайного распределения нет: сначала показывают один текст, потом другой. Аудитория, сезон и источники запросов при этом меняются. Поэтому результат такого замера — не доказательство превосходства одной формулировки, а наблюдение, которое стоит записать и учитывать.

Практическая польза всё равно есть: если вариант Б при схожем потоке сообщений собрал заметно больше уточняющих вопросов или записей, это сигнал — пусть и не строгий. Важно сразу зафиксировать допущение: неизвестно, что изменилось в потоке людей между периодами.

Подготовка: два варианта текста и условия замера

Сформулируйте ровно два варианта описания одной услуги. Меняйте один способ объяснения, сохраняя реальные условия услуги: состав, цену, длительность и срок передачи. Нельзя добавлять более привлекательное обещание только во втором тексте и считать, что сравнивается одна формулировка.

Пример (условный): услуга по пошиву простой вещи. Вариант А: «Подгонка брюк по фигуре — замер, корректировка, примерка». Вариант Б: «Готовые брюки подгоним по согласованной посадке: сначала замер, затем корректировка и примерка». Состав работы остаётся тем же, меняется подача.

Запишите оба варианта дословно до начала теста. Позже будет сложно восстановить точную формулировку, и сравнение потеряет смысл.

• Один канал размещения на оба периода (например, только описание в профиле или только закреплённый пост)
• Заранее выберите одинаковую длительность периодов; две недели в таблице — условный пример
• Никаких дополнительных публикаций и акций в эти недели, которых не было в другой период
• Все входящие запросы по этой услуге фиксируются в одном месте

Таблица учёта: что и как записывать

Заведите простую таблицу — бумажную или в любом редакторе. Цель — не потерять данные и не смешать периоды. Ниже — предлагаемый шаблон для двух двухнедельных периодов. Числа в примере условные и служат только для иллюстрации структуры.

Как фиксировать запросы без специального инструмента

Каждый входящий запрос по тестируемой услуге — это одна строка в таблице. Запишите дату, откуда пришёл человек (если сказал или очевидно), что именно спросил и чем закончилось взаимодействие на этой неделе.

Не пытайтесь угадать источник по косвенным признакам. Если человек написал в мессенджер и не сказал, как нашёл вас, — источник неизвестен. Это важно: высокая доля неизвестных источников означает, что данные периода менее надёжны для сравнения.

Расписание можно вести через Zapisly как общий браузерный календарь — тогда предварительные записи за каждый период можно посчитать без лишних пометок. Остальное — ручной учёт.

Что делать с результатом

По итогам двух периодов у вас есть два набора чисел. Прежде чем делать вывод, ответьте на три вопроса: изменился ли заметно поток людей между периодами, были ли внешние события (праздники, ваш отпуск, чужая реклама рядом), насколько велика доля запросов с неизвестным источником.

Если вопросов стало больше, разберите их смысл. Например, люди могут чаще уточнять, что включено, потому что новый текст это скрыл. Сами по себе ни число уточнений, ни разница записей не определяют лучший вариант. Если данных о просмотрах нет, не называйте долю обращений конверсией текста.

Не назначайте универсальное число запросов, после которого сравнение становится доказательным. Даже продление периода не устраняет различия между аудиториями. При малых числах оставляйте результат наблюдением и отмечайте неопределённость.

Зафиксируйте итог письменно: какой вариант оставляете, что наблюдали, что осталось неясным. Через несколько месяцев эта заметка поможет не повторять тот же эксперимент с нуля.

• Проверьте содержание уточнений: вопросы могут выражать интерес, а могут показывать, что описание стало менее понятным
• Если разница незначительна — выберите более короткий вариант: его легче обновить позже
• Не выбрасывайте проигравший вариант: возможно, он подойдёт для другого канала или другой услуги
• Запишите дату следующего пересмотра формулировки — например, через три месяца

Частые ошибки при ручном замере

Самая распространённая ошибка — менять сразу несколько вещей: текст, фото и время публикации одновременно. Тогда непонятно, что именно повлияло на результат.

Вторая ошибка — сравнивать разные каналы. Если вариант А размещён в одном месте, а вариант Б — в другом, вы сравниваете аудитории, а не формулировки.

Третья — считать предварительный запрос подтверждённой записью. Человек написал «хочу записаться» — это интерес, не визит. В таблице это разные строки.

Четвёртая — объявлять статистическую победу по двум последовательным периодам без плана случайного распределения и оценки неопределённости. Предлагаемый журнал такого вывода не даёт.

Вопросы по теме