Тест на малой выборке — самый дешёвый способ понять, какое сообщение сработает, а какое сольёт бюджет. Вы отправляете два-три варианта SMS на небольшие группы, смотрите на открытия, клики и отписки, а потом запускаете лучший вариант на всю базу. В этой статье разберём, как собрать такие группы, какие метрики реально важны и что делать, если результаты противоречат друг другу.
Зачем тестировать SMS перед массовой рассылкой
Один и тот же оффер у двух сегментов даёт открытия 30 % и 9 % — это нормальный разброс. Разница кроется в формулировке, времени отправки и том, насколько предложение попадает в интересы получателя. Без теста вы узнаете об этом только после списания денег за всю базу.
Коротко: тест отвечает на три вопроса — какое сообщение лучше, в какое время отправлять и кому именно предлагать. Без этих ответов массовая рассылка работает вслепую.
Кстати, тестирование часто путают с A/B-тестом в классическом digital-маркетинге. В SMS разница только в канале: сообщения короткие, а реакцию приходится ловить по косвенным метрикам — переходам по короткой ссылке и отпискам. Поэтому подход к разбивке проще, а к анализу — внимательнее.
Как собрать альфа- и бета-сегмент для теста
Альфа-сегмент — это 5–10 % от общей базы. Бета — следующие 15–20 %. Дальше — массовая рассылка. Размер зависит от общего числа подписчиков: для базы в 1 000 человек хватит 50–100 в альфе, для 10 000 — 500–1 000. Главное, чтобы сегменты были похожи по составу: пол, возраст, регион, история покупок.
Чтобы сегменты получились сопоставимыми, придерживайтесь простых правил.
- Делите базу случайным образом, а не «сначала новые клиенты, потом старые».
- Не смешивайте в одном тесте клиентов из разных городов — у них разное время активности.
- Исключайте тех, кто уже отписался или давно не открывал ваши SMS.
- Фиксируйте дату и время отправки — без этого сравнивать сегменты бессмысленно.
Самый частый промах — собрать «похожие» группы вручную и обнаружить, что в одной половине активные покупатели, а в другой — те, кто давно молчит. Случайное разбиение снимает эту проблему.
Какие метрики реально показывают результат
В SMS-маркетинге три ключевые метрики: доставляемость, реакция (переходы по ссылке, ответы, заказы) и отписки. Открытия как отдельная метрика работают плохо — у SMS нет аналога «прочитанного» письма. Поэтому ориентируйтесь на поведение после прочтения.
Если используете короткие ссылки, полезно заранее настроить UTM-метки в SMS, чтобы видеть источник переходов в аналитике. Это бесплатный способ понять, какой вариант сообщения дал больше трафика на сайт.
| Метрика | Как считать | Что считать хорошим результатом |
|---|---|---|
| Доставляемость | Доставлено / Отправлено × 100 % | 95 % и выше |
| Переходы по ссылке | Клики / Доставлено × 100 % | Зависит от оффера, обычно 3–10 % |
| Отписки | Отписались / Доставлено × 100 % | Не выше 1–2 % |
| Конверсия в заказ | Заказы / Переходы × 100 % | Зависит от посадочной страницы |
Главная ловушка — смотреть только на переходы. Сообщение с кликабельной «Привет, у нас скидка» соберёт больше кликов, но даст больше отписок, чем сухое «Скидка 15 % до пятницы». Учитывайте обе метрики вместе.
Как запустить A/B-тест на SMS без ошибок
Самый простой вариант — отправить два варианта одного сообщения на два сегмента и дождаться реакции. Платформы для рассылок обычно делают это в пару кликов: вы задаёте два текста, выбираете размер тестовой группы и время отправки, остальное система разруливает сама.
На что обратить внимание перед запуском.
- Одна переменная за тест. Меняете текст — не трогайте время. Меняете время — не трогайте текст. Иначе не поймёте, что сработало.
- Достаточный размер сегмента. Слишком маленькие группы дают статистически недостоверный результат — побеждает случайность, а не лучший вариант.
- Одинаковое время отправки. Если один сегмент получил SMS в обед, а другой — вечером, сравнивать текст бессмысленно.
- Чёткий срок замера. Считайте результат через 24–48 часов. После этого отписки и реакции затухают.
Если сегментов больше двух, добавьте третий вариант с другой длиной сообщения — короткий и длинный. Часто побеждает самый короткий: меньше сегментов, ниже стоимость SMS, выше шанс, что текст прочитают целиком.
Что учесть при подготовке сообщений
Длина SMS влияет на стоимость и на восприятие. Один сегмент GSM-7 вмещает 160 символов латиницы или 70 кириллицы — это один «кусок», за который провайдер считает одну цену. Всё, что не влезает, уходит во второй сегмент и оплачивается отдельно. Оптимизация длины и структуры снижает стоимость одного доставленного сообщения (по данным профильных материалов о контенте SMS).
Поэтому в альфе тестируйте и текст, и длину одновременно — например, «Скидка 15 % до пятницы. Подробности по ссылке» против полного описания условий акции. Короткий вариант почти всегда выигрывает по доставляемости и числу кликов, но проигрывает по конверсии в заказ, если оффер сложный.
Если лень писать два текста с нуля, посмотрите примеры автоматической отправки SMS из CRM — там же разобраны типичные формулировки для разных сценариев.
Типичные ошибки при тестировании SMS-рассылок
- Тестировать на нерепрезентативной группе — например, только на сотрудниках и их друзьях. Результат будет далёк от реальной аудитории.
- Сравнивать сегменты из разных регионов. Время активности и часовой пояс меняют картину.
- Считать тест успешным по одному дню. SMS читают в течение 2–3 минут, но заказы делают позже — дайте сутки.
- Игнорировать отписки. Сообщение с высоким CTR, но 5 % отписок за один запуск — плохой результат в долгую.
- Менять сегменты «на лету». Если отправляете тест в понедельник, а массовую в среду, сегменты должны быть одинаковыми по составу.
- Тестировать всё сразу. Пять переменных в одном запуске не дадут понять, что именно сработало.
Что делать с результатами теста
Побеждает вариант с лучшим балансом кликов, конверсий и низкими отписками. Не бывает идеального сочетания — выбирайте компромисс под задачу. Для анонса акции важнее охват и переходы. Для сложного предложения — конверсия и заказы, даже если переходов меньше.
Когда лучший вариант определён, фиксируйте его как шаблон. Дальше его можно адаптировать под другие сегменты — например, отдельно для новых клиентов и тех, кто давно не делал заказ. Подход к сегментации по этапам жизненного цикла клиента разобран в отдельной статье.
3 шага, которые можно сделать на этой неделе
- Выгрузите базу и разбейте на альфа- и бета-сегменты по случайному принципу. Исключите отписавшихся и неактивных.
- Напишите два варианта SMS с одной переменной — например, разный призыв к действию. Запустите тест в одном городе в одно время.
- Через 48 часов сравните клики, отписки и конверсии. Запустите лучший вариант на массовую рассылку.