Вы отправили рассылку, на следующий день пришли заказы. Кажется, всё сработало. Но часть этих людей заказала бы и без сообщения: у них просто был обычный день, когда они заказывают.
Если считать все заказы после рассылки её заслугой, результат почти всегда выглядит лучше, чем есть. А значит, вы продолжаете тратить деньги на рассылки, которые на самом деле не окупаются.
Что такое контрольная группа
Это небольшая часть клиентов из того же сегмента, которой сообщение специально не отправляют. Всё остальное у них такое же: те же привычки, тот же период, те же условия.
Через несколько дней сравниваются две группы:
- те, кто получил сообщение;
- те, кто попал в контрольную группу.
Разница в заказах и выручке между ними — это и есть то, что принесла рассылка. Всё, что заказала контрольная группа, произошло бы и без вас.
Как сделать это правильно
- Делите случайно. Если в контрольную группу попадут только самые редкие клиенты, сравнение будет нечестным.
- Не делайте её слишком маленькой. Если в контрольной группе десять человек, случайность перевесит эффект.
- Ждите окно целиком. Результат стоит смотреть после нескольких дней, а не на следующее утро.
- Считайте деньги, а не только заказы. Рассылка со скидкой может дать заказы, но съесть маржу.
- Учитывайте стоимость отправки. СМС и платные мессенджеры стоят денег — их тоже нужно вычесть.
Что делать с результатом
Если рассылка дала разницу с контрольной группой и окупила отправку — сегмент и сообщение стоит повторять. Если разницы нет — меняйте текст, повод или сегмент, а не увеличивайте бюджет.
Со временем у вас появляется понятная картина: какие сегменты отвечают на сообщения, какие поводы работают, а на какие рассылки деньги тратить не стоит.
Как это устроено в CRM Турбо
В CRM Турбо контрольная группа выделяется автоматически при создании каждой кампании. После окончания окна сервис сам сравнивает группы и показывает, сколько заказов и денег принесла именно рассылка. Считается только по полностью загруженным дням, чтобы неполные данные не искажали итог.