A/B testing in mass messaging
Для каждого вида массовой рассылки можно создать разные варианты сообщения и провести тесты, чтобы узнать какой из них даст наилучшие результаты. Для этого в рассылках предусмотрено А/В-тестирование. Например, можно оценить, как разные сообщения влияют на размер чека или на количество чеков в среднем на клиента.
По умолчанию в массовой рассылке всем клиентам отправляется один вариант сообщения. Функциональность A/B-тест позволяет отправить от 2 до 5 разных вариантов сообщения в рамках одной рассылки.
В разных вариантах сообщения можно менять:
- Текст сообщения;
- Отправителя;
- Тему письма (для email-рассылок);
- Прилагаемые файлы (для email-рассылок).
Пример А/В-тестирования
Можно создать 2 варианта сообщения в SMS-рассылке:
- Скидка 50% на все эко-продукты.
- Для вас скидка 50% на экологически чистые продукты.
Применение A/B-тестирования в массовых рассылках
Чтобы добавить новый вариант сообщения в рассылке, перейдите в блок A/B-тест на странице создания рассылки.
Нажмите Добавить вариант.
|
Для каждого варианта сообщения можно задать процент клиентов, которые его получат. По умолчанию варианты распределяются равномерно. Например, если варианта два, то половина клиентов получает первый вариант, другая половина — второй.
Изменить процентное соотношение можно, двигая бегунок.
 |
Пример неравномерного распределения ответов:
- Вариант А получает 15% клиентов;
- Вариант B — 25%;
- Вариант С — 35%;
- Вариант D — 25% клиентов.
|
При создании A/B-тестирования в массовой рассылке в блоке Рассылки появляются вкладки, как показано на скриншоте выше. Количество вкладок соответствует количеству вариантов тестирования. При нажатии на название вкладки осуществляется переход к заполнению параметров сообщения для конкретного варианта. Необходимо заполнить эти параметры для каждого варианта.
Удаление варианта тестирования осуществляется при нажатии на значок корзины в соответствующей вкладке.
После заполнения всех вариантов сообщений можно отправить тестовое сообщение с необходимым вариантом. Для этого выберите вкладку с необходимым вариантом сообщения и нажмите Тест.
|
Для предпросмотра письма необходимо выбрать вкладку с нужным вариантом сообщения и нажать кнопку предпросмотра на панели форматирования.
|
Отчёты
Отчёт по проведенному А/В-тестированию доступен на странице, где располагаются все остальные отчёты по рассылке.
|
В первой таблице по каждой группе выводится информация:
- Количество получателей — сколько сообщений было отправлено в данной группе;
- Доставлено сообщение — сколько сообщений было доставлено в данной группе;
- Количество клиентов, совершивших покупку — рассчитывается с учётом параметров атрибуции;
- Конверсия в покупателей — сколько процентов клиентов, получивших письмо, совершили покупку под влиянием рассылки;
- Количество чеков в группе;
- Среднее число чеков на покупателя;
- Сумма покупок;
- Средний доход на покупателя.
Вторая таблица содержит подробную информацию о конверсии и о нежелательном поведении в каждой группе. Например, в группе B:
- Отправлено — 36 057 сообщений (100%);
- Доставлено — 36 057 сообщений (100% от отправленных);
- Открыто — 918 сообщений (2.5% от отправленных);
- Переходы были из 198 сообщений (0.5% от отправленных);
- Заказы — из 26 сообщений (0.1% от отправленных);
- Отписались после получения сообщения 2 человека (0%);
- Жалоб на спам – 0 (0%).
Значения в некоторых столбцах выделены цветом: зеленым – лучшее значение, красным – худшее (см. изображение выше). Например, в группе А средний доход на покупателя – 2 317 рублей, это лучшее значение среди всех групп (выделено зеленым). В группе B – 995 рублей, это худшее значение (выделено красным). |