Калькулятор A/B-теста
Две вещи, без которых сплит-тест рассылки бессмыслен: заранее — сколько нужно получателей, после — можно ли верить разнице. Считаем честно, без «у варианта B процент выше, значит он победил».
Почему «у B процент выше» — это не результат
Открытия и клики — случайные события. Даже если два письма одинаковы, доли у них почти никогда не совпадут: у одного окажется 3,4%, у другого 3,8%. Вопрос не в том, есть ли разница в цифрах, а в том, переживёт ли она повтор. Калькулятор отвечает именно на него: считает вероятность увидеть такое расхождение при полностью одинаковых письмах, и переводит её в уверенность.
Отсюда практическое следствие, которое дороже самой формулы: маленькая выборка не «менее точна», она вводит в заблуждение. На тысяче получателей при открываемости 20% тест уверенно поймает только разницу примерно в четверть — а всё, что меньше, покажет случайным победителем, которого вы перенесёте на следующие рассылки. Поэтому объём считают до теста, а не после.
Что тестировать в рассылке
Тема и прехедер влияют на открытия; имя отправителя — на открытия и на жалобы; содержание письма и призыв к действию — на клики. Меняйте что-то одно за раз: если поменять и тему, и картинку, победивший вариант не скажет, что именно сработало. Подробнее — в гайде по A/B-тестам рассылок и в статье глоссария A/B-тест.
Осторожнее с открытиями как метрикой: Apple Mail Privacy Protection и прокси почтовых служб подгружают трекинг-пиксель без участия человека, поэтому часть «открытий» никто не читал. Клики честнее, но их в разы меньше — и нужная выборка растёт соответственно. Проверить, сколько получателей потребуется именно для кликов, можно на первой вкладке, подставив свою долю кликнувших.